谈谈公安视频结构化的应用

文/徐毅广  天津市公安局河北分局

一、政策背景

2021年是深入实施创新发展战略，开启"十四五"新征程的基础之年。2021年3月"十四五"规划正式发布。其中，"平安中国"建设作为保障人民安居乐业、维护社会大局稳定、服务经济社会发展的重要工程，是维护国家政治安全、经济安全、文化安全、社会安全、生态安全等重点领域安全的必然要求，已经成为"十四五"规划的关键部分，对国家治理体系和治理能力现代化提出了更高要求。面对当前复杂的国内外形势，要处理好国家安全和城市安全等社会经济领域的重大问题，要加强社会治理，化解社会矛盾，维护社会稳定，把安全发展贯穿国家发展各领域和全过程，防范和化解影响我国现代化进程的各种风险，筑牢国家安全屏障。

从社会公共安全的角度分析，全面完善社会治安防控体系是"平安中国"建设的重中之重，包括：强化基础信息采集、推动大数据汇集应用、提高情报综合研判和情报预警水平，提升重点部位联动防控、重大风险联动稳控和重要领域联动管控的综合能力，推动侦查破案在合成作战和精确打击方向的深化，增强社会面整体防控能力和应急处突能力，形成立体化社会治安防控体系的合力。

近年来，中办国办、国家9部委和公安部先后出台一系列文件，就加强公共安全视频监控建设联网和深化视频监控智能应用等工作进行了整体部署。公共安全视频监控建设联网应用作为新形势下维护国家安全和社会稳定、预防和打击暴恐犯罪的重要手段，被提升到前所未有的高度。公安部围绕全面贯彻落实视频监控智能应用，在《公安发展"十三五"规划》及《"十三五"公安信息化总体技术架构》中明确提出：在部、省、市建设视频图像信息解析系统，实现对视频内容进行结构化分析、信息提取，提供专业的视频图像处理、分析、检索及视频大数据分析、比对碰撞服务，有效支撑社会治安立体防控。在《公安视频图像智能化建设应用指南》中提出：拓展视频图像全时解析的"智感"前端，优化承载各类泛在感知数据的"智联"网络，打造云边协同的"智算"环境，提升挖掘视频图像价值信息的"智萃"能力，实现视频图像全时段高效调阅、多要素解析比对、多方位智能关联、多维度预测分析、各警种普遍受益的"智惠"应用，建立业务规范、技术先进、应用高效的视频图像智能化应用技术手段，形成全国一体的公安视频图像智能化应用体系，全面助推公安工作整体效能和核心战斗力提升。

二、建设现状

随着平安城市和雪亮工程的深入建设，大部分城市以 "高清视频监控系统"为基础，按照"圈、块、格、线、点"的建设思路，初步实现了城区视频的全域覆盖，重要路口、主要道路、重点部位的视频全面监控，为反恐维稳、应急处突、打击犯罪、社会管理和服务群众提供了丰富的视频图像支撑。以一二线城市的区县分局的视频监控类资源为例，一类视频监控点位规模平均2000路，二类联网视频平均2000路，交警道路监控点位平均1000路，日均产生100余T的视频资源、300余万条卡口抓拍数据等。但是，视频和数据资源暂时还没有打破传统的平台壁垒，只能在各自平台单独存储并进行简单调用，难以形成有效的自有数据资源整合与应用各类数据资源的深度应用，随着数据的日益增长存在严重的资源浪费。

三、建设意义

视频图像信息目前已成为支撑公安工作的重要基础信息资源，由于大部分视频监控资源基本是视频的非结构化状态存储和应用，从目前公安机关的侦查办案手段方式看，需要大量的警力对海量的监控视频进行反复辨看、分析、研判，不但耗费大量警力，而且效率低，关联应用和综合应用效果差，无法开展更深层次的智能应用。如何从海量原始视频中快速解析出易于检索的活动目标相关数据，充分利用视频图像数据辅助实战和深化视频图像应用，已成为推进视频资源深度智能应用的核心问题。

视频结构化技术作为视频网+大数据的基础应用，可对海量的图像资源进行标准化处理，从视频资源中提取有价值信息，通过数据清洗和快速调用，为视频侦查与大数据联合应用提供先进的技术支撑，有效提升视频智能化应用的水平，提高警务工作效率。

四、技术趋势

视频是平安城市系统中最丰富的感知资源，城市中数以万计的摄像头每天采集的数据庞大、信息丰富，对社会治安防控以及城市运行管理具有很大价值。公安关注的核心是图像中的人、车、物、事件等基础情报信息，但图像资源中包含大量冗余信息，通过人工查找回溯，不仅占用了大量人力和时间，而且因为个人能力的差异和时空交叉数据研判比对的复杂性，会导致对目标认知的偏差，更不用说结合多种时空交叉数据进行研判比对。因此，将视频转化为数据的关键途径是视频解析，通过深度学习和模式识别等AI技术，从图像中自动检测目标、提取特征并对内容进行结构化描述，实现对活动目标和异常事件的实时分析和线索追踪，从而启动预案和精准处置，让监控从事后被动回溯向事前主动防范转变。建设能够匹配公安各类应用场景的图像大数据系统已经成为科技强警战略的重要组成部分。

目前，公安机关的主要图像数据应用包括人脸识别、车辆识别、人体识别和动作行为识别等，这些系统以道路监控、卡口电警、人脸卡口等前端设备获取的视频、图片及结构化特征为基础，实现以图搜车、以图搜人、全文检索、相似性研判等综合应用，帮助公安快速准确地侦破案件。采用AI技术的视频解析方式分为前端解析和后端解析。前端解析产品是智能摄像机，比如人脸识别摄像机、结构化摄像机和交通摄像机，在采集视频和图片的同时，依靠内置的算力芯片和智能算法，对行人和车辆等活动目标进行跟踪检测、抓拍特写照片并提取出的特征属性，为后端的数据中心提供结构化的数据，可以减少后端分析所消耗的计算资源和网络带宽等系统成本。后端解析产品是智能NVR和智能服务器，智能NVR适合中小型项目使用，是在存储录像的同时，对接入的普通视频监控内容进行智能解析和信息提取，比如小型比对库的人脸识别/车辆识别等。智能服务器是基于X86服务器和高性能GPU芯片以及深度学习算法，对人脸特征、车辆特征、机动车/非机动车/行人的全目标特征进行快速全量提取和精准识别比对，比如动态人脸的识别比对、卡口车辆图片的二次解析和以图搜车、行人的衣着体貌特征识别和以图搜人等，后端解析的优势是算力强大可进行复杂计算，可利旧原有监控视频。

传统的智能分析技术存在识别准确率低、场景适应性差、识别种类少等问题。得益于AI算法和芯片算力的快速发展，基于深度学习技术（通过大量数据训练建立输入数据和输出数据之间的映射，自动分析海量监控视频数据）就能快速准确地把视频图像里的内容和目标自动转换成结构化数据，除了抓拍特写照片外，还能提取出目标的属性信息，比如：机动车属性包括车牌号码、车牌颜色、车身颜色、车辆类型、品牌年款以及驾驶室内的遮阳板、摆件、安全带等信息，行人属性包括步行、骑车、性别、年龄段、上身颜色、上身款式、下身颜色、背包拎包等信息，人脸属性包括性别、年龄段、头盔、墨镜、口罩等信息。智能解析后的结构化数据和半结构化数据，通过数据治理和关联分析，能够为公安机关的各类应用提供情报线索和决策依据，比如对重点人员的人脸动态识别和条件检索，即便属性不全也可以基于目标特征进行以图搜图。

五、实战需求

从实战业务出发，公安机关需要持续开展提升视频资源的利用效率和视频深化应用方面的工作，针对视频结构化应用的主要业务需求包括：

1.节约人力物力，提高案件线索查找效率

目前视频应用普遍仍是较为传统的人工查看，既耗时费力，又在案件侦破中难以掌握有效时机，如何从每天积累的海量视频资源中快速地提取有价值数据，形成快速应用，需求非常迫切。而视频结构化系统可极大提升对视频中有效信息的快速挖掘检索，解决人工辨看查找慢、警力资源耗费大的问题。

2.提升视频图像信息应用的规模和效能

随着视频监控系统建设规模不断扩大、使用领域不断拓展，公安机关以及政府各职能部门希望深层次挖掘视频图像信息、结合不同业务实现智能化应用。综合考虑资金投入和规模应用效能等多方面因素，会考虑汇总平安城市、交通电警平台、人脸识别平台全部视频资源，利用视频结构化算法开展实时结构化解析，解决多平台应用的不便。

3.深化视频结构化和大数据的融合应用

利用视频结构化算法将视频转化为图片和属性特征，进行统一标准的数据清洗，实现云存储和分布式管理，为基层单位开展实战应用提供统一数据支撑。将图像结构化数据与情报大数据融合起来，实现以人为核心的活动轨迹、作息习惯、社会关系的辅助研判，针对不同场景实现应用落地，最终形成全息感知、推理判断、反应快速、自我学习的智慧城市大脑，不断为各行业挖掘更多数据价值。

六、建设难点

从公安用户角度出发，希望依托现有视频数据资源（包含天网视频点位、交警视频点位、人脸视频点位、车辆和人脸抓拍数据），建设统一的视频结构化系统，实时分析视频结构化性能达到千路以上规模，能基本覆盖主要区域和重点位置，才能提升图像侦查服务实战能力，为事前预警、事中指挥、事后追溯提供有效信息支撑，此外，还要建立统一标准的视图库网关，将结构化解析后的车辆、人脸、人体等图片数据汇聚共享给其他系统调用。在项目的具体设计方案中，也存在几类突出问题需要解决。

1.选择新建结构化摄像机还是利旧普通监控相机。

一方面，随着边缘端的AI芯片算力提升和结构化算法的优化，前端智能相机的处理性能已经能够分担后端视频解析中心的运算压力，市面上的结构化相机开始覆盖5MP/8MP分辨率、一体机/球机等不同档次和不同形态的多种规格，可以为不同场景提供差异化的应用方案，这类产品不仅可以抓拍人脸、机动车、非机动车、人体等特写图片，还能提取车牌号、车辆颜色、帽子、墨镜等主要属性特征，对于增点扩面等公共区域的前端智能感知升级类的需求，通常会采用这种方案，可以针对不同场景的具体需求，选择对应的结构化相机，比如步行道部署人脸抓拍机、主干路部署车辆抓拍机、广场等机非混行场地部署结构化相机，通过不同规格种类的智能相机组合，可以达到最优性价比。另一方面，近几年建设的社区乡村等社会视频监控资源大多是普通监控相机，大部分还在正常使用的产品寿命之内，从投入成本效益等角度考虑，很难选择废弃后重新部署结构化相机；另外，从宏观经济形势看，由于受到疫情影响，全球经济减速，陷入严重衰退，政府也缺乏大量资金投入到城市基础设施的建设项目中，因此，对现有普通监控视频进行利旧的后端结构化系统逐渐受到青睐。同时，也要充分认清后端结构化解析的具体效用。对于公安图像侦查工作来说，人脸和车牌是直接获取目标身份的主要手段，想要达到清晰的辨识效果，对于图像的分辨率角度光照位置等条件有严格要求，但普通监控视频无法保证能达到相关要求，造成抓拍到的大部分目标图片质量较差，看不清具体特征，只能获得轮廓信息，难以直接发挥效用，只能作为快速检索的辅助手段。此外，对普通监控视频进行利旧的后端结构化解析系统，需要接入海量的视频，不但需要大量高性能的视频结构化服务器计算资源，还需要考虑数据从社会资源网络到天网监控网络，对网络带宽和边界安全隔离都提出了较高要求。

2.视频结构化系统建设大多由市局牵头制定标准规范要求，通常情况下，市局建设结构化数据汇聚和应用平台，各区县分局根据自己的具体情况筹措资金分头建设视频结构化系统开展特色应用。由于市局和分局的结构化系统包括的结构化数据类型较多，结构化系统可能涉及多个厂家建设，需要对市局和分局的结构化系统的业务逻辑关系进行规范，包括数据、图片和视频的传输接口。比如：

（1）由于市局结构化系统不存储视频和图片，只是作为跨区结构化任务下发和统一查询平台，需要明确如何解决对查询结果所关联的视频片段的调用问题。因为，视频片段通常不会存储在结构化系统中，而是在视频联网监控系统的存储节点通过时间标签进行索引，通过市局结构化系统客户端进行查询时关联的视频片段需要明确获取方式。

（2）由于市局结构化系统会开放给各分局民警使用，需要考虑以图搜图的多任务资源调配问题，如果同时有多用户对同一分局结构化系统下发以图搜图任务，会和该分局本地结构化以图搜图任务发生算力调用冲突，需要有排队机制策略或者任务执行的反馈信息。

七、应用前景

系统投入正式使用后，可对重点挑选的视频资源进行实时结构化，同时结合日常工作重点和实战需要逐步划分结构化资源，合理分配、统一调用、严格监控资源利用，完善资源共享机制，开放部分结构化算力资源给相关实战单位进行探索应用，达到最优的动态资源分配，及时高效地保障实战单位应用，避免因不使用或不熟悉使用造成资源浪费。后期实时结构化资源可按照实际情况将辖区内的重点部位和随110警情数据研判每时间阶段案件频发情况和交通主要道路，规划实时结构化任务。从实战中发现问题、总结问题，不断优化分局对结构化资源的合理利用。

在数据应用上，为更好地拓展应用效果，可以考虑建立特色化的存储功能，例如对于重点部位的实时结构化存储库、针对重点案件的实时存储库等，这些数据当上级机关或本地需要调用时，可及时通过特定标签进行调用和推送。比如：某镇街派出所发生案件，其他地区也有类似案件发生时，各单位均会在第一时间开展侦查工作，并利用视频结构化进行视频分析时，在案件满足形成串并条件时，可将各单位结构化数据库进行调用汇总，实现统一查询、检索，构建完整的线索链条，这种方式既节省结构化资源，又提升数据调取速度，但前提是需要统一的标准规范，以实现大数据共享时的稳定应用，关键是为区县的结构化数据进行完整标签规范，才能最大限度应用视频结构化数据清洗的功能，为图像大数据打好数据基础。