文档介绍：用大数据技术挖掘视频监控数据的价值
随着数据量的增加,哪怕对TB级别的视频数据进行对视频内容的数据分析和检索,传统技术模式下可能需要花费数小时的计算,已远远不能胜任时效性的要求。用户希望能够对海量数据进行有效管理和使用,快速辨别有效数据,提高数据利用价值。
得益于IT信息技术的快速进步,人类可以随时随地记录下产生的各类数据,同时数据存储的成本也正以前所未有的速度下降,大数据时代正悄然来临。在视频监控领域,高清化,大联网数据汇聚推动视频大数据形成,业务实战化推动大数据分析需求。
一、视频监控业务的大数据特征
在视频监控领域,大数据的特点,可用Volume、Variety、Velocity、Value这4个V来概括(如图1)。大数据的特点包括以下几点:
    第一,数据体量巨大(Volume)。高清化带来单个监控点数据量即以指数级增长,例如单个1080PIPC30天就会产生2T数据;IP化大联网后,各平台实现互联,平安城市网内摄像头数量达数万数十万级别,其数据量之巨大可想而知。
第二,数据类型繁多(Variety)。视频监控领域的视频编码格式包括:、MPEG-4、MJPEG等多样化的编码方式。而同时随着各类物联网技术的融入到视频监控业务,汇聚了包括各种传感器、IT、CT系统产生的多样的数据。业务系统需要把结构化与非结构化数据相互关联,统一存储。
第三,处理速度快(Velocity)。视频数据随时间快速增长,并以持续顺序到达。在视频监控领域,视频分析的效率决定价值,更低的延迟、更准确的分析是平安城市这类客户的普遍需求。随着数据量的增加,哪怕对TB级别的数据进行视频内容的数据分析和检索,采用串行计算模式都可能需要花费数小时的计算,已远远不能胜任时效性的需求。
第四,价值密度低(Value),效率要求高。在视频监控业务中,价值密度的高低与数据总量的大小成反比。一小时的视频监控内容,可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题。
二、视频监控业务的大数据应用需求
随着数据量的增加,哪怕对TB级别的视频数据进行对视频内容的数据分析和检索,传统技术模式下可能需要花费数小时的计算,已远远不能胜任时效性的要求。用户希望能够对海量数据进行有效管理和使用,快速辨别有效数据,提高数据利用价值。
分析大数据产生小数据。摄像头7×24小时工作,如实记录镜头覆盖范围内发生的一切,仅仅记录信息是不够的,因为对于客户来讲可能大部分信息是无效,有效信息可能只分布在一个较短的时间段内,按照数学统计理论,信息是呈现出幂律分布的,或称之为信息密度,往往密度越高的信息对客户价值越大。实时涌入的海量数据容易产生大量的休眠数据,浪费大量存储资源。对海量数据进行智能分析,提取出价值数据片段。建立摘要信息,减少用户需要面对处理的数据量,形成元数据信息库。
提纯小数据产生价值数据,例如在公安系统中希望能集中分析过去和现在的犯罪数据和视频图片,整合所有信息,能提供对犯罪趋势更全面的看法。这就需要针对海量历史数据实现快速检索,并对貌似非关联的数据进行关联,并在可视化平台
进行呈现,总结出数据规律,为决策者提供参考和预测未来业务走向。
三、视频监控大数据分析所需的关键能力