[导读]第一个阶段是数据的融合和汇聚,第二个阶段我们怎么样把这些数据进行大数据的分析和处理,那么最终提供一个数据的服务。不同的阶段我们有一个大数据的存储方面,我们怎么样存储尤其是公安安防领域里边的TB或者是PB级的数据的高效存储,存储的数据怎么样对上端的应用进行一个数据的支撑?
2014年5月29日,由千家品牌传媒主办,千家安防网承办的“2014年安防行业发展新趋势论坛”在中国科学院微电子研究所隆重举办。本次活动主题为:物联网与移动互联网时代下的安防行业新趋势,重点关注物联网、云技术与大数据。海康威视、霍尼韦尔、安讯士、中科院物联网研究发展中心专家等行业知名企业高层与近200名行业人士共同探讨移动互联网环境下,安防行业发展的新趋势。
以下是 中科院物联网研究发展中心黄奎博士在现场演讲的精彩实录:
主讲人:陈曙东
主题:云技术与大数据在安防中的应用
陈曙东:刚刚前面的几位嘉宾已经把我们的安防行业的趋势已经讲得非常清楚了,也就是说往这个大数据和云计算的方向去走,那么我想我接下来就可能用几个比较实际的一些案例,在往前推进一步,在这个大趋势之下,我们物联网中心,我这个团队已经在安防领域做了哪些具体的工作,希望给各位有一个参考。
我的报告主要是分成两个部分,首先第一个部分是作为一个介绍,介绍一下物联网与大数据的关系,为什么说是叫做物联网与大数据,而不是和题目一样叫做云技术和大数据。我想物联网这件事尤其是在我们安防领域里边是感知层前端是互联网一个触手,也就构成了安防系统的首要的数据来源作为一个系统的整体的支撑。所以这边我就介绍一下我们物联网与大数据关系是什么?接下来再介绍一下大数据在安防和应急领域的应用。
前面黄奎博士已经介绍了我们物联网发展中心,也就是说这个中心落地在无锡,为了落实温总理感知中国中心这样一个指示,2009年成立的,我们这个中心主要是坚持应用牵引,创新驱动,为中国物联网产业培育中心,继承创新中心和行业应用示范中心。这个中心是中国科学院和江苏省无锡市联合构建的,我们的法人是江苏物联网研究发展中心,截止到一月份时候已经有八百多名到位人员。
这是我们在物联网这个领域里边我们的一个科研的布局,大家可以看到下面是我们几大公共服务平台,有国家级,省级,其中中国物联网,云计算中心是由我这个团队在承建,上面我们会去研究物联网的新型系统架构和信息的传输技术,物联网的软件,对上面的八个示范领域提供支撑,其中就包括了智慧、医疗、工业、环保和智慧安防。
那么,为了落实这些项目,或者是说这些任务我们科学院也组织了一个物联网的重点部署项目,那么名字叫做规模化物联网应用系统开发与示范验证。我们的三大示范应用其中之一是公共安全,我们会在这个项目中搜集物联网的这些数据,对各类时空数据进行一个融合和会聚之后,我们进行一个数据的开发,然后应用的开发,对我们上层的应用提供一些服务的支撑,我们的应用单位是在安防领域里边是无锡市公安局。
在云计算这一块我们是中国科学院数据云无锡节点,也是国家节点的示范单位。目前进行农村农业信息化云平台的建设。同时在大数据方面也是在先导专项,在智能交通领域,也进行一些大数据的研究。对数据进行一些深度的分析和挖掘。其实刚才大家都介绍了很多,什么是叫做大数据,那么大数据从2011年5月份,EMC抛出来到之前的4V特征,最近又发展到5个V,因为在高密度,低价值的上边,大家认为是有价值的,现在就去研究有价值和真实性这两个方面,如何来挖掘大数据他们之间的相关性,也就是说这类似于我们中医和西医的理论。西医主要是看这种表象,我是进行实际的推动,中医更多的是侧重各个现象后面之间的相关性如何。
接下来我们面临一个很大的技术挑战,主要是分成三部分,这是从数据的生命周期里边去分阶段的来看。第一个阶段是数据的融合和汇聚,第二个阶段我们怎么样把这些数据进行大数据的分析和处理,那么最终提供一个数据的服务。不同的阶段我们有一个大数据的存储方面,我们怎么样存储尤其是公安安防领域里边的TB或者是PB级的数据的高效存储,存储的数据怎么样对上端的应用进行一个数据的支撑,也就是说用的时候,我怎么样对数据进行一个定位和检索。最终如何给我上层的不同应用提供相关的决策支持来为我们安防相关的部门进行一个快速的启动和响应。
其中刚刚有专家也是提到了智慧城市,智能家居和智慧医疗。其实这里边就离不开数据的共享。我们讲大数据,除了行业大数据,还要有一个大数据的分析和融合。
所以这里边怎么样进行一个大数据的安全共享,这里边我们也做了相关的技术研究。所以我们主要的研究工作,现在是进行了海云分布式文件系统的研发。我们对结构化和非结构化的数据进行统一的虚拟化的存储。那么来支持物联网的时空数据的高效索引,同时可以基于这个Nospi技术对结构化和非结构化的数据进行高效的检索,同时对用户提供一个很好的界面和SDK的分装。
另外是提到了流失数据对安防数据里面的特征,也就是说流失计算是目前大数据计算,或者是云计算里边一个非常重要的一部分,所以我们也进行一个混合计算框架的研究。就是说实时数据的处理,和非实时数据的处理,但是一般来说他们是支持一般的P处理的,离线式的处理,对于流失计算怎么样提供支撑,也是我们相关的研究。
开场的时候我就说过物联网与大数据的关系。我举两个例子,也就是说去年的时候,北京7·21暴雨之后,北京市科委立了两个专项,对房山和门头沟两个区进行信息化的改造,目的是为了提升应急管理能力和预警能力,这部分的工作怎么做呢?就是说在重点的立交桥下边会布一些水位计,如果检测的水位达到警戒的时候会进行报警,相关的部门会采取一些措施。点位非常少的时候,可以做一些区域化的特征的处理。但是,如果说这些点越来越多,搜集的水位计的数据越来越多之后就变成了大数据,还有历史的数据,比如说气象和之前往年灾害的数据,这些数据会进行挖掘,并发现其中的规律,并且做出预警。上周上海市的亚信峰会上,上海市公安局专门成立了综合研判平台,多个警种进行办公,信息和数据库及时的调用,实现了一个大数据的整合,这也是大数据应用在我们实际的安防和预警应急工作中的一个非常成功的应用。
我们说传统的数据挖掘是对历史数据挖掘,我们怎么样构建一个数据仓库,怎么样进行一个转化。其实大数据还有一个利用了我们物联网的云存储技术和云计算的技术。对实时数据的挖掘也是一个趋势。前面我也提到了。所以说我就认为这个大数据的物联网和大数据的关系是什么,物联网技术在推进着大数据相关技术的发展,这是一个很明显的结论。
我们看一下大数据技术在物联网体系架构中的位置,我把它归到这一层当中,也就是说物联网的这个感知层,物联网的传输层中间,底下还是一个感知层,上面是一些应用层。下面我介绍几个应用案例。
我们看一下社会治安的管控方面,因为近几年治安的大环境需求下,我们需要提供我们公安的社会治安的管控能力,各地公安都进行了一些叫做基础的硬件设施建设,那么我举一个例子,某二线城市的某一个区里边在治安监控上摄像机会抓拍3·20的抓拍点会有将近600个,这个数据是2012年的数据,现在会更多。并且这些还不算我们厂企单位和居民住宅小区里面的内部的监控摄像机。这些高清的数字网络摄像机后期的,近期的大批建设也是被用来作为我们城市的一个安防的前端的触手。公安部对监控建设应用的要求,现在是由第一个阶段的硬件建设转到了第二个阶段的智能应用为主要特征,我们从安防产业发展来看,虽然刚刚我也是跟海康这边在谈,虽然说是国内的,我们的视频监控的智能应用起步比较晚。但是说我们在很多的领域已经有了非常广泛的,非常成功的一个应用。这是比如说运动的监测,刚刚很多的视频已经显示了,比如说异常行为的检测和轨迹的挖掘,多集的视频拼接等等。下一步的趋势是云存储,物联网,云计算为智能监控提供有利的支撑。这个地方大家看不清楚,这是我们给某市公安局其中一个平台,叫做图侦平台的整体架构图,大家看这是视频数据的处理,基本的处理,后面会进行一个影像的分析,再到后面左边是一个大数据的平台,进行一个平台一个整合。其实这是一个很简单一个案例,从最简单的技术的发展过程,也就是说比如说我们在这个时候可能发现了叫做飞车党在抢劫,这个时候可能会利用一些图侦软件优化功能,把不清晰的功能进行处理以后提高对比度,抓住罪犯,成功破获好几起飞车党案件。
另外还有一个情况,大家都提到了数据特别多,数据类型是异构的,比如说南京的16案件光头哥,全市1万多个摄象头,抓住到了1998个TB,动用的一千五百多名干警在看,造成了移动硬盘的价格上涨,这是一个非常有意思的事情。这说明了什么问题?我们来分析一下,其实就是说因为存储量非常大,提取的过程中占用那么多警力,因为视频格式不统一,有标清,有高清的,现在还有普通的、模拟的视频数据。但是其实说实话,刚才有专家提到了百分之八十五的数据是不可用的,也就是说这些图像,人来看去抓住这些线索的话,几乎是不可能的。
还存在着一个问题,为什么运用了这么多移动硬盘靠人力去各个小区,各个警位去复制,因为什么?因为公网上获取的数据,接入到公安的专网上存在着安全和带宽的问题,这对我们数据传输造成了很大的压力。所以我们科学院的这个团队在做什么,我们做两件事,第一个是进行海量多元视频数据的快速导入,高效的存储,高效的传输,安全的汇聚,并且把数据进行集成。第二个是海量数据研判平台的总体的架构的设计和开发。这里边的视频的快速导入,把这种异构设备快速导入到公安的内网上面来,并且把格式进行H.264的转化,主要是可以和现有的视频采集设备可以集成上去。另外是把视频数据采用云存储的架构,主要是出于安全考虑,并且业务的考虑,我们进行一个分级和本地的存储,也就是说这些数据该放在所里边的放所里边,如果说放在局里边的有一些数据往上边传,可以实现按需调阅。
那么再有一个是视频的高效传输,在使用的情况下,我把大量的视频数据从各级的存储服务器之间进行一个快速的复制,实现按需调阅。网络上数据安全也是一个非常关键的一点,因为内网和外网的隔离,我们也要考虑到可靠的汇聚过程。
这是我们给他们进行的研发提出的设计方案,也就是说异构的视频数据进行一个统一的存储,并且接入到云平台上面去,这个设备也好,可以支持最终端的标准的转化,并且和他们数据的大平台,可以进行对接。这是我们数据过来之后我们要存,存在什么地方,存在大数据,存储平台上,这个存储平台是根据公安的业务的需求,和数据的特征我们把云存储的架构和物联网的体系结构进行结合。也就是说前面还是一个设备的终端感知层,中间是安全的存储层,这里我们会把相关的这些数据进行一些转化之后进行索引,来支持后端的,其实是前端的一个应用。我们可以看到有很多的智能视频、交通等等的相关应用。
我们存储的平台上也是基于几个考虑,首先把数据的读写和原数据的存储要分离,一个是提高速度,一个是基于安全的考虑。也就是说碎片化的数据和镜像数据的关系的映射问题。
这个系统主要是我们建议公安部门采用开源的技术进行结合,根据不同的数据特征,选择不同的文件操作系统,比如说数据系统的话用HIS。另外是说数据源标准体系的建设,公安系统内部也有非常多的各种各样的异类数据化,现在我们怎么样进行一个大数据的融合,需要一个标准化的推动,这个方面我们的工作是说,首先要考虑现有系统的融合,我们不能抛开现有的系统完全不要了,我们重新来做,一定要两条腿走路,所以我们把现存的结构化的数据进行一个分类的优化或者是存储,第二个是对结构化的数据进行标签和标定。这些是说我们还最终建立一个索引,为了支持后端大数据的检索,建立一个多级的索引结构,图和数等等的表格。
这里我们说数据的安全性非常重要,这么多数据怎么样碎片化的处理,我们要确保数据的完整性,还是主要提高了,采用一个主备切换一个技术。这是比较成熟的,就可以把安全性从90%提高到了99.9%,一台宕机了的话,可能有0.1%的失效率,三台的话只有0.1。
还有数据的质量监管上,存储空间不够的话,需要均衡,这是负载的概念,同时保证数据在访问过程中,是需要有一致性的,比如说你要保证你冗余节点上的数据要是一致,全文的索引库怎么建,我们把各类的业务数据库和现有的八大信息资源库进行数据扫描,来构建这样一个全文索引库,其实就是搭建公安内部的一个谷歌。我们的数据不是一个简单的集中,而是放在一个平台上面做存储,这些数据在我们的全文库里边是进行转化的。进行过处理的,主要是供我们上端的信息查询系统来使用的。这个建设的过程中,我们如何保证多个,还是采用了这种分布式的,保证多个管理中心之间索引数据的一致性,也就是说数据的追加和删改,保证一致性。
还有就是索引文件的挂接方式,加了索引层提高后面的索引效率,用什么形式挂接,放在内存上怎么样做,我如果放在这个超规模的,超大规模的索引文件,我是放在什么地方,那么这个里边我们都是有一些查询机制的。
另外的介绍一下我们前面其实所有的设计,设计完了之后我们要进行一个实施。我们实施的工作基础是什么,刚刚我提到生命周期,全生命周期,数据的产生、搜集、会聚、存储、分析、挖掘、服务,从路径来把数据整个过程叫做物联网大数据全生命周期。
目前我这个团队开发了一个全生命周期的管理平台。是把云计算平台进行一个深度的融合,也就是说通过云计算的技术在前端进行一个开放和并行化的技术,这里主要是集成了服务子层,就是我刚刚提到的大数据的全生命周期管理。上端我们会进行多个数据集的分析挖掘来提供一些数据服务。我们主要是现在数据挖掘有一些人还说传统行业的BI和我们大数据的云计算环境下的BI有什么区别,我也可以告诉大家,在这里,除了BI的传统的数据特征是要进行历史数据的挖掘之外,大数据是更多的进行相关的隐含模式的,隐含价值挖掘之外,还就是说传统的数据算法,挖掘算法,真的到我们云计算环境下是效果不好,为什么?首先第一个大部分是单机版,即便是在上面运营也是集中式的调度。
所以我们会对传统的算法进行一个并行化的设计重构,来实现真正的大数据以及支持TB,PB级的数据快速处理能力,我们也做了一个相关的,比如说数据的分析功能,其实基于底层的虚拟化建设之后,用户可以根据自己的需求选择不同的算法进行分类和分析挖掘,关键性是在中间的时候,可以进行一个断点,你可以检测到你虚拟机上的某一个进程的状态,这一点是大大的提高了现有的虚拟云端的虚拟化技术的不足。因为大家只能是检测到任务级,对于线程级的监控是没有的,这对于大数据用户的可视化的操作和展示上这是很好的亮点。我们做了几个测试,这是南京市出租车GPS的分析,我们哪一个时间点,可以对它进行很多的,我们叫做玩数据有很多的操作,某一个时间,比如说这些点都是一些上下客的点。这些出租车我们可以看到我们怎么样用这些数据。这些数据可以看到点密集的情况下,比如说某一个区域工作日的时候,这个时段应该是需要四百辆出租车,但是现在只有一百辆出租车,我们大概测算一下,交警部门会通过某种方式推送到出租车司机上建议往这个地方去,这是一种商业模式的探讨,也可以用在公安系统内部怎么样用我这里不详细讲了。另外是联想笔记本的网络,我们做了一个扒虫,从网上扒各大论坛上的数据,拿过来分析,我们有自己的关键词,哪一个话题比较热,可以进行一个分析,这是可以做舆情分析。其他的不再多说了。谢谢大家。
声明:凡注明为其它来源的信息均转自其它平台,目的在于传递更多信息,并不代表本站观点及立场。若有侵权或异议请联系我们。
千家智客微信公众号
扫描下方二维码,关注千家智客微信公众号(qianjiacom),随时随地知晓智能行业天下事!