智能家居

【论坛演讲】朱兵——基于大数据架构的云监控解决方案

14年05月16日     千家安防网

[导读]由千家品牌传媒主办,千家安防网承办的2014年安防行业发展新趋势论坛——杭州站的活动于5月15日下午13:30在杭州恒生科技园隆重开幕。

  2014年5月15日,由千家品牌传媒主办,千家安防网承办的“2014年安防行业发展新趋势论坛”在杭州恒生科技园成功举办。本次活动主题为:物联网与移动互联网时代下的安防行业新趋势,重点关注物联网、云计算与大数据。海康威视、宇视科技、大华股份、阿里云、悠络客等行业知名企业高层与近200名行业人士共同探讨移动互联网环境下,安防行业发展的新趋势。

  以下是宇视科技总工程师朱兵在现场演讲的精彩实录:

  主讲人:宇视科技总工程师 朱兵

  主题:基于大数据架构的云监控解决方案

              

  朱兵:大家下午好。我是宇视科技的总工,下面由我来跟大家分享宇视对大数据时代监控方案的理解。首先我们可以看到现在的数据量越来越大。我们做一个千字卡口的中型层次看大数据的变化。数据每天按照一个卡口1万字的话一天就会产生1千万条数据,包括照片数据、流量数据等。一个中型层次里会达到50亿架构数量值。如果卡口是1000到5000个甚至更大,会发生怎么样的变化。我们自己产生的应用一般数量值都是三到五级的数量级。在这种数量级上用传统的数据库技术可以处理的游刃有余,但是一旦往上扩大以后,就无法运行了。

  因为主要会面临三个问题,一是速度慢的问题,海量数据出现以后我们对时间的要求会更加敏感;第二是信息类型会增加,大数据的类型会增加,如果要做数据的挖掘、分析和碰撞,那么数据对信息的联网、信息的种类要求会更高。第三是像公安行业,警力增加要求是非常严格的,没有很多的警力名额,刑侦事件越来越多,现在的警力已经跟不上治安事件的发展,急需通过科技调警力。所以在大背景下,我们怎么去考虑未来的发展呢。

  我认为大数据不仅仅是一个技术的问题,很多时候应该是管理部门考虑的问题,因为他觉得他自己的性价太大了,怎样从大的数据量中、多类型的数据量中尽可能快的找到数据的价值。在这个过程中我们可以用四个纬度去总结它的整个基础方向:

  一、怎么解决材料数据的采集或者何种类型去采集;

  二、对这个数据进行有用的存储,有效的数据清洗;

  三、数据应用服务;

  四、数据可视化呈现;

  所以大数据不仅仅只是做一个数据划界,他跟高清的解决方案,跟我们做IP方案一样,每个环节都会考虑到。任何一个环节的缺失都会影响到一连串的过程。如果支持的数据量少、数据类别少,去做数据挖掘的时候就很难去展开一些数据应用。数据从采集到仓库要应用服务到可视化的过程中,我们看到如果没有IT的话,它就会从传统的数据到信息、知识点,如果没有安防人来看这个变化的话,它会从原始的信息到一个基础的半截化退回到有用的试点信息。所以我想我们如果讨论大数据,首先应该有一个整体的管理思想。在这思想中我们考虑它每个纬度,具体面对的管理问题,然后考虑如何去解决。我们宇视也是这样,我们不会考虑其中一个方向、一个面的问题。我们会整体的去考虑。

  到目前为止我们还没有发现在相关场所能够把安防行业的大数据、云计算、互联网这么多概念讲清楚。这是一个比较难的事情,那我也试图跟大家分享一下我们对大数据和安防是怎么结合的。

  第一是我们要解决数据采集的问题,这个数据采集不仅仅是我们现在摄像机的形式,包括它的变节,包括现在很多行业,安防已经跨界到了传感、互联网行业。很多行业安防只是管理的一个手段,这个时候就面临更多的像报警、门禁、传感器、GPS,甚至有可能不是物理事件的信息,一个虚拟事件的信息。这些信息它都是有关联性的。如果要去做挖掘、做应用。首先要能够去采集这些信息,所以针对这样的信息我们要有相应的一些硬件。硬件如果不自己去做的话,很有可能不能提供更优化的方案,包括要有一些采集的主见、各式各样的网关,这些网关可能会用云计算的技术,通过一些数据化来部署。

  当数据往上走的时候,我们能够实现对海量的数据包括视频本身的采集,要考虑数据的应用,其实数据的应用有两个流向,大多数的流向我们认为它首先要进行存储,数据也分为了几种类型,一种是我们传统的流媒体,视频、音频的数据。当然音视频数据也可以分两类,一种称之为原始数据,一种是我们在智能中端、智能的IPC或者人联设备采集到的我们认为有一定的结构化信息,比较基础的视频信息。这两个信息其实对设备的可靠性的要求是不一样的。前者原始视频可能90%是垃圾视频,但我们可能没有投入人力去做多份。但是后者不一样,它蕴藏的是一个跟案件关联的事情,我们可以更好的存储和更长的保持时间。所以具体的应用场景不一样,那所需要的存储设备、可靠性、系统的设计,包括存储的策略也是不一样的。

  那么除了视频之外还有就是数据库的存储,而数据库之前我们碰到的更多关系层的数据库,很清晰的行业关系的数据类型。但在今天这个时代来看,我们有大量的数据库,其实它是没有逻辑关系的,它并没有我们人体的一种数据逻辑,就像我们互联网发表一个言论,这个言论里面有一个清晰的关系吗?其实是没有的。这是跟我们传统的时代不一样的。

  还有一种数据不需要我们存储,我们就要进行处理,类似于智能视听分析,视听之后马上进行处理,处理好的结果你可以进行报警,你可以再进行存储。这类的数据我们称为“流失数据”,它一样要求面对未来海量的信息,不同类型的信息要更快的去响应的。那另外我们就要架构,在数据处理里面还有一个已经存储的数据,我们也要去应用吗?这一类应用跟原来的不一样,主要分为两种,一种是有点像百度的搜索引擎,有可能是非结构化的存储。也可能是一个资源市,要一些我们在大数据时代的搜索技术去进行应用。还有一类我们叫数据挖掘和数据分析,这类也是一个新的应用模式。在这种应用里面又分成了两类,一类我们讲数据挖掘,一类是对过去进行总结,就是之前做这么多事情,怎么去总结出一个规律来;还有一类去预测未来,叫预测性数据挖掘。这两类数据挖掘的应用用现在的架构来说,是可以跟我们刚才讲的这些数据库进行捆绑的。它将计算和存储之间合并在一起提高整个存储和计算的效率。

  大数据未来得价值更多的是我们凭什么认为它是有价值的,其实是我们的一些各式各样的建模的算法。我们要把我们的公安、交警、安防他们原来存在于脑里的各式各样经验、想法,转变成为模型,就像下棋一样,它这个棋谱在哪里?这个棋谱不是由我们的系统自动产生的,所以未来大数据其实我觉得很多是在于怎么深跟这个行业,并且将经验转化为我们在大数据里面自动运行的各式各样的算法。这种算法可能是我们有经验去总结,用一个分布式的高性能的计算和存储设备支持的。我想这是以后大数据要做的更多的事情。

  反过来实际上它不是一个高不可攀的东西,动则投入几百万才能去实践的东西,我们跟很多的客户交流的时候,他们的起步其实不高,基础平台可能就几台服务器,就可以发现几十亿的数据级别处理平台。但是未来有大量的软件,大量的服务,大量的把管理经验转变为由系统自动去运行的办法,这个是需要讨论的。这是我讲的数据的应用。

  在这个过程中会涉及到数据的传递、分发,我们一直希望在监控行业里面把实时视频、回放视频变得尽可能简单、尽可能标准。就像我们最早倡导用网络智能的能力来实现视频的分发,用存储里面IT上的标准协议架构来实现技术。在大数据的时代我们一样会强调数据的简洁、高效。

  整个大数据里会涉及非常多方面,再往上才是我们最终要看到的东西,可以提供一些基础的服务组建,可以提供一些支持各式各样显示的平台。最后通过开放的接口,不管是标准的接口还是SDK的接口,让我们的应用伙伴、商业伙伴上去做一些应用。而未来安防环境中我们认为会往三个方面走:一个就是城市管理,城市管理更多像公安和交警,早期叫治安监控,现在不叫治安监控,叫安防手段。还有一个方向就是在行业里面,在企业里面,它把安防作为行业管理的手段。最后一个就是传统的区域安防,它希望用单纯的数据来解决,它也希望做整合,做一些流程化的管理。

  基于这样的架构,宇视会考虑我们怎么来构建一个端到端的解决方案,因为可能任何一个层面的缺失,都有可能会导致整个系统效率的下降,或者缺失对研发的理解。在这样的架构下,我们再来把它和云计算结合起来。

  还有我们叫基础设施基础服务,包含了存储资源、计算资源,还有网络资源,凡是像智能分析,像设备接入,像基础服务实际上都是一种计算资源。这种计算资源我们都可以用一些云计算的技术来实现。但是安防不一样,我们不认为一个安全技术拿进去就可以马上运用于安防行业,因为它有一些专用存储,比如说我们做智能分析的时候,我们需要的计算资源和我们做传感器接受的时候,需要的计算资源硬件要求是不一样的。

  所以我们强调计算资源是根据类型来划分的。我们有一个叫数据记录技术,它专门解决这类计算的资源。比如我们在做智能分析的时候,它可能会利用到显卡,它也会用到我们叫智能分析的技术。但是即要做存储同时要基于存储的数据进行数据挖掘的时候,它把存储和计算合并在一起,所以不能将通用的计算拿过来马上用于安防。然后在数据分析和挖掘上面,我们即要考虑对已经存在的数据进行分析和挖掘,这类称为静态挖掘,同时还可以考虑对实时的视听流、海量的报警进行实时的、边流逝的数据处理连接。在数据传递方面考虑基于标准的IT网怎么去解决高质量,尽可能简单的数据架构。

  最后在呈现方面,数据是要拿来看的,如何把它看得更直观,基于二维、三纬的地图,基于一些流程化的东西,怎么去做一些中间界来支撑我们的合作伙伴,这里我们有一个叫可视化的中间界,从云计算20层到它的跨数层里面的所有中间地区,发现在大数据它都是有关联的。

  反过来看互联网,狭义的互联网主要是两端,一端传感,一端呈现。其实中间的传输、应用网络跟云计算的层面是相通的。各式各样的摄像机智能家居里各式各样的传感器,这类东西我们称之为互联网范畴。云计算的范畴可能有不一样的地方。这样的架构基本上可以把大数据的四层架构,云计算的三层架构,互联网的头端和前端的技术都串在一起,其实这就是我今天讲的重点。

  大数据互联网到底是怎么回事,他们之间有什么关系。后面简单讲一下我们在这几个领域做的事情,未来得前端是智能化的前端,智能化不是一个高不可及的东西,低端的产品我们也可以在前面去集成智能化的东西。一定要考虑视频后面的一些关系,比如人脸、车牌。以后的枪击、通缉、犯纪都是这样的现状,无非是专业行业需要更高的处理。

  不同类型的数据除了自身之外还要做大数据,一定要能够记录不同类型的数据,就是推相应的网关,一些集群的技术去针对安防的数据、定位的数据、业内系统的对接等等甚至离线的数据要去采集。有了数据前端,有了数据的记录之后,然后对数据这些本身的传递进行优化,优化的方向无外乎是在视频监控为主。视频本身就实话视频、存储视频。

  对实时视听我们有针对专网的一些主播技术化,这是之前也一直在讲的。一个视听专网完全可以用主观来进行分发。也包含了针对恶劣网络环境下的一种叫网络知识密技术,目前在5%的状况下保证都像这样的技术。对于存储的图像,我们会采用这种技术来提高存储的效率和条件。

  对于云存储我们也认为其实ID行业存储拿到安防行业来不一定适用,举个简单的例子,我们每天登陆网络,可能会用百度的网盘,它是中标准的接口。但是安防行业它面对的是摄像机,它有自己的前端,有自己的标准协议,如果你直接拿通用的云存储,那中间就要去做转化。所以首先第一点监控的云存储一定是可以去无缝的,无须任何外界设备去适应监控;第二个监控数据的敏感性跟ID行业的数据敏感性是不一样的。我们在ID行业能够做一部分数值,如果你经常换道,很可能你的数据库数据就丢失了,很可能这个系统就出问题。监控行业不是,监控行业换道有可能是丢了几小段的视频而已。所以这里有很多优化。

  接下来讲在大数据上,宇视也推出了UniHadoop技术,现在已经在多个城市进行运用了。监控的数据和互联网的数据模型还有很多不同。这种不同可能体现在逻辑的不一样,比如说我们有空间的逻辑,我们有线索的逻辑。基于这些逻辑我们可以进行一些简单的数据清理,然后进行数据挖掘,最后得到的结果是一个问题,不做同化、不做优化,整个效率会提升两到三倍。这是我们现在做的事情。我们也跟很多客户说其实现在是去启动大数据非常好的时机。第一我们已经有标准了,去采集更多的产品。现在数据的整合已经有条件了,各个商场基于Hadoop的优化已经到了一个实践阶段,都可以投入使用了。但是我们得把公安的一些好的想法、经验、战法尽快的转成我们大数据里面的模型,这才能我们当务之急要做的事情。

  每做一个模型,就会发现每一件事情由人工变成计算机,就可以提高效率,渐进式的提高我们这个系统的大数据架构。反之其他行业也是一样,大家都可以启动这个事情,不是很难,难在后面的实践,怎么把一些思想的东西跟数学的东西结合在一起,这是需要花时间的。

  对数据清洗的话我们也在做智能的架构,没有一个算法拿到线上就能够用,它需要一个很好的学习过程,所以智能的核心竞争力在于算法本身,而在于学习能力上。有尽可能多的样本,有好的学习机制,才能够快速的在学习里面应用一些基础知识的模型。这是我想说的智能分析里面要考虑得问题。就像病毒库一样,病毒库其实并不是难点,而对于整个病毒库的机制是难点。

  最后是在可视化方面,宇视在软件方面是非常开放的,在数据库、数据访问接口上我们可以做到不要任何人去建,全用别的没问题。我们尽可能把工具、引擎做好。把它的本身具备的能力做好,类似于像二维的、三维的,类似于像流程化的东西,极致的做好,把合作伙伴的经验利用平台尽快变成自己的东西,这是我们非常重视的环节。有好的引擎最后是需要显示的,现在迫在眉睫的事情就是这个,目前我们也提供了从智能手机到专业的大屏,大屏包含PD所有的手段,我们都提供了控制解决的方案和开放的接口,来实现统一的记录管理。

  最后看看大数据在我们的平安工程里会有什么变化。在大数据的架构下一个是存储,我们会建立平安数据库,会把原来的原始视频或者原来的视频升级,从原来的视频到二进化的基础视频,再到后端的结合实战性的视频。这种变化就是数据不断浓缩、架构的过程。视频会分级采用不同的技术来进行存储,然后根据需要去部署大数据分布式计算的设备。用于检索、挖掘、预测、总结。

  有了好的基础环境之后,会发现这个系统能力太强,从平台来说,网络很好,我认为公安的视听专网是最好的网络,完全可以用这个网变成未来我们城市可视化的互联网,紧接着这个网络的平台就从原来只是公安的平台变成了一个城市的互联网平台。现在很多城市公安是做智慧城市主导的,因为他们有最好的技术。基于他们的设施、网络平台,通过政府的介入很容易去扩展成为整个城市的平台。所以就会出现从传统的平安工程到智慧型的平安工程,最后到智慧型城市这样的一个演变过程。

  记录的类型也会从公安之间到社会资源之间甚至到民用到小微企业资源的整合。应用的部门也会从公安部门到整个城市各式各样的管理部,所以未来我们可以展望平安城市的发展趋势。谢谢大家!

声明:凡注明为其它来源的信息均转自其它平台,目的在于传递更多信息,并不代表本站观点及立场。若有侵权或异议请联系我们。

千家智客微信公众号

扫描下方二维码,关注千家智客微信公众号(qianjiacom),随时随地知晓智能行业天下事!

编辑:钟丽

相关推荐

100/100字符

全部评论(0)