安防大數(shù)據(jù)的挑戰(zhàn)

據(jù)IDC預(yù)測(cè)，2020年全球的數(shù)據(jù)總量將達(dá)到35ZB，并以每?jī)赡攴�一番的速度在急速的增長(zhǎng)。大數(shù)據(jù)時(shí)代的數(shù)據(jù)不僅僅是數(shù)據(jù)總量的龐大，同時(shí)也是種類的龐大。安防行業(yè)有著海量的視頻、圖片數(shù)據(jù)，一個(gè)大型城市每天產(chǎn)生的數(shù)據(jù)就可以達(dá)到1PB，同時(shí)還有飛速增長(zhǎng)的特征數(shù)據(jù)，包括卡口過(guò)車數(shù)據(jù)、人臉抓拍數(shù)據(jù)、報(bào)警數(shù)據(jù)等等。繁多的數(shù)據(jù)種類、PB級(jí)的數(shù)據(jù)量、低價(jià)值密度的視頻數(shù)據(jù)、快速的數(shù)據(jù)更新處理需求，這些特性都預(yù)示著安防行業(yè)已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代。

從安防行業(yè)數(shù)據(jù)處理流程上看，數(shù)據(jù)經(jīng)歷了采集->傳輸->存儲(chǔ)->處理這幾個(gè)過(guò)程，存儲(chǔ)和處理需要大量的服務(wù)器，占用了安防系統(tǒng)80%以上的服務(wù)器資源，也是安防企業(yè)需要重點(diǎn)需要考慮的問(wèn)題。傳統(tǒng)的安防系統(tǒng)架構(gòu)比較混雜，各個(gè)廠家各個(gè)時(shí)期的設(shè)備，各種技術(shù)方案，各種平臺(tái)系統(tǒng)交織在一起，沒(méi)有清晰的層次，而且都是以業(yè)務(wù)為中心，數(shù)據(jù)的存儲(chǔ)和處理水平還比較低，發(fā)展已經(jīng)遇到一定瓶頸。云計(jì)算和云存儲(chǔ)無(wú)疑是安防大數(shù)據(jù)的存儲(chǔ)和處理過(guò)程最強(qiáng)有力的技術(shù)支撐，這兩種技術(shù)的出發(fā)點(diǎn)，就是通過(guò)分布式技術(shù)，把商業(yè)級(jí)的計(jì)算和存儲(chǔ)資源組成一個(gè)集群，實(shí)現(xiàn)低成本，高可靠，彈性擴(kuò)展，易于管理和使用的解決方案，替代傳統(tǒng)的小型機(jī)、關(guān)系型數(shù)據(jù)庫(kù)、高端磁盤陣列組成的方案。

其中，云計(jì)算是一種大數(shù)據(jù)處理技術(shù)，也是一種按使用量付費(fèi)的模式，它提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問(wèn)，進(jìn)入可配置的計(jì)算資源共享池，資源包括網(wǎng)絡(luò)，服務(wù)器，存儲(chǔ)，應(yīng)用軟件，服務(wù)等類型，這些資源能夠被快速提供，只需投入很少的管理工作，或與服務(wù)供應(yīng)商進(jìn)行很少的交互。云計(jì)算通常意味著超大規(guī)模、虛擬化。云存儲(chǔ)則在云計(jì)算概念上延伸和發(fā)展出來(lái)的一個(gè)新的概念，是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)。云存儲(chǔ)對(duì)使用者來(lái)講，不是指某一個(gè)具體的設(shè)備或服務(wù)器，而是指一個(gè)由許許多多個(gè)存儲(chǔ)設(shè)備和服務(wù)器所構(gòu)成的集合體。使用者使用云存儲(chǔ)，實(shí)際上用的是整個(gè)云存儲(chǔ)系統(tǒng)帶來(lái)的一種數(shù)據(jù)訪問(wèn)服務(wù)。

按照Gartner技術(shù)成熟曲線勾勒的趨勢(shì)，云計(jì)算和云存儲(chǔ)技術(shù)已經(jīng)進(jìn)入了成熟期，互聯(lián)網(wǎng)巨頭已經(jīng)搭建了各種超大規(guī)模的數(shù)據(jù)中心，并開(kāi)始影響人們生活的方方面面，而在安防行業(yè)的應(yīng)用才剛剛開(kāi)始�？紤]現(xiàn)有安防系統(tǒng)存在的問(wèn)題和大數(shù)據(jù)的涌現(xiàn)，我們認(rèn)為云計(jì)算和云存儲(chǔ)技術(shù)完全有潛力解決這些問(wèn)題，幫助企業(yè)和用戶一起應(yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn)，并實(shí)現(xiàn)安防系統(tǒng)的重構(gòu)。

大數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)

隨著安防行業(yè)的不斷發(fā)展，日益豐富的信息采集途徑，多樣化的業(yè)務(wù)需求，以及各種行業(yè)各種外圍業(yè)務(wù)系統(tǒng)，都要求安防云存儲(chǔ)系統(tǒng)具有多業(yè)務(wù)支撐能力，云存儲(chǔ)是最好的解決方案。云存儲(chǔ)的核心是分布式文件系統(tǒng)，實(shí)現(xiàn)統(tǒng)一的命名空間、負(fù)載均衡、數(shù)據(jù)容錯(cuò)、靈活擴(kuò)展、高性能的讀寫能力等。云存儲(chǔ)可以將所有業(yè)務(wù)系統(tǒng)的存儲(chǔ)模塊統(tǒng)一到同一個(gè)存儲(chǔ)平臺(tái)上，支撐各種業(yè)務(wù)需求，提供了高度的數(shù)據(jù)共享能力，避免了存儲(chǔ)和應(yīng)用的耦合，降低了重復(fù)投資的風(fēng)險(xiǎn)。

隨著IP化、高清化、智能化的不斷演進(jìn)，系統(tǒng)存儲(chǔ)空間需求日益膨脹，存儲(chǔ)的可靠性和成本也成為最重要的考量，在這兩個(gè)方面，用于數(shù)據(jù)容錯(cuò)的Erasure Code算法都給出了滿意的回答，是公認(rèn)的下一代容錯(cuò)算法機(jī)制，可以代替?zhèn)鹘y(tǒng)的RAID方式和副本方式，一些主流的公有云存儲(chǔ)系統(tǒng)都已經(jīng)開(kāi)始采用EC算法。EC算法可以讓云存儲(chǔ)系統(tǒng)容忍多臺(tái)設(shè)備或者多塊硬盤的同時(shí)損壞，從而大大加強(qiáng)了系統(tǒng)的可靠性，同時(shí)可以做到和RAID5，RAID6同一個(gè)級(jí)別的空間效率。Erasure Code技術(shù)在安防行業(yè)云存儲(chǔ)的應(yīng)用，意味著更高的數(shù)據(jù)可靠性，更好的成本控制。

系統(tǒng)規(guī)模變大之后，其管理也需要投入很多資源。對(duì)于一個(gè)有著成千上萬(wàn)臺(tái)設(shè)備的系統(tǒng)而言，配置管理、擴(kuò)展和出錯(cuò)處理的自動(dòng)化顯得非常重要。云存儲(chǔ)系統(tǒng)可以很好的解決此類問(wèn)題，以EMC Isilon為例，1分鐘就可以完成系統(tǒng)擴(kuò)展，10分鐘完成系統(tǒng)初始化安裝和配置。出錯(cuò)處理亦是如此，在設(shè)備損壞后，云存儲(chǔ)可以保證業(yè)務(wù)不受任何影響，只需將損壞的設(shè)備更換掉即可，后臺(tái)的數(shù)據(jù)遷移全部由系統(tǒng)自動(dòng)處理。

在大量數(shù)據(jù)讀寫的時(shí)候，還需要考慮到系統(tǒng)的性能能否足夠支持上層各種數(shù)據(jù)業(yè)務(wù)，比如錄像，抓圖，回放，視頻分析等等，特別是視頻分析，需要以最快的速度讀出原始視頻數(shù)據(jù)，從海量數(shù)據(jù)中發(fā)掘極低密度的價(jià)值，最存儲(chǔ)系統(tǒng)是一個(gè)很大的考驗(yàn)。云存儲(chǔ)系統(tǒng)有著天然的帶寬聚合的能力。在數(shù)據(jù)寫入時(shí)，用戶的數(shù)據(jù)被系統(tǒng)打散之后存在眾多的存儲(chǔ)節(jié)點(diǎn)中，整個(gè)系統(tǒng)的網(wǎng)絡(luò)帶寬和磁盤IO都可以得到充分利用。通過(guò)帶寬聚合帶來(lái)的高性能，可以實(shí)現(xiàn)文件的高速訪問(wèn)，極大提升智能分析等上層業(yè)務(wù)的數(shù)據(jù)處理能力。

當(dāng)前市面上有一些所謂的監(jiān)控云存儲(chǔ)系統(tǒng)，一般都只存儲(chǔ)視頻或圖像業(yè)務(wù)相關(guān)的數(shù)據(jù)，和業(yè)務(wù)是緊密耦合的，數(shù)據(jù)可靠性和訪問(wèn)速度也得不到保證。在舊的時(shí)期，這種系統(tǒng)滿足了基本的數(shù)據(jù)存儲(chǔ)需求，但長(zhǎng)遠(yuǎn)來(lái)看，是無(wú)法適應(yīng)安防大數(shù)據(jù)的應(yīng)用需求的。這類系統(tǒng)沒(méi)有核心的分布式文件系統(tǒng)支持，不是真正的云存儲(chǔ)系統(tǒng)，云存儲(chǔ)是實(shí)現(xiàn)安防大數(shù)據(jù)有效存儲(chǔ)的必由之路。

典型云存儲(chǔ)架構(gòu)

大數(shù)據(jù)實(shí)時(shí)處理框架

安防系統(tǒng)有大量的視頻圖像數(shù)據(jù)，傳統(tǒng)的使用方式都是事后靠人工來(lái)查閱，效率極低。安防系統(tǒng)的終極目標(biāo)應(yīng)該是及時(shí)制止犯罪，實(shí)現(xiàn)公共安全，所以需要對(duì)數(shù)據(jù)做到實(shí)時(shí)處理，甚至能建立預(yù)測(cè)模型，云計(jì)算就是實(shí)現(xiàn)這種目標(biāo)的工具。舉幾個(gè)例子，美國(guó)洛杉磯警察局運(yùn)用云計(jì)算技術(shù)，對(duì)歷史卷宗的分析，形成了預(yù)測(cè)犯罪發(fā)生地的模型；微軟運(yùn)用云計(jì)算技術(shù)，將911的歷史數(shù)據(jù)和監(jiān)控視頻相結(jié)合，可以成功預(yù)測(cè)某地的犯罪。

云計(jì)算系統(tǒng)可以劃分為IaaS，PaaS，SaaS幾個(gè)層次。IaaS主要完成了物理資源虛擬化工作，解除了業(yè)務(wù)和物理設(shè)備的關(guān)聯(lián)，使得業(yè)務(wù)專注于業(yè)務(wù)本身，將資源管理交給了云計(jì)算平臺(tái)。虛擬化的作用是顯而易見(jiàn)的，它可以將業(yè)務(wù)變得彈性化，可以根據(jù)業(yè)務(wù)需求，虛擬出相應(yīng)的計(jì)算資源給相應(yīng)的應(yīng)用。比如某體育館有演唱會(huì)，即可對(duì)體育館周邊的視頻數(shù)據(jù)進(jìn)行重點(diǎn)智能化分析，白天可對(duì)交通十字路口的視頻數(shù)據(jù)實(shí)時(shí)處理，晚上則可重點(diǎn)處理娛樂(lè)場(chǎng)所周邊的視頻數(shù)據(jù)。

但是，IaaS只是一個(gè)基礎(chǔ)，安防行業(yè)云計(jì)算的核心價(jià)值體現(xiàn)在SaaS層。它需要按照分布式的思維，重新實(shí)現(xiàn)了安防大數(shù)據(jù)處理的業(yè)務(wù)邏輯，一方面要對(duì)業(yè)務(wù)進(jìn)行解構(gòu)，另一方要和底層的IaaS，PaaS緊密結(jié)合，形成相對(duì)垂直的系統(tǒng)形態(tài)。在云計(jì)算服務(wù)化之后，還可以體現(xiàn)出很好的規(guī)模效應(yīng)。比如，目前的交通系統(tǒng)，由于通信系統(tǒng)和發(fā)布系統(tǒng)一般都是獨(dú)立的專用系統(tǒng)，成本高并且整個(gè)系統(tǒng)相對(duì)封閉，影響了智能交通系統(tǒng)的普及。采用云計(jì)算模式以后，對(duì)于一些周邊地區(qū)而言，只需要租用相應(yīng)的智能交通云計(jì)算服務(wù)即可。這樣就可以大大降低了智能交通系統(tǒng)的建設(shè)門檻，有利于智能交通系統(tǒng)的普及。隨著更多用戶的加入, 進(jìn)一步攤薄系統(tǒng)的建設(shè)成本，成本的降低又會(huì)帶來(lái)更多的用戶，通過(guò)這種良性循環(huán)，就可以加快智能交通系統(tǒng)的普及。

在多中安防大數(shù)據(jù)處理業(yè)務(wù)形態(tài)中，智能交通是安防大數(shù)據(jù)是目前比較熱門的方向。一個(gè)大型城市3個(gè)月的過(guò)車歷史記錄就達(dá)到1800億條，每天20億條記錄。如此龐大的數(shù)據(jù)量給傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和分析計(jì)算都來(lái)了巨大的壓力。傳統(tǒng)系統(tǒng)難以支撐，容量有限，處理速度有限，擴(kuò)展困難。云計(jì)算系統(tǒng)可以很好的解決這個(gè)問(wèn)題，實(shí)現(xiàn)性能和設(shè)備數(shù)量線性擴(kuò)展，從而實(shí)現(xiàn)了千億級(jí)數(shù)據(jù)秒級(jí)查詢的能力。這種高速檢索能力，給刑偵、交通服務(wù)都帶了巨大的好處，使得類似套牌車等大數(shù)據(jù)量查詢運(yùn)算的應(yīng)用變得有可能。

典型的大數(shù)據(jù)實(shí)時(shí)分析系統(tǒng)

不管是何種安防業(yè)務(wù)，其大數(shù)據(jù)的處理流程是比較類似的，可以提煉出如圖中所描述的處理框架。首先通過(guò)云存儲(chǔ)將大量的圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)起來(lái)，并提供統(tǒng)一的訪問(wèn)形式，數(shù)據(jù)共享的能力。然后運(yùn)用云計(jì)算的視頻摘要分析能力，從視頻圖像數(shù)據(jù)中提取人和車等元數(shù)據(jù)信息，變成結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在分布式數(shù)據(jù)庫(kù)中。通過(guò)快速檢索技術(shù)，可以提供秒級(jí)檢索能力，為實(shí)時(shí)決策提供數(shù)據(jù)支撐。通過(guò)離線分析在結(jié)構(gòu)化數(shù)據(jù)上進(jìn)行數(shù)據(jù)挖掘，將數(shù)據(jù)進(jìn)行聚類，并最終形成數(shù)據(jù)模型，對(duì)未來(lái)的事情進(jìn)行預(yù)測(cè)。同時(shí)云計(jì)算的實(shí)時(shí)計(jì)算又能根據(jù)模型來(lái)提供實(shí)時(shí)告警。以上就是安防大數(shù)據(jù)完整的數(shù)據(jù)流。（作者系浙江大華技術(shù)股份有限公司研發(fā)中心云計(jì)算產(chǎn)品總監(jiān)）