盤點大數據時代下的三種存儲架構
發布時間:2015-04-17 責任編輯:echolady
【導讀】雲服務、社交網絡、移動互聯、數shu據ju時shi代dai等deng應ying用yong悄qiao無wu聲sheng息xi的de融rong入ru人ren們men的de生sheng活huo,現xian如ru今jin移yi動dong互hu聯lian行xing業ye更geng新xin速su度du太tai快kuai,由you此ci對dui數shu據ju中zhong心xin也ye有you著zhe嚴yan格ge的de要yao求qiu。存cun儲chu架jia構gou已yi經jing成cheng為weiIT行業的核心,各行各業,各個領域,存儲架構的應用都得到了推廣和普及。
傳統的數據中心無論是在性能、效率,還是在投資收益、安全,已經遠遠不能滿足新興應用的需求,數據中心業務急需新型大數據處理中心來支撐。除了傳統的高可靠、高冗餘、綠色節能之外,新型的大數據中心還需具備虛擬化、模塊化、彈性擴展、自(zi)動(dong)化(hua)等(deng)一(yi)係(xi)列(lie)特(te)征(zheng),才(cai)能(neng)滿(man)足(zu)具(ju)備(bei)大(da)數(shu)據(ju)特(te)征(zheng)的(de)應(ying)用(yong)需(xu)求(qiu)。這(zhe)些(xie)史(shi)無(wu)前(qian)例(li)的(de)需(xu)求(qiu),讓(rang)存(cun)儲(chu)係(xi)統(tong)的(de)架(jia)構(gou)和(he)功(gong)能(neng)都(dou)發(fa)生(sheng)了(le)前(qian)所(suo)未(wei)有(you)的(de)變(bian)化(hua)。
基於大數據應用需求,“應用定義存儲”概念被提出。存儲係統作為數據中心最核心的數據基礎,不再僅是傳統分散的、單一的底層設備。除了要具備高性能、高安全、高可靠等特征之外,還要有虛擬化、並行分布、自動分層、彈性擴展、異構資源整合、全局緩存加速等多方麵的特點,才能滿足具備大數據特征的業務應用需求。
尤其在雲安防概念被熱炒的時代,隨著高清技術的普及,720P、1080P隨處可見,智能和高清的雙向需求、動輒500W、800W甚至上千萬更高分辨率的攝像機麵市,大數據對存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求,需要充分考慮功能集成度、數據安全性、數據穩定性,係統可擴展性、性能及成本各方麵因素。
目前市場上的存儲架構如下:
(1)基於嵌入式架構的存儲係統
節點NVRjiagouzhuyaomianxiangxiaoxinggaoqingjiankongxitong,gaoqingqianduanshuliangyibanzaijishiluyinei。xitongjianshezhongmeiyoudaxingdecunchujiankongzhongxinjifang,cunchurongliangxiangduijiaoxiao,yonghutiyandu、係統功能集成度要求較高。在市場應用層麵,超市、店鋪、小型企業、政法行業中基本管理單元等應用較為廣泛。
(2)基於X86架構的存儲係統
平台SAN架構主要麵向中大型高清監控係統,前端路數成百上千甚至上萬。一般多采用IPSAN或FCSAN搭建高清視頻存儲係統。作為監控平台的重要組成部分,前端監控數據通過錄像存儲管理模塊存儲到SAN中。
此種架構接入高清前端路數相對節點NVR有了較高提升,具備快捷便利的可擴展性,技術成熟。對於IPSAN而言,雖然在ISCSI環節數據並發讀寫傳輸速率有所消耗,但其憑借擴展性良好、硬件平台通用、海量數據可充分共享等優點,仍然得到很多客戶的青睞。FCSAN在行業用戶、封閉存儲係統中應用較多,比如縣級或地級市高清監控項目,大數據量的並發讀寫對千兆網絡交換提出了較大的挑戰,但應用FCSAN構建相對獨立的存儲子係統,可以有效解決上述問題。
麵對視頻監控係統大文件、隨機讀寫的特點,平台SAN架構係統不同存儲單元之間的數據共享冗餘方麵還有待提高;從高性能服務器轉發視頻數據到存儲空間的策略,從係統架構而言也增加了隱患故障點、ISCSI帶寬瓶頸導致無法充分利用硬件數據並發性能、接入前端數據較少。上述問題催生了平台NVR架構解決方案。
該方案在係統架構上省去了存儲服務器,消除了上文提到的性能瓶頸和單點故障隱患。大幅度提高存儲係統的寫入和檢索速度;同時也徹底消除了傳統文件係統由於供電和網絡的不穩定帶來的文件係統損壞等問題。
平台NVRzhongcunchudeshujuketongshigongduogekehuduansuishizhaxun,dianbo,dangyonghuxuyaozhakanduogeyibaocundeshipinjiankongshujushi,ketongguoshouquandeshipinjiankongkehuduanzhijiezhaxunbingdianboxiangyingweizhideshipinjiankongshujujinxinglishituxiangdezhakan。youyushujuguanlifuwuqijuyoujiankongxitongsuoyoujiankongdiandeluxiangwenjiandesuoyin,yincitongguopingtaiCMS授權,視頻監控客戶端可以查詢並點播整個監控係統上所有監控點的數據,這個過程對用戶而言也是透明的。
(3)基於雲技術的存儲方案
當前,安防行業可謂“雲”山“物”罩。隨著視頻監控的高清化和網絡化,存儲和管理的視頻數據量已有海量之勢,雲存儲技術是突破IP高清監控存儲瓶頸的重要手段。雲存儲作為一種服務,在未來安防監控行業有著客觀的應用前景。
與傳統存儲設備不同,雲存儲不僅是一個硬件,而是一個由網絡設備、存儲設備、服務器、軟件、接入網絡、用戶訪問接口以及客戶端程序等多個部分構成的複雜係統。該係統以存儲設備為核心,通過應用層軟件對外提供數據存儲和業務服務。
一般分為存儲層、基礎管理層、應用接口層以及訪問層。存儲層是雲存儲係統的基礎,由存儲設備(滿足FC協議、iSCSI協議、NAS協議等)構gou成cheng。基ji礎chu管guan理li層ceng是shi雲yun存cun儲chu係xi統tong的de核he心xin,其qi擔dan負fu著zhe存cun儲chu設she備bei間jian協xie同tong工gong作zuo,數shu據ju加jia密mi,分fen發fa以yi及ji容rong災zai備bei份fen等deng工gong作zuo。應ying用yong接jie口kou層ceng是shi係xi統tong中zhong根gen據ju用yong戶hu需xu求qiu來lai開kai發fa的de部bu分fen,根gen據ju不bu同tong的de業ye務wu類lei型xing,可ke以yi開kai發fa出chu不bu同tong的de應ying用yong服fu務wu接jie口kou。訪fang問wen層ceng指zhi授shou權quan用yong戶hu通tong過guo應ying用yong接jie口kou來lai登deng錄lu、享受雲服務。其主要優勢在於:硬件冗餘、節能環保、係統升級不會影響存儲服務、海量並行擴容、強大的負載均衡功能、統一管理、統一向外提供服務,管理效率高,雲存儲係統從係統架構、文件結構、高gao速su緩huan存cun等deng方fang麵mian入ru手shou,針zhen對dui監jian控kong應ying用yong進jin行xing了le優you化hua設she計ji。數shu據ju傳chuan輸shu可ke采cai用yong流liu方fang式shi,底di層ceng采cai用yong突tu破po傳chuan統tong文wen件jian係xi統tong限xian製zhi的de流liu媒mei體ti數shu據ju結jie構gou,大da幅fu提ti高gao了le係xi統tong性xing能neng。
高清監控存儲是一種大碼流多並發寫為主的存儲應用,對性能、bingfaxinghewendingxingdengfangmianyouhengaodeyaoqiu。gaicunchujiejuefangancaiyongdutededahuancunshunxuhuasuanfa,baduolusuijibingfafangwenbianweishunxufangwen,jiejueleyingpancitouyinpinfanxundaoerdaozhidexingnengxunsuxiajiangheyingpanshoumingsuoduandewenti。
針對係統中會產生PB級(ji)海(hai)量(liang)監(jian)控(kong)數(shu)據(ju),存(cun)儲(chu)設(she)備(bei)的(de)數(shu)量(liang)達(da)數(shu)十(shi)台(tai)上(shang)百(bai)台(tai),因(yin)此(ci)管(guan)理(li)方(fang)式(shi)的(de)科(ke)學(xue)高(gao)效(xiao)顯(xian)得(de)十(shi)分(fen)重(zhong)要(yao)。雲(yun)存(cun)儲(chu)可(ke)提(ti)供(gong)基(ji)於(yu)集(ji)群(qun)管(guan)理(li)技(ji)術(shu)的(de)多(duo)設(she)備(bei)集(ji)中(zhong)管(guan)理(li)工具,具有設備集中監控、集群管理、係統軟硬件運行狀態的監控、主動報警,圖像化係統檢測等功能。在海量視頻存儲檢索應用中,檢索性能尤為重要。傳統文件係統中,文件檢索采用的是“目錄-》子目錄-》文件-》定位”的(de)檢(jian)索(suo)步(bu)驟(zhou),在(zai)海(hai)量(liang)數(shu)據(ju)的(de)高(gao)清(qing)視(shi)頻(pin)監(jian)控(kong),目(mu)錄(lu)和(he)文(wen)件(jian)數(shu)量(liang)十(shi)分(fen)可(ke)觀(guan),這(zhe)種(zhong)檢(jian)索(suo)模(mo)式(shi)的(de)效(xiao)率(lv)就(jiu)會(hui)大(da)打(da)折(zhe)扣(kou)。采(cai)用(yong)序(xu)號(hao)文(wen)件(jian)定(ding)位(wei)可(ke)以(yi)有(you)效(xiao)解(jie)決(jue)該(gai)問(wen)題(ti)。
雲yun存cun儲chu可ke以yi提ti供gong非fei常chang高gao的de的de係xi統tong冗rong餘yu和he安an全quan性xing。當dang在zai線xian存cun儲chu係xi統tong出chu現xian故gu障zhang後hou,熱re備bei機ji可ke以yi立li即ji接jie替ti服fu務wu,當dang故gu障zhang恢hui複fu時shi,服fu務wu和he數shu據ju回hui遷qian;若故障機數據需要調用,可以將故障機的磁盤插入到冷備機中,實現所有數據的立即可用。
對(dui)於(yu)高(gao)清(qing)監(jian)控(kong)係(xi)統(tong),隨(sui)著(zhe)監(jian)控(kong)前(qian)端(duan)的(de)增(zeng)加(jia)和(he)存(cun)儲(chu)時(shi)間(jian)的(de)延(yan)長(chang),擴(kuo)展(zhan)能(neng)力(li)十(shi)分(fen)重(zhong)要(yao)。市(shi)場(chang)中(zhong)已(yi)有(you)友(you)商(shang)可(ke)提(ti)供(gong)單(dan)純(chun)針(zhen)對(dui)容(rong)量(liang)的(de)擴(kuo)展(zhan)櫃(gui)擴(kuo)展(zhan)模(mo)式(shi)和(he)性(xing)能(neng)容(rong)量(liang)同(tong)步(bu)線(xian)性(xing)擴(kuo)展(zhan)的(de)堆(dui)疊(die)擴(kuo)展(zhan)模(mo)式(shi)。
雲存儲係統除上述優點之外,在平台對接整合、業務流程梳理、視頻數據智能分析深度挖掘及成本方麵都將麵臨挑戰。承建大型係統、構建雲存儲的商業模式也亟待創新。受限於寬帶網絡、web2.0技術、應用存儲技術、文件係統、P2P、數據壓縮、CDN技術、虛擬化技術等的發展,未來雲存儲還有很長的路要走。
相關閱讀:
選型必備:嵌入式應用中存儲器的選型秘籍
專家發言:快閃存儲器儲存陣列強勁成長
專家分享:DDR3多端口讀寫存儲係統用FPGA如何設計?
特別推薦
- 噪聲中提取真值!瑞盟科技推出MSA2240電流檢測芯片賦能多元高端測量場景
- 10MHz高頻運行!氮矽科技發布集成驅動GaN芯片,助力電源能效再攀新高
- 失真度僅0.002%!力芯微推出超低內阻、超低失真4PST模擬開關
- 一“芯”雙電!聖邦微電子發布雙輸出電源芯片,簡化AFE與音頻設計
- 一機適配萬端:金升陽推出1200W可編程電源,賦能高端裝備製造
技術文章更多>>
- 算力爆發遇上電源革新,大聯大世平集團攜手晶豐明源線上研討會解鎖應用落地
- 築基AI4S:摩爾線程全功能GPU加速中國生命科學自主生態
- 一秒檢測,成本降至萬分之一,光引科技把幾十萬的台式光譜儀“搬”到了手腕上
- AI服務器電源機櫃Power Rack HVDC MW級測試方案
- 突破工藝邊界,奎芯科技LPDDR5X IP矽驗證通過,速率達9600Mbps
技術白皮書下載更多>>
- 車規與基於V2X的車輛協同主動避撞技術展望
- 數字隔離助力新能源汽車安全隔離的新挑戰
- 汽車模塊拋負載的解決方案
- 車用連接器的安全創新應用
- Melexis Actuators Business Unit
- Position / Current Sensors - Triaxis Hall
熱門搜索





