高效的工業生產需要機器視覺給出快速又精準的決策

 

在生產線上用於測量的相機要能快速判斷液位
、尺(chi)寸(cun)

，用(yong)來(lai)定(ding)位(wei)的(de)相(xiang)機(ji)係(xi)統(tong)要(yao)能(neng)快(kuai)速(su)準(zhun)確(que)的(de)給(gei)出(chu)正(zheng)確(que)的(de)物(wu)品(pin)位(wei)置(zhi)，及(ji)時(shi)通(tong)知(zhi)機(ji)械(xie)手(shou)臂(bi)在(zai)哪(na)裏(li)尋(xun)找(zhao)抓(zhua)取(qu)物(wu)品(pin)
，用(yong)作(zuo)計(ji)件(jian)檢(jian)驗(yan)的(de)相(xiang)機(ji)係(xi)統(tong)要(yao)能(neng)夠(gou)快(kuai)速(su)計(ji)算(suan)出(chu)數(shu)量(liang)，是(shi)否(fou)溢(yi)出(chu)，用(yong)作(zuo)解(jie)碼(ma)識(shi)別(bie)的(de)相(xiang)機(ji)係(xi)統(tong)要(yao)能(neng)夠(gou)快(kuai)速(su)準(zhun)確(que)識(shi)別(bie)二(er)維(wei)碼(ma)，字(zi)符(fu)信(xin)息(xi)等(deng)。相(xiang)機(ji)係(xi)統(tong)做(zuo)出(chu)快(kuai)速(su)精(jing)準(zhun)決(jue)策(ce)的(de)關(guan)鍵(jian)就(jiu)是(shi)圖(tu)像(xiang)能(neng)夠(gou)清(qing)晰(xi)準(zhun)確(que)的(de)提(ti)供(gong)這(zhe)些(xie)信(xin)息(xi)，不(bu)同(tong)的(de)檢(jian)測(ce)應(ying)用(yong)對(dui)圖(tu)像(xiang)的(de)分(fen)辨(bian)率(lv)、清晰度、噪聲、以及相機的幀率
、係統成本等都有不同的要求。

 

隨著工業自動化的發展，檢測種類的多樣性，驅使圖像傳感器不斷的更新換代，工藝一直在突破提升。這個發展從安森美半導體的幾代CMOS產品係列中可見一斑：在2005年推出的LUPA係列開始有了高速輸出接口，接下來2010年推出的VITA係列在全局快門性能上有了很大了提升，支持卷簾快門和全局快門兩種模式
，在2014年推出的PYTHON係列增加了像素內圖像矯正
，有效的優化了全局快門傳感器的噪聲性能，2019年剛推出的XGSxilieshiyonglejianshaojiediandexiangsugongyiduizaoshenghetuxiangyizhixinggengshiyoulefeiyuebandetisheng

，jinhouansenmeibandaotijianghuizaigongyejituxiangchuanganqishiyongbeizhaoshiheduizhanshigongyilaituidongtuxiangchuanganqidejinyibufazhan。

 

suizhegongyidetisheng，tuxiangchuanganqidexiangyuanyuelaiyuexiao，dantaquekeyidadaodachicunxiangyuandetuxiangxiaoguo，zhejiushichuanganqidefenbianlvkeyiyuezuoyueda
，daikuanyeyuelaiyuegao，yetuidonglezhengtixiangjixitongdetishenghefazhan，laimanzugongyeshengchankuaisujingquedetuiduanhejuece。

 

人工智能是新工具

 

快速精確的決策需求推動整個生態係統來實現高級數據收集和推斷，提供了真正進入工業4.0的機會，人工智能(AI)正是需要的新工具
，用來管理工業係統成像不斷增長的數據集。AI可以通過自適應製造、自動質量控製、預測性維護等方案有效地應對當今製造業麵臨的挑戰，如工廠中的PCB板檢測
、鈑金缺陷檢測、食品衛生檢測、零部件均勻度檢測、平板檢測的應用中，工廠操作員的疲勞會影響對產品質量的一致性評估
，但是機器視覺相機和深度學習解決了這個問題。如今，AI已用於60％以上的計算機視覺應用中，而AI在製造應用中的增長已超過50％年複合增長率。

 

工業中AI應用的發展給圖像傳感器帶來了更高的挑戰，包括推動了全局快門性能
、高速拍攝、高分辨率、使用不可見光譜區域和三維體積深度提供的信息進行關鍵推斷
，以及神經網絡處理的發展。

 

全局快門：實現高速視覺成像的關鍵

 

chuantongdejuanliankuaimentuxiangchuanganqikeweijingtaihuomansuyidongdewutichengxiangtigongchusedelingmindu。danquanjukuaimenzaijiancekuaisuyidongwutidegongyeyingyongzhongzhiguanzhongyao。rugaosuzhuangpeixiandejiqishijiaojiancezhileiderenwuxuyaozhunquedepanduan，quanjukuaimentuxiangchuanganqitongguowanquantongshitongbupuguangbuhuosuoyouxiangsu
，laixiaochushiyongjuanliankuaimenchuanganqizhuxingpuguangdailaidekongjianshizhenbianxingdexiaoguo，zhengquehaiyuanleyundongwutidezhenshiyangzi，jiexialaicainengjinxingqiangdadeAI分類計算。如安森美半導體的全局快門圖像傳感器XGS 2000
，以220 fps的速度捕獲高質量、精確和快速移動的200萬像素全局快門圖像場景，可以為物流和工業掃描儀等不同場景下應用提供清晰、低噪聲的圖像。

 

圖1：卷簾快門vs. 全局快門

 

高gao速su也ye是shi快kuai速su移yi動dong物wu體ti檢jian測ce的de工gong業ye應ying用yong另ling一yi個ge至zhi關guan重zhong要yao點dian。高gao速su裝zhuang配pei線xian的de機ji器qi視shi覺jiao檢jian查zha需xu要yao快kuai速su的de幀zhen率lv和he較jiao短duan的de積ji分fen時shi間jian

，可ke以yi使shi用yong短duan曝pu光guang和he快kuai速su讀du出chu消xiao除chu圖tu像xiang模mo糊hu的de效xiao果guo。工gong廠chang的de視shi覺jiao檢jian測ce基ji本ben都dou是shi對dui應ying高gao速su移yi動dong的de物wu體ti
，特te別bie是shi工gong廠chang高gao速su運yun轉zhuan的de生sheng產chan線xian上shang，傳chuan送song帶dai的de速su度du特te別bie快kuai
，那na麼me在zai最zui短duan的de時shi間jian內nei成cheng像xiang讀du出chu數shu據ju
，減jian少shao或huo消xiao除chu拍pai攝she圖tu像xiang中zhong的de運yun動dong模mo糊hu，才cai能neng利li用yongAI算法實現正確的智能判斷和快速決策。

 

市場對高分辨率的需求不斷增長

 

越來越多的應用對分辨率有了很高的需求，例如手機/電視/電腦顯示器的LCD
、OLED屏幕檢測。在這檢測應用中，使用相機檢測顯示器的輸出
，以查找顯示亮度的均勻性
、顏色準確性
、線條缺陷、顆ke粒li缺que陷xian等deng。這zhe就jiu要yao求qiu檢jian測ce相xiang機ji提ti供gong非fei常chang高gao的de圖tu像xiang質zhi量liang和he高gao度du均jun勻yun性xing
，以yi確que保bao相xiang機ji中zhong的de質zhi量liang問wen題ti不bu會hui被bei誤wu解jie為wei顯xian示shi器qi中zhong的de產chan品pin缺que陷xian。顯xian示shi屏ping實shi際ji上shang都dou由you紅hong綠lv藍lan等deng多duo個geLEDzixiangsuzucheng

，jiancexitongxuyaonenggoujiexisuoyouzhexiezixiangsu
，yibianzhengquechengxianghexianshibingquerenshebeidezhiliang，weitigaojiancedejingduhekekaoxing，xingyezhongtongchanghuishiyongtuxiangchuanganqibamiande3x3
，或者4x4, 甚至5x5個像元來識別顯示屏設備的一個LED子像素，這就需要用到更多的傳感器像元個數，並且隨著顯示器分辨率的不斷提高-從傳統高清到4k到8k甚至更高，檢測相機所需的分辨率也在不斷提高
，才不會犧牲應用所需的高圖像質量和均勻性，為AI算法的精度提供更可靠的數據支持。

 

又如另一個常見的工業成像應用是印刷電路板檢測，以確認電路板組件上的集成元器件、電容器、電dian阻zu器qi等deng已yi正zheng確que安an裝zhuang並bing焊han接jie到dao位wei。電dian路lu板ban的de檢jian測ce速su度du是shi受shou圖tu像xiang分fen辨bian率lv和he幀zhen率lv的de組zu合he影ying響xiang，圖tu像xiang中zhong能neng夠gou捕bu獲huo的de電dian路lu板ban尺chi寸cun麵mian積ji越yue大da
，一yi次ci可ke以yi檢jian測ce的de電dian路lu板ban就jiu越yue多duo
，圖tu像xiang能neng捕bu獲huo的de越yue快kuai
，檢jian測ce的de效xiao率lv就jiu越yue高gao。雖sui然ran當dang前qian市shi場chang上shang提ti供gong的de圖tu像xiang傳chuan感gan器qi可ke以yi每mei秒miao輸shu出chu約yue500或1400個像素的數據
，但是安森美半導體的XGS 45000可以以接近1900個像素/秒的速度捕獲更多的圖像數據用於算法判斷，比競爭對手快3倍以上，圖像數據寬度可以達8000個像素。高分辨率和高帶寬的結合使這種檢測應用的AI算法可以更快，更有效地執行
，從而提高了製造過程的生產率。

 

圖2：XGS 45000的演示效果

 

再(zai)如(ru)用(yong)於(yu)監(jian)控(kong)或(huo)廣(guang)播(bo)的(de)影(ying)像(xiang)應(ying)用(yong)，圖(tu)像(xiang)需(xu)求(qiu)結(jie)合(he)了(le)上(shang)述(shu)性(xing)能(neng)
，該(gai)應(ying)用(yong)對(dui)圖(tu)像(xiang)質(zhi)量(liang)的(de)要(yao)求(qiu)非(fei)常(chang)高(gao)，市(shi)場(chang)對(dui)分(fen)辨(bian)率(lv)的(de)需(xu)求(qiu)也(ye)不(bu)斷(duan)增(zeng)長(chang)
，從(cong)高(gao)清(qing)到(dao)4K到現在的8k，高分辨率提供了更強大的圖像結構和細節可以看到寬視野的能力
，還提供了用於AI分類的裁剪開窗的選項
，來放大感興趣的內容。安森美半導體的XGS 45000圖像傳感器實際上具有比8k視頻所需的分辨率更高
，不僅可以使用少量裁切來提供8k視頻，還由於XGS 45000具有很高的帶寬
，它可以60幀每秒的速度提供8k視頻以及完整的12位輸出，滿足了該應用所需的高分辨率
、高帶寬和高圖像質量。

 

值得一提的是
，安森美半導體也提供完整的參考設計X-Cube，基於X-class圖像傳感器係列， 在1.1英寸光學格式提供1600萬像素分辨率，提供用於機器視覺和ITS的 29 mm x 29 mm工業相機占位所需的成像細節和性能
，且一個攝像機可支持多種分辨率，幫助設計人員加快開發。

 

圖3：高分辨率X-Cube 係統用於29 mm x 29 mm 相機設計

 

從僅捕獲RGB信息和X,Y二維信息到添加深度信息或多光譜區域信息

 

除了圖像傳感器的性能提升
，另外更為豐富的成像信息的集成也可以增強人工智能的性能，逐漸成為工業客戶做出明智決策的關鍵。

 

通過對多種模式和AI處理的投資，也使得安森美半導體具備獨特的優勢，從僅提供三種紅綠藍(RGB)組成的成像係統發展到添加詳細的光譜特征
，這樣可以在檢測中看到RGB無法識別的地方。使用12比特位的圖像數據，可以提高識別圖像的精度，從僅提供x、y二維定位信息到使用結合了深度像元技術或毫米波雷達、激光雷達技術和圖像融合後帶來深度信息
，可更深入地了解檢測對象的全部體積大小高度等的信息，也就是深度學習。

 

所以現在圖像傳感器的開發正在從僅捕獲RGB信xin息xi轉zhuan移yi到dao新xin的de形xing式shi，增zeng強qiang的de數shu據ju集ji提ti供gong的de信xin息xi將jiang不bu僅jin僅jin是shi顏yan色se和he二er維wei位wei置zhi。圖tu像xiang傳chuan感gan器qi的de廠chang家jia都dou在zai開kai發fa新xin技ji術shu以yi獲huo取qu更geng可ke靠kao的de深shen度du信xin息xi或huo者zhe多duo光guang譜pu區qu域yu信xin息xi。比bi如ru開kai發fa通tong過guo融rong合he內nei部bu不bu同tong數shu據ju流liu的deSuper Depth像元技術
，開發通過有規律的結構，調製入射光振幅或相位的衍射光柵技術，開發基於單光子雪崩二極管(SPAD)和矽光電倍增管(SiPM)的傳感器等方式來實現為圖像提供更多的深度信息。

 

或者開發基於等離子體波導濾波片，或以法布裏-珀羅（F-P)結構原理為基礎的多通道分光濾光片製造技術實現在更多的光譜區域成像的超多光譜技術。

 

神經網絡處理

 

隨著人工智能的發展，分類係統設計需要功能強大的圖像處理單元(GPU)或張量處理單元(TPU)shenjingwangluochuliqi，yinweixunlianhetuilidouxuyaodaliangjisuan，rengongzhinengjiezhengzaimianlinqiansuoweiyoudesuanlitiaozhan，wangluotuopuxuyaoshuyigechengfahejiafaluojijisuan（MAC），需要數百萬個卷積神經網絡參數，就比如能實現分類/目標檢測/語義分割等多目標任務的MobileNetV2結構就具有3億個MAC計算和420萬個參數，但這相對於ResNet微結構，已經是減少了9倍的計算量。

 

訓練過程由於涉及海量的大數據和複雜的深度神經網絡結構，需要的計算規模非常龐大，通常需要GPU或雲去完成
，推斷部署環節的計算量相比訓練環節會少一些

，但仍然涉及大量的矩陣運算，通常在邊緣的高功率GPU / TPU上執行以實現低延遲。麵對深度學習的訓練和推斷的算力需求，市場上大部分使用的是NVIDIA的GPU或google的TPU來實現。

 

AI的發展

 

要真正實現快速決策，AI也需要發展。 如今，用於成像的AI決策已從雲過渡到邊緣再遷移到與成像係統本身。 比如把AI的訓練環節保留在GPU或(huo)雲(yun)端(duan)，利(li)用(yong)堆(dui)棧(zhan)工(gong)藝(yi)可(ke)以(yi)將(jiang)決(jue)策(ce)或(huo)甚(shen)至(zhi)與(yu)之(zhi)相(xiang)關(guan)的(de)一(yi)些(xie)預(yu)處(chu)理(li)集(ji)成(cheng)到(dao)圖(tu)像(xiang)傳(chuan)感(gan)器(qi)上(shang)，比(bi)如(ru)在(zai)傳(chuan)感(gan)器(qi)上(shang)集(ji)成(cheng)用(yong)於(yu)圖(tu)像(xiang)識(shi)別(bie)的(de)底(di)層(ceng)或(huo)者(zhe)輕(qing)算(suan)力(li)的(de)卷(juan)積(ji)神(shen)經(jing)網(wang)絡(luo)層(ceng)，集(ji)成(cheng)具(ju)有(you)內(nei)存(cun)的(de)數(shu)字(zi)矩(ju)陣(zhen)乘(cheng)法(fa)計(ji)算(suan)單(dan)元(yuan)體(ti)係(xi)結(jie)構(gou)。這(zhe)些(xie)AI功能集成在圖像傳感器中都將會實現
，也已經有公司發布了內置人工智能引擎的圖像傳感器芯片。

 

如安森美半導體的融合了AI的水果新鮮度分類係統的演示，整個ECOsystem是基於安森美半導體的AR1335的相機和NVIDIA Xavier edge GPU, 使用了TensorRT版本的MobileNetV2結構來處理分類新鮮和腐爛的蘋果、橘子、香蕉等6類多達上萬個CNN訓練參數，可以識別三種水果及其新鮮度，這個係統的準確率達到97%以上。

 

圖4：AI用於機器視覺
，識別水果新鮮度

 

總結

 

圖像傳感器的開發正在從僅提供RGB和二維坐標信息轉移到新的更豐富的形式。 圖像傳感器可提供更多類型的數據，無論是深度數據還是增加的光譜信息，以及AI合並這些數據集並實現高級決策
，從而使係統能夠通過新的測量和決策機會提供更快
、更準確的結果。安森美半導體是工業機器視覺的領袖之一，以全方位的智能感知產品陣容和領先的技術
，應對工業AI應用挑戰並推進智能製造的創新。

 

 

推薦閱讀：