【導讀】得益於出色的深度計算和紅外(IR)成像能力，飛行時間(TOF)shexiangtouzaigongyeyingyong，youqishijiqirenlingyuyuelaiyueshouhuanying。jinguanjuyouzhexieyoushi，danguangxuexitongdeguyoufuzaxingwangwanghuiyueshushichang，congerxianzhiduligongneng。benwenzhongtaolunde3D圖像拚接算法專為支持主機處理器而設計，無需雲計算。該算法將來自多個TOF攝像頭的紅外和深度數據實時無縫結合，生成連續的高質量3D圖像，該圖像具有超越獨立單元的擴大視場。借助拚接的3D數據

，應用先進的深度學習網絡能夠徹底改變可視化及與3D環境的交互


，深度學習網絡在移動機器人應用中特別有價值。

摘要

得益於出色的深度計算和紅外(IR)成像能力，飛行時間(TOF)shexiangtouzaigongyeyingyong
，youqishijiqirenlingyuyuelaiyueshouhuanying。jinguanjuyouzhexieyoushi，danguangxuexitongdeguyoufuzaxingwangwanghuiyueshushichang
，congerxianzhiduligongneng。benwenzhongtaolunde3D圖像拚接算法專為支持主機處理器而設計，無需雲計算。該算法將來自多個TOF攝像頭的紅外和深度數據實時無縫結合
，生成連續的高質量3D圖像
，該圖像具有超越獨立單元的擴大視場。借助拚接的3D數據

，應用先進的深度學習網絡能夠徹底改變可視化及與3D環境的交互，深度學習網絡在移動機器人應用中特別有價值。
 
簡介

飛行時間(TOF)攝像頭作為出色的測距成像係統脫穎而出，它利用TOF技術來確定攝像頭與圖像中每個點之間的距離。通過測量激光器或LED發射的人造光信號的往返時間，便可計算出距離。TOF攝像頭提供精確的深度信息
，因此在準確距離測量和3D可視化至關重要的應用中，比如在機器人和工業技術應用中
，該攝像頭是極具價值的工具，例如能夠在270°的視場(FOV)範圍執行碰撞檢測和人體檢測
，從而提高安全性。
 
ADTF3175 TOF傳感器的校準FOV可達到75°。然而，當應用的FOV超(chao)出(chu)該(gai)區(qu)域(yu)時(shi)，挑(tiao)戰(zhan)出(chu)現(xian)
，此(ci)時(shi)就(jiu)需(xu)要(yao)多(duo)個(ge)傳(chuan)感(gan)器(qi)。如(ru)果(guo)通(tong)過(guo)集(ji)成(cheng)各(ge)個(ge)傳(chuan)感(gan)器(qi)的(de)數(shu)據(ju)來(lai)為(wei)整(zheng)個(ge)視(shi)場(chang)提(ti)供(gong)全(quan)麵(mian)的(de)分(fen)析(xi)
，這(zhe)可(ke)能(neng)會(hui)造(zao)成(cheng)困(kun)難(nan)。一(yi)個(ge)潛(qian)在(zai)解(jie)決(jue)方(fang)案(an)是(shi)讓(rang)傳(chuan)感(gan)器(qi)對(dui)部(bu)分(fen)FOV執行算法

，然後將輸出傳輸至主機以進行整理。然而，該方法麵臨區域重疊、死區和通信延遲等問題
，導致其成為很難有效解決的複雜問題。
 
另ling一yi種zhong方fang法fa是shi將jiang從cong所suo有you傳chuan感gan器qi捕bu獲huo的de數shu據ju拚pin接jie成cheng單dan個ge圖tu像xiang，隨sui後hou在zai拚pin接jie的de圖tu像xiang上shang應ying用yong檢jian測ce算suan法fa。該gai過guo程cheng可ke卸xie載zai至zhi單dan獨du的de主zhu機ji處chu理li器qi，從cong而er減jian輕qing傳chuan感gan器qi單dan元yuan的de計ji算suan負fu荷he
，留liu出chu空kong間jian執zhi行xing高gao級ji分fen析xi和he其qi他ta處chu理li選xuan項xiang。然ran而er，值zhi得de注zhu意yi的de是shi，傳chuan統tong圖tu像xiang拚pin接jie算suan法fa本ben身shen非fei常chang複fu雜za
，會hui消xiao耗hao主zhu機ji處chu理li器qi相xiang當dang一yi部bu分fen的de計ji算suan能neng力li。此ci外wai
，由you於yu隱yin私si原yuan因yin，在zai許xu多duo應ying用yong中zhong，數shu據ju無wu法fa發fa送song到dao雲yun端duan進jin行xing拚pin接jie。
 
ADI公(gong)司(si)的(de)算(suan)法(fa)解(jie)決(jue)方(fang)案(an)可(ke)使(shi)用(yong)深(shen)度(du)數(shu)據(ju)的(de)點(dian)雲(yun)投(tou)影(ying)，拚(pin)接(jie)來(lai)自(zi)不(bu)同(tong)傳(chuan)感(gan)器(qi)的(de)深(shen)度(du)和(he)紅(hong)外(wai)圖(tu)像(xiang)。這(zhe)包(bao)括(kuo)使(shi)用(yong)攝(she)像(xiang)頭(tou)外(wai)部(bu)位(wei)置(zhi)轉(zhuan)換(huan)捕(bu)獲(huo)到(dao)的(de)數(shu)據(ju)並(bing)將(jiang)其(qi)投(tou)影(ying)回(hui)到(dao)2D空間
，從而生成單張連續顯示的圖像。

該方法能夠大幅減少計算量，有助於在邊緣達到實時運行的速度，並確保主機處理器的計算能力仍可用於其他高級分析。

圖1.深度拚接算法。

解決方案描述

ADI的3D TOF解決方案分4個階段運行（參見圖1）：

1. 預處理紅外和深度數據：紅外和深度數據的時間同步及預處理。
2. 將深度數據投影到3D點雲：利用攝像頭內參將深度數據投影到3D點雲。
3. 轉換和合並點：使用攝像頭的外部位置對點雲進行坐標轉換，並合並重疊區域。
4. 將點雲投影到2D圖像：采用圓柱投影將點雲投影回到2D圖像。

係統與算法的挑戰及解決方案
 
主機接收深度和紅外幀

主機通過USB等高速連接方式連接到多個TOF傳感器。主機收集深度和紅外幀
，並將其存儲在隊列中。
 
同步深度和紅外數據

zhujijieshoudaodelaizimeigechuanganqideshenduhehongwaizhenzaibutongshijianshilibeibuhuo。weilebimianyinwutiyidongerzaochengdeshijianbupipei，suoyouchuanganqideshuruxuyaotongbudaotongyishijianshili。shiyongshijiantongbuqimokuai，gaimokuaigenjulaiziduiliedeshijianchuopipeichuanrudezhen。
 
投影到點雲

通過使用每個傳感器的同步深度數據
，在主機上生成點雲。然後，每個點雲根據其各自在真實場景中的攝像頭位置（參見圖2）進行轉換（平移和旋轉）。接著，這些轉換後的點雲合並形成單個連續點雲，覆蓋傳感器的組合FOV（參見圖3）。

圖2.相機外參。
 圖3.合並的點雲。

3D到2D投影

通過使用圓柱投影算法，也稱為前視圖投影，FOV的組合點雲投影到2D畫布上（參見圖4）。換言之，該算法將合並點雲的每個點投影到2D平麵的像素上
，從而生成單一連續全景圖，覆蓋所有傳感器的組合視場。這會產生兩個2D拚接圖像：一個用於拚接的紅外圖像，另一個用於投影到2D平麵的拚接深度圖像。

圖4.圓柱投影算法。 

提高投影質量

將3D組合點雲投影到2Dtuxiangrengwufashengchenggaozhiliangtuxiang。tuxiangcunzaishizhenhezaodian。zhebujinyingxiangshijiaozhiliang，duitouyingshangyunxingderenhesuanfayehuichanshengbuliyingxiang。yixiazhangjiejilule3個關鍵問題（參見圖5）及其解決方法。

圖5.2D投影問題。

投影無效深度區域

對於超出傳感器工作範圍(8000 mm)的點
，ADTF3175的深度數據的無效深度值為0 mm。這會導致深度圖像上出現大片空白區域，並形成不完整的點雲。將深度值8000 mm（攝像頭支持的最大深度）分配給深度圖像上的所有無效點
，並利用該值生成點雲。這確保了點雲沒有間隙。
 
填充未映射的像素

將3D點雲投影到2D平麵時，2D圖像中存在未映射/未填充的區域。許多點雲(3D)像素映射至同一個2D像素，因此多個2D像素仍是空白。這就會產生如圖6所示的拉伸圖案。為解決該問題
，我們使用3 × 3過濾器，用其相鄰的8個具備有效值的像素的平均紅外/深度值來填充未映射的像素。這樣便可獲得更完整的輸出圖像
，並消除偽影（參見圖6）。
 
重疊點產生的噪點

得益於圓柱投影算法，重疊區域上的許多點最終在2Dtouyingshuchushanghuodexiangtongdejingzhizuobiao。youyubeijingxiangsuyuqianjingxiangsuzhongdie，yincihuichanshengzaodian。weijiejuegaiwenti，womenjiangmeigediandejingxiangjuliyuxianyoudianjinxingbijiao，jindangyushexiangtouyuandiandejulixiaoyuxianyoudianshi，caihuitihuangaidian。zheyouzhuyujinbaoliuqianjingdian，bingtigaotouyingzhiliang（參見圖7）。

圖6.填充未映射的像素。
 
 圖7.重疊噪點修複。

結論

該算法能夠以小於5°的重疊度拚接來自不同攝像頭的圖像，相比之下
，傳統關鍵點匹配算法至少需要20°的(de)重(zhong)疊(die)度(du)。該(gai)方(fang)法(fa)所(suo)需(xu)的(de)計(ji)算(suan)量(liang)極(ji)少(shao)
，因(yin)此(ci)非(fei)常(chang)適(shi)用(yong)於(yu)邊(bian)緣(yuan)係(xi)統(tong)。由(you)於(yu)沒(mei)有(you)圖(tu)像(xiang)失(shi)真(zhen)，深(shen)度(du)數(shu)據(ju)在(zai)拚(pin)接(jie)後(hou)仍(reng)具(ju)有(you)完(wan)整(zheng)性(xing)。該(gai)解(jie)決(jue)方(fang)案(an)進(jin)一(yi)步(bu)支(zhi)持(chi)了(le)ADTF3175傳感器的模塊化實現
，以極小的損失獲得所需FOV。
 
FOV的擴展不限於水平維度，相同技術也可用於在垂直方向上擴展視場，從而獲得真正的球形視覺。該解決方案可以在連接了4個傳感器的Arm® V8 6核邊緣CPU上以10 fps的速度運行，提供275°的FOV。當僅使用兩個傳感器時，幀速率可達30 fps。
 
該方法的主要優勢之一是實現了巨大的計算效率增益
，基本計算效率的增益超過3倍（參見表1）。

圖8和圖9展示了使用該解決方案獲得的一些結果。

表1.計算複雜性比較：針對512 × 512 QMP輸入，傳統算法與本文所提算法比較
 
圖8.拚接的紅外數據提供210°的FOV。

參考文獻

“ADI公司的3DToF ADTF31xx”。GitHub, Inc.
“ADI公司3DToF地麵探測器”。GitHub, Inc.
“ ADI公司3DToF圖像拚接”。GitHub, Inc.
“ ADI公司3DToF安全氣泡探測器”。GitHub, Inc.
“ ADI公司3D ToF軟件套件”。GitHub, Inc.
He
、Yingshen、Ge Li、Yiting Shao、Jing Wang
、Yueru Chen和Shan Liu.“通過球麵投影的點雲壓縮框架”。2020年IEEE視覺通信和圖像處理國際會議，2020年。
工業視覺技術。
ADI公司
Topiwala、Anirudh。“點雲的球麵投影”。Towards Data Science，2020年3月。

圖9.具有278° FoV的拚接紅外和深度圖像。

關於ADI公司

Analog Devices, Inc. (NASDAQ: ADI)是全球領先的半導體公司，致力於在現實世界與數字世界之間架起橋梁，以實現智能邊緣領域的突破性創新。ADI提供結合模擬、數字和軟件技術的解決方案，推動數字化工廠

、汽車和數字醫療等領域的持續發展，應對氣候變化挑戰，並建立人與世界萬物的可靠互聯。ADI公司2024財年收入超過90億美元，全球員工約2.4萬人。ADI助力創新者不斷超越一切可能。更多信息
，請訪問www.analog.com/cn。

作者簡介

Rajesh Mahapatra擁有超過30年的工作經驗，目前就職於班加羅爾ADI公司的軟件和安全部門。他熱衷於使用基於ADI硬ying件jian解jie決jue方fang案an的de算suan法fa和he嵌qian入ru式shi軟ruan件jian來lai幫bang助zhu客ke戶hu解jie決jue問wen題ti。他ta與yu非fei政zheng府fu組zu織zhi密mi切qie合he作zuo，植zhi樹shu造zao林lin，並bing為wei城cheng市shi裏li經jing濟ji困kun難nan的de人ren群qun提ti供gong培pei訓xun，幫bang助zhu他ta們men謀mou生sheng。他ta在zai係xi統tong、圖像處理和計算機視覺領域擁有5項專利。
 
Anil Sripadarao於2007年加入ADI公司，目前就職於班加羅爾ADI公司的軟件和安全部門。他感興趣的領域包括音頻/視頻編解碼器
、AI/ML
、計算機視覺算法和機器人技術。他在圖像處理和計算機視覺領域擁有6項專利。
 
Swastik Mahapatra是軟件和安全部門的高級機器學習工程師。他於2018年加入ADI公司，致力於開發各種計算機視覺技術和機器人安全解決方案。他在深度學習邊緣推理框架開發、機器人應用開發方麵擁有豐富的經驗
，並精通卷積神經網絡。他的專業領域包括計算機視覺、3D視覺
、機器學習和機器人的算法開發。

(來源：ADI公司，作者：Rajesh Mahapatra，高級經理,Anil Sripadarao
，首席工程師,Swastik Mahapatra，高級工程師)

免責聲明：本文為轉載文章
，轉載此文目的在於傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題
，請聯係小編進行處理。

推薦閱讀：

安全設計降壓前置穩壓器，為汽車電源保駕護航！

交流電源係統中的過流保護

柵極驅動器選得好，SiC MOSFET高效又安全

集成開/關控製器如何提升係統能效

充電器 IC 中的動態電源路徑管理