過去十年間，幾項技術的進步使人工智能 （AI）成為最令人振奮的技術之一。2012年
，Geoffrey Everest Hinton在Imagenet挑戰賽中展示了他的廣義反向傳播神經網絡算法，該算法使計算機視覺領域發生了革命性變化。然而，機器學習理論早在2012年之前就有人提出，並且Nvidia GTX 580圖形處理器單元等微處理器使這一理論得以實現。這些處理器具有相對較高的內存帶寬能力且擅長矩陣乘法，可將該神經網絡模型的AI訓練時間縮短至大約一周。理論與算法的結合開啟了新一代技術進步，帶來了與AI相關的全新可能性。本文概述了人工智能設計新時代及其多樣化處理、內存和連接需求。

 

 

我們將神經網絡定義為深度學習，它是機器學習及人工智能的一個子集
，如圖1所示。這是一個重要的分類，深度學習該子集改變了芯片係統架構設計。

 

圖1：人工智能采用深度學習算法模仿人類行為

 

深度學習不僅改變了芯片架構，而且催生了半導體市場的新一輪投資。深度學習算法模型是研發和商業投資的熱點
，例如卷積神經網絡 （CNN）。CNN一直是機器視覺的主要焦點。遞歸神經網絡等模型因其識別時間的能力而在自然語言理解中得以應用。

 

 

深度學習神經網絡應用於許多不同的場景，為使用它們的人提供了強大的新工具。例如

，它們可以支持高級安全威脅分析、預測和防止安全漏洞，並通過預測潛在買家的購物流程來幫助廣告商識別和精簡銷售流程。

 

但AI設計並未局限於數據中心
，諸如用於物件和人臉識別的視覺係統
、用於改進人機接口的自然語言理解以及周圍環境感知等許多新功能可基於傳感器輸入的組合而使機器理解正在發生的活動。這些深度學習能力已融入到不同場景所需的芯片設計中
，包括智能汽車
、數字家庭、數據中心和物聯網 （IoT），如圖2所示。

 

圖2：AI處理能力已結合到大量應用中

 

手機利用神經網絡實現上述多種AI功能。手機可運行人臉識別應用、物件識別應用、自然語言理解應用。此外，它在內部使用神經網絡進行5G自組織，因為無線信號在其他介質
、不同的光譜上會變得更密集，並且所傳輸的數據有不同的優先級。

 

 

最(zui)近(jin)
，深(shen)度(du)學(xue)習(xi)通(tong)過(guo)數(shu)學(xue)和(he)半(ban)導(dao)體(ti)硬(ying)件(jian)的(de)進(jin)步(bu)變(bian)得(de)可(ke)行(xing)。業(ye)界(jie)已(yi)開(kai)展(zhan)多(duo)項(xiang)舉(ju)措(cuo)，在(zai)下(xia)一(yi)代(dai)數(shu)學(xue)模(mo)型(xing)和(he)半(ban)導(dao)體(ti)架(jia)構(gou)中(zhong)更(geng)好(hao)地(di)複(fu)製(zhi)人(ren)腦(nao)，這(zhe)通(tong)常(chang)被(bei)稱(cheng)為(wei)神(shen)經(jing)形(xing)態(tai)計(ji)算(suan)。人(ren)類(lei)的(de)大(da)腦(nao)可(ke)以(yi)達(da)到(dao)難(nan)以(yi)置(zhi)信(xin)的(de)高(gao)效(xiao)率(lv)
，但(dan)技(ji)術(shu)在(zai)複(fu)製(zhi)人(ren)類(lei)大(da)腦(nao)等(deng)方(fang)麵(mian)才(cai)剛(gang)開(kai)始(shi)觸(chu)及(ji)皮(pi)毛(mao)。人(ren)類(lei)大(da)腦(nao)包(bao)含(han)超(chao)過(guo)1 PB （Petabyte=1024TB）的存儲空間，相當於大約540萬億個晶體管，且功率小於12瓦。從這點來說，複製大腦是一個長遠的目標。然而
，ImageNet挑戰賽已從2012年的第一個反向傳播CNN算法發展到2015年更高級的AI模型ResNet 152
，市場正在快速發展
，新的算法層出不窮。

 

 

融合深度學習能力的芯片架構促使了多項關鍵技術的進步

，從而達到高度集成的解決方案和更通用的AI 芯片，包含專用處理需求、創新內存架構和實時數據連接。

 

 

融合神經網絡能力的芯片必須同時適應異構和大規模並行矩陣乘法運算。異構組件需要標量、矢量DSP和神經網絡算法能力。例如，機器視覺需要獨立的步驟，每一步都需要執行不同類型的處理，如圖3所示。

 

 

圖3：神經網絡能力需要獨特的處理

 

預處理需要更簡單的數據級並行性。對所選區域的精確處理需要更複雜的數據級並行性

，可以通過具有良好矩陣乘法運算能力的專用CNN加(jia)速(su)器(qi)有(you)效(xiao)地(di)處(chu)理(li)。決(jue)策(ce)階(jie)段(duan)通(tong)常(chang)可(ke)以(yi)通(tong)過(guo)標(biao)量(liang)處(chu)理(li)的(de)方(fang)式(shi)來(lai)處(chu)理(li)。每(mei)個(ge)應(ying)用(yong)都(dou)是(shi)獨(du)一(yi)無(wu)二(er)的(de)
，但(dan)很(hen)明(ming)顯(xian)的(de)是(shi)
，包(bao)括(kuo)神(shen)經(jing)網(wang)絡(luo)算(suan)法(fa)加(jia)速(su)的(de)異(yi)構(gou)處(chu)理(li)解(jie)決(jue)方(fang)案(an)需(xu)要(yao)有(you)效(xiao)地(di)處(chu)理(li)AI模型。

 

 

AI模型使用大量內存，這增加了芯片的成本。訓練神經網絡要求達到幾GB甚至10GB的數據
，這就需要使用DDR最新技術，以滿足容量要求，例如
，作為圖像神經網絡的VGG-16在訓練時需要大約9GB的內存；更精確的模型VGG-512需要89GB的數據才能進行訓練。為了提高AImoxingdezhunquexing，shujukexuejiashiyonglegengdadeshujuji。tongyang

，zhehuizengjiaxunlianmoxingsuoxudeshijianhuozengjiajiejuefangandeneicunxuqiu。youyuxuyaodaguimobingxingjuzhenchengfayunsuanyijimoxingdedaxiaohesuoxuxishudeshuliang，zhejiuyaoqiupeibeijuyougaodaikuancunqunenglidewaibucunchuqijixindebandaotijiekouIP
，如高帶寬存儲器 （HBM2）和衍生產品 （HBM2e）。先進的FinFET技術支持更大的芯片SRAMzhenliehedutedepeizhi，juyoudingzhidecunchuqidaochuliqihecunchuqidaocunchuqijiekou
，zhexiejishuzhengzaikaifazhong，weilegenghaodifuzhirennaobingxiaochucunchuqideyueshu。

 

AI模型可以壓縮，確保模型在位於手機、汽(qi)車(che)和(he)物(wu)聯(lian)網(wang)應(ying)用(yong)邊(bian)緣(yuan)的(de)芯(xin)片(pian)中(zhong)受(shou)限(xian)的(de)存(cun)儲(chu)器(qi)架(jia)構(gou)上(shang)運(yun)行(xing)所(suo)必(bi)需(xu)的(de)。壓(ya)縮(suo)采(cai)用(yong)剪(jian)枝(zhi)和(he)量(liang)化(hua)技(ji)術(shu)進(jin)行(xing)且(qie)不(bu)能(neng)降(jiang)低(di)結(jie)果(guo)的(de)準(zhun)確(que)性(xing)
，這(zhe)就(jiu)要(yao)求(qiu)傳(chuan)統(tong)芯(xin)片(pian)架(jia)構(gou)（具有LPDDR或在某些情況下沒有外部存儲器）支(zhi)持(chi)神(shen)經(jing)網(wang)絡(luo)。隨(sui)著(zhe)這(zhe)些(xie)模(mo)型(xing)的(de)壓(ya)縮(suo)，不(bu)規(gui)則(ze)的(de)存(cun)儲(chu)器(qi)存(cun)取(qu)和(he)計(ji)算(suan)強(qiang)度(du)增(zeng)加(jia)，延(yan)長(chang)了(le)係(xi)統(tong)的(de)執(zhi)行(xing)時(shi)間(jian)。因(yin)此(ci)
，係(xi)統(tong)設(she)計(ji)人(ren)員(yuan)正(zheng)在(zai)開(kai)發(fa)創(chuang)新(xin)的(de)異(yi)構(gou)存(cun)儲(chu)器(qi)架(jia)構(gou)。

 

 

一旦AI模型經過訓練並可能被壓縮，就可以通過許多不同的接口IP解決方案執行實時數據。例如，視覺應用由CMOS圖像傳感器支持
，並通過MIPI攝像頭串行接口 （CSI-2）和MIPI D-PHY IP連接。LiDAR和雷達可通過多種技術支持
，包括PCI Express和MIPI。麥克風通過USB、脈衝密度調製 （PDM） 和I2S等連接傳輸語音數據。數字電視支持HDMI和DisplayPort連(lian)接(jie)，以(yi)傳(chuan)輸(shu)視(shi)頻(pin)內(nei)容(rong)，而(er)這(zhe)些(xie)內(nei)容(rong)可(ke)通(tong)過(guo)神(shen)經(jing)網(wang)絡(luo)傳(chuan)輸(shu)後(hou)得(de)到(dao)改(gai)善(shan)，實(shi)現(xian)超(chao)高(gao)圖(tu)像(xiang)分(fen)辨(bian)率(lv)，從(cong)而(er)以(yi)更(geng)少(shao)的(de)數(shu)據(ju)生(sheng)成(cheng)更(geng)高(gao)質(zhi)量(liang)的(de)圖(tu)像(xiang)。目(mu)前(qian)，大(da)多(duo)數(shu)電(dian)視(shi)製(zhi)造(zao)商(shang)正(zheng)在(zai)考(kao)慮(lv)部(bu)署(shu)這(zhe)項(xiang)技(ji)術(shu)。

 

混合AI係統是另一個預計會大量采用的概念。例如
，心率算法通過健身帶上的AI係統可以識別異常，通過將信息發送到雲端，對異常進行更準確的深入AI神shen經jing網wang絡luo分fen析xi，並bing加jia以yi提ti示shi。這zhe類lei技ji術shu已yi經jing成cheng功gong地di應ying用yong於yu電dian網wang負fu載zai的de平ping衡heng，特te別bie是shi在zai電dian線xian中zhong斷duan或huo出chu現xian意yi外wai重zhong負fu荷he的de情qing況kuang下xia。為wei了le支zhi持chi快kuai速su、可靠的網絡與雲端連接，上述示例中的聚合器需要以太網連接。

 

 

盡jin管guan複fu製zhi人ren類lei大da腦nao還hai有you很hen長chang的de路lu要yao走zou
，但dan人ren類lei大da腦nao已yi被bei用yong作zuo構gou建jian人ren工gong智zhi能neng係xi統tong的de有you效xiao模mo型xing，並bing繼ji續xu由you全quan球qiu領ling先xian的de研yan究jiu機ji構gou來lai建jian模mo。最zui新xin的de神shen經jing網wang絡luo試shi圖tu複fu製zhi效xiao率lv和he計ji算suan能neng力li，芯xin片pian架jia構gou也ye開kai始shi通tong過guo緊jin密mi耦ou合he處chu理li器qi和he內nei存cun來lai複fu製zhi人ren類lei大da腦nao。ARC子係統包括AI及其APEX擴展和普遍存在的RISC架構所需的處理能力。子係統將外設和存儲器緊密耦合到處理器，以消除關鍵的存儲器瓶頸問題。

 

 

AI是最令人振奮的技術之一
，特別是深度學習神經網絡，通過結合神經網絡算法的創新以及高帶寬、高性能半導體設計的創新而飛速發展。

 

新思科技正在與世界各地細分市場中領先的AI 芯片供應商合作，提供采用經過驗證的可靠IP解決方案
，幫助他們降低芯片設計風險，加快產品上市速度，並為AI設計人員帶來關鍵的差異化優勢。

 

專用處理需求、創新內存架構和實時數據連接構成了人工智能芯片的DNA，麵對AI設計挑戰，新思科技提供了許多專業處理解決方案來消除存儲器瓶頸
，包括存儲器接口IP

、帶有TCAM和多端口存儲器的芯片SRAM編譯器等，同時提供了全麵的實時數據連接選項。這些IP解決方案是下一代AI設計的關鍵組件。