【導讀】7月6日，2023世界人工智能大會——芯片主題論壇在上海舉辦。會上，高通全球副總裁兼高通AI研究負責人侯紀磊博士做了題為《全棧AI優化 打造領先的邊緣AI性能》的演講，介紹了終端AI的重要性和優勢，高通在終端AI方麵特別是生成AI方麵的進展
，以及對於混合AI在高效推動AI規模化落地等方麵的看法。

全棧式AI優化 打造高效能AI

如今，盡管大量AIdexunlianhetuilirengzaiyunduanjinxing
，danzhongduancederengongzhinengzhengbiandeyuelaiyuezhiguanzhongyao。tongguozaizuikaojinshujuyuantouzhichuchulishuju，bingtongyunduanxingchenghubu，wangwangnenggoudailaizaiyinsi
、可靠性
、低時延、成本
、能耗、個性化等方麵的顯著優勢。

“比如在成本方麵
，生成式AI通常參數體量巨大，如果在端側部署，能夠推動成本的顯著降低。而在AI數字助手方麵
，手機
、駕艙
、PC等使用場景
，端側AI則能夠很好地滿足私密性
、個性化的需求。”侯紀磊說。

據侯紀磊介紹
，早在十幾年前，高通便開始了AI方麵的研發

，其中一個重要研究方向就是高效能AI
，在包括硬件、算法和軟件等層麵進行了大量的研發創新。

在高效硬件方麵，通過對高通移動平台中CPU
、GPU、NPU等不同單元進行優化，最終使得針對不同任務，能夠選擇合適的計算模塊運行，侯紀磊認為這是高通端側AI非fei常chang顯xian著zhu的de特te點dian。在zai算suan法fa層ceng麵mian
，高gao通tong具ju有you一yi支zhi頂ding尖jian的de深shen度du神shen經jing網wang絡luo算suan法fa團tuan隊dui，有you很hen多duo原yuan創chuang性xing的de研yan究jiu成cheng果guo。在zai軟ruan件jian方fang麵mian，在zai麵mian向xiang深shen度du學xue習xi的de軟ruan件jian加jia速suruntime以及SDK/開發框架方麵
，高通對於客戶以及開發者都做出了很好的支持。

“因此，高通AI研究的一個非常重要的原則
，就是全棧式的AI創新和優化。通過跨層的模型、硬件和軟件創新加速AIyingyong，zhezhongzaoqiyanfahejishufamingduiyuyinlingshengtaixitongfazhanzhiguanzhongyao
，erzuizhongjiangjishutigonggeishangyetuandui，bingtongguobushuguochengzhongdeshouhuolaiyingxiangweilaideyanjiu
，xingchengzhengxiangxunhuan。”侯紀磊說。

量化研究處於行業最前沿

據侯紀磊介紹，高通在高效能AI研發中，一個重要的部分是整體模型效率研究，目的是在多個方向縮減AI模型，使其在硬件上高效運行。

比如在量化方麵，學習在保持所需精度的同時降低比特精度
；在條件計算方麵
，學習僅基於輸入執行大模型圖例模型部分組件；在神經網絡架構搜索方麵
，學習設計更小的神經網絡，能夠在真實硬件上媲美或超過人工設計架構；在編譯方麵，學習編譯AI模型以實現高效的硬件執行等。

“在量化方麵，高通一直在業界進行無論是從學術研究還是落地層麵的推動。包括Stable Diffusion和ChatGPT等(deng)最(zui)終(zhong)要(yao)在(zai)端(duan)側(ce)實(shi)現(xian)，量(liang)化(hua)一(yi)定(ding)是(shi)非(fei)常(chang)重(zhong)要(yao)的(de)手(shou)段(duan)。在(zai)高(gao)效(xiao)能(neng)的(de)推(tui)理(li)方(fang)麵(mian)，整(zheng)數(shu)的(de)點(dian)運(yun)算(suan)是(shi)非(fei)常(chang)重(zhong)要(yao)的(de)方(fang)向(xiang)。在(zai)這(zhe)方(fang)麵(mian)，高(gao)通(tong)在(zai)積(ji)極(ji)推(tui)動(dong)相(xiang)關(guan)學(xue)術(shu)研(yan)究(jiu)

，包(bao)括(kuo)在(zai)頂(ding)級(ji)學(xue)術(shu)會(hui)議(yi)上(shang)的(de)發(fa)布(bu)一(yi)些(xie)論(lun)文(wen)的(de)同(tong)時(shi)
，也(ye)會(hui)定(ding)期(qi)放(fang)到(dao)開(kai)源(yuan)的(de)工(gong)具(ju)包(bao)AIMET中。通過領先的AI研究和快速商業化
，推動行業向整數推理和高能效AI方向發展。”侯紀磊說。

侯紀磊還重點提及了高通在2020年的一項研究成果——AdaRound量化研究算法


，包括很多先進的理念和技術。

“高通能夠將Stable Diffusion引入端側，AdaRound就是其中一個非常重要的量化手段。此外，在大語言模型來到4bit時，包括GPTQ等主流技術，實際上也是基於AdaRound演進的簡化。所以在量化方麵，不管是學界還是業界，高通都處於非常前沿的位置。”候紀磊說。

廣泛賦能眾多類型終端

在今日開幕的2023 世界人工智能大會（WAIC）上，第二代驍龍8移動平台的高通AI引擎榮獲此次大會的頂級獎項：SAIL獎——卓越人工智能引領者獎。

第二代驍龍8憑借麵向整個平台的開創性AI智能設計賦能了非凡用戶體驗，樹立了網聯計算的新標杆。其搭載高通技術公司處理速度最快
、最先進的高通 AI 引擎，通過軟硬件的一係列創新，相較上一代帶來4.35倍的AI性能提升和60%的能效提升，從而為越來越多的創新型AI用例和AI增強的用戶體驗提供強大的性能基礎。

高通 AI 引擎由多個硬件和軟件組件組成，用於在驍龍移動平台上為終端側 AI 推理加速。它采用異構計算架構，包括高通 Hexagon 處理器、Adreno GPU、Kryo CPU 和傳感器中樞，共同支持在終端上快速而有效的運行 AI 應用程序。其關鍵核心 Hexagon 處理器擁有一係列創新，如提供專用供電係統

、支持微切片推理
、INT4精度、Transformer 網絡加速等，可結合高通 AI 軟件棧和 AI Studio 提供全棧 AI 能力和優化手段，在行業內率先在終端側支持 Stable Diffusion、ControlNet 等生成式 AI 用例
，並可與雲端協同打造適應大模型時代的混合 AI 處理框架，從而助力AI體驗創新和生態繁榮。

此外，侯紀磊介紹了AI在5G方麵的應用。在今年的世界移動通信大會（MWC）上
，高通發布了驍龍X75調製解調器及射頻係統，引入了第二代高通5G AI套件
，包括專用張量加速器。同時，據侯紀磊介紹
，高通AI團隊也與無線團隊一直保持非常緊密的深入合作
，從而能夠保證將研究成果更快推向商用。比如通過AI技術進行毫米波波束管理
，擴毫米波通信的覆蓋範圍
；通過AI輔助GPS定位
，提升定位的精準度等。

“muqian，gaotongyijingxingchenglezaibianyuancedebujuheguimohuadeyoushi。dazaixiaolonghegaotongpingtaideyonghuzhongduanshuliangyijingdadaoshushiyitai。meinianyoushuyitaidazaixiaolonghegaotongpingtaidezhongduanjinrushichang。womendeAI能力賦能一係列廣泛的產品，包括手機、汽車、XR
、PC和物聯網設備。”侯紀磊說。

持續推進支持百億參數大模型

去年年底，由ChatGPT引發的生成式AI浪潮席卷全球，而在生成式AI方麵，高通於數年前便開始著手布局。

侯紀磊認為，生成式AI將影響各類終端上的應用場景。比如XR方麵，基於簡單提示，創造沉浸式的3D虛擬世界；汽車方麵，擁有先進駕駛輔助係統/自動駕駛
，通過預測不同行為主體的軌跡和行為
，幫助改進駕駛策略；在手機方麵，成為真正的數字助手；在PC端
，通過撰寫電子郵件

，創建演示文稿和編寫代碼，變革生產力
；在物聯網方麵，有助於提升顧客和員工體驗，比如提供庫存和商店貨架排列推薦等。

今年的MWC上，高通的第二代驍龍8移動平台已經可以支持參數超過10億的AI模型運行，並進行了全球首次端側運行超過10億參數模型的演示。對於端側能夠有效支持的模型規模，侯紀磊認為，在廣泛的用例中有很多基於10億參數為單位
，從10億到100億便能夠涵蓋相當多數的生成式AI

，並能夠提供非常好的效果。據侯紀磊介紹，未來幾個月內
，高通有望支持參數超過 100 億的模型在終端側運行，明年將能夠支持參數超過200億的模型。此外通過全棧式的AI優化
，未來也將進一步縮短大模型的推理時間。

侯紀磊指出，雲經濟難以支持生成式AI的規模化發展。如基於傳統方法和生成式AI的網絡搜索，單次查詢成本將是傳統的10倍，如果再疊加眾多的生成式AI應用以及數十億的用戶基數
，這將在雲端帶來顯著的負擔。因此，推動端側和雲端互補的混合AI，將是未來推動生成式AI落地的顯著趨勢。

“未來場景中有中心雲、邊緣雲、有終端側，AI處理中心在一定程度上可以向邊緣發展
，因此混合AI是未來能夠支持生成式AI、大語言模型等實現全球化、規模化發展的重要手段。這個過程中
，在包括無線連接、高效計算、分布式AI等方麵，高通都能夠通過與業界的合作帶來更多創新。”侯紀磊說。

侯紀磊指出，對於混合AI的部署，當終端側具備強大生成式AI能力的時候，可以作為一個“錨點”。比如幫助工程師生成代碼，高通的願景是未來一兩年內
，在100-200億參數的範圍內
，能夠使得大量工程師在端側進行代碼撰寫。端側AI作為智能“錨點”發揮指揮或協調的作用，可以將合格的代碼交給開發者，不理想的生成代碼指令再交給雲端進一步處理，從而帶給用戶無縫體驗。

“終端側AI具有諸多優勢
，是讓AI無處不在的關鍵。混合AI是AI的未來
，而我們的終端側AI領導力將支持生成式AI規模化擴展。”侯紀磊最後強調。

作者：集微網
，來源：雪球

免責聲明：本文為轉載文章，轉載此文目的在於傳遞更多信息
，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題，請聯係小編進行處理。

推薦閱讀：

納芯微容隔技術
，從容應對電源難題

固體放電管雷擊應用優勢

真實環境中的GNSS/GPS幹擾和欺騙測試

不同殼溫下SOA曲線的計算方法

這款高效、快速瞬態響應的直通升壓控製器
，你可能用得到