【導讀】近來，與AI相關的周期性熱點幾乎都圍繞著大語言模型（LLM）和生成式AI模型，這樣的趨勢反映出這些話題近年來日益增強的影響力和普及程度。與大語言模型和生成式AI模型相關的應用涵蓋了廣泛的領域，從開放式聊天機器人到任務型助手。雖然LLM主要聚焦基於雲和服務器端的應用，但人們對在嵌入式係統和邊緣設備中部署這些模型的興趣也在不斷增加。

近來，與AI相關的周期性熱點幾乎都圍繞著大語言模型（LLM）和生成式AI模型，這樣的趨勢反映出這些話題近年來日益增強的影響力和普及程度。與大語言模型和生成式AI模型相關的應用涵蓋了廣泛的領域
，從開放式聊天機器人到任務型助手。雖然LLM主要聚焦基於雲和服務器端的應用，但人們對在嵌入式係統和邊緣設備中部署這些模型的興趣也在不斷增加。

嵌入式係統（如家用電器、工業設備

、汽車等設備中的微處理器）需(xu)要(yao)在(zai)成(cheng)本(ben)和(he)功(gong)耗(hao)受(shou)限(xian)的(de)情(qing)況(kuang)下(xia)
，適(shi)應(ying)有(you)限(xian)的(de)計(ji)算(suan)能(neng)力(li)和(he)內(nei)存(cun)可(ke)用(yong)性(xing)。這(zhe)使(shi)得(de)在(zai)邊(bian)緣(yuan)設(she)備(bei)上(shang)部(bu)署(shu)高(gao)精(jing)度(du)和(he)高(gao)性(xing)能(neng)的(de)語(yu)言(yan)模(mo)型(xing)極(ji)具(ju)挑(tiao)戰(zhan)性(xing)。

在邊緣設備上部署LLM

在嵌入式解決方案中，利用LLM的一個關鍵領域是操作員與機器之間的自然對話交互，即人機界麵（HMI）。嵌入式係統可以簡化各種輸入選項，如麥克風、攝像頭或其他傳感器，但大多數係統不會像個人電腦
、筆記本電腦和手機那樣，配備完整的鍵盤與LLM模型進行交互。因此
，嵌入式係統在使用音頻和視覺作為LLM輸入時，必須具備實用性。這需要一個自動語音識別（ASR）或(huo)圖(tu)像(xiang)識(shi)別(bie)和(he)分(fen)類(lei)的(de)預(yu)處(chu)理(li)模(mo)塊(kuai)。同(tong)樣(yang)，交(jiao)互(hu)的(de)輸(shu)出(chu)選(xuan)項(xiang)也(ye)有(you)限(xian)。嵌(qian)入(ru)式(shi)解(jie)決(jue)方(fang)案(an)可(ke)能(neng)沒(mei)有(you)屏(ping)幕(mu)，或(huo)者(zhe)不(bu)方(fang)便(bian)用(yong)戶(hu)閱(yue)讀(du)屏(ping)幕(mu)信(xin)息(xi)。因(yin)此(ci)，在(zai)生(sheng)成(cheng)式(shi)AI模型之後
，需要一個後處理步驟，使用文本到語音（TTS）算法將模型輸出轉換為音頻。恩智浦正在構建eIQ® GenAI Flow，通過添加必要的預處理和後處理模塊
，使其成為一個模塊化流程


，從而使邊緣生成式AI更加實用。

通過LLM革新應用

通過集成基於LLM的語音識別、自然語言理解和文本生成功能，嵌入式設備能夠提供更直觀和對話式的用戶體驗。這包括響應語音命令的智能家居設備、通過自然語言控製的工業機械
，以及能夠進行免提對話的汽車娛樂中控係統，以指導用戶或操作車內功能等。

LLM還(hai)在(zai)健(jian)康(kang)應(ying)用(yong)中(zhong)的(de)嵌(qian)入(ru)式(shi)預(yu)測(ce)分(fen)析(xi)和(he)決(jue)策(ce)支(zhi)持(chi)係(xi)統(tong)中(zhong)發(fa)揮(hui)作(zuo)用(yong)。設(she)備(bei)可(ke)以(yi)嵌(qian)入(ru)使(shi)用(yong)特(te)定(ding)領(ling)域(yu)數(shu)據(ju)訓(xun)練(lian)的(de)語(yu)言(yan)模(mo)型(xing)
，然(ran)後(hou)利(li)用(yong)自(zi)然(ran)語(yu)言(yan)處(chu)理(li)分(fen)析(xi)傳(chuan)感(gan)器(qi)數(shu)據(ju)、識別模式並生成見解，同時在邊緣實時運行並保護患者隱私，無需將數據發送到雲端。

應對生成式AI挑戰

在嵌入式環境中部署準確且功能強大的生成式AI模型麵臨許多挑戰。需要優化模型的大小和內存使用
，使LLM能(neng)夠(gou)適(shi)應(ying)目(mu)標(biao)硬(ying)件(jian)的(de)資(zi)源(yuan)限(xian)製(zhi)。具(ju)有(you)數(shu)十(shi)億(yi)個(ge)參(can)數(shu)的(de)模(mo)型(xing)需(xu)要(yao)數(shu)千(qian)兆(zhao)字(zi)節(jie)的(de)存(cun)儲(chu)空(kong)間(jian)，而(er)在(zai)邊(bian)緣(yuan)係(xi)統(tong)中(zhong)
，這(zhe)可(ke)能(neng)會(hui)帶(dai)來(lai)高(gao)成(cheng)本(ben)且(qie)難(nan)以(yi)實(shi)現(xian)。量(liang)化(hua)和(he)修(xiu)剪(jian)等(deng)模(mo)型(xing)優(you)化(hua)技(ji)術(shu)不(bu)僅(jin)適(shi)用(yong)於(yu)卷(juan)積(ji)神(shen)經(jing)網(wang)絡(luo)，也(ye)適(shi)用(yong)於(yu)轉(zhuan)換(huan)器(qi)模(mo)型(xing)——這是生成式AI克服模型大小問題的重要方法。

像LLM這樣的生成式AI模型也有知識局限性。例如，它們的理解是有限的，通常會提供不一致的答案，也稱為“幻覺”（hallucination）

，erqietamendezhishishouxianyuxunlianshujudeshixiaoxing。xunlianmoxinghuotongguozaixunlianlaiweitiaomoxingkeyitigaozhunquexingheshangxiawenganzhi，danzhekenengzaishujushoujihesuoxudexunlianjisuanfangmianhuafeijuda。xingyundeshi，youxuqiujiuyouchuangxin；通過檢索增強生成（RAG）可以解決這個問題。RAG方法使用特定上下文數據創建知識數據庫，LLM可以在運行時參考這些數據來準確回答查詢。

eIQ GenAI Flow將生成式AI和LLM的優勢以實用的方式應用於邊緣場景。通過將RAG整合到該流程中，我們為嵌入式設備提供特定領域的知識，而不會將用戶數據暴露給原始AI模型的訓練數據。這樣可以確保對LLM的任何更改都是私密的，並且僅在邊緣本地使用。

生成式AI正在改變嵌入式應用。閱讀恩智浦關於檢索增強生成(RAG)的白皮書
，了解這種方法如何簡化LLM的開發過程。

（來源：恩智浦，作者：Ali Ors）

免責聲明：本文為轉載文章，轉載此文目的在於傳遞更多信息

，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題，請聯係小編進行處理。

推薦閱讀：

延長蜂窩物聯網終端產品的電池壽命

采用創新型 C29 內核的 MCU 如何提升高壓係統的實時性能

汽車 GPU 算力新高度支持智駕芯片實現架構創新

貿澤電子與Analog Devices和Bourns聯手發布全新電子書

【“源”察秋毫係列】纖維器件及其陣列電學測試方案詳解