【導讀】來自於康納爾大學的這篇研究論文給出了 一個利用物理係統實現深層網絡學習和推理的框架。本文對於文章舉例的三個係統不屬於線性時不變係統進行分析。除了其中SHG係統比較複雜之外，其它兩個係統（三極管
、揚聲器）是shi如ru此ci的de簡jian便bian，吸xi引yin人ren去qu進jin行xing搭da建jian係xi統tong，測ce試shi一yi下xia相xiang應ying的de性xing能neng性xing能neng。對dui於yu參can加jia智zhi能neng車che競jing賽sai的de同tong學xue來lai講jiang

，也ye許xu將jiang來lai不bu再zai需xu要yao借jie助zhu於yu複fu雜za高gao性xing能neng單dan片pian機ji來lai完wan成cheng神shen經jing網wang絡luo推tui理li

，隻zhi利li用yong幾ji隻zhi三san極ji管guan便bian可ke完wan成cheng。

01 物理神經網絡

看到最近在 Nature 雜誌上發表的一篇文章  Deep Physical Neural Networks Trained with Backpropogation[1] 介紹了利用多層非線性物理係統構建深度學習網絡，並通過反向隨機梯度下降完成係統訓練方法的確令人驚訝
、毀人三觀。

你敢想象利用幾隻揚聲器，或者幾隻場效應管就可以組成深度物理神經網絡（Physical Neural Networks），完成圖像分類
？分類效果比起傳統的數字神經網絡也不遜色。對於MNIST手寫體數字識別也可達到97%以上。（見下麵基於四通道雙諧波信號發生器（SHG）方案）

圖1 分別基於機械係統

、電子線路
、光學係統構建的P物理神經網絡

這(zhe)類(lei)建(jian)構(gou)在(zai)物(wu)理(li)係(xi)統(tong)而(er)非(fei)數(shu)字(zi)處(chu)理(li)器(qi)之(zhi)上(shang)的(de)神(shen)經(jing)網(wang)絡(luo)目(mu)標(biao)是(shi)在(zai)推(tui)理(li)速(su)度(du)和(he)能(neng)效(xiao)方(fang)麵(mian)超(chao)過(guo)傳(chuan)統(tong)數(shu)字(zi)計(ji)算(suan)機(ji)，構(gou)建(jian)智(zhi)能(neng)傳(chuan)感(gan)器(qi)和(he)高(gao)效(xiao)網(wang)絡(luo)推(tui)理(li)。

猜測大多數人和我一樣，第一看到這個文章都會有疑問：這類常見到的揚聲器、三極管、guangxuetoujingzenmejiunenggouxiangshenduxuexiwangluonayangwanchengxuexixunlianhetuilidene
？tebieshizheqizhongdoushiyixiechangjiandaodewulixitong，zhelimianbingmeiyoubaohanshenmeliangzijisuanji、神經計算機之類結構。

文章包含的工作很多（原文PDF有60多頁），我wo還hai沒mei有you看kan完wan，不bu過guo文wen章zhang一yi開kai始shi把ba為wei什shen麼me物wu理li神shen經jing網wang絡luo能neng夠gou實shi現xian人ren工gong神shen經jing網wang絡luo算suan法fa的de原yuan理li還hai是shi講jiang的de比bi較jiao明ming白bai。傳chuan統tong的de深shen度du學xue習xi可ke以yi分fen解jie若ruo幹gan網wang絡luo層ceng的de級ji聯lian計ji算suan，每mei一yi層ceng的de計ji算suan包bao括kuo輸shu入ru數shu據ju（Input）、網絡參數(Parameters），它們經過融合後經過神經元非線性傳遞函數形成網絡的輸出（Output）。

圖2 人工神經網絡（ANN）與物理神經網絡（PNN） 之間的聯係

物理神經網絡也是分成若幹層的級聯，比如若幹個揚聲器，每個揚聲器是一層神經網絡。輸入信號是揚聲器的輸入電壓
；網絡參數則是一組可以控製的電壓信號
，比如持續時間，幅值可以改變的信號，它們與輸入信號通過（疊加
、串聯等）合並後送入揚聲器，揚聲器的輸出聲音再經過麥克風采集形成網絡的輸出。

圖1.3 由揚聲器組成的一層神經網絡結構圖

在由晶體管組成的放大電路

、光學倍頻器（SHG）組成的係中，對於輸入信號
，網絡參數以及它們的融合方法根據各子係統特點有所不同。

比如在下圖中，網絡參數實際上就是一段長度和幅值不同的直流信號，嵌入在輸入變化的信號中（A），經過三極管電路之後形成輸出（B）
，輸入信號和網絡參數融合部分進行展開與歸一化（C）形成網絡輸出信號。

圖3 在三極管電路中輸入信號網絡參數信號（幅值可控一段直流電平）的串聯，以及對應的電路輸出信號

盡(jin)管(guan)現(xian)在(zai)對(dui)於(yu)網(wang)絡(luo)如(ru)何(he)進(jin)行(xing)訓(xun)練(lian)，如(ru)何(he)進(jin)行(xing)工(gong)作(zuo)的(de)細(xi)節(jie)還(hai)有(you)待(dai)進(jin)一(yi)步(bu)的(de)了(le)解(jie)，但(dan)文(wen)章(zhang)所(suo)展(zhan)示(shi)關(guan)於(yu)深(shen)度(du)神(shen)經(jing)網(wang)絡(luo)算(suan)法(fa)的(de)本(ben)質(zhi)令(ling)人(ren)耳(er)目(mu)一(yi)新(xin)。利(li)用(yong)了(le)係(xi)統(tong)輸(shu)入(ru)輸(shu)出(chu)之(zhi)間(jian)的(de)非(fei)線(xian)性(xing)把(ba)輸(shu)入(ru)信(xin)號(hao)與(yu)網(wang)絡(luo)信(xin)號(hao)進(jin)行(xing)融(rong)合(he)完(wan)成(cheng)信(xin)息(xi)的(de)處(chu)理(li)，所(suo)以(yi)文(wen)章(zhang)所(suo)舉(ju)例(li)的(de)三(san)個(ge)係(xi)統(tong)（揚聲器、三極管電路、二次倍頻光學係統）都應該不是線性時不變係統。

下麵我們拋開物理神經網絡算法
，先看看論文中的這三個係統的特點。

02 非線性係統

在大學本科階段所學習的“信號與係統”、“自動控製理論”中所討論的原理和方法基本上都是針對於線性時不變係統，因此判斷一個係統是否是線性時不變是應用這些理論第一步需要做的事情。

在前麵Nature 論文中所提到的三個物理係統（機械、電子、光學）是否都滿足線性時不變呢
？

2.1 三極管電路

文章中三極管電路最簡單，同樣它的非線性也最為明顯。

電路包含有四個元器件：電阻、電感、電容以及場效應三極管。其中電阻、電感
、電(dian)容(rong)都(dou)是(shi)線(xian)性(xing)元(yuan)器(qi)件(jian)
，隻(zhi)有(you)場(chang)效(xiao)應(ying)三(san)極(ji)管(guan)是(shi)一(yi)個(ge)非(fei)線(xian)性(xing)器(qi)件(jian)。它(ta)的(de)漏(lou)極(ji)飽(bao)和(he)電(dian)流(liu)與(yu)柵(zha)極(ji)電(dian)壓(ya)之(zhi)間(jian)呈(cheng)現(xian)平(ping)方(fang)關(guan)係(xi)。所(suo)以(yi)該(gai)電(dian)子(zi)係(xi)統(tong)是(shi)一(yi)個(ge)非(fei)線(xian)性(xing)係(xi)統(tong)。

圖2.1.1 三極管電路

2.2 二次諧波產生係統（SHG）

二次諧波產生係統 是一個光學係統，也是文章舉例中最複雜的係統。

對於SHG（Second-Harmonic  Generation）光學係統我不是很熟悉
，通過 檢索相應文獻[2] 可以了解到它的基本原理。它利用了 一些特殊的分子物理狀態可以將輸入光學信號的頻率進行倍頻，產生對應的二次諧波信號。

圖2.2.1 二次諧波產生係統

對於這類你不熟悉的物理係統
，那麼該如何判斷它 是否屬於線性時不變係統呢？

在這裏我們需要利用線性時不變係統的一個特性：線性時不變係統不會產生新的頻率信號。

雖然它可以改變輸入信號中不同頻率分量的幅度和相位，但不會有新的頻率分量產生。SHG光學係統是將輸入光譜中所有頻率分量都進行倍頻，產生了新的倍頻分量
，因此它不屬於線性時不變係統。

因此
，倍頻是該係統能夠用於完成物理神經係統的關鍵
，一個線性時不變光學係統是無法構建物理神經網絡的。

2.3 揚聲器

文章舉例的三個係統中，就數揚聲器機械振動係統最令人感到撲朔迷離。係統分為揚聲器、音頻功放、麥克風組成。其中揚聲器需要進行改裝。

他們把動圈式喇叭的振動膜和防塵罩拆除
，露出音頻線圈，在上麵使用膠水粘上一個金屬螺釘，再固定一個3.2cm×3.2cm見方，1mm厚的金屬鉭製作的金屬片。讀到此，你會覺得他們這通騷操作屬於脫了褲子放屁，故弄玄虛。

圖2.3.1 利用揚聲器製作的機械振蕩係統

原以為他們這麼改裝應該是想在喇叭機械係統中融入非線性環節，但在音圈（Sound Coil）上(shang)增(zeng)加(jia)的(de)金(jin)屬(shu)螺(luo)釘(ding)和(he)鉭(tan)片(pian)好(hao)像(xiang)僅(jin)僅(jin)是(shi)增(zeng)加(jia)了(le)喇(la)叭(ba)線(xian)圈(quan)慣(guan)性(xing)質(zhi)量(liang)
，對(dui)於(yu)其(qi)中(zhong)高(gao)頻(pin)振(zhen)蕩(dang)進(jin)行(xing)壓(ya)製(zhi)，起(qi)到(dao)一(yi)個(ge)低(di)頻(pin)濾(lv)波(bo)的(de)作(zuo)用(yong)。因(yin)此(ci)該(gai)係(xi)統(tong)仍(reng)然(ran)屬(shu)於(yu)一(yi)個(ge)線(xian)性(xing)時(shi)不(bu)變(bian)係(xi)統(tong)。

下xia麵mian是shi論lun文wen補bu充chong材cai料liao中zhong給gei出chu的de揚yang聲sheng器qi輸shu入ru電dian壓ya信xin號hao
，麥mai克ke風feng錄lu音yin信xin號hao以yi及ji信xin號hao降jiang采cai樣yang的de數shu字zi信xin號hao。可ke以yi看kan到dao麥mai克ke風feng錄lu製zhi的de音yin頻pin信xin號hao的de確que是shi對dui輸shu入ru信xin號hao的de低di通tong平ping滑hua濾lv波bo。

圖2.3.2 揚聲器的輸入信號、麥克風錄音信號以及降采樣數字信號

下圖是文章中給出的輸入隨機信號中嵌入了幅度可控一段直流信號（相當於網絡參數），施加在揚聲器上之後，麥克風采集到的音頻信號。最後一張圖上可以看到在不同時刻對應的輸出信號與輸入信號之間呈現線性關係。

圖2.3.3 輸入隨機噪聲加上可控直流信號片段噪聲的輸出信號

那麼問題來了：這個係統中的非線性環節到底在哪兒呢
？

現在能夠想到的就是其中麥克風信號進行降采樣可能會改變係統的線性時不變特性
，類似於卷積神經網中的 Pooling 層的作用。

※ 論文總結 ※

來自於康納爾大學的這篇研究論文給出了 一個利用物理係統實現深層網絡學習和推理的框架。本文對於文章舉例的三個係統不屬於線性時不變係統進行分析。除了其中SHG係統比較複雜之外，其它兩個係統（三極管、揚聲器）是如此的簡便
，吸引人去進行搭建係統，測試一下相應的性能性能。

對於參加智能車競賽的同學來講，也許將來不再需要借助於複雜高性能單片機來完成神經網絡推理，隻利用幾隻三極管便可完成。

參考資料

[1]Deep Physical Neural Networks Trained with Backpropogation: https://www.nature.com/articles/s41586-021-04223-6.pdf

[2]檢索相應文獻: https://www.sciencedirect.com/topics/chemistry/second-harmonic-generation

免責聲明：本文為轉載文章
，轉載此文目的在於傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題，請聯係小編進行處理。

推薦閱讀：

Infineon無刷電機驅動開源方案

極低噪聲幻像電源如何設計？詳細原理圖和三種消噪方法

傳感器在工業 4.0 預測性維護中的應用

星火燎原，能量收集技術如何為邊緣電池供電係統“續命”

如何最優化充電器設計？這三款電路必須安利