一、係統總體方案設計

tongxinshuangfangxitongzhongyinpinheshipincaijimokuaifuzecaijimonixinhao，bingjiangcaijidaodeyinshipinshujusongdaoyinshipinguanlimokuai，jingguoyasuochuli
，zaijiashangshujubaotouyiqiyouWiFi發送到對方；對(dui)方(fang)接(jie)收(shou)到(dao)數(shu)據(ju)後(hou)
，經(jing)過(guo)相(xiang)關(guan)處(chu)理(li)，判(pan)斷(duan)音(yin)視(shi)頻(pin)幀(zhen)類(lei)型(xing)，再(zai)送(song)往(wang)解(jie)壓(ya)縮(suo)處(chu)理(li)模(mo)塊(kuai)，恢(hui)複(fu)出(chu)音(yin)視(shi)頻(pin)數(shu)據(ju)。通(tong)信(xin)雙(shuang)方(fang)設(she)備(bei)均(jun)包(bao)含(han)嵌(qian)入(ru)式(shi)音(yin)視(shi)頻(pin)管(guan)理(li)模(mo)塊(kuai)和(he)無(wu)線(xian)收(shou)發(fa)模(mo)塊(kuai)。無(wu)線(xian)WiFi收發模塊運行在2.4 GHz頻段，符合IEEE 802.11b無線局域網協議標準。

二
、硬件設計

1、係統硬件設計

係統硬件設計以ARM11為核心微處理器，主頻為532 MHz
，能夠滿足實時處理的要求，其內部集成有256 MB SDRAM、2 GB FLASH、音頻錄
、放音接口
、Camera視頻接口、無線WiFi接口
、LCD接口
、SD卡接口等，同時以開源的Linux 2.6.28為內核，yaffs2為根文件係統，Qtopia 4.4.3作為用戶界麵，為開發調試和係統設計提供了良好的平台。

2

、無線傳輸模塊

本係統的無線傳輸模塊采用工作在2.4 GHz公共頻段的WiFi模塊來實現，它遵循IEEE 802.11b/g網絡標準，可用於在後期開發中將終端接入Internet，其最高數據率為54 Mb/s，支持WinCE、Linux係統。室內通信距離可達100 m，室外開闊地可達300 m.隻需要對ARM-Linux操作係統進行簡單的配置就可以由以太網連接模式轉化為雙機通信AD-HOC模式
，在係統啟動之後
，設計了基於Qt的窗口設計
，方便切換連接模式。

選用WiFi具有很好的可擴展性
，可以通過無線路由器的WiFi連接到廣域網
，具有很好的應用前景。同時大多數手機等終端設備具有WiFi功能

，後期還可以將軟件升級至Andriod係統，方便開發和移植。它減少了音視頻實時傳輸的開發成本和周期，也給現代移動通信提供了一種新的音視頻通信方式。

WiFi的驅動配置好後，應用層和以太網接口模式編程完全相同。由於此設計音視頻數據量較大，不宜采用UDP，因為當數據量過大或傳輸信號不好時，UDP會嚴重丟包，所以最終選擇麵向連接的TCP傳輸協議，保證了係統音視頻有效傳輸。由於TCP是應答時式傳輸數據，在局域網內，無需考慮TCP丟包問題，為實現係統功能提供了可靠的保障。

3、音視頻采集模塊

音頻采用處理器內部集成的IIS（Inter-IC SoundBus）音頻接口和WM9714音頻芯片。IIS是飛利浦公司為數字音頻設備之間的音頻數據傳輸而定製的一種總線標準。在飛利浦公司的IIS標準中
，既規定了硬件接口係統
，也規範了音頻數據的格式。基於此硬件及接口規範
，實現了集成音頻輸出

、Linein輸入和Mic輸入功能。

視頻采集使用的是OV9650CMOS攝像頭模塊，分辨率高達130萬像素，可直接與OK6410開發板的Camera接口相接。適用於高端消費類電子產品
、工業控製、車載導航、多媒體終端、行業PDA、嵌入式教育培訓、個人學習等。其結構較簡單
，提供硬件驅動程序
，便於使用和調試。
[page]

三、軟件設計

軟件分為用戶界麵設計和數據處理
、傳輸等模塊的設計。

1
、嵌入式音視頻的同步

本(ben)文(wen)的(de)基(ji)本(ben)思(si)想(xiang)是(shi)以(yi)視(shi)頻(pin)流(liu)為(wei)主(zhu)媒(mei)體(ti)流(liu)
，音(yin)頻(pin)流(liu)為(wei)從(cong)媒(mei)體(ti)流(liu)，視(shi)頻(pin)的(de)播(bo)放(fang)速(su)率(lv)保(bao)持(chi)不(bu)變(bian)，根(gen)據(ju)本(ben)地(di)係(xi)統(tong)時(shi)鍾(zhong)確(que)定(ding)實(shi)際(ji)時(shi)間(jian)

，通(tong)過(guo)調(tiao)整(zheng)音(yin)頻(pin)播(bo)放(fang)速(su)度(du)來(lai)達(da)到(dao)音(yin)視(shi)頻(pin)同(tong)步(bu)。

首先選擇一個本地係統時鍾參考（LSCR）
，然後將LSCR發送到視頻解碼器和音頻解碼器，由這兩個解碼器根據各幀的PTS值(zhi)對(dui)照(zhao)本(ben)地(di)係(xi)統(tong)時(shi)鍾(zhong)，參(can)考(kao)產(chan)生(sheng)各(ge)幀(zhen)準(zhun)確(que)的(de)顯(xian)示(shi)或(huo)回(hui)放(fang)的(de)時(shi)間(jian)。也(ye)就(jiu)是(shi)說(shuo)
，生(sheng)成(cheng)輸(shu)出(chu)數(shu)據(ju)流(liu)時(shi)依(yi)據(ju)本(ben)地(di)參(can)考(kao)時(shi)鍾(zhong)上(shang)的(de)時(shi)間(jian)給(gei)每(mei)個(ge)數(shu)據(ju)塊(kuai)都(dou)打(da)上(shang)時(shi)間(jian)戳(chuo)（一般包括開始時間和結束時間）。在播放時
，讀取數據塊上的時間戳，同時根據本地係統時鍾參考上的時間來安排播放。

圖1：整個係統的音視頻同步數據流程
 

2、基於多線程的軟件總體設計

係統軟件架構如圖1所示，它是音視頻單向采集
、壓縮、傳輸
、接收、解壓縮
、chulihuifangyinshipinliukongzhiguocheng，gegemokuaicaiyongxianchengchuli，youxinhaoliangchulixianchengjianyouxianjigouchengxunhuandexiancheng
，youxiaodichulileyinshipinshujuliu。xitonggegongnengmokuaihua
，bianyuxiugaiheyizhi，daimajianduanjinghan。

圖2：係統軟件架構

3、音視頻通道管理

為了節約內存資源，便於通道的管理，本設計采用分通道的線程池管理
，音、視頻分別由自己的通道完成任務。

音視頻采集使用同一個線程處理
，采用selectxitongtiaoyong，meizhixingdaocixiancheng，jiupanduanyinshipinshebeishifoujiuxu，ruojiuxujicaijiyinpinhuoshipindaoyinshipinhuanchongqu，zaijiaogeiyinyouyuchuliqidegaosuchulihegaoxiaolvshipinyingjianH.264jieyasuo，shidezhenggexitongshishixingjibendadaoyaoqiu。qianrushiyinshipinguanlimokuaishixianlezhenggexitongdetongchoukongzhiheshishichuli，weiyinshipinshujuguanlitigongkekaodebaozheng。

視頻采集壓縮線程
，最後再交給發送線程打包後采用TCP發送。需要說明的是本設計線程之間均采用信號量完成線程間基於TCP的de音yin視shi頻pin軟ruan件jian架jia構gou的de同tong步bu管guan理li。發fa送song完wan以yi後hou進jin入ru接jie收shou線xian程cheng等deng待dai對dui方fang發fa音yin視shi頻pin數shu據ju。在zai接jie受shou端duan由you接jie收shou線xian程cheng接jie收shou到dao據ju以yi後hou，判pan斷duan數shu據ju的de包bao頭tou
，再zai交jiao由you解jie壓ya縮suo處chu理li線xian程cheng處chu理li，然ran後hou播bo放fang音yin視shi頻pin，再zai等deng待dai對dui方fang發fa數shu據ju到dao本ben機ji。

4、回音消除

係(xi)統(tong)開(kai)始(shi)時(shi)出(chu)現(xian)回(hui)音(yin)和(he)延(yan)時(shi)問(wen)題(ti)，延(yan)時(shi)是(shi)由(you)於(yu)采(cai)集(ji)傳(chuan)輸(shu)過(guo)程(cheng)中(zhong)造(zao)成(cheng)的(de)，所(suo)以(yi)隻(zhi)能(neng)盡(jin)量(liang)縮(suo)短(duan)延(yan)時(shi)，而(er)無(wu)法(fa)做(zuo)到(dao)即(ji)時(shi)播(bo)放(fang)，這(zhe)也(ye)是(shi)此(ci)係(xi)統(tong)的(de)缺(que)陷(xian)之(zhi)一(yi)。回(hui)音(yin)是(shi)由(you)於(yu)延(yan)時(shi)造(zao)成(cheng)的(de)
，文(wen)中(zhong)最(zui)後(hou)采(cai)用(yong)開(kai)源(yuan)的(de)Speex算法消除了回音。具體做法：將該算法編譯成庫文件，加入到Linux內核
，即可以使用Speex的API函數，實現音頻的回音消除。

結語：現如今的電子市場
，嵌入式無線終端的視頻監控產品以其環境適應力強
、無需布線、性能穩通信便利、傳輸距離遠的優勢占據市場的有利位置。本次設計是基於ARM Linux的de無wu線xian音yin視shi頻pin通tong信xin手shou持chi式shi終zhong端duan
，體ti積ji小xiao所suo以yi攜xie帶dai方fang便bian。係xi統tong采cai用yong鋰li電dian池chi經jing過guo開kai關guan電dian源yuan芯xin片pian降jiang壓ya的de方fang式shi進jin行xing供gong電dian。直zhi流liu穩wen壓ya效xiao率lv大da大da提ti高gao。在zai市shi場chang中zhong有you著zhe廣guang泛fan的de應ying用yong前qian景jing。

相關閱讀：

技術達人：ARM的非特定人語音識別係統的設計
ARM菜鳥快速上手
基於ARM和TFT6758的液晶顯示模塊設計