【導讀】隨著世界各個國家／地區紛紛製定人工智能相關法規
，設計基於人工智能的係統的工程師必須滿足這些新出台的規範和標準要求。在 2023 年 10 月 30 日，美國白宮也頒布了一項關於人工智能法規的行政命令，強調穩健的驗證和確認（V&V）過guo程cheng對dui基ji於yu人ren工gong智zhi能neng的de係xi統tong至zhi關guan重zhong要yao。該gai指zhi令ling要yao求qiu人ren工gong智zhi能neng公gong司si報bao告gao和he測ce試shi特te定ding模mo型xing，以yi確que保bao人ren工gong智zhi能neng係xi統tong按an預yu期qi運yun行xing並bing滿man足zu指zhi定ding要yao求qiu。

隨著世界各個國家／地區紛紛製定人工智能相關法規，設計基於人工智能的係統的工程師必須滿足這些新出台的規範和標準要求。在 2023 年 10 月 30 日，美國白宮也頒布了一項關於人工智能法規的行政命令，強調穩健的驗證和確認（V&V）過guo程cheng對dui基ji於yu人ren工gong智zhi能neng的de係xi統tong至zhi關guan重zhong要yao。該gai指zhi令ling要yao求qiu人ren工gong智zhi能neng公gong司si報bao告gao和he測ce試shi特te定ding模mo型xing，以yi確que保bao人ren工gong智zhi能neng係xi統tong按an預yu期qi運yun行xing並bing滿man足zu指zhi定ding要yao求qiu。

人工智能法規和 V&V 過程將對安全關鍵型係統產生重大影響。人工智能越來越多地用於係統設計，包括汽車和航空航天工業等領域的安全關鍵型應用。

基於人工智能的係統中的驗證和確認

驗證旨在確定人工智能模型是否按照指定的要求設計和開發，而確認則是檢查產品是否符合客戶的要求和預期。通過采用 V&V 方法，工程師可以確保人工智能模型的輸出符合規範，從而實現早期 Bug 檢測並緩解數據偏向的風險。

在zai安an全quan關guan鍵jian型xing係xi統tong中zhong使shi用yong人ren工gong智zhi能neng的de一yi項xiang優you勢shi是shi
，人ren工gong智zhi能neng模mo型xing可ke以yi模mo擬ni物wu理li係xi統tong並bing驗yan證zheng設she計ji。工gong程cheng師shi可ke對dui基ji於yu人ren工gong智zhi能neng的de整zheng個ge係xi統tong進jin行xing仿fang真zhen
，並bing使shi用yong數shu據ju在zai不bu同tong場chang景jing中zhong測ce試shi係xi統tong，包bao括kuo離li群qun值zhi事shi件jian。如ru果guo在zai安an全quan關guan鍵jian型xing場chang景jing中zhong執zhi行xing V&V，則可確保基於人工智能的安全關鍵型係統能夠在各種情況下保持其性能水平。

daduoshukaifarengongzhinengzengqiangchanpindexingye，douyaoqiugongchengshizaichanpinshangshiqianzunxunxiangguanbiaozhun。zhexierenzhengguochengkequebaocileichanpinzhongrongrutedingyuansu。gongchengshikezhixing V&V 來測試這些元素的功能，這使得獲得認證更容易。

在汽車行業中
，ISO/CD PAS 8800 是(shi)一(yi)項(xiang)擬(ni)製(zhi)標(biao)準(zhun)，旨(zhi)在(zai)說(shuo)明(ming)道(dao)路(lu)車(che)輛(liang)的(de)安(an)全(quan)相(xiang)關(guan)屬(shu)性(xing)和(he)風(feng)險(xian)因(yin)素(su)。在(zai)航(hang)空(kong)航(hang)天(tian)和(he)國(guo)防(fang)領(ling)域(yu)，認(ren)證(zheng)是(shi)強(qiang)製(zhi)性(xing)要(yao)求(qiu)。機(ji)載(zai)係(xi)統(tong)和(he)設(she)備(bei)認(ren)證(zheng)中(zhong)的(de)軟(ruan)件(jian)考(kao)慮(lv)因(yin)素(su)（DO178C）等現行標準不一定能直接幫助應對人工智能所帶來的獨特挑戰。因此，新的 ARP6983 過程標準正在製定中
，旨在為開發和認證實現人工智能的航空安全相關產品提供規範。

Deep Learning Toolbox™ Verification Library 和 MATLAB® Test™ 可以幫助工程師開發有助於遵循行業標準的軟件


，並簡化大型係統中人工智能模型的驗證和測試，從而使他們在航空和汽車領域的 V&V 方麵保持領先地位。

航空航天工程團隊使用基於模型的設計來管理和協調複雜的需求
，自動生成代碼，並嚴格測試模型和係統。

安全關鍵型係統中的 V&V 人工智能過程

在執行 V&V shi，gongchengshidemubiaoshiquebaorengongzhinengzujianjinengmanzuzhidingdeyaoqiu
，younengzaigezhonggongkuangxiadoubiaoxianchukekaoxingheanquanxing
，yincikeyisuishibushu。yurengongzhinengxiangguande V&V 過程涉及執行軟件保證活動，其中包括靜態和動態分析
、測試
、形式化方法和真實運營監控的組合。

各行各業的 V&V 過程可能略有不同
，但 V&V 過程的主要步驟都包括：

l 分析決策過程以解決黑盒問題

；

l 根據有代表性的數據集測試模型
；

l 執行人工智能係統仿真
；

l 確保模型在可接受的範圍內運行。

下述 V&V 過程中的步驟是迭代步驟。隨著工程師收集新數據
、獲得新深入信息和集成運行反饋
，人工智能係統可以得到不斷完善和改進。

分析決策過程以解決黑盒問題

在(zai)使(shi)用(yong)人(ren)工(gong)智(zhi)能(neng)模(mo)型(xing)為(wei)係(xi)統(tong)添(tian)加(jia)自(zi)動(dong)化(hua)功(gong)能(neng)時(shi)
，工(gong)程(cheng)師(shi)會(hui)麵(mian)臨(lin)黑(hei)盒(he)問(wen)題(ti)。理(li)解(jie)基(ji)於(yu)人(ren)工(gong)智(zhi)能(neng)的(de)係(xi)統(tong)如(ru)何(he)作(zuo)出(chu)決(jue)策(ce)，對(dui)於(yu)提(ti)供(gong)透(tou)明(ming)度(du)至(zhi)關(guan)重(zhong)要(yao)，因(yin)為(wei)這(zhe)使(shi)工(gong)程(cheng)師(shi)和(he)科(ke)學(xue)家(jia)能(neng)夠(gou)對(dui)模(mo)型(xing)預(yu)測(ce)建(jian)立(li)信(xin)任(ren)並(bing)理(li)解(jie)決(jue)策(ce)。

特征重要性分析方法可以幫助工程師確定哪些輸入變量對模型預測的影響最大。這種分析方法的工作方式因模型（如基於樹的模型和線性模型）而er異yi，但dan是shi，一yi般ban過guo程cheng會hui為wei每mei個ge輸shu入ru變bian量liang賦fu予yu一yi個ge特te征zheng重zhong要yao性xing分fen數shu。重zhong要yao性xing分fen數shu越yue高gao
，該gai特te征zheng對dui模mo型xing決jue策ce的de影ying響xiang就jiu越yue大da。對dui於yu汽qi車che行xing業ye的de安an全quan關guan鍵jian型xing係xi統tong，變bian量liang可ke能neng包bao括kuo環huan境jing因yin素su，如ru降jiang水shui或huo其qi他ta車che輛liang的de存cun在zai和he行xing為wei。

kejieshixingfangfayouzhuyushenrulejiemoxingxingwei。dangmoxingdeheihexingzhishiwomenwufashiyongqitafangfashi
，zhezhongfangfayouqizhongyao。yituxiangweili，zhexiefangfakeyongyushibietuxiangzhongduizuizhongyucegongxianzuidadequyu。zheyang
，gongchengshibiankelijiemoxingzaizuochuyuceshidezhuyaoguanzhudian。

根據有代表性的數據集測試模型

通(tong)常(chang)
，工(gong)程(cheng)師(shi)會(hui)評(ping)估(gu)人(ren)工(gong)智(zhi)能(neng)模(mo)型(xing)在(zai)真(zhen)實(shi)場(chang)景(jing)中(zhong)的(de)性(xing)能(neng)，以(yi)確(que)保(bao)安(an)全(quan)關(guan)鍵(jian)型(xing)係(xi)統(tong)能(neng)夠(gou)在(zai)這(zhe)些(xie)場(chang)景(jing)中(zhong)穩(wen)健(jian)運(yun)行(xing)。他(ta)們(men)的(de)目(mu)標(biao)是(shi)找(zhao)出(chu)各(ge)種(zhong)限(xian)製(zhi)，以(yi)提(ti)高(gao)模(mo)型(xing)的(de)準(zhun)確(que)度(du)和(he)可(ke)靠(kao)性(xing)。工(gong)程(cheng)師(shi)首(shou)先(xian)會(hui)收(shou)集(ji)大(da)量(liang)有(you)代(dai)表(biao)性(xing)的(de)真(zhen)實(shi)數(shu)據(ju)集(ji)，並(bing)通(tong)過(guo)清(qing)洗(xi)數(shu)據(ju)使(shi)其(qi)適(shi)用(yong)於(yu)測(ce)試(shi)。然(ran)後(hou)，他(ta)們(men)會(hui)設(she)計(ji)測(ce)試(shi)用(yong)例(li)來(lai)評(ping)估(gu)模(mo)型(xing)的(de)各(ge)個(ge)方(fang)麵(mian)，例(li)如(ru)準(zhun)確(que)度(du)和(he)可(ke)再(zai)現(xian)性(xing)。最(zui)後(hou)，工(gong)程(cheng)師(shi)會(hui)將(jiang)模(mo)型(xing)應(ying)用(yong)於(yu)數(shu)據(ju)集(ji)
，記(ji)錄(lu)結(jie)果(guo)並(bing)將(jiang)其(qi)與(yu)預(yu)期(qi)輸(shu)出(chu)進(jin)行(xing)比(bi)較(jiao)。模(mo)型(xing)設(she)計(ji)將(jiang)根(gen)據(ju)數(shu)據(ju)測(ce)試(shi)的(de)結(jie)果(guo)進(jin)行(xing)改(gai)進(jin)。

執行人工智能係統仿真

憑(ping)借(jie)基(ji)於(yu)人(ren)工(gong)智(zhi)能(neng)的(de)係(xi)統(tong)仿(fang)真(zhen)，工(gong)程(cheng)師(shi)能(neng)夠(gou)在(zai)受(shou)控(kong)環(huan)境(jing)中(zhong)評(ping)估(gu)和(he)評(ping)價(jia)係(xi)統(tong)的(de)性(xing)能(neng)。在(zai)仿(fang)真(zhen)期(qi)間(jian)
，工(gong)程(cheng)師(shi)會(hui)創(chuang)建(jian)一(yi)個(ge)虛(xu)擬(ni)環(huan)境(jing)，以(yi)在(zai)各(ge)種(zhong)條(tiao)件(jian)下(xia)對(dui)真(zhen)實(shi)係(xi)統(tong)進(jin)行(xing)模(mo)擬(ni)。首(shou)先(xian)，他(ta)們(men)會(hui)定(ding)義(yi)仿(fang)真(zhen)係(xi)統(tong)所(suo)需(xu)的(de)輸(shu)入(ru)和(he)參(can)數(shu)，例(li)如(ru)初(chu)始(shi)條(tiao)件(jian)和(he)環(huan)境(jing)因(yin)素(su)。然(ran)後(hou)
，他(ta)們(men)使(shi)用(yong) Simulink® dengruanjianzhixingfangzhen，gairuanjianhuishuchuxitongduijianyichangjingdexiangying。yushujuceshiyiyang，fangzhenjieguohuiyuyuqihuoyizhijieguojinxingbijiao，yibianyumoxingdedaozhubugaijin。

為wei了le讓rang人ren工gong智zhi能neng模mo型xing安an全quan可ke靠kao地di運yun行xing，必bi須xu建jian立li界jie限xian並bing監jian控kong模mo型xing的de行xing為wei
，以yi確que保bao該gai模mo型xing在zai這zhe些xie邊bian界jie內nei運yun行xing。如ru果guo模mo型xing已yi基ji於yu有you限xian的de數shu據ju集ji訓xun練lian，並bing在zai運yun行xing時shi遇yu到dao前qian所suo未wei見jian的de數shu據ju，則ze會hui出chu現xian最zui常chang見jian的de邊bian界jie問wen題ti之zhi一yi。同tong樣yang，模mo型xing可ke能neng不bu夠gou穩wen健jian，有you可ke能neng導dao致zhi不bu可ke預yu測ce的de行xing為wei。

工程師采用緩解數據偏向和增強數據的方法，以確保人工智能模型在可接受的範圍內運行。

緩huan解jie數shu據ju偏pian向xiang的de一yi種zhong方fang法fa是shi，讓rang用yong於yu訓xun練lian人ren工gong智zhi能neng模mo型xing的de數shu據ju具ju有you多duo變bian性xing，這zhe有you助zhu於yu減jian少shao模mo型xing對dui限xian製zhi其qi學xue習xi的de重zhong複fu模mo式shi的de依yi賴lai。借jie助zhu數shu據ju增zeng強qiang方fang法fa

，可ke確que保bao代dai表biao不bu同tong類lei別bie和he人ren群qun的de數shu據ju都dou能neng得de到dao公gong平ping和he平ping等deng的de處chu理li。在zai自zi動dong駕jia駛shi汽qi車che場chang景jing中zhong，數shu據ju增zeng強qiang可ke能neng涉she及ji使shi用yong不bu同tong角jiao度du的de行xing人ren照zhao片pian來lai幫bang助zhu模mo型xing檢jian測ce行xing人ren，而er不bu管guan這zhe些xie行xing人ren的de位wei姿zi如ru何he。數shu據ju平ping衡heng方fang法fa通tong常chang與yu數shu據ju增zeng強qiang結jie合he使shi用yong，包bao含han來lai自zi每mei個ge數shu據ju類lei的de相xiang似si樣yang本ben。以yi行xing人ren為wei例li，平ping衡heng數shu據ju意yi味wei著zhe，針zhen對dui每mei種zhong不bu同tong的de行xing人ren場chang景jing

，如ru不bu同tong體ti型xing
、服裝樣式、光(guang)照(zhao)條(tiao)件(jian)和(he)背(bei)景(jing)
，數(shu)據(ju)集(ji)都(dou)必(bi)須(xu)包(bao)含(han)與(yu)之(zhi)對(dui)應(ying)數(shu)量(liang)的(de)圖(tu)像(xiang)。這(zhe)種(zhong)方(fang)法(fa)可(ke)以(yi)最(zui)大(da)限(xian)度(du)地(di)減(jian)少(shao)偏(pian)向(xiang)，並(bing)提(ti)高(gao)模(mo)型(xing)在(zai)各(ge)種(zhong)現(xian)實(shi)情(qing)況(kuang)下(xia)的(de)泛(fan)化(hua)能(neng)力(li)。

在(zai)安(an)全(quan)關(guan)鍵(jian)型(xing)場(chang)景(jing)中(zhong)部(bu)署(shu)神(shen)經(jing)網(wang)絡(luo)時(shi)，穩(wen)健(jian)性(xing)是(shi)首(shou)要(yao)考(kao)慮(lv)因(yin)素(su)。細(xi)微(wei)而(er)難(nan)以(yi)察(cha)覺(jiao)的(de)變(bian)化(hua)會(hui)帶(dai)來(lai)重(zhong)大(da)風(feng)險(xian)，使(shi)神(shen)經(jing)網(wang)絡(luo)產(chan)生(sheng)誤(wu)分(fen)類(lei)。這(zhe)些(xie)幹(gan)擾(rao)可(ke)能(neng)會(hui)導(dao)致(zhi)神(shen)經(jing)網(wang)絡(luo)輸(shu)出(chu)不(bu)正(zheng)確(que)或(huo)危(wei)險(xian)的(de)結(jie)果(guo)。在(zai)錯(cuo)誤(wu)可(ke)能(neng)導(dao)致(zhi)災(zai)難(nan)的(de)係(xi)統(tong)中(zhong)，這(zhe)種(zhong)情(qing)況(kuang)尤(you)其(qi)令(ling)人(ren)擔(dan)憂(you)。一(yi)種(zhong)解(jie)決(jue)方(fang)案(an)是(shi)，將(jiang)形(xing)式(shi)化(hua)方(fang)法(fa)納(na)入(ru)開(kai)發(fa)和(he)驗(yan)證(zheng)過(guo)程(cheng)中(zhong)。形(xing)式(shi)化(hua)方(fang)法(fa)就(jiu)是(shi)使(shi)用(yong)嚴(yan)格(ge)的(de)數(shu)學(xue)模(mo)型(xing)來(lai)確(que)立(li)和(he)證(zheng)明(ming)神(shen)經(jing)網(wang)絡(luo)的(de)正(zheng)確(que)性(xing)屬(shu)性(xing)。通(tong)過(guo)應(ying)用(yong)這(zhe)些(xie)方(fang)法(fa)

，工(gong)程(cheng)師(shi)可(ke)以(yi)提(ti)高(gao)網(wang)絡(luo)對(dui)某(mou)些(xie)類(lei)型(xing)幹(gan)擾(rao)的(de)抵(di)禦(yu)能(neng)力(li)，從(cong)而(er)確(que)保(bao)安(an)全(quan)關(guan)鍵(jian)型(xing)應(ying)用(yong)具(ju)有(you)更(geng)高(gao)的(de)穩(wen)健(jian)性(xing)和(he)可(ke)靠(kao)性(xing)。

W 形開發過程是一種非線性 V&V 工作流

，旨在確保人工智能模型的準確度和可靠性。

結束語

在基於人工智能的安全關鍵型係統時代

，V&V 過(guo)程(cheng)對(dui)於(yu)獲(huo)得(de)行(xing)業(ye)認(ren)證(zheng)和(he)遵(zun)循(xun)法(fa)律(lv)要(yao)求(qiu)將(jiang)變(bian)得(de)至(zhi)關(guan)重(zhong)要(yao)。若(ruo)要(yao)構(gou)建(jian)和(he)維(wei)護(hu)值(zhi)得(de)信(xin)賴(lai)的(de)係(xi)統(tong)，工(gong)程(cheng)師(shi)需(xu)要(yao)采(cai)用(yong)驗(yan)證(zheng)方(fang)法(fa)

，為(wei)運(yun)行(xing)這(zhe)些(xie)係(xi)統(tong)的(de)人(ren)工(gong)智(zhi)能(neng)模(mo)型(xing)提(ti)供(gong)可(ke)解(jie)釋(shi)性(xing)和(he)透(tou)明(ming)度(du)。隨(sui)著(zhe)工(gong)程(cheng)師(shi)利(li)用(yong)人(ren)工(gong)智(zhi)能(neng)來(lai)幫(bang)助(zhu)執(zhi)行(xing) V&V 過guo程cheng，他ta們men必bi須xu探tan索suo各ge種zhong測ce試shi方fang法fa來lai應ying對dui人ren工gong智zhi能neng技ji術shu所suo帶dai來lai的de日ri益yi複fu雜za的de挑tiao戰zhan。在zai安an全quan關guan鍵jian型xing係xi統tong中zhong，這zhe些xie工gong作zuo可ke確que保bao人ren工gong智zhi能neng以yi負fu責ze且qie透tou明ming的de方fang式shi得de到dao使shi用yong。

（來源：MathWorks，作者：MathWorks 深度學習首席產品經理 Lucas Garcia 博士）

免責聲明：本文為轉載文章
，轉載此文目的在於傳遞更多信息，版權歸原作者所有。本文所用視頻

、圖片、文字如涉及作品版權問題
，請聯係小編進行處理。

推薦閱讀：

泰克應用分享】實現示波器同步以獲得更高通道數時需要考慮的三件事

如何利用碳化矽打造下一代固態斷路器

使用大麵積分析提升半導體製造的良率

你準備好迎接新興汽車雷達衛星架構了嗎？

如何幫助提高混合動力汽車/電動汽車電池斷開係統的安全性和效率