無論是在正式還是非正式討論中，恩智浦員工經(jīng)常會談及功能安全和信息安全的相互作用。如果再涉及汽車和人工智能，這個話題可能會變得更加復(fù)雜。

在去年的博文《未來挑戰(zhàn)：如何確保人工智能的安全》中，我們提到，恩智浦正在為安全的AI奠定堅實的基礎(chǔ)，例如恩智浦有關(guān)算法道德和Auto eIQ的白皮書。

在尋求功能安全和信息安全的汽車AI方面，我們不是在孤軍奮戰(zhàn)。在德國，德國聯(lián)邦信息安全辦公室 （BSI） 和采埃孚 （ZF） 攜手德國認(rèn)證機構(gòu)漢德集團 （TUV Nord），正合力探索如何在汽車上測試AI。德國人工智能研究中心 （DFKI） 和TUV SUD也在研究AI系統(tǒng)的汽車性能測試。

雖然尚不清楚這些測試的具體要求，但我們將在現(xiàn)有的基礎(chǔ)上再接再厲。

未來汽車如何利用機器學(xué)習(xí)和人工智能

在推理方面，我們相信未來汽車將利用AI和機器學(xué)習(xí)來提供安全相關(guān)的功能。正因如此，我們與ANITI和ONERA合作，研究基于AI的系統(tǒng)中隨機硬件故障的影響。這項工作在功能安全標(biāo)準(zhǔn)（如ISO 26262）確立的先進水平之上，因為這些標(biāo)準(zhǔn)明確將機器學(xué)習(xí)排除在外。

功能安全框圖

本次合作的一個重點領(lǐng)域就是故障注入。故障注入技術(shù)可用于以下3個目的：

1

驗證安全機制的有效性

2

證明特定設(shè)計對隨機硬件故障的穩(wěn)健性

3

在現(xiàn)場驗證設(shè)備能夠檢測出可預(yù)見的故障

確定邊緣隨機硬件故障的影響與機器學(xué)習(xí)模型之間的聯(lián)系，這是在現(xiàn)實世界中構(gòu)建信任所必需的關(guān)鍵一環(huán)。如果沒有構(gòu)建信任，我們就無法使用機器學(xué)習(xí)和AI來實現(xiàn)自動駕駛汽車所需的安全相關(guān)功能。

如何利用功能安全構(gòu)建信任？

就構(gòu)建信任而言，我們知道，不久后的將來，在運行人工智能安全功能的汽車中，完全按照機器學(xué)習(xí)模型運行不足以保障駕乘人員的安全。在這種情況下，硬件本身的重要性轉(zhuǎn)移到了模型的質(zhì)量。

評估與模型的平均性能有關(guān)的指標(biāo)是常見做法。而典型的方法是用準(zhǔn)確率來定義正確分類的比率。在目標(biāo)檢測中 （雷達的必備功能），通常選擇以mAP為指標(biāo)。除了目標(biāo)的正確分類，mAP還涵蓋了衍生邊界框的質(zhì)量。

觀看恩智浦半導(dǎo)體

汽車4D成像雷達演示

但是，我們認(rèn)為要構(gòu)建對模型的信任，這還不夠。這些指標(biāo)可能僅因為檢測目標(biāo)的形狀較為罕見，便無法區(qū)分奇怪的錯誤與可以理解的人為失誤。

此外，如果出現(xiàn)奇怪的錯誤，需要了解造成錯誤的原因才能加以解決。即使預(yù)測是正確的，它也可能基于不正確的偏見，而這是人們希望避免的。

如何理解AI算法？

為了解決這些問題，我們需要采用適當(dāng)?shù)姆椒ù蜷_AI算法的“黑匣子”，讓人類能夠理解這些預(yù)測。Grad-CAM就是這種神經(jīng)網(wǎng)絡(luò)方法的一個有趣的例子。Ramprasaath R.Selvaraju等人于2019年發(fā)表了一篇論文，其中解釋了如何將特征圖與其梯度相乘，以此確定輸入的哪些部分對模型的預(yù)測最重要。這為用戶提供了一個非常有價值的工具，可以更好地了解模型學(xué)到了什么，進而得出預(yù)測。

這也會增加人們對模型的信任，并有助于開發(fā)人員發(fā)現(xiàn)在訓(xùn)練集中發(fā)現(xiàn)模型缺點，然后加以解決。

作者給出了一個示例，人們訓(xùn)練了兩種模型分別用來識別醫(yī)生和護士。Grad-CAM提供了一個覆蓋圖（類似于熱圖），告訴人們使用圖片的哪些部分來做出判斷。在第一個模型（“有偏見”）中，模型使用面部特征來識別。這是我們不希望看到的情況，鑒于訓(xùn)練集存在偏見（女護士照片和男醫(yī)生照片較多），模型可能會判斷照片中是“護士”。經(jīng)過分析和再訓(xùn)練后，第二個模型可根據(jù)其他要素做出決策。Grad-CAM用于驗證是否需要這些要素（如聽診器）。

這個例子可以很容易地推算至與安全相關(guān)的功能。在駕駛員監(jiān)測系統(tǒng)檢測的情況下，Grad-CAM可以確保駕駛員疲勞標(biāo)記的訓(xùn)練無偏見。

恩智浦繼續(xù)投資打造功能安全和信息安全的AI解決方案。通過構(gòu)建對訓(xùn)練數(shù)據(jù)的信任，確保ML模型的完美執(zhí)行（即使是在隨機硬件故障的情況下），恩智浦致力于朝著光明、安全的未來前行。

原文標(biāo)題：汽車AI的功能安全和信息安全：新課題需要新解法！

文章出處：【微信公眾號：NXP客棧】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。