近年來，深度學習算法推動人工智能實現了快速發展。以深度學習為基礎的機器學習可以讓計算機模擬或實現人類學習行為，從而不斷改善自身性能，其應用正遍及人工智能的各個領域，并在各行業得到爆發式增長。但機器學習也面臨著各種挑戰和風險。美國《哈佛商業評論》雜志2021年1/2月刊發表歐洲工商管理學院（INSEAD）研究人員鮑里斯·巴比克（Boris Babic）、I. 格倫·科恩（I. Glenn Cohen）和西奧多·埃凡杰努（Theodoros Evgeniou）合著的文章《當機器學習誤入歧途》（When Machine Learning Goes Off the Rail），對其可能帶來的風險和應對方法進行了討論。

　　機器學習失誤的三大原因

　　機器學習與之前的數字技術的最大區別在于，它們能夠獨立做出越來越復雜的決定——比如交易哪些金融產品、車輛如何應對障礙、診斷患者是否患病——并不斷適應新數據。但這些算法并不總是順利運行。它們并不總是做出合乎道德或準確的選擇。這里有三個基本原因。

　　其中一個原因很簡單。算法做出了如此多的預測，很可能有些預測是錯誤的。出錯的可能性源于很多因素，包括用于訓練算法的數據的數量和質量，所選機器學習方法的具體類型，系統是否只使用可解釋的算法（意味著人類可以描述它們如何做出決定），這可能不允許系統實現最大的準確性。

　　其次，機器學習操作的環境本身可能會進化或不同于算法開發時所面對的環境。雖然這可能以多種方式發生，但最常見的兩種是概念漂移和協變量漂移。

　　對于前者，系統使用的輸入和輸出之間的關系隨著時間的推移并不穩定，或者可能被錯誤地指定。以股票交易的機器學習算法為例，如果只使用低市場波動和高經濟增長時期的數據進行訓練，那么當經濟進入衰退或經歷動蕩時——比如在新冠疫情大流行這樣的危機期間——它可能表現不佳。隨著市場的變化，投入和產出之間的關系——例如，公司的杠桿程度與其股票回報之間的關系——也可能發生變化。在商業周期的不同階段，信用評分模型也可能出現類似的偏差。在醫學領域，概念漂移的一個例子是，基于機器學習的診斷系統使用皮膚圖像作為檢測皮膚癌的輸入，但由于沒有充分捕捉到人的膚色（可能因種族或日曬而不同）與診斷決策之間的關系，無法做出正確的診斷。這些信息甚至在用于訓練機器學習模型的電子健康記錄中都找不到。

　　當使用過程中輸入到算法中的數據與訓練算法的數據不同時，就會發生協變量移位。即使算法學習到的模式是穩定的，并且沒有概念漂移，這種情況也會發生。例如，醫療設備公司可以利用大城市醫院的數據開發基于機器學習的系統。但是，一旦該設備上市，農村地區醫護人員輸入該系統的醫療數據可能與開發數據不太一樣。城市醫院的病人可能更集中于某些社會人口群體，他們擁有在農村醫院不常見的基本醫療條件。只有當設備在市場上比在測試時出錯更多時，這種差異才會被發現。考慮到市場的多樣性和它們變化的速度，預測系統運行環境中會發生什么變得越來越具有挑戰性，而且沒有多少數據能夠捕捉到現實世界中發生的所有細微差別。

　　機器學習可能做出錯誤決定的第三個原因與它所嵌入的整個系統的復雜性有關。以一種根據醫生輸入的圖像診斷疾病的設備IDx-DR為例，它可以識別糖尿病視網膜病變和黃斑水腫等眼部疾病，是美國食品和藥物管理局批準使用的第一種基于機器學習的自主醫療設備。診斷的質量取決于提供的圖像有多清晰、設備使用的具體算法、算法使用的數據、輸入圖像的醫生是否接受了適當的指導，等等。有著如此多的參數，很難評估這樣的設備是否和為什么會出錯，更不用說確定它的行為了。企業應對風險的具體方法

　　那么，應該如何管理機器學習現有和正在出現的風險呢？制定適當的流程，提出正確的問題，采用正確的思維框架，這些都是重要的步驟。

　　需要把機器學習看作一個有生命的實體，而不是一種無生命的技術。以企業為例，由于對員工的認知測試無法揭示他們在加入現有團隊時的表現，實驗室測試也無法預測機器學習系統在現實世界中的表現。高管們應該要求全面分析員工、客戶或其他用戶將如何應用這些系統并對他們的決定作出反應。即使監管機構沒有要求，企業也可能希望對其基于機器學習的新產品進行隨機對照試驗，以確保其在推出前的安全性、有效性和公平性。但他們也可能想要分析產品在實際市場中的表現，因為那里有各種類型的用戶，看看產品的表現是否在他們之間有所不同。

　　此外，應用該技術的公司應該將這些算法做出的決策與在相同情況下不使用它們做出的決策的質量進行比較。在大規模部署產品之前，特別是那些沒有進行隨機對照試驗的產品，公司應該考慮在有限的市場上測試它們，以便更好地了解它們在各種因素影響下的準確性和行為——例如，當面對不同來源的數據或環境變化時。

　　應該制訂計劃，在機器學習產品上市前對其進行認證。監管機構的做法提供了一個很好的路線圖。例如，2020年，美國食品藥品監督管理局發表了一篇論文，提出了一種新的監管框架，用于修改基于機器學習的醫療設備軟件。它提出了一種方法，可以讓這類軟件在保證患者安全的同時不斷改進，包括對開發軟件的公司或團隊進行完整的評估，以確保該公司擁有卓越的組織文化，從而能夠定期測試其機器學習設備。

　　基于機器學習的產品和服務以及它們所處的環境在不斷發展，很多公司可能會發現它們的技術并沒有像最初設想的那樣發揮作用。因此，重要的是，他們要尋找方法來檢查這些技術是否在適當的范圍內運行。其他行業的成功經驗可以作為榜樣。美國食品藥品監督管理局倡議利用不同的數據來源，如電子健康記錄，來監控醫療產品的安全性，如果不合格，可以強制撤回這些產品。在許多方面，企業的監控程序可能類似于目前制造業、能源公司或網絡安全領域使用的預防性維護工具和流程。例如，這些公司可能會對人工智能進行所謂的對抗性攻擊，就像那些常規測試IT系統防御強度的攻擊一樣。

　　研發和制定智能安全原則

　　依賴機器學習的產品和服務——不斷吸收新數據，并根據數據做出相應調整的計算機程序——并不總是能做出合乎道德或準確的選擇。因此，自主決策的產品和服務需要解決道德困境——這一要求會帶來額外的風險、監管和產品開發挑戰。學者們現在已經開始將這些挑戰定義為算法設計負責解決的問題。例如，特斯拉是應該按照功利主義的成本—收益原則來設計汽車，還是按照康德主義的原則來設計汽車？即使答案是功利主義的，量化也是極其困難的：我們應該如何對一輛車進行編程，讓它來衡量三個老年人的生命更重要，還是一個中年人的生命更重要？企業應該如何在諸如隱私、公平、準確性和安全性之間取得平衡？所有這些風險都可以避免嗎？的確，有時它們會造成投資損失、有偏見的雇傭，甚至車禍。隨著這類產品在各個市場的激增，很多應用該技術的公司將面臨新的重大風險。

　　對此，企業需要建立自己的準則，包括道德準則，來管理這些新的風險，就像谷歌和微軟等公司已經做的那樣。這些指導方針往往需要非常具體（例如，關于采用何種關于“公平”的定義）才能有用，并且必須針對所涉風險進行調整。如果你使用機器學習來做招聘決定，最好有一個簡單、公平和透明的模型。如果你使用機器學習來預測商品期貨合約的價格，你可能就不太關心這些價值，而更關心機器學習做出決定所允許的最大潛在經濟損失。

　　幸運的是，現在有很多機構已經參與到了開發和實現的原則中。人們可以從經合組織等機構多年來的努力中學到很多東西。經合組織制定了首個政府間人工智能原則，并在2019年被許多國家采用。經合組織原則促進了創新、可信和負責任、透明的人工智能，尊重人權、法治和多樣性，推動包容性增長、可持續發展和人類福祉。他們還強調了人工系統在整個生命周期中的健康性、安全性和持續風險管理。最近，經合組織推出的人工智能政策觀察（The OECD AI Policy Observatory）平臺對此提供了更多有用的資源，如對全球人工智能政策的綜合匯編。
責任編輯：YYX