莫達非尼（modafinil）是一種常用的覺醒促進劑，用于治療睡眠紊亂、嗜睡癥等。如果你仔細閱讀它的說明書，你會發現內容十分硬核無聊，也就是市面上常見的Provigil，和很多藥物一樣，都被包裝在一個小紙盒里。

紙盒里大部分內容都是用于提示說明，包括藥物使用說明及注意事項、藥物分子結構示意圖。但是，在“作用機制”部分，卻有這么一句嚇死人的話——其中關于“藥物作用機制”的一小部分內容，尤其是一句特定的描述則可能會讓人無語到想入睡——“有關莫達非尼如何使人保持清醒的作用機制尚不明了！”。

像莫達非尼一樣神秘莫測的藥物不在少數。很多藥物盡管獲得了監管部門的批準，并且被廣泛使用，但實際上也沒人知道它們到底是如何起作用的。

這種神秘性源自于通過反復試驗進行藥物開發的過程。新藥物每年都會在人工培養的細胞或動物身上試驗，而其中最好且最安全的藥物才會進行人體試驗。在某些情況下，藥物的成功會促進新的研究從而解釋藥物的作用機制。比如，1897年阿司匹林問世，但直到1995年才有人真正解釋了它是如何起作用的。

醫學領域里，這種現象比比皆是。深度腦部刺激需要將電極插入患有特定行動障礙（如帕金森病）的患者腦部。這種方法已被廣泛使用二十多年，還有些人認為應該擴大它的使用范圍，如提高一般認知能力等。然而，沒有人能說清它的作用機制。

這種先找答案再解釋的方法，稱為“智力債務”。

在某些情況下，我們會馬上還清這筆智力債務。但是，其他情況下，我們可能幾十年都難以證實所用的方法理論。

人工智能新技術提高了我們的“智力債務”

在過去，智力債務一直局限于一些需要進行反復試驗的領域，如醫學。但現在這種情況發生了變化。

隨著人工智能新技術，特別是機器學習的出現，我們的“智力信用額度”被提高了。機器學習系統在數據海洋中識別模式，并借助這些模式來解決一些模糊開放的問題。例如，提供一個有關貓和其他非貓科動物的標記圖片數據集，機器學習系統就學會了如何識別貓。同樣地，讓系統訪問醫療記錄，它就可以嘗試預測一個新入院病人的死亡可能性。

然而，大多數的機器學習系統并沒有發現因果機制（causal mechanisms）。基于統計相關性引擎的機器學習系統無法解釋為什么它們認為某些患者更有可能死亡，因為它們并不考慮數據的含義，而只是提供結果。當我們將這些系統融入日常生活時，我們將共同承擔越來越多的智力債務。

制藥領域的發展表明，在某些情況下，智力債務是不可或缺的。那些我們并不理解的干預措施已經挽救了數百萬人的生命。很少有人會因為不清楚其作用機制而拒絕服用拯救生命的藥物，如阿司匹林。

但是，智力債務的增加也會帶來不好的結果。隨著具有未知作用機制的藥物激增，發現不良反應所需的測試數量呈指數級增長。

如果清楚藥物的作用機制，就可以預測其不良反應。在實踐中，藥品間的相互作用往往是在新藥上市后才發現的，這就形成了一個循環。在這個循環中，藥物先被上市，然后被遺棄，期間還伴隨著集體訴訟。

通常，伴隨著新藥產生的智力債務有一定的合理性。但是智力債務并不是孤立存在的。在不同領域發現和部署的沒有理論基礎的答案，會以不可預測的方式使彼此交錯復雜化。

通過機器學習產生的智力債務風險已經超出了過去反復試驗糾正所帶來的風險。因為大多數機器學習模型無法提供做出判斷的理由，所以如果它們沒有對所提供的答案進行獨立判斷，那么就不知道它們會在何時失誤。訓練良好的系統很少出現失誤，但如果一些人知道該向系統提供什么數據從而故意制造失誤時，那情況就很糟糕了。

以圖像識別為例。十年前，計算機還無法輕易地識別出圖像中的物體。而今天，圖像搜索引擎，像我們日常互動的許多系統一樣，都基于極其強大的機器學習模型。

谷歌的圖像搜索依賴于名為Inception的神經網絡。2017年，一個由麻省理工學院本科生和研究生組成的研究小組LabSix就通過改變一張貓的圖像的像素（盡管在人看來它還是一張貓的圖像），讓Inception有99.99%的把握認為它是一張鱷梨醬的圖像。

系統存在未知的漏洞，給了攻擊者巨大機會

Inception系統顯然無法解釋究竟是哪些特征使其能夠判斷一只貓是否真的是貓，因而當提供特制或損壞的數據給系統時，也很難預測系統是否會出現失誤。這些系統在準確性上存在的未知漏洞，無疑給了攻擊者機會。

伴隨著機器學習系統所生成的知識的使用，這些差距也就隨之產生了。一些醫療AI經過訓練后已經能分辨出皮膚腫瘤是良性還是惡性。

然而，就像哈佛醫學院和麻省理工學院的研究人員通過改變圖片的某些像素騙過系統，讓其做出錯誤的判斷，攻擊者也可能會利用這些漏洞實施保險欺詐。

在人工智能系統預測能力的誘惑下，我們可能會放棄自身的判斷。但是系統存在著被劫持的可能，而我們沒有什么簡單的方法來驗證其答案的正確性。

既然如此，我們能否能為智力債務創建一個資產負債表，從而跟蹤那些無理論知識的用途呢？

如果一個AI生成了一個新的披薩配方，那么你無需多言，盡管享用便是了。然而，當我們要用AI進行醫療健康方面的預測推薦時，我們就希望得到充分的信息。

如何建立智力債務的資產負債表

建立并維護整個社會的智力債務的資產負債表可能需要我們改進對商業機密和其他知識產權的處理方式。在城市中，建筑法規要求業主公開披露他們的裝修計劃。同樣地，我們也可以要求圖書館或者大學接受托管，并公開那些公共使用的隱藏數據集和相關算法。這樣研究人員就可以探索我們將要依賴的這些AI的模型及基礎數據，并通關建立相關理論，在我們智力債務的漏洞和脆弱性“到期”之前支付。

機器學習模型越來越普遍，幾乎每個人都可以創建一個。雖然這使得會計變得十分困難。但統計我們的智力債務卻是至關重要的。

機器學習系統單獨來看會持續產生有用的結果，但是這些系統并不是孤立存在的。這些AI收集并提取整個世界的數據，同時也產生著自身的數據，而其中很大一部分會被其他機器學習系統所使用。就像具有未知作用機制的藥物有時會相互作用一樣，那些背負智力債務的算法也是如此。

別小看了這些債務疊加產生的影響，因為即使是簡單的互動也會導致麻煩。

2011年，一位名叫Michael Eisen通過他的一名學生發現，在亞馬遜上售賣的所有普通舊書中最便宜的一本The Making of a Fly： The Genetics of Animal Design副本售價為170萬美元，外加3.99美元的運費。第二便宜的副本售價為210萬美元。

兩個賣家都有上千條好評，當Eisen連續幾天訪問該書的亞馬遜網頁后，他發現價格以一種規律持續上漲。A賣家的價格總是B賣家價格的99.83%，而B賣家的價格總是A賣家價格的127.059%。Eisen據此推測A賣家確實有一本副本，因此總是比第二便宜的賣家的價格低那么一點；而B賣家卻沒有副本，所以價格才會定得更高。如果有人在B賣家訂購了這本書，那么B賣家就可以從A賣家那里買過來然后轉手賣出。

每個賣家策略的設定都很理性。但正是他們算法的相互作用產生了不合理的結果。數以千計的機器學習模型在不受監管的情況下進行互動所產生的結果更是難以預測。早已部署了尖端機器學習系統的金融市場是此類問題的溫床。

去年秋天，摩根大通（J. P. Morgan）分析師Marko Kolanovic認為金融市場的崩潰很容易再次發生，因為現在的交易大多基于自動化系統。智力債務在這些系統的相互作用下不斷累積，盡管有時它們并不是正式關聯的。如果沒有類似于資產負債表這樣的東西，我們就無法預測或者回溯這些智力債務是否值得承擔。

智力債務的增加也可能改變我們對基礎科學和應用技術的思考方式。與那些由政府支持，由學術研究機構運營的大型資本項目（如粒子加速器等）不同，機器學習工具很容易被私營企業或學術界所使用。

實際上，與計算機科學或者統計相關部門相比，Google和Facebook更容易獲得那些能夠產生有用的預測結果的數據集。商人們很喜歡這些雖然無法解釋但足夠有用的知識，但智力債務也隨之增加了。它由公司所持有，使得那些致力于減少智力債務的學術研究人員難以接觸得到。

我們很容易地想到，因為機器學習知識的可用性，那些真正試圖理解機器學習背后理論基礎的研究者很難再獲得資金支持。去年12月，一位蛋白質折疊的研究者Mohammed AlQuraishi撰文探討了其所在領域的最新進展：比研究人員更準確地預測出蛋白質折疊的機器學習模型的建立。同時，AlQuraishi為研究結果失去理論支持而感到惋惜。

“與這篇論文相比，概念性論文或者提出新理論假設的論文的聲望要低得多”，他在接受采訪時說到。在機器學習使得發現速度加快的時代面前，那些理論家們顯得那么無關緊要，甚至是多余的存在。與創建機器學習模型方面的專業知識相比，對特定領域的知識的重視程度自然也會降低。

金融債務將控制權從借方轉移到了貸方，從未來轉移到了過去。而不斷增加的智力債務也可能轉移控制權。一個充斥著不經理解的知識的世界會變成一個沒有明顯因果聯系的世界，而我們只能依賴于我們的數據管家來告訴我們該做什么，什么時候做。例如，一個大學的招生委員會可能會將辛苦和不確定的人員篩選交給機器學習模型。這種方式可能會優化新生群體，不僅是為了學業上的成功，還可以帶來和諧的人際關系以及校友的慷慨捐贈。再者，我們理解這個世界的唯一方法可能就是采用我們的AI系統，通過神經網絡來微調我們的社交媒體資料，這樣我們就能夠完全“融入”社會。

也許所有的這些技術都是可行的，但反過來，也會帶來相應的問題。時下對人工智能的批評大多集中在它可能出錯的方式上：它會產生或復制偏見；它會出錯；它可能會被用在不當的地方……

然而，我們也應該擔心，當人工智能看起來十分正確時，我們又將面臨什么問題。