超級智能 AI 不會有人類的情感，因此在本質上不會是仁慈或惡毒的。

這么多的可能性；我們已經面對如此多的現實。無論普通人是否意識到，人工智能 (AI) 和機器學習 (ML) 已經控制了他們大部分的在線生活。例如，這些技術決定了他們的新聞提要中顯示的內容，并定制了他們在訪問亞馬遜時看到的內容。

現在，算法決定了我們的保險費率是多少，我們是否有資格獲得貸款，或者我們的簡歷是否會被選中進行進一步審查。人工智能和機器學習現在在醫學領域很“熱門”，可以進行診斷、預測疾病爆發等等。

我們正面臨物聯網 (IoT) 的一場革命——無人駕駛汽車、智能家居、智能家電、智能電網，甚至是智能城市。醫療專業人員遠程監控患者，當然，我們不能忘記 Siri 和 Alexa。

確實，我們生活在一個技術的美好世界，該技術有望繼續讓我們的生活更輕松、更高效。

權力和責任
所有這些改變我們生活的權力也帶來了更大的責任——濫用這種權力是許多人（例如埃隆·馬斯克）擔心的問題。最近，在一次采訪中，Elon 談到了 AI 和 ML：

“我們正在迅速朝著超越任何人類的數字超級智能邁進——我認為這很明顯……如果一家公司或一小群人設法開發出神一樣的數字超級智能，他們可以接管世界……至少當有一個邪惡的獨裁者時，那個人會死，但對于人工智能來說，就不會死。它將永遠存在，然后你將擁有一個不朽的獨裁者，我們永遠無法逃脫?！?/p>

馬斯克已經加入了許多研究人員和科學家的行列，例如斯蒂芬霍金，他們預測如果 AI 和 ML 研究和實施沒有得到嚴格監管，就會出現這樣的世界末日。

這場爭論的另一面是反對者，他們堅持認為 AI 和 ML 永遠不會取代完整的人類智能，因此是可以控制的。

AI 和 ML 到底有什么危險？
這是爭議的關鍵。目前，我們擁有所謂的窄人工智能或弱人工智能，旨在完成一組離散任務（駕駛汽車、保護電網、下棋、通過面部識別識別人等）。

然而，許多人的長期目標是開發能夠執行認知（思考、推理）任務的所謂強人工智能。例如，想象一下一個致命的武器系統，它可以在沒有任何人為干預或控制的情況下決定何時何地部署其武器。這樣的制度，在一個民族國家的手中，可能會讓世界其他地方屈服。

另一個危險？超級智能 AI 不會有人類的情感，因此在本質上不會是仁慈或惡毒的。但是，它將是有效的，并采取“最短路徑”來實現目標，而不考慮它在此過程中可能會破壞什么。例如，假設一臺配備人工智能的機器的任務是為新的鐵路系統清理大片土地。如果在執行這項任務的過程中，它破壞了地下輸油管道，從而釋放出破壞該地區整個生態系統并使當地水系統處于危險之中的有毒污泥，會發生什么？如果保護生態系統沒有被定義為機器的目標之一，它可能會不顧一切地繼續下去。

那些擔心這些場景（認知 AI 和 ML 不斷學習并變得比人類更“聰明”）的人表示，我們必須弄清楚如何在 AI 系統變得超級智能之前將我們自己的目標嵌入到系統中。

預計短期內不會出現革命，而是進化認知人工智能。事實上，即使是專家也不同意超智能 AI 成為現實需要多長時間，如果——確實——真的如此的話。但隨著技術的發展，我們確實必須提前計劃可能發生的事情，以免發生在我們身上，惡意的人會卷入其中或出現意想不到的后果。

許多認知人工智能不會產生可怕的后果，但可能性仍然令人擔憂。想想今天的許多學生已經找到了為他們寫論文和論文的方法。有些公司，例如Wow Grade.net，提供寫作和內容創作服務。未來使用認知人工智能將允許學生簡單地翻轉一個主題，讓超級智能技術做出關于論文的所有決定、識別資源并創建“原創”作文。雖然學生顯然沒有完成這項工作，但如果孤立地考慮，后果并不嚴重，盡管學生實際上沒有學習任何東西（除了如何作弊）這一事實對未來來說并不是一個好兆頭。

讓我們回到我們之前的場景中，一個人工智能系統的任務是做一些有益的事情，但無意中導致了毀滅性的后果；i、 例如，生態系統和當地供水遭到破壞。超級智能AI避免此類行為本應在中編程。

因此，超智能人工智能的整個問題似乎不是人工智能的效率（它將是完全有效的），而是將其認知智能與我們自己的人類目標相結合。如果我們只關注效率，那么我們將通過人工智能選擇的任何方式得到我們想要的東西。

規劃和法規必須從現在開始在波多黎各舉行
的2015 年生命未來人工智能安全會議上，大多數人工智能研究人員預測，認知人工智能將在 2060 年出現在我們面前。如果是這樣，那么安全研究必須現在就開始。

人類目前統治著地球，因為我們是地球上所有物種中最聰明的。但是，當一個超級智能的 AI 繼續自我學習和自我改進時會變得更聰明時會發生什么？屆時誰來統治？

審核編輯 黃昊宇