如果你身在 20 世紀 80 年代、90 年代左右，你可能還記得已經消失的“電腦恐懼癥”。

直到 21 世紀初，我還親身經歷過隨著個人電腦在我們的生活、工作和家庭中出現，很多人會焦慮、恐懼甚至出現攻擊行為。

雖然其中的一些人被電腦吸引，并且看到了電腦的潛力，但大多數人并不了解電腦。這些人對電腦感到陌生、費解，并在許多方面存在著威脅。他們害怕被技術取代。

大多數人對技術的態度，最好的情況是反感，最壞的情況是恐慌——也許對任何變化，人們的反應都是這樣的。

值得注意的是：我們所擔心的，大部分都是杞人憂天。

讓我們快進一下：因電腦而擔憂的人已經不能沒有電腦了，并且他們用電腦為自己謀利。計算機并沒有取代我們，也沒有引發大規模失業。反倒是現在，我們無法想象沒有筆記本電腦、平板電腦和智能手機的生活。昔日的杞人憂天卻朝著相反的方向發展，我們的擔憂未能實現。

但同時，在 20 世紀 80 年代和 90 年代，沒有人警告我們電腦和互聯網將會產生一定的威脅——無處不在的大規模監控：黑客通過追蹤網絡設施或者個人數據，人們通過社交網絡表現出心理異化，人們的耐心和注意力喪失，網上易受政治思想或宗教激進化的影響，敵對的境外勢力劫持社交網絡以破壞國家主權。

如果大部分的恐懼變得非理性的話，相反地，人們才發現過去由于技術變化而產生的擔憂已成為現實。

一百年前，我們無法真正預測到，正在開發的運輸和制造技術將導致新的工業戰爭，而這在兩次世界大戰中使數千萬人喪生。我們并沒有過早地意識到電臺的發明，會促成一種新的大眾傳播形式，這種形式有助于意大利和德國的法西斯主義興起。

20 世紀 20 年代和 30 年代理論物理學的發展的同時，并沒有相應的帶有焦慮性的前瞻報道，即關于這些理論發展如何能夠很快落地并發展成核武器，使世界永遠處于即將毀滅的恐慌之中。而當今，即便是被關注十多年的氣候等嚴重問題，大部分美國人（44%）也仍然會選擇忽視。

作為一種文明，我們似乎很難正確辨別它們的未來是好是壞，正如我們因非理性的恐懼而出現恐慌一樣。

與過去一樣，當前我們依然處在一場根本性變革的新浪潮當中：認知自動化，它可以概括為“人工智能（AI）”。與過去一樣，我們擔心這種新技術會傷害我們——人工智能會導致大規模失業，或者人工智能會擁有自己的機構，變成超人，把我們摧毀。

但如果這些擔心是多余的，就像我們以前一樣？如果人工智能的真正危險與當下令人驚慌的“超級智能”和“奇點”敘述大相徑庭呢？

在本文，我想和大家聊聊讓我對人工智能憂心忡忡的問題是：人工智能對人類行為具有高效、可擴展性操作的能力，以及企業和政府對人工智能的濫用。

當然，這不是唯一的有形風險，還有很多，特別是與機器學習模型有害偏見相關的問題;就這個問題，其他人的見解比我更加出色。

本文選擇從大規模人口控制的角度進行切入，是因為我認為這種風險是迫切并且被嚴重低估的。

今天，這種風險已經變為現實，在接下來的幾十年里，許多技術會有增強的趨勢。

我們的生活越來越數字化，社交媒體公司越來越了解我們的生活和想法。與此同時，他們越來越多地使用一些手段控制我們獲取信息，特別是通過算法手段。他們將人類行為視為一個可優化的問題，一個人工智能問題：社交媒體公司調整算法變量實現某種特定行為，就像游戲人工智能會改進游戲策略一樣。這個過程中唯一的瓶頸就是算法。這些事情都正在發生或即將到來，最大的社交網絡公司目前正在潛心研究人工智能技術，并在相關項目上投資了數十億美元。

接下來的討論，我將分成以下幾部分，對上面的問題進行拆解并詳細描述：

社交媒體是一種心理監獄

內容消費是心理控制載體

用戶行為是待優化的問題

當前的情況

反面：人工智能能為我們做什么

反社交媒體的構建

結論：在前進的岔道口上

一、社交媒體是一種心理監獄

在過去的 20 年中，我們的私人和公共生活已經轉移到網絡上。我們每天用更多的時間盯著屏幕。我們的世界正在轉向某個狀態，在這個狀態中我們所做的大部分事都由內容消費、修改或創造構成的。

這種趨勢的反面是：企業和政府正在大量收集我們的數據，特別是通過社交網絡了解我們與誰交流，我們說什么，我們在看什么內容——圖片、電影、音樂以及新聞，我們在特定時間的心情，等等。最終，幾乎與我們相關的一切最終都會以數據的形式記錄在某個服務器上。

理論上，這些數據能夠讓收集的企業和政府為個人以及團體建立非常準確的心理畫像。你的觀點和行為可以與成千上萬的“同類”產生共鳴，讓你對所選的內容有不可思議的理解——這可能比你單純通過自省的手段要好的多。

例如，通過 Facebook 的“喜歡”功能更好地評估朋友的個性。大量的數據讓下面這些成為可能：提前幾天預測用戶何時（與誰）建立關系，何時結束關系;誰有自殺傾向;在選舉中，用戶最終會票投給誰——即便是那時用戶仍猶豫不決。

這不僅僅能對個人進行分析，對大型團隊的預測能做得更好（擁有大量數據消除其中的隨機性以及異常值）。

二、內容消費是心理控制載體

被收集數據還只是個開始，社交網絡越來越多地控制著我們獲取的內容。

目前，我們看到的內容大多是算法在起作用。算法越來越多地影響并決定我們閱讀的政治文章、我們看到的電影預告片、與我們保持聯系的人，甚至是我們收到誰關于自己的反饋。

綜合多年的報道，算法對我們的生活有相當大的影響——比如我們是誰、我們會成為誰。

如果 Facebook 能夠在較長時間內能夠決定你將看到哪些新聞（或真或假），以及決定你的政治地位的變化，甚至會決定誰會看到有關你的新聞;那么，Facebook 就會實際控制你的世界觀以及政治信仰。

Facebook 的業務在于影響人們，從而向廣告主提供服務。

Facebook 建立了一個微調算法引擎，這個算法引擎不僅能夠影響你對品牌或購買智能音箱的看法。調整這個算法給你的內容，能夠影響并控制你的情緒——這個算法甚至能夠改變選舉結果。

三、用戶行為是待優化的問題

社交網絡能夠在衡量我們一切的同時，控制我們獲取的內容——而這一切正在加速發展。

當我們感知并行動時，就會考慮人工智能問題了。

你能夠建立一個行為的優化循環，在這個循環中，可以觀察目標當前狀態并不斷調整提供的信息，直到目標。人工智能領域的一大子集——特別是“強化學習”——是關于開發算法來有效地解決待優化的問題，從而關閉循環并完全控制目標。在這種情況下，通過把我們的生活轉移到數字領域，我們會易受人工智能影響。

人類行強化學習循環

人類的思想很容易受簡單社交模式的影響，因此更容易受到攻擊和控制。比如以下角度：

身份強化：自從有廣告后一直被利用的技巧，現在任然奏效。它把特定的內容和你的標記聯系起來，進而能把控內容。在人工智能參與的社交媒體下，算法可以讓你你只看到自己希望看到的內容（無論是新聞，還是來自朋友的博文）;相反，算法也可以讓你遠離你不想看到的內容。

消極社交強化：如果你發表的文章表達了算法不希望你持有的觀點，系統可以選擇僅向持有相反觀點的人推薦你的文章（可能是熟人、陌生人，甚至是機器人）。反復多次，這可能會讓你與初始觀點相去甚遠。

積極社交強化：如果你發表文章表達的觀點是算法想要傳播的，算法會選擇將文章展示給“喜歡”它的人（甚至是機器人）——這會加強你的信念，讓你覺得自己是多數人當中的一員。

樣本偏好：算法也能控制向你顯示來自你朋友（或廣大媒體）的支持你觀點博文。在這樣的信息泡沫中，你會覺得這些觀點會獲得比現實中更廣泛的支持。

參數個性化：算法也可能會觀察到和你的心理屬性相似的人——畢竟“人以群分”嘛。然后，算法為你提供內容，這些內容會對和你有類似觀點和生活經驗的人最有益。從長遠來看，該算法甚至可以從頭開始生成特別適合你的、最高效的內容。

從信息安全的角度來看，你會稱這些為漏洞——已知的可接管系統的漏洞。就人類思維而言，這些漏洞永遠不會被修補，它們只是我們的生活方式，存在于我們的 DNA 中。

人類思維是一個靜態的、易受攻擊的系統，并將越來越受到人工智能算法的控制，這些算法在完全了解我們所做的和相信的事情的同時，開始完全控制我們獲取的內容。

四、當前的情況

值得注意的是，在獲取信息的過程中應用人工智能算法，會引起大規模的人口控制——特別是政治控制——這個過程中使用的人工智能算法，不一定非常先進。

你不需要自我意識，目前的技術可能就足夠了，人工智能是這樣可怕的存在——社交網絡公司在這方面已經開展了較長時間的研究，并且取得了顯著的成果。

雖然可能只是試圖將“參與”效果最大化并影響你的購買決定，而不是操縱你對世界的看法，但他們開發的工具已被反對派在政治事件中使用。如 2016 年英國脫歐公投或 2016 年美國總統選舉——這是我們必須面對的現實。但是，如果今天大規模人口控制已經成為可能，那理論上，為什么世界還沒有顛覆呢？

總之，我認為這是因為我們并不擅長運用人工智能;但這也意味著有很大的潛力，或許即將有所改變。

直到 2015 年，整個行業所有廣告相關的算法都只靠邏輯回歸運行——事實上，就算是現在，很大程度上也是如此，畢竟只有行業大佬才會用更先進的模式。

邏輯回歸是一種早于計算時代的算法，是個性化推薦的最基本的技術之一——這就是為什么在網上看到的這么多廣告，而這些廣告卻毫無關系的根源所在。同樣，反對派用來影響輿論的社交媒體機器人幾乎沒有人工智能，目前他們的做法都非常原始。

機器學習和人工智能近年來飛速發展，而且它們才開始在算法和社交媒體機器人上得到應用;直到在 2016 年，深度學習才開始在新聞傳播和廣告網絡中得到應用。

誰知道接下來會發生什么呢？

Facebook 在人工智能研究和開發方面投入了大量資金，并且勵志成為該領域的領導者，這令人為之興奮。當你的產品是新聞源時，對你來說，自然語言處理和強化學習會有什么用武之地呢？

我們正在創建一家公司，該公司可為近 20 億人構建細致入微的心理畫像，為許多人提供主要的新聞來源，它運行大規模的行為操縱實驗，旨在開發當今世界還沒有的、最先進的人工智能技術——就我個人而言，它讓我感到害怕。

在我看來，Facebook 可能不是最令人擔憂的存在。許多人喜歡意淫某些大企業統治著世界，但這些企業的權力卻遠遠小于政府。如果對我們的思想通過算法進行控制，那么政府很可能會變的很差，而不是企業。

現在，我們能做些什么呢？我們如何保護自己？作為技術人員，我們通過社交媒體做什么才能避免大規模控制？

五、反面：人工智能能為我們做什么

重要的是，這種威脅即便是存在，也不意味著所有的算法策略都是不好的，或者說所有的廣告都不好，它們都有一定的價值。

隨著互聯網和人工智能的興起，將算法應用于獲取信息不僅是必然的趨勢，更是理想的趨勢。

隨著我們的生活越來越數字化、聯系越來越緊密，信息也變得越來越密集，人工智能變成我們與世界的橋梁。長遠看，教育和自我提高將是人工智能最強的應用場景——這種情況會在動態變化中實現，這些變化幾乎完全反映了試圖控制你的惡意人工智能在內容推送中的運用。在幫助我們方面，算法存在巨大的潛力，能夠賦予個人更多能力，并幫助社會更好地自我管理。

問題不是人工智能，而是——控制。

我們不應該讓內容推送算法控制用戶并暗中實現隱藏的目標——比如左右他們的政治觀點，或者不斷地浪費時間——而應該讓用戶負責算法優化。畢竟，我們正在談論的是有關自己的內容、自己的世界觀、自己的朋友、自己的生活;技術對你的影響應該自然地受制于你自己。

算法不應該成為一股神秘的力量，靠這個力量實現有損于自身利益目標;相反，他們應該為我們所用，能夠為自身利益服務的工具。如教育、自我營銷，而不是為了娛樂。

我想，任何應用算法的產品都應該：

公開透明地告知算法目前優化的目標，以及這些目標如何影響用戶的信息獲取。

提供給用戶簡潔的功能設定他們的目標。例如，用戶應該能夠在特定的地方能夠自由控制，從而最大限度地保護自己，并未自己服務。

始終以可見的方式了解用戶在當前產品上花費的時間。

通過工具能夠控制用戶自己在當前產品上花費的時間。如設置每天的時間目標，算法通過該目標讓你實現自我管理。

在避免被控制的同時用人工智能保護自己

我們應該讓人工智能為人類服務，而不應該操縱用戶牟取利潤或者達到某種政治目的。

如果算法不像賭場運營商或宣傳人員那樣運作，該怎么辦？

相反，如果算法更像一位導師或一位優秀的圖書管理員，對你以及數百萬人的心理洞若觀火——在此基礎上，算法向你推薦了一本書，這會與你的需求不謀而合，并且他們相伴而生。

這種人工智能是一種指導你生活的工具，它能夠幫你找到實現目的的最佳路徑。

如果算法已經分析過數百萬人，你能想象通過算法了解的世界來看待自己的生活嗎？或者與一個百科全書式的系統合著一本書？又或者與一個了解當前人類全部知識的系統合作進行研究？

在一個完全受制于人工智能的產品中，更先進的算法——而不是威脅，將會存在一些積極的方面，讓你更有效地實現自己的目標。

六、反社交媒體的構建

總而言之，未來人工智能將成為我們與世界的接口，這是一個由數字信息組成的世界——這同樣會讓個人有可能更好地管理自己的生活，當然也有可能完全喪失這個權利。

不幸的是：社交媒體目前的發展有些南轅北轍。

不過，千萬不要覺得我們可以扭轉局面，這還為時尚早。

我們需要開發這個行業內的產品類別和市場，其中的激勵措施與讓用戶負責影響他們的算法是一致的，而不是使用人工智能操縱用戶牟取利潤或者達到某種政治目的;我們需要努力做出反 Facebook 一類社交媒體的產品。

在遙遠的未來，這些產品可能會以人工智能助手的形式出現。數字導師通過程序幫助你，你能夠通過他們控制自己在交往過程中所追求的目標。

而在目前，搜索引擎可以被看作是一個人工智能驅動信息的出雛形，它為用戶服務，而不是試圖控制用戶。

搜索引擎是一種有意控制而達到特定目的的工具，你告訴搜索引擎它應該為你做什么，而不是被動的獲得內容;搜索引擎會盡量減少從問題到答案，從問題到解決方案所需的時間，而不是在浪費時間。

你可能會想：畢竟搜索引擎仍然是我們和信息之間的人工智能層，它做展示的結果，是否會有所偏好從而控制我們呢？

是的，每種信息管理算法都存在這種風險。

但與社交網絡形成鮮明對比的是：在這種情況下，市場激勵實際上與用戶需求一致，推動搜索引擎盡可能做到相關和客觀。如果不能最大限度地發揮作用，那么用戶會毫不猶豫地轉向競品。重要的是：搜索引擎對用戶心理的攻擊，比社交內容小得多。

本文所描述的產品中的威脅包含以下內容：

感知和行動：產品不僅應該控制向你展示的內容（新聞和社交內容），還應該通過類似“喜歡”的功能、聊天信息和狀態更新來“感知”你當前的心理狀態。沒有認知和行動，就不能強化學習。正所謂“工欲善其事，必先利其器”。

生活的中心：產品應該是一部分用戶的主要信息來源，典型用戶會每天花費數小時在產品上。輔助性和專業化的產品或服務（如亞馬遜的物品推薦）將不會存在嚴重的威脅。

社會成分：激活更廣泛和更有效的心理控制因素（特別是社會強化）。沒有人情味的內容只占我們思想的一小部分。

業務激勵：目的在于操縱用戶，并讓用戶在產品上停留更多時間。

而大多數人工智能驅動的產品，都不符合以上這些要求。

另一方面，社交網絡是風險因素的組合，它擁有可怕的力量。

作為技術專家，我們應該傾向于那些不具備這些功能的產品，拒絕那些將這些功能組合在一起的產品，它們因錯誤使用而具有潛在危險性。

建立搜索引擎和數字助理，而不是社會新聞，這將使推薦透明，并且富有可配置性和建設性，而不是蹩腳的機器，最大限度地提高“參與度”并浪費你時間。

關注界面和交互，以及人工智能等相關的專業知識，為算法構建出色的設置界面，讓用戶能夠按照自己的目標使用產品。

重要的是：我們應該將這些問題告知并教育用戶，以便他們能夠有足夠的信息，決定是否使用有一定可能性控制自己的產品——那樣就能夠產生足夠的市場壓力，從而引發技術變革。

七、結論：在前進的岔道口上

社交媒體不僅足夠了解個人和組織建立的強大的心理模型，而且也越來越多地控制著我們的信息獲取。它可以通過一系列行之有效的心理攻擊，操縱我們相信的東西、我們的感受以及我們的所作所為。

一個足夠先進的人工智能算法，可以通過對我們精神狀態的感知以及受精神狀態支配的行動的了解，能夠高效地控制我們的信念和行為。

使用人工智能作為信息接口本身并不是問題。這樣的人機交互界面，如果設計良好，有可能為我們所有人帶來巨大的益處和賦權。關鍵在于：用戶應該完全控制算法，將其作為用于追求自己目標的工具（與使用搜索引擎的方式相同）。

作為技術專家，我們有責任拒絕脫離控制的產品，并致力于構建對用戶負責的信息界面。不要將 AI 當作控制用戶的工具;而是讓你的用戶把 AI 當成工具，為他們服務。

一條路讓我感到害怕，另一條路讓我充滿希望——還有足夠的時間讓我們做的更好。

如果你正在使用這些技術，請牢記這一點：

你可能沒有惡意，你可能毫不在乎;相比分享你的未來，你或許更容易評估受限制股票的發展。但是無論你是否在意，因為你掌握了數字世界的基礎設施，你的選擇會影響他人，而你最終也可能會為他們負責。