后 AIGC 時代，AI Agent 無疑是一個新沸點。AI Agent（人工智能體）是一種能夠感知環(huán)境、進行決策和執(zhí)行動作的智能實體。不同于傳統(tǒng)的人工智能，AI Agent 具備通過獨立思考、調(diào)用工具去逐步完成給定目標的能力。

AI Agent 和大模型的區(qū)別在于，大模型與人類之間的交互是基于 Prompt 實現(xiàn)的，用戶 Prompt 是否清晰明確會影響大模型回答的效果。而 AI Agent 的工作僅需給定一個目標，它就能夠針對目標獨立思考并做出行動。

從原理上說，AI Agent 的核心驅(qū)動力是大模型，在此基礎(chǔ)上增加規(guī)劃（Planning）、記憶（Memory）和工具使用（Tool Use）三個關(guān)鍵組件。那么，這種 AI Agent 到底是什么？該如何定義？AI Agent 的發(fā)展現(xiàn)狀和技術(shù)難點是什么？將帶來哪些機遇和變革？帶著這些問題，我們邀請到了美國五百強公司高級數(shù)據(jù)科學家王元，與他一起探討 AI Agent 的發(fā)展現(xiàn)狀和技術(shù)難點。

以下為訪談實錄，經(jīng)編輯。

InfoQ：大家晚上好，歡迎來到 InfoQ《極客有約》的直播間。在本期直播中，我們有幸邀請到了美國 500 強公司的高級數(shù)據(jù)科學家，王元老師，為我們分享他的專業(yè)見解。今天的直播主題聚焦于解析 AI agent 的發(fā)展現(xiàn)狀以及一些基礎(chǔ)難點。現(xiàn)在，請讓我們熱烈歡迎王元老師，讓他為大家做一下自我介紹。

王元：大家好，我是王元，可能名字在一起是個“玩”字，所以對于流行的技術(shù)和項目，我一直充滿了好奇心，探尋它們的原因有一部分是因為我的工作需要，另一部分則是源于我個人對這個領(lǐng)域的熱愛。我已經(jīng)從事人工智能領(lǐng)域?qū)⒔?10 年了。近些年，AI 技術(shù)的迭代速度非常快，基本上每 3 到 5 年就經(jīng)歷一次全新的學習過程。我很高興收到 QCon 主辦方的邀請，能夠在這個平臺上與大家一同學習和交流。希望通過今天的分享，能夠為大家?guī)硪恍┯腥さ囊娊狻?/p>

InfoQ：王元老師也是我們QCon 大會上海站的特邀講師，大家可以關(guān)注大會官網(wǎng)了解詳情。我了解到王老師您您一直從事與 AI 相關(guān)的工作，想請問下您是如何看待最近兩年 AIGC 引發(fā)的技術(shù)變革的？

王元：首先要強調(diào)的是技術(shù)的變革非常大，特別是從去年到今年，大約一年到一年半的時間。從 AIGC 的角度來看，我認為可能存在兩個重要的方向。首先是圖生成和文生成，這涉及到從生成式模型如 VAE 一直發(fā)展到 GAN，現(xiàn)在又到了擴散模型，這個迭代速度非常快。

有一個具有歷史意義的事件是在 2022 年 8 月，使用擴散模型創(chuàng)作的《太空歌劇院》，這件作品在美國科羅納州博覽會上獲得了數(shù)字藝術(shù)創(chuàng)作一等獎。這是第一次 AI 創(chuàng)作達到如此專業(yè)水平。這展示了在圖生成方向的擴展模型的潛力。

另一方面，從我們處理大語言模型的角度來看，可以想象從 2018 年開始，隨著 Bert 模型和 Transformer 架構(gòu)的出現(xiàn)，這個領(lǐng)域變得一發(fā)不可收拾。今年是一個巨大的改變，GPT-3.5 和 GPT-4 的出現(xiàn)使以 OpenAI 為代表的這種架構(gòu)的模型一夜之間風靡全球。如果你曾使用過 OpenAI 的 ChatGPT 產(chǎn)品，你應(yīng)該能夠親身感受到其智能水平的逐漸提高。這是一個巨大的變化，因為從以前的 Bert 模型這種雙向的架構(gòu)，到現(xiàn)在的 GPT 系列完全是解碼器結(jié)構(gòu)，而且越來越出色。從模型結(jié)構(gòu)的角度來看，這也是一個巨大的變化。

除了這兩個核心方向上的算法層面的變革，還有一些周邊技術(shù)的變化，這些變化也是由大模型算法引起的。例如，向量數(shù)據(jù)庫可能在大模型時代之前并不受重視，但現(xiàn)在對于從事數(shù)據(jù)庫工作的人來說，向量數(shù)據(jù)庫公司的融資額在今年顯著增加。這表明 AIGC 帶來的算法變革也引發(fā)了周邊技術(shù)的演進，帶來了許多新的機會。因此，我認為 AIGC 可能比我們想象的通用人工智能到來得更快。以前我們可能想象需要 30 年，但現(xiàn)在也許只需要十年，我們就能看到一些顯著變化。

AI Agent 到底是什么？

InfoQ：向量數(shù)據(jù)庫今年確實非常受關(guān)注，就連很多傳統(tǒng)的數(shù)據(jù)庫也增加了向量功能。那回到我們今天的話題 AI Agent，您能先跟我們聊聊到底什么是 AI Agent 嗎？它的定義是什么？

王元：AI Agent 這項技術(shù)可以說是建立在大語言模型之上的一種全新技術(shù)。我們擁有了大語言模型之后，大家發(fā)現(xiàn)除了微調(diào)之外，還可以進行所謂的上下文學習。于是，引入了一個新的概念，即在處理問題時的“提示工程”。AI Agent 將這個概念更抽象地引入了一個新的維度。在學術(shù)前沿，通常會認為 Agent 是一個可以感知環(huán)境并能夠基于當前場景做出決策的“智能體”。它是完全自動的，但我更愿意將其稱為“agent framework”，即一個框架。這個框架是抽象的，能夠根據(jù)具體的場景做出決策，然后執(zhí)行，之后能夠保持自主狀態(tài)。

實際上，它將大語言模型從一個無狀態(tài)的 API 轉(zhuǎn)變?yōu)橐粋€具有狀態(tài)的工具。我舉一個通俗易懂的例子，Agent 的本質(zhì)是教大模型一些思考方法論，就好像你已經(jīng)有了知識，但可能缺乏思考的方法。因此，Agent 通過一個框架傳授方法論，這個框架具有一些具體模塊，支持整個結(jié)構(gòu)的運行。比如我們在初中、高中面臨考試時需要在規(guī)定的時間內(nèi)盡量回答問題，取得高分是我們的目標。在這里，大語言模型相當于提供具體問題的真實知識。

例如，當你遇到選擇題時，讀完題目后，你確實能夠理解問題是什么，然后根據(jù)你的知識回答問題。這種思維方式可以被認為是大語言模型的正向思維。然而，在考試中我們可能會遇到一些復(fù)雜的問題，這些問題可能不容易立即解決。如果我們只有一種正向解題的思維方式，可能會陷入困境。這時，如果我們掌握了一些方法論，比如使用排除法，就能采用一種不同的思維方式，而非只依賴正向解題。通過排除法，我們或許能夠確定答案。這就是方法論的一種體現(xiàn)。另外，當面臨困難題時，我們可能會選擇暫時跳過，轉(zhuǎn)而解答后面的題目。這同樣是一種方法論的應(yīng)用，而這在正向思維中是不常見的。將這些思維方式以某種方式交給大語言模型后，它就擁有了這種思維的方法論。因為有了這些方法論，它在解決具體問題時可能比正向推導更高效，可以處理更廣泛的問題。

InfoQ：這是否表明 AI Agent 更接近通用人工智能呢？

AI Agent 技術(shù)難點和應(yīng)用場景

王元：可以這么理解。AI Agent 將大語言模型提升到一個更高的水平，使其更接近我們所謂的通用人工智能的目標方向。

InfoQ：AI Agent 技術(shù)難點有哪些？

王元：AI Agent 作為一項相對新的技術(shù)，正在迅速發(fā)展。估計今年到目前為止，AI Agent 相關(guān)的論文可能已經(jīng)超過 100 篇。盡管技術(shù)仍在快速發(fā)展，但目前在學術(shù)界和行業(yè)界已經(jīng)形成了一個共識，即該技術(shù)主要包括四個基本模塊。

第一個基本模塊是角色設(shè)定。這意味著 AI Agent 希望在執(zhí)行任務(wù)時，需要像人一樣關(guān)注相關(guān)的背景信息和任務(wù)的要求。這可以被視為一種角色設(shè)定的數(shù)據(jù)組。

第二個模塊是內(nèi)存，用于獲取信息，分為短期和長期內(nèi)存。短期內(nèi)存類似于模型的上下文，而長期內(nèi)存則可能是通過向量數(shù)據(jù)庫等外部來源獲取的信息。

第三個模塊是規(guī)劃，它類似于人在解決問題時將其分解為子問題并逐個解決的方法。這可以被理解為一個專門的規(guī)劃模塊，用于將問題分解成可解決的子問題或子目標。

最后一個模塊是執(zhí)行，涉及到與環(huán)境的交互。這可以包括調(diào)用 API、調(diào)用其他模塊或執(zhí)行具體的動作，具體取決于任務(wù)的性質(zhì)。

AI Agent 作為基于大語言模型的技術(shù)，面臨一些難點。首要難點是底層技術(shù)，因為它繼承了大語言模型的一些問題，比如“幻覺”問題。此外，對于底層基礎(chǔ)模塊的質(zhì)量和性能，包括調(diào)用圖像識別等模型，也會直接影響到上層建筑的性能。其次，Agnet 各個模塊之間的交互和運行可能會產(chǎn)生許多中間結(jié)果和狀態(tài)，這也帶來了一些技術(shù)挑戰(zhàn)。例如，處理中間結(jié)果的魯棒性是一個問題，下層模塊的性能和質(zhì)量會直接影響上層模塊的執(zhí)行。最后，從應(yīng)用層角度看，雖然 AI Agent 的能力得到了提升，但這也伴隨著一些代價，比如用戶與大語言模型進行多次交互可能引入時間和成本的問題等。

InfoQ：目前，AI Agent 的應(yīng)用場景普遍集中在哪里，為什么是這些場景？

王元：關(guān)于 AI Agent 的發(fā)展，我認為可以從兩個場景來考慮。首先，如果我們關(guān)注用戶場景，我們會發(fā)現(xiàn)有一些場景是具有交互性質(zhì)的。例如，智能機器人和問答式交互，這與 AI Agent 的迭代性質(zhì)天生匹配。在這種情境下，對于一些簡單的任務(wù)，比如購買火車票或解決企業(yè)內(nèi)部 IT 服務(wù)的問題，任務(wù)型機器人的應(yīng)用效果較好。這種機器人專注于解決用戶的具體任務(wù)，其場景相對較為集中。在這種簡單場景下，使用 AI Agent 是明智的選擇，并且相對容易維護。

另一種場景是用戶感覺是線性執(zhí)行的，例如文檔智能類的應(yīng)用。比如，一家支付公司要求用戶在開戶時提交身份證明，這是一個局限性的任務(wù)，不需要與用戶進行過多的交互。在這種場景下，前臺是單向的，但后臺可以利用 AI Agent 更好地執(zhí)行，這種情況相較于原有的流水線，AI Agnet 更為高效。因為在 AI Agent 中，有一些特定的分類方法，比如來自 Multipath Agent 的應(yīng)用。Multipath Agent 采用多通道的方式，可以在多個階段或通道上執(zhí)行操作，而不僅僅是在單一樣本上執(zhí)行。這種多通道的設(shè)計有助于提高性能，因為它允許 Agent 在處理任務(wù)時進行更深入和全面的分析，通過多個步驟逐漸提煉信息，從而更有效地完成復(fù)雜的任務(wù)。

總的來說，對于這些場景，如果不考慮成本，特別是對延時要求相對較低的情況，AI Agent 是可以應(yīng)用的。然而，在實際商業(yè)上應(yīng)用時可能由于其成本較高，需要企業(yè)權(quán)衡利弊，綜合考慮技術(shù)優(yōu)勢和商業(yè)投入產(chǎn)出比，確保使用 AI Agent 是合理而有吸引力的選擇。

InfoQ：您提到 AI Agent 是一個相對較新的概念，對于如何評估這項技術(shù)的好壞，業(yè)內(nèi)是否存在用于判斷 AI Agent 效果的標準呢？

王元：當評估 AI Agent 的效果時，可以從多個角度考慮，業(yè)界通常采用以下幾種方法進行評測。每個公司或研究機構(gòu)可能使用的方法略有不同，但總體來說有以下幾個方向。

1. 主觀評估：在沒有數(shù)據(jù)和人工標注的情況下，初始階段可能需要進行主觀評估。這包括請專家對 AI 的回答進行人工評分，或者將問題設(shè)計成圖靈測試，讓專家分辨 AI 生成的答案和人類的答案。這種評估方法以人類能力作為基線，但由于涉及人工評分，成本相對較高。

2. 端到端任務(wù)評估：如果有一定的數(shù)據(jù)，可以基于端到端任務(wù)的指標來評估 AI Agent 的性能。例如，在文檔智能領(lǐng)域，可以關(guān)注 OCR 提取的準確率等具體任務(wù)指標。這種方法側(cè)重于任務(wù)的具體要求，更注重 AI Agent 在特定領(lǐng)域的表現(xiàn)。

3. 通用數(shù)據(jù)集評估：目前常用的是一些通用數(shù)據(jù)集，如 ALFWorld、HotPotQA 和 HumanEval 等，用于測試 AI Agent 在決策、問答和編程等多個方向的性能。這種方法強調(diào)綜合性能，但可能無法完全覆蓋所有應(yīng)用場景。

4. Benchmark 形式數(shù)據(jù)集評估：新興的評估方法包括一些綜合多個領(lǐng)域的 Benchmark 形式的數(shù)據(jù)集，如清華發(fā)布的 AgentBench 等。這些數(shù)據(jù)集跨足多個領(lǐng)域，對 AI Agent 進行全面評測，使評估更具廣度。

5. 工程層面評估：從工程層面考慮，可以評估系統(tǒng)的穩(wěn)健性，包括平均報錯率、與底層 API 交互的次數(shù)等。這種評估方法關(guān)注 AI Agent 的工程實現(xiàn)，有助于了解系統(tǒng)的魯棒性和效率。

6. 系統(tǒng)層面評估：最終還需要考慮整個系統(tǒng)的性能，包括端到端的運行效率、時延、成本等。這可以通過評估相同任務(wù)下不同 AI Agent 的迭代次數(shù)、交互次數(shù)和整體耗時來實現(xiàn)。

綜合而言，對 AI Agent 的評估可以從主觀和客觀兩個方面進行，包括人工評估、數(shù)據(jù)指標評估、Benchmark 形式的全面評估以及工程和系統(tǒng)層面的性能評估。每個方向都有其獨特的優(yōu)勢和適用場景，綜合考慮可以更全面地了解 AI Agent 的效果。

InfoQ：目前業(yè)內(nèi)一些觀點認為，AI Agent 代表了生成式 AI 下一代的新技術(shù)棧。您對這一說法的理解是什么？您是否同意這個觀點？

王元：我認為，隨著大模型的興起，確實涌現(xiàn)了一些新的技術(shù)棧，而 AI Agent 是其中一個關(guān)鍵的技術(shù)棧，盡管并非唯一的。要想成功構(gòu)建下一代技術(shù)，僅僅擁有 AI Agent 可能是不夠的，因為它會受到許多周邊技術(shù)棧的直接或間接影響，從而影響整個系統(tǒng)的性能。

我認為 AI Agent 最顯著的特征之一是為群體智能提供了一種相對統(tǒng)一的機制。在人類社會中，一家公司可能擁有工程師、產(chǎn)品經(jīng)理、財務(wù)、管理人員和法規(guī)專家等各種不同的角色，而每個角色都是不可或缺的。在 AI 領(lǐng)域，這種多樣性可以通過設(shè)定不同的 AI Agent 角色來體現(xiàn)，它們可以進行交互，執(zhí)行各種任務(wù)，實現(xiàn)群體智能。從這個角度來看，AI Agent 提供了一個橋梁。以前，想象如何實現(xiàn)群體智能可能沒有一個較好的方式，但現(xiàn)在有了 AI Agent 的框架，似乎在群體智能方面提供了更多的可能性。基于 AI Agent 的思維方式和框架，我們可以更好地構(gòu)建，這在實踐和系統(tǒng)架構(gòu)上都提供了許多手段。

AI Agent 未來趨勢展望

InfoQ：根據(jù)您的觀察，哪些行業(yè)目前在 AI Agent 商業(yè)化落地的大模型？

王元：關(guān)于實際應(yīng)用方面，我之前提到了一些簡單場景的交互型任務(wù)型機器人。以前在智能客服領(lǐng)域，我們可能會手寫有線狀態(tài)機與用戶進行交互，例如詢問用戶購買火車票的相關(guān)信息。在這樣的典型場景中，用 AI Agent 替代以前的技術(shù)是可行的。

另一方面，對于一些線性場景，與用戶沒有直接交互但在背后有一些交互的情況，比如文檔智能中的分類，我們也嘗試使用大語言模型進行分類，然后結(jié)合 Agent 進行投票，以提高性能。

然而，在一些復(fù)雜場景，比如金融領(lǐng)域，想要通過 AI Agent 完全執(zhí)行用戶開戶等業(yè)務(wù)流程可能受到一定限制。現(xiàn)在的技術(shù)可能只能做到輔助，而無法完全實現(xiàn)自動執(zhí)行，盡管這樣的應(yīng)用在吸引力上有優(yōu)勢，因為減少了人的介入，但技術(shù)目前可能仍然無法做到完全的自動執(zhí)行。

最后，成本也是一個考慮因素。目前，從個人角度看，AI 技術(shù)的成本可能仍然相對較高。

InfoQ：隨著大模型多模態(tài)能力的提升，您認為多模態(tài)會為 Agent 帶來什么？

王元：多模態(tài)技術(shù)現(xiàn)在看來是一個不可避免的趨勢。國內(nèi)外都在積極研究多模態(tài)技術(shù)。從邏輯分析來看，當大語言模型底層的操作系統(tǒng)能力提升時，AI Agent 的能力也會相應(yīng)提升。具體來說，多模態(tài)的原生大模型有幾個關(guān)鍵點。

首先，如果現(xiàn)有原生的多模態(tài)大模型，AI Agent 內(nèi)部執(zhí)行多模態(tài)任務(wù)的復(fù)雜性將指數(shù)級下降，這意味著它的交互減少，出錯的概率也會顯著降低。原生大模型直接可以進行圖像識別，而不需要調(diào)用單獨的模型并將中間結(jié)果轉(zhuǎn)換為文字，然后再讓大模型能夠理解其含義。

其次，從成本的角度來看，原生多模態(tài)大模型可以降低交互的繁雜性，從而降低了成本。盡管調(diào)用的多模態(tài)大模型可能是開源的，但開源模型并不代表沒有成本。企業(yè)作為一個要托管多模型的實體，需要去管理這些模型的版本、生命周期等，這也是需要投入資金的。因此，擁有原生多模態(tài)大模型可以將管理多個模型的復(fù)雜性轉(zhuǎn)變?yōu)楣芾硪粋€模型，從而大幅降低運營成本。

InfoQ：AI Agent 的倫理和隱私問題如何解決？我們應(yīng)該如何規(guī)范和引導 AI Agent 的發(fā)展？

王元：我們看到行業(yè)的一些領(lǐng)軍研究機構(gòu)和研究人員，如深度學習領(lǐng)域的教父——Geoffrey Hinton 和楊立昆等，對 AI 的深度學習倫理問題進行了深入思考。在 AI Agent 的語境中，我認為這一問題變得更為重要。因為 AI Agent 賦予了一種基于回歸的大模型方法論，其思維層次實際上得到了提升。隨著思維層次的提高，我認為 AI 可能會產(chǎn)生自我意識等問題。在這方面，通過向 AI Agent 傳達一些方法論，我們或許可以慢慢引導它的行為。

在引入 AI Agent 之后，我認為安全問題可能變得更加緊迫。因為 AI Agent 不僅僅是一個機器，它往往被賦予一些角色，這些角色能力需要監(jiān)控。為了讓 AI Agent 表現(xiàn)得更好，我們往往需要賦予它創(chuàng)建、執(zhí)行和解決子任務(wù)的權(quán)限。這也是一個復(fù)雜的問題，因為在給定宏觀任務(wù)后，AI Agent 可能在完全自主的情況下創(chuàng)建許多子任務(wù)，而這些子任務(wù)可能與宏觀任務(wù)或指導發(fā)生沖突，難以監(jiān)測。

在倫理方面，有了 AI Agent 之后，我們必須思考的一個問題是如何處理權(quán)限問題。給予 AI Agent 足夠的權(quán)限使其更加智能，但這也帶來了監(jiān)測和控制的難題，這也是深度學習教父們所強調(diào)的問題。而在 AI Agent 這個層面上，這一問題可能變得更加復(fù)雜。雖然我對這個問題尚未有確切的解決方案，但我認為這是一個需要深入思考的事情。

InfoQ：未來，AI Agent 的發(fā)展趨勢和前景是什么？您看好 AI Agent 未來的發(fā)展嗎？您認為多久我們會迎來 AI Agent 的大規(guī)模落地？

王元：我認為 AI Agent 未來的發(fā)展有幾個前提條件。首先，如果底層的大語言模型在多模態(tài)方面取得顯著進展，包括視覺和音頻多模態(tài)，那么將這些技術(shù)應(yīng)用于 AI Agent 會顯著提升其性能。其次，如果我們將這些技術(shù)應(yīng)用于機器人環(huán)境，由于機器人能夠直接影響物理世界，這可能會帶來巨大的潛力。

我個人對這項技術(shù)的前景感到樂觀，我認為在未來 3 到 5 年內(nèi)，我們可能會看到一個相對智能、具備方法論的 AI 體。當然，隨著其變得越來越智能，關(guān)于 AI 監(jiān)管、倫理和安全方面的討論聲音可能會不斷增加。我認為這些問題可能會與大語言大模型的監(jiān)管問題緊密相連，因為 AI Agent 畢竟是大語言模型的一個衍生和集成，監(jiān)管方面可能需要在相同的程度上進行考慮。

InfoQ：對于想要進入這個領(lǐng)域的公司或個人來說，需要了解哪些相關(guān)知識？您有什么意見給到這些人嗎？

王元：技術(shù)的發(fā)展變得非常迅速。我還清楚記得 2018 年，NLP 領(lǐng)域的 Bert 模型發(fā)布，被認為是一個新的高峰。然而，到了 2022 年底和 2023 年，GPT 系列模型又創(chuàng)造了一個新的方向或者說一個分支。

我個人認為，無論是從事相關(guān)技術(shù)的老手還是新進者，每隔 3 到 5 年都會經(jīng)歷一次重大的重新學習過程。學習能力可能是最為寶貴的技能之一。具體而言，我建議關(guān)注一些行業(yè)中具有影響力的論壇，比如 QCon。這些論壇每年都會帶給聽眾一些新的知識點，因為在行業(yè)內(nèi)，每個同行都可能接觸到一些新的技術(shù)點。通過這種大會的交流，這些新知識可以傳播給整個行業(yè)，提供一個非常好的學習機會。

另外，歡迎大家參加我在 12 月份的 QCon 上的演講。在演講中，我將不僅僅討論 AI Agent，還會探討新一代所謂的 AI 2.0 技術(shù)，以及涉及的周邊技術(shù)棧。對于進入這個行業(yè)的人，我的建議是要多讀論文，因為論文代表著行業(yè)最新的研究方向。可能每周或每天閱讀最新的論文，至少了解一下行業(yè)內(nèi)大牛們在研究什么方向，這是一個非常好的實踐。

InfoQ：我看到有觀眾提問：“現(xiàn)在已經(jīng)在做大模型 +RPA 的公司已經(jīng)在做 Agent 方面了，這類 RPA 公司會走在前面嗎？”請王老師說說您的看法。

王元：我認為結(jié)合大型模型和 AI Agent，在 RPA 應(yīng)用方面具有巨大的前景。如果目前的大型模型能夠在多模態(tài)方面取得更強的表現(xiàn)，那么在 RPA 領(lǐng)域?qū)吒偁巸?yōu)勢。