最近，開源中國(guó) OSCHINA、Gitee 與 Gitee AI聯(lián)合發(fā)布了《2024 中國(guó)開源開發(fā)者報(bào)告》。 報(bào)告聚焦 AI 大模型領(lǐng)域，對(duì)過去一年的技術(shù)演進(jìn)動(dòng)態(tài)、技術(shù)趨勢(shì)、以及開源開發(fā)者生態(tài)數(shù)據(jù)進(jìn)行多方位的總結(jié)和梳理。

在第二章《TOP 101-2024 大模型觀點(diǎn)》中，生成式 AI 開發(fā)者莫爾索總結(jié)了 2024 年 AI 開發(fā)者中間件工具生態(tài)。

全文如下：

AI 開發(fā)者中間件工具生態(tài) 2024 年總結(jié)

文 / 莫爾索 AI 應(yīng)用開發(fā)者工具自下而上涵蓋了模型托管與推理服務(wù)、代理工作流編排、大型模型應(yīng)用的監(jiān)控與追蹤、模型輸出的可控性以及安全工具等多個(gè)層面。模型是 AI 應(yīng)用的核心組成部分，其服務(wù)需依賴推理引擎實(shí)現(xiàn)。開發(fā)者接入模型的方式大致可分為四類：

首先是以模型初創(chuàng)企業(yè)為代表，提供先進(jìn)的商業(yè)閉源模型，如 OpenAI、Anthropic、智譜及 MiniMax 等。

其次是由 TogetherAI、Groq、Fireworks、Replicate、硅基流動(dòng)等組成的 GPU 推理集群服務(wù)提供商，它們處理擴(kuò)展與縮減等技術(shù)難題，并在基本計(jì)算費(fèi)用基礎(chǔ)上收取額外費(fèi)用，從而讓應(yīng)用公司無需承擔(dān)構(gòu)建和管理 GPU 推理集群的高昂成本，而是可以直接利用抽象化的 AI 基礎(chǔ)設(shè)施服務(wù)。

第三類是傳統(tǒng)的云計(jì)算平臺(tái)，例如亞馬遜的 Amazon Bedrock、阿里云百煉平臺(tái)、微軟的 Azure AI、谷歌 Vertex AI 等，允許應(yīng)用開發(fā)者輕松部署和使用標(biāo)準(zhǔn)化或定制化的 AI 模型，并通過 API 接口調(diào)用這些模型。

最后一類是本地推理，SGLang、vLLM、TensorRT-LLM 在生產(chǎn)級(jí) GPU 服務(wù)負(fù)載中表現(xiàn)出色，受到許多有本地托管模型需求的應(yīng)用開發(fā)者的歡迎，此外，Ollama 和 LM Studio 也是在個(gè)人計(jì)算機(jī)上運(yùn)行模型的優(yōu)選方案。

除模型層面外，應(yīng)用層面的工具同樣在快速發(fā)展，工具的進(jìn)步緊密跟隨 AI 應(yīng)用的發(fā)展趨勢(shì)。自 ChatGPT 發(fā)布以來，應(yīng)用構(gòu)建方式大致經(jīng)歷了三個(gè)階段。

首先是基于單一提示詞模板的聊天助手類應(yīng)用，此階段重點(diǎn)關(guān)注模型和提示詞的安全性以及模型輸出的可控性。例如，garak 可用于檢測(cè)模型幻覺、數(shù)據(jù)泄露和生成毒性內(nèi)容等問題；rebuff 則針對(duì)提示詞注入進(jìn)行檢測(cè)；DSPy 框架提供了系統(tǒng)高效的編程方法，幫助解決應(yīng)用開發(fā)中的提示編寫問題；而 LMFormat Enforcer、Guidance 及 Outlines 等項(xiàng)目旨在幫助開發(fā)者控制模型輸出的結(jié)構(gòu)，以獲得高質(zhì)量的輸出。

第二個(gè)階段涉及通過組合一系列提示詞和第三方工具或 API 來編排復(fù)雜的工作流，這是目前成熟的 AI 應(yīng)用構(gòu)建思路之一。值得注意的是，RAG 技術(shù)的出現(xiàn)，得益于大語(yǔ)言模型天然適合處理知識(shí)密集型任務(wù)，RAG 通過從外部記憶源檢索相關(guān)信息，不僅提高了模型生成的精確性和相關(guān)性，還解決了大語(yǔ)言模型在數(shù)據(jù)隱私保護(hù)、實(shí)時(shí)數(shù)據(jù)處理和減少幻覺問題等方面的局限。RAG 技術(shù)在數(shù)據(jù)預(yù)處理和索引構(gòu)建方面的努力，直接影響最終應(yīng)用的效果。 尤其是在本地?cái)?shù)據(jù)預(yù)處理方面，PDF 內(nèi)容處理成為一大難點(diǎn)，眾多開源項(xiàng)目應(yīng)運(yùn)而生，如基于傳統(tǒng) OCR 技術(shù)和版面分析的 Unstructured 和 Marker 庫(kù)，以及結(jié)合了多模態(tài)大模型識(shí)別能力的 ZeroX 和 GPTPDF 庫(kù)。

此外，還有融合了 OCR 和多模態(tài)大模型方案的 PDF-Extract-API 庫(kù)。在公開在線數(shù)據(jù)處理方面，Jina Reader、Crawl4AI 和 Markdowner 等開源項(xiàng)目，能夠?qū)⒕W(wǎng)頁(yè)內(nèi)容轉(zhuǎn)換成適合大模型處理的上下文，從而利用最新信息提升問題回答的質(zhì)量。這些項(xiàng)目的共同目標(biāo)是將原始數(shù)據(jù)轉(zhuǎn)化為有價(jià)值的資產(chǎn)，助力企業(yè)大規(guī)模部署 AI。 對(duì)于結(jié)構(gòu)化數(shù)據(jù)，如對(duì)話歷史記錄和其他數(shù)據(jù)源的存儲(chǔ)管理同樣重要。向量數(shù)據(jù)庫(kù)如 Chrom、Weaviate、Pinecone、Milvus 等，提供了語(yǔ)義檢索和向量存儲(chǔ)功能，使得 AI 應(yīng)用能夠利用超出模型上下文限制的數(shù)據(jù)源。傳統(tǒng)數(shù)據(jù)庫(kù) PostgreSQL 現(xiàn)在也支持通過 pgvector 擴(kuò)展進(jìn)行向量搜索，基于 PostgreSQL 的公司如 Neon 和 Supabase 為 AI 應(yīng)用提供了基于嵌入的搜索和存儲(chǔ)解決方案。 為了有效管理 AI 應(yīng)用的復(fù)雜工作流程，市場(chǎng)上涌現(xiàn)了 Dify、Wordware、扣子等低代碼平臺(tái)，它們集成了多種大模型，支持外部數(shù)據(jù)接入、知識(shí)庫(kù)管理和豐富的插件庫(kù)，通過拖拽式配置幫助初學(xué)者快速構(gòu)建 AI 應(yīng)用。 同時(shí)，在開源生態(tài)系統(tǒng)中，LangChain、Haystack、Semantic Kernel 等編排框架的出現(xiàn)，使開發(fā)者能夠構(gòu)建、定制和測(cè)試 Pipeline，確保這些 Pipeline 的組合能夠達(dá)到特定應(yīng)用場(chǎng)景的最佳生成效果。 對(duì)于 RAG 應(yīng)用，這是一種由多個(gè)環(huán)節(jié)構(gòu)成的工作流應(yīng)用，出現(xiàn)了許多端到端的開源解決方案，如 LlamaIndex 框架，它集成了數(shù)據(jù)預(yù)處理、索引構(gòu)建、 多樣化檢索方法等功能，專為大語(yǔ)言模型設(shè)計(jì)；RAGFlow 是一個(gè)基于深度文檔理解的開源 RAG 引擎，提供高質(zhì)量的問答能力，適用于處理大規(guī)模的復(fù)雜格式數(shù)據(jù)；Verba 是向量數(shù)據(jù)庫(kù)廠商 Weaviate 開源的一個(gè)模塊化 RAG 框架，允許開發(fā)者根據(jù)不同的應(yīng)用場(chǎng)景靈活定制 RAG 應(yīng)用的不同環(huán)節(jié)。

第三個(gè)階段，一些產(chǎn)品團(tuán)隊(duì)正探索開發(fā)完全由大模型驅(qū)動(dòng)的代理應(yīng)用。這類代理應(yīng)用具備從歷史記憶中反思、自主規(guī)劃和使用工具執(zhí)行特定動(dòng)作的能力。大語(yǔ)言模型負(fù)責(zé)選擇要調(diào)用的工具及其參數(shù)，而具體的執(zhí)行動(dòng)作則在沙箱環(huán)境中進(jìn)行，以確保安全。 E2B、Modal 等服務(wù)提供商正是為了滿足這一需求而誕生。代理通過 OpenAI 定義的 JSON 模式調(diào)用工具，這使得代理和工具能夠在不同的框架中兼容，促進(jìn)了代理工具生態(tài)系統(tǒng)的增長(zhǎng)。例如，Composio 是一個(gè)支持授權(quán)管理的通用工具庫(kù)，Exa 則提供了一個(gè)專門用于網(wǎng)絡(luò)搜索的工具。隨著更多代理應(yīng)用的構(gòu)建，工具生態(tài)系統(tǒng)將持續(xù)擴(kuò)展，提供更多新功能，如認(rèn)證和訪問控制。 在代理應(yīng)用中，記憶管理同樣關(guān)鍵。開源項(xiàng)目 Mem0 將記憶分為短期記憶和長(zhǎng)期記憶，后者進(jìn)一步細(xì)分為事件記憶、語(yǔ)義記憶和程序記憶，并基于此抽象出一套記憶管理 SDK。Zep 通過時(shí)態(tài)知識(shí)圖譜管理和更新用戶信息，跟蹤事實(shí)變化并提供最新數(shù)據(jù)線索。MemGPT 借鑒了計(jì)算機(jī)操作系統(tǒng)內(nèi)存管理機(jī)制，模擬虛擬內(nèi)存工作原理，構(gòu)建了一套記憶管理系統(tǒng)。這些項(xiàng)目使 AI 應(yīng)用能夠記住對(duì)話歷史，提供更個(gè)性化、上下文感知的交互體驗(yàn)，極大地增強(qiáng)了用戶的滿意度。

此外，代理應(yīng)用的另一個(gè)探索方向是多個(gè)代理之間的協(xié)同工作。開源社區(qū)中出現(xiàn)了許多解決方案，如 CrewAI 和 AutoGen 具備原生的多代理通信抽象，而 LangGraph 和 Letta 中的代理可以互相調(diào)用，良好的多代理系統(tǒng)設(shè)計(jì)使得跨代理協(xié)作變得更加容易實(shí)現(xiàn)。 鑒于生成模型本質(zhì)上是一個(gè)概率黑盒，AI 應(yīng)用作為一個(gè)復(fù)雜的系統(tǒng)，其在生產(chǎn)環(huán)境中的質(zhì)量評(píng)估與監(jiān)控尤為重要。實(shí)際應(yīng)用中最大的挑戰(zhàn)之一就是輸出結(jié)果的不確定性。 面對(duì)這些挑戰(zhàn)，需要采用科學(xué)的評(píng)估方法。LangSmith、Arise、Langfuse、Ragas 和 DeepEval 等項(xiàng)目提供了評(píng)估和監(jiān)控所需的各種指標(biāo)和工具，幫助開發(fā)者量化測(cè)量、監(jiān)控和調(diào)試他們的 AI 應(yīng)用系統(tǒng)。 展望未來，o1 模型的發(fā)布標(biāo)志著大模型研究進(jìn)入了新的時(shí)代。o1 模型的推理能力提升對(duì) AI 基礎(chǔ)設(shè)施提出了更高的要求，例如并行計(jì)算部分思維鏈路、減少不必要的思維過程等。研究的重點(diǎn)重新回到了算法層面，而非簡(jiǎn)單的算力堆砌，這對(duì)于中小型模型開發(fā)公司和學(xué)術(shù)界而言是一大利好。o1 模型的更強(qiáng)推理能力推動(dòng)了越來越多真正的 autopilot 類產(chǎn)品進(jìn)入?常生活，預(yù)示著 AI 技術(shù)將更加深入地融入人類社會(huì)的方方面面。