作者 / 開發(fā)者品牌和聲譽(yù)營銷部 Francesca Di Felice

阿里巴巴集團(tuán)是一家全球化的科技公司，其目標(biāo)簡單而明確：讓天下沒有難做的生意。自 1999 年以來，該集團(tuán)創(chuàng)建了一系列工具和基礎(chǔ)設(shè)施來支持中小企業(yè)。如今，阿里國際運(yùn)營著全球規(guī)模最大的零售商業(yè)業(yè)務(wù)之一。

阿里巴巴為其連接全球買家和供應(yīng)商的國際電子商務(wù)平臺構(gòu)建了一系列多模態(tài)大模型 (MLLM)。這個名為 Ovis 的模型系列能夠感知和理解視覺信息，允許用戶輸入圖像或視頻請求并獲得文本輸出結(jié)果。其性能最佳的模型之一Ovis1.6-Gemma2-9B是基于 Gemma 構(gòu)建的。

挑戰(zhàn)

阿里巴巴的開發(fā)者希望為公司的國際電子商務(wù)平臺創(chuàng)建一個有效的多模態(tài)大模型，但在尋找一個能夠勝任多種任務(wù)且易于集成的基礎(chǔ)模型時遇到了困難。在對現(xiàn)有開放模型進(jìn)行初步實(shí)驗(yàn)時，團(tuán)隊(duì)發(fā)現(xiàn)這些模型在多模態(tài)推理和文本生成等關(guān)鍵領(lǐng)域存在多種性能差距。

經(jīng)過全面測試，Gemma 2 的指令調(diào)優(yōu) 9B 參數(shù)模型 (gemma-2-9b-it) 展現(xiàn)出最佳的綜合性能，具備卓越的指令遵循能力和強(qiáng)大的文本生成能力。它在數(shù)學(xué)和編程等語言任務(wù)方面的優(yōu)勢使其成為多模態(tài)模型的理想基礎(chǔ)。然而，無縫集成視覺和文本嵌入又增加了任務(wù)的復(fù)雜度。團(tuán)隊(duì)需要創(chuàng)新，以確保模型能夠在基于圖像的產(chǎn)品發(fā)布等關(guān)鍵業(yè)務(wù)應(yīng)用中高效運(yùn)行。

Gemma 在通用語言任務(wù)上表現(xiàn)尤為出色，特別是在數(shù)學(xué)和編程方面。我們利用 Gemma 的語言能力來提升我們在多模態(tài)任務(wù)上的表現(xiàn)。

解決方案

使用gemma-2-9b-it作為 Ovis 的基礎(chǔ)語言模型，為構(gòu)建多模態(tài)架構(gòu)奠定了堅(jiān)實(shí)的基礎(chǔ)，彌補(bǔ)了視覺和文本輸入之間的差距。Ovis 采用獨(dú)特的方法：首先，它將連續(xù)的視覺特征轉(zhuǎn)換為概率性的視覺令牌 (Token)。然后，通過加權(quán)索引，Ovis 將這些令牌組裝成視覺嵌入。在此基礎(chǔ)上，Gemma 的 Transformer 架構(gòu)將這些嵌入與文本輸入集成，確保多模態(tài)數(shù)據(jù)無縫流動。

Gemma 2 在數(shù)學(xué)和邏輯方面的優(yōu)勢顯著提升了 Ovis 在推理和理解任務(wù)上的能力，使阿里巴巴團(tuán)隊(duì)能夠?qū)⑦@一新模型部署到各種業(yè)務(wù)運(yùn)營中。例如，阿里國際數(shù)字商業(yè)平臺用戶現(xiàn)在可以使用 Ovis 根據(jù)產(chǎn)品圖像來識別產(chǎn)品類別和屬性或添加標(biāo)簽。這大大減少了手動輸入的需求，讓用戶能夠更高效地創(chuàng)建商品詳情。

Ovis 的功能還擴(kuò)展到了其他使用場景，如檢測文本與圖像之間的一致性問題、評估圖像質(zhì)量以及生成結(jié)構(gòu)化輸出。這些功能彰顯了 Ovis 的多功能性及其適應(yīng)各種任務(wù)的能力。

影響

Ovis 顯著改進(jìn)了阿里國際數(shù)字商業(yè)平臺上的產(chǎn)品生產(chǎn)工作流程，并在推理過程中展現(xiàn)出卓越的效率，為多模態(tài) AI 設(shè)定了新的標(biāo)準(zhǔn)。自發(fā)布以來，Ovis 已在 GitHub、Hugging Face、Model Scope 和 OpenCompass 等平臺上獲得了廣泛的認(rèn)可和應(yīng)用，甚至在 Hugging Face 首頁獲得推薦展示。

未來計(jì)劃

阿里巴巴計(jì)劃優(yōu)化并擴(kuò)展 Ovis 系列以適應(yīng)新的應(yīng)用場景，同時與其他開發(fā)者和社區(qū)分享團(tuán)隊(duì)的研究成果和見解，推動創(chuàng)新。

擴(kuò)展產(chǎn)品系列

阿里巴巴希望引入更多樣化的新型 Ovis 模型，以滿足更多業(yè)務(wù)需求，例如為資源有限的團(tuán)隊(duì)提供較小規(guī)模的模型。開發(fā)團(tuán)隊(duì)基于 gemma-2-27b 模型發(fā)布了30B 參數(shù)版本，并且已經(jīng)在為未來的迭代做準(zhǔn)備。

新用例

基于社區(qū)反饋，阿里巴巴將改進(jìn) Ovis 系列的光學(xué)字符識別、視覺理解和通用多模態(tài)理解能力，為用戶提供更多使用模型的方式。團(tuán)隊(duì)還計(jì)劃利用模型出色的圖像-文本理解能力，在 Ovis 中加入照片分析、健身指導(dǎo)和美容建議等功能。

知識共享

阿里巴巴致力于與更廣泛的 AI 社區(qū)分享研究成果。團(tuán)隊(duì)希望推動多模態(tài)技術(shù)領(lǐng)域中研究人員和開發(fā)者之間的協(xié)作與創(chuàng)新，進(jìn)一步鞏固 Ovis 作為全球商業(yè)變革性工具的地位。