以下文章來(lái)源于谷歌云服務(wù)，作者 Google Cloud

Amin Vahdat

機(jī)器學(xué)習(xí)、系統(tǒng)與 Cloud AI 部門副總裁/總經(jīng)理

Google Cloud

過(guò)去的一段時(shí)間，我們看到了許多 Google Cloud 客戶對(duì)生成式 AI 和 agent 的精彩應(yīng)用，令我們拍案叫絕。為了讓企業(yè)能夠更快推出功能強(qiáng)大的 AI agent，Google DeepMind在模型技術(shù)方面積極探索創(chuàng)新，尤其著力于 Gemini 和 Imagen 的改進(jìn)。我們的企業(yè) AI 平臺(tái) Vertex AI 也推出了數(shù)十項(xiàng)突破性功能。

包括UberEats、Ipsos、Jasper、Shutterstock、Quora等眾多領(lǐng)先組織在內(nèi)，客戶紛紛運(yùn)用生成式 AI 創(chuàng)造出色成果，在 Google Cloud 的助力下加速生成式 AI 應(yīng)用投產(chǎn)。

例如，在 Gemini 1.5 Pro 推出前，大多數(shù)多模態(tài)用例 (像提交一個(gè)視頻并輕松詢問(wèn)與視頻內(nèi)容相關(guān)的問(wèn)題) 都還停留在構(gòu)想階段。但自新模型推出以來(lái)，我們已經(jīng)看到許多圍繞數(shù)據(jù)開(kāi)展對(duì)話的客戶創(chuàng)新實(shí)例，包括:

一家快餐零售企業(yè)

使用 Gemini 分析店面的監(jiān)控錄像，據(jù)之識(shí)別客流高峰時(shí)段并優(yōu)化店內(nèi)布局，從而提升客戶體驗(yàn)。他們還計(jì)劃將視頻分析與銷售數(shù)據(jù)結(jié)合起來(lái)，更好地理解有哪些因素有助于提高服務(wù)效率和滿意度。

一家金融機(jī)構(gòu)

需要處理通過(guò)數(shù)據(jù)表單提交的身份證件掃描圖像。他們利用 Gemini 的多模態(tài)功能自動(dòng)快速地處理圖像和文本，一方面對(duì)比信息的準(zhǔn)確性，一方面幫助客戶更方便地開(kāi)設(shè)和訪問(wèn)賬戶。

一家體育公司

使用 Gemini 來(lái)分析球員的揮桿動(dòng)作。將 Gemini 的數(shù)據(jù)洞察力融入其現(xiàn)有應(yīng)用后，他們成功利用 AI 分析結(jié)果增強(qiáng)了揮桿動(dòng)作分析工具的功能。

一家保險(xiǎn)公司

現(xiàn)在可以利用 Gemini 分析行車記錄儀的事故錄像，更好地理解和描述事故場(chǎng)景。這項(xiàng)分析不但可協(xié)助計(jì)算風(fēng)險(xiǎn)評(píng)分，甚至可根據(jù)觀察到的司機(jī)行為提供個(gè)性化的駕駛建議。

一家廣告和營(yíng)銷服務(wù)公司

開(kāi)發(fā)出面向?qū)崟r(shí)流媒體的描述和旁白功能，實(shí)現(xiàn)了變革性的視頻描述解決方案。這一創(chuàng)新簡(jiǎn)化了視頻創(chuàng)作過(guò)程，提高了效率，并為個(gè)性化內(nèi)容鋪平了道路。

而這些都只是結(jié)合多模態(tài)功能和長(zhǎng)上下文窗口的應(yīng)用，Gemini 在處理代碼庫(kù)、配圖長(zhǎng)文檔、音頻訪談等方面的能力同樣強(qiáng)大。

除了客戶的熱烈反響，行業(yè)分析師的認(rèn)可也令我們倍感鼓舞。例如，僅在過(guò)去兩個(gè)月里，不但 Forrester Research 在《The Forrester Wave:AI 語(yǔ)言基礎(chǔ)模型，2024 年第二季度》中將 Google 評(píng)為業(yè)界領(lǐng)導(dǎo)者，Gartner 也在《2024 年云 AI 開(kāi)發(fā)者服務(wù)魔力象限①》和《2024 年數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)平臺(tái)魔力象限②》中將 Google 評(píng)為業(yè)界領(lǐng)導(dǎo)者。

今天，為了加速這一勢(shì)頭，我們很高興地公布 Vertex AI 在模型和企業(yè)平臺(tái)功能方面的一些重大進(jìn)展。

下面先從模型說(shuō)起。

Gemini 1.5 Flash:

領(lǐng)先市場(chǎng)的性價(jià)比和低延遲

上個(gè)月，我們發(fā)布了Gemini 1.5 Flash的公開(kāi)預(yù)覽版。現(xiàn)在，這個(gè)新模型已正式推出。它兼具低延遲、實(shí)惠價(jià)格和突破性的 100 萬(wàn) token 上下文窗口等多項(xiàng)優(yōu)勢(shì)，是各種大規(guī)模應(yīng)用場(chǎng)景的理想選擇。從零售聊天客服到文檔處理，再到合成整個(gè)知識(shí)庫(kù)的研究 agent，它都能靈活滿足客戶所需。

最重要的是，Gemini 1.5 Flash 的強(qiáng)大功能、低延遲和高性價(jià)比迅速成為我們客戶的最愛(ài)。相較于 GPT 3.5 Turbo 等同類模型，它具備多項(xiàng)顯著優(yōu)勢(shì):

●100 萬(wàn) token 的上下文窗口，約為 GPT-3.5 Turbo 的 60 倍

● 在輸入 10,000 字符的情況下，平均速度比 GPT-3.5 Turbo 快40%③

●輸入成本比 GPT-3.5 Turbo 最高可降低 4 倍(對(duì)超過(guò) 32,000 字符的輸入啟用上下文緩存)

"UberEats 正積極重新構(gòu)想人們獲取日常生活所需的方式，"Uber資深軟件工程師 Narendran Thangarajan 說(shuō)道，"因此，我們開(kāi)發(fā)了 Uber Eats AI 助手，讓我們的用戶能夠通過(guò)自然語(yǔ)言對(duì)話，輕松順暢地探索、發(fā)現(xiàn)和購(gòu)買我們商品目錄中的各種好物。Gemini 1.5 Flash 讓我們的響應(yīng)時(shí)間幾乎減半，而這對(duì)整體客戶體驗(yàn)至關(guān)重要。我們非常期待這一模型在提高效率和客戶滿意度方面的潛能，以及它的多模態(tài)功能和更長(zhǎng)上下文窗口帶來(lái)的新機(jī)會(huì)。"

"Gemini 1.5 Flash 讓我們能夠在不犧牲輸出質(zhì)量或上下文窗口的情況下，更輕松地在高流量任務(wù)中大規(guī)模運(yùn)用生成式 AI，甚至在多模態(tài)應(yīng)用場(chǎng)景中也是如此，"市場(chǎng)調(diào)研公司Ipsos的全球生成式 AI 負(fù)責(zé)人 JC Escalante 說(shuō)道，"Gemini Flash 為更好地管理投資回報(bào)率創(chuàng)造了機(jī)會(huì)。"

"作為一家致力于幫助企業(yè)營(yíng)銷團(tuán)隊(duì)提高工作效率的 AI 優(yōu)先公司，我們必須利用成本效益出色的優(yōu)質(zhì)多模態(tài)模型，助力客戶快速輕松地創(chuàng)作出精彩內(nèi)容并重新構(gòu)想其現(xiàn)有創(chuàng)意資產(chǎn)，"Jasper.ai的首席戰(zhàn)略官 Suhail Nimji 說(shuō)道，"借助 Gemini 1.5 Pro 和新的 1.5 Flash，我們將繼續(xù)提升生成式內(nèi)容的質(zhì)量標(biāo)桿，確保遵循品牌風(fēng)格和營(yíng)銷準(zhǔn)則，同時(shí)提高全程效率。"

Gemini 1.5 Pro:

業(yè)界領(lǐng)先的 200 萬(wàn) token 上下文窗口

Gemini 1.5 Pro現(xiàn)已正式發(fā)布。它具備業(yè)界領(lǐng)先、最高可達(dá) 200 萬(wàn)個(gè) token 的上下文窗口，能夠解鎖其他模型力不能及的獨(dú)特多模態(tài)應(yīng)用場(chǎng)景。

處理僅僅六分鐘的視頻就需要超過(guò) 10 萬(wàn)個(gè) token，而大型代碼庫(kù)可能超過(guò) 100 萬(wàn)個(gè) token - 無(wú)論應(yīng)用場(chǎng)景是查找海量代碼中的 bug、在大型研究資料庫(kù)中搜尋正確的信息，還是分析數(shù)以小時(shí)計(jì)的音頻或視頻，Gemini 1.5 Pro 的超大上下文窗口都可幫助組織開(kāi)拓全新領(lǐng)域。

Imagen 3:

更快的圖像生成速度、更強(qiáng)的提示理解能力

Imagen 3 是 Google 最新的圖像生成基礎(chǔ)模型。它在提供卓越圖像質(zhì)量的同時(shí)，更在 Imagen 2 基礎(chǔ)上做了多項(xiàng)改進(jìn): 生成速度提高 40% 以上，方便用戶快速進(jìn)行原型設(shè)計(jì)和迭代，理解提示和遵循指令的能力更強(qiáng)，能夠生成逼真的人群圖像，并可更精準(zhǔn)地控制圖像中的文本渲染。

Imagen 3 現(xiàn)推出預(yù)覽版，供 Vertex AI 客戶搶先體驗(yàn)。它可理解多種語(yǔ)言，內(nèi)置 Google DeepMind 的 SynthID 數(shù)字水印等安全功能，還支持多種畫面比例。

使用 Google 的最新圖像生成模型 Imagen 3 生成的圖片

"在早期測(cè)試中，Imagen 3 模型在質(zhì)量和速度方面都給了我們驚喜，"Typeface的 AI 研究負(fù)責(zé)人 Gaurav Sharma 說(shuō)道。這家初創(chuàng)公司專注于利用生成式 AI 進(jìn)行企業(yè)內(nèi)容創(chuàng)作。"它在細(xì)節(jié)生成和人類生活圖像方面都有顯著改進(jìn)。作為 Google 基礎(chǔ)模型的早期試用合作伙伴，我們期待在未來(lái)發(fā)展道路上進(jìn)一步探索新的 Imagen 和 Gemini 模型。"

"我們讓用戶能夠利用 AI 的力量，輕松將創(chuàng)意轉(zhuǎn)化為精美的演示文稿、網(wǎng)站和其他可視化文檔。為了進(jìn)一步提升個(gè)性化水平和創(chuàng)造力，同時(shí)減少手動(dòng)操作，我們通過(guò) Imagen 提供高質(zhì)量的文生圖功能，"Gamma的聯(lián)合創(chuàng)始人 Jon Noronha 說(shuō)道，"我們的用戶已經(jīng)用 Imagen 生成了超過(guò) 400 萬(wàn)張圖片。Imagen 3 能夠讓他們更快地創(chuàng)作圖片、在圖片中加入文本，并安全地、更好地生成包含人物的逼真圖片，這令我們非常期待。"

"自從將 Imagen 加入我們的 AI 圖片生成工具后，我們的用戶已經(jīng)使用這個(gè)模型生成了數(shù)百萬(wàn)張圖片。我們非常期待 Imagen 3 承諾的改進(jìn)，它能讓我們的用戶更快實(shí)現(xiàn)他們的創(chuàng)意，而不必犧牲質(zhì)量。作為 Shutterstock 推出的首款符合道德來(lái)源的 AI 圖像生成器的重要增強(qiáng)，我們非常認(rèn)可的另一點(diǎn)是，它不但內(nèi)置了安全功能，創(chuàng)作成果也享受 Google Cloud 的生成式 AI 賠償保障。"Shutterstock數(shù)據(jù)服務(wù)副總裁 Justin Hiza 說(shuō)道。

第三方模型和開(kāi)放模型:

拓寬使用 Vertex AI 時(shí)的模型選擇面

在 Google Cloud，我們致力于通過(guò) Vertex AI 上精心挑選的自有模型、開(kāi)放模型和第三方模型，為客戶提供更多選擇、為創(chuàng)新注入更多動(dòng)力。因此，我們非常高興地宣布，Anthropic 新發(fā)布的Claude 3.5 Sonnet模型也已登陸 Vertex AI。客戶可以開(kāi)始使用Google Cloud 上的 Claude 3.5 Sonnet 模型開(kāi)展實(shí)驗(yàn)或?qū)⑵洳渴鸬缴a(chǎn)環(huán)境。今年夏末，我們還將在 Vertex AI 的 Model Garden 模型庫(kù)中新增 Mistral Small、Mistral Large 和 Mistral Codestral 模型，進(jìn)一步深化與 Mistral 的合作。

秉持立足當(dāng)下滿足客戶需求的理念，今年早些時(shí)候，我們基于與 Gemini 模型相同的技術(shù)和研究成果，推出了一系列輕量級(jí)、先進(jìn)的開(kāi)放式模型 Gemma。今天，我們正式面向全球的研究人員和開(kāi)發(fā)者發(fā)布Gemma 2。Gemma 2 提供 90 億 (9B) 和 270 億 (27B) 參數(shù)兩種規(guī)格，相較于第一代更加強(qiáng)大高效，并顯著改進(jìn)了安全性。從下個(gè)月開(kāi)始，客戶將可以在 Vertex AI 上使用 Gemma 2。

費(fèi)用更低:

Gemini 1.5 Pro 和 Flash 都支持上下文緩存

為幫助客戶高效利用 Gemini 的超大上下文窗口，從今天開(kāi)始，我們將逐步為 1.5 Pro 和 Flash 模型推出上下文緩存功能的公開(kāi)預(yù)覽版。隨著上下文長(zhǎng)度的增加，為長(zhǎng)上下文應(yīng)用生成響應(yīng)變得越來(lái)越昂貴且緩慢，提高投產(chǎn)難度。Vertex AI 上下文緩存功能可將常用上下文保存到緩存中，幫助客戶顯著降低輸入成本(減費(fèi)幅度最高可達(dá) 75%)。目前，Google 是市場(chǎng)上唯一一家提供上下文緩存 API 的供應(yīng)商。

可預(yù)測(cè)的性能:

為 Gemini 模型預(yù)配吞吐量

從今天起，預(yù)配吞吐量功能正式面向許可名單上的客戶推出。它讓客戶在使用 Gemini 1.5 Flash 等 Google 自有模型時(shí)能夠負(fù)責(zé)任地?cái)U(kuò)容，在容量和價(jià)格上都獲得保證。這項(xiàng) Vertex AI 功能為客戶的生產(chǎn)工作負(fù)載帶來(lái)了可預(yù)測(cè)性和可靠性，使他們能夠自信地為生成式 AI 工作負(fù)載靈活擴(kuò)容。

為企業(yè)提供可靠信息:

更多接地選擇，不但支持 Google 搜索，現(xiàn)更支持第三方數(shù)據(jù)

要打造適合企業(yè)的平臺(tái)，只有模型還不夠。企業(yè)需要最大限度地提高準(zhǔn)確性并顯著減少幻覺(jué)，這意味著不但要將模型接地到來(lái)自 Web、第一方和第三方的事實(shí)信息和數(shù)據(jù)，還要滿足企業(yè)在數(shù)據(jù)治理和數(shù)據(jù)主權(quán)等方面的嚴(yán)格標(biāo)準(zhǔn)。

在 Google I/O 大會(huì)上，我們宣布正式推出 Vertex AI 的 Google 搜索接地服務(wù)。隨著這項(xiàng)服務(wù)的正式發(fā)布，各類企業(yè)現(xiàn)在都可以利用 Google 搜索接地來(lái)增強(qiáng) Gemini 的輸出，使模型能夠取用最新的優(yōu)質(zhì)信息。客戶可以輕松將增強(qiáng)后的 Gemini 模型集成到他們的 AI agent 中。

"Gemini 1.5 Flash 為未來(lái)更好地管理投資回報(bào)率創(chuàng)造了機(jī)會(huì)。通過(guò)模型的 Google 搜索接地功能，我們可以利用最新數(shù)據(jù)，更好地提升我們的對(duì)話式產(chǎn)品 Ipsos Facto 的結(jié)果相關(guān)性，"Ipsos的 JC Escalante 說(shuō)道，"在我們不懈改善輸出質(zhì)量和研究人員體驗(yàn)的道路上，這項(xiàng)功能發(fā)揮著不可或缺的關(guān)鍵作用。"

"Quora 現(xiàn)在在其 Poe 平臺(tái)上提供 Google 搜索接地功能，其產(chǎn)品主管 Spencer Chan 說(shuō)道:"通過(guò) Google 搜索接地意味著我們可以獲得更準(zhǔn)確、更新鮮、更可靠的答案。用戶現(xiàn)在能夠更加自信地與 Gemini 聊天機(jī)器人互動(dòng)，他們的積極反饋?zhàn)屛覀兎浅Ｐ老病?

我們今天還宣布，從下個(gè)季度開(kāi)始，Vertex AI 將提供一項(xiàng)新服務(wù)，讓客戶能夠使用專業(yè)第三方數(shù)據(jù)來(lái)接地他們的 AI agent。這有助于企業(yè)將第三方數(shù)據(jù)集成到他們的生成式 AI agent，解鎖各種獨(dú)特應(yīng)用場(chǎng)景，并提高其 AI 產(chǎn)品中的企業(yè)信息準(zhǔn)確性。我們正與穆迪、MSCI、湯森路透和Zoominfo等知名供應(yīng)商合作，將他們的數(shù)據(jù)引入這項(xiàng)服務(wù)。

"Google Cloud 的第三方數(shù)據(jù)接地服務(wù)將為畢馬威和我們的客戶開(kāi)啟全新應(yīng)用場(chǎng)景，"畢馬威全球稅務(wù)與法務(wù)部門首席技術(shù)官 Brad Brown 說(shuō)道，"通過(guò)將行業(yè)領(lǐng)軍供應(yīng)商的專業(yè)第三方數(shù)據(jù)無(wú)縫集成到我們的生成式 AI 產(chǎn)品中，我們能夠利用高度可信的數(shù)據(jù)源來(lái)減少數(shù)據(jù)分析時(shí)間、推動(dòng)更明智的決策，并最終實(shí)現(xiàn)更豐碩的價(jià)值。"

更準(zhǔn)確的回答:

高保真模式接地

在金融服務(wù)、醫(yī)療保健和保險(xiǎn)等數(shù)據(jù)密集型行業(yè)中，生成式 AI 應(yīng)用場(chǎng)景通常要求生成的響應(yīng)只依據(jù)所提供的上下文，而不是模型的寬泛知識(shí)。高保真接地功能現(xiàn)發(fā)布實(shí)驗(yàn)預(yù)覽版，可針對(duì)性地滿足這類接地場(chǎng)景需求，包括總結(jié)多個(gè)文檔、從一組金融數(shù)據(jù)集中提取數(shù)據(jù)或處理給定的一套文檔。高保真模式由一個(gè)經(jīng)過(guò)專門微調(diào)的 Gemini 1.5 Flash 版本驅(qū)動(dòng)，它只使用客戶提供的內(nèi)容生成回答，可確保響應(yīng)的高準(zhǔn)確性。

保障數(shù)據(jù)主權(quán)的理想選擇:

選擇靜態(tài)數(shù)據(jù)駐留位置，限制機(jī)器學(xué)習(xí)處理區(qū)域

很多客戶，尤其是受監(jiān)管行業(yè)的客戶，要求在使用生成式 AI 功能的過(guò)程中能夠控制其數(shù)據(jù)的存儲(chǔ)和處理位置。為了滿足這類數(shù)據(jù)主權(quán)要求，我們?cè)?23 個(gè)國(guó)家/地區(qū)提供靜態(tài)數(shù)據(jù)駐留位置保證 (其中 13 個(gè)國(guó)家/地區(qū)是 2024 年新增的: 西班牙、意大利、以色列、瑞士、波蘭、芬蘭、巴西、印度、中國(guó)臺(tái)灣、中國(guó)香港、澳大利亞、沙特阿拉伯、卡塔爾)，并在美國(guó)和歐盟提供對(duì)相關(guān)機(jī)器學(xué)習(xí)處理位置的額外保證。我們正在努力將機(jī)器學(xué)習(xí)處理保證拓展到另外 8 個(gè)國(guó)家/地區(qū)，其中 4 個(gè)國(guó)家/地區(qū)將在 2024 年內(nèi)得到支持。

立即開(kāi)始使用 Vertex AI

正如我們今天分享的客戶案例所展示的那樣，Vertex AI 可幫助企業(yè)將生成式 AI 的強(qiáng)大能力轉(zhuǎn)化為實(shí)實(shí)在在的變革性成果。我們期待繼續(xù)為客戶帶來(lái) Gemini 1.5 Flash 和 Google 搜索接地這樣的創(chuàng)新，并努力將 Vertex AI 打造成完美滿足企業(yè)需求的生成式 AI 平臺(tái)。