科技云報道原創。
生成式AI作為當前人工智能的前沿領域,全球多家科技企業都在加大生成式AI的研發投入力度。
隨著技術、產品及應用等方面不斷推出重要成果,如今有更多的行業用戶在思考該如何將生成式AI應用落地。
但開發生成式AI應用是一個充滿挑戰的系統工程,并不是單純的產品和服務拼接,涉及基礎設施領域一系列的挑戰。
亞馬遜云科技大中華區產品部總經理陳曉建表示,當我們談論生成式AI時,大多數人都在談論基礎模型,而整個生成式AI應用就像是浮在海面的冰山,露在海面上方能被大多數人看到的冰山一角就像是基礎模型,而在冰川的底部,同樣需要大量的基礎模型以外的服務來支撐,如加速芯片、數據庫、數據分析、數據安全服務等等。
那么,想要構建一個成功的生成式AI應用,需要哪些基礎設施助力?業界是否有一些最佳實踐可以參考呢?
生成式AI應用構建的關鍵
高性價比的基礎設施
都說算力、算法和數據是人工智能發展的三要素,想要讓這些要素更好地與生成式AI應用匹配,高性價比的基礎設施必不可少。
AI高性能芯片為生成式AI訓練提供算力支撐
人工智能的發展從深度學習時代進入到大模型時代,大規模預訓練模型的參數量呈現指數級上升,需要高性能算力的支撐。
目前,大規模預訓練模型訓練算力是以往的10到100倍,當前主流生成式AI模型的訓練廣泛使用到英偉達Tensor Core GPU芯片,如微軟斥資數億美元購買數萬顆英偉達A100芯片以幫助Open AI打造ChatGPT。
AI計算集群為生成式AI模型訓練降低成本
AI計算集群能夠提供大規模算力、持續提高算力資源利用率、提升數據存儲和處理能力,進一步降低模型訓練門檻和成本,推動生成式AI模型的落地進程。
當前較為典型的AI計算集群,例如基于英偉達最新GPU芯片H100 Tensor Core的Amazon EC2 P5實例,與上一代相比速度快6倍,訓練成本節省40%;
基于亞馬遜云科技自研的機器學習推理芯片Amazon Inferentia2推出的Amazon EC2 Inf2實例,與其他類似的EC2實例相比性價比高40%;
基于自研機器學習訓練芯片Amazon Trainium推出的Amazon EC2 Trn1實例,與同類實例相比訓練成本節省高達50%。
這也是為什么有越來越多的客戶,比如Airbnb、OPPO、Sprinklr 和 Autodesk等,會選擇使用亞馬遜云科技的自研芯片來承載他們的生成式AI應用。
基礎模型服務為構建生成式AI提升效率
生成式AI的核心是利用機器學習領域的基礎模型驅動的,從RNN、CNN到VAE、GAN,每種模型都有其獨特的優點和應用領域,這些模型在很大程度上決定了AI系統的表現。
然而,基礎模型的發展和迭代速度正超越以外任何一項技術,基本以月甚至天為單位持續迭代。
在眾多的基礎模型中,應該如何便捷安全的選擇最適合自己業務場景的基礎模型,是每一家企業在構建生成式AI應用時面臨的挑戰。
事實上,借助專門構建的生成式AI工具和基礎設施,可以幫助企業快速構建高性價比的生成式AI應用。
例如,亞馬遜云科技Amazon Bedrock是一項無服務器服務,提供了廣泛的模型選擇、數據隱私,并且能夠自定義模型,無需管理任何基礎設施。
該服務提供的基礎模型來自Meta, Anthropic, Stability AI, AI21 Labs, Cohere等第三方領先提供商以及自身的Amazon Titan模型等,近期還加入了Meta的下一代開源大模型Llama2以及Anthropic的Claude2等熱門基礎模型。
同時,Amazon Bedrock與Amazon SageMaker Jumpstart結合,用戶可以從Amazon SageMaker Jumpstart中選擇開源的基礎模型,然后根據自身需求可以選擇全量微調,輕量微調等不同方式,進一步確定微調框架,利用分布式訓練實現微調,從而更好的評估微調效果。
云原生服務加速生成式AI應用構建
人工智能預訓練模型的開發對于云服務有較大需求,AI云服務可以提供人工智能開發模塊,通過多元化的服務模式,降低開發者的開發成本和產品開發周期,為模型開發提供AI賦能。
尤其是借助云原生服務,可以加速AI應用構建,助力業務敏捷創新。
比如,以微服務化和事件驅動架構為核心的設計框架,松耦合的去處理每個功能模塊之間的互相依賴;Serverless First能夠簡化運維、提升效率;在DevOps、基礎設施即服務、自動化等現代應用治理理念持續投入,可以促進企業內部的應用資產與實踐的分享,構建高效敏捷的構建者文化等等。
數據服務為生成式AI打造基座
數據作為生成式AI的關鍵,也將推動生成式AI的廣泛應用,對于所有的組織企業來說都十分重要。
首先,面向生成式AI構建強大的數據“基座”,需要一套全面的服務,以便能夠存儲用于構建和微調模型的各種類型的數據;
其次,還需要服務間的集成,以打破數據孤島,確保能夠隨時訪問所有數據;
最后,還需要在構建生成式AI應用程序的整個生命周期中,確保數據安全并對其進行管理。
以亞馬遜云科技為例,針對生成式AI領域的用戶個人信息、會話信息管理、私域知識庫等應用場景都提供了專門構建的數據庫。
在數據集成方面,亞馬遜云科技已經在Amazon S3、Amazon Aurora、Amazon Redshift、Amazon SageMaker、Amazon EMR、Amazon Athena、Amazon Kinesis等各項服務之間,實現了深度的數據集成,幫助企業執行分析和機器學習,且無需移動數據。
在數據治理方面,亞馬遜云科技Amazon DataZone讓客戶能夠跨組織邊界發現、訪問、共享和治理大規模數據,并減少企業內部成員訪問數據和使用分析工具時繁重的工作量。
構建生成式AI
應用的行業實踐
目前,由生成式AI引導的企業變革序幕全面展開,以多元應用不斷創新AI應用范式,并將實踐成果逐步延伸至智慧教育、智能制造、醫療等領域,真正成為人們生產生活的得力助手。
其中,在行業類應用場景中,AI助手類應用得到了廣泛運用,比如在協同辦公賽道就掀起了新風口:
釘釘接入千問大模型,用戶可以喚起10余項AI能力如:自動整理群聊要點、生成待辦、預約日程、寫文案、生成海報、一鍵生成討論要點等。
飛書宣布推出智能助手“My AI”,功能包括匯總會議紀要、創建報告、優化和續寫文字內容等功能。
金山辦公推出“WPS AI”,支持內容生成、公式生成、制作PPT、掃描識別并分析文件等功能。
而在金融、醫療、工業等領域,最具前景的應用則來自于數據挖掘和知識洞察(Insight)類工具。
但無論是哪種形式的生成式AI的應用落地,背后都離不開強大的基礎設施作為支撐。
金山辦公軟件股份有限公司的 AI 研發總監劉強表示,今年起WPS開始將大語言模型的能力全面引入產品,致力于開發新一代辦公軟件。
而在構建生成式AI應用的過程中,基礎模型性能有限,數據隱私與安全難以保障,高額管理成本等現實情況成為了擺在金山辦公面前的重重障礙。
亞馬遜云科技Amazon Bedrock中支持的領先大語言模型,在多個文字處理場景中符合金山辦公的需求。
除多種模型選擇外,Amazon Bedrock還在數據安全層面給金山辦公提供了充分的支持,極大地提高了金山辦公的內部開發效率,助力金山辦公進一步革新辦公體驗。
西門子中國也借助了一系列云基礎設施、大數據、機器學習等技術,來構建生成式AI應用。
據西門子中國大禹團隊介紹,長期以來企業內部資源的檢索和調用都存在結構散亂、檢索速度慢、交互不便等問題。因此,大禹團隊決定將大數據庫和生成式 AI 應用于一個全新的“智能知識庫”,從根本上提升知識庫的可用性。
在亞馬遜云的技術支持下,西門子中國大禹團隊通過一個智能知識庫暨智能會話機器人的解決方案,三個月時間就上線了生成式AI對話機器人“小禹”,實現了快速、精準的查詢和回復。
在整個解決方案中,包括預訓練大語言模型,Amazon OpenSearch Service的向量數據服務,以及相關系統集成等,這些核心關鍵能力讓解決方案指南能實現目標知識庫約80%功能,西門子中國根據企業內部需求再做20%定制化開發,最終形成完整的解決方案。
同時,Amazon OpenSearch Service的無服務器特性,讓開發人員不需要管理集群或擔心生產規模,可以快速推動部署。
基于Amazon SageMaker上提供的豐富的模型開發和訓練工具,也保證了開發人員可以在云端輕松實現大語言模型的調優以及測試更多不同類型的開源模型。
結語
生成式AI正在成為企業新一輪業務創新的重要工具,成為下一代的生產力工具。
總體來看,高性價比的云基礎設施技術如同一艘航母,能夠為企業提供堅實的底座,讓企業擺脫基礎設施的束縛,更好、更高效地專注于創新。
【關于科技云報道】
專注于原創的企業級內容行家——科技云報道。成立于2015年,是前沿企業級IT領域Top10媒體。獲工信部權威認可,可信云、全球云計算大會官方指定傳播媒體之一。深入原創報道云計算、大數據、人工智能、區塊鏈等領域。
審核編輯 黃宇
-
AI
+關注
關注
88文章
34591瀏覽量
276278 -
人工智能
+關注
關注
1805文章
48843瀏覽量
247481
發布評論請先 登錄
聚云科技獲亞馬遜云科技生成式AI能力認證
聚云科技榮獲亞馬遜云科技生成式AI能力認證
聚云科技榮獲亞馬遜云科技生成式AI能力認證 助力企業加速生成式AI應用落地
Google兩款先進生成式AI模型登陸Vertex AI平臺
NVIDIA助力Amdocs打造生成式AI智能體
天璣9400生成式AI技術太牛了!打造最強AI體驗

評論