50%成本節省、3~5倍推理時延降低、100%的QPS(每秒請求數)提升!
由想法流打造的“造夢次元”,是由多模態AI驅動的新一代內容平臺,得益于商湯大裝置AIGC解決方案從算力到模型的端到端支持,通過算力和模型、模型和應用之間的緊密協同,既創造了最佳的用戶體驗,又獲得了最大化的成本效益,如今已成為一款日均活躍互動時間超過100分鐘的現象級應用。
想法流合伙人、Studio負責人張鴻表示:“商湯大裝置展現出三重核心優勢:一是算力與模型的深度協同,實現最高效的資源利用;二是針對文本、語音、圖像等不同模態的協同,構建了流暢自然的交互體驗;三是支持開源模型的完善生態,提供了多樣化模型選擇。這種多維度協同優勢助力我們完成了‘算力、模型、應用’三位一體的全鏈條優化,推動技術效能向商業價值的高效轉化。”
日均6000萬次調用、千億token消耗,帶來三大「生存挑戰」
基于對用戶需求的洞察,想法流通過技術創新直擊AI互動應用普遍存在的“沉浸感不足”和“門檻過高”兩大核心問題。
例如,通過提供文字、語音、文圖結合的多模態交互,讓用戶與AI的互動體驗趨近真實人際交流。此外,想法流還提供豐富的創作工具,用戶只需套用相關模板,就可快速搭建完整互動內容,有效降低了創作門檻。
造夢次元每日平均模型調用量高達6000多萬次,一天消耗的token達千億級別。在如此龐大的規模下,任何卡頓、宕機、出錯都會導致嚴重的用戶流失;任何因模型能力不足造成的體驗不佳,都會影響產品口碑;任何微小的資源閑置,都會累計成巨大的成本開銷。擺在想法流面前的“生存挑戰”,主要體現在三個層面:
2倍峰谷差的算力彈性戰:造夢次元的平臺流量有著鮮明的潮汐特征,周末和節假日高峰時段的流量可達低谷時期2倍,對基礎設施算力資源有很強的彈性伸縮需求。
推理時延的2秒生死線:虛擬角色互動場景對時延極為敏感,要保證基本流暢的交互體驗,模型推理時延需穩定控制在2秒以內。
模型迭代的穩定性挑戰:想法流采用了很多開源模型,需要跟隨社區節奏進行頻繁升級甚至替換。需求多、更新頻,如何保證業務穩定運行也至關重要。
高峰秒級響應不卡頓、低谷資源釋放不浪費
商湯大裝置作為“最懂大模型的AI基礎設施”,為想法流提供了從算力到模型的全鏈路一體化AIGC整體解決方案,一站式支撐想法流的產品研發及運營需求,做到“高峰秒級響應不卡頓、低谷資源釋放不浪費”。
秒級彈性伸縮:成本暴降50%,流量潮汐從容應對
面對流量峰谷波動挑戰,商湯大裝置通過實時監測、統一調度、智能擴縮容的組合策略,實現秒級彈性伸縮,為想法流的整體運營成本降低了50%。其中,智能化統一調度結合監測系統實時抓取的業務指標,根據推理業務擴縮容規則自動分配資源,實現算力與流量的精準匹配;并結合定時擴縮容與按需擴縮容的雙重策略,進一步提升彈性伸縮的靈活性。
全鏈路優化:5倍推理時延降低、100%QPS提升
想法流將“人均互動次數”作為判斷模型體驗的綜合指標,推理時延和QPS正是影響該指標的關鍵因素。商湯大裝置通過硬件資源、軟件框架、算法模型等多維度協同優化,使推理時延降低3~5倍。
另外,在秒級彈性伸縮的基礎上,商湯大裝置還通過全鏈路量化加速、流量分級與降級等專項優化,可在高峰期優先保障高價值業務的響應速度,最終將QPS提升100%,以更快的響應速度提升用戶體驗。
商湯日日新多模型組合,“人均互動次數”翻倍提升
“人均互動次數”另一個影響因素在于模型能力,商湯以商量語言大模型、商量擬人對話模型、文生圖模型秒畫等多模型組合,為造夢次元用戶帶來“更懂人心”的交互體驗。
其中,商量語言大模型以精準的上下文語義分析、意圖推理及對人類情感的細致感知與回應,助力造夢次元以擬人化思維打造沉浸式交流體驗。同時,依托商量擬人對話模型領先的角色對話、人設、及劇情推動能力,幫助想法流用戶打造IP角色,為用戶提供高擬真對話體驗。此外,創作者可使用秒畫的普通生圖、CN生圖、換臉、擴圖等功能,進行各類虛擬角色設計。
基于基礎設施的系統優化和雙方的模型共創,造夢次元的“人均互動次數”從初期20輪提升至40~50輪,用戶粘性實現跨越式增長。
可靠全面穩定性保障:模型隨時升,業務不斷點
針對想法流高頻次的模型切換,以及開源模型頻繁的版本升級給業務運營帶來的穩定性挑戰,商湯大裝置針對推理階段構建了涵蓋模型灰度發布、滾動升級與智能運維的全面穩定性保障體系,不僅為模型快速迭代提供了有效支撐,也確保了在線業務的穩定運行。
日均活躍100分鐘,構建新型內容消費生態
短短兩年時間,“造夢次元”已發展成為擁有數百個萬粉級別IP角色,日均活躍互動時間超過100分鐘的應用平臺,是大量年輕用戶娛樂、情感表達和學習陪練的重要伙伴。未來,雙方還將聚焦多模態模型能力深化合作,給用戶帶來更新奇、更有趣的AI互動之旅。
商湯科技聯合創始人、大裝置事業群總裁楊帆認為:“商湯大裝置與想法流的合作,是對商湯科技‘大裝置-大模型-應用’三位一體戰略價值的最佳詮釋。基于應用場景特點開展模型能力共創,訓練高度貼合業務需求的垂類模型,并針對模型調用需求提供最優的基礎設施支持,給予靈活的彈性伸縮、極低的推理時延和穩定性保障,最終實現降本增效和用戶滿意度的提升。大模型算法與基礎設施的聯合優化,不僅是驅動生成式AI發展的核心動力,也是實現最大化商業價值的最優路徑。”
-
AI
+關注
關注
88文章
34553瀏覽量
276071 -
商湯科技
+關注
關注
8文章
556瀏覽量
36690 -
AIGC
+關注
關注
1文章
385瀏覽量
2310
原文標題:破次元了!爆款應用背后的商湯大裝置
文章出處:【微信號:SenseTime2017,微信公眾號:商湯科技SenseTime】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
評論