女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

利用NVIDIA產(chǎn)品技術(shù)組合提升用戶體驗(yàn)

NVIDIA英偉達(dá) ? 來源:NVIDIA英偉達(dá) ? 2024-01-17 09:30 ? 次閱讀

案例簡(jiǎn)介

本案例通過利用NVIDIA TensorRT-LLM加速指令識(shí)別深度學(xué)習(xí)模型,并借助NVIDIA Triton推理服務(wù)器在NVIDIA V100 GPU上進(jìn)行高效部署,幫助必優(yōu)科技的文檔智能體 UTalk-Doc 將用戶指令識(shí)別服務(wù)吞吐量提升了 5 倍,單個(gè)請(qǐng)求響應(yīng)時(shí)間縮減了三分之一,大幅提升服務(wù)運(yùn)行效率,提升資源利用率。Triton 模型分析能力還協(xié)助必優(yōu)科技,將尋找最佳推理配置所需的時(shí)間從數(shù)周減少到數(shù)小時(shí)。

智能體迭代和

用戶增長(zhǎng)的并發(fā)壓力

必優(yōu)科技旗下 UTalk-Doc 是新一代協(xié)助用戶進(jìn)行表達(dá)的辦公產(chǎn)品。其中“用戶指令識(shí)別”能力是產(chǎn)品組成中十分重要的一環(huán)。目前該能力主要由底層指令識(shí)別深度學(xué)習(xí)模型提供服務(wù)支持。

深度學(xué)習(xí)模型在運(yùn)行過程中需要較大的計(jì)算量,在用 Pytorch 進(jìn)行模型的推理時(shí),一方面時(shí)延特別大,導(dǎo)致用戶體驗(yàn)受損;另一方面,顯存占用很大,導(dǎo)致推理請(qǐng)求的并發(fā)數(shù)上不去,請(qǐng)求失敗的概率太高,只能通過增加機(jī)器的方式來提高并發(fā)能力,業(yè)務(wù)部署成本較高;再次,使用的模型經(jīng)常變化,而業(yè)務(wù)需要更換后的模型能夠快速地加速和上線部署。NVIDIA GPU 硬件和軟件框架的強(qiáng)大性能幫助企業(yè)解決了海量計(jì)算需求,滿足了必優(yōu)科技多模態(tài) office 智能體的迭代和用戶幾何倍增長(zhǎng)的并發(fā)壓力。

利用 NVIDIA產(chǎn)品技術(shù)組合

提升用戶體驗(yàn)

基于以上挑戰(zhàn),必優(yōu)科技選擇了采用 NVIDIA 的 TensorRT-LLM SDK 對(duì)模型進(jìn)行推理加速,并利用 NVIDIA Triton推理服務(wù)器在 V100 GPU 上進(jìn)行在線部署,在提升用戶體驗(yàn)的同時(shí),大幅降低了服務(wù)成本。

通過使用 TensorRT-LLM 對(duì)指令識(shí)別深度學(xué)習(xí)模型進(jìn)行加速,在都使用 FP32 的情況下,與 Pytorch 相對(duì),時(shí)延降低 50% 左右。

使用 TensorRT-LLM 結(jié)合 NVIDIA V100 GPU 的 FP16 Tensor Core,在保證精度的同時(shí),模型推理的時(shí)延進(jìn)一步降低了 40%。

Triton 的 dynamic batch 及多實(shí)例特性,在滿足時(shí)延要求的同時(shí),提高了系統(tǒng)整體的并發(fā)能力。

TensorRT-LLM 可以對(duì)模型進(jìn)行快速地加速,Triton 則可以對(duì)加速后的模型進(jìn)行快速地部署,滿足了業(yè)務(wù)對(duì)修改后的模型進(jìn)行快速部署的需求,同時(shí)也大大減少了工程人員的工作量。

NVIDIA 賦能文檔智能體

在 NVIDIA 技術(shù)和初創(chuàng)加速生態(tài)的加持中,必優(yōu)科技旗下應(yīng)用產(chǎn)品 ChatPPT(UTalk-Doc)在短短幾個(gè)月內(nèi)自然注冊(cè)用戶破 100 萬,同時(shí)通過內(nèi)容表達(dá)場(chǎng)景(如 PPT 演示),賦能了如金融、教育、醫(yī)療等垂直行業(yè)領(lǐng)域客戶,并且在硬件生態(tài)合作等方面也做了更多的探索,共同推進(jìn)整個(gè) AI 行業(yè)的快速發(fā)展。

“NVIDIA 提供的 GPU 解決方案,解決了深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的技術(shù)難題,是我們公司在人工智能道路上一路狂飆所不可或缺的一環(huán)。”必優(yōu)科技創(chuàng)始人兼 CTO 陳潤(rùn)天博士表示。

必優(yōu)科技成立于 2020 年,是國內(nèi)較早期就專注于人工智能領(lǐng)域的智能內(nèi)容生成技術(shù)的科技型公司,公司目前主要圍繞智慧辦公場(chǎng)景做相關(guān)業(yè)務(wù)開發(fā)服務(wù),如 2023 年 3 月上線的 Chatppt(AI 生成 PPT)6 個(gè)月用戶過百萬;全新下一代產(chǎn)品 UTalk-Doc——不拘泥于格式、自由切換文檔格式的產(chǎn)品,將徹底顛覆、改變和引領(lǐng)下一代 office 產(chǎn)品,幫助用戶更好地進(jìn)行表達(dá)。

NVIDIA 初創(chuàng)加速計(jì)劃

必優(yōu)科技是 NVIDIA 初創(chuàng)加速計(jì)劃 (NVIDIA Inception) 會(huì)員企業(yè)。NVIDIA 初創(chuàng)加速計(jì)劃為免費(fèi)會(huì)員制,旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計(jì)劃聯(lián)合國內(nèi)外知名的風(fēng)投機(jī)構(gòu),創(chuàng)業(yè)孵化器,創(chuàng)業(yè)加速器,行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等,打造創(chuàng)業(yè)加速生態(tài)系統(tǒng)。能夠提供產(chǎn)品折扣,技術(shù)支持,市場(chǎng)宣傳,融資對(duì)接,業(yè)務(wù)推薦等一系列服務(wù),加速創(chuàng)業(yè)公司的發(fā)展。

審核編輯:湯梓紅
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5246

    瀏覽量

    105793
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4912

    瀏覽量

    130681
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5555

    瀏覽量

    122498

原文標(biāo)題:NVIDIA GPU 解決方案加速必優(yōu)科技新一代文檔智能體

文章出處:【微信號(hào):NVIDIA_China,微信公眾號(hào):NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    NVIDIA推出NVLink Fusion技術(shù)

    NVIDIA 發(fā)布 NVIDIA NVLink Fusion,這款全新芯片將助力行業(yè)用戶通過全球領(lǐng)先且廣泛采用的計(jì)算互連架構(gòu) —— NVIDIA NVLink 打造的強(qiáng)健合作伙伴生態(tài)系
    的頭像 發(fā)表于 05-22 09:59 ?214次閱讀

    利用NVIDIA技術(shù)構(gòu)建從數(shù)據(jù)中心到邊緣的智慧醫(yī)院解決方案

    全球領(lǐng)先的電子制造商正在利用 NVIDIA 技術(shù),構(gòu)建從數(shù)據(jù)中心到邊緣的智慧醫(yī)院解決方案。
    的頭像 發(fā)表于 05-22 09:50 ?211次閱讀

    交流充電樁負(fù)載能效提升技術(shù)

    沖損耗,降低無效能耗5%~10%。 谷值充電與分時(shí)電價(jià)協(xié)同 通過內(nèi)置能源管理算法,在電網(wǎng)負(fù)荷低谷期(如夜間)自動(dòng)提高充電功率,利用低價(jià)電降低用戶成本,同時(shí)平衡電網(wǎng)負(fù)載,提升能源利用率。
    發(fā)表于 05-21 14:38

    5G網(wǎng)絡(luò)中,信令測(cè)試儀如何幫助提升用戶體驗(yàn)?

    。 這有助于運(yùn)營商順利部署新技術(shù)提升網(wǎng)絡(luò)的整體性能和用戶體驗(yàn)。 四、提升用戶體驗(yàn)的具體案例 優(yōu)化視頻流傳輸: 信令測(cè)試儀可以模擬
    發(fā)表于 03-21 14:33

    NVIDIA Blackwell數(shù)據(jù)手冊(cè)與NVIDIA Blackwell架構(gòu)技術(shù)解析

    NVIDIA Blackwell數(shù)據(jù)手冊(cè)與NVIDIA Blackwell 架構(gòu)技術(shù)解析
    的頭像 發(fā)表于 03-20 17:19 ?531次閱讀

    小程序開發(fā)必須知道的5個(gè)技巧:提升效率與用戶體驗(yàn)的權(quán)威指南

    提升1秒加載速度可降低7%的用戶流失。 交互流暢性:利用微信小程序的setData合并更新機(jī)制,減少頻繁渲染導(dǎo)致的卡頓,并通過加載動(dòng)畫緩解等待焦慮。 二、 80%的用戶僅使用小程序20
    發(fā)表于 03-14 14:51

    NVIDIA技術(shù)引領(lǐng)媒體行業(yè)AI革新

    近日,媒體行業(yè)正醞釀一場(chǎng)技術(shù)革命,計(jì)劃投入高達(dá)3萬億美元,采用NVIDIA的NIM微服務(wù)、AI Blueprint等先進(jìn)技術(shù),旨在簡(jiǎn)化AI視頻管線并顯著提升受眾參與度。這一宏大計(jì)劃彰顯
    的頭像 發(fā)表于 01-16 16:28 ?377次閱讀

    NVIDIA技術(shù)助力Pantheon Lab數(shù)字人實(shí)時(shí)交互解決方案

    NVIDIA Triton,Pantheon Lab 訓(xùn)練速度提高 10 倍、推理延遲降低 50%,以及用戶參與度提升 30%。這些進(jìn)步使對(duì)話式 AI 能夠提供實(shí)時(shí)且真實(shí)的互動(dòng),使 Pantheon Lab 在數(shù)字人
    的頭像 發(fā)表于 01-14 11:19 ?574次閱讀

    戴爾科技集團(tuán)推出全新PC產(chǎn)品組合,驅(qū)動(dòng)行業(yè)創(chuàng)新

    戴爾科技集團(tuán),憑借數(shù)十年的PC創(chuàng)新經(jīng)驗(yàn),近日推出了全新設(shè)計(jì)的PC產(chǎn)品組合,旨在大幅提升終端用戶的創(chuàng)造力和生產(chǎn)力。 此次推出的產(chǎn)品組合,采用了簡(jiǎn)化的設(shè)計(jì)理念,搭載了前沿的設(shè)備端AI
    的頭像 發(fā)表于 01-10 14:41 ?492次閱讀

    借助NVIDIA GPU提升魯班系統(tǒng)CAE軟件計(jì)算效率

    本案例中魯班系統(tǒng)高性能 CAE 軟件利用 NVIDIA 高性能 GPU,實(shí)現(xiàn)復(fù)雜產(chǎn)品的快速仿真,加速產(chǎn)品開發(fā)和設(shè)計(jì)迭代,縮短開發(fā)周期,提升
    的頭像 發(fā)表于 12-27 16:24 ?572次閱讀

    NVIDIA推出全新生成式AI模型Fugatto

    NVIDIA 開發(fā)了一個(gè)全新的生成式 AI 模型。利用輸入的文本和音頻,該模型可以創(chuàng)作出包含任意的音樂、人聲和聲音組合的作品。
    的頭像 發(fā)表于 11-27 11:29 ?743次閱讀

    全球大型電子產(chǎn)品制造商利用 Omniverse 和 AI 制定計(jì)劃

    ikan 全球大型電子產(chǎn)品制造商利用基于 NVIDIA Omniverse 構(gòu)建的數(shù)字孿生和工業(yè) AI 使工廠快速虛擬化。 為了滿足目前已全面投產(chǎn)的 Blackwell 的需求,全球大型電子產(chǎn)
    的頭像 發(fā)表于 11-23 14:57 ?1000次閱讀

    Foxconn利用NVIDIA AI和Omniverse訓(xùn)練機(jī)器人

    全球最大電子制造商 Foxconn 正準(zhǔn)備制造 NVIDIA 最復(fù)雜的產(chǎn)品之一,并開始使用 NVIDIA Omniverse 和 Isaac 平臺(tái)驅(qū)動(dòng)的數(shù)字孿生。
    的頭像 發(fā)表于 10-10 09:40 ?726次閱讀

    利用NVIDIA RAPIDS加速DolphinDB Shark平臺(tái)提升計(jì)算性能

    DolphinDB 是一家高性能數(shù)據(jù)庫研發(fā)企業(yè),也是 NVIDIA 初創(chuàng)加速計(jì)劃成員,其開發(fā)的產(chǎn)品基于高性能分布式時(shí)序數(shù)據(jù)庫,是支持復(fù)雜計(jì)算和流數(shù)據(jù)分析的實(shí)時(shí)計(jì)算平臺(tái),適用于金融、電力、物聯(lián)網(wǎng)和零售等行業(yè)。
    的頭像 發(fā)表于 09-09 09:57 ?772次閱讀
    <b class='flag-5'>利用</b><b class='flag-5'>NVIDIA</b> RAPIDS加速DolphinDB Shark平臺(tái)<b class='flag-5'>提升</b>計(jì)算性能

    NVIDIA賦能理想汽車共同推進(jìn)智能駕駛和智能座艙技術(shù)創(chuàng)新

    智能化已成為汽車行業(yè)發(fā)展的新引擎,NVIDIA 正在賦能理想汽車共同推進(jìn)智能駕駛和智能座艙技術(shù)創(chuàng)新。 ? 作為中國新能源汽車制造商和造車新勢(shì)力頭部企業(yè)之一,理想汽車深耕智能駕駛領(lǐng)域。通過利用
    的頭像 發(fā)表于 07-01 18:21 ?2063次閱讀