稚嫩的小身子呻吟受,爆乳白丝护士自慰喷水,啊啊啊插进去

由 CSDN 舉辦的 NVIDIA AI Inference Day - 大模型推理線上研討會，將幫助您了解 NVIDIA 開源大型語言模型（LLM）推理加速庫 TensorRT-LLM及其功能，使用 NVIDIA Triton^TM推理服務器進行端到端部署 LLM Serving，以及金融行業(yè)的 AI、NLP/LLM 應用場景、客戶案例。

通過本次活動，您將了解基于上述產(chǎn)品的 LLM 推理加速和部署的服務化實現(xiàn)管道、性能收益，以及金融行業(yè)加速計算解決方案，為您 LLM 和生成式 AI 開發(fā)的增效降本提供領先的技術路線參考和知識儲備。建議 AI 領域的數(shù)據(jù)科學家、AI 開發(fā)者和程序員、MLOps，DevOps，IT 運維及 leader，參與本次線上研討會。

NVIDIA TensorRT-LLM 和 Triton 是 NVIDIA AI Enterprise 的一部分（https://www.nvidia.cn/data-center/products/ai-enterprise/）, 這是一款端到端的 AI 軟件平臺，為企業(yè)級的安全、穩(wěn)定、管理和支持任務提供至關重要的 AI 推理解決方案。

注冊報名 NVIDIA AI Inference

Day - 大模型推理線上研討會

活動日程

2023/10/26 19:30 – 21:00

研討會將涵蓋以下主題：

1. 利用 NVIDIA TensorRT-LLM 加速大模型推理

NVIDIA TensorRT-LLM 簡介：產(chǎn)品定位，與原有產(chǎn)品的關系
現(xiàn)支持的模型
現(xiàn)支持的主要功能，如 KV-cache，各種量化方法等
性能
未來路線圖

2. 基于 NVIDIA Triton 推理服務器端到端部署 LLM serving

NVIDIA TensorRT-LLM 的任務調(diào)度方案，in-flight batching 的基礎原理
NVIDIA Triton 推理服務器的 TensorRT-LLM backend 介紹
基于 Triton 端到端部署 LLM 的完整解決方案（以 Llama 2 70B 為例）
相關 benchmark 參考結(jié)果

3. 金融行業(yè) AI 應用場景分享與 NVIDIA 加速計算解決方案介紹

金融行業(yè) AI 應用場景及客戶案例
NLP/LLM 在金融行業(yè)的潛在應用場景
NVIDIA 針對金融場景的加速計算解決方案

演講嘉賓

季光

NVIDIA GPU 加速計算專家團隊經(jīng)理

盧翔龍

NVIDIA 資深解決方案架構師

史永明

NVIDIA 工程與解決方案架構經(jīng)理

參與方式

微信識別上方二維碼，注冊參加本次活動

相關資料

快速上手 TensorRT-LLM 的資源如下:

訪問 GitHub 倉庫,獲取開源代碼：https://github.com/NVIDIA/TensorRT-LLM
探索 TensorRT-LLM 的示例代碼：https://github.com/NVIDIA/TensorRT-LLM/tree/release/0.5.0/examples
benchmark：https://nvidia.github.io/TensorRT-LLM/performance.html
以及用戶手冊：https://nvidia.github.io/TensorRT-LLM/index.html