2023 年 9 月 29 日，由阿里云、NVIDIA 聯(lián)合主辦，阿里云天池平臺(tái)承辦的 “NVIDIA TensorRT Hackathon 2023 生成式 AI 模型優(yōu)化賽” 圓滿落幕。該賽事自 2020 年以來，已成功舉辦三屆，本屆賽事于今年 7 月啟動(dòng)，吸引了來自全國 729 支開發(fā)者團(tuán)隊(duì)報(bào)名參賽，其中共有 40 支團(tuán)隊(duì)晉級(jí)復(fù)賽，最終 26 支團(tuán)隊(duì)于決賽中脫穎而出，分獲冠軍/亞軍/季軍及優(yōu)勝獎(jiǎng)，展現(xiàn)出了卓越的技術(shù)實(shí)力。

掃碼查看獲獎(jiǎng)名單

解鎖 NVIDIA TensorRT-LLM

挖掘生成式 AI 新需求

今年的 NVIDIA TensorRT Hackathon 著重提升選手開發(fā) NVIDIA TensorRT 應(yīng)用的能力。

在過去的一年里，生成式 AI 迎來了爆發(fā)式增長。計(jì)算機(jī)能夠批量生成大量圖像和文本，有的甚至能夠媲美專業(yè)創(chuàng)作者的作品。這為未來生成式 AI 模型的發(fā)展鋪平了道路，令人充滿期待。正因如此，NVIDIATensorRT Hackathon 2023 選擇生成式 AI 模型作為比賽的主題，以激發(fā)選手的創(chuàng)新潛力。

今年的比賽設(shè)置了初賽和復(fù)賽兩組賽題——初賽階段，選手需要利用 TensorRT 加速帶有 ControlNet 的 Stable Diffusion pipeline，以優(yōu)化后的運(yùn)行時(shí)間和出圖質(zhì)量作為主要排名依據(jù)；復(fù)賽為開放賽題，選手可自由選擇公開的 Transformer 模型，并利用 TensorRT 或 TensorRT-LLM 進(jìn)行模型推理優(yōu)化。

TensorRT作為 GPU 上的 AI 推理加速庫，一直以來都備受業(yè)界認(rèn)可與青睞。本次比賽的背后是 NVIDIA TensorRT 開發(fā)團(tuán)隊(duì)對產(chǎn)品不斷進(jìn)行改進(jìn)和優(yōu)化的結(jié)果。通過讓更多模型能夠順利通過 ONNX 自動(dòng)解析得到加速，并對常見模型結(jié)構(gòu)進(jìn)行深度優(yōu)化，極大地提高了 TensorRT 的可用性和性能。這意味著大部分模型無需經(jīng)過繁瑣的手工優(yōu)化，就能夠在 TensorRT 上有出色的性能表現(xiàn)。

TensorRT-LLM是 NVIDIA 即將推出用于大語言模型推理的工具，目前已于官網(wǎng)開放試用（注意請使用公司郵箱申請，暫不接受使用 Gmail、Yahoo、QQ 或其他個(gè)人電子郵箱提交的申請，https://developer.nvidia.com/tensorrt-llm-early-access）。

作為此次復(fù)賽推薦使用的開發(fā)工具之一，TensorRT-LLM 包含 TensorRT 深度學(xué)習(xí)編譯器，并且?guī)в薪?jīng)過優(yōu)化的 CUDA kernel、前處理和后處理步驟，以及多 GPU/多節(jié)點(diǎn)通信，可以在 NVIDIA GPU 上提供出類拔萃的性能。它通過一個(gè)開源的模塊化 Python 應(yīng)用 API 提高易用性和可擴(kuò)展性，使開發(fā)人員能夠嘗試新的 LLM，提供最頂尖的性能和快速自定義功能，且不需要開發(fā)人員具備深厚的 C++ 或 CUDA 知識(shí)。

作為本次大賽的主辦方之一，阿里云天池平臺(tái)為參賽選手提供了卓越的云上技術(shù)支持，在阿里云 GPU 云服務(wù)器中內(nèi)置 NVIDIA A10 Tensor Core GPU，參賽者通過云上實(shí)例進(jìn)行開發(fā)和訓(xùn)練優(yōu)化模型，體驗(yàn)云開發(fā)時(shí)代的 AI 工程化魅力。同時(shí)，由 NVIDIA 30 名工程師組成導(dǎo)師團(tuán)隊(duì)，為晉級(jí)復(fù)賽的 40 支隊(duì)伍提供一對一輔導(dǎo)陪賽，助力選手獲得佳績。

從實(shí)踐到迭代

腦力與創(chuàng)造力的集中比拼

本次比賽中涌現(xiàn)出大量優(yōu)秀的開發(fā)者。在獲獎(jiǎng)的 26 支團(tuán)隊(duì)中，有不少團(tuán)隊(duì)選擇借助 TensorRT-LLM 對通義千問-7B 進(jìn)行模型推理優(yōu)化。

通義千問-7B（Qwen-7B）是阿里云研發(fā)的通義千問大模型系列的 70 億參數(shù)規(guī)模的模型，基于 Transformer 的大語言模型，在超大規(guī)模的預(yù)訓(xùn)練數(shù)據(jù)上進(jìn)行訓(xùn)練得到。在 Qwen-7B 的基礎(chǔ)上，還使用對齊機(jī)制打造了基于大語言模型的 AI 助手 Qwen-7B-Chat。

獲得此次比賽一等獎(jiǎng)的“無聲優(yōu)化者（著）”團(tuán)隊(duì)，選擇使用 TensorRT-LLM 完成對 Qwen-7B-Chat 實(shí)現(xiàn)推理加速。在開發(fā)過程中，克服了 Hugging Face 轉(zhuǎn) Tensor-LLM、首次運(yùn)行報(bào)顯存分配錯(cuò)誤、模型 logits 無法對齊等挑戰(zhàn)與困難，最終在優(yōu)化效果上，吞吐量最高提升了 4.57 倍，生成速度最高提升了 5.56 倍。

而獲得此次賽事二等獎(jiǎng)的“NaN-emm”團(tuán)隊(duì)，在復(fù)賽階段，則選擇使用 TensorRT-LLM 實(shí)現(xiàn) RPTQ 量化。RPTQ 是一種新穎的基于重排序的量化方法，同時(shí)量化了權(quán)重與中間結(jié)果（W8A8），加速了計(jì)算。從最開始不熟悉任何 LLM 模型，到后續(xù)逐步學(xué)習(xí)和了解相關(guān)技術(shù)，“NaN-emm”團(tuán)隊(duì)啟用了GEMM plugin，GPT Attention plugin，完成了 VIT、Q-Former、Vicuna-7B 模型的轉(zhuǎn)化，最終通過 40 個(gè)測試數(shù)據(jù)，基于 Torch 框架推理耗時(shí) 145 秒，而經(jīng)過 TensorRT-LLM 優(yōu)化的推理引擎耗時(shí)為 115 秒。

本次大賽還涌現(xiàn)了一批優(yōu)秀的開發(fā)者，本屆參賽選手鄧順子不僅率領(lǐng)隊(duì)伍獲得了一等獎(jiǎng)，還收獲了本次比賽唯一的特別貢獻(xiàn)獎(jiǎng)。他表示，2022 年的 Hackathon 比賽是他首次接觸 TensorRT，這使他對模型推理加速產(chǎn)生了濃厚的興趣。盡管當(dāng)時(shí)未能進(jìn)入復(fù)賽，但那次經(jīng)歷讓他深感自身技能的不足。在上一次比賽中，他目睹了頂尖選手使用 FasterTransformer 在比賽中取得領(lǐng)先地位，這一經(jīng)歷讓他對 AI 技術(shù)有了更深入的理解和追求。隨后，他積極做 TensorRT 上的模型開發(fā)，特別是對 ChatGLM/Bloom 等新興模型進(jìn)行了優(yōu)化，感受到了 TensorRT 的強(qiáng)大。

今年，他再次參加了 NVIDIA TensorRT Hackathon 2023，利用 TensorRT-LLM 成功優(yōu)化了 QWen 大模型，實(shí)現(xiàn)了自己的夢想。他感謝主辦方給予的機(jī)會(huì)，團(tuán)隊(duì)的支持，以及所有參賽者的努力，他期待未來能與大家一起為 AI 技術(shù)的發(fā)展創(chuàng)造更多奇跡。

人工智能應(yīng)用場景創(chuàng)新日新月異，AI 模型的開發(fā)與部署也需要注入新的動(dòng)能。在此次賽事中，選手們基于 TensorRT 挖掘出更多的潛能和功能需求。未來，阿里云和 NVIDIA 還將持續(xù)為開發(fā)者和技術(shù)愛好者提供展示技能和創(chuàng)意的平臺(tái)，天池平臺(tái)將與更多優(yōu)秀的開發(fā)者一同推進(jìn) TensorRT 的發(fā)展，讓 AI 在 GPU 上更容易、更高效地部署。

*本文中圖片來源于阿里云，若您有任何疑問或需要使用本文中圖片，請聯(lián)系阿里云。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會(huì)議中心舉行，線上大會(huì)也將同期開放。點(diǎn)擊“閱讀原文”或掃描下方海報(bào)二維碼，關(guān)注更多會(huì)議及活動(dòng)信息。