騰訊云計算加速套件 TACO Kit 包含 TACO Train 和 TACO Infer 兩個 AI 組件。基于 GPU 異構(gòu)計算平臺針對業(yè)界 AI 訓(xùn)練和推理任務(wù)進行了全方位的加速優(yōu)化。TACO Kit 不僅大大提升了 GPU 集群上多機多卡分布式訓(xùn)練的效率，對于 GPU 上的模型推理也通過集成 NVIDIA TensorRT 帶來了顯著加速。雙方團隊就 GPU 推理加速這一話題將進行持續(xù)深入的合作，推出定制化的優(yōu)化方案，為業(yè)界客戶帶來顯著的性能收益。

騰訊云計算加速套件TACO Kit（Tencent Cloud Accelerated Computing Optimization Kit）是一種異構(gòu)計算加速軟件服務(wù)，具備領(lǐng)先的 GPU 共享技術(shù)和業(yè)界唯一的 GPU 在離線混部能力，搭配騰訊自研的軟硬件協(xié)同優(yōu)化組件和硬件廠商特有優(yōu)化方案，支持物理機、云服務(wù)器、容器等產(chǎn)品的計算加速、圖形渲染、視頻轉(zhuǎn)碼各個應(yīng)用場景，幫助用戶實現(xiàn)全方位全場景的降本增效。

其中，AI 加速引擎 TACO Train 和 TACO Infer 是騰訊云虛擬化團隊依托云帆團隊，立足于騰訊內(nèi)部豐富的 AI 業(yè)務(wù)場景，深耕訓(xùn)練框架優(yōu)化、分布式框架優(yōu)化、網(wǎng)絡(luò)通信優(yōu)化、推理性能優(yōu)化等關(guān)鍵技術(shù)，攜手打造的一整套 AI 加速方案。為了更好的服務(wù)用戶，騰訊云決定將內(nèi)部深度優(yōu)化的加速方案免費提供給公有云用戶，助力廣大用戶提高 AI 產(chǎn)品迭代效率。

無論對于 AI 訓(xùn)練或 AI 推理，如何有效提升 AI 任務(wù)的性能，節(jié)省硬件資源成本，是業(yè)界持續(xù)追求的目標(biāo)。在訓(xùn)練方面，隨著 AI 模型規(guī)模的擴大及訓(xùn)練數(shù)據(jù)的增多，用戶對模型的迭代效率要求也隨之增長，單個 GPU 的算力已無法滿足大部分業(yè)務(wù)場景，使用單機多卡或多機多卡訓(xùn)練已成為趨勢。但用戶在部署分布式訓(xùn)練系統(tǒng)時，時常面臨著難以充分利用 GPU 資源、訓(xùn)練效率低下的問題，而分布式訓(xùn)練性能調(diào)優(yōu)卻是需要同時進行通信優(yōu)化、計算優(yōu)化的極其復(fù)雜的問題。

在推理方面，對多種多樣的工作負載進行推理加速也是業(yè)界共同的需求。這需要考慮如何對不同框架訓(xùn)練的模型進行統(tǒng)一的高效部署；如何整合各類加速軟件和技術(shù)，對接不同模型和業(yè)務(wù)場景。

在訓(xùn)練方面，TACO Train 推出 Tencent TensorFlow（以下簡稱 TTF）, 針對特定業(yè)務(wù)場景的 XLA，Grappler 圖優(yōu)化，以及自適應(yīng)編譯框架解決冗余編譯的問題，并對 TensorFlow 1.15 添加了對CUDA 11的支持，讓用戶可以使用NVIDIA A100 Tensor Core GPU來進行模型訓(xùn)練。另外，TACO Train 推出 LightCC 這一基于 Horovod 深度優(yōu)化的分布式訓(xùn)練框架，在保留了原生 Horovod 的易用性上，增加了性能更好的通信方式。相比 Horovod，LightCC 能夠?qū)?2D AllReduce 充分利用通信帶寬；在 GPU 上訓(xùn)練時提供高效的梯度融合方式；并使用 TOPK 壓縮通信，降低通信量，提高傳輸效率。最后，騰訊云自研了用戶態(tài)網(wǎng)絡(luò)協(xié)議棧 HARP，可以通過 Plug-in 的方式集成到NVIDIA NCCL中，無需任何業(yè)務(wù)改動，加速云上分布式訓(xùn)練性能，從而解決了目前普遍使用的內(nèi)核網(wǎng)絡(luò)協(xié)議棧存在著一些必要的開銷導(dǎo)致其不能很好地利用高速網(wǎng)絡(luò)設(shè)備的問題。

在推理方面，TACO Infer 通過跨平臺統(tǒng)一的優(yōu)化接口賦能用戶，讓渴望加速計算的用戶輕松駕馭騰訊云上豐富的異構(gòu)算力。TACO Infer 針對 GPU 推理任務(wù)，集成了NVIDIA TensorRT，利用其極致的模型優(yōu)化能力，使推理過程能夠達到令人滿意的性能。此外，TACO 也將自定義的高性能 kernel 實現(xiàn)與TensorRT相結(jié)合，極大地提升用戶的推理效率。

TACO Kit 針對 GPU 的訓(xùn)練優(yōu)化，為諸多業(yè)務(wù)帶來了顯著的性能提升。在某電商平臺推薦業(yè)務(wù)Wide & Deep 模型訓(xùn)練任務(wù)中，TACO Train 提供的方案通過定制化高性能 GPU 算子，使延遲從 14.3ms 下降至 2.8ms；整體訓(xùn)練性能提升 43%，成本下降 11%；在另一電商推薦場景 MMoE 模型的訓(xùn)練任務(wù)中，TACO Train 提供的訓(xùn)練方案，在NVIDIA V100 Tensor Core GPU集群上，使計算速度性價比相比于 CPU 集群提升了 3.2 倍，收斂速度性價比相比于 CPU 集群提升了 24.3 倍。

目前，騰訊云 TACO Kit 與 NVIDIA 雙方團隊仍持續(xù)為 AI 推理加速進行合作。未來也將針對一些常見的業(yè)務(wù)模型，圍繞TensorRT進行聯(lián)合優(yōu)化，將模型推理的性能推向更高的水準(zhǔn)，為業(yè)界有推理加速需求的客戶提供一站式的優(yōu)化方案。

審核編輯：湯梓紅