大語言模型推理的改進

LLM 的發展仍保持著驚人的速度。盡管現有的 LLM 已經具備強大的功能，但通過 OpenVINO 的優化和推理加速，可以對這些復雜模型的執行進行精煉，實現更快、更高效的處理，減少計算開銷并最大限度發揮硬件潛力，這將直接導致 LLM 實現更高的吞吐量和更低的延遲。

通過采用壓縮嵌入實現額外優化，有效地縮減了 LLM 的編譯耗時與內存占用。與此同時，基于英特爾銳炫GPU，以及英特爾高級矩陣擴展（Intel AMX）的第4代和第5代英特爾至強平臺之上，LLM 的第一個 token 處理性能得到了顯著提升。

通過 oneDNN 可實現更好的 LLM 壓縮與性能提升。如今，經過量化或壓縮后的 INT4 和 INT8 精度的 LLM 可在英特爾銳炫GPU 上得到支持。在搭載集成 GPU 的英特爾酷睿Ultra 處理器上，針對部分小型 GenAI 模型顯著減少了內存消耗。

此外，現在可以在 PyTorch 模型進行訓練后量化之后，對其進行微調，以提高模型精度并簡化從訓練后量化過渡到訓練感知量化的過程。

已添加演示示例：https://github.com/openvinotoolkit/nncf/blob/develop/examples/quantization_aware_training/torch/resnet18/README.md

更多生成式 AI 覆蓋范圍和框架集成

進一步深入了解搭載 OpenVINO 的生成式 AI，該新版本拓寬了生成式AI的邊界，使其能夠覆蓋更廣泛的神經網絡架構與應用場景。

針對最新發布的最先進的 Llama 3 和 Phi3 模型， OpenVINO 對其實現了支持和優化。

具備混合專家（MoE）架構的 LLM 模型 Mixtral 以及 URLNet 模型，均針對英特爾至強處理器進行了性能提升優化。

而文生圖模型 Stable Diffusion 1.5，以及 LLMs 模型 ChatGLM3-6b和Qwen-7B，則專為搭載了集成 GPU 的英特爾酷睿Ultra 處理器進行了推理速度的改進和優化。

現在，OpenVINO 已支持 Falcon-7B-Instruct，這是一款即用型、具備優秀性能指標的生成式AI大語言模型，適用于聊天與指令場景。

新版本支持的其他模型包括：

Yolo V9、Yolo V8 Oriented Bounding Box Detection （OOB）、Stable Diffusion in Keras、MoblieCLIP、RMBG-v1.4 Background Removal、Magika、TripoSR、AnimateAnyone、LLaVA-Next 以及帶有 OpenVINO 和 LangChain 的 RAG 系統。

我們還在 OpenVINO Notebooks 存儲庫中提供了 Jupyter Notebook 示例。

新平臺的更改和現有平臺的增強

除了 PyPI 上的主 OpenVINO 軟件包外，英特爾酷睿Ultra 處理器的預覽 NPU 插件現在在 OpenVINO 開源 GitHub 存儲庫中可用。

現在，可以通過 npm 存儲庫更輕松地訪問 JavaScript API，使 JavaScript 開發人員能夠無縫訪問 OpenVINO API。我們擴展了文檔，可幫助開發人員將他們的 JavaScript 應用程序與 OpenVINO 集成。

現在，默認情況下已在 ARM 處理器上為卷積神經網絡（CNN）啟用 FP16 推理。在多種 ARM 設備上，已顯著提升了眾多模型的性能。已實現與 CPU 架構無關的構建，旨在為不同 ARM 設備提供統一的二進制分發。

新增和更新的 Notebook

OpenVINO Notebooks 仍然是非常有價值的資源，用于展示如何利用 OpenVINO 在人工智能領域實現重要進展。最近，我們對 OpenVINO notebooks 存儲庫做了一些改動，包括將默認分支從 'main' 更改為 'latest'，以及對 "notebooks" 文件夾內 notebook 的命名結構進行了改進。

審核編輯：劉清