大語言模型無損壓縮方面超越PNG和FLAC
Google DeepMind 和 Meta 的研究人員發表論文《Language Modeling Is Compression》，他們發現 DeepMind 的大語言模型 Chinchilla 70B 在圖像和音頻的無損壓縮上超過了 PNG 和 FLAC。
論文提到，Chinchilla 70B 能將 ImageNet 圖像數據庫中的圖像無損壓縮到原始大小 43.4%，超過了 PNG 算法的 58.5%。
Chinchilla 能將 LibriSpeech 音頻數據集中的樣本無損壓縮到原始大小 16.4%，超過 FLAC 算法的 30.3%。
據介紹，Chinchilla 70B 主要是訓練用于處理文本，但它在壓縮其它類型的數據集上的效果也表現優異，甚至優于專門的算法。
下面的例子比較了 gzip 和 Chinchilla 在示例文本上的壓縮效果?？梢钥吹?，gzip 的輸出沒有可讀性。
編輯：黃飛
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
無損壓縮
+關注
關注
0文章
12瀏覽量
8506 -
FLAC
+關注
關注
0文章
4瀏覽量
8606 -
png
+關注
關注
0文章
14瀏覽量
4543 -
大模型
+關注
關注
2文章
3020瀏覽量
3813
原文標題：大模型在無損壓縮方面超越PNG和FLAC
文章出處：【微信號：OSC開源社區，微信公眾號：OSC開源社區】歡迎添加關注！文章轉載請注明出處。
發布評論請先 登錄
相關推薦
熱點推薦
LZO Data Compression,高性能LZO無損數據壓縮加速器介紹，FPGA&ASIC
LZOAccel-CLZO Data Compression Core/無損數據壓縮IP CoreLZOAccel-C是一個無損數據壓縮引擎的FPGA硬件實現，兼容LZO 2.10標準
發表于 01-24 23:53
大語言模型開發語言是什么
在人工智能領域，大語言模型（Large Language Models, LLMs）背后，離不開高效的開發語言和工具的支持。下面，AI部落小編為您介紹大語言
【BearPi-Pico H3863星閃開發板體驗連載】LZO壓縮算法移植
：無損壓縮算法和有損壓縮算法。
壓縮算法在無線通信中的應用可以顯著提高數據傳輸效率和降低能耗，尤其是在資源受限的無線通信環境中。選擇合適的壓縮算法對于優化無線傳輸性能至關重要。
二、L
發表于 11-10 21:45
大語言模型如何開發
大語言模型的開發是一個復雜且細致的過程，涵蓋了數據準備、模型架構設計、訓練、微調和部署等多個階段。以下是對大語言模型開發步驟的介紹，由AI部
音頻信號的無損壓縮編碼是什么
，如WAV、FLAC、APE等。 1. 音頻信號的基本概念 在討論無損壓縮編碼之前，我們需要了解一些基本的音頻信號概念。 1.1 音頻信號的定義 音頻信號是描述聲音波形的電信號。它可以通過模擬或數字方式表示。在數字音頻中，音頻信號通常
數字音頻技術的技術特點
更好地保留聲音的原始質量。 無損壓縮：數字音頻技術可以使用無損壓縮算法，如FLAC（Free Lossless Audio Codec）和ALAC（Apple Lossless Audio Codec），在不損失音質的情況下減小
大語言模型的預訓練
隨著人工智能技術的飛速發展，自然語言處理（NLP）作為人工智能領域的一個重要分支，取得了顯著的進步。其中，大語言模型（Large Language Model, LLM）憑借其強大的語言
如何加速大語言模型推理
隨著人工智能技術的飛速發展，大語言模型（LLM）已成為自然語言處理領域的核心工具，廣泛應用于智能客服、文本生成、機器翻譯等多個場景。然而，大語言模型
大語言模型(LLM)快速理解
自2022年，ChatGPT發布之后，大語言模型（LargeLanguageModel），簡稱LLM掀起了一波狂潮。作為學習理解LLM的開始，先來整體理解一下大語言模型。一、發展歷史大
名單公布！【書籍評測活動NO.34】大語言模型應用指南：以ChatGPT為起點，從入門到精通的AI實踐教程
。另一方面，深入解析大語言模型的尺度定律，并嘗試從無損壓縮的角度來解析大語言模型具備智能的原因，
發表于 06-03 11:39
工商網監
評論