從語言模型角度看，ChatGPT 的天花板非常低，但在觸及天花板之前，還有很多紅利。

ChatGPT在產(chǎn)業(yè)界掀起商業(yè)化與資本狂潮的同時，也給自然語言處理（NLP）研究界拋出了許多問題，NLP正在重新成為最熱的研究領(lǐng)域之一，但也在面臨以ChatGPT為代表的大規(guī)模預(yù)訓(xùn)練語言模型帶來的沖擊，ChatGPT將如何重塑NLP技術(shù)？NLP的下一步要如何走？

在2月24日深圳人才研修院由鵬城實驗室主辦的第四屆OpenI/O啟智開發(fā)者大會上，張民教授做了題為《語言智能與機器翻譯》的主題演講，對這一問題展開了深刻的思考。

張民教授在1991年至1997年于哈爾濱工業(yè)大學(xué)先后獲學(xué)士、碩士和博士學(xué)位，長期從事自然語言處理、機器翻譯和人工智能研究。在這次演講中他談到ChatGPT背后的NLP技術(shù)，他認(rèn)為ChatGPT是一個技術(shù)、數(shù)據(jù)、算力和工程架構(gòu)相結(jié)合的復(fù)雜系統(tǒng)，它的能力來自于基礎(chǔ)模型、指令學(xué)習(xí)和強化學(xué)習(xí)。NLP人要有復(fù)雜系統(tǒng)的觀念。

在他看來，ChatGPT給NLP研究者帶來的不是威脅，而是為NLP提供了新機會、新研究范式，可更好地解決NLP問題，同時擴大了NLP研究領(lǐng)域，為NLP領(lǐng)域提出了更多待解決的命題，如研究新一代語言大模型、保證模型的可信與安全、提高模型的復(fù)雜推理能力和可解釋性、增強模型對人類意志的學(xué)習(xí)、發(fā)展多模態(tài)大模型等等。

以下是張民教授本次主題演講的原文，AI科技評論做了不改變原意的編輯：

1

ChatGPT：NLP 技術(shù)的一大步

打開了通用AI的大門

在講這次報告的內(nèi)容之前，我先就ChatGPT談幾個觀點。

第一，要高度認(rèn)可、擁抱、跟蹤而不是跟風(fēng)跨時代的以ChatGPT為代表的新一代NLP/AI技術(shù)。

第二，跟蹤之后，要在OpenAI的這個大模型基礎(chǔ)上做創(chuàng)新性研究。很多人擔(dān)心，在大模型的時代，NLP是不是不需要再做了，其實完全不是，我們要做的事情更多，而且極多。

大家想一下我們的人腦是怎么學(xué)習(xí)語言的，3歲小孩的語言能力已經(jīng)很強了，但人腦只有5%的神經(jīng)元被激活進行語言相關(guān)的活動，小孩是怎么做到舉一反三的？我們?nèi)祟悓W(xué)語言是真正去理解，自頂向下和自底向上相結(jié)合的學(xué)習(xí)方式，具有演繹、歸納、推理、聯(lián)想、舉一反三的能力。而ChatGPT是自底向上學(xué)習(xí)。所以未來的語言模型一定不是ChatGPT這個樣子。

本次報告要講的，是我覺得未來5至10年甚至20年以ChatGPT為代表的NLP要解決的問題。先講什么是ChatGPT，再講什么是語言模型、ChatGPT能給NLP什么啟發(fā)。

首先來講什么是ChatGPT。第一點，ChatGPT做的事就是使機器像人一樣與人對話、交流。自然語言是人類交流最方便、最重要的媒介，語言是用來描述知識和傳承文化的工具。因此，ChatGPT很快就被大眾迅速接受，所以說ChatGPT是人投票投出來的，這也是ChatGPT能如此之火的一個很重要的原因。

ChatGPT的本質(zhì)是大規(guī)模預(yù)訓(xùn)練語言模型，是一個統(tǒng)一的、極簡的大模型，這是第二點。

第三個關(guān)鍵點，就是ChatGPT做的是一個NLP問題，但是大家一定要意識到它是一個技術(shù)+數(shù)據(jù)+算力+工程結(jié)構(gòu)的復(fù)雜系統(tǒng)。

經(jīng)常有人問我，ChatGPT帶給我們的經(jīng)驗是什么？我通俗地講，自然語言處理干三件事：讓機器聽懂人話（理解）、講人話（生成）、干人事（應(yīng)用）。相應(yīng)地，ChatGPT的驚艷之處是什么？第一，非常強的語言理解能力和生成能力，理解人類的意圖，然后侃侃而談，娓娓道來；第二，它能把倫理、道德等方面的不當(dāng)內(nèi)容去掉，并可拒絕回答；第三，它使用了三項技術(shù)，包括表示學(xué)習(xí)、注意力機制和學(xué)習(xí)人類意志，沒有這些技術(shù)就沒有大模型，更沒有ChatGPT。

非嚴(yán)格講，“學(xué)習(xí)人類意志”是ChatGPT這類模型所獨有的，這個說法聽起來很高大上，其實就是通過算法調(diào)整模型參數(shù)，進而讓機器知道人到底想要機器做什么、怎么能干好。

ChatGPT的理論基礎(chǔ)是什么？就是從語料當(dāng)中學(xué)東西。語料數(shù)據(jù)里面能蘊涵多少知識，ChatGPT最多就能擁有多少知識。從這個角度看，ChatGPT因此也是一個知識工程。所以語料庫語言學(xué)、認(rèn)知語言學(xué)和計算語言學(xué)是ChatGPT的語言學(xué)理論基礎(chǔ)。如果你相信語言能夠表達知識，那么ChatGPT就能學(xué)會其中的知識。

所以我們對ChatGPT的一個評價是：NLP技術(shù)的一大步，開啟了AGI（通用人工智能）的一扇門。

2ChatGPT 背后的語言模型

只要上過中學(xué)、學(xué)過中文或英文，大家就都知道，語言模型包括詞、短語、句法結(jié)構(gòu)、語義和篇章等不同層面。從另外一個角度講，語言模型涵蓋很多種表示方法，比如產(chǎn)生式、邏輯、謂詞、框架等等。從知識表述的角度看，語言模型則包括規(guī)則、統(tǒng)計和神經(jīng)網(wǎng)絡(luò)的方法。

抽象講，語言模型是計算機表示和處理自然語言的數(shù)學(xué)模型。語言模型是一個單純的、統(tǒng)一的、抽象的形式化系統(tǒng)，自然語言經(jīng)過語言模型的描述，就能被計算機處理了，因此語言模型對于自然語言處理極其重要。

那么ChatGPT所用的語言模型是什么？它的語言模型其實早在上世紀(jì)七八十年代就有了，即當(dāng)時語音識別領(lǐng)域最常用的N-gram語言模型。ChatGPT是一種基于N-gram的生成式語言模型。比如，在一個句子中，第二個詞的概率以第一個詞為基礎(chǔ)，第三個詞的概率以前兩個詞為基礎(chǔ)，如此類推。公式極其簡單，ChatGPT所干的唯一一件事，就是學(xué)一堆神經(jīng)網(wǎng)絡(luò)參數(shù)，給定前N個詞，預(yù)測下一個詞是什么。比如“Where are we （going）”這個句子，ChatGPT會對所有可能的詞的概率進行從低到高的排序，根據(jù)它的模型預(yù)測出第四個詞是going的概率最大。

大家想一想，為什么只做這一件事就能夠?qū)崿F(xiàn)復(fù)雜對話？只是如此簡單地預(yù)測下一個詞，為何它就能這么驚艷，能夠?qū)懳恼隆υ挕?a href="http://www.asorrir.com/v/tag/1315/" target="_blank">編程序、制表等等？有一個經(jīng)典的“猴子打字機悖論”，如果你給一個猴子無限長的時間，讓它在鍵盤上敲打，它就能在某個時間點寫出一部莎士比亞全集。這是沒錯的，從數(shù)學(xué)的角度講一定能實現(xiàn)。

ChatGPT就相當(dāng)于一只猴子，把詞隨意地組合起來，但ChatGPT的好處是什么？猴子需要無限長的時間，它也并不知道打出哪個字最好，而ChatGPT有非常強的預(yù)測下一個詞的能力，只要給它上文，它就能對下一個詞進行精準(zhǔn)預(yù)測。ChatGPT寫一篇論文的時候，給人感覺是一氣呵成，實際上這時候它絕對不是簡單地給定前一個N個詞預(yù)測下一個詞，而是已經(jīng)隱含在語言模型中地編碼了這篇文章的結(jié)構(gòu)。寫一篇學(xué)術(shù)論文一定要布局好結(jié)構(gòu)，ChatGPT就是根據(jù)這個布局來工作的。ChatGPT最擅長的就是寫作，侃侃而談，“編故事”。

那么ChatGPT的原理到底是什么？有三個方面：基礎(chǔ)模型，指令學(xué)習(xí)，強化學(xué)習(xí)。

基礎(chǔ)模型使ChatGPT具備強大的能力。有了能力就是有了力氣，但有了力氣還不知道到底能干什么，指令學(xué)習(xí)就是讓模型知道干什么，強化學(xué)習(xí)則是讓模型干得更好。還有一個人類反饋，即獎勵模型，是為了強化學(xué)習(xí)用的，用獎勵模型去做強化學(xué)習(xí)，希望ChatGPT做到跟人類一樣、符合人類的意志。就像高文老師講的，ChatGPT太討好人類，表面上看是這樣，但其實我覺得問題在于訓(xùn)練數(shù)據(jù)、獎勵模型和強化學(xué)習(xí)的導(dǎo)向以及倫理道德的因素，導(dǎo)致它太像人類。

ChatGPT的核心技術(shù)有兩點，一個是基礎(chǔ)模型，一個是對基礎(chǔ)模型的人類意志對齊微調(diào)。至少從交互的角度看，微調(diào)是非常有效的。微調(diào)能做到什么效果？從交互的角度講，它能使原本13B的模型性能達到175B模型的水平，提高10倍。而從知識的角度講，13B的模型知識貧瘠，講得再花言巧語也沒有用。

3大模型時代，NLP 怎么做？

目前來看，ChatGPT不能干的、干錯的，比它能干的要多得多。但是大家要堅信一點，ChatGPT技術(shù)剛剛出現(xiàn)，那些不能干的很多問題可以很快解決。

同時，我們也應(yīng)該看到ChatGPT有它的天花板，它確實是有很多問題，說一千道一萬，ChatGPT本身模型能力有限，比如會出現(xiàn)張冠李戴的問題。像對于“1+1=2”，ChatGPT不是用計算器去算的，而是利用模型去預(yù)測1+1等于幾，2出現(xiàn)的概率大，所以它認(rèn)為是2。如果你賦予ChatGPT計算能力，那么所有數(shù)字四則運算問題它都會。

我們應(yīng)該看到，ChatGPT的天花板非常低，但是在到達天花板之前，我們有很多紅利。科學(xué)的進步畢竟是波浪式的。

再來談一談ChatGPT與語言智能和機器翻譯。這個方向我已經(jīng)做了幾十年了，但是我覺得機器翻譯是最容易被ChatGPT顛覆的，一定是。人類做翻譯的時候經(jīng)過語言理解和生成的過程，ChatGPT恰恰具有很強的語言理解和生成能力。目前機器翻譯模型嚴(yán)格依賴雙語數(shù)據(jù)，把機器翻譯看做是一個映射過程，而不是理解和生成過程。目前機器翻譯模型面臨很多難以解決的問題，首先是雙語數(shù)據(jù)少，還有準(zhǔn)確性、篇章、指代、低資源領(lǐng)域和語種、噪聲等等問題。這些問題理論和技術(shù)上都可以被大模型很好解決。

再回答一下學(xué)術(shù)界普遍關(guān)心的問題，在大模型的時代怎么去做NLP？我總結(jié)了12個問題，任何一個問題解決了我認(rèn)為都具有跨時代的意義。

一、新一代語言模型。Masked LM and GLM建模能力強，但模型的描述能力非常有限，理論上幾乎是所有LM中描述能力最弱的模型（除了BOW模型）。下一代可計算性更強、描述能力更強的語言模型是什么？至少不僅僅具有強大生成能力。

二、大模型時代的自然語言的深度理解（NLU）。至少從現(xiàn)在開始，所有的自然語言處理任務(wù)都很難繞開大模型。基于連接主義的符號主義方法應(yīng)該是一個趨勢。

三、可信NLP。模型輸出結(jié)果可信、可驗真。

四、安全可靠NLP。價值觀、道德、政治、隱私、倫理等。

五、具有復(fù)雜推理能力和可解釋NLP。連接主義和符號主義相結(jié)合的方法。

六、知識建模、獲取和使用。模型直接融入結(jié)構(gòu)化知識，或者作為功能插件。

七、具有增量學(xué)習(xí)、持續(xù)學(xué)習(xí)、人在回路能力的NLP。

八、小模型、模型編輯、領(lǐng)域適應(yīng)、領(lǐng)域模型、面向特定應(yīng)用和任務(wù)的模型、人類快速可干預(yù)。

九、人類意志的學(xué)習(xí)和對齊（物理、人類系統(tǒng)和信息智能社會的對齊）。

十、NLP引領(lǐng)的多模態(tài)大模型。自然語言模態(tài)偏向認(rèn)知，而其他模態(tài)偏向感知。除了NLP大模型，多模態(tài)大模型更應(yīng)該以NLP為引領(lǐng)或者基礎(chǔ)。

十一、NLP大工程和復(fù)雜系統(tǒng)的理念和認(rèn)知：算法模型、算力、數(shù)據(jù)、系統(tǒng)工程。

十二、開源、開放、共享、產(chǎn)業(yè)、人才、資本、政府、社會……

最后總結(jié)一下，一是非常感謝表示學(xué)習(xí)，有了它之后NLP從離散數(shù)學(xué)模型進入連續(xù)數(shù)學(xué)模型時代，得到強大的數(shù)學(xué)工具的支持，比如可導(dǎo)、可微、神經(jīng)網(wǎng)絡(luò)等任意連續(xù)數(shù)學(xué)函數(shù)；二是注意力和人機對齊機制，注意力擬合NLP的上下文。三是大，模型大、參數(shù)多、數(shù)據(jù)量大，由量變產(chǎn)生質(zhì)變，涌現(xiàn)出各種能力。但這些才剛剛開始，成績多，問題更多，我們可做的事情極多。下一代模型的突破將加速發(fā)展，真正邁向通用人工智能。我們也期待下一代計算機能夠解決算力問題。學(xué)、產(chǎn)、研、用、資、政，大家要一起來做。

審核編輯 ：李倩