前言

借助移動(dòng)互聯(lián)網(wǎng)技術(shù)、機(jī)器學(xué)習(xí)領(lǐng)域深度學(xué)習(xí)技術(shù)的發(fā)展，以及大數(shù)據(jù)語料的積累，自然語言處理技術(shù)發(fā)生了突飛猛進(jìn)的變化。越來越多的科技巨頭開始看到了這塊潛在的“大蛋糕”中蘊(yùn)藏的價(jià)值，通過招兵買馬、合作、并購的方式、拓展自己在自然語言處理研究領(lǐng)域的業(yè)務(wù)范圍，進(jìn)一步提升自然語言處理在整個(gè)公司中的主導(dǎo)地位。與此同時(shí)，也不斷有新興的科技公司涌現(xiàn)，提出自己的在智能交互、語音識(shí)別、機(jī)器翻譯等方面的解決方案，試圖在自然語言處理這片廣闊的藍(lán)海上劃分自己的領(lǐng)土、樹立自己的標(biāo)桿。

人工智能已經(jīng)是大部分普通人都耳熟能詳?shù)脑~匯，而人們對(duì)自然語言處理技術(shù)的了解程度卻大部分還停留在表面階段。本文通過回顧自然語言處理的發(fā)展歷史，解讀2015年整個(gè)自然語言處理行業(yè)的重大變化，進(jìn)而提出新的時(shí)代下自然語言處理技術(shù)的發(fā)展瓶頸、以及對(duì)于自然語言處理所提出的挑戰(zhàn)、自然語言處理未來的發(fā)展方向。

一、追本溯源——自然語言處理技術(shù)發(fā)展歷程

自人工智能在1956年達(dá)特茅斯會(huì)議上首次提出，讓機(jī)器完成更多的智力工作成為科學(xué)家努力的方向。其中一個(gè)重要的目標(biāo)就是希望機(jī)器能夠與人類進(jìn)行更加自然高效的交流，希望機(jī)器讀懂人類深?yuàn)W的語言，同時(shí)以一種我們習(xí)慣的方式進(jìn)行交互，而解決這個(gè)問題的關(guān)鍵技術(shù)就是自然語言處理。

尤其是近20年來，隨著互聯(lián)網(wǎng)的發(fā)展引發(fā)了對(duì)這一技術(shù)的強(qiáng)勁需求，這一技術(shù)在得到長(zhǎng)足發(fā)展的同時(shí)，也在有力地促進(jìn)互聯(lián)網(wǎng)核心能力的增強(qiáng)。比如，目前互聯(lián)網(wǎng)提供的一個(gè)基礎(chǔ)性能力是信息檢索。人們?cè)谒?a target="_blank">索引擎中輸入關(guān)鍵詞，就可以獲得相關(guān)信息。在20年前，互聯(lián)網(wǎng)剛開始發(fā)展的初期，給搜索引擎輸入“和服”，返回的結(jié)果中很可能包含不少生產(chǎn)、銷售“鞋子和服裝”的公司的信息。現(xiàn)在這種錯(cuò)誤已經(jīng)比較少了，而促進(jìn)其質(zhì)量不斷提升的一個(gè)核心就是采用了不斷改進(jìn)的自然語言理解技術(shù)。“互聯(lián)網(wǎng)”自然語言理解已經(jīng)成為互聯(lián)網(wǎng)發(fā)展的一個(gè)共識(shí)，并在不斷深化。

最近幾年，眾多科技巨頭正在這方面進(jìn)行布局。2013年谷歌以超過3000萬美元收購了新聞閱讀應(yīng)用開發(fā)商Wavii。Wavii擅長(zhǎng)自然語言處理技術(shù)，可以通過掃描互聯(lián)網(wǎng)發(fā)現(xiàn)新聞，并給出一句話摘要；微軟將自然語言處理技術(shù)應(yīng)用在了智能助手小冰、Cortana上，取得了不錯(cuò)的效果，通過機(jī)器翻譯使Skype具備了實(shí)時(shí)翻譯功能；自然語言處理技術(shù)是Facebook智能助手M背后的核心技術(shù)之一，其產(chǎn)品負(fù)責(zé)人稱“我們對(duì)M做的事情可以讓我們更好地理解自然語言處理。”國內(nèi)的科大訊飛在去年年底發(fā)布了自然語言處理云平臺(tái)，很早推出語音合成產(chǎn)品，在中文領(lǐng)域的自然語言處理和語音合成方面有著深厚積累。可見，早在前幾年，眾多科技巨頭和國內(nèi)IT廠商就已對(duì)自然語言處理這篇潛在的廣闊市場(chǎng)覬覦已久，紛紛開始摩拳擦掌，準(zhǔn)備將自然語言處理技術(shù)向公司的核心業(yè)務(wù)方向進(jìn)行轉(zhuǎn)移，針對(duì)業(yè)務(wù)線轉(zhuǎn)型、新產(chǎn)品提出來醞釀更大的動(dòng)作。

?

二、自然語言處理技術(shù)發(fā)展歷程——持續(xù)探索 穩(wěn)中前行

2015年是自然語言處理技術(shù)進(jìn)一步發(fā)展的一年。由于自然語言處理的主流技術(shù)主要是以統(tǒng)計(jì)機(jī)器學(xué)習(xí)為基礎(chǔ)的，因此這些技術(shù)的性能就依賴兩個(gè)因素：一是針對(duì)不同任務(wù)的統(tǒng)計(jì)模型和優(yōu)化算法，二是相應(yīng)的大規(guī)模語料庫。2015年得益于深度學(xué)習(xí)算法的快速進(jìn)展和大規(guī)模社交文本數(shù)據(jù)以及語料數(shù)據(jù)的不斷積累，自然語言處理技術(shù)有了飛躍式的發(fā)展。在這一年，各大廠商致力于解決語音識(shí)別、語義理解、智能交互、搜索優(yōu)化等領(lǐng)域更加復(fù)雜、困難的問題，持續(xù)不斷地對(duì)原有產(chǎn)品的算法、模型進(jìn)行優(yōu)化與革新。

在新產(chǎn)品方面，2015年帶給了我們太多的驚喜。高考期間，百度推出了小度機(jī)器人，無獨(dú)有偶，十月底，Rokid團(tuán)隊(duì)推出的Rokid機(jī)器人也與公眾見面。這些實(shí)體機(jī)器人不僅能用擬人的思維識(shí)別語義，嘗試與用戶建立起更深層、連續(xù)的溝通，還能模仿人的“思考”，先從海量互聯(lián)網(wǎng)內(nèi)容中提取信息，然后按人的思維邏輯對(duì)信息進(jìn)行推理分析和篩選，再得到答案。不僅如此，優(yōu)秀的實(shí)體機(jī)器人還能與智能家居設(shè)備深度融合，并接入音樂、新聞等內(nèi)容，還能給予攝像頭進(jìn)行手勢(shì)喚醒與遠(yuǎn)場(chǎng)識(shí)別。

2015年，遠(yuǎn)場(chǎng)語音識(shí)別技術(shù)突破了5米的瓶頸，大幅度改進(jìn)了語音交互的自由度，再次刷新業(yè)界期待。利用麥克風(fēng)陣列、回聲消除等技術(shù)將目標(biāo)說話人的聲音增強(qiáng)，并抑制/消除噪聲和回聲，由此進(jìn)行語音前端處理；在語音識(shí)別引擎，則針對(duì)麥克風(fēng)陣列處理后的數(shù)據(jù)進(jìn)行收集、訓(xùn)練，以使遠(yuǎn)場(chǎng)效果最優(yōu)化。目前國內(nèi)集成全新的4麥克風(fēng)陣列方案，利用麥克風(fēng)陣列的空域?yàn)V波特性——在目標(biāo)說話人方向形成拾音波束（BeamForming），抑制波束之外的噪聲；結(jié)合獨(dú)特的去混響算法，最大程度的吸收反射聲，達(dá)到去除混響的目的。其中，漢語語音識(shí)別技術(shù)也取得了重大突破：識(shí)別相對(duì)錯(cuò)誤率比現(xiàn)有技術(shù)降低15%以上，使?jié)h語安靜環(huán)境普通話語音識(shí)別的識(shí)別率接近97%。通過基于多層單向LSTM的漢語聲韻母整體建模技術(shù)，成功地把連接時(shí)序分類（CTC）訓(xùn)練技術(shù)嵌入到傳統(tǒng)的語音識(shí)別建模框架中，再結(jié)合語音識(shí)別領(lǐng)域的決策樹聚類、跨詞解碼和區(qū)分度訓(xùn)練等技術(shù)，大幅度提升線上語音識(shí)別產(chǎn)品性能，是一次框架式的創(chuàng)新。2015年，“字根嵌入”的提出，將“字根作為中文語言處置懲罰的最小單位進(jìn)行研究”，機(jī)器在處置懲罰中文分詞、短文本分類及網(wǎng)頁排序方面的效果大幅提升，可以有效促進(jìn)機(jī)器對(duì)用戶中文表意進(jìn)行深度學(xué)習(xí)，讓搜索引擎更加智慧、更“懂“用戶。隨著大數(shù)據(jù)技術(shù)和深度學(xué)習(xí)算法的不斷發(fā)展，2015年，基于數(shù)據(jù)驅(qū)動(dòng)的自然語言對(duì)話系統(tǒng)也為我們打開了新的思路：通過提出Deep Match CNN和Deep Match Tree兩種匹配模型以及Neural Responding Machine（NRM）對(duì)話生成模型，并深入挖掘大規(guī)模對(duì)話數(shù)據(jù)，很容易地構(gòu)建一個(gè)自動(dòng)生成對(duì)話系統(tǒng)，其準(zhǔn)確率相比傳統(tǒng)的機(jī)器翻譯模型由26%提高到76%，而且對(duì)話十分自然流暢。

2015年，許多廠商也紛紛開源了自己用于自然語言處理、機(jī)器學(xué)習(xí)的工具包和技術(shù)專利。Facebook人工智能研究院（FAIR）宣布開源了一組深度學(xué)習(xí)工具，這些工具主要是針對(duì)Torch機(jī)器學(xué)習(xí)框架的插件，包括iTorch、fbcunn、fbnn、fbcuda和fblualib。這些插件能夠在很大程度上提升深度學(xué)習(xí)的速度，并可用于計(jì)算機(jī)視覺和自然語言處理等場(chǎng)景。Torch已被Google、Twitter、Intel、AMD、NVIDIA等公司采用。Google、Microsoft和IBM分別發(fā)布并開源了自己的機(jī)器學(xué)習(xí)工具包TensorFlow、DMTK和SystemML。Google已將TensorFlow用于GMail（SmartReply）、搜索（RankBrain）、圖片（生成圖像分類模型--Inception Image Classification Model）、翻譯器（字符識(shí)別）等產(chǎn)品。DMTK其功能特點(diǎn)以及定位更傾向于自然語言處理方面，例如文本分類與聚類、話題識(shí)別以及情感分析等。SystemML則是IBM研發(fā)了超過十年的機(jī)器學(xué)習(xí)技術(shù)，沃森（Watson）在幾年前的大型活動(dòng)里就整合了很多SystemML的機(jī)器學(xué)習(xí)功能。語音識(shí)別知名廠商SoundHound.inc年底也開放了自己的“Houndify”平臺(tái)，通過與各大傳統(tǒng)行業(yè)廠商深入合作，集成各個(gè)方面的行業(yè)數(shù)據(jù)：如與Expedia.com合作，集成酒店、航班方面的語料數(shù)據(jù)；與Xignite合作，集成金融市場(chǎng)語料數(shù)據(jù)，意在通過語音“識(shí)別一切”，構(gòu)建更廣闊的識(shí)別平臺(tái)。?