女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

專訪NLP領(lǐng)域的華人新星——加州大學(xué)圣巴巴拉分校助理教授王威廉

電子工程師 ? 來源:未知 ? 作者:李倩 ? 2018-10-18 11:39 ? 次閱讀

自然語言處理(NLP)是一門集語言學(xué)、計(jì)算機(jī)科學(xué)、人工智能于一體的科學(xué),解決的是“讓機(jī)器可以理解自然語言”——這一到目前為止都還只是人類獨(dú)有的特權(quán),因此被譽(yù)為人工智能皇冠上的明珠。

近日,采訪到了 NLP 領(lǐng)域的華人新星——加州大學(xué)圣巴巴拉分校助理教授王威廉,向他請(qǐng)教了 NLP 領(lǐng)域最前沿的研究問題,以及 NLP 研究方向的一些建議。

關(guān)于王威廉:2009 年畢業(yè)于深圳大學(xué),隨后赴美留學(xué),并先后在哥倫比亞大學(xué)和卡耐基梅隆大學(xué)獲得碩士和博士學(xué)位。他的研究范圍包括統(tǒng)計(jì)關(guān)系學(xué)習(xí)、信息提取、社交媒體、語音和視覺等等。2016 年博士畢業(yè)之后,王威廉加盟加州大學(xué)圣巴巴拉分校。如今,王威廉已經(jīng)是該校 NLP 小組的負(fù)責(zé)人,同時(shí)也是計(jì)算機(jī)科學(xué)系的助理教授。近幾年來,王威廉在一些重要的 NLP/AI/ ML 等會(huì)議和期刊上發(fā)表了 60 多篇論文,并多次獲得知名學(xué)術(shù)會(huì)議的最佳論文獎(jiǎng)及提名。

1)您現(xiàn)在的主要研究領(lǐng)域是什么?有哪些最新進(jìn)展?

王威廉:我的主要研究領(lǐng)域現(xiàn)在有三個(gè):自然語言處理、機(jī)器學(xué)習(xí)、人工智能。

在自然語言處理領(lǐng)域,我們實(shí)驗(yàn)室主要關(guān)注的方向是信息抽取,社交媒體,語音、語言處理,以及語言與視覺方面的研究;

在機(jī)器學(xué)習(xí)領(lǐng)域,我們比較關(guān)注的是強(qiáng)化學(xué)習(xí)、對(duì)抗學(xué)習(xí)以及深度學(xué)習(xí)技術(shù)的突破;

在人工智能總體領(lǐng)域,我們對(duì)知識(shí)的表示、推理、知識(shí)圖譜非常關(guān)注。

我們最近的一些突破,比如發(fā)表在 EMNLP 2017 上 DeepPath 首先提出了用強(qiáng)化學(xué)習(xí)的方法去做知識(shí)圖譜上的推斷,這項(xiàng)工作取得了很大的關(guān)注。我們還有一些相關(guān)的工作,比如用變分推理的方法去進(jìn)一步提高知識(shí)圖譜路徑找尋的效率。

此外,我們還有不少在語言與視覺方面的嘗試,包括 video captioning,video storytelling,以及如何把深度強(qiáng)化學(xué)習(xí)技術(shù)與這些復(fù)雜的語言與視覺的技術(shù)相結(jié)合。我們嘗試了逆向的強(qiáng)化學(xué)習(xí),去學(xué)習(xí)生成文本描述的多樣性,主動(dòng)學(xué)習(xí)它的一些獎(jiǎng)勵(lì)函數(shù)。我們最近也做了一些 language grounding 的工作,比如教機(jī)器人根據(jù)語言與視覺的信息來完成路徑的找尋,到達(dá)目的地。同時(shí)我們也在社交媒體領(lǐng)域做了不少關(guān)于假新聞、仇恨言論檢測(cè)的工作。

2)NLP 領(lǐng)域目前有哪些突破?未來的研究難點(diǎn)有哪些?

王威廉:在 NLP 領(lǐng)域,實(shí)體標(biāo)注等工作的結(jié)果都非常好了,基本上都超過 90% 的準(zhǔn)確率?,F(xiàn)在的一些工作,包括大家很關(guān)心的閱讀理解,在 SQuAD 上面第一版的結(jié)果已經(jīng)非常好了。在未來,我認(rèn)為語言的生成還是一個(gè)很難的問題,就是如何去做一些可以控制的生成,如何保證語義的連貫性以及語法的正確性,這些都是在神經(jīng)網(wǎng)絡(luò)框架下難以做到的。

還有一個(gè)是推理的問題。我們?nèi)绾芜M(jìn)一步地在分類、在序列標(biāo)注等任務(wù)的基礎(chǔ)上設(shè)計(jì)一些算法以及機(jī)器學(xué)習(xí)的模型,然后讓機(jī)器能夠在一些復(fù)雜的任務(wù)上,尤其是一些推理的相關(guān)的任務(wù)上取得一些突破,這些還是相當(dāng)難的問題。

3)NLP 領(lǐng)域里比較流行的 SQuAD 數(shù)據(jù)集的局限性在哪?NLP 領(lǐng)域需要怎樣的數(shù)據(jù)集?以及怎樣的評(píng)價(jià)標(biāo)準(zhǔn)?

王威廉:它的局限性有幾個(gè),第一是數(shù)據(jù)量還不大,第二是機(jī)器做閱讀理解的時(shí)候其實(shí)并不需要完全理解這個(gè)問題,也不需要完全理解這個(gè)篇章,它可以用很簡(jiǎn)單的模式識(shí)別的方法去找 pattern。比如說這個(gè)問題里面的哪個(gè)詞和篇章里面的哪個(gè)詞比較匹配,然后來回答答案。所以它并不能真正地理解語言,不能很好地理解問題,遇到復(fù)雜的問題就回答不了。

NLP 領(lǐng)域需要更加復(fù)雜的數(shù)據(jù)集,比如說多個(gè)文本,需要在知識(shí)圖譜里做一些推斷,需要根據(jù)上下文不同的假設(shè)去做一些推測(cè),這樣的數(shù)據(jù)集可能會(huì)有更多的幫助。

評(píng)價(jià)標(biāo)準(zhǔn)是很多人在討論的一個(gè)話題,像 BLEU 等已經(jīng)用了一二十年了,它局限性非常大,比如說它不是通過語義的方法來做評(píng)價(jià),而是是通過詞之間的 overlap(重疊)做的一個(gè)評(píng)價(jià)標(biāo)準(zhǔn),所以它不能代替人類的評(píng)價(jià)。

4)Salesforce 開發(fā)了一個(gè)針對(duì)十大自然語言常見任務(wù)(問答、機(jī)器翻譯、摘要、自然語言推理、情感分析、語義角色標(biāo)注、關(guān)系抽取、任務(wù)驅(qū)動(dòng)多輪對(duì)話、數(shù)據(jù)庫(kù)查詢生成器和代詞消解)通用模型 decaNLP,這種通用模型有哪些優(yōu)缺點(diǎn)?

王威廉:個(gè)人認(rèn)為多任務(wù)學(xué)習(xí)、是非常有意思的一個(gè)方向。你可以看一下 decaNLP 的單項(xiàng)結(jié)果,確實(shí)是比各個(gè)單項(xiàng)的 SOTA 還是有一些距離的。總體來說,這是非常有意思的一個(gè)研究方向,但是在實(shí)際應(yīng)用中,每一個(gè)單項(xiàng)的成績(jī)比單項(xiàng)的 SOTA 還是有不小的距離。

5)基于 Attention 的網(wǎng)絡(luò)真的可以取代 RNN 及其變種嗎?為什么?

王威廉:不一定。RNN 及其變種確實(shí)有一些優(yōu)勢(shì),比如它能夠把握 非常準(zhǔn)確的本地語義關(guān)系,像LSTM 在 sequence tagging 等任務(wù)上還是能取得非常不錯(cuò)的結(jié)果。總體來說,Transformer 還是很有意思的研究角度,但是實(shí)際情況是,它并沒有在除了機(jī)器翻譯之外的 NLP 任務(wù)上面取得最好的結(jié)果。

6)強(qiáng)化學(xué)習(xí)和 GAN 現(xiàn)在非常熱門,但在 NLP 任務(wù)中又有很多限制,面對(duì)這種現(xiàn)狀,科研人員應(yīng)該怎么做?

王威廉:我覺得首先你要搞清楚為什么要用強(qiáng)化學(xué)習(xí)。在我看來,強(qiáng)化學(xué)習(xí)在 NLP 中可以做三件事情。第一件事情,你可以用它去做 learning to search,learning to rank,然后用強(qiáng)化學(xué)習(xí)作為解決傳統(tǒng)方法解決不了的問題的一種手段。第二件,我們發(fā)現(xiàn)在 reinforcedco-training 這個(gè)工作中,強(qiáng)化學(xué)習(xí)可以學(xué)習(xí)選擇數(shù)據(jù),然后我們可以用強(qiáng)化學(xué)習(xí)去做 denoiser(去噪)。此外,還可以用強(qiáng)化學(xué)習(xí)去優(yōu)化 BLEU Score,ROUGE Score,我們最近發(fā)表在 ACL 2018 上的工作也有用逆向強(qiáng)化學(xué)習(xí)去學(xué)它的評(píng)價(jià)標(biāo)準(zhǔn)。總之,還是有不少值得研究的空間。

GAN 更是一個(gè)很有意思的方向。GAN 在 CV 領(lǐng)域取得了很好的結(jié)果,在 NLP 領(lǐng)域,由于語言是離散的,所以大家還在研究如何通過更好地設(shè)計(jì)對(duì)抗網(wǎng)絡(luò),讓判別器可以去反向傳播錯(cuò)誤,從而更好地更新生成器。我們?cè)谪?fù)例生成與遠(yuǎn)程監(jiān)督去噪上也做了一些嘗試,包括今年的 KBGAN 和 DSGAN 。

總體來說,首先要搞清楚你為什么要做這個(gè)事情?你到底要做什么事情?強(qiáng)化學(xué)習(xí)跟 GAN 適不適合這個(gè)任務(wù)?搞清楚了這幾點(diǎn),然后才有可能使得你的 NLP 的結(jié)果得到提升。如果搞不清楚就盲目應(yīng)用 GAN 和強(qiáng)化學(xué)習(xí),是是很難在你的任務(wù)中取得很好的結(jié)果的。

7)對(duì)于科研人員來說,NLP 里哪些研究方向更容易取得突破?

王威廉:自然語言研究有兩塊,一個(gè)是生成,一個(gè)是理解。生成和理解這兩塊其實(shí)都非常重要,比較難說哪一塊更容易取得突破。

但是生成的任務(wù)肯定是非常難的,因?yàn)槭紫仍~匯量是無窮無盡的,然后 latent space 和詞的映射關(guān)系也是非常難做的,所以生成會(huì)是比較難一點(diǎn)。

至于理解任務(wù),要看你做到哪一步了。如果你是做文本分類這些簡(jiǎn)單一點(diǎn)的 任務(wù),當(dāng)然也有難一點(diǎn)的,比如說結(jié)構(gòu)化預(yù)測(cè),sequence tagging 會(huì)更難一點(diǎn),那最難的可能就是比如說句法樹的生成,比如依存句法分析或者是語義分析。

8)面對(duì)目前 NLP 領(lǐng)域的研究困境,以往我們會(huì)在數(shù)據(jù)、ML 或 DL 等方法上做創(chuàng)新或改變,現(xiàn)在是否依然是這個(gè)思路?是否需要懂得語言學(xué)知識(shí)或者融合其他學(xué)科知識(shí)?

王威廉:在早些年,大家做 NLP 研究可能是研究計(jì)算語言學(xué),就是怎樣用計(jì)算的方法去更好地理解語言學(xué)?,F(xiàn)在基本上已經(jīng)變了,過去 10-15年,NLP 基本上是計(jì)算機(jī)科學(xué)家為主,他們可能會(huì)關(guān)心一些更加實(shí)用的任務(wù),比如說機(jī)器翻譯,對(duì)話系統(tǒng)。大家可以看到,很多的 NAACL 、EMNLP 論文,往往是在數(shù)據(jù)、任務(wù)或者是機(jī)器學(xué)習(xí)的方法上做一些創(chuàng)新。

這其實(shí)也跟計(jì)算機(jī)學(xué)科有關(guān),因?yàn)橛?jì)算機(jī)學(xué)科本身喜歡在算法層面上做創(chuàng)新。至于需不需要語言學(xué)知識(shí)?在深度學(xué)習(xí)之前,大家覺得是需要的,有了深度學(xué)習(xí)之后,大家覺得可能不需要。但是現(xiàn)在大家又發(fā)現(xiàn),像 Seq2Seq 模型的結(jié)果非常差,語義連貫性、語法正確性也都沒有保證,而大家又想把結(jié)構(gòu)融合到深度學(xué)習(xí)模型里。所以我個(gè)人認(rèn)為還是需要掌握一些語言學(xué)知識(shí),至少對(duì)你學(xué)習(xí)和研究的語言要有一些基本的知識(shí),而其他學(xué)科的知識(shí),根據(jù)你不同的應(yīng)用也是非常重要的。比如說你做計(jì)算社會(huì)科學(xué),你當(dāng)然是需要知道一些社會(huì)科學(xué),包括心理學(xué)、社會(huì)學(xué)一些相關(guān)的知識(shí),然后才能更好地讓你的研究取得突破。

9)近幾年中國(guó)在 NLP 領(lǐng)域的發(fā)展?fàn)顩r?

王威廉:最近幾年中國(guó)在 NLP 領(lǐng)域的發(fā)展是非常迅猛的,主要體現(xiàn)在下以下幾個(gè)方面。第一,大家可以看到,在 NLP領(lǐng)域的 ACL、NAACL、EMNLP 這三大會(huì)議上,中國(guó)人基本上已經(jīng)撐起了半邊天?,F(xiàn)在有一半的論文至少都是來自于國(guó)內(nèi)的高校,然如果看第一作者,華人作者的比例可能會(huì)更高。國(guó)內(nèi)工業(yè)界的發(fā)展也非常迅猛,尤其在自然語言處理領(lǐng)域。另外,現(xiàn)在國(guó)內(nèi)是百花齊放,不光是傳統(tǒng)的清華、北大、中科院、哈工大,很多其他的學(xué)校都陸陸續(xù)續(xù)有很多的優(yōu)秀的教授以及一些非常優(yōu)秀的研究。相比美國(guó),中國(guó)的增速肯定是快很多的??傮w來說,中美已經(jīng)是 NLP 領(lǐng)域的兩個(gè)強(qiáng)國(guó)了,接下來就希望更多的中國(guó)論文能夠獲得最佳論文獎(jiǎng)。

10)中文 NLP 和英文 NLP 的區(qū)別在哪?

王威廉:中文 NLP 難點(diǎn)在于它的處理單元不是詞,而是字符。不管是做強(qiáng)化學(xué)習(xí),還是做 Seq2Seq ,在詞級(jí)別來做和字符級(jí)別還是差很遠(yuǎn)的。如果是做字符級(jí)別的話,你的 sequence 可能會(huì)變得非常長(zhǎng),并不太容易做。所以中文的挑戰(zhàn)在于語言本身比較難。除了漢語,也有其他少數(shù)民族的語言非常值得關(guān)注和留意。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 人工智能
    +關(guān)注

    關(guān)注

    1804

    文章

    48737

    瀏覽量

    246664
  • 機(jī)器學(xué)習(xí)

    關(guān)注

    66

    文章

    8492

    瀏覽量

    134122
  • nlp
    nlp
    +關(guān)注

    關(guān)注

    1

    文章

    490

    瀏覽量

    22492

原文標(biāo)題:專訪王威廉:NLP哪些研究方向更容易取得突破?

文章出處:【微信號(hào):rgznai100,微信公眾號(hào):rgznai100】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    下一代3D晶體管技術(shù)突破,半導(dǎo)體行業(yè)迎新曙光!

    新的晶體管技術(shù)。加州大學(xué)巴巴拉分校的研究人員在這一領(lǐng)域邁出了重要一步,他們利用二維(2D)半導(dǎo)體技術(shù),成功研發(fā)出新型三維(3D)晶體管,為
    的頭像 發(fā)表于 03-20 15:30 ?564次閱讀
    下一代3D晶體管技術(shù)突破,半導(dǎo)體行業(yè)迎新曙光!

    1550-1620MHz 100w螺旋天線:無線通信領(lǐng)域新星

    深圳安騰納天線|1550-1620MHz 100w螺旋天線:無線通信領(lǐng)域新星
    的頭像 發(fā)表于 03-06 09:05 ?313次閱讀

    Thorlabs收購(gòu)MEMS VCSEL先驅(qū)者Praevium Research

    公司經(jīng)過數(shù)年的緊密合作后,Praevium Research正式成為Thorlabs大家庭的一員。 Praevium Research由加州大學(xué)巴巴拉分校知名研究員Vijay Jay
    的頭像 發(fā)表于 01-24 10:45 ?434次閱讀

    76歲解開電磁學(xué)哥德巴赫猜想——“中國(guó)微波之父”林為干

    林為干(1919年10月20日—2015年1月23日),廣東省臺(tái)山縣人。我國(guó)著名微波理論學(xué)家。1939年畢業(yè)于清華大學(xué);1951年在美國(guó)加州大學(xué)伯克利分校獲博士學(xué)位。1951年回國(guó),在嶺南大學(xué)
    的頭像 發(fā)表于 01-22 17:33 ?601次閱讀
    76歲解開電磁學(xué)哥德巴赫猜想——“中國(guó)微波之父”林為干

    谷歌量子芯片實(shí)現(xiàn)計(jì)算領(lǐng)域重大突破

    Alphabet旗下的一員,谷歌在量子計(jì)算領(lǐng)域的探索與微軟、IBM等科技巨頭并駕齊驅(qū)。量子計(jì)算技術(shù)以其承諾的遠(yuǎn)超當(dāng)前最先進(jìn)系統(tǒng)的計(jì)算速度,吸引了全球科技界的廣泛關(guān)注。谷歌位于美國(guó)加州巴巴拉
    的頭像 發(fā)表于 12-13 11:10 ?671次閱讀

    NaVILA:加州大學(xué)與英偉達(dá)聯(lián)合發(fā)布新型視覺語言模型

    日前,加州大學(xué)的研究人員攜手英偉達(dá),共同推出了一款創(chuàng)新的視覺語言模型——NaVILA。該模型在機(jī)器人導(dǎo)航領(lǐng)域展現(xiàn)出了獨(dú)特的應(yīng)用潛力,為智能機(jī)器人的自主導(dǎo)航提供了一種全新的解決方案。 視覺語言模型
    的頭像 發(fā)表于 12-13 10:51 ?611次閱讀

    用于3D腦血管成像和腦血流動(dòng)力學(xué)監(jiān)測(cè)的可穿戴超聲貼片

    美國(guó)加州大學(xué)圣地亞哥分校徐升副教授和團(tuán)隊(duì),開發(fā)出一種可穿戴超聲貼片,用于免手持的經(jīng)顱大腦血管成像和持續(xù)穩(wěn)定地監(jiān)測(cè)腦血流。 在該裝置中,該課題組采用2兆赫茲的低頻超聲波,以減少顱骨引起的信號(hào)衰減和相位畸變;加入銅網(wǎng)屏蔽層并采
    的頭像 發(fā)表于 11-09 11:22 ?1038次閱讀
    用于3D腦血管成像和腦血流動(dòng)力學(xué)監(jiān)測(cè)的可穿戴超聲貼片

    nlp神經(jīng)語言和NLP自然語言的區(qū)別和聯(lián)系

    神經(jīng)語言(Neuro-Linguistic Programming,NLP) 神經(jīng)語言是一種心理學(xué)方法,它研究人類思維、語言和行為之間的關(guān)系。NLP的核心理念是,我們可以通過改變我們的思維方式和語言
    的頭像 發(fā)表于 07-09 10:35 ?1105次閱讀

    nlp自然語言處理框架有哪些

    自然語言處理(Natural Language Processing,簡(jiǎn)稱NLP)是計(jì)算機(jī)科學(xué)和人工智能領(lǐng)域的一個(gè)重要分支,它致力于使計(jì)算機(jī)能夠理解和處理人類語言。隨著技術(shù)的發(fā)展,NLP領(lǐng)域
    的頭像 發(fā)表于 07-09 10:28 ?949次閱讀

    nlp自然語言處理的主要任務(wù)及技術(shù)方法

    自然語言處理(Natural Language Processing,簡(jiǎn)稱NLP)是人工智能和語言學(xué)領(lǐng)域的一個(gè)分支,它研究如何讓計(jì)算機(jī)能夠理解、生成和處理人類語言。NLP技術(shù)在許多領(lǐng)域
    的頭像 發(fā)表于 07-09 10:26 ?1961次閱讀

    nlp自然語言處理的應(yīng)用有哪些

    自然語言處理(Natural Language Processing,簡(jiǎn)稱NLP)是人工智能領(lǐng)域的一個(gè)分支,它致力于使計(jì)算機(jī)能夠理解和生成自然語言。隨著技術(shù)的發(fā)展,NLP已經(jīng)在許多領(lǐng)域
    的頭像 發(fā)表于 07-05 09:55 ?3520次閱讀

    NLP技術(shù)在人工智能領(lǐng)域的重要性

    智能的橋梁,其重要性日益凸顯。本文將從NLP的定義、發(fā)展歷程、核心技術(shù)、應(yīng)用領(lǐng)域以及對(duì)人工智能領(lǐng)域的深遠(yuǎn)影響等多個(gè)維度,深入探討NLP技術(shù)在人工智能
    的頭像 發(fā)表于 07-04 16:03 ?1149次閱讀

    一款柔軟且高度可拉伸的電子設(shè)備誕生

    在探索人機(jī)交互的新邊界上,科學(xué)家們正以前所未有的創(chuàng)新力推動(dòng)著技術(shù)的進(jìn)步,尤其是在觸覺反饋領(lǐng)域。近期,美國(guó)加州大學(xué)迭戈分校的一項(xiàng)突破性研究成果,為虛擬現(xiàn)實(shí)、醫(yī)療康復(fù)及可穿戴技術(shù)等
    的頭像 發(fā)表于 07-04 15:42 ?1971次閱讀

    什么是自然語言處理 (NLP)

    自然語言處理(Natural Language Processing, NLP)是人工智能領(lǐng)域中的一個(gè)重要分支,它專注于構(gòu)建能夠理解和生成人類語言的計(jì)算機(jī)系統(tǒng)。NLP的目標(biāo)是使計(jì)算機(jī)能夠像人類一樣
    的頭像 發(fā)表于 07-02 18:16 ?1829次閱讀

    加州大學(xué)研發(fā)AI系統(tǒng):智能藥丸助力家庭腸道健康監(jiān)測(cè)

    在科技日新月異的今天,人工智能(AI)已經(jīng)滲透到我們生活的方方面面,從智能手機(jī)到自動(dòng)駕駛汽車,再到醫(yī)療領(lǐng)域,AI技術(shù)正以其獨(dú)特的魅力改變著世界。近日,美國(guó)南加州大學(xué)的研究團(tuán)隊(duì)在醫(yī)療領(lǐng)域取得了一項(xiàng)
    的頭像 發(fā)表于 06-14 14:54 ?759次閱讀