今天，機(jī)器學(xué)習(xí)頂會ICML 2019提交論文的評審結(jié)果出爐，可謂是幾家歡喜幾家愁。但網(wǎng)友們將更多關(guān)注點聚焦在評審機(jī)制和評審內(nèi)容上，對ICML的評審結(jié)果狠狠的嘲諷了一番。

ICML 2019評審結(jié)果來了！

今天，機(jī)器學(xué)習(xí)頂會ICML的論壇可謂是炸了鍋了——提交論文的作者們陸續(xù)收到了評審結(jié)果，可謂是幾家歡喜幾家愁。

根據(jù)網(wǎng)友提供的郵件截圖，ICML官方描述如下：

現(xiàn)在，您可以查看ICML 2019提交的論文評審結(jié)果了。我們已經(jīng)盡力保證每篇論文至少有3條評審結(jié)果，但是有一部分論文的評審結(jié)果可能少于3條。有一小部分論文可能會在未來一兩天內(nèi)陸續(xù)收到額外的評審，請在接下來的兩天內(nèi)查看更新情況。

但是很多作者們看到評審結(jié)果后，不禁跑到論壇上開始吐槽。Twitter網(wǎng)友Brandon Amos表示：

我ICML評審結(jié)果里的其中一條評論真的非常諷刺。審稿人用了幾句極其錯誤的句子拒絕了我的論文，說我定義了|.|運算符僅用于設(shè)置基數(shù)，但在另一處用于絕對值。

而后網(wǎng)友Shuyu Lin跟帖表示：

ICML評審質(zhì)量令人放心：一位自稱對自己高度自信的評論者不知道如何計算自動編碼器的重構(gòu)錯誤......一個前途光明的社區(qū)。

實力嘲諷？

當(dāng)然，這種“熱鬧”話題怎么少得了Reddit用戶。

網(wǎng)友MoreDonuts回復(fù)說：

我的論文有4個強(qiáng)烈接受(strong accept)，評論者自稱是“高度自信”，并且被推薦諾貝爾物理學(xué)獎、計算機(jī)科學(xué)獎和和平獎。你認(rèn)為它有機(jī)會進(jìn)入嗎？

不。你至少需要一個“拒絕”。

該死，看來我該開始為NeurIPS修改論文了。

真可謂是滿滿的諷刺，足足的戲。

ICML 2019如何評審論文？

為何評審結(jié)果一出，便遭到了眾網(wǎng)友的諷刺？我們先來看下ICML 2019的論文評審機(jī)制：

雙盲評審

ICML 2019論文評議采用雙盲模式; 即審稿人不知道作者的身份，作者也不知道審稿人身份。請盡可能以第三人稱的方式引用自己之前的成果，請不要在提交的論文中添加致謝、以及公共github存儲庫鏈接。如果需要匿名引用，比如參考自己在其他地方正在評議中的成果，請將此成果作為補(bǔ)充材料上傳。匿名是強(qiáng)制性要求，明確或隱含地揭示作者身份的論文可能會被拒稿。審稿人可以通過外部資源來推斷出作者的身份，比如在網(wǎng)上發(fā)布的技術(shù)報告。這一點并不違反雙盲審稿政策。

關(guān)于補(bǔ)充材料

本屆ICML大會支持提交兩種補(bǔ)充材料 - 補(bǔ)充論文和代碼/數(shù)據(jù)，這些補(bǔ)充內(nèi)容可用于提供額外證據(jù)支持。如果作者在論文中進(jìn)行匿名引用，請務(wù)必上傳參考文獻(xiàn)，以便審稿人可以快速查看。請注意不要在補(bǔ)充材料中透露作者的身份。

關(guān)于代碼提交，我們希望作者能夠合理地以匿名形式提交代碼和所在機(jī)構(gòu)。即刪除作者姓名和許可信息。ICML 2019允許通過匿名github存儲庫提交代碼。但是，這些代碼必須位于在提交截止日期后不可修改的目錄中。請在提交的zip文件中的獨立文本文件中輸入github鏈接。

請注意，提交的論文必須完全獨立。大會提倡審稿人查看作者提交的補(bǔ)充材料，但審稿人并沒有此義務(wù)，我們也不希望給審稿人帶來不必要的負(fù)擔(dān)。作者不得利用輔助材料來延長論文長度。如果作者認(rèn)為該材料對評估論文至關(guān)重要，則需要將其包含在論文中。補(bǔ)充材料可以zip文件或pdf格式提交。

補(bǔ)充材料不公布、不存檔。如果要將其包含在論文的最終版本中，則必須將材料放在網(wǎng)站上，并在論文的最終版本中引用該網(wǎng)站。

審稿人匹配

為了找到適合作者提交論文的合適審稿人，我們將使用多倫多論文匹配系統(tǒng)（Toronto Paper Matching System）來進(jìn)行協(xié)助篩選。

作為提交過程的一部分，作者需要允許使用“論文匹配服務(wù)”的許可，向ICML2019提交論文的作者應(yīng)允許使用該服務(wù)。

關(guān)于一稿多投

提交與之前已發(fā)布或已接受的相同（或基本相似）的論文，或向其他會議同時提交相同論文是不合適的。此種行為違反了我們的一稿多投政策。

這個規(guī)則有幾個例外：

允許提交已提交給期刊、但尚未在該期刊上發(fā)表的論文的精簡版本。

作者有責(zé)任確保相關(guān)期刊允許向本會議同時提交相關(guān)論文。

下列情況下的論文允許提交：在未列入Proceeding的情況下，在會議或研討會上提交或待提交的論文（例如ICML或NeurIPS研討會），僅發(fā)表過摘要部分的論文。

曾作為技術(shù)報告提交的論文（或在arXiv中已提交的預(yù)印本）允許向本屆ICML提交。在這種情況下，我們建議作者不要引用該報告，以保持匿名性。

論文作者對審稿意見的回復(fù)

目前暫定3月9日到3月14日期間，作者可以查看評議意見，并發(fā)表回復(fù)內(nèi)容。

作者的回復(fù)的目的是改變審稿人對論文的判斷，回復(fù)內(nèi)容最長不超過5000個字符。論文的任何一位作者都可以輸入/編輯作者回復(fù)，回復(fù)內(nèi)容可以進(jìn)行編輯或還原，直到截止日期為止。

論文審稿是雙盲的。請勿在回復(fù)中包含可識別出作者/共同作者的任何信息。請勿在回復(fù)中包含任何網(wǎng)址。

作者在擬定回復(fù)內(nèi)容時應(yīng)該做好判斷。沒有必要對每個小問題或改進(jìn)建議逐一回復(fù)。而應(yīng)該將這些回復(fù)視作解決問題的好機(jī)會，比如針對審稿人對論文的某一點不確定、審稿人做出的錯誤假設(shè)、或者審稿人誤解了論文中的某一部分等問題進(jìn)行解釋。我們建議在作者回復(fù)意見中保持禮貌和專業(yè)。

ICML 2018：接收率25%，兩篇最佳論文回顧

機(jī)器學(xué)習(xí)頂會ICML 2018于7月10日~15日在瑞典首都斯德哥爾摩舉辦，2018年ICML共收到2473篇投稿論文，比2017年的1676篇增加了47.6%。最終入選的論文一共621篇，接收率25%。

ICML 2018最佳論文獎有兩篇獲獎?wù)撐模谝黄淖髡叻謩e是來自 MIT 的 Anish Athalye 以及來自UC Berkely 的 Nicholas Carlini 和 David Wagner，另一篇的作者則全部來自UC Berkely。

最佳論文一：

Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples

Anish Athalye (MIT), Nicholas Carlini (UCB), David Wagner(UCB)

論文地址：https://arxiv.org/pdf/1802.00420.pdf

GitHub：github.com/anishathalye/obfuscated-gradients

基于神經(jīng)網(wǎng)絡(luò)的分類器通常被用于圖像分類，它們的水平通常接近人類。但是，這些相似的神經(jīng)網(wǎng)絡(luò)特別容易受到對抗樣本和細(xì)微的干擾輸入的影響。下圖是一個典型的對抗樣本，對原圖增加一些肉眼看不見的擾動后，InceptionV3分類器把貓分類成了鱷梨醬。根據(jù)Szegedy等人2013年的研究顯示，這種“愚蠢的圖像”僅用梯度下降法就能合成，這類發(fā)現(xiàn)為物體檢測研究敲響了警鐘。

在這篇論文中，作者評估了ICLR 2018接受的9篇論文，并測試了它們面對對抗樣本的穩(wěn)健性。實驗結(jié)果證實，在8篇有關(guān)對抗樣本的防御機(jī)制的論文中，有7篇的防御機(jī)制都抵擋不住論文提出的新型攻擊技術(shù)，防御水平有限。

最佳論文二：

Delayed Impact of Fair Machine Learning

Lydia Liu, Sarah Dean, Esther Rolf, Max Simchowitz, Moritz Hardt (全員UCB)

論文地址：https://arxiv.org/pdf/1803.04383

博客：bair.berkeley.edu/blog/2018/05/17/delayed-impact/

機(jī)器學(xué)習(xí)的基礎(chǔ)理念之一是用訓(xùn)練減少誤差，但這類系統(tǒng)通常會因為敏感特征（如種族和性別）產(chǎn)生歧視行為。其中的一個原因可能是數(shù)據(jù)中存在偏見，比如在貸款、招聘、刑事司法和廣告等應(yīng)用領(lǐng)域中，機(jī)器學(xué)習(xí)系統(tǒng)會因為學(xué)習(xí)了存在于數(shù)據(jù)中的歷史偏見，對現(xiàn)實中的弱勢群體造成傷害，因而受到批評。

那么，你對于今年的評審結(jié)果，還算滿意嗎？