2019人工智能開(kāi)年頂會(huì)AAAI的錄取結(jié)果已出，投稿數(shù)量高達(dá)7745篇，錄取率僅為16.2%，論文評(píng)審的繁重與嚴(yán)格可想而知。這兩年AI頂會(huì)論文灌水與評(píng)審不專業(yè)的問(wèn)題愈發(fā)凸顯。最近，中國(guó)某知名高校博導(dǎo)一篇AAAI論文被拒，她認(rèn)為主要是因?yàn)橥性u(píng)審不專業(yè)，AAAI 2019程序主席之一周志華教授做了回應(yīng)。

人工智能“The”頂會(huì)之一的AAAI 2019論文錄取結(jié)果昨日公布，16.2%，可以說(shuō)是AAAI錄取率最低的年份之一，更何況今年的投稿數(shù)量高達(dá)7745篇，比去年相翻了一番！

然而，一封公開(kāi)信卻讓這次本就忙碌的評(píng)審更加緊張。

公開(kāi)信是一名中國(guó)知名高校的計(jì)算機(jī)博導(dǎo)發(fā)出，在信中，寫信人“李老師”稱，在評(píng)審人對(duì)論文的審稿及處理意見(jiàn)上，評(píng)審及錄用決策存在公正與公平性問(wèn)題，李老師“感到非常遺憾與氣憤！覺(jué)得太有失公正公平與水準(zhǔn)。”

究竟怎么一回事？

實(shí)名投訴：AAAI 2019審稿人不專業(yè)！

以下是“李老師”的信件：

尊敬的周志華老師：

您好！非常敬仰您，我也于2016年底在貴校您組織的一次學(xué)術(shù)會(huì)議上和您當(dāng)面交流討論了我在SIGKDD'16上的一篇論文工作。十分感謝您當(dāng)時(shí)對(duì)我工作的鼓勵(lì)與贊賞。

這次我向您組織的AAAI’2019投了一篇我們研究團(tuán)隊(duì)歷時(shí)三年之久進(jìn)行深入研究的一成果論文，今天收到了會(huì)議論文的錄用通知——reject，這個(gè)結(jié)果令人非常遺憾與氣憤！

論文的三位評(píng)閱人中的兩位評(píng)閱人（評(píng)閱人#1和評(píng)閱人#3，他/她們都稱是其領(lǐng)域資深專家）對(duì)我們的論文工作從各個(gè)方面都給予了充分肯定與高度評(píng)價(jià)，而評(píng)閱人 2#也表示其評(píng)閱意見(jiàn)是“educated guess”的，他/她不僅非領(lǐng)域?qū)＜遥耆欢覀兊膯?wèn)題，而且連我們的論文都沒(méi)有認(rèn)真看一下，給出的評(píng)閱意見(jiàn)簡(jiǎn)直就是在胡說(shuō)八道。在Rebuttal階段，我們認(rèn)真地對(duì)各個(gè)評(píng)閱人的問(wèn)題進(jìn)行了回復(fù)，并且也給AC特意寫了一封信。但是，meta-reviewer還是采納了評(píng)閱人 2#的意見(jiàn)，給出了reject的結(jié)果。

其實(shí)論文中與不中都沒(méi)有太大的關(guān)系，但是，從這次會(huì)議對(duì)我們論文的審稿及處理意見(jiàn)上，我們對(duì)本次會(huì)議的評(píng)審及錄用決策的公正與公平性上感到非常遺憾與氣憤！覺(jué)得太有失公正公平與水準(zhǔn)！！我的一位在國(guó)外的學(xué)生曾對(duì)我講：現(xiàn)在AAAI和IJCAI這種會(huì)雖然國(guó)內(nèi)認(rèn)為是A類會(huì)議，但懂行的都知道不怎么樣，很多灌水的。對(duì)此，我原來(lái)是不相信的，現(xiàn)在我確信！這次投稿人數(shù)實(shí)在太多，您稱有7745篇，但會(huì)議投稿再多，也不能成為論文評(píng)審與錄用決策完全不負(fù)責(zé)任與胡整的理由！！

我們的論文、Rebuttal階段返回的評(píng)審人意見(jiàn)以及我們的回復(fù)均在附件中，敬請(qǐng)您及會(huì)議的AC在百忙中抽時(shí)間再?gòu)?fù)審查看一下。真金不怕火煉，我們對(duì)我們工作的創(chuàng)新性等有充分的自信。我們只是希望AAAI’2019會(huì)議公平、公正，辦得越來(lái)越好，不要損害自己的名聲。

祝好！

這封信的作者李老師，就職于中國(guó)某計(jì)算機(jī)名校，擔(dān)任教授和博士生導(dǎo)師。以他的年齡、職位和職稱，“真的，論文中不中根本不重要”。

新智元聯(lián)系了李老師，他表示這次論文得到的評(píng)分是“8、2、7”，其中這個(gè)反差巨大的“2分”，自然是來(lái)自那位評(píng)審人2#。

李老師說(shuō)：“我是第一次投稿AAAI，非常尊敬周志華老師，本著對(duì)真理和學(xué)術(shù)嚴(yán)謹(jǐn)?shù)淖非螅?年的成果，詳盡據(jù)理的rebuttal，但審稿人完全沒(méi)有認(rèn)真看，實(shí)在讓人無(wú)法接受！”

Arxiv讓雙盲評(píng)審形同虛設(shè)已經(jīng)成為學(xué)界開(kāi)始應(yīng)對(duì)的問(wèn)題，但據(jù)李老師所知，有人甚至直接找認(rèn)識(shí)的人，然后給論文打9分。

“現(xiàn)在的學(xué)術(shù)界，真是太黑了！”

歷史上首位華人學(xué)者擔(dān)任AAAI大會(huì)程序主席

2017年，AAAI曾因與中國(guó)的春節(jié)撞期而改日舉行，此事《大西洋月刊》報(bào)道，稱“充分體現(xiàn)了中國(guó)在世界人工智能領(lǐng)域的影響力”。

當(dāng)2019年AAAI的兩位程序主席公布，南京大學(xué)教授周志華教授成為AAAI歷史上首位非歐美學(xué)者程序主席的消息，更是引人振奮，也因此使得中國(guó)AI學(xué)界以及媒體對(duì)這次會(huì)議格外關(guān)注。

新智元第一時(shí)間聯(lián)系了周志華教授，周志華教授當(dāng)夜凌晨便給李老師回信，并告訴新智元，“這里面確實(shí)涉及到一些關(guān)于人工智能領(lǐng)域投稿的審稿觀念問(wèn)題，但絕對(duì)沒(méi)有’黑幕’”。

周志華教授強(qiáng)調(diào)，“今年的AAAI，我們已經(jīng)特別加強(qiáng)了對(duì)傳說(shuō)中的一些不良現(xiàn)象的防范。例如，不再允許審稿人看到全部投稿之后來(lái)挑選自己愿意的文章，而只是給150篇左右文章供選擇。甚至SPC也不讓他們看到所有文章，只是給300篇左右文章供選擇。并且PC互相看不到身份，也看不到SPC的身份。這樣大幅度降低了“找熟人”“打招呼”的可能。”

下面是從李老師處收到周志華教授的回信：

李同學(xué)，您好，

來(lái)信收到。我查看了您這篇文章的記錄，情況跟您自己的感覺(jué)可能有些差別。下面是關(guān)于文章處理的一些大致情況供您參考：

文章有3位Reviewer，其中R1和R3是兩位華人學(xué)者，R2是一位歐洲學(xué)者。您感覺(jué)R1、R3是資深專家，而R2是領(lǐng)域外不懂行的學(xué)者，很遺憾這個(gè)感覺(jué)是不準(zhǔn)確的。與R1、R3相比，R2才是更資深的專家（歐洲知名高校的人工智能領(lǐng)域fullprofessor）。

她給了“Reject”的分?jǐn)?shù)，并且稱自己為 “Reviewermadeaneducatedguess”，原因她在給 Confidentialcomments中說(shuō)了：“I'mnotanexpertatallinthefielddevelopedinthispaper.I'mevenwonderingwhereisthe"ArtificialIntelligence"inthepaper.Tome,itismoreadatabase/datastreamprocessingpaper,thatcouldhaveabetterplaceinrelevantconference.”

您可以看出，她認(rèn)為這篇文章根本不是搞“人工智能”的，所以她說(shuō)她不是專家（雖然她確實(shí)是人工智能方面的資深專家）。[注：這個(gè)confidentialcomment您和R1、R3看不到，SPC、AC能看到]

負(fù)責(zé)這篇文章的高級(jí)程序委員（SPC）是一位很資深的專家、歐洲知名高校的人工智能領(lǐng)域正教授，尤其是主攻大數(shù)據(jù)分析、數(shù)據(jù)流機(jī)器學(xué)習(xí)，并且在MIT出版社出版過(guò)這方面的專著，是這個(gè)主題上的國(guó)際知名專家。您的文章恰好是關(guān)于數(shù)據(jù)流的，所以這位SPC負(fù)責(zé)本文可以說(shuō)是非常恰當(dāng)?shù)娜诉x。

從系統(tǒng)記錄看到，SPC召集了審稿人進(jìn)行討論。在討論中，R2再次強(qiáng)調(diào) “tomeit'smoreaDBpaperthananAIpaper,sincethereisnodealwithdecisionoradvancedlearning(andnotonlydataanalysis)”，“Eventhe"intelligent"partofthecontributedsystemseemstomequitelimited,andreusesalreadyknownclusteringtechniques”，顯然她認(rèn)為文章應(yīng)該投到數(shù)據(jù)庫(kù)領(lǐng)域的會(huì)議去，而不是人工智能領(lǐng)域。

R3這時(shí)挺身而出：“Clusteringisoneofthemajortechniqueofdatamining.AndclusteringdatastreamsisoneofthehotresearchtopicsintheareaofKDD,andmanypapersonthetopiccanbefoundatSIGKDDandICDM.”但是，這個(gè)意見(jiàn)并不能說(shuō)服R2。因?yàn)閿?shù)據(jù)挖掘領(lǐng)域大致是數(shù)據(jù)庫(kù)與人工智能領(lǐng)域的交叉，兩方面大約各占一半，不能認(rèn)為數(shù)據(jù)挖掘會(huì)議合適的文章就一定合適投到人工智能的會(huì)議去。

SPC最后做出了他的判斷，給出了weakreject的推薦意見(jiàn)，他在meta-review中避免了對(duì)“是否屬于人工智能領(lǐng)域的工作”的爭(zhēng)議，強(qiáng)調(diào)了文章本身的一些技術(shù)局限：“theauthorsdidn'tconvinceallthereviewersaboutthenoveltyofthenewapproach.Thechoiceofthebaselinemethodsfrom(Ghesmoune,Lebbah,andAzzag2016)isnotwellmotivated.Thepaperneedsamorecomprehensiveevaluationwithotherstate-of-the-artmethodsofclusteringtobemoreconvincing.”

SPC的意見(jiàn)提交給領(lǐng)域主席(AC)審定。這位AC曾擔(dān)任過(guò)國(guó)際機(jī)器學(xué)習(xí)會(huì)議(ICML)和歐洲機(jī)器學(xué)習(xí)會(huì)議(ECML)的主席，是國(guó)際權(quán)威專家、而且是行內(nèi)眾所周知很負(fù)責(zé)的專家。他綜合所有情況，做出了Reject的推薦。

從程序主席的角度來(lái)看，上述過(guò)程沒(méi)有任何問(wèn)題，退稿是合理的，不存在您所謂的“論文評(píng)審與錄用決策完全不負(fù)責(zé)任與胡整”。

我完全理解，花費(fèi)很多精力的文章被退稿，從感情上難以接受。不過(guò)，既然有兩位審稿人給出了正面評(píng)價(jià)，文章本身肯定有其價(jià)值；即便是負(fù)面的意見(jiàn)，也提出了很多值得考慮的建議。因此，您不妨把這些來(lái)自國(guó)際同行的意見(jiàn)作為進(jìn)一步提高改進(jìn)工作的助力，相信改進(jìn)后文章一定能在合適的頂級(jí)會(huì)議上發(fā)表。

附帶說(shuō)說(shuō)關(guān)于R2的看法。現(xiàn)在人工智能很熱，幾乎所有做CS相關(guān)、甚至只要是IT相關(guān)的研究，都或多或少地能與人工智能找到聯(lián)系。但是，從人工智能領(lǐng)域本身的頂級(jí)會(huì)議來(lái)說(shuō)，比較傳統(tǒng)的審稿專家會(huì)認(rèn)為，投來(lái)的文章應(yīng)該是對(duì)人工智能領(lǐng)域本身有貢獻(xiàn)才合適。事實(shí)上，人工智能領(lǐng)域傳統(tǒng)的幾個(gè)頂級(jí)會(huì)議，原本是有很不同的flavor。近年來(lái)很多新人涌入（包括大量新審稿人），對(duì)這些傳統(tǒng)文化已不太了解，于是許多會(huì)議開(kāi)始出現(xiàn)“同質(zhì)化”現(xiàn)象。很可能有與您文章主題類似的文章通過(guò)了評(píng)審，而審稿人并沒(méi)有挑剔這個(gè)方面，甚至反而可能認(rèn)為人工智能在今天就應(yīng)該“泛化”了、只要是用到人工智能技術(shù)就都可以投過(guò)來(lái)。這些看法見(jiàn)仁見(jiàn)智，很難說(shuō)哪種看法是對(duì)是錯(cuò)。這可以看作投稿中“運(yùn)氣”成分的一個(gè)體現(xiàn)吧。

最后，如果您了解到有損會(huì)議公正性的不良現(xiàn)象，建議立即向會(huì)議舉報(bào)。請(qǐng)相信，任何一個(gè)頂級(jí)會(huì)議的聲譽(yù)都是幾十年積累，來(lái)之不易，對(duì)有損會(huì)議聲譽(yù)的行為必然會(huì)嚴(yán)肅處理。

謝謝

周志華

幾分鐘后，周志華教授再次補(bǔ)發(fā)了一封郵件：

李同學(xué)，另外我想補(bǔ)充一點(diǎn)，關(guān)于最近兩年在華人學(xué)者擔(dān)任程序委員的人數(shù)有所增加的會(huì)議中，有些在審稿過(guò)程中出現(xiàn)了不良現(xiàn)象，我也有所聽(tīng)聞，例如聽(tīng)說(shuō)有人到處找審稿人去bid自己的投稿，爭(zhēng)取讓熟人來(lái)審自己的文章，甚至通過(guò)審?fù)黄恼碌氖烊藖?lái)了解其他審稿人的身份并打招呼，等等。這些不良風(fēng)氣，國(guó)際同行也開(kāi)始有所聞，對(duì)華人學(xué)者整體形象造成了很不好的影響。所以今年在AAAI2019，我們采取了新的措施，特別加強(qiáng)了對(duì)傳說(shuō)中的一些不良現(xiàn)象的防范。例如不再允許審稿人看到全部投稿之后來(lái)挑選自己愿意審的文章，而只是給150篇左右文章供選擇。甚至也不讓SPC看到所有文章、只是給300篇左右文章供選擇。PC互相看不到身份，也看不到SPC的身份；SPC也看不到AC的身份。這樣我認(rèn)為會(huì)大幅度降低“找熟人”“打招呼”的可能。如果有更好地“系統(tǒng)性”防范不良現(xiàn)象的建議，歡迎您告訴我。另一方面，積極推薦更多的華人學(xué)者進(jìn)入國(guó)際學(xué)界、成為頂級(jí)會(huì)議的程序委員、甚至高級(jí)程序委員，我認(rèn)為是應(yīng)該的，這樣才能增強(qiáng)華人學(xué)者的影響力。應(yīng)該相信，自律并且公正的華人學(xué)者是絕大多數(shù)。事實(shí)上，“爭(zhēng)取多發(fā)表幾篇文章”并無(wú)意義，做出有影響力的工作才是最重要的。如果始終做灌水工作，通過(guò)拉關(guān)系、找熟人，文章發(fā)得再多也沒(méi)有意義，除了給國(guó)際同行“灌水機(jī)”的印象，并不會(huì)得到同行真正的尊重。作為學(xué)者，得到同行發(fā)自內(nèi)心的尊重才是最大的褒獎(jiǎng)。共勉。

周志華

但是，這樣的回信似乎并不能說(shuō)服李老師。

尊敬的周老師：

您好！十分感謝您在百忙中能認(rèn)真查看與處理我的郵件，并給予認(rèn)真仔細(xì)地回復(fù)。衷心地感謝，并深感抱歉在您百忙中打擾您！但是，非常遺憾！您所述的稿件被拒過(guò)程和理由不能說(shuō)服我，我保留個(gè)人意見(jiàn)。我不服的理由主要如下：1.論文評(píng)閱人#2以論文不符合論文主題，就看都不看，或者根本沒(méi)有認(rèn)真去看論文，就胡亂地給出一些與論文內(nèi)容完全不符的意見(jiàn)，給出strongreject的評(píng)審結(jié)果。本人確認(rèn)：該論文內(nèi)容符合AAAI'2019的會(huì)議議題，會(huì)議主題網(wǎng)址：網(wǎng)址：https://aaai.org/Conferences/AAAI-19/aaai19keywords/上明確地將本人論文內(nèi)容列入在其內(nèi)。2.據(jù)周老師您講：這位論文評(píng)閱人#2是位歐洲某大學(xué)AI領(lǐng)域資深專家，但是，她以本文論文內(nèi)容不符合會(huì)議主題為由就強(qiáng)拒論文，另外，她其它的評(píng)審意見(jiàn)是完全在不認(rèn)真審閱論文的情況下，胡亂與錯(cuò)誤地評(píng)論與發(fā)表與論文內(nèi)容完全不符的意見(jiàn)（詳見(jiàn)我發(fā)過(guò)去的評(píng)閱人意見(jiàn)及我們的respones），我覺(jué)得這是極不負(fù)責(zé)與不公正的表現(xiàn)。3.關(guān)于論文創(chuàng)新性的問(wèn)題，我們認(rèn)真解釋了論文工作的重要性與創(chuàng)新性。但是，論文評(píng)閱人#2和AC也全然不看我們的論文與rebuttal，最后以我們不能使所有的評(píng)閱人確認(rèn)我們論文工作的創(chuàng)新性為由而給出reject的最終裁定。不聽(tīng)與不看rebuttal的作者意見(jiàn)，只迷信堅(jiān)信權(quán)威，那還有必要有這個(gè)rebuttal階段嗎？4.據(jù)周老師您說(shuō)：這位論文評(píng)閱人#2是位歐洲某大學(xué)AI領(lǐng)域資深專家。我不知道她是誰(shuí)，也不能問(wèn)周老師您她是誰(shuí)。但是，我這篇論文工作是向一位全球公認(rèn)的AI領(lǐng)域資深專家Richard Lee匯報(bào)的，論文也最終交由他審定。最后的rebuttal階段我們的respones也是Richard Lee教授親自修改并確定的。Richard Lee是不是全球AI領(lǐng)域的資深專家請(qǐng)您判斷，我只知道：他是AAAIFellow，AAAI等領(lǐng)域頂會(huì)多次邀請(qǐng)他做大會(huì)特邀報(bào)告，2017全球AITop100重磅人物中他赫然在列！他對(duì)我論文工作的評(píng)判有沒(méi)有些參考價(jià)值與可取之處請(qǐng)您、論文評(píng)閱人及AC判斷。前面我講過(guò)：論文中與不中對(duì)我關(guān)系都不大，我關(guān)鍵是覺(jué)得這事太有失公平、公正，所以要申訴。我本人已是教授與博導(dǎo)，這篇論文中與不中與我關(guān)系不大。我本人不像一些國(guó)內(nèi)的教授博導(dǎo)，在坐陣指揮他/她的學(xué)生們?cè)诟煽蒲校冶救藷釔?ài)學(xué)術(shù)、淡泊名利，總是站在科研第一線。這篇論文從問(wèn)題查找與突破，仿真實(shí)驗(yàn)設(shè)計(jì)、論文撰寫與畫(huà)圖都是我本人親力親為。今天我堅(jiān)持做科研與學(xué)術(shù)，僅僅就是因?yàn)闊釔?ài)。我總想直面領(lǐng)域難題去真正解決它，在我們國(guó)家自主創(chuàng)新、踏實(shí)科研、在世界學(xué)術(shù)舞臺(tái)去爭(zhēng)取一些話語(yǔ)權(quán)而盡自己的綿薄之力。我認(rèn)為：學(xué)者的一個(gè)基本品質(zhì)就是誠(chéng)信公正。我們科研的基本過(guò)程和目的，就是追求真理！因此，從這個(gè)角度上講，這件事我就是覺(jué)得十分不公平，所以有必要申訴！我十分清楚我的科研工作還有很大的空間有待改進(jìn)與提升，我現(xiàn)在和今后都會(huì)更加繼續(xù)努力工作。我堅(jiān)信：是金子總會(huì)發(fā)光，是好的工作終會(huì)得到公正認(rèn)可。這件事我較真，我只是在真實(shí)地闡述事情本身的原委。

現(xiàn)在我一切釋然，現(xiàn)在我只是將您做為學(xué)界我的榜樣與同仁，真誠(chéng)地向您談?wù)勎覍?duì)此事內(nèi)心的感受與感想，請(qǐng)您諒解海涵！

李老師

評(píng)審不專業(yè)、信息泄露，AI頂會(huì)評(píng)審嚴(yán)謹(jǐn)性曾受質(zhì)疑

為了感受這次會(huì)議審稿工作量之巨大和錄取標(biāo)準(zhǔn)之嚴(yán)格，我們可以看一下往屆AAAI的論文投稿及錄取情況：

1996~2019年AAAI論文投稿與錄取情況：柱狀圖代表投稿數(shù)，從2016年開(kāi)始，投稿量用“一劍沖天”來(lái)形容也不為過(guò)；相比之下，雖然投稿數(shù)激增，但近5年來(lái)錄取率卻有所下降，今年更是降到了歷史最低的16.2%。

再寬泛一些，看看這兩年來(lái)各個(gè)AI頂會(huì)的投稿和錄取情況：

從數(shù)字上便能直觀地感受到，AAAI 2019的審稿工作量之大，而錄取標(biāo)準(zhǔn)之嚴(yán)。

本屆大會(huì)的兩位程序主席之一、南京大學(xué)的周志華教授在微博上表示，“透露一下: 平均分7分以上被拒的運(yùn)氣不好，但每篇這樣的都經(jīng)過(guò)仔細(xì)討論。6-7分的非常多，錄用的被拒的都有。6分以下的進(jìn)不了討論。”

與此同時(shí)，AI頂會(huì)論文評(píng)審專業(yè)性的問(wèn)題也得到越來(lái)越多的討論。今年7月，谷歌研究員、GAN的發(fā)明人Ian Goodfellow 就曾發(fā)推炮轟“同行評(píng)議”。

Goodfellow在推文中表示，作為頻繁出任會(huì)議領(lǐng)域主席并且管理一支小型科研團(tuán)隊(duì)的研究者，他經(jīng)常能看到很多人（包括他自己團(tuán)隊(duì)在內(nèi)）工作的評(píng)審意見(jiàn)。

對(duì)于實(shí)證研究來(lái)說(shuō)，最多的拒稿意見(jiàn)是沒(méi)有“理論”，而對(duì)于那些提出一種新方法取得更好性能的論文，評(píng)審人往往讀過(guò)一篇，然后拒稿，理由是論文沒(méi)有闡釋為什么這種方法表現(xiàn)更好，而當(dāng)論文有解釋的內(nèi)容時(shí)，無(wú)論說(shuō)得多不靠譜，甚至根本不被證據(jù)支持，心軟一些的評(píng)審人也會(huì)讓其通過(guò)。

Goodfellow 說(shuō)：“機(jī)器學(xué)習(xí)如今的怪現(xiàn)象里，有一些可能不是同行評(píng)議造成的，但評(píng)審人要求增加數(shù)學(xué)（公式）、增加虛假的解釋和虛假的原創(chuàng)性，我已經(jīng)司空見(jiàn)慣了。”

不僅如此，連論文提交系統(tǒng)都爆出問(wèn)題，今年8月7日，就在NIPS 2018初審結(jié)果rebuttal進(jìn)行的過(guò)程當(dāng)中，有人發(fā)現(xiàn)NIPS 2018的審稿系統(tǒng)出現(xiàn)了嚴(yán)重的信息泄露——跟其他上千個(gè)學(xué)術(shù)會(huì)議一樣，NIPS 2018也采用MS CMT3系統(tǒng)進(jìn)行論文的提交及審核。

而該系統(tǒng)所提交論文的列表會(huì)根據(jù)審稿人的域名（也即姓名/機(jī)構(gòu)/公司）不斷更新。因此，審稿人通過(guò)輸入或者不輸入某個(gè)域名沖突，再根據(jù)CMT系統(tǒng)給出的兩個(gè)論文列表，就能明確哪些論文是屬于哪個(gè)域名，換句話說(shuō)，也就能夠知道哪些論文是屬于哪位作者或哪個(gè)單位的了。

當(dāng)然，NIPS 2018會(huì)務(wù)組及時(shí)處理，在一周之內(nèi)，CMT系統(tǒng)便得到修復(fù)，并且根據(jù)官方反饋，目前沒(méi)有發(fā)現(xiàn)其他CS/AI學(xué)術(shù)會(huì)議的審稿信息遭到泄露。

問(wèn)題還沒(méi)完，今年9月，一等一的頂會(huì)CVPR也爆出漏洞——一篇已被接收的論文，根據(jù)作者公開(kāi)的代碼，實(shí)驗(yàn)結(jié)果無(wú)法復(fù)現(xiàn)，同行評(píng)議過(guò)程再次遭到質(zhì)疑的同時(shí)，議論的焦點(diǎn)也變?yōu)椋p盲評(píng)審該不該連代碼也一起審核？

不過(guò)，針對(duì)種種問(wèn)題，AAAI 2019已經(jīng)做了很多努力。

正如周志華教授信中所說(shuō)，今年的AAAI，不再允許審稿人看到全部投稿之后來(lái)挑選自己愿意的文章，SPC也不讓他們看到所有文章，PC互相看不到身份，也看不到SPC的身份。

北京大學(xué)的萬(wàn)小軍教授也在今年8月發(fā)微博表示，AAAI 2019采用了更嚴(yán)格的盲審制度，能夠減少論文評(píng)審過(guò)程過(guò)招呼找關(guān)系的現(xiàn)象。

截至發(fā)稿前，李老師告訴新智元，他非常感謝周老師認(rèn)真仔細(xì)的回復(fù)。但是，周老師所述的稿件被拒的過(guò)程和理由不能說(shuō)服他，“我今天會(huì)在中國(guó)人工智能咨詢委群中向?qū)W界同仁再次闡述我的不服理由，并公開(kāi)我的論文評(píng)閱人意見(jiàn)和我們?cè)趓ebuttal階段的respones。讓業(yè)界同仁評(píng)判。”