0
| 本文作者： 奕欣 | 2017-08-01 06:59 | 專題：ACL 2017 |
溫哥華時(shí)間 7 月 31 日早上九點(diǎn)，ACL 2017 正式開幕。在開幕儀式上，包括大會(huì)主席在內(nèi)的多位組委會(huì)代表上臺(tái)發(fā)表致辭，并邀請(qǐng)了 ACL 現(xiàn)任主席、瑞典烏普薩拉大學(xué)的 Joakim Nivre 做報(bào)告。雷鋒網(wǎng) AI 科技評(píng)論第一時(shí)間發(fā)來現(xiàn)場(chǎng)報(bào)道。
三個(gè)「最」和三個(gè)「第一次」
本屆 ACL 的規(guī)模創(chuàng)下了歷史高峰：不論是論文的投遞數(shù)，或是作為贊助商來到現(xiàn)場(chǎng)的企業(yè)數(shù)量都是前所未有的。ACL 大會(huì)主席先公布了一系列數(shù)字，在雷鋒網(wǎng) AI 科技評(píng)論看來，可以描述為三個(gè)「最」和三個(gè)「第一次」。
根據(jù)現(xiàn)場(chǎng)公示的信息與大會(huì)會(huì)刊提供的數(shù)據(jù)，雷鋒網(wǎng) AI 科技評(píng)論結(jié)合此前的報(bào)道綜合總結(jié)，第一「最」莫過于今年的 ACL 共收到了 751 篇長文和 567 篇短文的投遞，共計(jì) 1318 篇。其中：
長文有 195 篇被錄用，包括 117 篇口頭報(bào)告論文和 78 篇 poster，錄取率 18%；
短文有 104 篇被錄用，包括 34 篇口頭報(bào)告論文和 73 篇 poster，錄取率 25％；
此外，還有 22 篇杰出論文，包括 15 篇長文和 7 篇短文，錄取率 1.6%。
因而 ACL 2017 的第二「最」便是，整個(gè)會(huì)議期間共有 367 個(gè)大大小小的報(bào)告，長文將展示 14 分鐘，短文 12 分鐘，包括提問時(shí)間。由于要在短短幾天內(nèi)安排如此多的議程，同一時(shí)段最多將進(jìn)行五個(gè)演講，這也是前所未有的。
ACL 的第三「最」則是贊助商的數(shù)量也達(dá)到了史上最多，達(dá) 36 家（外加 NSF），其中不乏中國廠商，包括 BAT、搜狗搜索、華為、CVTE、今日頭條等多家企業(yè)。根據(jù)雷鋒網(wǎng)在現(xiàn)場(chǎng)的了解，包括騰訊、阿里、百度在內(nèi)的一些贊助廠商在這次會(huì)議上發(fā)表了論文，而也有一些企業(yè)抱著學(xué)習(xí)的心態(tài)來到現(xiàn)場(chǎng)，并比較含蓄地表達(dá)了自己的招人需求。與 CVPR 激烈爭(zhēng)奪人才、線下活動(dòng)多如牛毛的情況不同，ACL 的線下活動(dòng)相對(duì)較少，以會(huì)場(chǎng)內(nèi)當(dāng)面的交流和溝通為主。
由于展位位于一樓大廳的茶歇處，因此參會(huì)者在休息時(shí)段也將各個(gè)展位圍得水泄不通。
而至于三個(gè)「第一次」，一個(gè)是昨天雷鋒網(wǎng)提及的 WiNLP，這個(gè)關(guān)注女性研究群體的 workshop 是第一次舉辦；另一個(gè)則是「KiddleCorp」，便于已為人父母的研究者們也能帶著小孩來參會(huì)。在會(huì)場(chǎng)的三樓，不僅有專門的哺乳室，還有專門供 12 歲以下的小朋友玩耍的游戲間。而除了會(huì)場(chǎng)的貼心準(zhǔn)備外，還會(huì)有增加親子互動(dòng)的水族館參觀環(huán)節(jié)，這種更加人性化的細(xì)節(jié)更加增進(jìn)了研究者對(duì) ACL 的好感。
另一個(gè)「第一次」則是，本次活動(dòng)首次增設(shè)了「PC Blog」這一環(huán)節(jié)，組委會(huì)的成員們?cè)诨I辦會(huì)議期間，在 ACL 官網(wǎng)的博客上記錄下了從論文投遞到論文評(píng)審的點(diǎn)點(diǎn)滴滴，共發(fā)布 36 篇。
比如去年年底的《LAST CALL FOR AREA CHAIRS—A CALL FOR DIVERSITY!》就是其中一篇經(jīng)典分享，在本次開幕式上，ACL 2017 程序委員會(huì)主席、新加坡國立大學(xué)的 Min－Yen Kan 教授再次針對(duì)區(qū)域主席的提名數(shù)據(jù)做了分享。從被提名成員的來源、性別、領(lǐng)域、所在機(jī)構(gòu)及職稱上，我們可以從圖表中看出一些有意思的地方。
比如，自薦的比重達(dá)到 68%，也有31％是他人推薦；
男性依然占絕大比重，占比 78.4 %；女性只占 21.6%；
來自美國的研究者占據(jù)了提名池的半壁江山，占比約 57%，而歐洲則以 32% 的百分比位列其后，可見兩地的成員比重占據(jù)主導(dǎo)地位；而亞洲及泛太平洋地區(qū)則與非洲和中東比重一致，均約為 5%。
此外，有 83.8 % 的被提名者來自學(xué)術(shù)界，而產(chǎn)業(yè)界則占比 16.2%。
高級(jí)研究員的比重則達(dá)到了 59.5%。
接下來，另一位 ACL 2017 程序委員會(huì)主席、MIT 教授 Regina Barzilay 又給在場(chǎng)的觀眾們分享了論文投遞的一些注意事項(xiàng)。
比如，她提及有 10% 的論文沒有經(jīng)過評(píng)審就直接被拒，常見的原因包括，長度不符合要求、論文領(lǐng)域不符合 ACL 的調(diào)性、字體問題、匿名投遞等。她建議，在提交論文之前可以采用在線格式檢查器進(jìn)行最后核實(shí)，避免與心儀的會(huì)議失之交臂。
與此同時(shí)，會(huì)議組織者組重要的任務(wù)是合理分配論文給對(duì)應(yīng)的審稿人，審稿質(zhì)量也影響者會(huì)議的水準(zhǔn)和研究領(lǐng)域的方向。由于今年的投遞數(shù)量過多，Barzilay 教授也坦誠在評(píng)審環(huán)節(jié)上存在諸多挑戰(zhàn)，因此組委會(huì)采用了 Toronto Paper Matching System（TPMS），將所有投遞的論文進(jìn)行合理分配，并且創(chuàng)建了一個(gè)實(shí)時(shí)更新的評(píng)審數(shù)據(jù)庫。
關(guān)于 TPMS 的詳細(xì)介紹可參考：https://mila.umontreal.ca/en/publication/the-toronto-paper-matching-system-an-automated-paper-reviewer-assignment-system/
在評(píng)審過程中，組委會(huì)采取了「期刊式」（journal－like）的評(píng)審方法，即盡可能讓每位區(qū)域主席經(jīng)手盡可能少的論文，并縮短論文的初審時(shí)間，但增加爭(zhēng)議論文的討論時(shí)間。
在組委會(huì)的努力下，有 78% 的論文基于首次評(píng)審的結(jié)果被錄用。而有爭(zhēng)議的論文在經(jīng)過二度評(píng)審后，增加和降低的分?jǐn)?shù)分別為 3.14 和 3.4。
Barzilay 教授根據(jù)本次的評(píng)審結(jié)果，總結(jié)出兩個(gè)結(jié)論，
一個(gè)是，初審結(jié)果很大程度上決定了論文的去留；
另一個(gè)是，二度討論將對(duì) 22% 的論文進(jìn)行再次研究。
她認(rèn)為，應(yīng)該將更多的時(shí)間留給有爭(zhēng)議的論文，而不是兩頭（很快能確定是否錄用）的論文上。
非常有意思的是，Barzilay 教授也提及了論文評(píng)語常見的一些關(guān)鍵詞（如下圖所示），不難看出，將論文寫得清晰明白，論據(jù)翔實(shí)，并且有獨(dú)到的觀點(diǎn)，是論文篩選的重要標(biāo)準(zhǔn)。（敲黑板！論文下一次能不能中，就看同學(xué)們能不能記住這三點(diǎn)了！）
最后，Barzilay 教授動(dòng)情地回憶了她 20 年前第一次參加 ACL 1997 時(shí)的經(jīng)歷，她表示，在參加完那次會(huì)議后，她確定了接下來要走的路——繼續(xù)在計(jì)算機(jī)語言學(xué)和自然語言處理領(lǐng)域深耕，并且 20 年如一日，一直到今天。以此，她勉勵(lì)在座的同學(xué)們?cè)诖髸?huì)期間也能有更多的思考，或許這些啟示甚至能影響自己未來的職業(yè)生涯。
在開幕式的最后環(huán)節(jié)，ACL 2017 主席 Joakim Nivre 做了大會(huì)主題報(bào)告，他以生動(dòng)幽默的語言描述了 ACL 上三個(gè)值得高度關(guān)注的問題。
在會(huì)上，Nivre 教授引用了兩段話來闡述公平性和多樣性的重要程度。
不論是接受或是拒絕進(jìn)入科學(xué)的大門，這并不取決于對(duì)方的個(gè)人或社會(huì)屬性……種族，民族，宗教，階級(jí)和個(gè)人素質(zhì)等都無關(guān)緊要。——Robert K. Merton
科學(xué)家，心理學(xué)家，社會(huì)學(xué)家、經(jīng)濟(jì)學(xué)家和人口學(xué)家們數(shù)十年的研究表明，社會(huì)多樣化的群體（即具有不同人種、民族、性別和性取向的種族）比同類群體更具創(chuàng)新性。——Katherine W. Phillips 在 2014 年 10 月的《科學(xué)美國人》上所發(fā)表的文章《多樣性如何讓我們變得更加聰明》
ACL 全稱為國際計(jì)算機(jī)語言學(xué)協(xié)會(huì)（Association for Computational Linguistics），在 ACL Fellow 和組委會(huì)成員的甄選上，協(xié)會(huì)采取了全新的標(biāo)準(zhǔn)，以避免可能存在的偏見，并且增加了人群的多樣性。此外在議程的設(shè)置上，正像前文雷鋒網(wǎng) AI 科技評(píng)論所提及的 KiddleCorp 以及 WiNLP 一樣，都是凸顯公平性與多樣性的活動(dòng)。
Publishing and Reviewing——出版與評(píng)審
ACL 協(xié)會(huì)為了促進(jìn)公平性，在論文的篩選上采用的是雙盲同行評(píng)審的模式。但由于類似 arXiv 這樣的平臺(tái)出現(xiàn)，實(shí)際上雙盲評(píng)審也不總是能夠奏效。例如在 EMNLP 2017 所做的一項(xiàng)研究發(fā)現(xiàn)，在接受調(diào)查的 701 位評(píng)審中，有 30% 的受訪者表示他們能夠正確判斷出一篇論文的作者是誰（很有可能在投遞會(huì)議前，這篇論文就在學(xué)術(shù)圈刷屏了）。
這一討論在官網(wǎng)的 PC Blog 上也有提及，詳見：https://chairs-blog.acl2017.org/2017/03/02/arxiv-and-double-blind-reviewing-revisited/
在演講中，Nivre 教授也總結(jié)了同行評(píng)審所帶來的三個(gè)問題及對(duì)應(yīng)的解決方案：
首先，不斷增加的論文投遞數(shù)讓評(píng)審人不堪重負(fù)，可能會(huì)對(duì)論文評(píng)審質(zhì)量造成影響；
其次，隨著 arXiv 的出現(xiàn)，會(huì)議不再成為討論最新想法的平臺(tái)，時(shí)效性變差；
再者，期刊相比起會(huì)議而言權(quán)威性更加高，那么期刊是否依然是科學(xué)領(lǐng)域的掌門者？
因此，組委會(huì)希望從以下三點(diǎn)入手：
通過預(yù)審環(huán)節(jié)減輕評(píng)審人的負(fù)擔(dān)（并提升質(zhì)量）；
在長文評(píng)審上，設(shè)置滾動(dòng)的截止時(shí)間，采取期刊式的評(píng)審模式；
短文及 poster 可以提交摘要版本。
arXiv 平臺(tái)具有開放性和同行評(píng)審的特點(diǎn)，那么對(duì)于論文作者而言，這一平臺(tái)給他們帶來了多大的便利？針對(duì)這一問題，ACL 進(jìn)行了一次預(yù)印論文與評(píng)審的調(diào)查。
對(duì)參與調(diào)查的 623 名受訪者中，研究者發(fā)現(xiàn)有 22% 的論文作者會(huì)講自己的論文先提交在 arXiv 上；而且有 27% 的受訪者（非常）經(jīng)常引用 arXiv 平臺(tái)上的論文。
調(diào)查的結(jié)論如下：
對(duì)于雙盲評(píng)審，持積極態(tài)度居多；
而對(duì)于一刀切禁止預(yù)印版的發(fā)布，則持謹(jǐn)慎的態(tài)度；
提交預(yù)印版時(shí)提供暫時(shí)匿名的選擇是個(gè)很不錯(cuò)的主意；
在論文中引用預(yù)印版論文則需要規(guī)范的流程；
評(píng)審質(zhì)量是大家最為重視的東西，而這也對(duì)組委會(huì)提出了新的長期和短期的要求。
Good Science——好的科學(xué)
Nivre 教授這里所謂的「Good」，他用兩個(gè)關(guān)鍵詞總結(jié)它所表達(dá)的含義。
一個(gè)是可復(fù)制性（replicability），也就是說，實(shí)驗(yàn)的復(fù)現(xiàn)性要強(qiáng)，能夠通過同樣的測(cè)量手段實(shí)現(xiàn)同樣的效果，具備基準(zhǔn)和公平比較的條件（fast science）；
另一個(gè)是復(fù)現(xiàn)性（reproducibility），即能夠在相似實(shí)驗(yàn)上得到相似的結(jié)果，可以構(gòu)建有效的假說，并且經(jīng)得起反復(fù)測(cè)試和比較分析（slow science）。
最后，Nivre 教授也勉勵(lì)大家，前途是光明的，「Keep up and good work！」
精彩紛呈又信息量滿滿的開幕式就此落下帷幕，在縱覽 ACL 2017 大會(huì)情況外，在座的老師和同學(xué)們也更好地了解了國際計(jì)算機(jī)語言協(xié)會(huì)所作出的努力和思考。接下來的幾天，將會(huì)有超過 300 個(gè)報(bào)告展示陸續(xù)進(jìn)行，更多精彩內(nèi)容敬請(qǐng)關(guān)注雷鋒網(wǎng) AI 科技評(píng)論。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
本專題其他文章
