0
| 本文作者： 我在思考中 | 2021-10-09 17:24 |
校對(duì) | 琰琰
NeurIPS 2021 近日公布了今年的論文接受情況，收到有效論文投稿 9122 篇，錄用論文2371篇，接收率為26%，創(chuàng)9年來歷史新高。
作為全球最負(fù)盛名的AI學(xué)術(shù)會(huì)議之一，NeurIPS 的學(xué)術(shù)影響力和論文投稿量逐年攀升，截止今年已收到近萬篇論文投稿。與此同時(shí)，NeurIPS 的論文評(píng)審標(biāo)準(zhǔn)和機(jī)制一直存在爭(zhēng)議。早在2014 年就有人提出，NeurIPS 的論文評(píng)審存在嚴(yán)重的質(zhì)量問題，而這些問題可能與審稿人的工作量增大有關(guān)。
2014年是機(jī)器學(xué)習(xí)研究領(lǐng)域最為關(guān)鍵的一年，這一年 NeurIPS 接收了多篇突破性研究論文，涉及有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、結(jié)構(gòu)預(yù)測(cè)多個(gè)方向，這些論文為當(dāng)時(shí)的研究提供了理論、算法和實(shí)驗(yàn)上的證明，在人工智能領(lǐng)域產(chǎn)生了廣泛的影響。
近日，谷歌研究院與劍橋大學(xué)共同發(fā)表文章《Inconsistency in Conference Peer Review: Revisiting the 2014 NeurIPS Experiment》，重新評(píng)估2014年 NeurIPS 的論文審稿情況，以及同行評(píng)議過程存在的不一致性。他們發(fā)現(xiàn)：50% 審稿人的評(píng)分差異來源于主觀因素。
Cortes和 Lawrence 是NeurIPS 2014 會(huì)議的程序主席，他們分析了 NeurIPS 2014 被接收論文7年來的學(xué)術(shù)影響力。
實(shí)驗(yàn)發(fā)現(xiàn)，從2014年至今，如果以引用量為衡量標(biāo)準(zhǔn)，被接收論文的評(píng)分和影響力之間沒有相關(guān)性，而在被拒收的論文之間存在相關(guān)性，這表明，NeurIPS 2014 的論文審查更能識(shí)別質(zhì)量較差的論文，但判斷高質(zhì)量論文的能力一般，對(duì)此，作者認(rèn)為審稿流程的不完善是主要原因，但也不排除審稿人主觀因素的影響。
概述：審稿人對(duì)高質(zhì)量論文不敏感
作者從 NeurIPS 2014 被接收的論文中隨機(jī)抽取10% ，讓兩個(gè)獨(dú)立的項(xiàng)目委員會(huì)分別展開審查，以確定兩個(gè)委員會(huì)的決策是否一致。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，兩個(gè)委員會(huì)得出的決定比隨機(jī)決定要好，但是審稿意見達(dá)成一致的概率很低。
委員會(huì)關(guān)于選擇接收哪些論文的意見不一致，意味著如果獨(dú)立地重新進(jìn)行審稿，大約會(huì)有50%的論文會(huì)得到與之前不同的審稿意見。
為了了解其中的影響因素，作者回顧了2014年的會(huì)議數(shù)據(jù)，并從三個(gè)方面進(jìn)行了深入分析。
首先，會(huì)議期間審稿人的評(píng)分標(biāo)準(zhǔn)進(jìn)行了統(tǒng)一的校準(zhǔn)，這一過程消除了不同審稿人對(duì)量表解釋的偏見，但也量化了每個(gè)審稿人評(píng)分的主觀性。通過仿真研究證實(shí)，這種主觀性是評(píng)審意見不一致的關(guān)鍵因素。
其次，審稿人的評(píng)分是否與論文引用數(shù)相關(guān)。作者在 Semantic Scholar 上收集了約400篇論文的引用數(shù)，并將其作為評(píng)價(jià)論文影響力的指標(biāo)。結(jié)果發(fā)現(xiàn)論文得分與論文最終影響力之間沒有相關(guān)性。
最后是被拒稿的論文分析。作者在Semantic Scholar上搜索同一主要作者的具有類似標(biāo)題的論文，追蹤到了680篇被 NeurIPS 2014 拒稿的論文去向，以及它們的相關(guān)引用數(shù)。結(jié)果發(fā)現(xiàn)，被拒稿的論文的得分和引用數(shù)之間存在相關(guān)性。
根據(jù)上述分析，作者得出結(jié)論：會(huì)議審稿過程中的不一致性是審稿人評(píng)分具有主觀性的結(jié)果。在高分論文中，審稿人的評(píng)分并不能很好地反映后續(xù)論文的引用量；而在低分論文中，審稿人評(píng)分與引用量基本一致，這似乎說明審稿人更擅長(zhǎng)識(shí)別質(zhì)量較差的論文。對(duì)此，作者認(rèn)為可以通過更加明確的評(píng)分標(biāo)準(zhǔn)來多方面評(píng)價(jià)一篇論文，這將使程序主席在指導(dǎo)會(huì)議方面具有更大的靈活性。
NeurIPS 2014 論文的回顧性實(shí)驗(yàn)
在蒙特利爾舉辦的NeurIPS 2014，有2581名與會(huì)者參加會(huì)議、相關(guān)研討會(huì)和講習(xí)班。在評(píng)審過程中，每篇論文會(huì)被分配給一位領(lǐng)域主席和至少三位審稿人，由領(lǐng)域主席和程序主席之間的視頻會(huì)議做出最終的決定。
作者通過隨機(jī)實(shí)驗(yàn)測(cè)試了NeurIPS 2014 同行評(píng)審過程的一致性。他們從1678份提交的投稿中選出了約10% （170 份）的論文，并分別交給兩組委員會(huì)進(jìn)行獨(dú)立審稿。這兩組委員會(huì)的審稿人是隨機(jī)分配的，而領(lǐng)域主席是按照研究領(lǐng)域定向分配的，后者的目的是確保兩組審稿人覆蓋所有相關(guān)的專業(yè)知識(shí)。
如果論文通過初篩，作者會(huì)被通知根據(jù)評(píng)審意見提交兩篇獨(dú)立的反駁意見。其中一個(gè)委員會(huì)接受了論文，則意味著這篇論文被錄用。
一、評(píng)審意見的一致性概率
量化審稿過程中的不一致性有多種方式。作為大會(huì)的程序主席，兩位作者提出了這樣一個(gè)問題：產(chǎn)生不一致決策的論文的百分比是多少。在結(jié)果發(fā)布前一周，他們?cè)赟ciCast上提出了預(yù)測(cè)結(jié)果的問題，引起了激烈的討論。如圖1所示，參與預(yù)測(cè)的人也意識(shí)到審稿過程中可能存在不一致，預(yù)測(cè)的中位數(shù)約為30%。
下表為兩個(gè)評(píng)審委員會(huì)對(duì)論文評(píng)審意見的混淆矩陣。
圖 2：兩個(gè)獨(dú)立的評(píng)審委員會(huì)的平均校準(zhǔn)審稿得分之間的關(guān)系
所上圖所示，在實(shí)驗(yàn)用到的 170 篇論文中，有4篇論文在沒有完成審稿過程的情況下被撤回或拒絕，最終利用166篇論文完成了實(shí)驗(yàn)。其中，兩個(gè)評(píng)審委員會(huì)對(duì)43（25.0%）份論文持不同意見，這與上述推測(cè)基本一致。換而言之，某個(gè)評(píng)審委員會(huì)與另一個(gè)評(píng)審委員會(huì)對(duì)被接收的論文的意見一致的概率為 50%。
在審稿過程中，作者采用 Likert 量表「定量評(píng)估」了審稿人的評(píng)分和結(jié)論。該分?jǐn)?shù)通常由每位審稿人進(jìn)行校準(zhǔn)，以解釋審稿人意見的差異。他們研究了兩個(gè)獨(dú)立評(píng)審委員會(huì)對(duì)每篇論文的平均校準(zhǔn)審稿分?jǐn)?shù)之間的相關(guān)性。分?jǐn)?shù)的散點(diǎn)圖如上圖所示，Pearson相關(guān)性系數(shù) ρ=0.55。
在實(shí)驗(yàn)過程中，作者還跟蹤了提交評(píng)論的時(shí)間。有證據(jù)表明，在審稿意見提交截止日期后收到的審稿意見更短，論文評(píng)分更高，但置信度更低。目前無法確定這是否對(duì)程序委員會(huì)之間的相關(guān)性產(chǎn)生了顯著影響。
關(guān)于一篇論文是否能夠被接收，各評(píng)審委員會(huì)意見達(dá)成一致的概率僅為 50% 左右，表現(xiàn)稍稍優(yōu)于隨機(jī)評(píng)分，這項(xiàng)實(shí)驗(yàn)結(jié)果讓很多人感到震驚，也引起了廣泛的討論。
NeurIPS會(huì)議的接受率通常在23.5%左右，在這種情況下，兩個(gè)審稿委員會(huì)僅有 64% 的概率就書面決定達(dá)成一致，或僅以 23.5% 的概率就接收的論文達(dá)成一致。
二、審稿人評(píng)分的仿真實(shí)驗(yàn)
作者通過總分為10分的Likert量表評(píng)估了 NeurIPS 論文。這種量表存在的一個(gè)典型問題，即不同的審稿人可能會(huì)對(duì)其做出不同的解釋。至少自2005年以后，NeurIPS主席已經(jīng)開始使用他們自己設(shè)計(jì)的規(guī)則校準(zhǔn)審稿人的評(píng)分標(biāo)準(zhǔn)。例如，2006 年主持會(huì)議的 John Platt 使用了正則化最小二乘模型。2013 年，Zoubin Ghaharamani和Max Welling使用了該模型的貝葉斯擴(kuò)展版本。2017 年，NeurIPS 社區(qū)外的 MacKay 等人提出了一種考慮置信度分?jǐn)?shù)的貝葉斯方法。
與Welling和Ghahramani一樣，作者在這項(xiàng)研究中也使用了Platt-Burges模型的貝葉斯版本（高斯過程）。
如圖，每個(gè)審稿分?jǐn)?shù)會(huì)被分解為三個(gè)部分：
其中，y_{i,j} 是第 j 個(gè)審稿人對(duì)第 i 篇論文的評(píng)分。該評(píng)分被分解為第 i 篇論文的客觀質(zhì)量（審稿人對(duì)第 i 篇論文打分相同的部分）。b_j 表示與第j位審稿人相關(guān)的偏移量或偏差，它代表不同的審稿人對(duì)量表的解釋不同。
是審稿人 j 對(duì)論文 i 質(zhì)量的主觀評(píng)估結(jié)果，它反映了某位審稿人與其他審稿人的意見差異。這些意見分歧可能是由于不同的專業(yè)知識(shí)或觀點(diǎn)引起的。
為了檢查這種主觀評(píng)分是否也解釋了兩個(gè)評(píng)審委員會(huì)對(duì)接收論文意見的不一致性，作者建立了一個(gè)簡(jiǎn)單的仿真研究，根據(jù)上文給出的模型對(duì)每篇論文評(píng)分，通過對(duì)100,000個(gè)樣本取平均來估計(jì)對(duì)接收論文意見一致性。
如下圖3，展示了以論文接受率函數(shù)為指標(biāo)的論文接受一致性估計(jì)。假設(shè)三名審稿人有 50% 的主觀性，仿真實(shí)驗(yàn)結(jié)果表明，接收意見一致的期望為 63%，這個(gè)數(shù)據(jù)顯然高于目前觀察到的一致性。從理論上說，盡管總體的實(shí)驗(yàn)樣本量上為 166，但會(huì)議的低接受率（2014 年為23%）意味著在分析兩個(gè)評(píng)審委員會(huì)之間的一致性時(shí)，接收的樣本數(shù)量約為40個(gè)。這導(dǎo)致估計(jì)的標(biāo)準(zhǔn)差約為8%。仿真實(shí)驗(yàn)表明，主觀性是論文審稿意見差異較大的主要原因。綜合考慮校準(zhǔn)模型和仿真實(shí)驗(yàn)結(jié)果，會(huì)議接收論文的準(zhǔn)確率約為61%。
圖 3：設(shè)定主觀性為 50%時(shí)，論文接收率與一致性關(guān)系曲線圖
三、審稿的一致性與相關(guān)性
我們都希望評(píng)審委員會(huì)之間有更大的一致性。畢竟，如果最終的決定不一致，這些決定是否正確的可能性也較小。但反過來，保持一致也并不意味著正確。例如，如果兩個(gè)委員會(huì)都要根據(jù)所包含的參考文獻(xiàn)數(shù)量來選擇要接收接受的論文，那么他們的決定將是一致的，但并不正確。
所以在某種程度上，決策的變化可能也是一件好事：它可以防止特定類型的論文受到一貫的歧視。可以確定的是，同行評(píng)審過程中存在不一致性，這種不一致性與審稿人的主觀評(píng)分相關(guān)。但是，我們也不要過分強(qiáng)調(diào)一致性，以此作為審稿的目標(biāo)。如果能夠確保決策是正確的，同時(shí)保證決策的一致，那么這種一致性就是有益的。
四、被接收論文，是否與引用成正比？
為了確定論文的引用影響，作者在 Semantic Scholar 上檢索了所有被接收的論文，以及它們目前的引用情況。以下為將引用分?jǐn)?shù)通過單調(diào)變換轉(zhuǎn)換而來的引用影響力：
這種轉(zhuǎn)換消除了引用分布的長(zhǎng)尾問題，使引用分?jǐn)?shù)分布更接近高斯分布，能夠利用皮爾遜系數(shù) ρ 進(jìn)行度量相關(guān)性。
作者計(jì)算了校準(zhǔn)后的論文分?jǐn)?shù)和引用影響力之間的相關(guān)性。如圖4 所示，這些分?jǐn)?shù)之間沒有顯著相關(guān)性。在計(jì)算相關(guān)系數(shù)之前，已將差分隱私噪聲添加到值中，模糊了各個(gè)論文的身份。
圖 4：引用影響力與被接收的NeurIPS 2014論文的平均校準(zhǔn)質(zhì)量分?jǐn)?shù)關(guān)系的散點(diǎn)圖
校準(zhǔn)后的論文評(píng)分與被接收論文的引用次數(shù)之間沒有相關(guān)性，是否意味著審稿人無法判斷哪些論文可能更具有影響力？
2013年Welling和Ghahramani的研究引入了一個(gè)單獨(dú)的評(píng)分指標(biāo)。基于這項(xiàng)指標(biāo)，作者要求每位審稿人從論文「可能產(chǎn)生重大影響」或「不太可能產(chǎn)生重大影響」兩個(gè)維度對(duì)論文未來可能產(chǎn)生的影響力做出判斷。最后分析結(jié)果表明，該評(píng)分與被接收論文的引用影響力有統(tǒng)計(jì)上的顯著相關(guān)性，但影響的幅度很小。
圖 5：影響力與被接收的NeurIPS 2014論文的引用量的關(guān)系散點(diǎn)圖
除了論文質(zhì)量和影響力外，作者還要求審稿人為他們的評(píng)審意見提供一個(gè) Likert 量表上的可信度分?jǐn)?shù)。該分?jǐn)?shù)位于在1（「根據(jù)猜測(cè)評(píng)審」）和5（「審稿人十分篤定」）之間。可信度度得分有助于領(lǐng)域主席決定某一特定審稿意見的權(quán)重，以及某篇論文是否需要被重新審稿。
審稿人給出的可信度反映了審稿人的專業(yè)知識(shí)，同時(shí)，可信度分?jǐn)?shù)也是對(duì)論文影響力的初步預(yù)測(cè)。具體來說，該分?jǐn)?shù)在某種程度上反映了論文的某些潛在清晰程度，這種清晰度也可能對(duì)引用影響力產(chǎn)生下游影響。如影響因子是根據(jù)發(fā)表的論文的引用計(jì)數(shù)得出的指標(biāo)，我們通常會(huì)根據(jù)影響因子對(duì)會(huì)議和期刊進(jìn)行排名。但長(zhǎng)期分析表明，NeurIPS 2014接收論文的評(píng)分與論文日后的引用影響力不相關(guān)。
圖 6：論文引用量與平均可信度得分的關(guān)系散點(diǎn)圖
對(duì)此，作者探索了論文評(píng)分和引用次數(shù)之間的關(guān)系，以確定評(píng)審過程中決策的「正確」程度。他們認(rèn)為，如果出現(xiàn)錯(cuò)誤，每次出現(xiàn)的錯(cuò)誤最好不相同，而不是總是因?yàn)橥瑯拥恼`解而拒稿。如果將論文引用數(shù)作為衡量論文質(zhì)量的一個(gè)指標(biāo)，我們會(huì)發(fā)現(xiàn)審稿人沒有在評(píng)分中體現(xiàn)這一點(diǎn)。最后，審稿人的可信度受到論文的特定特征的影響，分析結(jié)果表明，其可信度評(píng)分是衡量論文引用影響力的最佳指標(biāo)。
五、680篇被拒論文分析
在NeurIPS 2014的1678篇投稿中，只有414篇論文被會(huì)議接收。為了追蹤被拒論文的去向，作者在 Semantic Scholar 搜索所有1264篇被拒論文，最終發(fā)現(xiàn)了 680 篇，其中有 177 篇只在arXiv上才能找到；76 篇論文未被發(fā)表，只找到了在線 PDF 版；其它427篇論文在其它會(huì)議或期刊上出版，其論文的去向渠道有AAAI（72篇論文）、AISTATS（57篇論文）、ICML（33篇論文）、CVPR（17篇論文）、之后的 NeurIPS（15篇論文）、JMLR（14篇論文）、IJCAI（14篇論文）、ICLR（13篇論文）、UAI（11篇論文）。
圖 7：被拒的 NeurIPS 論文的去向
被拒論文的得分與其最終引用影響力之間的相關(guān)性如圖8所示。實(shí)驗(yàn)結(jié)果表明，被拒文的質(zhì)量分?jǐn)?shù)與其引用影響力之間的相關(guān)性較弱，但是審稿人評(píng)分似乎與引文影響力確實(shí)存在一定的相關(guān)性。
圖 8：引用量與被拒論文的平均校準(zhǔn)質(zhì)量分?jǐn)?shù)關(guān)系的散點(diǎn)圖
結(jié)語(yǔ)
基于以上問題，作者認(rèn)為NeurIPS 頂會(huì)的評(píng)審過程有必要進(jìn)行重大改革，應(yīng)盡可能地將「質(zhì)量」、「清晰度」、「獨(dú)創(chuàng)性」、「重要性」、「定量評(píng)估」等評(píng)分標(biāo)準(zhǔn)區(qū)分開，以提高審稿人評(píng)審意見的一致性。
隨著機(jī)器學(xué)習(xí)研究規(guī)模的擴(kuò)大，是否在頂級(jí)會(huì)議發(fā)表論文成為了衡量個(gè)人科研能力和貢獻(xiàn)的重要指標(biāo)，然而，對(duì)于剛?cè)胄胁痪玫难芯咳藛T來說，他們無法在短時(shí)間內(nèi)發(fā)表足夠多的論文，這一代理措施將對(duì)審查過程中的不一致性高度敏感。
此外，越來越多的公司開始將頂會(huì)的論文發(fā)表情況作為績(jī)效考核指標(biāo)之一，如果績(jī)效審查在較短的時(shí)間內(nèi)進(jìn)行，這種度量方法也將對(duì)審查過程中的不一致性十分敏感。鑒于這項(xiàng)研究已經(jīng)證實(shí)論文審稿中不一致性的存在，我們應(yīng)該謹(jǐn)慎地將頂會(huì)頂刊論文發(fā)表情況作為衡量個(gè)人科研能力的關(guān)鍵指標(biāo)。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
