0
由于全球疫情和美國近段時間的動蕩，EMNLP 組委會發布通知，宣布截稿時間延遲 48 小時（6月3日，UTC） ，正在奮筆疾書地趕著 Deadline 的小伙伴們可以稍微松口氣啦 ！
而提交投稿之后，等待大家的就是長達三個多月的審稿期了。在近年來頂會審稿“怪象”層出不窮的背景色下，各位投稿作者們對于今年 EMNLP 的審稿質量想必也是惴惴不安。
這不，不久前 EMNLP 組委會就專門向審稿人發布了一篇建議公告，指出審稿人應該做什么以及不應該做什么，并特別強調“一篇論文的貢獻可以是在效率、泛化能力、可解釋性和許多其它的指標上有所進步。任何令人信服的貢獻都不應該僅僅因為沒有在某些指標上取得最高排名而被拒絕?！?/p>
以下為公告正文內容：
本文旨在為審稿人們提供一些建議，讓我們可以找出最佳的研究工作，在 EMNLP 大會上展示它們，并且提出有建設性的反饋意見，使作者們能進一步改進它們的文章。我們高度贊賞審稿人們做出的大量貢獻，希望讓審稿工作更有益。我們希望所有的作者在閱讀到針對其文章的同行評審意見時，能夠改到醍醐灌頂。
本屆 EMNLP 大會并不是首次試圖培訓審稿人的學術會議。在自然語言處理（NLP）和其它的領域中，許多重要的會議都曾經向審稿人給出建議，在學術期刊評審過程中也是如此。在 NLP 領域中，我們希望重點強調：
ACL 2017 上，NLP領域的領袖級研究者 Mirella Lapata, Marco Baroni, Yoav Artzi, Emily Bender, Joel Tetreault, Ani Nenkova, and Tim Baldwin 等人曾撰寫的「審稿建議漫談」，閱讀地址：Discursive advice，https://acl2017.wordpress.com/2017/02/23/last-minute-reviewing-advice/
NAACL 2018 上給出的審稿教程「兩份優秀的審稿意見示例」，閱讀地址：https://naacl2018.wordpress.com/2018/01/20/a-review-form-faq/
Noah Smith 撰寫的有關同行評審的博文，閱讀地址：https://soundcloud.com/nlp-highlights/77-on-writing-quality-peer-reviews-with-noah-a-smith
煩請大家費點時間瀏覽一下這些優秀的資源。
在這里，我們希望重新強調一些建議/不建議做的事，希望它們能夠幫助審稿人和作者。
首先，請評價論文的貢獻。此時，你應該用到你在 NLP 領域的專業知識。我們建議你不應該僅僅因為作者在論文中給出的實驗結果較好，或者在數學上似乎很復雜就接收論文。這都不是論文構成貢獻的充分或必要條件。
同時，我們還建議你不應該僅僅因為有些論文的實驗結果沒有比目前最佳的工作（SOTA）好就拒掉它們。在之前的 ACL 大會上，一些審稿人過于看重 SOTA 的模型性能，他們給任何沒有達到 SOTA 性能的系統都打了低分。
然而，我們的目的是發表真正最好的論文，那么一個具有建設性的問題就是「論文應該在哪些方面最先進？」。正如博文「Peer review in NLP: reject-if-not-SOTA」中所談到的，一篇論文的貢獻可以是在效率、泛化能力、可解釋性和許多其它的指標上有所進步。任何令人信服的貢獻都不應該僅僅因為沒有在某些指標上取得最高的排名而被拒絕。博文地址：https://hackingsemantics.xyz/2020/reviewing-models/關于不同類型的貢獻，馬里蘭大學的 Philip Resnik 教授曾說:
我認為，鼓勵審稿人們明確地思考貢獻的本質，以及「我們真正需要提出的問題是什么」是非常有意義的。首先，你應該考慮/討論：
這份研究工作是否在科學方面有所貢獻？如果有的話，請繼續追問：
作者試圖提升我們對世界上什么現象的理解？
對于這個之前未知的現象，現在我們有了什么了解？
這份研究工作是否在工程方面有所貢獻？如果有的話，請繼續追問：
這份工作在解決什么現實世界中的問題（或一系列問題）上取得了進步？
或者沒如果它針對的不是一個當前的現實問題，那么它將在未來幫助解決哪些現實問題？
這份工作是否在理論方面（例如，數學上）有所貢獻？如果有的話，請繼續追問：
我們現在是否知道什么之前不知道的東西？
這份工作在理論或數學上的進展與科學或工程上的目標有什么聯系？（見上文）
計算語言學的工作可能在科學、工程、理論方面都有所貢獻，而不僅僅是在某一個方面有所貢獻。但是，我建議，如果一篇論文在上述三個方面都沒有任何貢獻，而在下面的子條目中可以找到答案，那么你就需要認真考慮這篇論文的內容是否與本會議的要求相符。
其次，在閱讀論文和撰寫審稿意見時，請考慮下面這些重要的因素：
論文提出了什么學術觀點，論文的哪些內容對這些觀點起了什么支撐作用？如果論文提出了觀點 X 并取得了一定的性能提升，那么這種性能提升是否真的是由 X 帶來的？
審稿意見要詳細具體。例如，如果你認為作者忽略了一些需要引用的關鍵論文，請在你的審稿意見中將這些參考文獻列出來。引用這些文獻可能對你來說是顯而易見的，但是作者往往并不這么清楚。詳細的審稿意見可以幫助作者制定一份有力的針對審稿意見的應對方案，并在他們的論文中解決這些問題。值得注意的是，作者并不一定要引用或對比同時期的其它工作（即在論文提交三個月內出現的其它文獻），特別是在這些論文沒有在經過同行評審的平臺上發表的情況下。
請提出具有建設性的建議。指出論文在哪些方面做得不好，可能在評審時起到把關性的作用（給出拒稿的理由），但是這樣做對作者的幫助就沒有那么大了。給出一些關于作者可以如何改進這些存在問題的方面的建議，則可以讓他們把工作做得更好。
即使在批評的時候，也請注意使用友善的語言。審稿人可能會很容易變得有些激動，寫出一些你永遠不會當著別人的面說的不禮貌的話。請盡量在你的審稿意見中保持禮貌。最后需要注意的是，現在越來越多的作者會在社交媒體上公開評審意見（尤其是當這些評審意見以不切實際的理由拒掉這些論文時）。
因此，我們建議審稿人不應該基于下面的原因拒掉一篇論文：
論文的語言或寫作風格。請重點關注論文的實質性內容。我們理解，有時論文的語言或寫作風格很差，以至于審稿人無法弄懂論文的內容和實質。在這種情況下，拒稿是可以的，但你只有在努力弄懂這篇論文后才能這么做。
論文的研究工作針對的語言不是英語。我們關注的是針對任何語言的自然語言處理。
論文的實驗結果并不比 SOTA 的工作好。請根據上文和「Peer review in NLP: reject-if-not-SOTA」（https://hackingsemantics.xyz/2020/reviewing-models/）中給出的建議，查看論文的貢獻和發現。
論文沒有使用某類特定的方法（例如，深度學習）。好的工作并不要求一定要使用某種特定的方法。請說明為什么需要這種方法。想想這篇論文的貢獻是什么，請牢記：使用多種方法并不是一件壞事。
論文的方法過于簡單。我們的目的是不要設計出最為復雜的方法。在這里，請再想想論文的貢獻和發現是什么。通常，使用最簡單的方法完成的論文的引用量是最多的。如果某種簡單的方法比以前的工作中更復雜的方法性能更好，那么這通常是一個重要的發現。
論文的主題范圍較窄或者過時。請保持開放的心態。我們并不希望整個研究社區都爭相研究同一個火熱的話題。請關注論文的貢獻，想想它對我們的研究社區有何影響。
如果論文的主題是全新的，這樣一來我們就沒有現有的對比工作，或者所有現有的工作都是在另外的領域完成的。我們需要對涉足新領域的論文保持興趣。論
文介紹的是研究資源。在像 NLP 這樣依賴于有監督機器學習的領域中，數據集的開發與建模工作同等重要。博文「Peer review in NLP: resource papers」（https://hackingsemantics.xyz/2020/reviewing-data/）討論了接收/駁回一篇描述研究資源的論文的原則，大家可參考。
當你撰寫審稿意見時，請避免根據上述理由作為拒稿理由的主要原則。我們將確保作者知曉這些準則，并且在作者撰寫反駁意見的時候參考它們。領域主席（AC）們將基于上面的原則仔細審核審稿意見，并且可以要求審稿人修改審稿意見，或者提供客觀的理由來證明其立場。
我們希望這些建議對于審稿人有所幫助，同時也希望有更多的作者對審稿人給出的深刻反饋表示感謝，我們希望抱怨評審意見的審稿人少一些。感謝各位幫助我們評審論文，讓我們一同努力，辦出一屆成功的 EMNLP 2020 大會！
相關閱讀資源：
如果你想要閱讀更多有關審稿的通用建議，我們向你推薦以下資源：
NeurIPS不僅僅指導審稿人應該在審稿意見中包含什么內容，同時還在「審稿人指南」中給出了一些實用的審稿意見范例。這些審稿意見是根據「論文的貢獻」、「論文的質量」、「清晰度」、「原創性」、「重要性」等評價標準組織的。這對于新的審稿人和作者都是非常實用的。閱讀地址：https://nips.cc/Conferences/2019/PaperInformation/ReviewerGuidelines
ICML給出了一些優秀審稿意見的范例。請參閱「審稿人指南」的第二部分，閱讀地址：https://icml.cc/Conferences/2020/ReviewerGuidelines
PatThomson 寫過一篇關于期刊評審的博文「peer reviewing your first paper」 ，這與會議審稿有著大致相似的程序。文章分為三部分，包括如何批判性地閱讀論文，如何確定需要進行的修改和寫給 PC 的處理建議，如何撰寫有建設性的反饋意見。閱讀地址：https://patthomson.net/2019/10/14/reviewing-your-first-paper/
Wiley出版集團發布了一個「給審稿新手的十個小建議」講解視頻，觀看地址：https://players.brightcove.net/3806881048001/rFXiCa5uY_default/index.html?videoId=4518165477001。你也可以通過下面的鏈接查看文字版：https://authorservices.wiley.com/asset/photos/reviewers.html/journal-reviewers.html/Top_Tips_for_Peer_Review.pdf。
其中，第八條建議對于所有人都是很實用的：「首先看看結語」。Wiley 之所以提倡這么做，是因為結語往往會讓你很好的把握這份研究是否在其領域內取得了令人激動的進展。另一個這樣做的理由是，看看論文作者聲稱他們做了些什么：結語與摘要和引言不同，后者可能做出比論文實際能夠支撐的結果更令人印象深刻的論述。
愛思唯爾出版集團的「Researcher Academy」制作了一段有關「如何寫出一份有用的同行評審意見」的視頻，觀看地址：https://researcheracademy.elsevier.com/navigating-peer-review/certified-peer-reviewer-course/31-write-helpful-peer-review-report。這段視頻是由「柳葉刀全球健康」期刊的創始編輯和開源期刊主編 Zo? Mullan 進行講解，大家可參考。
一篇早期在「美國醫學協會雜志」（JAMA）上發表的文章提出了一些有關論文評審的有趣觀點，例如「是什么造就了一名優秀的審稿人和一篇優秀的醫學雜志審稿意見？」，閱讀地址：https://jamanetwork.com/journals/jama/fullarticle/187762
閱讀上面提到的任何文章和視頻都將會讓你樹立信心，讓你相信自己在做正確的事情。雷鋒網
在這份官方建議的指導下，今年“放榜”之際， EMNLP 的審稿人們是否會讓大家失望了？
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
