原文：My Criteria for Reviewing Papers
作者：Eric Jang
譯者：尹肖貽
NeurIPS 2020 論文評議結(jié)果公布了。評議統(tǒng)共9454份恩沛，接受論文1900篇（約占20％）缕减。無論論文接受與否，對每位作者與評委的辛勤勞動桥狡，我都表示衷心的感佩！
在機器學習研究圈里流傳著一個公開的秘密：NeurIPS還是其他什么會議部逮，接受與否猶如賭運氣。現(xiàn)今的“學術(shù)出版”業(yè)（Academic Publishing）兄朋，幾乎與實證研究脫節(jié)炬搭。評委們就像的劇院里眾口難調(diào)的觀眾穆桂，各有主張，根據(jù)不同的標準褒貶論文的不同側(cè)面享完。下面列一些評委可能采取的標準：
正確性：這是科學論文的最低要求。本文提出的主張是否在科學意義上正確彼绷？作者是否有意無意地在訓練過程中使用了測試集的信息巍佑？如果論文中提出了一種算法萤衰，作者是否有力地表明，該算法的卓越性出于他們陳述的理由脆栋？
新知識： 論文必須為該領(lǐng)域貢獻新知識洒擦。“新”可以體現(xiàn)為：新算法熟嫩、新實驗數(shù)據(jù)、現(xiàn)有概念的新解釋等等椅邓。綜述性的論文也應(yīng)包含新知識倦蚪，比如將多個工作的脈絡(luò)統(tǒng)一起來，從而形成整體觀點陵且。
恰當引用：闡明該論文與先前工作的聯(lián)系，以及當前工作的創(chuàng)新之處慕购。一些審稿人會拒絕那些未能充分引述先前工作、或與先前工作的區(qū)分度不足的論文获洲。
SOTA結(jié)果： 要求論文（1）提出一種新算法殿如，以及（2）在公認的測試基準（base-line）上達到最好結(jié)果（State-of-the-art）。
僅SOTA是不夠的：沒有評委會因為論文實現(xiàn)SOTA而進行懲罰涉馁，但是有些評委希望論文不僅要超越基準線，還要滿足列表中的更多項標準寒随。一些評委甚至刻意抨擊ML領(lǐng)域的“SOTA”文化。如果一篇論文僅僅符合SOTA結(jié)果而沒有其他特色妻往，會被認為是“創(chuàng)新不足”或“浮皮蹭癢”（incremental）。
足夠簡單：許多研究人員聲稱更喜歡“簡單的想法”纫普。但是好渠，“大道至簡”和“淺陋瑣碎”之間的分野并不總是顯而易見。
足夠復雜：一些審稿人認為晦墙，倘若論文沒有亮眼的算法或花哨的數(shù)學證明，論文就是“瑣碎無聊”或“不夠嚴格”晌畅。
立意清晰、理解深刻：一些評委關(guān)心算法背后的機制棋凳，期待作者能夠深入理解機器學習连躏，而不僅是實驗的成功。這項與“正確性”密切相關(guān)入热。
選題品味： Julian Togelius（NeurIPS20的評審委員會主席） 指出 ，他判過的很多論文绰播，都不足以令他興奮。也許只有他自己知道“令人興奮”的內(nèi)涵蠢箩，不過我揣測他的意思是事甜，在選擇研究問題和解決方案時，要具有“品味”逻谦。
足夠困難：一些審稿人拒絕使用太簡單的數(shù)據(jù)集（如MNIST）做測試基準的論文∑ㄉ＃“足夠困難”是一個不斷變化的目標，它隱含著一個期望栏赴，即隨著該領(lǐng)域發(fā)明更好的方法，測試基準必須變得越來越難竖瘾，以推動人們研究尚未解決的問題。同樣捕传，基于簡單測試基準的SOTA方法并不總是基于更困難的測試基準（更接近于實際應(yīng)用）的SOTA扩劝。僥幸的很，我 引用數(shù)最高的論文 是在MNIST仍可以作為測試基準的時候撰寫的棒呛。
出人預料：即使論文給出不錯的結(jié)果，審稿人也可能聲稱論文稀松平常催什，實驗結(jié)果“顯而易見”。舉個例子蒲凶，有的論文將物體識別的通用算法應(yīng)用在新的數(shù)據(jù)集上拆内。考慮到計算機視覺領(lǐng)域的流行觀點認為有監(jiān)督的物體識別問題已經(jīng)被大部分解決麸恍，那么上述論文可能會被認為“太簡單和直接”搀矫。（物體識別被解決這個觀點并不準確刻肄，但是在測試基準反映不出來。）
我特別喜歡違反直覺的論文卦羡，我也正自努力效仿。 我最喜歡的一些論文绿饵，不僅沒有達到SOTA瓶颠，甚至沒有提出任何新算法，但結(jié)論足夠違反直覺：
- Approximating CNNs with Bag-of-local-Features models works surprisingly well on ImageNet
- Understanding Deep Learning Requires Rethinking Generalization.
- A Metric Learning Reality Check
- Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
- Adversarial Spheres
實用：與“足夠困難的問題”密切相關(guān)要门。一些評論者認為，僅是虛擬的游戲就可以作為強化學習算法的測試平臺欢搜，而另一些評論者（通常來自典型的機器人社區(qū)）則持有不同觀點谴轮，他們認為Mujoco Ant （一種虛擬的四足螞蟻）和真正的四足機器人所面臨的挑戰(zhàn)是完全不同的，因為前者的實驗結(jié)論并不能直接影射后者的表現(xiàn)第步。
符合道德：一些評委將機器學習的發(fā)展視為建立更好社會的手段，拒斥與他們的AI倫理不符的論文廓推。今年NeurIPS要求論文作者考慮“更廣泛的社會影響”，這表明機器學習社區(qū)正在認真對待這項要求樊展。例如堆生，如果論文試圖僅從面部特征推斷犯罪，或執(zhí)行自動武器瞄準淑仆，那么無論采用哪種方法，論文都將被拒絕蔗怠。
不同的審稿人將上述內(nèi)容分配不同的優(yōu)先級吩跋，其中許多標準都是高度主觀的（例如問題偏好渔工、道德規(guī)范、簡潔性等）。對于上述每個標準策治，都有可能存在反例，甚至是引用數(shù)很高或很有影響力的論文通惫，也違反其中的一些標準，可能因為它們對其他標準符合得很好履腋。
我的標準
在此分享我個人對論文的審查標準。接受或拒絕的意見悔政， 主要在于正確性，以及是否包含新信息谋国。 即使某篇論文研究方向相對小眾迁沫，在十年內(nèi)幾無可能成為熱門，只要論述了其他材料沒有提過的新知識集畅，我也將投票接受它。
上述為抽象原則挺智，這里展示幾則具體示例：
- 如果你在論文簡介中提到某種強化學習的類人探索，并發(fā)明了一種算法以完成功能谣辞，那么我希望在實驗部分看到的經(jīng)驗證明沐扳，該算法確與人的行為相似；
- 如果你的算法無法實現(xiàn)SOTA沪摄，我對此并不介意纱烘。但我想看到你仔細分析算法何以無法實現(xiàn)SOTA祈餐，以及算法的動機；
- 當論文提出新算法時帆阳，我更愿意看到該算法的效果比以前的工作更好。但是山宾，如果該論文對“為什么它沒有比以前的工作得分更高”的事實進行了正確的分析，我仍然會投票接受资锰；
- 如果你聲稱新算法由于X原因而工作得更好阶祭，那么我希望看到實驗表明這一結(jié)果不是由于替代假設(shè)X1、X2而引起的濒募。
我必須指出，正確性難以驗證懊缺。在過去的五年中，許多度量學習主題的論文在頂會中錄用鹃两，然而只有 Musgrave等 指出，這些論文之間的實驗基準不一致俊扳。作為審稿人猛遍，我必得提醒自己放低身段，奉命唯謹懊烤。我已經(jīng)審閱了十多個會議和研討會的論文，坦白地說腌紧，憑靠閱讀我僅能了解25％的內(nèi)容。作者們花了數(shù)十乃至數(shù)百個小時号胚，設(shè)計和研發(fā)論文和實驗方法籽慢，而我只花幾個小時來確定論文是否“科學正確”。我的道行箱亿，還不足以掌握嚴格評估正確性的能力。
不管對于論文作者還是審稿人届惋，一個常掛嘴邊的好問題是：“什么實驗可以讓人確信論文的假設(shè)是正確的菠赚，而不是由于某些替代假設(shè)？作者是否檢查了所有的替代假設(shè)锈至？”【譯者：要做充分的Ablation Study译秦。】
我認為筑悴，我們應(yīng)該接受所有“足夠好的”論文，與此同時允許評委保留額外的主觀標準阁吝，諸如“品味”和“簡潔性”，以用于論文評獎装盯、講演、或會議展示埂奈。我不知道是否應(yīng)該讓每個人都認同我的個人標準定躏，不過作為審稿人，我明白無誤地申明接受/拒絕論文的標準痊远，對于論文作者和其他審稿人不無裨益。
非傳統(tǒng)研究人員的機會
如果你有興趣獲得指導碧聪，學習如何更好地閱讀、評論并撰寫論文壤玫，我想補充一下可循例聯(lián)系到我的時段豁护，當前訂在每星期六上午楚里，通過Google Meet線上舉行。在過去的三個月中班缎，我保持對六位同學進行指導她渴，效果不錯。
任何不具有傳統(tǒng)研究背景（當前不處于攻讀機器學習博士學位）的人都可以聯(lián)系我預約時間趁耗。你可以將之視為訪問助教，以獲取研究工作的幫助满葛。以下項目我可以提供，這些幫助項目完全無償：
- 如果閱讀論文時遇到困難嘀韧，我可以嘗試與你一起閱讀，并提出我的想法锄贷，就像我正在審閱它一樣曼月；
- 如果你是新手，不知道從哪里開始哑芹，我可以提供一些入門練習，如閱讀/總結(jié)一些經(jīng)典論文绩衷，復現(xiàn)論文結(jié)果等；
- 我可以嘗試幫你建立良好的研究品味勿决。如果你的研究方向有些激進，我可以幫你降低研究失敗的風險低缩；
- 有關(guān)軟件工程研究的建議。我寫代碼已逾十載咆繁，我可以從經(jīng)驗中給你快速完成實驗的意見；
- 咨詢你自己撰寫的論文的意見银觅，假裝我是觀看你的海報（poster）的觀眾；
- 幫你為撰寫的論文擬定切入主題的吸人眼球的“故事”究驴。
不需要從業(yè)經(jīng)驗匀伏，需要的只是做出更好研究的愿望。我在周六上午的時間對訪客的接受率是100％够颠，所以請勿羞于啟齒！
