大家好膨更！今天我們要聊一個(gè)非趁钫妫火熱的話題：AI技術(shù)如何影響學(xué)術(shù)論文的同行評(píng)審。最近荚守，《自然》雜志一項(xiàng)報(bào)道顯示珍德，可能有越來(lái)越多的研究人員在利用像ChatGPT這類AI聊天機(jī)器人來(lái)幫助他們進(jìn)行同行評(píng)審工作。
這項(xiàng)研究發(fā)表在arXiv預(yù)印本上（https://arxiv.org/abs/2403.07183）矗漾，研究者們分析了自ChatGPT發(fā)布以來(lái)锈候，提交給四個(gè)大型計(jì)算機(jī)科學(xué)會(huì)議的會(huì)議論文的同行評(píng)審報(bào)告。他們發(fā)現(xiàn)敞贡，高達(dá)17%的評(píng)審報(bào)告可能經(jīng)過(guò)了AI聊天機(jī)器人的大幅修改泵琳。但目前還不清楚，研究人員是使用這些工具從頭開始構(gòu)建評(píng)審誊役，還是僅僅用來(lái)編輯和改進(jìn)已有的草稿获列。
我們都知道，AI聊天機(jī)器人有時(shí)候會(huì)生成誤導(dǎo)性或編造的信息蛔垢，這對(duì)于科學(xué)出版來(lái)說(shuō)是一個(gè)巨大的挑戰(zhàn)击孩。畢竟，我們期望的是有經(jīng)驗(yàn)的人類研究者來(lái)評(píng)審這些論文鹏漆。AI聊天機(jī)器人有時(shí)候會(huì)“幻想”巩梢，我們很難判斷它們何時(shí)在“胡說(shuō)八道”，何時(shí)在提供真實(shí)的信息艺玲。
該研究涉及的會(huì)議包括即將在維也納舉行的第十二屆國(guó)際表征學(xué)習(xí)大會(huì)括蝠，以及在新奧爾良、亞特蘭大和新加坡舉辦的其他三個(gè)重要會(huì)議饭聚。盡管《自然》雜志試圖聯(lián)系這些會(huì)議的組織者又跛，但沒(méi)有得到回應(yīng)。
由加州斯坦福大學(xué)的計(jì)算機(jī)科學(xué)家領(lǐng)導(dǎo)的團(tuán)隊(duì)開發(fā)了一種技術(shù)，通過(guò)識(shí)別AI比人類更常用的形容詞來(lái)識(shí)別AI撰寫的文本端幼。通過(guò)比較分析ChatGPT發(fā)布前后提交給相同會(huì)議的超過(guò)146,000篇同行評(píng)審中形容詞的使用情況礼烈，發(fā)現(xiàn)某些積極形容詞的使用頻率顯著增加，例如“值得稱贊的”婆跑、“創(chuàng)新的”此熬、“細(xì)致的”、“復(fù)雜的”、“顯著的”和“多功能的”犀忱。如果評(píng)審給予會(huì)議論文較低的評(píng)級(jí)募谎，或者在截止日期臨近時(shí)提交等，那么這些評(píng)審中最有可能包含這些形容詞阴汇，因此最有可能是AI由聊天機(jī)器人參與撰寫数冬。
Springer Nature出版社的一位發(fā)言人表示，他們要求同行評(píng)審者不要將手稿上傳到生成性AI工具中搀庶，因?yàn)檫@些工具仍然有“相當(dāng)大的局限性”拐纱。Springer Nature還在探索為同行評(píng)審者提供安全的AI工具來(lái)指導(dǎo)他們的評(píng)估。
倫敦大學(xué)的文獻(xiàn)計(jì)量學(xué)官員表示哥倔，研究中的這些流行詞匯的增加“真的非常驚人”秸架。這項(xiàng)工作啟發(fā)他對(duì)2015年至2023年間發(fā)表的同行評(píng)審研究中某些相同形容詞以及一些副詞的使用情況進(jìn)行了分析。分析顯示咆蒿，自ChatGPT出現(xiàn)以來(lái)东抹，包括“值得稱贊的”、“細(xì)致的”和“復(fù)雜的”在內(nèi)的某些術(shù)語(yǔ)的使用顯著增加沃测。研究估計(jì)缭黔，至少有60,000篇2023年發(fā)表的論文的作者在某種程度上使用了AI聊天機(jī)器人，這占到了當(dāng)年所有學(xué)術(shù)研究發(fā)表量的1%以上芽突。
從結(jié)果上看试浙，研究不主張作價(jià)值判斷，也不會(huì)給出結(jié)論說(shuō)明使用AI工具審稿一定是好或是壞寞蚌，這里值得我們注意的是田巴，在出現(xiàn)明確的規(guī)范前，我們要意識(shí)到存在AI參與生成或修改同行評(píng)審的這種情況挟秤，以及AI工具在學(xué)術(shù)出版領(lǐng)域的使用趨勢(shì)可能會(huì)進(jìn)一步上升壹哺。
