參考文獻(xiàn)查重-Python

預(yù)答辯的時(shí)候尤平老師說(shuō)你們幾個(gè)要注意一下卖局,不要有重復(fù)文獻(xiàn)浓若。
于是打算查一下渺杉,200多個(gè)文獻(xiàn),總不能一條一條的查吧挪钓。果斷想到了Python:
參考文獻(xiàn)格式(文獻(xiàn).txt):

[1] SEMENZA G L. Life with Oxygen[J]. Science, 2007, 318(5847): 62–64.
[2] 王建枝, 錢睿哲. 病理生理學(xué)[M]. 人民衛(wèi)生出版社, 2018.
[3] MYLONIS I, SIMOS G, PARASKEVA E. Hypoxia-Inducible Factors and the Regulation of Lipid Metabolism[J]. Cells, 2019, 8(3): 214.
[4] WILSON W R, HAY M P. Targeting hypoxia in cancer therapy[J]. Nature Reviews Cancer, 2011, 11(6): 393–410.

基本思路是只保留作者名是越,然后比較重復(fù)的作者。

import re
with open("文獻(xiàn).txt", "r", encoding = "utf-8") as f:    
    FirstName = []    
    for vLine in f.readlines():        
        try:
            # 將序號(hào)清除掉
            vLineRemoveId = vLine.replace(re.search("\[[\d]*?\]\t", vLine, re.S).group(0), "");
            # 將作者名之外的內(nèi)容清除
            vLineRemovedOther = vLineRemoveId.replace(re.search("\.[\d\D]*", vLineRemoveId, re.S).group(0), "")            
        except:            
            continue
        FirstName.append(vLineRemovedOther)
vDoubleNames = []
for vName in sorted(FirstName): 
    # 和新列表比較碌上,如果在新列表中就說(shuō)明重復(fù)了倚评,將其打印出來(lái)   
    if vName.replace(re.search("[\d]*", vName, re.S).group(0), "") in vDoubleNames:
        print(vName)
    # 如果不在新列表中浦徊,則說(shuō)明第一次出現(xiàn),將其添加進(jìn)新列表中
    else:
        vDoubleNames.append(vName)

運(yùn)行后輸出結(jié)果為:

BARTUZI P, BILLADEAU D D, FAVIER R, et al
DALY N L, SCANLON M J, DJORDJEVIC J T, et al
FURUTA E, PAI S K, ZHAN R, et al
MUNIR R, LISEC J, SWINNEN J V, et al
SEMENZA G L
SVENSSON R U, PARKER S J, EICHNER L J, et al
SWINNEN J V, BRUSSELMANS K, VERHOEVEN G
李曉晨, 王廷正
李曉晨, 王廷正
李金鋼, 何建平, 王廷正
李金鋼, 王廷正
王茁
王鏡巖, 朱圣庚, 徐長(zhǎng)法

把這些名字拿到論文中搜索發(fā)現(xiàn)中文的這幾個(gè)都沒(méi)有重復(fù)天梧,是因?yàn)橄嗤娜艘硕嗥恼驴浴S⑽拿种校齋EMENZA G L都是重復(fù)文獻(xiàn)呢岗,在zotero中看了一下冕香,是因?yàn)槲抑貜?fù)將文獻(xiàn)收進(jìn)了不同的目錄,導(dǎo)致插入文獻(xiàn)的時(shí)候被重復(fù)編號(hào)了后豫。
SEMENZA G L的查詢結(jié)果最讓我吃驚:


諾獎(jiǎng).png

這一看就是個(gè)大佬悉尾,竟然引了他五篇文獻(xiàn),去年諾獎(jiǎng)就是研究低氧的挫酿,果斷去查了一下构眯,不出所料,是其中之一:


諾獎(jiǎng)2.png

好奇心起早龟,查了一下另外兩個(gè)大佬惫霸,結(jié)果一篇都沒(méi)有引= =,等終稿前再看看其它兩個(gè)人的研究葱弟。
等后面有時(shí)間了再優(yōu)化一下壹店,保證篩出來(lái)的一定是重復(fù)文獻(xiàn)。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末翘悉,一起剝皮案震驚了整個(gè)濱河市茫打,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌妖混,老刑警劉巖老赤,帶你破解...
    沈念sama閱讀 218,640評(píng)論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異制市,居然都是意外死亡抬旺,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,254評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門祥楣,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)开财,“玉大人,你說(shuō)我怎么就攤上這事误褪≡瘅ⅲ” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,011評(píng)論 0 355
  • 文/不壞的土叔 我叫張陵兽间,是天一觀的道長(zhǎng)历葛。 經(jīng)常有香客問(wèn)我,道長(zhǎng)嘀略,這世上最難降的妖魔是什么恤溶? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,755評(píng)論 1 294
  • 正文 為了忘掉前任乓诽,我火速辦了婚禮,結(jié)果婚禮上咒程,老公的妹妹穿的比我還像新娘鸠天。我一直安慰自己,他們只是感情好帐姻,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,774評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布稠集。 她就那樣靜靜地躺著,像睡著了一般卖宠。 火紅的嫁衣襯著肌膚如雪巍杈。 梳的紋絲不亂的頭發(fā)上忧饭,一...
    開(kāi)封第一講書(shū)人閱讀 51,610評(píng)論 1 305
  • 那天扛伍,我揣著相機(jī)與錄音,去河邊找鬼词裤。 笑死刺洒,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的吼砂。 我是一名探鬼主播逆航,決...
    沈念sama閱讀 40,352評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼渔肩!你這毒婦竟也來(lái)了因俐?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,257評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤周偎,失蹤者是張志新(化名)和其女友劉穎抹剩,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體蓉坎,經(jīng)...
    沈念sama閱讀 45,717評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡澳眷,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,894評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了蛉艾。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片钳踊。...
    茶點(diǎn)故事閱讀 40,021評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖勿侯,靈堂內(nèi)的尸體忽然破棺而出拓瞪,到底是詐尸還是另有隱情,我是刑警寧澤助琐,帶...
    沈念sama閱讀 35,735評(píng)論 5 346
  • 正文 年R本政府宣布祭埂,位于F島的核電站,受9級(jí)特大地震影響弓柱,放射性物質(zhì)發(fā)生泄漏沟堡。R本人自食惡果不足惜侧但,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,354評(píng)論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望航罗。 院中可真熱鬧禀横,春花似錦、人聲如沸粥血。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,936評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)复亏。三九已至趾娃,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間缔御,已是汗流浹背抬闷。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,054評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留耕突,地道東北人笤成。 一個(gè)月前我還...
    沈念sama閱讀 48,224評(píng)論 3 371
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像眷茁,于是被迫代替她去往敵國(guó)和親炕泳。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,974評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容

  • 一年級(jí)語(yǔ)文上冊(cè)生字表 生字表一(共400字) 啊(ā)愛(ài)(ài)安(ān)岸(àn)爸(bà)八(bā)巴(bā)...
    meychang閱讀 2,798評(píng)論 0 6
  • 今天是星期一上祈,我回到了學(xué)校培遵,心情無(wú)比復(fù)雜,因?yàn)橹苣焊鶝](méi)干什么事情 今天的任務(wù)是10:30-11:30 1.計(jì)算機(jī)...
    2022考研必勝閱讀 186評(píng)論 0 0
  • 今日為大家推薦的文章是 :《今天我要分享一些個(gè)人寫(xiě)作的經(jīng)驗(yàn)》文章作者簡(jiǎn)介:小呆的非正常人類研究中心登刺,寫(xiě)了10469...
    砍柴書(shū)院閱讀 604評(píng)論 1 25
  • 今天是星期天籽腕,我和小明起床了,然后我們準(zhǔn)備去買點(diǎn)早飯吃塘砸,我路過(guò)了一個(gè)烤鴨店节仿,發(fā)現(xiàn)它的烤鴨非常的香,香噴噴的掉蔬,一只只...
    竹子一件一件閱讀 55評(píng)論 0 1