文件傳輸后完整性檢查-md5值校驗 2020-04-27

?????:md5值是測序文件或者其它文件檢驗傳輸前后數(shù)據(jù)是否完整的重要指標(biāo)


現(xiàn)以從NCBI下載的數(shù)據(jù)集為例說明

  • 下載完成后會有下述文件


    image.png

文件中有md5checksums.txt 為對應(yīng)原始的md5值

$ cat md5checksums.txt
41b9c2fabe7ff8a07ea90d8a44762cfc  ./GCA_010614865.1_ASM1061486v1_assembly_report.txt
cbb41b998a6f787dcf2e901b2b8a75a7  ./GCA_010614865.1_ASM1061486v1_assembly_stats.txt
ba9347531cb06c0eecac9b27f0e86668  ./GCA_010614865.1_ASM1061486v1_genomic.fna.gz
f53d37be53acf20f5260602109629965  ./GCA_010614865.1_ASM1061486v1_genomic.gbff.gz
ccaf29fa415387ec51c7dfde3a0b8aba  ./GCA_010614865.1_ASM1061486v1_genomic_gaps.txt.gz
f30b503a02eb9663db898c7f3dfb7c83  ./GCA_010614865.1_ASM1061486v1_rm.out.gz
e5281c109653d42ec9e985948ebd6ff6  ./GCA_010614865.1_ASM1061486v1_rm.run
2e240f0efbbc3a123d87675f4fadb93e  ./GCA_010614865.1_ASM1061486v1_wgsmaster.gbff.gz
7e7ff6850a5e44f97647742785e2d246  ./annotation_hashes.txt
eb4c13bd5287cd90a3b3a0b4045a9271  ./GCA_010614865.1_ASM1061486v1_feature_count.txt.gz
  • 在Linux系統(tǒng)下, 自帶有md5sum這個工具,在命令行終端可以直接調(diào)用md5sum
$ md5sum --help
用法:md5sum [選項]... [文件]...
顯示或檢查 MD5(128-bit) 校驗和。
若沒有文件選項,或者文件處為"-"掩驱,則從標(biāo)準(zhǔn)輸入讀取逝钥。

  -b, --binary      以二進制模式讀取
  -c, --check       從文件中讀取MD5 的校驗值并予以檢查
  -t, --text        以純文本模式讀取(默認)
  Note: There is no difference between binary and text mode option on GNU system.

以下三個選項在進行校驗時非常有用:
      --quiet       不為校驗成功的文件輸出OK
      --status      不輸出任何內(nèi)容,使用退出狀態(tài)號顯示成功
  -w, --warn        對格式不準(zhǔn)確的校驗和行進行警告

      --help        顯示此幫助信息并退出
      --version     顯示版本信息并退出

校驗和會按照RFC 1321 規(guī)范生成。當(dāng)進行檢查時蚌本,給出的輸入格式應(yīng)該和程序的輸出
樣板格式相同算途。默認的輸出模式時輸出一行校驗和的校驗結(jié)果塞耕,并有一個字符來
表示文件類型("*"代表二進制," "代表純文本)嘴瓤,并同時顯示每個文件的名稱扫外。

請向bug-coreutils@gnu.org 報告md5sum 的錯誤
GNU coreutils 項目主頁:<http://www.gnu.org/software/coreutils/>
GNU 軟件一般性幫助:<http://www.gnu.org/gethelp/>
請向<http://translationproject.org/team/zh_CN.html> 報告md5sum 的翻譯錯誤
要獲取完整文檔,請運行:info coreutils 'md5sum invocation'
  • 檢驗傳輸后得到的文件的md5值是否和源文件的md5值一致
$ md5sum ./GCA_010614865.1_ASM1061486v1_genomic.gbff.gz
f53d37be53acf20f5260602109629965  ./GCA_010614865.1_ASM1061486v1_genomic.gbff.gz
md5sum annotation_hashes.txt
84dfceef9612124152a24231102edc1e  annotation_hashes.txt

此例發(fā)現(xiàn) annotation_hashes.txt的md5值和原始的不一致


特別注意廓脆,每一次上傳或下載文件都會得到對應(yīng)的md5值筛谚,即文件從A機器到B機器然后到C機器文件得到的md5值都不同,只有在C機器中用md5.txt的md5值和C機器用md5sum檢測得到的md5值進行校驗狞贱,吻合則傳輸過程無損

  • 批量校驗可在md5.txt的當(dāng)前目錄下使用md5sum -c md5.txt
$ md5sum -c md5.txt
Clean/AA-410_1.fq.gz: 確定
Clean/AA-410_2.fq.gz: 確定
Clean/AA-408_1.fq.gz: 確定
Clean/AA-408_2.fq.gz: 確定
Clean/AA-409_1.fq.gz: 確定
Clean/AA-409_2.fq.gz: 確定
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末刻获,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子瞎嬉,更是在濱河造成了極大的恐慌蝎毡,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,539評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件氧枣,死亡現(xiàn)場離奇詭異沐兵,居然都是意外死亡,警方通過查閱死者的電腦和手機便监,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,594評論 3 396
  • 文/潘曉璐 我一進店門扎谎,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人烧董,你說我怎么就攤上這事毁靶。” “怎么了逊移?”我有些...
    開封第一講書人閱讀 165,871評論 0 356
  • 文/不壞的土叔 我叫張陵预吆,是天一觀的道長。 經(jīng)常有香客問我胳泉,道長拐叉,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,963評論 1 295
  • 正文 為了忘掉前任扇商,我火速辦了婚禮凤瘦,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘案铺。我一直安慰自己蔬芥,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,984評論 6 393
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著坝茎,像睡著了一般涤姊。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上嗤放,一...
    開封第一講書人閱讀 51,763評論 1 307
  • 那天思喊,我揣著相機與錄音,去河邊找鬼次酌。 笑死恨课,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的岳服。 我是一名探鬼主播剂公,決...
    沈念sama閱讀 40,468評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼吊宋!你這毒婦竟也來了纲辽?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,357評論 0 276
  • 序言:老撾萬榮一對情侶失蹤璃搜,失蹤者是張志新(化名)和其女友劉穎拖吼,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體这吻,經(jīng)...
    沈念sama閱讀 45,850評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡吊档,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,002評論 3 338
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了唾糯。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片怠硼。...
    茶點故事閱讀 40,144評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖移怯,靈堂內(nèi)的尸體忽然破棺而出香璃,到底是詐尸還是另有隱情,我是刑警寧澤舟误,帶...
    沈念sama閱讀 35,823評論 5 346
  • 正文 年R本政府宣布葡秒,位于F島的核電站,受9級特大地震影響脐帝,放射性物質(zhì)發(fā)生泄漏同云。R本人自食惡果不足惜糖权,卻給世界環(huán)境...
    茶點故事閱讀 41,483評論 3 331
  • 文/蒙蒙 一堵腹、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧星澳,春花似錦疚顷、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,026評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽阀坏。三九已至,卻和暖如春笆檀,著一層夾襖步出監(jiān)牢的瞬間忌堂,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,150評論 1 272
  • 我被黑心中介騙來泰國打工酗洒, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留士修,地道東北人。 一個月前我還...
    沈念sama閱讀 48,415評論 3 373
  • 正文 我出身青樓樱衷,卻偏偏與公主長得像棋嘲,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子矩桂,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,092評論 2 355

推薦閱讀更多精彩內(nèi)容