問題:
昨晚用wget下載文件的時候许帐,不知道為什么,網(wǎng)址最后總是帶上%OD毕谴,導(dǎo)致no found成畦。
事件過程:
1、過程截圖木有了涝开,當(dāng)時用的wget命令如下(-c表示斷點(diǎn)傳續(xù)循帐,-t 5 表示如果下載斷了重試的次數(shù)為5次,這是網(wǎng)上看的舀武,不知道對不對拄养,因?yàn)槲业奈募。瑳]斷過哈哈):
2银舱、然后運(yùn)行上圖的命令是: nohup sh wget.sh &
3瘪匿、結(jié)果就在nohup.out,在這個文件里看到寻馏,網(wǎng)址最后面棋弥,就是$i后面,csv前面總是多個%OD(我的理解是原本會print在屏幕上的過程使用nohup后就不會了诚欠,而是會print到名為nohup.out的文件里顽染,也可以通過>符號自己選擇文件)
解決
網(wǎng)上搜了漾岳,有人說是因?yàn)閾Q行符的問題(腳本運(yùn)行后wget網(wǎng)址末尾多了個%0D的坑 心靈博客 (dngz.net))
我就粗暴的用sed把所有的\r\n (windows下可能出現(xiàn)這樣的換行符)替換成\n
然而問題沒有解決,可能還存在我不知道的格式問題粉寞,我的文件(即上圖中的list.txt)原本是從windows上次到linux的csv文件尼荆。
解決方法是:
在windows下,復(fù)制csv文件里的內(nèi)容仁锯,粘貼到excel里耀找,把excel上傳到linux上,然后用這個文件代替list.txt业崖,問題就解決啦野芒。
windows下的csv文件到集群后我遇到了各種問題,建議還是用excel會更方便双炕。
也有看到說可以用 dos2unix 命令轉(zhuǎn)換文件格式為linux下的格式(好早之前用過狞悲,現(xiàn)在忘記了,好像是 dos2unix filename)妇斤,但是我還沒試過摇锋,有機(jī)會可以嘗試