Python爬蟲入門 | 6 將爬回來的數(shù)據(jù)存到本地

1.用Python語句存儲數(shù)據(jù)

寫文件時泣洞,我們主要用到 with open() 語句:

with open(name,mode,encoding) as file:? file.write()? # 注意蜗搔,with open() 后面的語句有一個縮進(jìn)

name:包含文件名稱的字符串选浑,比如:‘xiaozhu.txt’;?mode:決定了打開文件的模式,只讀/寫入/追加等;?encoding:表示我們要寫入數(shù)據(jù)的編碼楞泼,一般為 utf-8 或者 gbk ;?file:表示我們在代碼中對文件的命名仓蛆。

用我們前面爬的小豬的例子來看一下宏悦,實際是什么樣的:

from lxml import etreeimport requestsimport timewith open('/Users/mac/Desktop/xzzf.txt','w',encoding='utf-8') as f:? ? for a in range(1,6):? ? ? ? url = 'http://cd.xiaozhu.com/search-duanzufang-p{}-0/'.format(a)? ? ? ? data = requests.get(url).text? ? ? ? s=etree.HTML(data)? ? ? ? file=s.xpath('//*[@id="page_list"]/ul/li')? ? ? ? time.sleep(3)? ? ? ? ? ? for div in file:? ? ? ? ? ? title=div.xpath("./div[2]/div/a/span/text()")[0]? ? ? ? ? ? price=div.xpath("./div[2]/span[1]/i/text()")[0]? ? ? ? ? ? scrible=div.xpath("./div[2]/div/em/text()")[0].strip()? ? ? ? ? ? pic=div.xpath("./a/img/@lazy_src")[0]? ? ? ? ? ? ? ? ? ? ? ? f.write("{},{},{},{}\n".format(title,price,scrible,pic))

將寫入的文件名 xzzf.txt馅而,如果沒有將自動創(chuàng)建逾冬。

/Users/mac/Desktop/xzzf.txt

在前面加了一個桌面的路徑黍聂,它將存在桌面,如果不加路徑身腻,它將存在你當(dāng)前工作目錄中产还。

w:只寫的模式,如果沒有文件將自動創(chuàng)建嘀趟;

encoding='utf-8':指定寫入文件的編碼為:utf-8脐区,一般指定utf-8即可;

f.write("{}? {}? {}? {}\n".format(title,price,scrible,pic))#將 title,price,scrible,pic 的值寫入文件

來看一下存下來的數(shù)據(jù)是怎樣的:

如果你沒有指定文件路徑她按,怎么找寫在本地的文件呢牛隅?給你兩種方法:

1.在 win10 中打開小娜(cortana),搜索你的文件名即可

2.推薦軟件“everything”酌泰,查詢文件更方便快捷媒佣。

這個軟件非常小,百度很容易找到陵刹,但確實是神器用了你會回來感謝我的~

所以還是建議你在寫代碼的時候默伍,老老實實在文件名前面加上你想存放的路徑。什么衰琐,你連路徑怎么寫都不知道巡验?好吧,比如我想把文件存在桌面碘耳,那么怎么查看路徑?

隨便找一個文檔框弛,比如桌面的文檔辛辨, 右鍵 >“屬性”,“位置”后面的信息,就是該文檔所在的路徑了斗搞。

2.文件存為CSV格式

當(dāng)然指攒,你也可以將文件存為 .csv 格式,在 with open() 語句后更改文件后綴即可僻焚。

from lxml import etreeimport requestsimport timewith open('/Users/mac/Desktop/xiaozhu.csv','w',encoding='utf-8') as f:? ? for a in range(1,6):? ? ? ? url = 'http://cd.xiaozhu.com/search-duanzufang-p{}-0/'.format(a)? ? ? ? data = requests.get(url).text? ? ? ? s=etree.HTML(data)? ? ? ? file=s.xpath('//*[@id="page_list"]/ul/li')? ? ? ? time.sleep(3)? ? ? ? ? ? for div in file:? ? ? ? ? ? title=div.xpath("./div[2]/div/a/span/text()")[0]? ? ? ? ? ? price=div.xpath("./div[2]/span[1]/i/text()")[0]? ? ? ? ? ? scrible=div.xpath("./div[2]/div/em/text()")[0].strip()? ? ? ? ? ? pic=div.xpath("./a/img/@lazy_src")[0]? ? ? ? ? ? ? ? ? ? ? ? f.write("{},{},{},{}\n".format(title,price,scrible,pic))

另外允悦,需要注意的是:CSV 每個字段之間要用逗號隔開,所以這里把之前的空格改為了逗號虑啤。

CSV 文件怎么打開隙弛?

一般情況下,用記事本就可以直接打開狞山,如果你直接用 Excel 打開全闷,很有肯能會出現(xiàn)亂碼,就像下面這樣:

Excel 打開 CSV 出現(xiàn)亂碼怎么辦萍启?

在記事本中打開文件

另存為 – 選擇編碼為“ANSI”

再來看看之前的豆瓣TOP250圖書寫入文件:

from lxml import etreeimport requestsimport timewith open('/Users/mac/Desktop/top250.csv','w',encoding='utf-8') as f:? ? for a in range(10):? ? ? ? url = 'https://book.douban.com/top250?start={}'.format(a*25)? ? ? ? data = requests.get(url).text? ? ? ? s=etree.HTML(data)? ? ? ? file=s.xpath('//*[@id="content"]/div/div[1]/div/table')? ? ? ? time.sleep(3)? ? ? ? for div in file:? ? ? ? ? ? title = div.xpath("./tr/td[2]/div[1]/a/@title")[0]? ? ? ? ? ? href = div.xpath("./tr/td[2]/div[1]/a/@href")[0]? ? ? ? ? ? score=div.xpath("./tr/td[2]/div[2]/span[2]/text()")[0]? ? ? ? ? ? num=div.xpath("./tr/td[2]/div[2]/span[3]/text()")[0].strip("(").strip().strip(")").strip()? ? ? ? ? ? scrible=div.xpath("./tr/td[2]/p[2]/span/text()")? ? ? ? ? ? if len(scrible) > 0:? ? ? ? ? ? ? ? f.write("{},{},{},{},{}\n".format(title,href,score,num,scrible[0]))? ? ? ? ? ? else:? ? ? ? ? ? ? ? f.write("{},{},{},{}\n".format(title,href,score,num))

最后存下來的數(shù)據(jù)是這樣的:

好了总珠,這節(jié)課就到這里!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末勘纯,一起剝皮案震驚了整個濱河市局服,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌驳遵,老刑警劉巖淫奔,帶你破解...
    沈念sama閱讀 211,123評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異超埋,居然都是意外死亡搏讶,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,031評論 2 384
  • 文/潘曉璐 我一進(jìn)店門霍殴,熙熙樓的掌柜王于貴愁眉苦臉地迎上來媒惕,“玉大人,你說我怎么就攤上這事来庭《饰担” “怎么了?”我有些...
    開封第一講書人閱讀 156,723評論 0 345
  • 文/不壞的土叔 我叫張陵月弛,是天一觀的道長肴盏。 經(jīng)常有香客問我,道長帽衙,這世上最難降的妖魔是什么菜皂? 我笑而不...
    開封第一講書人閱讀 56,357評論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮厉萝,結(jié)果婚禮上恍飘,老公的妹妹穿的比我還像新娘榨崩。我一直安慰自己,他們只是感情好章母,可當(dāng)我...
    茶點故事閱讀 65,412評論 5 384
  • 文/花漫 我一把揭開白布母蛛。 她就那樣靜靜地躺著,像睡著了一般乳怎。 火紅的嫁衣襯著肌膚如雪彩郊。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,760評論 1 289
  • 那天蚪缀,我揣著相機(jī)與錄音秫逝,去河邊找鬼。 笑死椿胯,一個胖子當(dāng)著我的面吹牛筷登,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播哩盲,決...
    沈念sama閱讀 38,904評論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼前方,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了廉油?” 一聲冷哼從身側(cè)響起惠险,我...
    開封第一講書人閱讀 37,672評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎抒线,沒想到半個月后班巩,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,118評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡嘶炭,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,456評論 2 325
  • 正文 我和宋清朗相戀三年抱慌,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片眨猎。...
    茶點故事閱讀 38,599評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡抑进,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出睡陪,到底是詐尸還是另有隱情寺渗,我是刑警寧澤,帶...
    沈念sama閱讀 34,264評論 4 328
  • 正文 年R本政府宣布兰迫,位于F島的核電站信殊,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏汁果。R本人自食惡果不足惜涡拘,卻給世界環(huán)境...
    茶點故事閱讀 39,857評論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望据德。 院中可真熱鬧鳄乏,春花似錦府蔗、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,731評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽赡译。三九已至仲吏,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間蝌焚,已是汗流浹背裹唆。 一陣腳步聲響...
    開封第一講書人閱讀 31,956評論 1 264
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留只洒,地道東北人许帐。 一個月前我還...
    沈念sama閱讀 46,286評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像毕谴,于是被迫代替她去往敵國和親成畦。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,465評論 2 348

推薦閱讀更多精彩內(nèi)容