1.用Python語句存儲數(shù)據(jù)
寫文件時泣洞,我們主要用到 with open() 語句:
with open(name,mode,encoding) as file:? file.write()? # 注意蜗搔,with open() 后面的語句有一個縮進(jìn)
name:包含文件名稱的字符串选浑,比如:‘xiaozhu.txt’;?mode:決定了打開文件的模式,只讀/寫入/追加等;?encoding:表示我們要寫入數(shù)據(jù)的編碼楞泼,一般為 utf-8 或者 gbk ;?file:表示我們在代碼中對文件的命名仓蛆。
用我們前面爬的小豬的例子來看一下宏悦,實際是什么樣的:
from lxml import etreeimport requestsimport timewith open('/Users/mac/Desktop/xzzf.txt','w',encoding='utf-8') as f:? ? for a in range(1,6):? ? ? ? url = 'http://cd.xiaozhu.com/search-duanzufang-p{}-0/'.format(a)? ? ? ? data = requests.get(url).text? ? ? ? s=etree.HTML(data)? ? ? ? file=s.xpath('//*[@id="page_list"]/ul/li')? ? ? ? time.sleep(3)? ? ? ? ? ? for div in file:? ? ? ? ? ? title=div.xpath("./div[2]/div/a/span/text()")[0]? ? ? ? ? ? price=div.xpath("./div[2]/span[1]/i/text()")[0]? ? ? ? ? ? scrible=div.xpath("./div[2]/div/em/text()")[0].strip()? ? ? ? ? ? pic=div.xpath("./a/img/@lazy_src")[0]? ? ? ? ? ? ? ? ? ? ? ? f.write("{},{},{},{}\n".format(title,price,scrible,pic))
將寫入的文件名 xzzf.txt馅而,如果沒有將自動創(chuàng)建逾冬。
/Users/mac/Desktop/xzzf.txt
在前面加了一個桌面的路徑黍聂,它將存在桌面,如果不加路徑身腻,它將存在你當(dāng)前工作目錄中产还。
w:只寫的模式,如果沒有文件將自動創(chuàng)建嘀趟;
encoding='utf-8':指定寫入文件的編碼為:utf-8脐区,一般指定utf-8即可;
f.write("{}? {}? {}? {}\n".format(title,price,scrible,pic))#將 title,price,scrible,pic 的值寫入文件
來看一下存下來的數(shù)據(jù)是怎樣的:
如果你沒有指定文件路徑她按,怎么找寫在本地的文件呢牛隅?給你兩種方法:
1.在 win10 中打開小娜(cortana),搜索你的文件名即可
2.推薦軟件“everything”酌泰,查詢文件更方便快捷媒佣。
這個軟件非常小,百度很容易找到陵刹,但確實是神器用了你會回來感謝我的~
所以還是建議你在寫代碼的時候默伍,老老實實在文件名前面加上你想存放的路徑。什么衰琐,你連路徑怎么寫都不知道巡验?好吧,比如我想把文件存在桌面碘耳,那么怎么查看路徑?
隨便找一個文檔框弛,比如桌面的文檔辛辨, 右鍵 >“屬性”,“位置”后面的信息,就是該文檔所在的路徑了斗搞。
2.文件存為CSV格式
當(dāng)然指攒,你也可以將文件存為 .csv 格式,在 with open() 語句后更改文件后綴即可僻焚。
from lxml import etreeimport requestsimport timewith open('/Users/mac/Desktop/xiaozhu.csv','w',encoding='utf-8') as f:? ? for a in range(1,6):? ? ? ? url = 'http://cd.xiaozhu.com/search-duanzufang-p{}-0/'.format(a)? ? ? ? data = requests.get(url).text? ? ? ? s=etree.HTML(data)? ? ? ? file=s.xpath('//*[@id="page_list"]/ul/li')? ? ? ? time.sleep(3)? ? ? ? ? ? for div in file:? ? ? ? ? ? title=div.xpath("./div[2]/div/a/span/text()")[0]? ? ? ? ? ? price=div.xpath("./div[2]/span[1]/i/text()")[0]? ? ? ? ? ? scrible=div.xpath("./div[2]/div/em/text()")[0].strip()? ? ? ? ? ? pic=div.xpath("./a/img/@lazy_src")[0]? ? ? ? ? ? ? ? ? ? ? ? f.write("{},{},{},{}\n".format(title,price,scrible,pic))
另外允悦,需要注意的是:CSV 每個字段之間要用逗號隔開,所以這里把之前的空格改為了逗號虑啤。
CSV 文件怎么打開隙弛?
一般情況下,用記事本就可以直接打開狞山,如果你直接用 Excel 打開全闷,很有肯能會出現(xiàn)亂碼,就像下面這樣:
Excel 打開 CSV 出現(xiàn)亂碼怎么辦萍启?
在記事本中打開文件
另存為 – 選擇編碼為“ANSI”
再來看看之前的豆瓣TOP250圖書寫入文件:
from lxml import etreeimport requestsimport timewith open('/Users/mac/Desktop/top250.csv','w',encoding='utf-8') as f:? ? for a in range(10):? ? ? ? url = 'https://book.douban.com/top250?start={}'.format(a*25)? ? ? ? data = requests.get(url).text? ? ? ? s=etree.HTML(data)? ? ? ? file=s.xpath('//*[@id="content"]/div/div[1]/div/table')? ? ? ? time.sleep(3)? ? ? ? for div in file:? ? ? ? ? ? title = div.xpath("./tr/td[2]/div[1]/a/@title")[0]? ? ? ? ? ? href = div.xpath("./tr/td[2]/div[1]/a/@href")[0]? ? ? ? ? ? score=div.xpath("./tr/td[2]/div[2]/span[2]/text()")[0]? ? ? ? ? ? num=div.xpath("./tr/td[2]/div[2]/span[3]/text()")[0].strip("(").strip().strip(")").strip()? ? ? ? ? ? scrible=div.xpath("./tr/td[2]/p[2]/span/text()")? ? ? ? ? ? if len(scrible) > 0:? ? ? ? ? ? ? ? f.write("{},{},{},{},{}\n".format(title,href,score,num,scrible[0]))? ? ? ? ? ? else:? ? ? ? ? ? ? ? f.write("{},{},{},{}\n".format(title,href,score,num))
最后存下來的數(shù)據(jù)是這樣的:
好了总珠,這節(jié)課就到這里!