【Python爬蟲】數(shù)據(jù)保存與讀取

1、 Open方法

  • 使用with open()新建對象
  • 寫入數(shù)據(jù)
 # -*- coding: utf-8 -*-
 # __author__ = 'Carina'


 import requests
 import os
 from lxml import etree

 url = "https://movie.douban.com/subject/26861685/comments"
 r = requests.get(url).text

 s = etree.HTML(r)
 file = s.xpath('//div[@class="comment"]/p/text()')
 # beforepath_ = os.getcwd()  # 獲取當(dāng)前目錄
 # after_path = os.chdir("C:/Users/Carina/Desktop")  #修改目錄
 # print(before_path)
 # print(after_path)
 # 使用open()保存
 with open('C:/Users/Carina/Desktop/pinglun.txt', 'w', encoding='utf-8') as f:  # 使用with創(chuàng)建對象
     for i in file:
         print(i)
         f.write(i)

(1)open方法中可以寫上絕對路徑
(2)使用os庫腕铸,getcwd()查看當(dāng)前目錄,使用chdir()修改目錄

備注:open函數(shù)的打開模式

參數(shù) 用法
r 只讀铛碑。若不存在文件會報錯狠裹。
w 只寫。若不存在文件會自動新建汽烦。
a 附加到文件末尾涛菠。
rb, wb, ab 操作二進制
r+ 讀寫模式打開

2、使用Pandas第三方庫

(1)保存數(shù)據(jù)到Excel
to_excel() :用于將DataFrame保存到Excel

#其中df為DataFrame結(jié)構(gòu)的數(shù)據(jù)撇吞,sheet_name = 'Sheet1'表示將數(shù)據(jù)保存在Excel表的第一張表中
df.to_excel('文件名.xlsx', sheet_name = 'Sheet1') 

讀取Excel數(shù)據(jù)
read_excel() :從excel文件中讀取數(shù)據(jù)

pd.read_excel('文件名.xlsx', 'Sheet1', index_col=None, na_values=['NA'])

(2)保存數(shù)據(jù)到csv文件

  • 導(dǎo)入相關(guān)的庫
  • 將數(shù)據(jù)儲存為DataFrame對象
  • 保存數(shù)據(jù)到csv文件
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(6,3)) #創(chuàng)建隨機值并保存為DataFrame結(jié)構(gòu)
print(df.head())
df.to_csv('file.csv')   #可以是絕對路徑俗冻,若未指明就在當(dāng)前目錄下

提示:
如果運行以上程序出現(xiàn)ImportError: No module named ‘openpyxl’錯誤,需要安裝“openpyxl”模塊牍颈,openpyxl只能操作xlsx文件而不能操作xls文件迄薄。
(pip install openpyxl)

補充知識

1、在10分鐘了解pandas中可以快速了解和學(xué)習(xí)pandas的基本操作
2煮岁、閱讀csv模塊官方文檔讥蔽,了解使用csv模塊保存數(shù)據(jù)的方法

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市画机,隨后出現(xiàn)的幾起案子冶伞,更是在濱河造成了極大的恐慌,老刑警劉巖步氏,帶你破解...
    沈念sama閱讀 219,539評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件响禽,死亡現(xiàn)場離奇詭異,居然都是意外死亡荚醒,警方通過查閱死者的電腦和手機芋类,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,594評論 3 396
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來界阁,“玉大人侯繁,你說我怎么就攤上這事∑潭” “怎么了巫击?”我有些...
    開封第一講書人閱讀 165,871評論 0 356
  • 文/不壞的土叔 我叫張陵禀晓,是天一觀的道長。 經(jīng)常有香客問我坝锰,道長粹懒,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,963評論 1 295
  • 正文 為了忘掉前任顷级,我火速辦了婚禮凫乖,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘弓颈。我一直安慰自己帽芽,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,984評論 6 393
  • 文/花漫 我一把揭開白布翔冀。 她就那樣靜靜地躺著导街,像睡著了一般。 火紅的嫁衣襯著肌膚如雪纤子。 梳的紋絲不亂的頭發(fā)上搬瑰,一...
    開封第一講書人閱讀 51,763評論 1 307
  • 那天,我揣著相機與錄音控硼,去河邊找鬼泽论。 笑死,一個胖子當(dāng)著我的面吹牛卡乾,可吹牛的內(nèi)容都是我干的翼悴。 我是一名探鬼主播,決...
    沈念sama閱讀 40,468評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼幔妨,長吁一口氣:“原來是場噩夢啊……” “哼鹦赎!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起陶冷,我...
    開封第一講書人閱讀 39,357評論 0 276
  • 序言:老撾萬榮一對情侶失蹤钙姊,失蹤者是張志新(化名)和其女友劉穎毯辅,沒想到半個月后埂伦,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,850評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡思恐,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,002評論 3 338
  • 正文 我和宋清朗相戀三年沾谜,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片胀莹。...
    茶點故事閱讀 40,144評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡基跑,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出描焰,到底是詐尸還是另有隱情媳否,我是刑警寧澤栅螟,帶...
    沈念sama閱讀 35,823評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站篱竭,受9級特大地震影響力图,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜掺逼,卻給世界環(huán)境...
    茶點故事閱讀 41,483評論 3 331
  • 文/蒙蒙 一吃媒、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧吕喘,春花似錦赘那、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,026評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至闻察,卻和暖如春胃珍,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背蜓陌。 一陣腳步聲響...
    開封第一講書人閱讀 33,150評論 1 272
  • 我被黑心中介騙來泰國打工觅彰, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人钮热。 一個月前我還...
    沈念sama閱讀 48,415評論 3 373
  • 正文 我出身青樓填抬,卻偏偏與公主長得像,于是被迫代替她去往敵國和親隧期。 傳聞我的和親對象是個殘疾皇子飒责,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,092評論 2 355

推薦閱讀更多精彩內(nèi)容