Python網(wǎng)絡(luò)爬蟲之Cookie技術(shù)(二)

1?保存Cookie到變量


如果要管理HTTP?Cookie姻灶,需要創(chuàng)建一個包含CookieJar對象的HTTPCookieProcessor處理程序搁吓,可以將不同類型的CookieJar對象傳遞給HTTPCookieProcessor蔑歌,進(jìn)而可以得到不同的Cookie處理佃乘。


下面代碼顯示了如何將獲取到的Cookie變量保存下來薪贫,并打印出來艘狭,如下:



上述代碼中骂远,首先創(chuàng)建了一個CookieJar對象囚霸,用于管理和存儲cookie內(nèi)容,然后將其傳遞到HTTPCookieProcessor中激才;接著拓型,創(chuàng)建一個opener,并將HTTPCookieProcessor對象傳入到opener贸营,這樣在獲取URL時吨述,cookie信息就自動存儲在CookieJar對象中;最后钞脂,將獲取到的cookie值打印出來如下:


從打印結(jié)果來看揣云,cookie內(nèi)容信息就是鍵值對的組合。


2?保存cookie到文件


如果想將cookie信息保存到文件中冰啃,就要用到我們之前將的CookieJar的子類邓夕,例如采用MozillaCookieJar刘莹,直接上代碼:

代碼中最大的不同是在創(chuàng)建CookieJar對象的時候指定一個保存cookie信息的文件,在調(diào)用MozillaCookieJar中的save方法時焚刚,要注意里面的兩個參數(shù)含義点弯,ignore_discard的意思是即使cookies將被丟棄也將它保存下來,ignore_expires的意思是如果在該文件中cookies已經(jīng)存在矿咕,則覆蓋原文件寫入抢肛,在這里,我們將這兩個全部設(shè)置為True碳柱。運行之后捡絮,cookies將被保存到cookie.txt文件中,我們查看一下內(nèi)容:


3?從文件中讀取cookie并訪問


當(dāng)cookie信息保存到本地文件中后莲镣,下次再次訪問該網(wǎng)站時福稳,我們就可以讀取cookie文件信息并訪問網(wǎng)站,上代碼:

4?利用cookie模擬登錄


下面將利用前面講解的cookie方法實現(xiàn)模擬登錄某教育系統(tǒng)瑞侮,進(jìn)而查詢成績?yōu)槔脑玻苯由洗a:


注:以上代碼僅供說明技術(shù)原理所用。


代碼原理是創(chuàng)建帶有cookie變量的opener半火,然后構(gòu)建用戶登錄信息postData越妈,并將其傳入到opener中的open方法中;此時的cookie登錄信息便存儲在cookie變量中慈缔,并將其寫入到外部文件中叮称;最后利用已有登錄信息的opener去訪問成績頁面种玛,便能夠順利拿到包含成績的頁面信息啦藐鹤。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市赂韵,隨后出現(xiàn)的幾起案子娱节,更是在濱河造成了極大的恐慌,老刑警劉巖祭示,帶你破解...
    沈念sama閱讀 206,968評論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件肄满,死亡現(xiàn)場離奇詭異,居然都是意外死亡质涛,警方通過查閱死者的電腦和手機(jī)稠歉,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,601評論 2 382
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來汇陆,“玉大人怒炸,你說我怎么就攤上這事≌贝” “怎么了阅羹?”我有些...
    開封第一講書人閱讀 153,220評論 0 344
  • 文/不壞的土叔 我叫張陵勺疼,是天一觀的道長。 經(jīng)常有香客問我捏鱼,道長执庐,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,416評論 1 279
  • 正文 為了忘掉前任导梆,我火速辦了婚禮轨淌,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘看尼。我一直安慰自己猿诸,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 64,425評論 5 374
  • 文/花漫 我一把揭開白布狡忙。 她就那樣靜靜地躺著梳虽,像睡著了一般。 火紅的嫁衣襯著肌膚如雪灾茁。 梳的紋絲不亂的頭發(fā)上窜觉,一...
    開封第一講書人閱讀 49,144評論 1 285
  • 那天,我揣著相機(jī)與錄音北专,去河邊找鬼禀挫。 笑死,一個胖子當(dāng)著我的面吹牛拓颓,可吹牛的內(nèi)容都是我干的语婴。 我是一名探鬼主播,決...
    沈念sama閱讀 38,432評論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼驶睦,長吁一口氣:“原來是場噩夢啊……” “哼砰左!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起场航,我...
    開封第一講書人閱讀 37,088評論 0 261
  • 序言:老撾萬榮一對情侶失蹤缠导,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后溉痢,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體僻造,經(jīng)...
    沈念sama閱讀 43,586評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,028評論 2 325
  • 正文 我和宋清朗相戀三年孩饼,在試婚紗的時候發(fā)現(xiàn)自己被綠了髓削。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,137評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡镀娶,死狀恐怖立膛,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情汽畴,我是刑警寧澤旧巾,帶...
    沈念sama閱讀 33,783評論 4 324
  • 正文 年R本政府宣布耸序,位于F島的核電站,受9級特大地震影響鲁猩,放射性物質(zhì)發(fā)生泄漏坎怪。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,343評論 3 307
  • 文/蒙蒙 一廓握、第九天 我趴在偏房一處隱蔽的房頂上張望搅窿。 院中可真熱鬧,春花似錦隙券、人聲如沸男应。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,333評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽沐飘。三九已至,卻和暖如春牲迫,著一層夾襖步出監(jiān)牢的瞬間耐朴,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,559評論 1 262
  • 我被黑心中介騙來泰國打工盹憎, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留筛峭,地道東北人。 一個月前我還...
    沈念sama閱讀 45,595評論 2 355
  • 正文 我出身青樓陪每,卻偏偏與公主長得像影晓,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子檩禾,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 42,901評論 2 345

推薦閱讀更多精彩內(nèi)容