利用EditThisCookie獲取cookie跳過登陸驗證

參考文獻:利用EditThisCookie獲取cookie跳過登陸驗證(醫(yī)脈通)

EditThisCookie是一款可以管理Chrome瀏覽器中cookies的插件,用戶可以利用EditThisCookie添加,刪除,編輯,搜索翩隧,鎖定和屏蔽cookies。

我們手動登陸醫(yī)脈通后,利用 EditThisCookie 導(dǎo)出 cookie腾窝,并將其保存到一個txt文件中

這時cookie已被我們成功獲取
下一步將cookie附入我們每次的請求,如下代碼所示

cookie_jar = cookielib.MozillaCookieJar()
cookies = open('cookie.txt').read()
for cookie in json.loads(cookies):
    cookie_jar.set_cookie(cookielib.Cookie(version=0, name=cookie['name'],             
    value=cookie['value'], port=None, port_specified=False,   
    domain=cookie['domain'],     domain_specified=False, 
    domain_initial_dot=False, path=cookie['path'], path_specified=True, 
    secure=cookie['secure'], expires=None, discard=True, comment=None, 
    comment_url=None, rest={'HttpOnly': None}, rfc2109=False))

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie_jar),urllib2.HTTPHandler)

urllib2.install_opener(opener)

現(xiàn)在我們已經(jīng)將cokie放入urllib2包中了居砖,以后每次訪問的時候cookielib都會幫我們自動管理cookie虹脯,不需要我們操心啦!悯蝉!

爬蟲

其實cookie不用我們管后归形,爬蟲就是很普通的urllib2的爬蟲了,沒有什么特別的鼻由。

代碼

# -*- coding: utf-8 -*-

import json
import urllib2
import cookielib

from pyquery import PyQuery as pq

class YMT(object):

    def __init__(self):
        """
        讀取從 EditThisCookie 上獲取的cookie
        并將其綁定到 urllib2 上
        以后每次爬蟲訪問網(wǎng)站時都會自動帶上cookie暇榴,不再需要人工參與
        """

        cookie_jar = cookielib.MozillaCookieJar()
        cookies = open('cookie.txt').read()
        for cookie in json.loads(cookies):
            cookie_jar.set_cookie(cookielib.Cookie(version=0, name=cookie['name'], value=cookie['value'], port=None, port_specified=False, domain=cookie['domain'], domain_specified=False, domain_initial_dot=False, path=cookie['path'], path_specified=True, secure=cookie['secure'], expires=None, discard=True, comment=None, comment_url=None, rest={'HttpOnly': None}, rfc2109=False))

        opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie_jar),urllib2.HTTPHandler)
        urllib2.install_opener(opener)

    def _get(self, url):
        """
        :param url: 需要訪問的url
        :return:    返回該url的網(wǎng)頁內(nèi)容
        """

        request = urllib2.Request(url=url)
        request.add_header('Referer', 'http://meddic.medlive.cn/search/search.do')
        response = urllib2.urlopen(request)
        data = response.read()
        return data

    def get_word_translate(self,word):
        """
        :param word: 需要翻譯的英文單詞
        :return: 如果有對應(yīng)英文的中文,則返回該中文翻譯蕉世,否則返回None
        """

        url = 'http://meddic.medlive.cn/search/search.do?word=%s' % word.replace(' ','+')
        html = self._get(url)

        # 用 pyquery 定位翻譯
        q = pq(html)
        paraphrase_list = q('.paraphrase_list')

        for paraphrase in paraphrase_list:
            p = pq(paraphrase)

            if p('.dictionary').text() == '英漢醫(yī)學(xué)短語詞典':
                return p('.dictionary_message').text()

        return None


if __name__ == '__main__':
    ymt = YMT()
    word = 'Whipple disease'
    print ymt.get_word_translate(word)
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末蔼紧,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子狠轻,更是在濱河造成了極大的恐慌奸例,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,539評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件向楼,死亡現(xiàn)場離奇詭異查吊,居然都是意外死亡,警方通過查閱死者的電腦和手機湖蜕,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,594評論 3 396
  • 文/潘曉璐 我一進店門逻卖,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人昭抒,你說我怎么就攤上這事评也。” “怎么了灭返?”我有些...
    開封第一講書人閱讀 165,871評論 0 356
  • 文/不壞的土叔 我叫張陵盗迟,是天一觀的道長。 經(jīng)常有香客問我熙含,道長罚缕,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,963評論 1 295
  • 正文 為了忘掉前任怎静,我火速辦了婚禮怕磨,結(jié)果婚禮上喂饥,老公的妹妹穿的比我還像新娘。我一直安慰自己肠鲫,他們只是感情好员帮,可當(dāng)我...
    茶點故事閱讀 67,984評論 6 393
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著导饲,像睡著了一般捞高。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上渣锦,一...
    開封第一講書人閱讀 51,763評論 1 307
  • 那天硝岗,我揣著相機與錄音,去河邊找鬼袋毙。 笑死型檀,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的听盖。 我是一名探鬼主播胀溺,決...
    沈念sama閱讀 40,468評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼皆看!你這毒婦竟也來了仓坞?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,357評論 0 276
  • 序言:老撾萬榮一對情侶失蹤腰吟,失蹤者是張志新(化名)和其女友劉穎无埃,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體毛雇,經(jīng)...
    沈念sama閱讀 45,850評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡嫉称,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,002評論 3 338
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了灵疮。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片织阅。...
    茶點故事閱讀 40,144評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖始藕,靈堂內(nèi)的尸體忽然破棺而出蒲稳,到底是詐尸還是另有隱情氮趋,我是刑警寧澤伍派,帶...
    沈念sama閱讀 35,823評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站剩胁,受9級特大地震影響诉植,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜昵观,卻給世界環(huán)境...
    茶點故事閱讀 41,483評論 3 331
  • 文/蒙蒙 一晾腔、第九天 我趴在偏房一處隱蔽的房頂上張望舌稀。 院中可真熱鬧,春花似錦灼擂、人聲如沸壁查。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,026評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽睡腿。三九已至,卻和暖如春峻贮,著一層夾襖步出監(jiān)牢的瞬間席怪,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,150評論 1 272
  • 我被黑心中介騙來泰國打工纤控, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留挂捻,地道東北人。 一個月前我還...
    沈念sama閱讀 48,415評論 3 373
  • 正文 我出身青樓船万,卻偏偏與公主長得像刻撒,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子唬涧,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,092評論 2 355