python爬蟲小工具--快速獲得請(qǐng)求頭

我們?cè)趯懪老x腳本的時(shí)候經(jīng)常要獲取請(qǐng)求頭巫财,但是每次從瀏覽器粘貼到代碼里時(shí)盗似,都要費(fèi)一番功夫來處理格式。

于是寫了一個(gè)請(qǐng)求頭轉(zhuǎn)換的腳本平项,可以將瀏覽器里復(fù)制過來的請(qǐng)求頭字符串轉(zhuǎn)換為字典并輸出赫舒。

import re


def headers_to_dict(headers_str, out_put=True):
    items = headers_str.strip().split('\n')
    headers_dict = {}
    for t in items:
        key, value = re.findall(r'^(\S+):\s*([\s\S]+)$', t)[0]
        headers_dict[key] = value
        if out_put:
            print(f"'{key}': '{value}',")
    return headers_dict

使用說明:

  • headers_str 從瀏覽器復(fù)制的請(qǐng)求頭字符串,使用三個(gè)單引號(hào)
  • out_put 是否輸出格式化的字符串闽瓢,為 True時(shí)會(huì)將每個(gè)鍵值對(duì)以 'key':'value', 的格式輸出接癌,可以直接粘貼到字典中。覺得換行字符串不好看的可以用這個(gè)將請(qǐng)求頭輸出扣讼,然后手動(dòng)粘貼到代碼中缺猛。
  • 返回值,字符串對(duì)應(yīng)的請(qǐng)求頭字典椭符。

使用示例:

headers_to_dict(''':authority: www.reibang.com
:method: GET
:path: /p/b671f67a5960
:scheme: https
accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
accept-encoding: gzip, deflate, br
accept-language: zh-CN,zh;q=0.9
cache-control: max-age=0
if-none-match: W/"0d1384f05bc47dfa8d8d26187e1b3f4f"
referer: http://www.reibang.com/writer
upgrade-insecure-requests: 1
user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36''')

#輸出
"""
':authority': 'www.reibang.com',
':method': 'GET',
':path': '/p/b671f67a5960',
':scheme': 'https',
'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'accept-encoding': 'gzip, deflate, br',
'accept-language': 'zh-CN,zh;q=0.9',
'cache-control': 'max-age=0',
'if-none-match': 'W/"0d1384f05bc47dfa8d8d26187e1b3f4f"',
'referer': 'http://www.reibang.com/writer',
'upgrade-insecure-requests': '1',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
"""

#返回值
"""
{
    ':authority': 'www.reibang.com', 
    ':method': 'GET', 
    ':path': '/p/b671f67a5960', 
    ':scheme': 'https', 
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 
    'accept-encoding': 'gzip, deflate, br', 
    'accept-language': 'zh-CN,zh;q=0.9', 
    'cache-control': 'max-age=0',
    'if-none-match': 'W/"0d1384f05bc47dfa8d8d26187e1b3f4f"', 
    'referer': 'http://www.reibang.com/writer', 
    'upgrade-insecure-requests': '1', 
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
}
"""

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末荔燎,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子销钝,更是在濱河造成了極大的恐慌有咨,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,383評(píng)論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件蒸健,死亡現(xiàn)場(chǎng)離奇詭異座享,居然都是意外死亡婉商,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,522評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門征讲,熙熙樓的掌柜王于貴愁眉苦臉地迎上來据某,“玉大人,你說我怎么就攤上這事诗箍⊙⒆眩” “怎么了?”我有些...
    開封第一講書人閱讀 157,852評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵滤祖,是天一觀的道長(zhǎng)筷狼。 經(jīng)常有香客問我,道長(zhǎng)匠童,這世上最難降的妖魔是什么埂材? 我笑而不...
    開封第一講書人閱讀 56,621評(píng)論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮汤求,結(jié)果婚禮上俏险,老公的妹妹穿的比我還像新娘。我一直安慰自己扬绪,他們只是感情好竖独,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,741評(píng)論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著挤牛,像睡著了一般莹痢。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上墓赴,一...
    開封第一講書人閱讀 49,929評(píng)論 1 290
  • 那天竞膳,我揣著相機(jī)與錄音,去河邊找鬼诫硕。 笑死坦辟,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的章办。 我是一名探鬼主播长窄,決...
    沈念sama閱讀 39,076評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼纲菌!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起疮绷,我...
    開封第一講書人閱讀 37,803評(píng)論 0 268
  • 序言:老撾萬榮一對(duì)情侶失蹤翰舌,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后冬骚,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體椅贱,經(jīng)...
    沈念sama閱讀 44,265評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡懂算,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,582評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了庇麦。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片计技。...
    茶點(diǎn)故事閱讀 38,716評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖山橄,靈堂內(nèi)的尸體忽然破棺而出垮媒,到底是詐尸還是另有隱情,我是刑警寧澤航棱,帶...
    沈念sama閱讀 34,395評(píng)論 4 333
  • 正文 年R本政府宣布睡雇,位于F島的核電站,受9級(jí)特大地震影響饮醇,放射性物質(zhì)發(fā)生泄漏它抱。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,039評(píng)論 3 316
  • 文/蒙蒙 一朴艰、第九天 我趴在偏房一處隱蔽的房頂上張望观蓄。 院中可真熱鬧,春花似錦祠墅、人聲如沸侮穿。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,798評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽撮珠。三九已至,卻和暖如春金矛,著一層夾襖步出監(jiān)牢的瞬間芯急,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,027評(píng)論 1 266
  • 我被黑心中介騙來泰國(guó)打工驶俊, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留娶耍,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,488評(píng)論 2 361
  • 正文 我出身青樓饼酿,卻偏偏與公主長(zhǎng)得像榕酒,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子故俐,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,612評(píng)論 2 350