python爬蟲----requests的簡單應(yīng)用

1####

Requests 繼承了urllib的所有特性查排。Requests支持HTTP連接保持和連接池俄周,支持使用cookie保持會話,支持文件上傳届巩,支持自動確定響應(yīng)內(nèi)容的編碼,支持國際化的URL和 POST 數(shù)據(jù)自動編碼.
安裝方式

利用 pip 安裝 或者利用 easy_install 都可以完成安裝:

$ pip3 install requests

最基本的GET請求可以直接用get方法

response = requests.get("http://www.baidu.com/")
# 也可以這么寫
# response = requests.request(
    "get", 
    "http://www.baidu.com/"
)

簡單的post請求

import requests

req_url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=null"

#分析表單數(shù)據(jù)
formdata = {
    'i': '老鼠愛大米',
    'from': 'AUTO',
    'to': 'AUTO',
    'smartresult': 'dict',
    'client': 'fanyideskweb',
    'doctype': 'json',
    'version': '2.1',
    'keyfrom': 'fanyi.web',
    'action': 'FY_BY_CLICKBUTTION',
    'typoResult': 'false',
}

#添加請求頭
req_header = {
    'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
}

response = requests.post(
    req_url, 
    data = formdata, 
    headers = req_header
)

#print (response.text)
# 如果是json文件可以直接顯示
print (response.json())

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末份乒,一起剝皮案震驚了整個濱河市恕汇,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌或辖,老刑警劉巖瘾英,帶你破解...
    沈念sama閱讀 217,406評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異颂暇,居然都是意外死亡缺谴,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,732評論 3 393
  • 文/潘曉璐 我一進(jìn)店門耳鸯,熙熙樓的掌柜王于貴愁眉苦臉地迎上來湿蛔,“玉大人,你說我怎么就攤上這事县爬⊙羯叮” “怎么了?”我有些...
    開封第一講書人閱讀 163,711評論 0 353
  • 文/不壞的土叔 我叫張陵财喳,是天一觀的道長察迟。 經(jīng)常有香客問我,道長纲缓,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,380評論 1 293
  • 正文 為了忘掉前任喊废,我火速辦了婚禮祝高,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘污筷。我一直安慰自己工闺,他們只是感情好乍赫,可當(dāng)我...
    茶點故事閱讀 67,432評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著陆蟆,像睡著了一般雷厂。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上叠殷,一...
    開封第一講書人閱讀 51,301評論 1 301
  • 那天改鲫,我揣著相機(jī)與錄音,去河邊找鬼林束。 笑死像棘,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的壶冒。 我是一名探鬼主播缕题,決...
    沈念sama閱讀 40,145評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼胖腾!你這毒婦竟也來了烟零?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,008評論 0 276
  • 序言:老撾萬榮一對情侶失蹤咸作,失蹤者是張志新(化名)和其女友劉穎锨阿,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體性宏,經(jīng)...
    沈念sama閱讀 45,443評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡群井,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,649評論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了毫胜。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片书斜。...
    茶點故事閱讀 39,795評論 1 347
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖酵使,靈堂內(nèi)的尸體忽然破棺而出荐吉,到底是詐尸還是另有隱情,我是刑警寧澤口渔,帶...
    沈念sama閱讀 35,501評論 5 345
  • 正文 年R本政府宣布样屠,位于F島的核電站,受9級特大地震影響缺脉,放射性物質(zhì)發(fā)生泄漏痪欲。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,119評論 3 328
  • 文/蒙蒙 一攻礼、第九天 我趴在偏房一處隱蔽的房頂上張望业踢。 院中可真熱鬧,春花似錦礁扮、人聲如沸知举。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,731評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽雇锡。三九已至逛钻,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間锰提,已是汗流浹背曙痘。 一陣腳步聲響...
    開封第一講書人閱讀 32,865評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 47,899評論 2 370
  • 正文 我出身青樓巢钓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親惩嘉。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,724評論 2 354

推薦閱讀更多精彩內(nèi)容