Python (判斷網(wǎng)頁編碼類型)爬取網(wǎng)站

import requests
import chardet

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 
Safari/537.36',
}
response = requests.get('http://www.baidu.com/',headers =headers )
 # print response.content

判斷網(wǎng)頁的編碼類型

print chardet.detect(response.content)['encoding']

# print chardet.detect(response.content)

結(jié)果:

    >>   utf-8
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末碱茁,一起剝皮案震驚了整個(gè)濱河市凭涂,隨后出現(xiàn)的幾起案子匪凉,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,470評(píng)論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件欺旧,死亡現(xiàn)場(chǎng)離奇詭異昔汉,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)嘁灯,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,393評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門泻蚊,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人丑婿,你說我怎么就攤上這事性雄。” “怎么了羹奉?”我有些...
    開封第一講書人閱讀 162,577評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵秒旋,是天一觀的道長。 經(jīng)常有香客問我诀拭,道長迁筛,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,176評(píng)論 1 292
  • 正文 為了忘掉前任耕挨,我火速辦了婚禮细卧,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘筒占。我一直安慰自己贪庙,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,189評(píng)論 6 388
  • 文/花漫 我一把揭開白布翰苫。 她就那樣靜靜地躺著止邮,像睡著了一般。 火紅的嫁衣襯著肌膚如雪奏窑。 梳的紋絲不亂的頭發(fā)上导披,一...
    開封第一講書人閱讀 51,155評(píng)論 1 299
  • 那天,我揣著相機(jī)與錄音埃唯,去河邊找鬼盛卡。 笑死,一個(gè)胖子當(dāng)著我的面吹牛筑凫,可吹牛的內(nèi)容都是我干的滑沧。 我是一名探鬼主播并村,決...
    沈念sama閱讀 40,041評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼滓技!你這毒婦竟也來了哩牍?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,903評(píng)論 0 274
  • 序言:老撾萬榮一對(duì)情侶失蹤令漂,失蹤者是張志新(化名)和其女友劉穎膝昆,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體叠必,經(jīng)...
    沈念sama閱讀 45,319評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡荚孵,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,539評(píng)論 2 332
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了纬朝。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片收叶。...
    茶點(diǎn)故事閱讀 39,703評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖共苛,靈堂內(nèi)的尸體忽然破棺而出判没,到底是詐尸還是另有隱情,我是刑警寧澤隅茎,帶...
    沈念sama閱讀 35,417評(píng)論 5 343
  • 正文 年R本政府宣布澄峰,位于F島的核電站,受9級(jí)特大地震影響辟犀,放射性物質(zhì)發(fā)生泄漏俏竞。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,013評(píng)論 3 325
  • 文/蒙蒙 一堂竟、第九天 我趴在偏房一處隱蔽的房頂上張望胞此。 院中可真熱鬧,春花似錦跃捣、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,664評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至刁赦,卻和暖如春娶聘,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背甚脉。 一陣腳步聲響...
    開封第一講書人閱讀 32,818評(píng)論 1 269
  • 我被黑心中介騙來泰國打工丸升, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人牺氨。 一個(gè)月前我還...
    沈念sama閱讀 47,711評(píng)論 2 368
  • 正文 我出身青樓狡耻,卻偏偏與公主長得像墩剖,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子夷狰,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,601評(píng)論 2 353

推薦閱讀更多精彩內(nèi)容

  • 字符集和編碼簡介 在編程中常沉朐恚可以見到各種字符集和編碼,包括ASCII,MBCS,Unicode等字符集沼头。確切的說...
    蘭山小亭閱讀 8,488評(píng)論 0 13
  • 大概每個(gè)人在使用軟件時(shí)都遇到過亂碼的問題爷绘,這是由于字符的編碼和解碼方式不一致導(dǎo)致,我們知道計(jì)算機(jī)只認(rèn)識(shí)二進(jìn)制數(shù)據(jù)进倍,...
    楚客閱讀 1,421評(píng)論 1 9
  • 可以看我的博客 lmwen.top 或者訂閱我的公眾號(hào) 簡介有稍微接觸python的人就會(huì)知道土至,python中...
    ayuLiao閱讀 3,113評(píng)論 1 5
  • 工作閑暇,帶我的工友猾昆,一位30歲老哥過來和我嘮嗑陶因,問我來公司幾天感覺如何,有沒有要繼續(xù)跳的想法毡庆。我無奈一笑坑赡,回復(fù)說...
    傍晚_有陽光閱讀 160評(píng)論 0 0
  • 失眠又開始出現(xiàn)了,這幾天霧霾非常的嚴(yán)重么抗,空氣質(zhì)量都已爆表毅否,可人們還在不停歇的奔波著,而我還是一無所獲到處瞎撞蝇刀,哎…...
    小爪1002閱讀 142評(píng)論 0 0