使用chardet檢測網(wǎng)頁的編碼

下載:http://download.csdn.net/download/aqwd2008/4256178

官方地址:http://pypi.python.org/pypi/chardet

如果采用源代碼安裝方法蚣抗,有可能會提示缺少setuptools這個模塊。因此這里我們采用另外一種更為方便的安裝方法瓮下,不論你選擇哪種安裝包翰铡,將它解壓得到其中的文件夾【chardet】將這個文件夾復制到【python安裝根目錄\Lib\site-packages】下,確保這個位置可以被python引用到讽坏。如果不能被引用到請加入環(huán)境變量锭魔。

測試網(wǎng)頁編碼

importurllib

rawdata = urllib.urlopen('http://gs.amac.org.cn/amac-infodisc/res/pof/manager/138.html').read()

importchardet

fencoding= chardet.detect(rawdata)

print fencoding

另外一個高級的代碼

importurllib

fromchardet.universaldetectorimportUniversalDetector

usock?=?urllib.urlopen('http://www.baidu.com/')

#創(chuàng)建一個檢測對象

detector?=?UniversalDetector()

for line in usock.readlines():

#分塊進行測試,直到達到閾值

detector.feed(line)

ifdetector.done:break

#關閉檢測對象

detector.close()

usock.close()

#輸出檢測結(jié)果

printdetector.result

運行結(jié)果:

{'confidence':0.99,'encoding':'GB2312'}

最后編輯于
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末路呜,一起剝皮案震驚了整個濱河市迷捧,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌拣宰,老刑警劉巖党涕,帶你破解...
    沈念sama閱讀 212,686評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異巡社,居然都是意外死亡膛堤,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,668評論 3 385
  • 文/潘曉璐 我一進店門晌该,熙熙樓的掌柜王于貴愁眉苦臉地迎上來肥荔,“玉大人,你說我怎么就攤上這事朝群⊙喙ⅲ” “怎么了?”我有些...
    開封第一講書人閱讀 158,160評論 0 348
  • 文/不壞的土叔 我叫張陵姜胖,是天一觀的道長誉帅。 經(jīng)常有香客問我,道長右莱,這世上最難降的妖魔是什么蚜锨? 我笑而不...
    開封第一講書人閱讀 56,736評論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮慢蜓,結(jié)果婚禮上亚再,老公的妹妹穿的比我還像新娘。我一直安慰自己晨抡,他們只是感情好氛悬,可當我...
    茶點故事閱讀 65,847評論 6 386
  • 文/花漫 我一把揭開白布则剃。 她就那樣靜靜地躺著,像睡著了一般如捅。 火紅的嫁衣襯著肌膚如雪棍现。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 50,043評論 1 291
  • 那天伪朽,我揣著相機與錄音轴咱,去河邊找鬼。 笑死烈涮,一個胖子當著我的面吹牛朴肺,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播坚洽,決...
    沈念sama閱讀 39,129評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼戈稿,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了讶舰?” 一聲冷哼從身側(cè)響起鞍盗,我...
    開封第一講書人閱讀 37,872評論 0 268
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎跳昼,沒想到半個月后般甲,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,318評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡鹅颊,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,645評論 2 327
  • 正文 我和宋清朗相戀三年敷存,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片堪伍。...
    茶點故事閱讀 38,777評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡锚烦,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出帝雇,到底是詐尸還是另有隱情涮俄,我是刑警寧澤,帶...
    沈念sama閱讀 34,470評論 4 333
  • 正文 年R本政府宣布尸闸,位于F島的核電站彻亲,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏吮廉。R本人自食惡果不足惜睹栖,卻給世界環(huán)境...
    茶點故事閱讀 40,126評論 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望茧痕。 院中可真熱鬧,春花似錦恼除、人聲如沸踪旷。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,861評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽令野。三九已至舀患,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間气破,已是汗流浹背聊浅。 一陣腳步聲響...
    開封第一講書人閱讀 32,095評論 1 267
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留现使,地道東北人低匙。 一個月前我還...
    沈念sama閱讀 46,589評論 2 362
  • 正文 我出身青樓,卻偏偏與公主長得像碳锈,于是被迫代替她去往敵國和親顽冶。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 43,687評論 2 351

推薦閱讀更多精彩內(nèi)容

  • # Python 資源大全中文版 我想很多程序員應該記得 GitHub 上有一個 Awesome - XXX 系列...
    aimaile閱讀 26,454評論 6 428
  • Python 二三事 面向初學者介紹Python相關的一些工具售碳,以及可能遇到的常見問題强重。 最后更新 2013.5....
    hzyido閱讀 67,748評論 2 42
  • 本學習筆記針對有其他語言基礎的情況下記錄的, 主要記錄一些與其他語言不一樣的地方, 使用于快速學習. 常用指令 p...
    GrayLand閱讀 1,047評論 0 3
  • 每個人的心里都有塊最柔軟的芳土,那兒藏放著一個不能廝守一生一世的人贸人。正因為有了濃烈的愛间景,所以才不愿把對方放出自...
    竹鴻初閱讀 272評論 0 1
  • 因為周六休息的特別好,又是吃艺智、又是睡大覺倘要、又是休閑娛樂的,前一周的感冒好的差不多了力惯,昨天早晨醒來時碗誉,嗓子也沒那么疼...
    joshua_1988閱讀 276評論 0 0