在windows下 gbk,linux下utf-8注意事項(xiàng)

問(wèn)題描述:
大部分國(guó)人的windows操作系統(tǒng)上都是GB2312借杰,而在Linux上的默認(rèn)編碼都是utf-8过吻。
所以在進(jìn)行編碼,解碼的時(shí)候要注意了蔗衡,在windows下
在cmd中輸入chcp可以看到

活動(dòng)代碼頁(yè):936

936 代表 中國(guó) - 簡(jiǎn)體中文(GB2312)

在linux下查看字符集

locale

在cmd中敲如下命令

python
str = '中文'
str.decode(‘gbk’)

這個(gè)不會(huì)報(bào)錯(cuò)纤虽,因?yàn)樵趙indows下使用的編碼集是GB2312,當(dāng)我們嘗試以GBK(GB2312的擴(kuò)展)這個(gè)編碼集去解碼字符串str成unicode的時(shí)候绞惦,不會(huì)報(bào)錯(cuò)逼纸,因?yàn)椋褂昧苏_的編碼集去解碼字符串

但是同樣的代碼在系統(tǒng)默認(rèn)編碼為utf-8的操作系統(tǒng)中(例如linux的系統(tǒng)都是默認(rèn)是utf-8的)就會(huì)報(bào)錯(cuò)

在Linux的bash中敲如下命令

python
str = '中文'
str.decode(‘gbk’)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'gbk' codec can't decode bytes in position 2-3: illegal multibyte sequence

因?yàn)閘inux下默認(rèn)的編碼集是utf-8济蝉,所以linux內(nèi)部的字符串從一開(kāi)始被聲明就以u(píng)tf-8的編碼方式進(jìn)行了編碼杰刽,就相當(dāng)于字符串的每一個(gè)字符都被映射到了utf-8中的特定二進(jìn)制碼菠发。utf-8和GBK這兩個(gè)不同的字符集,規(guī)定的字符與二進(jìn)制之間的映射關(guān)系除了二進(jìn)制碼小于127之外的其余映射關(guān)系都不同贺嫂。
舉個(gè)簡(jiǎn)單例子來(lái)說(shuō)明映射關(guān)系:
utf-8規(guī)定1代表蘋果
而GBK規(guī)定1代表梨子
你在windows下滓鸠,1就代表梨子,在linux下第喳,1就代表蘋果糜俗。
但是又由于字符串通常是多位二進(jìn)制碼來(lái)表示的,當(dāng)只要有一個(gè)位置的二進(jìn)制碼不能被正確解碼的時(shí)候曲饱,就會(huì)出現(xiàn)上訴錯(cuò)誤悠抹。
此外當(dāng)我們使用python2寫(xiě)python module(以.py為后綴的文件)的時(shí)候,可以在行首聲明該腳本的默認(rèn)編碼方式為utf-8渔工,否則以python2默認(rèn)的編碼方式锌钮,是無(wú)法解碼中文字符的。

另外引矩,如果在pyhton2中

python
str = '中文'
str.decode(‘a(chǎn)scii’)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)

因?yàn)樵谧址痑scii的映射關(guān)系中梁丘,對(duì)二進(jìn)制碼大于127的,沒(méi)有規(guī)定映射關(guān)系旺韭,所以當(dāng)二進(jìn)制碼大于127氛谜,就會(huì)解碼失敗。
0xe4的十進(jìn)制是228,已經(jīng)大于127,所以用ascii解碼的時(shí)候区端,不能正常解碼值漫。

對(duì)于pyhton2,當(dāng)我們?cè)谑褂肞ycharm等IDE的時(shí)候,可以在每個(gè)pyhton module的開(kāi)頭聲明該腳本的編碼集為utf-8织盼,因?yàn)閜ython的默認(rèn)編碼是ascii杨何,不包含中文的編碼集,自然也不能正確解碼中文字符串等其他二進(jìn)制碼大于等于128的字符沥邻。

# -*- coding: utf-8 -*-

關(guān)于utf-8危虱,utf-16,gbk,ascii這些字符集以及unicode唐全。推薦參考:
https://www.zhihu.com/question/23374078/answer/69732605

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末埃跷,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子邮利,更是在濱河造成了極大的恐慌弥雹,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,546評(píng)論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件延届,死亡現(xiàn)場(chǎng)離奇詭異剪勿,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)方庭,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,224評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門窗宦,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)赦颇,“玉大人,你說(shuō)我怎么就攤上這事赴涵∶角樱” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,911評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵髓窜,是天一觀的道長(zhǎng)扇苞。 經(jīng)常有香客問(wèn)我,道長(zhǎng)寄纵,這世上最難降的妖魔是什么鳖敷? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,737評(píng)論 1 294
  • 正文 為了忘掉前任,我火速辦了婚禮程拭,結(jié)果婚禮上定踱,老公的妹妹穿的比我還像新娘。我一直安慰自己恃鞋,他們只是感情好崖媚,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,753評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著恤浪,像睡著了一般畅哑。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上水由,一...
    開(kāi)封第一講書(shū)人閱讀 51,598評(píng)論 1 305
  • 那天荠呐,我揣著相機(jī)與錄音,去河邊找鬼砂客。 笑死泥张,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的鞠值。 我是一名探鬼主播媚创,決...
    沈念sama閱讀 40,338評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼齿诉!你這毒婦竟也來(lái)了筝野?” 一聲冷哼從身側(cè)響起晌姚,我...
    開(kāi)封第一講書(shū)人閱讀 39,249評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤粤剧,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后挥唠,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體抵恋,經(jīng)...
    沈念sama閱讀 45,696評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,888評(píng)論 3 336
  • 正文 我和宋清朗相戀三年宝磨,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了弧关。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片盅安。...
    茶點(diǎn)故事閱讀 40,013評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖世囊,靈堂內(nèi)的尸體忽然破棺而出别瞭,到底是詐尸還是另有隱情,我是刑警寧澤株憾,帶...
    沈念sama閱讀 35,731評(píng)論 5 346
  • 正文 年R本政府宣布蝙寨,位于F島的核電站,受9級(jí)特大地震影響嗤瞎,放射性物質(zhì)發(fā)生泄漏墙歪。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,348評(píng)論 3 330
  • 文/蒙蒙 一贝奇、第九天 我趴在偏房一處隱蔽的房頂上張望虹菲。 院中可真熱鬧,春花似錦掉瞳、人聲如沸毕源。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,929評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)脑豹。三九已至,卻和暖如春衡查,著一層夾襖步出監(jiān)牢的瞬間瘩欺,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,048評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工拌牲, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留俱饿,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,203評(píng)論 3 370
  • 正文 我出身青樓塌忽,卻偏偏與公主長(zhǎng)得像拍埠,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子土居,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,960評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容

  • 編碼問(wèn)題一直困擾著開(kāi)發(fā)人員枣购,尤其在 Java 中更加明顯,因?yàn)?Java 是跨平臺(tái)語(yǔ)言擦耀,不同平臺(tái)之間編碼之間的切換...
    x360閱讀 2,480評(píng)論 1 20
  • 可以看我的博客 lmwen.top 或者訂閱我的公眾號(hào) 簡(jiǎn)介有稍微接觸python的人就會(huì)知道棉圈,python中...
    ayuLiao閱讀 3,117評(píng)論 1 5
  • 1、音頻: 0b循環(huán) 2眷蜓、視頻 無(wú) 3分瘾、戶外活動(dòng) 今天中午,給石頭做了一個(gè)盒子吁系,帶他一起到小區(qū)樓下去抓蟲(chóng)子德召。 M:...
    蘇夕是我閱讀 867評(píng)論 0 1
  • 陽(yáng)光透過(guò)橋梁支架 晃入迷離的眼 壯麗黃河 走向遠(yuǎn)處不可觸碰的天際 這是一場(chǎng)旅途 沒(méi)有想象中的高山 細(xì)流也被蒼綠遮掩...
    球球與酸奶閱讀 228評(píng)論 0 1
  • day3(厚良媽媽) 晚上白魂,我希望兒子不因?yàn)橹苣┒奶恚瑫r(shí)還需要把圍棋作業(yè)也完成上岗。 我說(shuō):“我們10點(diǎn)睡覺(jué)福荸,...
    言知慧閱讀 278評(píng)論 0 1