編碼

計算機 底層都是二級制01組成的機器語言,我們屏幕上顯示的字符等在計算機底層中也只是一串01代碼而已,那么計算機怎么識別不同的字符呢,這就需要一個映射規(guī)則鬓梅,哪個字符對應(yīng)哪個01串。

ascii是由美國牛逼的XXX制定的規(guī)則镜遣,只制定了128個字母數(shù)字和符號的編碼己肮,一個字節(jié)。

但是這是美國的悲关,為了顯示漢字谎僻,我們國家制定了GBXXX標準,但是有那么多國家寓辱,這個國家用一個標準艘绍,那個國家用一個標準,就會產(chǎn)生混亂秫筏。

最后大家共同用Unicode诱鞠,Unicode通常是兩個字節(jié),之前ascii編碼的數(shù)字字母現(xiàn)在在Unicode中變成了兩個字節(jié)这敬,這樣在大多是英文的傳輸中就會造成存儲和傳輸浪費航夺。

所以出現(xiàn)了可變長編碼UTF-8,UTF-8編碼把一個Unicode字符根據(jù)不同的數(shù)字大小編碼成1-6個字節(jié)崔涂,常用的英文字母被編碼成1個字節(jié)阳掐,漢字通常是3個字節(jié),只有很生僻的字符才會被編碼成4-6個字節(jié)冷蚂。如果你要傳輸?shù)奈谋景罅坑⑽淖址员#肬TF-8編碼就能節(jié)省空間

UTF-8編碼有一個額外的好處,就是ASCII編碼實際上可以被看成是UTF-8編碼的一部分蝙茶,所以艺骂,大量只支持ASCII編碼的歷史遺留軟件可以在UTF-8編碼下繼續(xù)工作,因為英文字母在ascii中是一個字節(jié)隆夯,在utf-8中也是一個字節(jié)钳恕,而ascii不支持中文。

從上到下分別為GBK,unicode和utf編碼蹄衷,其中需要注意的是無法從GBK直接轉(zhuǎn)化為utf-8忧额,可以吧Unicode字符串encode("utf-8")到UTF8,可以把Utf-8字符串decode("utf-8")到Unicode字符串

注意

encode主要是把unicode encode到utf-8宦芦,decode主要是從utf-8到unicode,windows內(nèi)核都是unicode

python在print時轴脐,會自動把字符串encode為sys.stdout.encoding调卑,當(dāng)python把一個已經(jīng)encode的字符串再進行encode會報錯

參考

unicode - python encoding utf-8 - Stack Overflow

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末抡砂,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子恬涧,更是在濱河造成了極大的恐慌注益,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,104評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件溯捆,死亡現(xiàn)場離奇詭異丑搔,居然都是意外死亡,警方通過查閱死者的電腦和手機提揍,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,816評論 3 399
  • 文/潘曉璐 我一進店門啤月,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人劳跃,你說我怎么就攤上這事谎仲。” “怎么了刨仑?”我有些...
    開封第一講書人閱讀 168,697評論 0 360
  • 文/不壞的土叔 我叫張陵郑诺,是天一觀的道長。 經(jīng)常有香客問我杉武,道長辙诞,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,836評論 1 298
  • 正文 為了忘掉前任轻抱,我火速辦了婚禮飞涂,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘十拣。我一直安慰自己艘包,他們只是感情好显蝌,可當(dāng)我...
    茶點故事閱讀 68,851評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般奢啥。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上总放,一...
    開封第一講書人閱讀 52,441評論 1 310
  • 那天倘核,我揣著相機與錄音,去河邊找鬼秘血。 笑死味抖,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的灰粮。 我是一名探鬼主播仔涩,決...
    沈念sama閱讀 40,992評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼粘舟!你這毒婦竟也來了熔脂?” 一聲冷哼從身側(cè)響起佩研,我...
    開封第一講書人閱讀 39,899評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎霞揉,沒想到半個月后旬薯,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,457評論 1 318
  • 正文 獨居荒郊野嶺守林人離奇死亡适秩,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,529評論 3 341
  • 正文 我和宋清朗相戀三年绊序,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片秽荞。...
    茶點故事閱讀 40,664評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡骤公,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出蚂会,到底是詐尸還是另有隱情淋样,我是刑警寧澤,帶...
    沈念sama閱讀 36,346評論 5 350
  • 正文 年R本政府宣布胁住,位于F島的核電站趁猴,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏彪见。R本人自食惡果不足惜儡司,卻給世界環(huán)境...
    茶點故事閱讀 42,025評論 3 334
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望余指。 院中可真熱鬧捕犬,春花似錦、人聲如沸酵镜。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,511評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽淮韭。三九已至垢粮,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間靠粪,已是汗流浹背蜡吧。 一陣腳步聲響...
    開封第一講書人閱讀 33,611評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留占键,地道東北人昔善。 一個月前我還...
    沈念sama閱讀 49,081評論 3 377
  • 正文 我出身青樓,卻偏偏與公主長得像畔乙,于是被迫代替她去往敵國和親君仆。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,675評論 2 359

推薦閱讀更多精彩內(nèi)容