Linux下查看txt文件出現(xiàn)亂碼

今天把Windows上的文件傳到Linux上叽躯,通過cat打開后花鹅,出現(xiàn)亂碼疙赠,如下圖

出現(xiàn)亂碼的原因是由于兩個操作系統(tǒng)對中文的壓縮方式不同旁理,Linux下使用的是utf8樊零,而Windows使用的是.gbbk,因此Windows下正常顯示的文件再Linux中打開出現(xiàn)亂碼孽文。

解決方法一:

在Linux終端輸入: ? iconv -f gbk -t utf8 PythonStudy.txt > Python.txt.utf8

在當(dāng)前目錄下就生成了一個.utf8格式的文件驻襟,打開該文件,正常顯示芋哭,如下圖

解決方法二:

切換至root用戶沉衣,用vim打開vimrc文件 ??

vim /etc/vimrc

在文件的末尾加入以下內(nèi)容:

set fileencodings=utf-8,gb2312,gbk,gb18030

set termencoding=utf-8

set fileformats=unix

set encoding=prc

保存退出,再使用vim打開就可以識別gb2312的中文文件

但是使用cat等打開仍然亂碼

解決方法三:

用記事本打開文件减牺,點擊另存為豌习,在下方的編碼方式中選擇utf-8方式


那么多種編碼格式存谎,有些理不清,那就再來看看字符編碼方式的發(fā)展歷程吧

字符編碼發(fā)展史

1肥隆、最開始既荚,計算機由8個晶體管表示狀態(tài),可表示的范圍為0 - 256栋艳,稱其為“字節(jié)”

2恰聘、計算機誕生于美國,他們把編號從0開始的32種狀態(tài)分別規(guī)定了特殊的用途嘱巾,稱為“控制碼”憨琳,如00×10, 換行;把所有的空格旬昭、標(biāo)點符號篙螟、數(shù)字、大小寫字母分別用連續(xù)的字節(jié)狀態(tài)表示问拘,一直編到了第127號遍略,這樣就能用不同的字節(jié)來存儲英語的文字了。大家把這套方案叫做Ascii編碼

3骤坐、計算機迅速的發(fā)展绪杏,世界各地開始使用計算機,但是很多國家不是用的英文纽绍,他們的字母很多是ASCII碼中沒有的蕾久,因此用127后面的空位來表示這些新的字母,符號等拌夏,從128到255這一頁的字符集被稱”擴展字符集”

4僧著、中國人得到計算機時,已經(jīng)沒有可以利用的字節(jié)狀態(tài)來表示漢字障簿,于是中國人毫不客氣的把127后面的奇異符號直接取消盹愚,并規(guī)定:一個小于127的字符的意義與原來相同,但兩個大于127的字符連在一起時站故,就表示一個漢字皆怕,前面的一個字節(jié)(他稱之為高字節(jié))從0xA1用到 0xF7,后面一個字節(jié)(低字節(jié))從0xA1到0xFE西篓,這樣我們就可以組合出大約7000多個簡體漢字了愈腾。在這些編碼里,我們還把數(shù)學(xué)符號岂津、羅馬希臘的字母顶滩、日文的假名們都編進去了,連在 ASCII 里本來就有的數(shù)字寸爆、標(biāo)點礁鲁、字母都統(tǒng)統(tǒng)重新編了兩個字節(jié)長的編碼,這就是常說的”全角”字符赁豆,而原來在127號以下的那些就叫”半角”字符了仅醇。

中國人民把這種漢字方案叫做 “GB2312″。GB2312 是對 ASCII 的中文擴展魔种。

5析二、中國的漢字太多了,還是有很多人的名字沒辦法打出來节预,于是干脆不再要求低字節(jié)一定是127號之后的內(nèi)碼叶摄,只要第一個字節(jié)是大于127就固定表示這是一個漢字的開始,不管后面跟的是不是擴展字符集里的內(nèi)容安拟。結(jié)果擴展之后的編碼方案被稱為 GBK 標(biāo)準蛤吓,GBK 包括了 GB2312 的所有內(nèi)容,同時又增加了近20000個新的漢字(包括繁體字)和符號

6糠赦、少數(shù)名族也開始用電腦了会傲,于是再擴展,又加了幾千個新的少數(shù)民族的字拙泽,GBK 擴成了GB18030

7淌山、各個國家都像中國這樣搞出一套自己的編碼標(biāo)準,結(jié)果互相之間誰也不懂誰的編碼顾瞻,誰也不支持別人的編碼泼疑。這時候,ISO(國際標(biāo)準化組織)開始著手解決這個問題荷荤。他們的方法很簡單:廢了所有的地區(qū)性編碼方案退渗,重新搞一個包括了地球上所有文化、所有字母和符號的編碼梅猿!即UNICODE氓辣。UNICODE 包持其原編碼不變,只是將其長度由原來的8位擴展為16位袱蚓,而其他文化和語言的字符則全部重新統(tǒng)一編碼钞啸。

8、由于”半角”英文符號只需要用到低8位喇潘,所以其高 8位永遠是0体斩,因此這種大氣的方案在保存英文文本時會多浪費一倍的空間。為了解決這個問題颖低,UTF-8出現(xiàn)了絮吵,這是一種針對Unicode的可變長度字符編碼。UTF-8的編碼規(guī)則很簡單忱屑,只有二條:

a蹬敲、對于單字節(jié)的符號暇昂,字節(jié)的第一位設(shè)為0,后面7位為這個符號的unicode碼伴嗡。因此對于英語字母急波,UTF-8編碼和ASCII碼是相同的;

b瘪校、對于n字節(jié)的符號(n>1)澄暮,第一個字節(jié)的前n位都設(shè)為1,第n+1位設(shè)為0阱扬,后面字節(jié)的前兩位一律設(shè)為10泣懊。剩下的沒有提及的二進制位,全部為這個符號的unicode碼麻惶。

因此大量只支持ASCII編碼的歷史遺留軟件可以在UTF-8編碼下繼續(xù)工作馍刮,utf-8被普遍使用



參考:

blog.chinaunix.net/uid-27177626-id-3496705.html

blog.csdn.net/wwwdongzi/article/details/17002839

blog.chinaunix.net/uid-26790551-id-3203316.html

www.zhihu.com/question/23374078/answer/134244691

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市用踩,隨后出現(xiàn)的幾起案子渠退,更是在濱河造成了極大的恐慌,老刑警劉巖脐彩,帶你破解...
    沈念sama閱讀 217,277評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件碎乃,死亡現(xiàn)場離奇詭異,居然都是意外死亡惠奸,警方通過查閱死者的電腦和手機梅誓,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,689評論 3 393
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來佛南,“玉大人梗掰,你說我怎么就攤上這事⌒峄兀” “怎么了及穗?”我有些...
    開封第一講書人閱讀 163,624評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長绵载。 經(jīng)常有香客問我埂陆,道長,這世上最難降的妖魔是什么娃豹? 我笑而不...
    開封第一講書人閱讀 58,356評論 1 293
  • 正文 為了忘掉前任焚虱,我火速辦了婚禮,結(jié)果婚禮上懂版,老公的妹妹穿的比我還像新娘鹃栽。我一直安慰自己,他們只是感情好躯畴,可當(dāng)我...
    茶點故事閱讀 67,402評論 6 392
  • 文/花漫 我一把揭開白布民鼓。 她就那樣靜靜地躺著薇芝,像睡著了一般。 火紅的嫁衣襯著肌膚如雪丰嘉。 梳的紋絲不亂的頭發(fā)上恩掷,一...
    開封第一講書人閱讀 51,292評論 1 301
  • 那天,我揣著相機與錄音供嚎,去河邊找鬼。 笑死峭状,一個胖子當(dāng)著我的面吹牛克滴,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播优床,決...
    沈念sama閱讀 40,135評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼劝赔,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了胆敞?” 一聲冷哼從身側(cè)響起着帽,我...
    開封第一講書人閱讀 38,992評論 0 275
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎移层,沒想到半個月后仍翰,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,429評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡观话,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,636評論 3 334
  • 正文 我和宋清朗相戀三年予借,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片频蛔。...
    茶點故事閱讀 39,785評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡灵迫,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出晦溪,到底是詐尸還是另有隱情瀑粥,我是刑警寧澤,帶...
    沈念sama閱讀 35,492評論 5 345
  • 正文 年R本政府宣布三圆,位于F島的核電站狞换,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏嫌术。R本人自食惡果不足惜哀澈,卻給世界環(huán)境...
    茶點故事閱讀 41,092評論 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望度气。 院中可真熱鬧割按,春花似錦、人聲如沸磷籍。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,723評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至弛矛,卻和暖如春够吩,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背丈氓。 一陣腳步聲響...
    開封第一講書人閱讀 32,858評論 1 269
  • 我被黑心中介騙來泰國打工周循, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人万俗。 一個月前我還...
    沈念sama閱讀 47,891評論 2 370
  • 正文 我出身青樓湾笛,卻偏偏與公主長得像,于是被迫代替她去往敵國和親闰歪。 傳聞我的和親對象是個殘疾皇子嚎研,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,713評論 2 354

推薦閱讀更多精彩內(nèi)容

  • 可以看我的博客 lmwen.top 或者訂閱我的公眾號 簡介有稍微接觸python的人就會知道,python中...
    ayuLiao閱讀 3,113評論 1 5
  • 雖然不是第一個馬拉松库倘,但明天開始的這個半程比賽仍然是目前為止最期待也最緊張的一個临扮。因為她將是我所經(jīng)歷的第一個越野跑...
    白大炮閱讀 374評論 0 0
  • 人生若只如初見 只是,美好終究有限 不同的選擇會造就不同的人生 未曾謀面 卻毫不猶豫跟著他走 她和他 在最美好的時...
    讀書少的絲瓜閱讀 499評論 0 3
  • 我不是一個喜歡看電影教翩,更很少去電影院的一個人杆勇,但當(dāng)我即將離開這座城市的時候,我今天第一次一個人去了電影院迂曲,看的是體...
    川上的日子閱讀 486評論 18 4
  • 生辰三十二載靶橱,而立有瑕,疵兩點路捧。 己者关霸,可為敢為一絲執(zhí)念而心存來生者,如若更律己以寬人之便杰扫,終必善惡琳瑯队寇。 家人,...
    德知我姓閱讀 198評論 1 5