在linux上處理中文的時候闲昭，特別是自然語言這種頻繁讀寫中文到文件的情況糠赦，經(jīng)常會出錯荐吵，下面梳理總結(jié)一下菠秒。常用相關(guān)編碼有：文件編碼，文件內(nèi)容編碼戒突，終端編碼屯碴，標(biāo)準(zhǔn)輸入輸出流編碼，操作系統(tǒng)編碼膊存。
常出問題的是文件編碼與文件內(nèi)容編碼导而，有時候這兩個不一致會導(dǎo)致導(dǎo)入時，解碼出錯隔崎，可用vim設(shè)置:set fileencoding=xxx修改文件編碼今艺。對于批量文件編碼修改，可用convmv工具(非系統(tǒng)自帶爵卒，一般需要安裝)
導(dǎo)致文件編碼與文件內(nèi)容編碼不一致的原因：
在數(shù)據(jù)流寫入文件時虚缎，會從fileencodings去逐個讀取，如果發(fā)現(xiàn)某個編碼能正常解析當(dāng)前文件流钓株，即當(dāng)作該編碼实牡，設(shè)置文件編碼為這個編碼；如果沒有找到合適的編碼轴合，那么文件編碼就會被設(shè)置為空创坞。在寫文件的時候，經(jīng)常會因為沒有設(shè)置fileencodings變量受葛，而導(dǎo)致文件編碼為空题涨。
解決辦法是：在寫入文件，如用iconv轉(zhuǎn)碼時总滩，先set fileencodings=xxx,xxxx 携栋，在操作寫入文件，這能從根本上解決問題咳秉。
問題影響：文件編碼和文件內(nèi)容編碼不一致，會導(dǎo)致在文件處理的時候解析異常鸯隅。比如用python處理中文澜建，讀取文件時，會默認(rèn)以fileencoding的編碼打開蝌以，如果這個編碼不對炕舵，在腳本中，要decode的時候就會掛掉跟畅，即便文件內(nèi)容的編碼是正確的咽筋。如：文件內(nèi)容編碼是utf-8，而文件編碼是gb18030徊件，python以gb18030打開文件奸攻，這時候蒜危，文件內(nèi)容已經(jīng)編碼異常了。睹耐。然后用decode('utf-8')時辐赞，拋出UnicodeDecodeError，接著一臉蒙x硝训。响委。
下面總結(jié)下常用的轉(zhuǎn)碼方式：
文件內(nèi)容編碼用iconv 轉(zhuǎn)碼即可，用法就是iconv -f [原編碼] -t [目標(biāo)編碼] file -o outfile 窖梁。需要注意的時赘风，有時候文件里會有個別編碼錯誤的字節(jié)，導(dǎo)致后續(xù)內(nèi)容轉(zhuǎn)碼失敗纵刘，對這種情況邀窃，只要加上-c參數(shù)即可，也就是iconv -f [原編碼] -t [目標(biāo)編碼] -c file -o outfile
查看文件編碼彰导，可以用file命令蛔翅，加參數(shù)-bi可獲得更精確的編碼，但是file查看的編碼經(jīng)常不準(zhǔn)確位谋，注意此坑山析。對應(yīng)單個的也可以用vim的encoding命令查看
操作系統(tǒng)編碼看環(huán)境變量LANG
在用python處理文件時，統(tǒng)一用unicode編碼處理掏父。對于字符串笋轨，從文件讀入內(nèi)存時，會先按照文件編碼轉(zhuǎn)到標(biāo)準(zhǔn)輸入流編碼赊淑，所以處理中文字符串時爵政，可用str.decode(sys.stdin.encoding)解碼到Unicode，可解決中文字符串的編碼問題
中文顯示異常問題：
經(jīng)常在用vim打開文件時陶缺，中文會亂碼钾挟，導(dǎo)致文件亂碼的一般是文件編碼，文件內(nèi)容編碼饱岸，vim編碼掺出，iterm/scurecrt/其他終端 的編碼不一致，把這三個編碼修改成一樣的就可以了
當(dāng)然苫费，這么復(fù)雜的工序汤锨，很多同學(xué)都蒙了，人民群眾的力量是無窮的百框，需求就是用來解決的闲礼，這不，有個傳說中的工具enca，可以智能識別編碼柬泽，以及批量編碼轉(zhuǎn)化慎菲，具體使用，可以查找相關(guān)wiki或博客聂抢，有很多介紹钧嘶。。琳疏。不有决。過。作為有g(shù)eek基因的青年空盼，少了折騰书幕，心里怎么會爽，因此不用這種工具揽趾，是上策（用原始方法能更深入理解操作系統(tǒng)編碼的原理台汇，又能解決問題，又能漲姿勢篱瞎，多好~）
