查看文件編碼

在Linux中查看文件編碼可以通 過以下幾種方式:

1.在Vim中可以直接查看文件編碼

:set fileencoding

即可顯示文件編碼格式课锌。

如果你 只是想查看其它編碼格式的文件或者想解決用Vim查看文件亂碼的問題沐鼠，那么你可以在

~/.vimrc 文件中添加以下內(nèi)容:

let &termencoding=&encoding

set fileencodings=utf-8,ucs-bom,gbk,cp936

這樣佛点，就可以讓vim自動(dòng)識(shí)別文 件編碼(可以自動(dòng)識(shí)別UTF-8或者GBK編碼的文件)，其實(shí)就是依照fileencodings提供的編碼列表嘗試咳胃，如果沒有找到合適的編碼侯嘀，就用 latin-1(ASCII)編碼打開。

文件編碼轉(zhuǎn)換

1.在Vim中直接進(jìn)行轉(zhuǎn)換文件編碼,比如將一個(gè)文件轉(zhuǎn) 換成utf-8格式

:set fileencoding=utf-8

2. iconv 轉(zhuǎn)換康吵，iconv的命令格式如下:

iconv -f encoding -t encoding inputfile   # 比如將一個(gè)UTF- 8 編碼的文件轉(zhuǎn)換成GBK編碼

iconv -f GBK -t UTF-8 file1 -o file2

Linux 對(duì)一個(gè)3G的文本進(jìn)行編碼轉(zhuǎn)換全過程

本過程中涉及到的Linux的命令有:split, iconv, cat 問題:有一個(gè)3G 的文本a.txt，編碼格式為gbk访递，現(xiàn)在需要對(duì)其進(jìn)行轉(zhuǎn)換成為utf-8晦嵌。 難點(diǎn):iconv的轉(zhuǎn)換是在內(nèi)存中進(jìn)行的，因此3G大小的文本，無法 進(jìn)行直接轉(zhuǎn)換惭载。 思路:先利用split進(jìn)行文件切分旱函，然后對(duì)每一個(gè)字文件進(jìn)行ivonv轉(zhuǎn)換，最后進(jìn)行cat合并描滔。

1) ll -h a.txt 查看文件的大小棒妨，2.9G

2) wc -l a.txt 查看文件的行數(shù)，9千200萬行

3) split -l 20000000 a.txt chunk 按照每個(gè)文件2千萬行進(jìn)行切割含长，共分成5個(gè)文件 4) 進(jìn)行轉(zhuǎn)換

iconv -f gbk -t utf-8 chunka > chunka_utf8 -c iconv -f gbk -t utf-8 chunkb > chunkb_utf8 -c iconv -f gbk -t utf-8 chunkc > chunkc_utf8 -c iconv -f gbk -t utf-8 chunkd > chunkd_utf8 -c iconv -f gbk -t utf-8 chunke > chunke_utf8 -c 5) rm chunka chunkb chunkc chunkd chunke 刪除原文件

6) cat chunk* > a.txt_utf8 進(jìn)行合并

至此券腔，工作完成

二、

批 量文件編碼轉(zhuǎn)換

本操作有風(fēng)險(xiǎn)茎芋，請(qǐng)注意操作前備份文件颅眶。

1.將原來所有編碼為gb2312的.java文件轉(zhuǎn)換為編碼為utf-8 的.java.new文件 for i in find . -name "*.java"; do iconv -f

gb2312 -t utf-8 $i -o $i.new; done

2.將*.java.new文件的.new擴(kuò)展名去除

find . -name "*.new" | sed 's/\(.*\).new$/mv "&" "\1"/' | sh

三蜈出、

• linux下有 許多方便的小工具來轉(zhuǎn)換編碼田弥，

• 文本內(nèi)容轉(zhuǎn)換 iconv

• 文件名轉(zhuǎn)換 convmv

• mp3標(biāo)簽轉(zhuǎn)換 python-mutagen

四、

用法: iconv [選項(xiàng)...] [文件...]

轉(zhuǎn)換給定文件的編碼铡原。

輸 入/輸出格式規(guī)范:

-f, --from-co

de=名稱 原始文本編碼

-t, --to-code=名 稱 輸出編碼

信息:

-l, --list 列舉所有已知的字符集

輸出 控制:

-c 從輸出中忽略無效的字符

-o, --output=FILE 輸出文件

-s, --silent 關(guān)閉警告

--verb-?, --help 給出該系統(tǒng)求助列表

--usage 給出簡(jiǎn)要的用法信息

-V, --version 打印程序版本號(hào)

五偷厦、

find default -type d -exec mkdir -p utf/{} \; find default -type f -exec iconv -f GBK -t UTF-8 {} -o utf/{} \;

這兩行命令將default目錄下的文件由GBK編碼轉(zhuǎn)換為UTF-8編碼，目錄結(jié)構(gòu) 不變燕刻，轉(zhuǎn)碼后

的文件保存在utf/default目錄下只泼。

六、

Linux下文件名編碼批量轉(zhuǎn)換convmv

由于FC將字 符編碼統(tǒng)一成了UTF8卵洗，原來在gb18030下建立的ext3分區(qū)中的文件和目錄请唱，一掛載到FC上就顯示成亂碼。google遍整個(gè)互聯(lián)網(wǎng)过蹂，說對(duì)于目錄 名和文件名十绑，有一個(gè)叫convmv的軟件可以對(duì)其進(jìn)行自動(dòng)轉(zhuǎn)換。

今日下載了convmv酷勺，摸索了一套使用方法如下:

convmv -f code1 -t code2 -r

code1:分區(qū)原來使用的字符集編碼本橙。支持gb2312、gbk脆诉、 big5甚亭，不支持gb18030和big5-hkscs。 code2:預(yù)轉(zhuǎn)換到的字符集編碼击胜。對(duì)于FC亏狰，這里填寫utf8

-r 參數(shù):轉(zhuǎn)換子目錄。

dir:要轉(zhuǎn)換的目錄偶摔，當(dāng)前目錄用./表示骚揍。

回車執(zhí)行，這個(gè)時(shí)候convmv會(huì)顯示執(zhí)行的結(jié)果，但不會(huì)真正對(duì)文件進(jìn) 行修改信不。并提示使用--replace參數(shù)進(jìn)行修改嘲叔。

七、

批量轉(zhuǎn)換文件的編碼

for i in `find ./ -name *.htm` ; do echo $i;iconv -f gb18030 -t utf8 $i -o

/tmp/iconv.tmp;mv /tmp/iconv.tmp $i; done

find -name “*.htm“ \

-exec iconv -f gb2312 -t utf8 ‘{}‘ -o /tmp/iconv.tmp \; \ -exec mv /tmp/iconv.tmp ‘{}‘ \;

修改你的.vimrc文件抽活，讓其支持 gb2312就行硫戈，會(huì)自動(dòng)識(shí)別的。

可以參考我的設(shè)置

代碼:

"設(shè)定文件編碼類型下硕，徹底解決中文編碼問題

let &termencoding=&encoding

set fileencodings=utf-8,gbk,ucs-bom,cp936

按照karron的方法解決了終端中vi看中文字問題丁逝。謝謝

略微查了一下.vimrc中添加內(nèi)容的含意，這篇文章有相關(guān)解釋梭姓。

http://blog.dawnh.net/comment.php?type=trackback&entry_id=59

內(nèi)容如下:

vim中編輯不同編碼的文件時(shí)需要注意的一些地方

此文講解的是vim編輯多字節(jié)編碼文檔(中文)所要了解的一些基礎(chǔ)知識(shí)霜幼，注意其沒有涉及gvim，純指字符終端下的vim誉尖。

[vim編碼方面的基礎(chǔ)知識(shí)]

1罪既，存在3個(gè)變量:

encoding----該選項(xiàng)使用于緩沖的文本(你正在編輯的文件)，寄存器铡恕，Vim 腳本文件等等琢感。你可以把 'encoding' 選項(xiàng)當(dāng)作是對(duì) Vim 內(nèi)部運(yùn)行機(jī)制的設(shè)定。

fileencoding----該選項(xiàng)是vim寫入文件時(shí)采用的編碼類型探熔。

termencoding----該選項(xiàng)代表輸出到客戶終端(Term)采用的編碼類型驹针。

2，此3個(gè)變量encoding----與系統(tǒng)當(dāng)前l(fā)ocale相同诀艰，所以編輯文件的時(shí)候要考慮當(dāng)前l(fā)ocale柬甥，否則要設(shè)置的東西就比較多了。

fileencoding----vim打開文件時(shí)自動(dòng)辨認(rèn)其編碼其垄，fileencoding就為辨認(rèn)的值苛蒲。為空則保存文件時(shí)采用encoding的編碼，如果沒有修改encoding捉捅，那值就是系統(tǒng)當(dāng)前l(fā)ocale了撤防。 termencoding----默認(rèn)空值，也就是輸出到終端不進(jìn)行編碼轉(zhuǎn)換棒口。

由此可見寄月，編輯不同編碼文件需要注意的地方不僅僅是這3個(gè)變量，還有系統(tǒng)當(dāng)前l(fā)ocale和无牵、文件本身編碼以及自動(dòng)編碼識(shí)別漾肮、客戶運(yùn)行vim的終端所使用的編碼類型3個(gè)關(guān)鍵點(diǎn)，這3個(gè)關(guān)鍵點(diǎn)影響著3個(gè)變量的設(shè)定茎毁。

如果有人問:為什么我用vim打開中文文檔的時(shí)候出現(xiàn)亂碼,

答案是不確定的克懊，原因上面已經(jīng)講了忱辅，不搞清楚這3個(gè)關(guān)鍵點(diǎn)和這3個(gè)變量的設(shè)定值，出現(xiàn)亂碼是正常的谭溉，倒是不出現(xiàn)亂碼那反倒是湊巧的墙懂。

再來看一下常見情況下這三個(gè)關(guān)鍵點(diǎn)的值以及在這種情況下這3個(gè)變量的值:

1.locale----目前大部分Linux系統(tǒng)已經(jīng)將utf-8作為默認(rèn) locale了，不過也有可能不是扮念，例如有些系統(tǒng)使用中文locale zh_CN.GB18030损搬。在locale為utf-8的情況下，啟動(dòng)vim后encoding將會(huì)設(shè)置為utf-8柜与，這是兼容性最好的方式巧勤，因?yàn)閮?nèi)部 處理使用utf-8的話，無論外部存儲(chǔ)編碼為何都可以進(jìn)行無缺損轉(zhuǎn)換弄匕。locale決定了vim內(nèi)部處理數(shù)據(jù)的編碼颅悉，也就是

encoding。

2.文件的編碼以及自動(dòng)編碼識(shí)別----這方面牽扯到各種編碼的規(guī)則迁匠，就不一一細(xì)講了剩瓶。但需要明白的是，文件編碼類型并不是保存在文件內(nèi)的柒瓣，也就是說沒有 任何描述性的字段來記錄文檔是何種編碼類型的儒搭。因此我們?cè)诰庉嬑臋n的時(shí)候吠架，要么必須知道這文檔保存時(shí)是以什么編碼保存的芙贫，要么通過另外的一些手段來斷定編 碼類型，這另外的手段傍药，就是通過某些編碼的碼表特征來斷定磺平，例如每個(gè)字符占用的字節(jié)數(shù)，每個(gè)字符的ascii值是否都大于某個(gè)字段來斷定這個(gè)文件屬于何種 編碼拐辽。這種方式vim也使用了拣挪，這就是vim的自動(dòng)編碼識(shí)別機(jī)制了。但這種機(jī)制由于編碼各式各樣俱诸，不可能每種編碼都有顯著的特征來辨別菠劝，所以是不可能 100%準(zhǔn)確的。對(duì)于我們GB2312編碼睁搭，由于其中文是使用了2個(gè)acsii值高于127的字符組成漢字字符的赶诊，因此不可能把gb2312編碼的文件與 latin1編碼區(qū)分開來，此自動(dòng)識(shí)別編碼的機(jī)制對(duì)于gb2312是不成功的园骆，它只會(huì)將文件辨識(shí)為latin1編碼舔痪。此問題同樣出現(xiàn)在gbk，big5 上等锌唾。因此我們?cè)诰庉嫶祟愇臋n時(shí)锄码，需要手工設(shè)定encoding和fileencoding。如果文檔編碼為utf-8時(shí)，一般vim都能自動(dòng)識(shí)別正確的 編碼滋捶。

3.客戶運(yùn)行vim的終端所使用的編碼類型----同第二條一樣痛悯，這也是一個(gè)比較 難以斷定的關(guān)鍵點(diǎn)決這個(gè)問題。此問題更多出現(xiàn)在我們的 windows desktop機(jī)遠(yuǎn)程ssh登錄服務(wù)器的情況下重窟，這里牽扯到不同系統(tǒng)的編碼轉(zhuǎn)換問題灸蟆。所以又與windows本身以及ssh客戶端有很大相關(guān)性。在 windows下存在兩種編碼類型的軟件亲族，一種是本身就為unicode編碼方式編寫的軟件炒考，一種是ansi軟件，也就是程序處理數(shù)據(jù)直接采用字節(jié)流霎迫，不 關(guān)心編碼斋枢。前一種程序可以在任何語言的windows上正確顯示多國(guó)語言，而后一種則編寫在何種語言的系統(tǒng)上則只能在何種語言的系統(tǒng)上顯示正確的文字知给。對(duì) 于這兩種類型的程序瓤帚，我們需要區(qū)別對(duì)待。以ssh客戶端為例涩赢，我們使用的putty是unicode軟件戈次，而secure CRT則是ansi 軟件。對(duì)于前者筒扒，我們要正確處理中文怯邪，只要保證vim輸出到終端的編碼為utf-8即可，就是termencoding=utf-8花墩。但對(duì)于后者悬秉，一方面 我們要確認(rèn)我們的windows系統(tǒng)默認(rèn)代碼頁為cp936(中文windows默認(rèn)值)，另一方要確認(rèn)vim設(shè)置的termencoding= cp936冰蘑。

最后來看看處理中文文檔最典型的幾種情況和設(shè)置方式:

1.系統(tǒng)locale是utf-8(很多l(xiāng)inux系統(tǒng)默認(rèn)的locale形 式)和泌，編輯的文檔是GB2312或GBK形式的(Windows記事本默認(rèn)保存形式，大部分編輯器也默認(rèn)保存為這個(gè)形式祠肥，所以最常見)武氓，終端類型utf- 8(也就是假定客戶端是putty類的unicode軟件)

則vim打開文檔后，encoding=utf-8(locale決定的)仇箱，fileencoding=latin1(自動(dòng)編碼判斷機(jī)制不準(zhǔn)導(dǎo)致的)县恕，termencoding=空(默認(rèn)無需轉(zhuǎn)換term編碼)，顯示文件為亂碼工碾。 解決方案1:首先要修正fileencoding為cp936或者euc-cn(二者一樣的弱睦，只不過叫法不同)，注意修正的方法不是:set fileencoding=cp936渊额，這只是將文件保存為cp936况木，正確的方法是重新以cp936的編碼方式加載文件為:edit ++enc=cp936垒拢，可以簡(jiǎn)寫為:e ++enc=cp936