1. 概述
本文主要包括以下幾個(gè)方面:編碼基本知識(shí)儡首,java,系統(tǒng)軟件偏友,url蔬胯,工具軟件等。
在下面的描述中位他,將以"中文"兩個(gè)字為例氛濒,經(jīng)查表可以知道其GB2312編碼是"d6d0cec4"产场,Unicode編碼為"4e2d 6587",UTF編碼就是"e4b8ad e69687"舞竿。注意京景,這兩個(gè)字沒(méi)有iso8859-1編碼,但可以用iso8859-1編碼來(lái)"表示"骗奖。
2. 編碼基本知識(shí)
最早的編碼是iso8859-1确徙,和ascii編碼相似。但為了方便表示各種各樣的語(yǔ)言执桌,逐漸出現(xiàn)了很多標(biāo)準(zhǔn)編碼鄙皇,重要的有如下幾個(gè)。
2.1. iso8859-1
屬于單字節(jié)編碼仰挣,最多能表示的字符范圍是0-255伴逸,應(yīng)用于英文系列。比如膘壶,字母'a'的編碼為0x61=97错蝴。
很明顯,iso8859-1編碼表示的字符范圍很窄颓芭,無(wú)法表示中文字符顷锰。但是,由于是單字節(jié)編碼亡问,和計(jì)算機(jī)最基礎(chǔ)的表示單位一致官紫,所以很多時(shí)候,仍舊使用iso8859-1編碼來(lái)表示玛界。而且在很多協(xié)議上万矾,默認(rèn)使用該編碼悼吱。
2.2. GB2312/GBK
這就是漢字的國(guó)標(biāo)碼慎框,專(zhuān)門(mén)用來(lái)表示漢字,是雙字節(jié)編碼后添,而英文字母和iso8859-1一致(兼容iso8859-1編碼)笨枯。其中g(shù)bk編碼能夠用來(lái)同時(shí)表示繁體字和簡(jiǎn)體字,而gb2312只能表示簡(jiǎn)體字遇西,gbk是兼容gb2312編碼的馅精。
2.3. unicode
這是最統(tǒng)一的編碼,可以用來(lái)表示所有語(yǔ)言的字符粱檀,而且是定長(zhǎng)雙字節(jié)(也有四字節(jié)的)編碼洲敢,包括英文字母在內(nèi)。所以可以說(shuō)它是不兼容iso8859-1編碼的茄蚯,也不兼容任何編碼压彭。不過(guò)睦优,相對(duì)于iso8859-1編碼來(lái)說(shuō),uniocode編碼只是在前面增加了一個(gè)0字節(jié)壮不,比如字母'a'為"00 61"汗盘。
需要說(shuō)明的是,定長(zhǎng)編碼便于計(jì)算機(jī)處理(注意GB2312/GBK不是定長(zhǎng)編碼)询一,而unicode又可以用來(lái)表示所有字符隐孽,所以在很多軟件內(nèi)部是使用unicode編碼來(lái)處理的,比如java健蕊。
2.4. UTF
考慮到unicode編碼不兼容iso8859-1編碼菱阵,而且容易占用更多的空間:因?yàn)閷?duì)于英文字母,unicode也需要兩個(gè)字節(jié)來(lái)表示绊诲。所以u(píng)nicode不便于傳輸和存儲(chǔ)送粱。因此而產(chǎn)生了utf編碼,utf編碼兼容iso8859-1編碼掂之,同時(shí)也可以用來(lái)表示所有語(yǔ)言的字符抗俄,不過(guò),utf編碼是不定長(zhǎng)編碼世舰,每一個(gè)字符的長(zhǎng)度從1-6個(gè)字節(jié)不等动雹。另外,utf編碼自帶簡(jiǎn)單的校驗(yàn)功能跟压。一般來(lái)講胰蝠,英文字母都是用一個(gè)字節(jié)表示,而漢字使用三個(gè)字節(jié)震蒋。
注意茸塞,雖然說(shuō)utf是為了使用更少的空間而使用的,但那只是相對(duì)于unicode編碼來(lái)說(shuō)查剖,如果已經(jīng)知道是漢字钾虐,則使用GB2312/GBK無(wú)疑是最節(jié)省的。不過(guò)另一方面笋庄,值得說(shuō)明的是效扫,雖然utf編碼對(duì)漢字使用3個(gè)字節(jié),但即使對(duì)于漢字網(wǎng)頁(yè)直砂,utf編碼也會(huì)比unicode編碼節(jié)省菌仁,因?yàn)榫W(wǎng)頁(yè)中包含了很多的英文字符。
3. java對(duì)字符的處理
在java應(yīng)用軟件中静暂,會(huì)有多處涉及到字符集編碼济丘,有些地方需要進(jìn)行正確的設(shè)置,有些地方需要進(jìn)行一定程度的處理洽蛀。
3.1. getBytes(charset)
這是java字符串處理的一個(gè)標(biāo)準(zhǔn)函數(shù)摹迷,其作用是將字符串所表示的字符按照charset編碼弯院,并以字節(jié)方式表示。注意字符串在java內(nèi)存中總是按unicode編碼存儲(chǔ)的泪掀。比如"中文"听绳,正常情況下(即沒(méi)有錯(cuò)誤的時(shí)候)存儲(chǔ)為"4e2d 6587",如果charset為"gbk"异赫,則被編碼為"d6d0 cec4"椅挣,然后返回字節(jié)"d6 d0 ce c4"。如果charset為"utf8"則最后是"e4 b8 ad e6 96 87"塔拳。如果是"iso8859-1"鼠证,則由于無(wú)法編碼,最后返回 "3f 3f"(兩個(gè)問(wèn)號(hào))靠抑。
3.2. new String(charset)
這是java字符串處理的另一個(gè)標(biāo)準(zhǔn)函數(shù)量九,和上一個(gè)函數(shù)的作用相反,將字節(jié)數(shù)組按照charset編碼進(jìn)行組合識(shí)別颂碧,最后轉(zhuǎn)換為unicode存儲(chǔ)荠列。參考上述getBytes的例子,"gbk"和"utf8"都可以得出正確的結(jié)果"4e2d6587"载城,但iso8859-1最后變成了"003f 003f"(兩個(gè)問(wèn)號(hào))肌似。
因?yàn)閡tf8可以用來(lái)表示/編碼所有字符,所以new String( str.getB+ytes( "utf8" ), "utf8") === str诉瓦,即完全可逆川队。
3.3. setCharacterEncoding()
該函數(shù)用來(lái)設(shè)置http請(qǐng)求或者相應(yīng)的編碼。
對(duì)于request睬澡,是指提交內(nèi)容的編碼固额,指定后可以通過(guò)getParameter()則直接獲得正確的字符串,如果不指定煞聪,則默認(rèn)使用iso8859-1編碼斗躏,需要進(jìn)一步處理。參見(jiàn)下述"表單輸入"米绕。值得注意的是在執(zhí)行setCharacterEncoding()之前瑟捣,不能執(zhí)行任何getParameter()馋艺。javadoc上說(shuō)明:This method must be called prior toreading request parameters or reading input using getReader()栅干。而且,該指定只對(duì)POST方法有效捐祠,對(duì)GET方法無(wú)效碱鳞。分析原因,應(yīng)該是在執(zhí)行第一個(gè)getParameter()的時(shí)候踱蛀,java將會(huì)按照編碼分析所有的提交內(nèi)容窿给,而后續(xù)的getParameter()不再進(jìn)行分析贵白,所以setCharacterEncoding()無(wú)效。而對(duì)于GET方法提交表單是崩泡,提交的內(nèi)容在URL中禁荒,一開(kāi)始就已經(jīng)按照編碼分析所有的提交內(nèi)容,setCharacterEncoding()自然就無(wú)效角撞。
對(duì)于response呛伴,則是指定輸出內(nèi)容的編碼,同時(shí)谒所,該設(shè)置會(huì)傳遞給瀏覽器热康,告訴瀏覽器輸出內(nèi)容所采用的編碼。
3.4. 處理過(guò)程
下面分析兩個(gè)有代表性的例子劣领,說(shuō)明java對(duì)編碼有關(guān)問(wèn)題的處理方法姐军。
3.4.1. 表單輸入
User input *(gbk:d6d0 cec4) browser *(gbk:d6d0 cec4) web server iso8859-1(00d6 00d 000ce00c4) class,需要在class中進(jìn)行處理:getbytes("iso8859-1")為d6d0 ce c4尖淘,new String("gbk")為d6d0 cec4奕锌,內(nèi)存中以u(píng)nicode編碼則為4e2d 6587。
用戶(hù)輸入的編碼方式和頁(yè)面指定的編碼有關(guān)村生,也和用戶(hù)的操作系統(tǒng)有關(guān)歇攻,所以是不確定的,上例以gbk為例梆造。
從browser到web server缴守,可以在表單中指定提交內(nèi)容時(shí)使用的字符集,否則會(huì)使用頁(yè)面指定的編碼镇辉。而如果在url中直接用?的方式輸入?yún)?shù)屡穗,則其編碼往往是操作系統(tǒng)本身的編碼,因?yàn)檫@時(shí)和頁(yè)面無(wú)關(guān)忽肛。上述仍舊以gbk編碼為例村砂。
Web server接收到的是字節(jié)流,默認(rèn)時(shí)(getParameter)會(huì)以iso8859-1編碼處理之屹逛,結(jié)果是不正確的础废,所以需要進(jìn)行處理。但如果預(yù)先設(shè)置了編碼(通過(guò)request.setCharacterEncoding ())罕模,則能夠直接獲取到正確的結(jié)果评腺。
在頁(yè)面中指定編碼是個(gè)好習(xí)慣,否則可能失去控制淑掌,無(wú)法指定正確的編碼蒿讥。
3.4.2. 文件編譯
假設(shè)文件是gbk編碼保存的,而編譯有兩種編碼選擇:gbk或者iso8859-1,前者是中文windows的默認(rèn)編碼芋绸,后者是linux的默認(rèn)編碼媒殉,當(dāng)然也可以在編譯時(shí)指定編碼。
Jsp *(gbk:d6d0 cec4) java file *(gbk:d6d0cec4)
compiler read uincode(gbk: 4e2d 6587; iso8859-1: 00d600d 000ce 00c4) compiler write utf(gbk: e4b8ad e69687;iso8859-1: *)
compiled file unicode(gbk: 4e2d 6587; iso8859-1: 00d600d 000ce 00c4) class摔敛。
所以用gbk編碼保存廷蓉,而用iso8859-1編譯的結(jié)果是不正確的。
class unicode(4e2d 6587) system.out /jsp.out gbk(d6d0 cec4) os console / browser马昙。
文件可以以多種編碼方式保存苦酱,中文windows下,默認(rèn)為ansi/gbk给猾。
編譯器讀取文件時(shí)疫萤,需要得到文件的編碼,如果未指定敢伸,則使用系統(tǒng)默認(rèn)編碼扯饶。一般class文件,是以系統(tǒng)默認(rèn)編碼保存的池颈,所以編譯不會(huì)出問(wèn)題尾序,但對(duì)于jsp文件,如果在中文windows下編輯保存躯砰,而部署在英文linux下運(yùn)行/編譯每币,則會(huì)出現(xiàn)問(wèn)題。所以需要在jsp文件中用pageEncoding指定編碼琢歇。
Java編譯的時(shí)候會(huì)轉(zhuǎn)換成統(tǒng)一的unicode編碼處理兰怠,最后保存的時(shí)候再轉(zhuǎn)換為utf編碼。
當(dāng)系統(tǒng)輸出字符的時(shí)候李茫,會(huì)按指定編碼輸出揭保,對(duì)于中文windows下,System.out將使用gbk編碼魄宏,而對(duì)于response(瀏覽器)秸侣,則使用jsp文件頭指定的contentType,或者可以直接為response指定編碼宠互。同時(shí)味榛,會(huì)告訴browser網(wǎng)頁(yè)的編碼。如果未指定予跌,則會(huì)使用iso8859-1編碼搏色。對(duì)于中文,應(yīng)該為browser指定輸出字符串的編碼匕得。
l browser顯示網(wǎng)頁(yè)的時(shí)候继榆,首先使用response中指定的編碼(jsp文件頭指定的contentType最終也反映在response上),如果未指定汁掠,則會(huì)使用網(wǎng)頁(yè)中meta項(xiàng)指定中的contentType略吨。
3.5. 幾處設(shè)置
對(duì)于web應(yīng)用程序,和編碼有關(guān)的設(shè)置或者函數(shù)如下考阱。
3.5.1. jsp編譯
指定文件的存儲(chǔ)編碼翠忠,很明顯,該設(shè)置應(yīng)該置于文件的開(kāi)頭乞榨。例如:<%@pagepageEncoding="GBK"%>秽之。另外,對(duì)于一般class文件吃既,可以在編譯的時(shí)候指定編碼考榨。
3.5.2. jsp輸出
指定文件輸出到browser是使用的編碼,該設(shè)置也應(yīng)該置于文件的開(kāi)頭鹦倚。例如:<%@ pagecontentType="text/html; charset= GBK" %>河质。該設(shè)置和response.setCharacterEncoding("GBK")等效。
3.5.3. meta設(shè)置
指定網(wǎng)頁(yè)使用的編碼震叙,該設(shè)置對(duì)靜態(tài)網(wǎng)頁(yè)尤其有作用掀鹅。因?yàn)殪o態(tài)網(wǎng)頁(yè)無(wú)法采用jsp的設(shè)置,而且也無(wú)法執(zhí)行response.setCharacterEncoding()媒楼。例如:<META http-equiv="Content-Type"content="text/html; charset=GBK" />
如果同時(shí)采用了jsp輸出和meta設(shè)置兩種編碼指定方式乐尊,則jsp指定的優(yōu)先。因?yàn)閖sp指定的直接體現(xiàn)在response中划址。
需要注意的是扔嵌,apache有一個(gè)設(shè)置可以給無(wú)編碼指定的網(wǎng)頁(yè)指定編碼,該指定等同于jsp的編碼指定方式夺颤,所以會(huì)覆蓋靜態(tài)網(wǎng)頁(yè)中的meta指定对人。所以有人建議關(guān)閉該設(shè)置。
3.5.4. form設(shè)置
當(dāng)瀏覽器提交表單的時(shí)候拂共,可以指定相應(yīng)的編碼牺弄。例如:<form accept-charset= "gb2312">。一般不必不使用該設(shè)置宜狐,瀏覽器會(huì)直接使用網(wǎng)頁(yè)的編碼势告。
4. 系統(tǒng)軟件
下面討論幾個(gè)相關(guān)的系統(tǒng)軟件。
4.1. mysql數(shù)據(jù)庫(kù)
很明顯抚恒,要支持多語(yǔ)言咱台,應(yīng)該將數(shù)據(jù)庫(kù)的編碼設(shè)置成utf或者unicode,而utf更適合與存儲(chǔ)俭驮。但是回溺,如果中文數(shù)據(jù)中包含的英文字母很少春贸,其實(shí)unicode更為適合。
數(shù)據(jù)庫(kù)的編碼可以通過(guò)mysql的配置文件設(shè)置遗遵,例如default-character-set=utf8萍恕。還可以在數(shù)據(jù)庫(kù)鏈接URL中設(shè)置,例如: useUnicode=true&characterEncoding=UTF-8车要。注意這兩者應(yīng)該保持一致允粤,在新的sql版本里,在數(shù)據(jù)庫(kù)鏈接URL里可以不進(jìn)行設(shè)置翼岁,但也不能是錯(cuò)誤的設(shè)置类垫。
4.2. apache
appache和編碼有關(guān)的配置在httpd.conf中,例如AddDefaultCharset UTF-8琅坡。如前所述悉患,該功能會(huì)將所有靜態(tài)頁(yè)面的編碼設(shè)置為UTF-8,最好關(guān)閉該功能榆俺。
另外购撼,apache還有單獨(dú)的模塊來(lái)處理網(wǎng)頁(yè)響應(yīng)頭,其中也可能對(duì)編碼進(jìn)行設(shè)置谴仙。
4.3. linux默認(rèn)編碼
這里所說(shuō)的linux默認(rèn)編碼迂求,是指運(yùn)行時(shí)的環(huán)境變量。兩個(gè)重要的環(huán)境變量是LC_ALL和LANG晃跺,默認(rèn)編碼會(huì)影響到j(luò)ava URLEncode的行為揩局,下面有描述。
建議都設(shè)置為"zh_CN.UTF-8"掀虎。
4.4. 其它
為了支持中文文件名凌盯,linux在加載磁盤(pán)時(shí)應(yīng)該指定字符集,例如:mount/dev/hda5 /mnt/hda5/ -t ntfs -o iocharset=gb2312烹玉。
另外驰怎,如前所述,使用GET方法提交的信息不支持request.setCharacterEncoding()二打,但可以通過(guò)tomcat的配置文件指定字符集县忌,在tomcat的server.xml文件中,形如:<Connector... URIEncoding="GBK"/>继效。這種方法將統(tǒng)一設(shè)置所有請(qǐng)求症杏,而不能針對(duì)具體頁(yè)面進(jìn)行設(shè)置,也不一定和browser使用的編碼相同瑞信,所以有時(shí)候并不是所期望的厉颤。
5. URL地址
URL地址中含有中文字符是很麻煩的,前面描述過(guò)使用GET方法提交表單的情況凡简,使用GET方法時(shí)逼友,參數(shù)就是包含在URL中精肃。
5.1. URL編碼
對(duì)于URL中的一些特殊字符,瀏覽器會(huì)自動(dòng)進(jìn)行編碼帜乞。這些字符除了"/?&"等外司抱,還包括unicode字符,比如漢子挖函。這時(shí)的編碼比較特殊状植。
IE有一個(gè)選項(xiàng)"總是使用UTF-8發(fā)送URL"浊竟,當(dāng)該選項(xiàng)有效時(shí)怨喘,IE將會(huì)對(duì)特殊字符進(jìn)行UTF-8編碼,同時(shí)進(jìn)行URL編碼振定。如果改選項(xiàng)無(wú)效必怜,則使用默認(rèn)編碼"GBK",并且不進(jìn)行URL編碼后频。但是梳庆,對(duì)于URL后面的參數(shù),則總是不進(jìn)行編碼卑惜,相當(dāng)于UTF-8選項(xiàng)無(wú)效膏执。比如"中文.html?a=中文",當(dāng)UTF-8選項(xiàng)有效時(shí)露久,將發(fā)送鏈接"%e4%b8%ad%e6%96%87.html?a=\x4e\x2d\x65\x87"更米;而UTF-8選項(xiàng)無(wú)效時(shí),將發(fā)送鏈接"\x4e\x2d\x65\x87.html?a=\x4e\x2d\x65\x87"毫痕。注意后者前面的"中文"兩個(gè)字只有4個(gè)字節(jié)征峦,而前者卻有18個(gè)字節(jié),這主要時(shí)URL編碼的原因消请。
當(dāng)web server(tomcat)接收到該鏈接時(shí)栏笆,將會(huì)進(jìn)行URL解碼,即去掉"%"臊泰,同時(shí)按照ISO8859-1編碼(上面已經(jīng)描述蛉加,可以使用URLEncoding來(lái)設(shè)置成其它編碼)識(shí)別。上述例子的結(jié)果分別是"\ue4\ub8\uad\ue6\u96\u87.html?a=\u4e\u2d\u65\u87"和"\u4e\u2d\u65\u87.html?a=\u4e\u2d\u65\u87"缸逃,注意前者前面的"中文"兩個(gè)字恢復(fù)成了6個(gè)字符七婴。這里用"\u",表示是unicode察滑。
所以打厘,由于客戶(hù)端設(shè)置的不同,相同的鏈接贺辰,在服務(wù)器上得到了不同結(jié)果户盯。這個(gè)問(wèn)題不少人都遇到嵌施,卻沒(méi)有很好的解決辦法。所以有的網(wǎng)站會(huì)建議用戶(hù)嘗試關(guān)閉UTF-8選項(xiàng)莽鸭。不過(guò)吗伤,下面會(huì)描述一個(gè)更好的處理辦法。
5.2. rewrite
熟悉的人都知道硫眨,apache有一個(gè)功能強(qiáng)大的rewrite模塊足淆,這里不描述其功能。需要說(shuō)明的是該模塊會(huì)自動(dòng)將URL解碼(去除%)礁阁,即完成上述web server(tomcat)的部分功能巧号。有相關(guān)文檔介紹說(shuō)可以使用[NE]參數(shù)來(lái)關(guān)閉該功能,但我試驗(yàn)并未成功姥闭,可能是因?yàn)榘姹荆ㄎ沂褂玫氖莂pache 2.0.54)問(wèn)題丹鸿。另外,當(dāng)參數(shù)中含有"?& "等符號(hào)的時(shí)候棚品,該功能將導(dǎo)致系統(tǒng)得不到正常結(jié)果靠欢。
rewrite本身似乎完全是采用字節(jié)處理的方式,而不考慮字符串的編碼铜跑,所以不會(huì)帶來(lái)編碼問(wèn)題门怪。
5.3. URLEncode.encode()
這是Java本身提供對(duì)的URL編碼函數(shù),完成的工作和上述UTF-8選項(xiàng)有效時(shí)瀏覽器所做的工作相似锅纺。值得說(shuō)明的是掷空,java已經(jīng)不贊成不指定編碼來(lái)使用該方法(deprecated)。應(yīng)該在使用的時(shí)候增加編碼指定伞广。
當(dāng)不指定編碼的時(shí)候拣帽,該方法使用系統(tǒng)默認(rèn)編碼,這會(huì)導(dǎo)致軟件運(yùn)行結(jié)果得不確定嚼锄。比如對(duì)于"中文"减拭,當(dāng)系統(tǒng)默認(rèn)編碼為"gb2312"時(shí),結(jié)果是"%4e%2d%65%87"区丑,而默認(rèn)編碼為"UTF-8"拧粪,結(jié)果卻是"%e4%b8%ad%e6%96%87",后續(xù)程序?qū)㈦y以處理沧侥。另外可霎,這兒說(shuō)的系統(tǒng)默認(rèn)編碼是由運(yùn)行tomcat時(shí)的環(huán)境變量LC_ALL和LANG等決定的,曾經(jīng)出現(xiàn)過(guò)tomcat重啟后就出現(xiàn)亂碼的問(wèn)題宴杀,最后才郁悶的發(fā)現(xiàn)是因?yàn)樾薷男薷牧诉@兩個(gè)環(huán)境變量癣朗。
建議統(tǒng)一指定為"UTF-8"編碼,可能需要修改相應(yīng)的程序旺罢。
5.4. 一個(gè)解決方案
上面說(shuō)起過(guò)旷余,因?yàn)闉g覽器設(shè)置的不同绢记,對(duì)于同一個(gè)鏈接,web server收到的是不同內(nèi)容正卧,而軟件系統(tǒng)有無(wú)法知道這中間的區(qū)別蠢熄,所以這一協(xié)議目前還存在缺陷。
針對(duì)具體問(wèn)題炉旷,不應(yīng)該僥幸認(rèn)為所有客戶(hù)的IE設(shè)置都是UTF-8有效的签孔,也不應(yīng)該粗暴的建議用戶(hù)修改IE設(shè)置,要知道窘行,用戶(hù)不可能去記住每一個(gè)webserver的設(shè)置饥追。所以,接下來(lái)的解決辦法就只能是讓自己的程序多一點(diǎn)智能:根據(jù)內(nèi)容來(lái)分析編碼是否UTF-8抽高。
比較幸運(yùn)的是UTF-8編碼相當(dāng)有規(guī)律判耕,所以可以通過(guò)分析傳輸過(guò)來(lái)的鏈接內(nèi)容透绩,來(lái)判斷是否是正確的UTF-8字符翘骂,如果是,則以UTF-8處理之帚豪,如果不是碳竟,則使用客戶(hù)默認(rèn)編碼(比如"GBK"),下面是一個(gè)判斷是否UTF-8的例子狸臣,如果你了解相應(yīng)規(guī)律莹桅,就容易理解。
public static boolean isValidUtf8(byte[] b,int aMaxCount){
intlLen=b.length,lCharCount=0;
for(int i=0;i<lLen&& lCharCount<aMaxCount;++lCharCount){
byte lByte=b[i++];//to fast operation, ++ now, ready for the following for(;;)
if(lByte>=0) continue;//>=0 is normal ascii
if(lByte<(byte)0xc0 || lByte>(byte)0xfd) return false;
int lCount=lByte>(byte)0xfc?5:lByte>(byte)0xf8?4
:lByte>(byte)0xf0?3:lByte>(byte)0xe0?2:1;
if(i+lCount>lLen) return false;
for(int j=0;j<lCount;++j,++i) if(b[i]>=(byte)0xc0) return false;
}
return true;
}
相應(yīng)地烛亦,一個(gè)使用上述方法的例子如下:
public static String getUrlParam(String aStr,StringaDefaultCharset)
throws UnsupportedEncodingException{
if(aStr==null) return null;
byte[]lBytes=aStr.getBytes("ISO-8859-1");
return new String(lBytes,StringUtil.isValidUtf8(lBytes)?"utf8":aDefaultCharset);
}
不過(guò)诈泼,該方法也存在缺陷,如下兩方面:
沒(méi)有包括對(duì)用戶(hù)默認(rèn)編碼的識(shí)別煤禽,這可以根據(jù)請(qǐng)求信息的語(yǔ)言來(lái)判斷铐达,但不一定正確,因?yàn)槲覀冇袝r(shí)候也會(huì)輸入一些韓文檬果,或者其他文字瓮孙。
可能會(huì)錯(cuò)誤判斷UTF-8字符,一個(gè)例子是"學(xué)習(xí)"兩個(gè)字选脊,其GBK編碼是" \xd1\xa7\xcf\xb0"杭抠,如果使用上述isValidUtf8方法判斷,將返回true恳啥∑樱可以考慮使用更嚴(yán)格的判斷方法,不過(guò)估計(jì)效果不大钝的。
有一個(gè)例子可以證明google也遇到了上述問(wèn)題翁垂,而且也采用了和上述相似的處理方法忿墅,比如,如果在地址欄中輸入"http://www.google.com/search?hl=zh-CN&newwindow=1&q=學(xué)習(xí)"沮峡,google將無(wú)法正確識(shí)別疚脐,而其他漢字一般能夠正常識(shí)別。
最后邢疙,應(yīng)該補(bǔ)充說(shuō)明一下棍弄,如果不使用rewrite規(guī)則,或者通過(guò)表單提交數(shù)據(jù)疟游,其實(shí)并不一定會(huì)遇到上述問(wèn)題呼畸,因?yàn)檫@時(shí)可以在提交數(shù)據(jù)時(shí)指定希望的編碼。另外颁虐,中文文件名確實(shí)會(huì)帶來(lái)問(wèn)題蛮原,應(yīng)該謹(jǐn)慎使用。
6. 其它
下面描述一些和編碼有關(guān)的其他問(wèn)題另绩。
6.1. SecureCRT
除了瀏覽器和控制臺(tái)與編碼有關(guān)外儒陨,一些客戶(hù)端也很有關(guān)系。比如在使用SecureCRT連接linux時(shí)笋籽,應(yīng)該讓SecureCRT的顯示編碼(不同的session蹦漠,可以有不同的編碼設(shè)置)和linux的編碼環(huán)境變量保持一致。否則看到的一些幫助信息车海,就可能是亂碼笛园。
另外,mysql有自己的編碼設(shè)置侍芝,也應(yīng)該保持和SecureCRT的顯示編碼一致裳擎。否則通過(guò)SecureCRT執(zhí)行sql語(yǔ)句的時(shí)候宪萄,可能無(wú)法處理中文字符琼锋,查詢(xún)結(jié)果也會(huì)出現(xiàn)亂碼浩聋。
對(duì)于Utf-8文件,很多編輯器(比如記事本)會(huì)在文件開(kāi)頭增加三個(gè)不可見(jiàn)的標(biāo)志字節(jié)留量,如果作為mysql的輸入文件窄赋,則必須要去掉這三個(gè)字符。(用linux的vi保存可以去掉這三個(gè)字符)楼熄。一個(gè)有趣的現(xiàn)象是忆绰,在中文windows下,創(chuàng)建一個(gè)新txt文件可岂,用記事本打開(kāi)错敢,輸入"連通"兩個(gè)字,保存,再打開(kāi)稚茅,你會(huì)發(fā)現(xiàn)兩個(gè)字沒(méi)了纸淮,只留下一個(gè)小黑點(diǎn)。
6.2. 過(guò)濾器
如果需要統(tǒng)一設(shè)置編碼亚享,則通過(guò)filter進(jìn)行設(shè)置是個(gè)不錯(cuò)的選擇咽块。在filter class中,可以統(tǒng)一為需要的請(qǐng)求或者回應(yīng)設(shè)置編碼欺税。參加上述setCharacterEncoding()侈沪。這個(gè)類(lèi)apache已經(jīng)給出了可以直接使用的例子SetCharacterEncodingFilter。
6.3. POST和GET
很明顯晚凿,以POST提交信息時(shí)亭罪,URL有更好的可讀性,而且可以方便的使用setCharacterEncoding()來(lái)處理字符集問(wèn)題歼秽。但GET方法形成的URL能夠更容易表達(dá)網(wǎng)頁(yè)的實(shí)際內(nèi)容应役,也能夠用于收藏。
從統(tǒng)一的角度考慮問(wèn)題燥筷,建議采用GET方法箩祥,這要求在程序中獲得參數(shù)是進(jìn)行特殊處理,而無(wú)法使用setCharacterEncoding()的便利荆责,如果不考慮rewrite滥比,就不存在IE的UTF-8問(wèn)題亚脆,可以考慮通過(guò)設(shè)置URIEncoding來(lái)方便獲取URL中的參數(shù)做院。
6.4. 簡(jiǎn)繁體編碼轉(zhuǎn)換
GBK同時(shí)包含簡(jiǎn)體和繁體編碼,也就是說(shuō)同一個(gè)字濒持,由于編碼不同键耕,在GBK編碼下屬于兩個(gè)字。有時(shí)候柑营,為了正確取得完整的結(jié)果屈雄,應(yīng)該將繁體和簡(jiǎn)體進(jìn)行統(tǒng)一」偬祝可以考慮將UTF酒奶、GBK中的所有繁體字,轉(zhuǎn)換為相應(yīng)的簡(jiǎn)體字奶赔,BIG5編碼的數(shù)據(jù)惋嚎,也應(yīng)該轉(zhuǎn)化成相應(yīng)的簡(jiǎn)體字。當(dāng)然站刑,仍舊以UTF編碼存儲(chǔ)另伍。
例如,對(duì)于"語(yǔ)言語(yǔ)言"绞旅,用UTF表示為"\xE8\xAF\xAD\xE8\xA8\x80 \xE8\xAA\x9E\xE8\xA8\x80"摆尝,進(jìn)行簡(jiǎn)繁體編碼轉(zhuǎn)換后應(yīng)該是兩個(gè)相同的 "\xE8\xAF\xAD\xE8\xA8\x80>"温艇。