說到編碼，得先從ASCII編碼講起。ASCII編碼是由美國人發(fā)明啦辐，美國的字符不超過255個，所以ASCII編碼使用了8bit 即一個字節(jié)來存儲字符蜈项。由于漢字的數(shù)量遠(yuǎn)超255個芹关，所以中國自己發(fā)明了一個GB2312編碼來表示漢字，一般的漢字使用2個字節(jié)紧卒，對于一些生僻的漢字則使用更多的字節(jié)來表示侥衬，當(dāng)然，GB2313編碼是可以兼容ASCII碼的跑芳。
然后轴总，日本，韓國等等國家也自己發(fā)明了一套編碼方法博个，這時候又出現(xiàn)了一個新的問題怀樟。如果一篇文章里面，即有中文坡倔，又有日文的話漂佩，無論使用中文的編碼方法還是使用日文的編碼方法都會出現(xiàn)亂碼。隨后罪塔，unicode編碼便應(yīng)運(yùn)而生投蝉。unicode編碼對文字的編碼進(jìn)行了統(tǒng)一，當(dāng)然征堪，unicode只是一種編碼規(guī)范瘩缆，它有多個版本，常用的unicode編碼使用了16位來存儲字符佃蚜，16位的存儲空間足以容納世界上所有書面字符（對于漢字來說庸娱，一共有6萬多個，只能包含其中的一些常用漢字谐算，所以unicode編碼對于漢字的兼容性并不是特別好）熟尉。unicode編碼兼容了ASCII碼，ASCII碼轉(zhuǎn)unicode編碼時洲脂，保持后8位不變斤儿，前8位只需要用0去補(bǔ)全即可。
使用了unicode編碼后恐锦，又有新的問題出現(xiàn)往果。因?yàn)閡nicode編碼是用兩個字節(jié)來存儲字符，如果一篇文章中一铅，大部分都是英文陕贮，使用unicode編碼就會造成空間的浪費(fèi)，對英文部分使用ASCII碼只需要一個字節(jié)就可以了潘飘。這時候肮之，utf-8解決了這個問題。utf-8是一種可變長的字符編碼卜录，當(dāng)存儲英文時只使用一個字節(jié)局骤，節(jié)省了一半的空間，而存儲中文字符時暴凑，長度還是不變峦甩。utf-8雖然壓縮了存儲空間，但是如果在內(nèi)存中存儲现喳，使用utf-8卻由于它的長度不固定凯傲，帶來了很大的不便，使得在內(nèi)存處理字符變得復(fù)雜嗦篱。應(yīng)對這個問題的解決策略是：在內(nèi)存中存儲字符時還是使用unicode編碼冰单，因?yàn)閡nicode編碼的長度固定，處理起來很方便灸促。而在文件的存儲中诫欠，則使用utf-8編碼涵卵，可以壓縮內(nèi)存，節(jié)省空間荒叼。這里一般有個自動轉(zhuǎn)換的機(jī)制轿偎，即從文件中讀取utf-8編碼到內(nèi)存時，會自動轉(zhuǎn)換為unicode編碼被廓，而從內(nèi)存中將字符保存到文件時坏晦，則自動轉(zhuǎn)換為utf-8編碼。
