什么是多字節(jié)的字符串操作呢鸟雏?其實不少的同學可能都已經(jīng)使用過了享郊,但我們還是要從最基礎(chǔ)的問題說起。
一個字符占幾個字節(jié)并不是我們表面上看到的那樣孝鹊。正常情況下炊琉,一個數(shù)字或英文以及英文符號都是占用一個字節(jié)的。但是這個世界的語言文字何其之多又活,特別是像中文苔咪、日文這樣的文字,往往用一個字節(jié)裝不下柳骄,這時候就需要多字節(jié)來解決了(多字節(jié)一般第一個字節(jié)是前導字節(jié)表示當前是什么語言文字团赏,后面的是正被的字節(jié)編碼)。比如說一個中文字在 GBK 環(huán)境是占用兩個字節(jié)耐薯,而在 UTF-8 下則是占用三個字節(jié)舔清。而在最近幾年,由于 emoji 表情的出現(xiàn) UTF-8MB4 又成為了主流曲初,在表示這些 emoji 表情字符的時候体谒,往往又會使用 UTF-8MB4 這種占用四個字節(jié)的編碼格式來表示。
雖說字節(jié)的不同設置能夠幫助我們展示豐富的內(nèi)容臼婆,但對它的一些操作卻也帶來了麻煩抒痒。
字符串操作
$str = "abc測試一下";
echo strlen($str), PHP_EOL; // 15
strlen() 函數(shù)大家都不陌生,但是對于中文來說颁褂,它返回的數(shù)量明顯是不對的评汰。我們當前默認的編碼格式是 UTF-8 ,所以將一個中文當做三個英文字符來數(shù)就正好是 15 個字符長度痢虹。很明顯被去,這不是我們想要的結(jié)果,假設我們要截取字符串的話奖唯,這個長度的計算可是很費勁的惨缆,搞不好還容易出現(xiàn)亂碼。
幸好在 PHP 的默認擴展中就已經(jīng)為我們準備好了一組 mb_ 函數(shù)庫,專門用來處理這類多字節(jié)字符串的問題坯墨。
echo mb_strlen($str), PHP_EOL; // 7
echo mb_strlen($str, 'GB2312'), PHP_EOL; // 11
在不指定 mb_strlen() 函數(shù)的第二個參數(shù)的情況下寂汇,會按照當前文檔的默認編碼格式來進行轉(zhuǎn)換,所以我們的字符串長度就在 UTF-8 的環(huán)境下正常顯示了捣染。當然骄瓣,我們也可以指定第二個參數(shù)為其它的編碼格式,比如以前常用的 GB2312 或者 GBK 耍攘,這樣返回的字符長度就是以一個中文占兩個字節(jié)的形式返回長度了榕栏。
var_dump(mb_strpos($str, "測")); // int(3)
var_dump(mb_convert_case($str, MB_CASE_UPPER)); // string(15) "ABC測試一下"
var_dump(mb_convert_case($str, MB_CASE_LOWER)); // string(15) "abc測試一下"
var_dump(mb_substr($str, 5)); // string(6) "一下"
當然,mb_ 相關(guān)的字符串操作函數(shù)是比較全面的蕾各,字符出現(xiàn)位置扒磁、大小寫轉(zhuǎn)換、截取字符串等函數(shù)都是提供的式曲,調(diào)用的參數(shù)也都和普通的字符串操作函數(shù)沒什么區(qū)別妨托,只是它們多了一個可選的指定編碼的參數(shù)。在通常的情況下吝羞,只要我們的文件是對應的編碼格式兰伤,這個參數(shù)就不用去寫了。
當然钧排,字符串的操作函數(shù)還有很多医清,這里就不一一列舉了,大家可以自行查閱相關(guān)的文檔卖氨。
字符串正則操作
既然說到了字符串的操作会烙,正則相關(guān)的功能也是必不可少的,我們先看下使用默認的 preg_ 相關(guān)的函數(shù)操作中文的問題筒捺。
$str = iconv('UTF-8', 'GB2312', $str);
var_dump(preg_match("/[a-z]*測試/i", $str)); // int(0)
var_dump(preg_replace("/[a-z]*測試/i","試試", $str)); // string(11) "abc???????"
首先我們將測試用的字符串轉(zhuǎn)換為 GB2312 的形式柏腻。就像我們獲取的外部接口可能返回的就是 GB2312 的編碼的。這時直接使用 preg_ 相關(guān)的函數(shù)是無法正確獲得我們想要的結(jié)果的系吭。
mb_regex_encoding('GB2312');
$pattern = iconv('UTF-8', 'GB2312', "[a-z]*測試");
var_dump(mb_ereg($pattern, $str)); // int(1)
var_dump(mb_eregi($pattern, $str)); // int(1)
var_dump(mb_ereg_replace($pattern,"試試", $str)); // string(10) "試試???"
var_dump(mb_eregi_replace($pattern,"試試", $str)); // string(10) "試試???"
接下來我們通過 mb_ereg 相關(guān)的函數(shù)來進行正則的匹配和替換五嫂,就能正常的對不同編碼的字符串進行操作了。注意肯尺,我們需要指定 mb_regex_encoding() 函數(shù)沃缘,告訴當前默認的規(guī)劃替換編碼是 GB2312 ,同時则吟,正則規(guī)則也要轉(zhuǎn)換成對應的編碼格式槐臀。
mb_eregi 相關(guān)的函數(shù)和 mb_ereg 其實沒有本質(zhì)上的區(qū)別,只是它不區(qū)分大小寫了氓仲,就像 preg 相關(guān)函數(shù)中我們寫正則時的后綴符號 i 一樣水慨。ereg 相關(guān)的函數(shù)都是不用寫反斜杠的得糜,在普通的函數(shù)中其實是已經(jīng)被淘汰了的函數(shù)(性能沒有 preg 好,語法也有區(qū)別)晰洒,大部分情況下都會直接使用 preg 相關(guān)的函數(shù)來進行操作朝抖。不過如果是牽涉到多字節(jié)相關(guān)的問題,在 mb_ 函數(shù)庫中還是只有 ereg 這類的函數(shù)可以使用谍珊。
字符串編碼轉(zhuǎn)換
就像我們之前學習過的 iconv() 函數(shù)一樣治宣,mb_ 庫中也提供了字符編碼轉(zhuǎn)換的函數(shù)。
$phone = file_get_contents('https://tcc.taobao.com/cc/json/mobile_tel_segment.htm?tel=13888888888');
print_r($phone);
// __GetZoneResult_ = {
// mts:'1388888',
// province:'????',
// catName:'?й????',
// telString:'13888888888',
// areaVid:'30515',
// ispVid:'3236139',
// carrier:'???????'
// }
var_dump(mb_convert_encoding($phone, 'UTF-8', "GBK"));
// string(183) "__GetZoneResult_ = {
// mts:'1388888',
// province:'云南',
// catName:'中國移動',
// telString:'13888888888',
// areaVid:'30515',
// ispVid:'3236139',
// carrier:'云南移動'
// }
// "
echo mb_detect_encoding($phone, 'UTF-8,GBK'), PHP_EOL; // CP936
同樣我們還是拿這個獲取手機號信息的公共接口測試砌滞,它返回的內(nèi)容是 GBK 的編碼內(nèi)容侮邀。我們可以通過 mb_convert_encoding() 來轉(zhuǎn)換它的編碼內(nèi)容。mb_detect_encoding() 是檢測編碼格式布持,這里我們給了兩個參數(shù),它會返回符合條件的編碼內(nèi)容陕悬,CP936 就是 GBK 的另一種表示(IBM在制作 code page 時將 GBK 編碼放在了第 936 頁)题暖。
HTTP 參數(shù)操作
mb_internal_encoding("UTF-8");
首先介紹一個 mb_internal_encoding() 函數(shù),其實就是設置當前運行環(huán)境中的默認編碼規(guī)則的捉超,如果不設置的話胧卤,就是以當前這個 php 文件的編碼規(guī)則為默認的。大家了解一下拼岳,因為它會影響我們后面介紹的內(nèi)容。
// // localhost:9991/?a=我上
var_dump(mb_http_input('GPC')); // bool(false)
var_dump(mb_http_output()); // string(5) "UTF-8"
mb_internal_encoding("CP936");
mb_parse_str($_SERVER['QUERY_STRING'], $result);
print_r($result);
// Array
// (
// [a] => 我上
// )
首先我們運行起來測試文件,然后用瀏覽器請求這個鏈接地址么伯。mb_http_input() 是檢測 HTTP 輸入字符編碼忍饰,不過我測試的結(jié)果都是返回 false 。有了解的小伙伴可以留言說明下這個是什么情況耐版。而 mb_http_output 則是設置檢測輸出的編碼祠够,這個就會受到 mb_internal_encoding() 所定義的內(nèi)容的影響。
另外粪牲,mb_parse_str() 是 parse_str() 函數(shù)的多字節(jié)版古瓤,我們可以將瀏覽器的默認編碼轉(zhuǎn)換成 GBK 或者 之后再來請求,因為我們設置當前的 mb_internal_encoding() 為 CP936 了腺阳。在默認情況下落君,如果使用 UTF-8 的瀏覽器請求的話,這里就會報錯了亭引,這就是 mb_internal_encoding() 對這些函數(shù)的影響绎速。
其它屬性查看
最后,我們再來看看一些 mb_ 相關(guān)信息屬性的內(nèi)容焙蚓。
var_dump(mb_language());
// string(7) "neutral"
mb_language() 函數(shù)用于獲取/設置當前的語言朝氓,它可以接收一個參數(shù)設置當前的語言信息魔市。主要用于編碼郵件信息 mb_send_mail() 函數(shù)就是使用它來對郵件進行編碼。關(guān)于 mb_send_mail() 的使用大家可以自己嘗試一下赵哲,其實也是 send_mail() 函數(shù)的多字節(jié)版待德。neutral 的意思是中立的,其實也是跟我們的 mb_internal_encoding() 有關(guān)枫夺。
var_dump(mb_list_encodings());
// array(86) {
// [0]=>
// string(4) "pass"
// [1]=>
// string(5) "wchar"
// [2]=>
// string(7) "byte2be"
// [3]=>
// ……
// [65]=>
// string(5) "CP936"
// ……
mb_list_encodings() 用于展示當前系統(tǒng)中所支持的所有語言編碼的列表将宪,在這個列表中我們就可以看到 CP936 的身影,但是沒有 GBK 哦橡庞,記住它們倆是一個東西就好了较坛。
var_dump(mb_get_info());
// array(14) {
// ["internal_encoding"]=>
// string(5) "UTF-8"
// ["http_output"]=>
// string(5) "UTF-8"
// ["http_output_conv_mimetypes"]=>
// string(31) "^(text/|application/xhtml\+xml)"
// ["func_overload"]=>
// int(0)
// ["func_overload_list"]=>
// string(11) "no overload"
// ["mail_charset"]=>
// string(5) "UTF-8"
// ["mail_header_encoding"]=>
// string(6) "BASE64"
// ["mail_body_encoding"]=>
// string(6) "BASE64"
// ["illegal_chars"]=>
// int(0)
// ["encoding_translation"]=>
// string(3) "Off"
// ["language"]=>
// string(7) "neutral"
// ["detect_order"]=>
// array(2) {
// [0]=>
// string(5) "ASCII"
// [1]=>
// string(5) "UTF-8"
// }
// ["substitute_character"]=>
// int(63)
// ["strict_detection"]=>
// string(3) "Off"
// }
mb_get_info() 是查看當前環(huán)境下默認的這些語言編碼的配置,比如我們熟悉的 internal_encoding 扒最、 http_output 屬性都能在這里看到丑勤。
總結(jié)
用過的同學是不是也發(fā)現(xiàn)了今天文章的新姿勢了呢?沒錯吧趣,GBK 和 CP936 反而成為了今天文章的意外驚喜法竞。這個在之前確實還真沒有注意到。其實 mb_ 相關(guān)的函數(shù)的使用已經(jīng)非常普遍了强挫,基本算是學習 PHP 的入門必備知識了岔霸。它還有很多的函數(shù)并沒有一一地列舉出來,有興趣的同學可以多多查閱官方手冊進行更加深入地學習俯渤。
測試代碼:
[https://github.com/zhangyue0503/dev-blog/blob/master/php/202011/source/10.簡單入門PHP中的多字節(jié)字符串操作.php][https://github.com/zhangyue0503/dev-blog/blob/master/php/202011/source/10.簡單入門PHP中的多字節(jié)字符串操作.php]
參考文檔: