Golang學(xué)習(xí) - unicode/utf8 包


// 編碼所需的基本數(shù)字
const (
RuneError = '\uFFFD' // 錯(cuò)誤的 Rune 或 Unicode 代理字符
RuneSelf = 0x80 // ASCII 字符范圍
MaxRune = '\U0010FFFF' // Unicode 碼點(diǎn)的最大值
UTFMax = 4 // 一個(gè)字符編碼的最大長(zhǎng)度
)


// 將 r 轉(zhuǎn)換為 UTF-8 編碼寫(xiě)入 p 中(p 必須足夠長(zhǎng)士聪,通常為 4 個(gè)字節(jié))
// 如果 r 是無(wú)效的 Unicode 字符,則寫(xiě)入 RuneError
// 返回寫(xiě)入的字節(jié)數(shù)
func EncodeRune(p []byte, r rune) int

// 解碼 p 中的第一個(gè)字符略板,返回解碼后的字符和 p 中被解碼的字節(jié)數(shù)
// 如果 p 為空,則返回(RuneError, 0)
// 如果 p 中的編碼無(wú)效,則返回(RuneError, 1)
// 無(wú)效編碼:UTF-8 編碼不正確(比如長(zhǎng)度不夠)、結(jié)果超出 Unicode 范圍、編碼不是最短的讥电。
// 關(guān)于最短編碼:可以用四個(gè)字節(jié)編碼一個(gè)單字節(jié)字符纠炮,但它不是最短的,比如:
// [111100000 10000000 10000000 10111000] 不是最短的,應(yīng)該使用 [00111000]
func DecodeRune(p []byte) (r rune, size int)

// 功能同上婚被,參數(shù)為字符串
func DecodeRuneInString(s string) (r rune, size int)

// 解碼 p 中的最后一個(gè)字符窜觉,返回解碼后的字符逗余,和 p 中被解碼的字節(jié)數(shù)
// 如果 p 為空特咆,則返回(RuneError, 0)
// 如果 p 中的編碼無(wú)效啥繁,則返回(RuneError, 1)
func DecodeLastRune(p []byte) (r rune, size int)

// 功能同上适室,參數(shù)為字符串
func DecodeLastRuneInString(s string) (r rune, size int)

// FullRune 檢測(cè) p 中第一個(gè)字符的 UTF-8 編碼是否完整(完整并不表示有效)汽畴。
// 一個(gè)無(wú)效的編碼也被認(rèn)為是完整字符,因?yàn)樗鼘⒈晦D(zhuǎn)換為一個(gè) RuneError 字符绳匀。
// 只有“編碼有效但長(zhǎng)度不夠”的字符才被認(rèn)為是不完整字符。
// 也就是說(shuō),只有截去一個(gè)有效字符的一個(gè)或多個(gè)尾部字節(jié),該字符才算是不完整字符。
// 舉例:
// "好" 是完整字符
// "好"[1:] 是完整字符(首字節(jié)無(wú)效,可轉(zhuǎn)換為 RuneError 字符)
// "好"[2:] 是完整字符(首字節(jié)無(wú)效,可轉(zhuǎn)換為 RuneError 字符)
// "好"[:2] 是不完整字符(編碼有效但長(zhǎng)度不夠)
// "好"[:1] 是不完整字符(編碼有效但長(zhǎng)度不夠)
func FullRune(p []byte) bool

// 功能同上锌订,參數(shù)為字符串
func FullRuneInString(s string) bool

// 返回 p 中的字符個(gè)數(shù)
// 錯(cuò)誤的 UTF8 編碼和長(zhǎng)度不足的 UTF8 編碼將被當(dāng)作單字節(jié)的 RuneError 處理
func RuneCount(p []byte) int

// 功能同上芹关,參數(shù)為字符串
func RuneCountInString(s string) (n int)

// RuneLen 返回需要多少字節(jié)來(lái)編碼字符 r浇冰,如果 r 是無(wú)效的字符漂佩,則返回 -1
func RuneLen(r rune) int

// 判斷 b 是否為 UTF8 字符的首字節(jié)編碼养葵,最高位(bit)是不是 10 的字節(jié)就是首字節(jié)着绊。
func RuneStart(b byte) bool

// Valid 判斷 p 是否為完整有效的 UTF8 編碼序列。
func Valid(p []byte) bool

// 功能同上踩蔚,參數(shù)為字符串
func ValidString(s string) bool

// ValidRune 判斷 r 能否被正確的轉(zhuǎn)換為 UTF8 編碼
// 超出 Unicode 范圍的碼點(diǎn)或 UTF-16 代理區(qū)中的碼點(diǎn)是不能轉(zhuǎn)換的
func ValidRune(r rune) bool


// 示例
func main() {
    b := make([]byte, utf8.UTFMax)

    n := utf8.EncodeRune(b, '好')
    fmt.Printf("%v:%v\n", b, n) // [229 165 189 0]:3

    r, n := utf8.DecodeRune(b)
    fmt.Printf("%c:%v\n", r, n) // 好:3

    s := "大家好"
    for i := 0; i < len(s); {
        r, n = utf8.DecodeRuneInString(s[i:])
        fmt.Printf("%c:%v   ", r, n) // 大:3   家:3   好:3
        i += n
    }
    fmt.Println()

    for i := len(s); i > 0; {
        r, n = utf8.DecodeLastRuneInString(s[:i])
        fmt.Printf("%c:%v   ", r, n) // 好:3   家:3   大:3
        i -= n
    }
    fmt.Println()

    b = []byte("好")
    fmt.Printf("%t, ", utf8.FullRune(b))     // true
    fmt.Printf("%t, ", utf8.FullRune(b[1:])) // true
    fmt.Printf("%t, ", utf8.FullRune(b[2:])) // true
    fmt.Printf("%t, ", utf8.FullRune(b[:2])) // false
    fmt.Printf("%t\n", utf8.FullRune(b[:1])) // false

    b = []byte("大家好")
    fmt.Println(utf8.RuneCount(b)) // 3

    fmt.Printf("%d, ", utf8.RuneLen('A'))          // 1
    fmt.Printf("%d, ", utf8.RuneLen('\u03A6'))     // 2
    fmt.Printf("%d, ", utf8.RuneLen('好'))          // 3
    fmt.Printf("%d, ", utf8.RuneLen('\U0010FFFF')) // 4
    fmt.Printf("%d\n", utf8.RuneLen(0x1FFFFFFF))   // -1

    fmt.Printf("%t, ", utf8.RuneStart("好"[0])) // true
    fmt.Printf("%t, ", utf8.RuneStart("好"[1])) // false
    fmt.Printf("%t\n", utf8.RuneStart("好"[2])) // false

    b = []byte("你好")
    fmt.Printf("%t, ", utf8.Valid(b))     // true
    fmt.Printf("%t, ", utf8.Valid(b[1:])) // false
    fmt.Printf("%t, ", utf8.Valid(b[2:])) // false
    fmt.Printf("%t, ", utf8.Valid(b[:2])) // false
    fmt.Printf("%t, ", utf8.Valid(b[:1])) // false
    fmt.Printf("%t\n", utf8.Valid(b[3:])) // true

    fmt.Printf("%t, ", utf8.ValidRune('好'))        // true
    fmt.Printf("%t, ", utf8.ValidRune(0))          // true
    fmt.Printf("%t, ", utf8.ValidRune(0xD800))     // false  代理區(qū)字符
    fmt.Printf("%t\n", utf8.ValidRune(0x10FFFFFF)) // false  超出范圍
}

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,214評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異亦渗,居然都是意外死亡多律,警方通過(guò)查閱死者的電腦和手機(jī)殉挽,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,307評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門(mén)伪煤,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)蝙砌,“玉大人,你說(shuō)我怎么就攤上這事∠煸蹋” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 152,543評(píng)論 0 341
  • 文/不壞的土叔 我叫張陵莲兢,是天一觀的道長(zhǎng)怒见。 經(jīng)常有香客問(wèn)我闺阱,道長(zhǎng)赊豌,這世上最難降的妖魔是什么悲伶? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 55,221評(píng)論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮闹瞧,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘展辞。我一直安慰自己奥邮,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,224評(píng)論 5 371
  • 文/花漫 我一把揭開(kāi)白布罗珍。 她就那樣靜靜地躺著洽腺,像睡著了一般。 火紅的嫁衣襯著肌膚如雪覆旱。 梳的紋絲不亂的頭發(fā)上蘸朋,一...
    開(kāi)封第一講書(shū)人閱讀 49,007評(píng)論 1 284
  • 那天,我揣著相機(jī)與錄音扣唱,去河邊找鬼藕坯。 笑死,一個(gè)胖子當(dāng)著我的面吹牛噪沙,可吹牛的內(nèi)容都是我干的炼彪。 我是一名探鬼主播,決...
    沈念sama閱讀 38,313評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼正歼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼辐马!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起局义,我...
    開(kāi)封第一講書(shū)人閱讀 36,956評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤喜爷,失蹤者是張志新(化名)和其女友劉穎膜楷,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體贞奋,經(jīng)...
    沈念sama閱讀 43,441評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡赌厅,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,925評(píng)論 2 323
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了轿塔。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片特愿。...
    茶點(diǎn)故事閱讀 38,018評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖勾缭,靈堂內(nèi)的尸體忽然破棺而出揍障,到底是詐尸還是另有隱情,我是刑警寧澤俩由,帶...
    沈念sama閱讀 33,685評(píng)論 4 322
  • 正文 年R本政府宣布毒嫡,位于F島的核電站,受9級(jí)特大地震影響幻梯,放射性物質(zhì)發(fā)生泄漏兜畸。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,234評(píng)論 3 307
  • 文/蒙蒙 一碘梢、第九天 我趴在偏房一處隱蔽的房頂上張望咬摇。 院中可真熱鬧,春花似錦煞躬、人聲如沸肛鹏。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,240評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)在扰。三九已至,卻和暖如春雷客,著一層夾襖步出監(jiān)牢的瞬間芒珠,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,464評(píng)論 1 261
  • 我被黑心中介騙來(lái)泰國(guó)打工佛纫, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留妓局,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,467評(píng)論 2 352
  • 正文 我出身青樓呈宇,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親局雄。 傳聞我的和親對(duì)象是個(gè)殘疾皇子甥啄,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,762評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容

  • 對(duì)于傳入 []byte 的函數(shù),都不會(huì)修改傳入的參數(shù)炬搭,返回值要么是參數(shù)的副本蜈漓,要么是參數(shù)的切片穆桂。 // 轉(zhuǎn)換 //...
    佛心看世界閱讀 729評(píng)論 0 0
  • // bufio 包實(shí)現(xiàn)了帶緩存的 I/O 操作 type Reader struct { ... } // Ne...
    佛心看世界閱讀 1,677評(píng)論 0 0
  • Lua 5.1 參考手冊(cè) by Roberto Ierusalimschy, Luiz Henrique de F...
    蘇黎九歌閱讀 13,740評(píng)論 0 38
  • 一、基礎(chǔ)知識(shí):1融虽、JVM享完、JRE和JDK的區(qū)別:JVM(Java Virtual Machine):java虛擬機(jī)...
    殺小賊閱讀 2,365評(píng)論 0 4
  • 當(dāng)早上接到電話過(guò)后,我就預(yù)感到今天會(huì)為家人所犯下的錯(cuò)誤而埋單一天有额,即便是清晰可見(jiàn)的問(wèn)題般又,兩家依舊喋喋不休爭(zhēng)論一個(gè)上...
    封筆ing閱讀 122評(píng)論 0 0