一.首先我們需要下載兩個包:"golang.org/x/text" ”golang.org/x/net/html"却邓,前者用來對HTML進行轉(zhuǎn)碼谷市,而后者則是猜測出當(dāng)前獲取的HTML是哪一種編碼柄驻,輔助前者完成轉(zhuǎn)碼胎挎。
本次Demo使用到的包:
import (
"fmt"
"net/http"
"io/ioutil"
"golang.org/x/text/transform"
"io"
"golang.org/x/text/encoding"
"bufio"
"golang.org/x/net/html/charset"
)
二.main函數(shù):
func main(){
resp,err := http.Get("http://www.zhenai.com/zhenghun") //獲取頁面返回的response
if err != nil{
panic(err)
}
defer resp.Body.Close() //記得每次都要關(guān)閉response的body哦
if resp.StatusCode != http.StatusOK{
fmt.Printf("Wrong status code :%d",resp.StatusCode)
return
}
utf8Reader := transform.NewReader(resp.Body,Determineencoding(resp.Body).NewDecoder())
//將其他編碼的reader轉(zhuǎn)換為常用的utf8reader
all,err := ioutil.ReadAll(utf8Reader)
if err != nil{
panic(err)
}
fmt.Printf("%s",all)
}
三.Determineencoding函數(shù):用來猜測HTML代碼的編碼格式胁出,如gbk型型、utf8。
func Determineencoding(r io.Reader) encoding.Encoding {
bytes,err := bufio.NewReader(r).Peek(1024)
if err !=nil {
panic(err)
}
e,_,_ := charset.DetermineEncoding(bytes,"")
return e
}
詳情見Determineencoding函數(shù)的介紹全蝶,它是根據(jù)reader的前1024個字節(jié)來猜測編碼格式的闹蒜。