golang net/http包 http請(qǐng)求的字節(jié)碼讀取與解析睁宰。

c.readRequest(ctx)讀請(qǐng)求

先配置Header最長(zhǎng)讀取時(shí)間肪获、req最長(zhǎng)讀取時(shí)間、req最大讀取長(zhǎng)度默認(rèn)6M柒傻。

RFC7230禁止\r\n參數(shù)孝赫,Url中只允許包含英文字母(a-zA-Z)、數(shù)字(0-9)红符、-_.~4個(gè)特殊字符以及所有保留字符青柄。但go net/http包放寬了這個(gè)要求劫映。

讀出Request

先構(gòu)建newTextprotoReader,由于緩沖區(qū)是對(duì)象復(fù)用的刹前,用完后要defer put泳赋。共完以以下解析任務(wù):

  • 協(xié)議第一行
  • URL
  • Header
  • Body

TextprotoReader數(shù)據(jù)結(jié)構(gòu),將字節(jié)碼Reader轉(zhuǎn)成文本Reader喇喉。

type Reader struct 
    R   *bufio.Reader
    dot *dotReader
    buf []byte // a re-usable buffer for readContinuedLineSlice
}
type dotReader struct {
    r     *Reader
    state int
}
//struct之間相互引用

第一步祖今,從第一行解析出method uri prototype。

第二步解析URL拣技。url.URL數(shù)據(jù)結(jié)構(gòu):

type URL struct {
    Scheme     string 
    Opaque     string    
    User       *Userinfo 
    Host       string    
    Path       string    
    RawPath    string   
    ForceQuery bool      
    RawQuery   string    
    Fragment   string   
}

解析Scheme千诬,協(xié)議前綴(小寫(xiě))。有查詢參數(shù)?膏斤,則配置url.ForceQuery url.RawQuery徐绑。有認(rèn)證信息///...//,則解析url.User url.Host莫辨。最后配置url.Path和url.RawPath傲茄,如果Path==RawPath,則RawPath=""沮榜。

第三步解析MIMEHeader盘榨。

第四步readTransfer。重新配置如下參數(shù):RequestMethod ProtoMajor ProtoMinor Header Trailer ContentLength Close蟆融。對(duì)于Body草巡,如果encodings支持chunked,讀取流用chunkedReader包裹型酥。默認(rèn)情況用LimitedReader山憨,無(wú)body賦空的struct{}。

Request檢查并補(bǔ)全

以下情況返回非空err弥喉,示得到正確的請(qǐng)求:

  • 請(qǐng)求太大郁竟,超過(guò)了readLimitSize。
  • 不支持的0.x和2+的HTTP協(xié)議版本档桃。
  • 請(qǐng)求Header中沒(méi)有Host枪孩、超過(guò)1個(gè)或不合法。合法字符集為httpguts.validHostByte藻肄。
  • Header的Key或Value不合法。Key的要求必須一httpguts.isTokenTable字符集拒担,Value的要求不可以是控制字符集嘹屯。

最后配置req.ctx req.RemoteAddr req.TLS body.doEarlyClose = true。

構(gòu)建Response并包裝chunkWriter

構(gòu)建Response:

w = &response{
        conn:          c,
        cancelCtx:     cancelCtx,
        req:           req,
        reqBody:       req.Body,
        handlerHeader: make(Header),
        contentLength: -1,
        closeNotifyCh: make(chan bool, 1),

        wants10KeepAlive: req.wantsHttp10KeepAlive(),
        wantsClose:       req.wantsClose(),
    }

其中closeNotifyCh必須在構(gòu)建時(shí)初始化从撼,沒(méi)有content所以先置contentLength為-1州弟。

配置w.cw并被w.w包裹钧栖。w.cw緩沖默認(rèn)大小2M。

請(qǐng)求未正確獲取的情況

獲取Request可能出現(xiàn)如下錯(cuò)誤:

  • 請(qǐng)求超過(guò)readLimitSize婆翔,返回431錯(cuò)誤拯杠,并刷新conn的讀寫(xiě)緩沖。
  • basRequest錯(cuò)誤啃奴,返回400錯(cuò)誤潭陪。包括網(wǎng)絡(luò)原因?qū)е碌淖x取錯(cuò)誤。

w.finishRequest()

先上響應(yīng)數(shù)據(jù)結(jié)構(gòu):

type response struct {
    conn             *conn 
    req              *Request 
    reqBody          io.ReadCloser
    cancelCtx        context.CancelFunc
    wroteHeader      bool               
    wroteContinue    bool               
    wants10KeepAlive bool               
    wantsClose       bool               

    w  *bufio.Writer 
    cw chunkWriter

    handlerHeader Header
    calledHeader  bool 

    written       int64 
    contentLength int64 
    status        int   

    closeAfterReply bool

    requestBodyLimitHit bool

    trailers []string

    handlerDone atomicBool 

    dateBuf   [len(TimeFormat)]byte
    clenBuf   [10]byte
    statusBuf [3]byte

    closeNotifyCh  chan bool
    didCloseNotify int32 
}

response字段可以分類(lèi)為:大對(duì)象最蕾、緩沖依溯、KV對(duì)或bool型的狀態(tài)參數(shù)。

大對(duì)象有:

  • conn為T(mén)CP連接指針
  • req為對(duì)應(yīng)的請(qǐng)求指針
  • reqBody為req.Body
  • cancelCtx為連接上下文context

狀態(tài)字段:

  • requestBodyLimitHit瘟则,讀req.Body使用了maxBytesReader保護(hù)機(jī)制黎炉,當(dāng)請(qǐng)求信息過(guò)大達(dá)到上限,就會(huì)在這個(gè)參數(shù)上反映醋拧。
  • 4個(gè)Header參數(shù):
    • wroteHeader響應(yīng)Header寫(xiě)入完成
    • wroteContinue響應(yīng)加入了100 Continue
    • wants10KeepAlive為Connection "keep-alive"連接重用參數(shù)
    • wantsClose為Connection "close"連接重用參數(shù)
  • 3個(gè)數(shù)據(jù): dateBuf clenBuf statusBuf對(duì)應(yīng)Date Content-Length status cod
  • 3個(gè)Body相關(guān)參數(shù):contentLength written status三個(gè)字段用來(lái)校驗(yàn)響應(yīng)內(nèi)容是否寫(xiě)入完整慷嗜,如果未寫(xiě)完則不對(duì)此連接進(jìn)行復(fù)用。定位到上一篇文章serve()方法中有提到丹壕。
  • trailers:指寫(xiě)完響應(yīng)之后洪添,還需要向TCP連接寫(xiě)入的數(shù)據(jù)
  • handlerDone 表示handler是否存在
  • handlerHeader calledHeader保存Header

緩沖區(qū)字段

chunkWriter數(shù)據(jù)結(jié)構(gòu):

type chunkWriter struct {
    res *response
    header Header
    wroteHeader bool
    chunking bool 
}

chunkWriter包裹了Response,功能之一是完成Header設(shè)置雀费,包括Content-Type Content-Length chunk-header干奢。bufio.Writer是chunkWriter是緩沖包裹。

邏輯流

共完成三層緩沖寫(xiě)入:resp.w->resp.cw->conn.bufw

handler將響應(yīng)寫(xiě)入到response.w盏袄。

調(diào)用w.w.Flush()將w寫(xiě)入到cw忿峻,注意到Flush()操作,如果未刷空緩存并報(bào)錯(cuò)辕羽,觸發(fā)拷貝操作逛尚。報(bào)錯(cuò)不會(huì)退回已寫(xiě)出的數(shù)據(jù)。

copy(b.buf[0:b.n-n], b.buf[n:b.n]

進(jìn)而調(diào)用cw.Write()刁愿,根據(jù)cw.chunking參數(shù)绰寞。

  • 使能,則全部數(shù)據(jù)寫(xiě)入到TCP緩沖铣口。
  • 否則返回實(shí)際向TCP緩沖的寫(xiě)入量滤钱。

putBufioWriter(w.w)清空resp.w緩沖,如果池化放回sync.pool脑题。

根據(jù)chunkWriter的定義件缸,w.cw.close()負(fù)責(zé)cw的結(jié)束工作:寫(xiě)入換行符和resp.trailers數(shù)據(jù)。

最后刷新TCP緩沖w.conn.bufw.Flush()叔遂,完成響應(yīng)包發(fā)送他炊。并正確關(guān)閉request争剿。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市痊末,隨后出現(xiàn)的幾起案子蚕苇,更是在濱河造成了極大的恐慌,老刑警劉巖凿叠,帶你破解...
    沈念sama閱讀 211,042評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件涩笤,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡幔嫂,警方通過(guò)查閱死者的電腦和手機(jī)辆它,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,996評(píng)論 2 384
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)履恩,“玉大人锰茉,你說(shuō)我怎么就攤上這事∏行模” “怎么了飒筑?”我有些...
    開(kāi)封第一講書(shū)人閱讀 156,674評(píng)論 0 345
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)绽昏。 經(jīng)常有香客問(wèn)我协屡,道長(zhǎng),這世上最難降的妖魔是什么全谤? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,340評(píng)論 1 283
  • 正文 為了忘掉前任肤晓,我火速辦了婚禮,結(jié)果婚禮上认然,老公的妹妹穿的比我還像新娘补憾。我一直安慰自己,他們只是感情好卷员,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,404評(píng)論 5 384
  • 文/花漫 我一把揭開(kāi)白布盈匾。 她就那樣靜靜地躺著,像睡著了一般毕骡。 火紅的嫁衣襯著肌膚如雪削饵。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 49,749評(píng)論 1 289
  • 那天未巫,我揣著相機(jī)與錄音窿撬,去河邊找鬼。 笑死橱赠,一個(gè)胖子當(dāng)著我的面吹牛尤仍,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播狭姨,決...
    沈念sama閱讀 38,902評(píng)論 3 405
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼宰啦,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了饼拍?” 一聲冷哼從身側(cè)響起赡模,我...
    開(kāi)封第一講書(shū)人閱讀 37,662評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎师抄,沒(méi)想到半個(gè)月后漓柑,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,110評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡叨吮,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,451評(píng)論 2 325
  • 正文 我和宋清朗相戀三年辆布,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片茶鉴。...
    茶點(diǎn)故事閱讀 38,577評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡锋玲,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出涵叮,到底是詐尸還是另有隱情惭蹂,我是刑警寧澤,帶...
    沈念sama閱讀 34,258評(píng)論 4 328
  • 正文 年R本政府宣布割粮,位于F島的核電站盾碗,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏舀瓢。R本人自食惡果不足惜廷雅,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,848評(píng)論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望京髓。 院中可真熱鬧航缀,春花似錦、人聲如沸朵锣。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,726評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)诚些。三九已至飞傀,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間诬烹,已是汗流浹背砸烦。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,952評(píng)論 1 264
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留绞吁,地道東北人幢痘。 一個(gè)月前我還...
    沈念sama閱讀 46,271評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像家破,于是被迫代替她去往敵國(guó)和親颜说。 傳聞我的和親對(duì)象是個(gè)殘疾皇子购岗,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,452評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容