??前言:最近在寫一個網站的爬蟲的時候模擬了一個請求卻老是得到httpcode 400
這個響應箱吕,大家也知道一般這個響應主要是因為客戶端也就是發(fā)送方的接口請求格式有問題跨跨,一開始我直接使用Postman
去模擬請求间学,是可以得到數據的淹办,然后我又使用python
腳本去模擬請求,卻始終得不到械哟,后來結合之前開發(fā)服務端的經驗疏之,發(fā)現犯了一個很初級的錯誤,沒有注意到content-type
的提交POST
的方式暇咆,難怪一直出錯锋爪,下面我們來還原一下場景,以及擴展分析一下四種常見的POST提交方式的區(qū)別爸业。
演示:
??我們需要爬的網站模擬的請求如下:
??因為寫慣了content-type
是application/json
的格式了几缭,所以習以為常的把form-data
寫成了Python
中的dict
格式,結果一直報400
的錯誤沃呢,錯誤代碼大致如下:
import requests
headers = {
"content-type": "application/x-www-form-urlencoded;charset=UTF-8"
}
data = {
"f.req": xxx,
"at": xxx
}
requests.post(url=url,headers=headers,data=data)
??之后結合之前做服務端的時候經常被這個content-type
搞懵逼的經歷年栓,就看出請求方式的錯誤,于是把代碼改成了這樣薄霜,就完美的收到200
的響應了某抓。
import requests
from urllib.parse import urlencode
headers = {
"content-type": "application/x-www-form-urlencoded;charset=UTF-8"
}
data = {
"f.req": xxx,
"at": xxx
}
data = urlencode(data)
requests.post(url=url,headers=headers,data=data)
擴展:
- application/x-www-form-urlencoded
- multipart/form-data
- application/json
- text/xml
以上是四種常見的POST
提交數據的方式,我們知道惰瓜,HTTP
協(xié)議是以 ASCII 碼傳輸(可參考http介紹)否副,建立在 TCP/IP 協(xié)議之上的應用層規(guī)范。規(guī)范把 HTTP 請求分為三個部分:狀態(tài)行
崎坊、請求頭
备禀、消息主體
。類似于下面這樣
<method> <request-URL> <version>
<headers>
<entity-body>
議規(guī)定 POST
提交的數據必須放在消息主體(entity-body)
中奈揍,但協(xié)議并沒有規(guī)定數據必須使用什么編碼方式曲尸。實際上,開發(fā)者完全可以自己決定消息主體的格式男翰,只要最后發(fā)送的 HTTP 請求滿足上面的格式就可以另患。
但是,數據發(fā)送出去蛾绎,還要服務端解析成功才有意義昆箕。一般服務端語言如 php、python 等租冠,以及它們的 framework鹏倘,都內置了自動解析常見數據格式的功能。服務端通常是根據請求頭(headers)中的 Content-Type
字段來獲知請求中的消息主體是用何種方式編碼顽爹,再對主體進行解析纤泵。所以說到 POST
提交數據方案,包含了 Content-Type
和消息主體編碼方式
兩部分话原。下面就正式開始介紹它們夕吻。
1.application/x-www-form-urlencoded
??這應該是最常見的 POST
提交數據的方式了诲锹。瀏覽器的原生form
表單,如果不設置enctype
屬性涉馅,那么最終就會以 application/x-www-form-urlencoded
方式提交數據归园。請求類似于下面這樣(無關的請求頭在本文中都省略掉了):
POST http://www.example.com HTTP/1.1
Content-Type: application/x-www-form-urlencoded;charset=utf-8
title=test&sub%5B%5D=1&sub%5B%5D=2&sub%5B%5D=3
??首先,Content-Type
被指定為application/x-www-form-urlencoded
稚矿;其次庸诱,提交的數據按照 key1=val1&key2=val2
的方式進行編碼,key 和 val 都進行了 URL 轉碼晤揣。大部分服務端語言都對這種方式有很好的支持桥爽。很多時候,我們用 Ajax
提交數據時昧识,也是使用這種方式钠四。例如 JQuery 和 QWrap 的 Ajax,Content-Type
默認值都是「application/x-www-form-urlencoded;charset=utf-8」
跪楞。
2.multipart/form-data
??這又是一個常見的 POST
數據提交的方式缀去。我們使用表單上傳文件時,必須讓 form
的 enctyped
等于這個值甸祭。直接來看一個請求示例:
POST http://www.example.com HTTP/1.1
Content-Type:multipart/form-data; boundary=----WebKitFormBoundaryrGKCBY7qhFd3TrwA
------WebKitFormBoundaryrGKCBY7qhFd3TrwA
Content-Disposition: form-data; name="text"
title
------WebKitFormBoundaryrGKCBY7qhFd3TrwA
Content-Disposition: form-data; name="file"; filename="chrome.png"
Content-Type: image/png
PNG ... content of chrome.png ...
------WebKitFormBoundaryrGKCBY7qhFd3TrwA--
??這個例子稍微復雜點缕碎。首先生成了一個 boundary
用于分割不同的字段,為了避免與正文內容重復池户,boundary
很長很復雜咏雌。然后 Content-Type
里指明了數據是以 mutipart/form-data
來編碼,本次請求的boundary
是什么內容校焦。消息主體里按照字段個數又分為多個結構類似的部分赊抖,每部分都是以–boundary
開始,緊接著內容描述信息斟湃,然后是回車熏迹,最后是字段具體內容(文本或二進制)檐薯。如果傳輸的是文件凝赛,還要包含文件名和文件類型信息。消息主體最后以 –boundary–
標示結束坛缕。關于 mutipart/form-data
的詳細定義墓猎,請前往 rfc1867 查看。這種方式一般用來上傳文件赚楚,各大服務端語言對它也有著良好的支持毙沾。上面提到的這兩種POST
數據的方式,都是瀏覽器原生支持的宠页,而且現階段原生 form 表單也只支持這兩種方式左胞。但是隨著越來越多的 Web 站點寇仓,尤其是 WebApp
,全部使用 Ajax
進行數據交互之后烤宙,我們完全可以定義新的數據提交方式遍烦,給開發(fā)帶來更多便利。
3.application/json
??application/json
這個 Content-Type
作為響應頭大家肯定不陌生躺枕。實際上服猪,現在越來越多的人把它作為請求頭,用來告訴服務端消息主體是序列化后的 JSON
字符串拐云。由于 JSON
規(guī)范的流行罢猪,除了低版本 IE 之外的各大瀏覽器都原生支持 JSON.stringify
,服務端語言也都有處理 JSON
的函數叉瘩,使用JSON
不會遇上什么麻煩膳帕。
??JSON
格式支持比鍵值對復雜得多的結構化數據,這一點也很有用薇缅。
POST http://www.example.com HTTP/1.1
Content-Type: application/json;charset=utf-8
{"title":"test","sub":[1,2,3]}
??這種方案备闲,可以方便的提交復雜的結構化數據,特別適合RESTful
的接口捅暴。各大抓包工具如Chrome
自帶的開發(fā)者工具恬砂、Firebug
、Fiddler
蓬痒,都會以樹形結構展示 JSON
數據泻骤,非常友好。
4.text/xml
??它是一種使用 HTTP
作為傳輸協(xié)議梧奢,XML
作為編碼方式的遠程調用規(guī)范狱掂。典型的XML-RPC
請求是這樣的:
POST http://www.example.com HTTP/1.1
Content-Type: text/xml
<?xml version="1.0"?>
<methodCall>
<methodName>examples.getStateName</methodName>
<params>
<param>
<value><i4>41</i4></value>
</param>
</params>
</methodCall>
??XML-RPC
協(xié)議簡單、功能夠用亲轨,各種語言的實現都有趋惨。比如微信的小程序
和公眾平臺
都是使用它來作為基本的傳輸類型,它的使用也很廣泛惦蚊,如 WordPress
的 XML-RPC Api器虾,搜索引擎的 ping 服務等等。JavaScript
中蹦锋,也有現成的庫支持以這種方式進行數據交互兆沙,能很好的支持已有的 XML-RPC
服務。不過莉掂,我個人覺得XML
結構還是過于臃腫葛圃,一般場景用 JSON
會更靈活方便。
總結:
??以上就是關于四種POST
提交數據的方式的不同了,大家可以仔細結合參考資料好好領會库正。