玩Python之HTTP代理

0x00 前言

大家對(duì)HTTP代理應(yīng)該都非常熟悉邢疙，它在很多方面都有著極為廣泛的應(yīng)用。HTTP代理分為正向代理和反向代理兩種望薄，后者一般用于將防火墻后面的服務(wù)提供給用戶訪問或者進(jìn)行負(fù)載均衡疟游，典型的有Nginx、HAProxy等痕支。本文所討論的是正向代理颁虐。

HTTP代理最常見的用途是用于網(wǎng)絡(luò)共享、網(wǎng)絡(luò)加速和網(wǎng)絡(luò)限制突破等卧须。此外另绩，HTTP代理也常用于Web應(yīng)用調(diào)試、Android/IOS APP 中所調(diào)用的Web API監(jiān)控和分析花嘶，目前的知名軟件有Fiddler笋籽、Charles、Burp Suite和mitmproxy等椭员。HTTP代理還可用于請(qǐng)求/響應(yīng)內(nèi)容修改车海，在不改變服務(wù)端的情況下為Web應(yīng)用增加額外的功能或者改變應(yīng)用行為等。

0x01 HTTP代理是什么

HTTP代理本質(zhì)上是一個(gè)Web應(yīng)用隘击，它和其他普通Web應(yīng)用沒有根本區(qū)別侍芝。HTTP代理收到請(qǐng)求后研铆，根據(jù)Header中Host字段的主機(jī)名和Get/POST請(qǐng)求地址綜合判斷目標(biāo)主機(jī)，建立新的HTTP請(qǐng)求并轉(zhuǎn)發(fā)請(qǐng)求數(shù)據(jù)州叠，并將收到的響應(yīng)數(shù)據(jù)轉(zhuǎn)發(fā)給客戶端棵红。

如果請(qǐng)求地址是絕對(duì)地址，HTTP代理采用該地址中的Host咧栗，否則使用Header中的HOST字段窄赋。做一個(gè)簡(jiǎn)單測(cè)試，假設(shè)網(wǎng)絡(luò)環(huán)境如下：

• 192.168.1.2 Web服務(wù)器
• 192.168.1.3 HTTP代理服務(wù)器

使用telnet進(jìn)行測(cè)試

$ telnet 192.168.1.3
GET / HTTP/1.0
HOST: 192.168.1.2

注意最后需要連續(xù)兩個(gè)回車楼熄，這是HTTP協(xié)議要求忆绰。完成后，可以收到 http://192.168.1.2/ 的頁面內(nèi)容可岂。下面做一下調(diào)整错敢，GET請(qǐng)求時(shí)帶上絕對(duì)地址

$ telnet 192.168.1.3
GET http://httpbin.org/ip HTTP/1.0
HOST: 192.168.1.2

注意這里同樣設(shè)置了HOST為192.168.1.2，但運(yùn)行結(jié)果卻返回了 http://httpbin.org/ip 頁面的內(nèi)容缕粹，也就是公網(wǎng)IP地址信息稚茅。

從上面的測(cè)試過程可以看出，HTTP代理并不是什么很復(fù)雜的東西平斩，只要將原始請(qǐng)求發(fā)送到代理服務(wù)器即可亚享。在無法設(shè)置HTTP代理的情況下，對(duì)于少量Host需要走HTTP代理的場(chǎng)景來說绘面，最簡(jiǎn)單的方式就是將目標(biāo)Host域名的IP指向代理服務(wù)器欺税，可以采取修改hosts文件的方式來實(shí)現(xiàn)。

0x02 Python程序中設(shè)置HTTP代理

urllib2/urllib 代理設(shè)置

urllib2是Python標(biāo)準(zhǔn)庫揭璃，功能很強(qiáng)大晚凿，只是使用起來稍微麻煩一點(diǎn)。在Python 3中瘦馍，urllib2不再保留歼秽，遷移到了urllib模塊中。urllib2中通過ProxyHandler來設(shè)置使用代理服務(wù)器情组。

proxy_handler = urllib2.ProxyHandler({'http': '121.193.143.249:80'})
opener = urllib2.build_opener(proxy_handler)
r = opener.open('http://httpbin.org/ip')
print(r.read())

也可以用install_opener將配置好的opener安裝到全局環(huán)境中燥筷，這樣所有的urllib2.urlopen都會(huì)自動(dòng)使用代理。

urllib2.install_opener(opener)
r = urllib2.urlopen('http://httpbin.org/ip')
print(r.read())

在Python 3中院崇，使用urllib肆氓。

proxy_handler = urllib.request.ProxyHandler({'http': 'http://121.193.143.249:80/'})
opener = urllib.request.build_opener(proxy_handler)
r = opener.open('http://httpbin.org/ip')
print(r.read())

requests 代理設(shè)置

requests是目前最優(yōu)秀的HTTP庫之一，也是我平時(shí)構(gòu)造http請(qǐng)求時(shí)使用最多的庫亚脆。它的API設(shè)計(jì)非常人性化做院，使用起來很容易上手。給requests設(shè)置代理很簡(jiǎn)單，只需要給proxies設(shè)置一個(gè)形如 {'http': 'x.x.x.x:8080', 'https': 'x.x.x.x:8080'} 的參數(shù)即可键耕。其中http和https相互獨(dú)立寺滚。

In [5]: requests.get('http://httpbin.org/ip', proxies={'http': '121.193.143.249:80'}).json()
Out[5]: {'origin': '121.193.143.249'}

可以直接設(shè)置session的proxies屬性，省去每次請(qǐng)求都要帶上proxies參數(shù)的麻煩屈雄。

s = requests.session()
s.proxies = {'http': '121.193.143.249:80'}
print(s.get('http://httpbin.org/ip').json())

0x03 HTTP_PROXY / HTTPS_PROXY 環(huán)境變量

urllib2 和 Requests 庫都能識(shí)別 HTTP_PROXY 和 HTTPS_PROXY 環(huán)境變量村视，一旦檢測(cè)到這些環(huán)境變量就會(huì)自動(dòng)設(shè)置使用代理。這在用HTTP代理進(jìn)行調(diào)試的時(shí)候非常有用酒奶，因?yàn)椴挥眯薷拇a蚁孔，可以隨意根據(jù)環(huán)境變量來調(diào)整代理服務(wù)器的ip地址和端口。*nix中的大部分軟件也都支持HTTP_PROXY環(huán)境變量識(shí)別惋嚎，比如curl杠氢、wget、axel另伍、aria2c等鼻百。

$ http_proxy=121.193.143.249:80 python -c 'import requests; print(requests.get("http://httpbin.org/ip").json())'
{u'origin': u'121.193.143.249'}

$ http_proxy=121.193.143.249:80 curl httpbin.org/ip
{
  "origin": "121.193.143.249"
}

在IPython交互環(huán)境中，可能經(jīng)常需要臨時(shí)性地調(diào)試HTTP請(qǐng)求摆尝，可以簡(jiǎn)單通過設(shè)置 os.environ['http_proxy'] 增加/取消HTTP代理來實(shí)現(xiàn)温艇。

In [245]: os.environ['http_proxy'] = '121.193.143.249:80'
In [246]: requests.get("http://httpbin.org/ip").json()
Out[246]: {u'origin': u'121.193.143.249'}
In [249]: os.environ['http_proxy'] = ''
In [250]: requests.get("http://httpbin.org/ip").json()
Out[250]: {u'origin': u'x.x.x.x'}

0x04 MITM-Proxy

MITM 源于 Man-in-the-Middle Attack，指中間人攻擊堕汞，一般在客戶端和服務(wù)器之間的網(wǎng)絡(luò)中攔截勺爱、監(jiān)聽和篡改數(shù)據(jù)。

mitmproxy是一款Python語言開發(fā)的開源中間人代理神器讯检，支持SSL琐鲁，支持透明代理、反向代理视哑，支持流量錄制回放绣否，支持自定義腳本等誊涯。功能上同Windows中的Fiddler有些類似挡毅，但mitmproxy是一款console程序，沒有GUI界面暴构，不過用起來還算方便跪呈。使用mitmproxy可以很方便的過濾、攔截取逾、修改任意經(jīng)過代理的HTTP請(qǐng)求/響應(yīng)數(shù)據(jù)包耗绿，甚至可以利用它的scripting API，編寫腳本達(dá)到自動(dòng)攔截修改HTTP數(shù)據(jù)的目的砾隅。

# test.py
def response(flow):
    flow.response.headers["BOOM"] = "boom!boom!boom!"

上面的腳本會(huì)在所有經(jīng)過代理的Http響應(yīng)包頭里面加上一個(gè)名為BOOM的header误阻。用mitmproxy -s 'test.py'命令啟動(dòng)mitmproxy，curl驗(yàn)證結(jié)果發(fā)現(xiàn)的確多了一個(gè)BOOM頭。

$ http_proxy=localhost:8080 curl -I 'httpbin.org/get'
HTTP/1.1 200 OK
Server: nginx
Date: Thu, 03 Nov 2016 09:02:04 GMT
Content-Type: application/json
Content-Length: 186
Connection: keep-alive
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true
BOOM: boom!boom!boom!
...

顯然mitmproxy腳本能做的事情遠(yuǎn)不止這些究反，結(jié)合Python強(qiáng)大的功能寻定，可以衍生出很多應(yīng)用途徑。除此之外精耐，mitmproxy還提供了強(qiáng)大的API狼速，在這些API的基礎(chǔ)上，完全可以自己定制一個(gè)實(shí)現(xiàn)了特殊功能的專屬代理服務(wù)器卦停。

經(jīng)過性能測(cè)試向胡，發(fā)現(xiàn)mitmproxy的效率并不是特別高。如果只是用于調(diào)試目的那還好惊完，但如果要用到生產(chǎn)環(huán)境僵芹，有大量并發(fā)請(qǐng)求通過代理的時(shí)候，性能還是稍微差點(diǎn)小槐。我用twisted實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的proxy淮捆，用于給公司內(nèi)部網(wǎng)站增加功能、改善用戶體驗(yàn)本股，以后有機(jī)會(huì)再和大家分享攀痊。