使用urllib和urllib2模塊针史。
簡單的下拉一個網(wǎng)頁
import urllib2
response = urllib2.urlopen("http://120.26.45.230/dis/forum.php")
print response.read()
urlopen一般接受三個參數(shù),url墩新、date、timeout
-
url:請求的 URL -
data:訪問 URL 時要傳送的數(shù)據(jù)，默認(rèn)是none -
timeout:這是超時時間降瞳，默認(rèn)是socket._GLOBAL_DEFAULT_TIMEOUT
構(gòu)造 Request:
和上邊運行結(jié)果一樣衙传，中間多了一個request對象决帖，邏輯上更清晰
import urllib2
request = urllib2.Request("http://120.26.45.230/dis/forum.php")
response = urllib2.urlopen(request)
print response.read()
在服務(wù)器上看nginx 的訪問日志是：
120.26.42.23 - - [29/Jun/2016:17:30:58 +0800] "GET /dis/forum.php HTTP/1.1" 200 12964 "-" "Python-urllib/2.7"
POST、GET 數(shù)據(jù)傳送
大部分網(wǎng)站是動態(tài)頁面粪牲，需要動態(tài)傳遞參數(shù)古瓤，如登錄網(wǎng)站的時候。
數(shù)據(jù)傳送分為POST和GET兩種方式腺阳，兩種方式有什么區(qū)別呢落君？
最重要的區(qū)別是GET方式是直接以鏈接形式訪問，鏈接中包含了所有的參數(shù)亭引，當(dāng)然如果包含了密碼的話是一種不安全的選擇绎速，不過你可以直觀地看到自己提交了什么內(nèi)容。POST則不會在網(wǎng)址上顯示所有的參數(shù)焙蚓，不過如果你想直接查看提交了什么就不太方便了纹冤，大家可以酌情選擇。
POST 方式
下邊方式只是介紹 POST 和 GET 方式购公，可能會被屏蔽掉萌京，因為沒有 headers 信息
import urllib
import urllib2
values = {"username":"1016903103@qq.com","password":"XXXX"}
data = urllib.urlencode(values)
url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request = urllib2.Request(url,data)
response = urllib2.urlopen(request)
print response.read()
GET 方式
import urllib
import urllib2
values={}
values['username'] = "1016903103@qq.com"
values['password']="XXXX"
data = urllib.urlencode(values)
url = "http://passport.csdn.net/account/login"
geturl = url + "?"+data
request = urllib2.Request(geturl)
response = urllib2.urlopen(request)
print response.read()
設(shè)置 Headers
有些網(wǎng)站會有安全策略，會過濾 Headers宏浩，比如上邊的訪問肯定會被屏蔽知残。
120.26.42.23 - - [29/Jun/2016:17:30:58 +0800] "GET /dis/forum.php HTTP/1.1" 200 12964 "-" "Python-urllib/2.7"
設(shè)置 headers 中的 agent。
#!/usr/bin/env python
#coding=utf-8
import urllib
import urllib2
# 指定訪問的 url 地址
url = "http://120.26.45.230/dis/forum.php"
# 設(shè)置頭信息中的請求agent
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
# 用戶名和密碼比庄，如果不用可以省略
values = {'username':'admin','password':'zhaimi'}
# User-Agent 設(shè)置agent 信息求妹，Referer 來對付防盜鏈
headers = {'User-Agent':user_agent,'Referer':'http://www.zhihu.com/articles'}
# 利用urllib的urlencode方法將字典編碼
data = urllib.urlencode(values)
# 請求信息乏盐，如果不用密碼和用戶名，可以改成request = urllib2.Request(url,"",headers)
request = urllib2.Request(url,data,headers)
response = urllib2.urlopen(request)
print response.read()
Proxy 代理的設(shè)置
import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
opener = urllib2.build_opener(proxy_handler)
else:
opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)
下載制恍，比如一個圖片父能，或者一個其他的文件
使用urllib.urlretrieve方法.
import urllib
url = "http://nginx.org/download/nginx-1.8.1.tar.gz"
urllib.urlretrieve(url,"nginx.tar.gz")
