那么接下來脊僚，小伙伴們就一起和我真正邁向我們的爬蟲之路吧解总。
1.分分鐘扒一個網(wǎng)頁下來
怎樣扒網(wǎng)頁呢？其實(shí)就是根據(jù)URL來獲取它的網(wǎng)頁信息笼裳，雖然我們在瀏覽器中看到的是一幅幅優(yōu)美的畫面铅檩，但是其實(shí)是由瀏覽器解釋才呈現(xiàn)出來的基茵，實(shí)質(zhì)它 是一段HTML代碼尚困，加 JS红选、CSS密幔，如果把網(wǎng)頁比作一個人，那么HTML便是他的骨架臼予，JS便是他的肌肉，CSS便是它的衣服啃沪。所以最重要的部分是存在于HTML中的粘拾，下面我 們就寫個例子來扒一個網(wǎng)頁下來。
import urllib2
response = urllib2.urlopen("http://www.baidu.com")
print response.read()
是的你沒看錯创千，真正的程序就兩行缰雇，把它保存成 demo.py入偷，進(jìn)入該文件的目錄，執(zhí)行如下命令查看運(yùn)行結(jié)果械哟，感受一下疏之。
Python
pythondemo.py
看，這個網(wǎng)頁的源碼已經(jīng)被我們扒下來了暇咆，是不是很酸爽锋爪？
2.分析扒網(wǎng)頁的方法
那么我們來分析這兩行代碼，第一行
response=urllib2.urlopen("http://www.baidu.com")
首先我們調(diào)用的是urllib2庫里面的urlopen方法爸业，傳入一個URL其骄，這個網(wǎng)址是百度首頁，協(xié)議是HTTP協(xié)議扯旷，當(dāng)然你也可以把HTTP換做FTP,FILE,HTTPS 等等拯爽，只是代表了一種訪問控制協(xié)議，urlopen一般接受三個參數(shù)钧忽，它的參數(shù)如下：
urlopen(url,data,timeout)
第一個參數(shù)url即為URL毯炮，第二個參數(shù)data是訪問URL時要傳送的數(shù)據(jù)，第三個timeout是設(shè)置超時時間耸黑。
第二三個參數(shù)是可以不傳送的桃煎，data默認(rèn)為空None，timeout默認(rèn)為 socket._GLOBAL_DEFAULT_TIMEOUT
第一個參數(shù)URL是必須要傳送的崎坊，在這個例子里面我們傳送了百度的URL备禀，執(zhí)行urlopen方法之后，返回一個response對象奈揍，返回信息便保存在這里面曲尸。
printresponse.read()
response對象有一個read方法，可以返回獲取到的網(wǎng)頁內(nèi)容男翰。
如果不加read直接打印會是什么另患？答案如下：
直接打印出了該對象的描述，所以記得一定要加read方法蛾绎，否則它不出來內(nèi)容可就不怪我咯昆箕！
3.構(gòu)造Requset
其實(shí)上面的urlopen參數(shù)可以傳入一個request請求,它其實(shí)就是一個Request類的實(shí)例，構(gòu)造時需要傳入Url,Data等等的內(nèi)容租冠。比如上面的兩行代碼鹏倘，我們可以這么改寫
importurllib2
request=urllib2.Request("http://www.baidu.com")
response=urllib2.urlopen(request)
printresponse.read()
運(yùn)行結(jié)果是完全一樣的，只不過中間多了一個request對象顽爹，推薦大家這么寫纤泵，因?yàn)樵跇?gòu)建請求時還需要加入好多內(nèi)容，通過構(gòu)建一個request镜粤，服務(wù)器響應(yīng)請求得到應(yīng)答捏题，這樣顯得邏輯上清晰明確玻褪。
4.POST和GET數(shù)據(jù)傳送
上面的程序演示了最基本的網(wǎng)頁抓取，不過公荧，現(xiàn)在大多數(shù)網(wǎng)站都是動態(tài)網(wǎng)頁带射，需要你動態(tài)地傳遞參數(shù)給它，它做出對應(yīng)的響應(yīng)循狰。所以窟社，在訪問時，我們需要傳遞數(shù)據(jù)給它晤揣。最常見的情況是什么桥爽？對了，就是登錄注冊的時候呀昧识。
把數(shù)據(jù)用戶名和密碼傳送到一個URL钠四，然后你得到服務(wù)器處理之后的響應(yīng)，這個該怎么辦跪楞？下面讓我來為小伙伴們揭曉吧缀去！
數(shù)據(jù)傳送分為POST和GET兩種方式，兩種方式有什么區(qū)別呢甸祭？
最重要的區(qū)別是GET方式是直接以鏈接形式訪問缕碎，鏈接中包含了所有的參數(shù)，當(dāng)然如果包含了密碼的話是一種不安全的選擇池户，不過你可以直觀地看到自己提交了什么內(nèi)容咏雌。POST則不會在網(wǎng)址上顯示所有的參數(shù)，不過如果你想直接查看提交了什么就不太方便了校焦，大家可以酌情選擇赊抖。
POST方式：
上面我們說了data參數(shù)是干嘛的？對了寨典，它就是用在這里的氛雪，我們傳送的數(shù)據(jù)就是這個參數(shù)data，下面演示一下POST方式耸成。
importurllib
importurllib2
values={"username":"1016903103@qq.com","password":"XXXX"}
data=urllib.urlencode(values)
url="https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request=urllib2.Request(url,data)
response=urllib2.urlopen(request)
printresponse.read()
我們引入了urllib庫报亩，現(xiàn)在我們模擬登陸CSDN，當(dāng)然上述代碼可能登陸不進(jìn)去井氢，因?yàn)檫€要做一些設(shè)置頭部header的工作弦追，或者還有一些參數(shù) 沒有設(shè)置全，還沒有提及到在此就不寫上去了花竞，在此只是說明登錄的原理骗卜。我們需要定義一個字典，名字為values左胞，參數(shù)我設(shè)置了username和 password寇仓，下面利用urllib的urlencode方法將字典編碼，命名為data烤宙，構(gòu)建request時傳入兩個參數(shù)遍烦，url和data，運(yùn) 行程序躺枕，即可實(shí)現(xiàn)登陸服猪，返回的便是登陸后呈現(xiàn)的頁面內(nèi)容。當(dāng)然你可以自己搭建一個服務(wù)器來測試一下拐云。
注意上面字典的定義方式還有一種罢猪，下面的寫法是等價的
importurllib
importurllib2
values={}
values['username']="1016903103@qq.com"
values['password']="XXXX"
data=urllib.urlencode(values)
url="http://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request=urllib2.Request(url,data)
response=urllib2.urlopen(request)
printresponse.read()
以上方法便實(shí)現(xiàn)了POST方式的傳送
GET方式：
至于GET方式我們可以直接把參數(shù)寫到網(wǎng)址上面，直接構(gòu)建一個帶參數(shù)的URL出來即可叉瘩。
importurllib
importurllib2
values={}
values['username']="1016903103@qq.com"
values['password']="XXXX"
data=urllib.urlencode(values)
url="http://passport.csdn.net/account/login"
geturl=url+"?"+data
request=urllib2.Request(geturl)
response=urllib2.urlopen(request)
printresponse.read()
你可以print geturl膳帕，打印輸出一下url，發(fā)現(xiàn)其實(shí)就是原來的url加薇缅？然后加編碼后的參數(shù)
http://passport.csdn.net/account/login?username=1016903103%40qq.com&password=XXXX
和我們平常GET訪問方式一模一樣危彩，這樣就實(shí)現(xiàn)了數(shù)據(jù)的GET方式傳送。
本節(jié)講解了一些基本使用泳桦，可以抓取到一些基本的網(wǎng)頁信息汤徽，小伙伴們加油！
