request:
Requests 繼承了urllib的所有特性逊桦。Requests支持HTTP連接保持和連接池，支持使用cookie保持會話抑进，支持文件上傳强经，支持自動確定響應內容的編碼，支持國際化的URL和 POST 數(shù)據(jù)自動編碼单匣。
requests 的底層實現(xiàn)其實就是 urllib
使用response.text 時夕凝，Requests 會基于 HTTP 響應的文本編碼自動解碼響應內容，大多數(shù) Unicode 字符集都能被無縫地解碼户秤。
使用response.content 時，返回的是服務器響應數(shù)據(jù)的原始二進制字節(jié)流逮矛，可以用來保存圖片等二進制文件鸡号。
import requests
params = {'wd': '孫悟空'}
url = 'http://www.baidu.com/s?'
headers = {
'User-Agent': 'Mozilla / 5.0(X11;Ubuntu;Linuxx86_64;rv: 54.0) Gecko / 20100101Firefox / 54.0'
}
發(fā)起get請求
response = requests.get(url=url, headers=headers, params=params)
返回解碼后內容
content = response.text
獲取
print(content)
返回二進制
content = response.content.decode()
返回響應碼
print(response.status_code)
請求頭
print(response.request.headers)
返回當前編碼格式
print(response.encoding)
查看響應碼
print(response.status_code)
with open('baidu.html', 'w') as f:
f.write(content)
對于 POST 請求來說，我們一般需要為它增加一些參數(shù)须鼎。那么最基本的傳參方法可以利用 data 這個參數(shù)鲸伴。
import requests
req_url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc& sessionFrom=null"
分析表單數(shù)據(jù)
formdata = {
'i': '你好',
'from': 'AUTO',
'to': 'AUTO',
'smartresult': 'dict',
'client': 'fanyideskweb',
'doctype': 'json',
'version': '2.1',
'keyfrom': 'fanyi.web',
'action': 'FY_BY_CLICKBUTTION',
'typoResult': 'false',
}
添加請求頭
req_header = {
'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
response = requests.post(
req_url,
data = formdata,
headers = req_header)
print (response.text)
如果是json文件可以直接顯示
print (response.json())
xpath:
XPath (XML Path Language) 是一門在 XML 文檔中查找信息的語言，可用來在 XML 文檔中對元素和屬性進行遍歷晋控。
import requests
import re
import time
import urllib.parse
from lxml import etree
class MeiNv():
def init(self):
self.url = 'http://www.tieba.baidu.com/category/40076/?page='
self.headers = {
'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:54.0) Gecko/20100101 Firefox/54.0'
}
def loadpage(self, url):
response = requests.get(url=self.url)
html = response.content.decode('utf-8')
with open('baidu.html', 'w') as f:
f.write(html)
#html轉成xml
content = etree.HTML(html)
# print(content)
url_list = content.xpath(
'//div[@class="threadlist_lz clearfix"]/div[@class="threadlist_title pull_left j_th_tit "]/a/@href'
)
# print(url_list)
for detail_url in url_list:
full_url = 'http://tieba.baidu.com' + detail_url
self.detail(full_url)
詳情頁
def detail(self, url):
response = requests.get(url=url)
html = response.content.decode('utf-8')
content = etree.HTML(html)
img_list = content.xpath(
'//img[@class="BDE_Image"]/@src'
)
for img in img_list:
self.download(img)
下載
def download(self, url):
response = requests.get(url=url)
#無需decode
self.save(response.content, url)
保存
def save(self, content, img_url):
filename = 'tieba/' + img_url[-10:] + '.jpg'
print('正在下載' + filename)
with open(filename, 'wb') as f:
f.write(content)
def main(self):
kw = input('請輸入網址')
start = int(input('輸入起始頁'))
end = int(input('輸入終止頁'))
for i in range(start, end + 1):
#拼接
full_url = self.url + 'f?' + 'kw=' + kw + '&' + 'pn=' + str((i-1)*50)
self.loadpage(full_url)
if name == 'main':
mn = MeiNv()
mn.main()
bs4:
和 lxml 一樣汞窗，Beautiful Soup 也是一個HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 數(shù)據(jù)赡译。
lxml 只會局部遍歷仲吏，而Beautiful Soup 是基于HTML DOM的，會載入整個文檔，解析整個DOM樹裹唆，因此時間和內存開銷都會大很多誓斥，所以性能要低于lxml。
BeautifulSoup 用來解析 HTML 比較簡單许帐，API非常人性化劳坑，支持CSS選擇器、Python標準庫中的HTML解析器成畦，也支持 lxml 的 XML解析器距芬。
import requests
from bs4 import BeautifulSoup
import urllib.parse
import jsonpath
import json
import re
class QiDianSpider():
def init(self):
self.url = 'https://www.address.com/all?page=1'
self.headers = {
'User-Agent': 'Mozilla / 5.0(X11;Ubuntu;Linuxx86_64;rv: 54.0) Gecko / 20100101Firefox / 54.0'
}
def loadpage(self, url):
response = requests.get(url=url, headers=self.headers)
bs = BeautifulSoup(response.text, 'lxml')
li_list = bs.select('ul[class="all-img-list cf"] li')
for li in li_list:
title = li.select('div[class="book-mid-info"] h4 a')[0].get_text()
href = urllib.parse.urljoin(response.url, li.select('div[class="book-mid-info"] h4 a')[0].get('href'))
author = li.select('div[class="book-mid-info"] p a')[0].get_text()
type1 = li.select('div[class="book-mid-info"] p a')[1].get_text()
type2 = li.select('div[class="book-mid-info"] p a')[2].get_text()
id = re.search('(\d+)',href).group(1)
print(id)
dict = {
'title':title,
'author':author,
'type':type1+'.'+type2,
'href':href,
'id':id
}
# print(dict)
self.loaddetail(id, dict)
def loaddetail(self, bookid, dict):
response = requests.get(url='https://book.qidian.com/ajax/book/category?_csrfToken=asYDuKBW3fwHjeBdQNcX1GFeE2B9KcEe6dJyt&bookId='+bookid, headers=self.headers)
html = response.content.decode('utf-8')
vs = jsonpath.jsonpath(json.loads(html), '$..vs')
count = sum(jsonpath.jsonpath(json.loads(html), '$..cnt'))
dict['vs'] = vs[0]
with open('qidian.html', 'w') as f:
f.write(json.dumps(dict,ensure_ascii=False)+'\n')
def start(self):
self.loadpage(self.url)
if name == 'main':
qds = QiDianSpider()
qds.start()
selenium:
Selenium是一個Web的自動化測試工具，最初是為網站自動化測試而開發(fā)的循帐，類型像我們玩游戲用的按鍵精靈蔑穴，可以按指定的命令自動操作，不同是Selenium 可以直接運行在瀏覽器上惧浴，它支持所有主流的瀏覽器（包括PhantomJS這些無界面的瀏覽器）存和。 Selenium 可以根據(jù)我們的指令，讓瀏覽器自動加載頁面衷旅，獲取需要的數(shù)據(jù)捐腿，甚至頁面截屏，或者判斷網站上某些動作是否發(fā)生柿顶。
Selenium 自己不帶瀏覽器茄袖，不支持瀏覽器的功能，它需要與第三方瀏覽器結合在一起才能使用嘁锯。但是我們有時候需要讓它內嵌在代碼中運行宪祥，所以我們可以用一個叫 PhantomJS 的工具代替真實的瀏覽器。
from selenium import webdriver
driver = webdriver.Chrome(executable_path='/home/hu/下載/chromedriver')
driver.get('https://www.baidu.com/')
driver.save_screenshot('baidu.png')
with open('baidu.html', 'w') as f:
f.write(driver.page_source)
PhantomJS
PhantomJS 是一個基于Webkit的“無界面”(headless)瀏覽器家乘，它會把網站加載到內存并執(zhí)行頁面上的 JavaScript蝗羊，因為不會展示圖形界面，所以運行起來比完整的瀏覽器要高效仁锯。
如果我們把 Selenium 和 PhantomJS 結合在一起耀找，就可以運行一個非常強大的網絡爬蟲了，這個爬蟲可以處理 JavaScrip业崖、Cookie野芒、headers，以及任何我們真實用戶需要做的事情双炕。
from selenium import webdriver
browseDriver = webdriver.Phantomjs(executable_path="Phantomjs的驅動路徑")
browseDriver.get('https://www.baidu.com')
print(browseDriver.page_source)
print(browseDriver.current_url)
