九膏燕、多線程爬蟲
9.1利用多線程爬蟲爬取糗事百科的資源：
十舱卡、爬蟲代碼總結(jié)：
? ? ? ?要實(shí)現(xiàn)一個(gè)完整的爬蟲闽颇，無外乎4個(gè)核心步驟：
1.首先我們要確定要爬取的目標(biāo)url：
?? ??? ??? ?? ? a.如果目標(biāo)url地址有明顯的規(guī)律冗酿，則可直接構(gòu)建一個(gè)url_list來遍歷讀取數(shù)據(jù)
?? ??? ??? ?? ? b.如果目標(biāo)url地址不明顯券犁，那就先獲取第一頁的url地址术健，通過代碼提取下一頁的url地址
?2.獲取到url地址后，我們就可以向這個(gè)url發(fā)送請(qǐng)求粘衬，獲取響應(yīng)：
?? ??? ??? ?? ??a.添加隨機(jī)的User-Agent,反反爬蟲
?? ??? ??? ??? ?b.添加隨機(jī)的代理ip荞估，反反爬蟲
?? ??? ??? ??? ?c.在對(duì)方判斷出我們是爬蟲之后，應(yīng)該添加更多的headers字段稚新，包括cookie
?? ??? ??? ??? ?d.cookie的處理可以使用session來解決
?? ??? ??? ??? ?e.準(zhǔn)備一堆能用的cookie勘伺，組成cookie池：
??? ??? ??? ??? ??? ??? ??- 如果不登錄
????? ??? ??? ??? ??? ??? ??? ??? ??- 準(zhǔn)備剛開始能夠成功請(qǐng)求對(duì)方網(wǎng)站的cookie，即接收對(duì)方網(wǎng)站設(shè)置在response的cookie
?????? ??? ??? ??? ??? ??? ??? ??? ?- 下一次請(qǐng)求的時(shí)候褂删，使用之前的列表中的cookie來請(qǐng)求
???? ??? ??? ??? ??? ??? ?- 如果登錄
????? ??? ??? ??? ??? ??? ??? ??? ??- 準(zhǔn)備多個(gè)賬號(hào)
?????? ??? ??? ??? ??? ??? ??? ??? ?- 使用程序獲取每個(gè)賬號(hào)的cookie
?????? ??? ??? ??? ??? ??? ??? ??? ?- 之后請(qǐng)求登錄之后才能訪問的網(wǎng)站隨機(jī)的選擇cookie
3.提取數(shù)據(jù)
???? ??? ??? ???a.確定數(shù)據(jù)的位置
?????? ??? ??? ??? ?- 如果數(shù)據(jù)在當(dāng)前的url地址中：
?? ??? ??? ??? ?? ? ?? ??? ?1.提取的是列表頁的數(shù)據(jù)
?????????? ??? ??? ??? ??? ??? ?- 直接請(qǐng)求列表頁的url地址飞醉，不用進(jìn)入詳情頁
???????? ??? ??? ???? ???? ?2.提取的是詳情頁的數(shù)據(jù)
????????? ??? ??? ??? ??? ???? ?- 1. 確定url
????????? ??? ??? ??? ??? ???? ?- 2. 發(fā)送請(qǐng)求
?????????? ??? ??? ??? ??? ??? ?- 3. 提取數(shù)據(jù)
?????????? ??? ??? ??? ??? ??? ?- 4. 返回
?????? ??? ??? ?? ? - 如果數(shù)據(jù)不在當(dāng)前的url地址中：
???????? ??? ??? ??? ?? ? ? 1.在其他的響應(yīng)中，尋找數(shù)據(jù)的位置：
?????????? ??? ??? ??? ??? ??? ?- 從network中從上往下找
?????????? ??? ??? ??? ??? ??? ?- 使用chrome中的過濾條件屯阀，選擇出了js,css,img之外的按鈕
?????????? ??? ??? ??? ??? ??? ?- 使用chrome的search all file缅帘，搜索數(shù)字和英文
?? ??? ??? ??? ?b.數(shù)據(jù)的提取
?????? ??? ??? ??? ??? ?- xpath,從html中提取整塊的數(shù)據(jù)轴术，先分組，之后每一組再提取
?????? ??? ??? ??? ??? ?- re钦无，提取max_time,price,html中的json字符串
?????? ??? ??? ??? ??? ?- json
4.保存
???? ??? ??? ?- 保存在本地逗栽，text,json,csv
???? ??? ??? ?- 保存在數(shù)據(jù)庫
十一、動(dòng)態(tài)HTML處理：
?? ??? ?1.Selenium和PhantomJS介紹：
???? ??? ??? ??? ?Selenium是一個(gè)Web的自動(dòng)化測(cè)試工具失暂，最初是為網(wǎng)站自動(dòng)化測(cè)試而開發(fā)的彼宠，
?? ??? ??? ??? ???Selenium 可以直接運(yùn)行在瀏覽器上，它支持所有主流的瀏覽器（包括PhantomJS這些無界面的瀏覽器）弟塞，
?? ??? ??? ??? ???可以接收指令兵志，讓瀏覽器自動(dòng)加載頁面，獲取需要的數(shù)據(jù)宣肚，甚至頁面截屏
???? ??? ??? ??? ?PhantomJS 是一個(gè)基于Webkit的“無界面”(headless)瀏覽器想罕，它會(huì)把網(wǎng)站加載到內(nèi)存并執(zhí)行頁面上的 JavaScript
?? ?? ? 2.Selenium和PhantomJS的使用方法：
?? ??? ??? ??? ?加載網(wǎng)頁：
?????? ??? ??? ??? ?* from selenium import webdriver
?????? ??? ??? ??? ?* driver = webdriver.PhantomJS(“c:…/pantomjs.exe”)
????? ??? ??? ??? ??* driver.get("http://www.baidu.com/")
?????? ??? ??? ??? ?* driver.save_screenshot("長(zhǎng)城.png")?? ??? ??? ?? ? //截屏
?? ??? ??? ??? ?定位和操作：
????? ??? ??? ??? ??* driver.find_element_by_id(“kw”).send_keys(“長(zhǎng)城”)
????? ??? ??? ??? ??* driver.find_element_by_id("su").click()
?? ??? ??? ??? ?查看請(qǐng)求信息：
????? ??? ??? ??? ??* driver.page_source
?????? ??? ??? ??? ?* driver.get_cookies()
?????? ??? ??? ??? ?* driver.current_url
?? ??? ??? ??? ?退出
?? ??? ??? ??? ?????*?driver.close() #退出當(dāng)前頁面
????? ??? ??? ??? ??* driver.quit()??#退出瀏覽器
?? ??? ??? ?? ? 頁面元素定位方法：
?? ??? ??? ??? ?? ? *?find_element_by_id (返回一個(gè))
?? ??? ??? ??? ?? ? *?find_elements_by_xpath （返回一個(gè)列表，獲取屬性和文本需要使用get_attribute() 和.text）
?? ??? ??? ??? ?? ? *?find_elements_by_link_text? ? （返回全部文本）
?? ??? ??? ??? ?? ? *?find_elements_by_partial_link_text? （返回某個(gè)文本）
?? ??? ??? ??? ?? ? *?find_elements_by_tag_name
?? ??? ??? ??? ?? ? *?find_elements_by_class_name
?? ??? ??? ??? ?? ? *?find_elements_by_css_selector
?? ??? ??? ?? ? 頁面等待：
?? ??? ??? ??? ?? ?* 如果網(wǎng)站采用了動(dòng)態(tài)html技術(shù)霉涨，那么頁面上的部分元素出現(xiàn)時(shí)間便不能確定按价，
?? ??? ??? ??? ??? ?? ?這個(gè)時(shí)候就可以設(shè)置一個(gè)等待時(shí)間，強(qiáng)制要求在時(shí)間內(nèi)出現(xiàn)笙瑟，否則報(bào)錯(cuò)
?? ??? ??? ??? ??? ?* 強(qiáng)制等待：time.sleep(10)
?? ?? ? 3.Selenium的使用注意點(diǎn)：
?? ??? ??? ?? ? ?1.如果頁面中含有iframe楼镐、frame，需要先調(diào)用driver.switch_to.frame的方法切換到frame中才能定位元素
?? ??? ??? ?? ? ?2.selenium中find_element_by_class_name只能接收一個(gè)class對(duì)應(yīng)的一個(gè)值往枷，不能傳入多個(gè)
?? ??? ??? ?? ? ?3.使用selenium登錄框产，遇到驗(yàn)證碼
???? ??? ??? ??? ??? ?- url不變，驗(yàn)證碼不變
? ? ? ? ? ? ? ? ? ? ? ? ? ??- 1.請(qǐng)求驗(yàn)證碼的地址错洁，獲得相應(yīng)秉宿，識(shí)別
???? ??? ??? ??? ??? ?- url不變，驗(yàn)證碼會(huì)變
????? ??? ??? ??? ??? ??? ??- 1.selenium請(qǐng)求登錄頁面屯碴，同時(shí)拿到驗(yàn)證碼的地址
?????? ??? ??? ??? ??? ??? ?- 2.獲取登錄頁面中driver中的cookie描睦，交給requests模塊發(fā)送驗(yàn)證碼的請(qǐng)求，識(shí)別
?????? ??? ??? ??? ??? ??? ?- 3.輸入驗(yàn)證碼导而，點(diǎn)擊登錄
?? ?? ? 4.Selenium的使用總結(jié)：
?? ??? ??? ??? ??a. 應(yīng)用場(chǎng)景：
?????? ??? ??? ??? ??? ?1. 動(dòng)態(tài)html頁面請(qǐng)求
?????? ??? ??? ??? ??? ?2. 登錄獲取cookies
?? ??? ??? ??? ??b. 如何使用
????? ??? ??? ??? ??? ??1. 導(dǎo)包并且實(shí)例化driver
?????? ??? ??? ??? ??? ?2. 發(fā)送請(qǐng)求
????? ??? ??? ??? ??? ??3. 定位獲取數(shù)據(jù)
???? ??? ??? ??? ??? ?? 4. 保存
?????? ??? ??? ??? ??? ?5. 退出driver
?? ??? ??? ??? ?c. Cookies相關(guān)方法：
? ? ?? ??? ??? ??? ??? ?1.get_cookies()
?? ??? ??? ??? ?d. 頁面等待
? ? ?? ??? ??? ??? ??? ?1.強(qiáng)制等待
?? ?? ? 5.Tesseract認(rèn)識(shí)：
?? ??? ??? ?? ? a.定義：Tesseract是一個(gè)將圖像翻譯成文字的OCR庫
?? ??? ??? ?? ? b.安裝：pip install pytesseract
?? ??? ??? ?? ? c.使用方法：
?? ??? ??? ??? ??? ??? ??? ?import pytesseract
?? ??? ??? ??? ??? ??? ??? ?from PIL import Image
?? ??? ??? ??? ??? ??? ??? ?image = Image.open(jpg)
?? ??? ??? ??? ??? ??? ??? ?pytesseract.image_to_string(image)
十二忱叭、斗魚爬蟲實(shí)例：
