from selenium import webdriver
from selenium.webdriver.common.by import By  # 按照什么方式查找,比如By.ID,By.CSS_SELECTOR
from selenium.webdriver.support.ui import WebDriverWait  # 等待頁(yè)面加載某些元素
from selenium.webdriver.support import expected_conditions as EC  # 預(yù)期條件
from selenium.common.exceptions import TimeoutException  # 加載超時(shí)異常
from pyquery import PyQuery as pq
import re


def search():
    try:
        browser.get('https://www.taobao.com/')   # 訪問(wèn)url
        input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#q"))) # 等待(條件為是否存在(通過(guò)CSS選擇器查找class='q'的搜索框)),最大延時(shí)為10s
        submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,"#J_TSearchForm > div.search-button > button"))) # 等待(條件為是否可點(diǎn)擊(通過(guò)CSS選擇器查找 //button 的按鈕)), 最大延時(shí)為10s
        input.send_keys(u'鞋子')  # 在輸入框輸入鞋子
        submit.click()  # 點(diǎn)擊搜索按鈕
        total = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.total")))   # 等待(條件為是否存在(通過(guò)CSS選擇器查找 //*[@class='total'] 頁(yè)數(shù))), 最大延時(shí)為10s
        get_products()
        return total.text   # 返回頁(yè)數(shù)的文本內(nèi)容
    except TimeoutException:    # 如果訪問(wèn)延時(shí),則再次訪問(wèn)
        return search()

# 跳轉(zhuǎn)到下一頁(yè)
def next_page(page_number):
    try:
        input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.form > input")))    # 等待(條件為是否存在(通過(guò)CSS選擇器查找 頁(yè)面輸入框)), 最大延時(shí)為10s
        submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit"))) #  等待(條件為是否可點(diǎn)擊(通過(guò)CSS選擇器查找 //button 的按鈕)), 最大延時(shí)為10s
        input.clear()   # 清除頁(yè)數(shù)輸入框內(nèi)的文本內(nèi)容
        input.send_keys(page_number)    # 輸入頁(yè)數(shù)
        submit.click()  # 點(diǎn)擊確定,進(jìn)行翻頁(yè)
        # EC.text_to_be_present_in_element(locator, text) 判斷元素中存在指定文本
        wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > ul > li.item.active > span"), str(page_number)))  # 等待(判斷是否存在文本(在CSS選擇器找到的位置中, 頁(yè)面數(shù)字字符串)) 就是查看頁(yè)面數(shù)字是否高亮
        get_products()
    except TimeoutException:    # 如果訪問(wèn)延時(shí),則再次訪問(wèn)
        next_page(page_number)

# 得到淘寶商品信息
def get_products():
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#mainsrp-itemlist .items .item"))) # 等待(條件為是否存在(通過(guò)CSS選擇器查找 第一個(gè)商品信息)), 最大延時(shí)為10s
    html = browser.page_source  # 將網(wǎng)頁(yè)源代碼賦值給html
    doc = pq(html)  # 使用pq格式化網(wǎng)頁(yè)
    items = doc("#mainsrp-itemlist .items .item").items()   # 用 items() 方法遍歷并返回對(duì)象列表
    for item in items:
        product = {
            'image': item.find('.pic .img').attr('src'),  # 圖片 使用find()函數(shù)查找class為pic(不完全匹配)和img的標(biāo)簽,獲取元素的src屬性
            'price': item.find('.price').text(),    # 價(jià)格 尋找class為price(這里是不完全匹配)的標(biāo)簽,并獲取其文本信息(這里是獲取包括后代節(jié)點(diǎn)的所有文本)
            'deal': item.find('.deal-cnt').text()[:-3],  # 人數(shù) 尋找class為deal-cnt的標(biāo)簽,并獲取其文本內(nèi)容(這里去掉了'人付款')
            'title': item.find('.title').text(),    # 標(biāo)題 尋找class為title(不完全匹配)的標(biāo)簽
            'shop': item.find('.shop').text(),  # 店名 尋找class為shop的標(biāo)簽,并獲取其文本信息(這里是獲取包括后代節(jié)點(diǎn)的所有文本)
            'location': item.find('.location').text(),  # 地點(diǎn) 尋找class為location的標(biāo)簽
        }
        print(product)

def main():
    total = search()
    # total = int(re.compile('(\d+)').search(total).group(1))   # 這一步返回的是最大頁(yè)數(shù)100,暫時(shí)用不上
    # 爬取所有數(shù)據(jù)用total+1
    for i in range(2, 10):
        next_page(i)

if __name__ == '__main__':
    browser = webdriver.Chrome()
    wait = WebDriverWait(browser, 10)   # 設(shè)置最大等待時(shí)間為10s
    main()