# 一、xpath過(guò)濾標(biāo)簽練習(xí)
# 學(xué)完視頻將陽(yáng)光電影網(wǎng)首頁(yè)導(dǎo)航欄前9個(gè)菜單url抓取,輸出結(jié)果為可以正常訪問(wèn)的url, 并過(guò)濾掉"經(jīng)典影片"的菜單url
#
# 二、循環(huán)內(nèi)請(qǐng)求解析
# 對(duì)第一題解析出來(lái)的url進(jìn)行請(qǐng)求,解析出每個(gè)菜單的分頁(yè)總數(shù),每個(gè)菜單的id,并構(gòu)造出全部的菜單分頁(yè)請(qǐng)求url,全部存進(jìn)一個(gè)url_list變量,url_list變量為列表
# 比如:
# 最新電影菜單下共有165個(gè)分頁(yè),構(gòu)造出165個(gè)url 存進(jìn)url_list
# 國(guó)內(nèi)影片菜單下共有93個(gè)頁(yè)面,構(gòu)造出93個(gè)url 存進(jìn)url_list


#整個(gè)網(wǎng)站的層次： main_menu => page => item => source
import requests
from lxml import etree
def get_html(url):
    headers=''
    req=requests.get(url)
    # print(type(req))
    ret=req.status_code
    if ret!=200 :
        print('獲取主菜單失敗挎挖，返回錯(cuò)誤：'+str(ret))
        return ({})
    req.encoding='gb2312'
    html=req.text
    return(html)

def get_main_menus(url):
    html=get_html(url)
    # print(html)
    selector=etree.HTML(html)
    main_menus=selector.xpath('//div[@class="contain"]/ul/li[position()<=9]/a')
    main_menus_dict={}
    for main_menu in main_menus :
        text=main_menu.xpath('text()')[0]
        if text=='經(jīng)典電影': pass
        if len(text)>=1 :
            href = url + main_menu.xpath('@href')[0]
            # print(text,href)
            main_menus_dict.update({text:href})
        else:
            pass
    return(main_menus_dict)

def get_items(main_menus_dict):
    url_list=[]
    # main_menus_dict={}
    for menu_name in main_menus_dict.keys() :
        menu_url=main_menus_dict.get(menu_name)
        html_one_menu = get_html(menu_url)
        # print(html_one_menu)
        selector_one_menu=etree.HTML(html_one_menu)
        # // *[ @ id = "header"] / div / div[3] / div[3] / div[2] / div[2] / div[2] / div / select / option[2]
        pages=selector_one_menu.xpath('//select/option[starts-with(@value,"list")]')
        print(menu_name,'小計(jì)'+str(len(pages))+'頁(yè):')
        if len(pages)>=1 :
            for page in pages :
                page_url=menu_url.split('index.html')[0] + page.xpath('@value')[0]
                print(page_url)
                url_list.append(page_url)
    return(url_list)

if __name__ == '__main__' :
    url = 'http://www.ygdy8.com'
    main_menu_dict=get_main_menus(url)
    # print(main_menu_dict)
    print('-------------第1題完成-----------------')
    url_list=[] #全部電影頁(yè)面的列表
    url_list=get_items(main_menu_dict)
    print('共計(jì)'+str(len(url_list))+'頁(yè)')
    print('-------------第2題完成-----------------')