from lxml import etree
import requests

# －－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
# 一、xpath過濾標(biāo)簽練習(xí)
# 學(xué)完視頻將陽光電影網(wǎng)首頁導(dǎo)航欄前9個菜單url抓取,輸出結(jié)果為可以正常訪問的url, 并過濾掉"經(jīng)典影片"的菜單url
url='http://www.ygdy8.com'
url_list=[]

req=requests.get(url)
req.encoding='gb2312'
html=req.text

selector=etree.HTML(html)
infos=selector.xpath('//*[@id="menu"]/div/ul//li[position()<10]/a')
for info in infos:
        menus_text=info.xpath('text()')
        menus_href=info.xpath('@href')
        if len(menus_text[0])>0 and menus_text[0]!='經(jīng)典影片':
                menu_text=menus_text[0]
                menu_href=url+menus_href[0]
                # print(menu_text,menu_href)

                # 運(yùn)行結(jié)果
                # 最新影片 http: // www.ygdy8.com / html / gndy / dyzz / index.html
                # 國內(nèi)電影 http: // www.ygdy8.com / html / gndy / china / index.html
                # 歐美電影 http: // www.ygdy8.com / html / gndy / oumei / index.html
                # 日韓電影 http: // www.ygdy8.com / html / gndy / rihan / index.html
                # 華語電視 http: // www.ygdy8.com / html / tv / hytv / index.html
                # 日韓電視 http: // www.ygdy8.com / html / tv / rihantv / index.html
                # 歐美電視 http: // www.ygdy8.com / html / tv / oumeitv / index.html
                # 最新綜藝 http: // www.ygdy8.com / html / zongyi2013 / index.html

                # ------------------------------------------------------------------------------------------------------------------
                # 二衙耕、循環(huán)內(nèi)請求解析
                # 對第一題解析出來的url進(jìn)行請求,解析出每個菜單的分頁總數(shù),每個菜單的id,并構(gòu)造出全部的菜單分頁請求url,全部存進(jìn)一個url_list變量,url_list變量為列表
                req2=requests.get(menu_href)
                req2.encoding='gb2312'
                html2=req2.text
                selector2=etree.HTML(html2)
                page_info=selector2.xpath('//div[@class="x"]//text()')[1].split('/')[0].replace('共','').replace('頁','').strip()
                list_id=selector2.xpath('//div[@class="x"]//a/@href')[0].split('.')[0].split('_')[1]
                print(menu_text,menu_href,'TotalPage:',page_info,'list_id:',list_id)
                for ipage in range(int(page_info)):
                        page_url=menu_href.replace('index.html','')+'list_'+list_id+'_'+str(ipage+1)+'.html'
                        url_list.append(page_url)


                # 運(yùn)行結(jié)果
                # 最新影片 http://www.ygdy8.com/html/gndy/dyzz/index.html TotalPage: 168 list_id: 23
                # 國內(nèi)電影 http://www.ygdy8.com/html/gndy/china/index.html TotalPage: 97 list_id: 4
                # 歐美電影 http://www.ygdy8.com/html/gndy/oumei/index.html TotalPage: 179 list_id: 7
                # 日韓電影 http://www.ygdy8.com/html/gndy/rihan/index.html TotalPage: 29 list_id: 6
                # 華語電視 http://www.ygdy8.com/html/tv/hytv/index.html TotalPage: 18 list_id: 71
                # 日韓電視 http://www.ygdy8.com/html/tv/rihantv/index.html TotalPage: 36 list_id: 8
                # 歐美電視 http://www.ygdy8.com/html/tv/oumeitv/index.html TotalPage: 14 list_id: 9
                # 最新綜藝 http://www.ygdy8.com/html/zongyi2013/index.html TotalPage: 135 list_id: 99