【Python爬蟲】第十五次作業(yè)

import requests
from lxml import etree
url='http://www.ygdy8.com'
req = requests.get(url)
req.encoding='gb2312'
html=req.text
selector=etree.HTML(html)
infos=selector.xpath('//div[@class="contain"][1]/ul/li[position()<10]/a')
url_list=[]
for info in infos:
    a_text=info.xpath('text()')
    a_href=info.xpath('@href')
    if len(a_text)==0 or a_text[0]=='經(jīng)典影片':
        pass
    else:
        menu_url=url+a_href[0]
        print(a_text[0],menu_url)
        req2 = requests.get(menu_url)
        req2.encoding='gb2312'
        html2=req2.text
        # print(html2)
        selector2=etree.HTML(html2)
        page_total=selector2.xpath('//div[@class="co_content8"]/div[@class="x"]//text()')[1].split('/')[0].replace('共','').replace('頁','')
        print(page_total)
        list_id=selector2.xpath('//div[@class="co_content8"]/div[@class="x"]//a/@href')[0].replace('2.html','')
        print(list_id)
        for i in range(1,int(page_total)+1):
            right_url=list_id+str(i)
            # print(right_url)
            page_url=menu_url.replace('index',right_url)
            # print(page_url)
            url_list.append(page_url)
        print(len(url_list))

最后編輯于：2017.12.10 05:52:31

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末望伦，一起剝皮案震驚了整個濱河市围段，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌照捡，老刑警劉巖叮贩，帶你破解...
沈念sama閱讀 212,454評論 6贊 493
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件击狮，死亡現(xiàn)場離奇詭異，居然都是意外死亡益老，警方通過查閱死者的電腦和手機彪蓬，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 90,553評論 3贊 385
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來捺萌，“玉大人档冬，你說我怎么就攤上這事√掖浚” “怎么了酷誓？”我有些...
開封第一講書人閱讀 157,921評論 0贊 348
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長态坦。經(jīng)常有香客問我盐数，道長，這世上最難降的妖魔是什么伞梯？我笑而不...
開封第一講書人閱讀 56,648評論 1贊 284
?港島之戀（遺憾婚禮）
正文為了忘掉前任玫氢，我火速辦了婚禮，結(jié)果婚禮上谜诫，老公的妹妹穿的比我還像新娘漾峡。我一直安慰自己，他們只是感情好喻旷，可當(dāng)我...
茶點故事閱讀 65,770評論 6贊 386
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布生逸。她就那樣靜靜地躺著，像睡著了一般且预。火紅的嫁衣襯著肌膚如雪牺陶。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 49,950評論 1贊 291
城市分裂傳說
那天辣之，我揣著相機與錄音掰伸，去河邊找鬼。笑死怀估，一個胖子當(dāng)著我的面吹牛狮鸭，可吹牛的內(nèi)容都是我干的合搅。我是一名探鬼主播，決...
沈念sama閱讀 39,090評論 3贊 410
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼歧蕉，長吁一口氣：“原來是場噩夢啊……” “哼灾部！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起惯退，我...
開封第一講書人閱讀 37,817評論 0贊 268
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤赌髓，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后催跪，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體锁蠕，經(jīng)...
沈念sama閱讀 44,275評論 1贊 303
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 36,592評論 2贊 327
?白月光啟示錄
正文我和宋清朗相戀三年懊蒸，在試婚紗的時候發(fā)現(xiàn)自己被綠了荣倾。大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
茶點故事閱讀 38,724評論 1贊 341
活死人
序言：一個原本活蹦亂跳的男人離奇死亡骑丸，死狀恐怖舌仍，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情通危，我是刑警寧澤铸豁，帶...
沈念sama閱讀 34,409評論 4贊 333
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站菊碟，受9級特大地震影響节芥，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜框沟，卻給世界環(huán)境...
茶點故事閱讀 40,052評論 3贊 316
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望增炭。院中可真熱鬧忍燥，春花似錦、人聲如沸隙姿。這莊子的主人今日做“春日...
開封第一講書人閱讀 30,815評論 0贊 21
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽输玷。三九已至队丝，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間欲鹏，已是汗流浹背机久。一陣腳步聲響...
開封第一講書人閱讀 32,043評論 1贊 266
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留赔嚎，地道東北人膘盖。一個月前我還...
沈念sama閱讀 46,503評論 2贊 361
代替公主和親
正文我出身青樓胧弛，卻偏偏與公主長得像，于是被迫代替她去往敵國和親侠畔。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當(dāng)晚...
茶點故事閱讀 43,627評論 2贊 350

【Python爬蟲】第十五次作業(yè)

推薦閱讀更多精彩內(nèi)容