動(dòng)態(tài)網(wǎng)頁(yè)爬取多頁(yè)

今天爬取的是騰訊視頻的最新短評(píng)(鬼吹燈之黃皮子墳)的評(píng)論者、最新短評(píng)內(nèi)容掉缺、評(píng)論贊态秧;
首先分析一下要爬取的網(wǎng)頁(yè)

首次加載出的最新短評(píng)

點(diǎn)擊更多,看下url是否會(huì)變化

點(diǎn)擊加載更多之后

由此看出應(yīng)該是動(dòng)態(tài)加載的
其實(shí)剛開(kāi)始我還看了這些數(shù)據(jù)是json店煞,還想著用構(gòu)造url,直接請(qǐng)求的方法去爬风钻,但是看完請(qǐng)求url就放棄了顷蟀;

Paste_Image.png
Paste_Image.png

這里url有太多的參數(shù)不好構(gòu)造就沒(méi)有往這方面想了;
下面進(jìn)入正題骡技,
首先pip安裝selenium
下面是代碼

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains
import time
import pymongo


# 連接到Mongo
conn = pymongo.MongoClient(host='localhost', port=27017)
# 選擇或創(chuàng)建數(shù)據(jù)庫(kù)
tencent = conn['tencent']
# 選擇或創(chuàng)建數(shù)據(jù)集合
newsdata = tencent['鬼吹燈之黃皮子墳']

# 把每個(gè)評(píng)論的數(shù)據(jù)存入這個(gè)字典
comment_one = {}
# 使用Chrome瀏覽器模擬打開(kāi)網(wǎng)頁(yè)鸣个,但是要把下載的chromedriver.exe放在python的文件路徑下,
#調(diào)試好之后換成PhantomJs,速度應(yīng)該會(huì)快一點(diǎn)
driver = webdriver.Chrome()
driver.get("https://v.qq.com/tv/p/topic/gcdzhpzf/index.html")
# 下拉滑動(dòng)瀏覽器屏幕羞反,具體下拉多少根據(jù)自己實(shí)際情況決定
driver.execute_script("window.scrollBy(0,10000)")
time.sleep(8)
driver.execute_script("window.scrollBy(0,6000)")
time.sleep(3)

i = 0
# 這里必須要先切到你要爬取數(shù)據(jù)的frame下,否則找不到你寫(xiě)的路徑
driver.switch_to.frame('commentIframe1')
# 這里我用的是find_elements_by_xpath匹配的元素囤萤,個(gè)人比較喜歡用xpath匹配丹诀,比較簡(jiǎn)單方便
comments_name = driver.find_elements_by_xpath(
    '//div[@class="np-post-header"]/span[1]/a[1]')
comments_content = driver.find_elements_by_xpath(
    '//div[@id="allComments"]//div[@class="np-post-content"]')
comments_vote = driver.find_elements_by_xpath(
    '//div[@class="np-post-footer"]/a[1]/em')

print("第%s頁(yè)" % i)
#存入字典
for comment_name, comment_content, comment_vote in zip(
        comments_name[-10: ], comments_content[-10: ], comments_vote[-10: ]):
    comment_one = {
        '評(píng)論者': comment_name.text,
        '評(píng)論內(nèi)容': comment_content.text,
        '評(píng)論贊': comment_vote.text
    }
    # 把數(shù)據(jù)插入數(shù)據(jù)庫(kù)
    newsdata.insert_one(comment_one)
#下面是爬取多頁(yè)的評(píng)論數(shù)據(jù)松靡,同上
while driver.find_element_by_xpath('//div[@id="loadMore"]').text == '加載更多':
    page_a = len(comments_name)
    driver.find_element_by_xpath('//div[@id="loadMore"]').click()
    time.sleep(5)
    driver.execute_script("window.scrollBy(0,6000)")
    time.sleep(3)
    comments_name = driver.find_elements_by_xpath(
        '//div[@class="np-post-header"]/span[1]/a[1]')
    comments_content = driver.find_elements_by_xpath(
        '//div[@id="allComments"]//div[@class="np-post-content"]')
    comments_vote = driver.find_elements_by_xpath(
        '//div[@class="np-post-footer"]/a[1]/em')
    page_b = len(comments_name)
    i += 1
    print("第%s頁(yè)" % i)

    for comment_name, comment_content, comment_vote in zip(
            comments_name[page_a:page_b], comments_content[page_a:page_b], comments_vote[page_a:page_b]):
        comment_one = {
            '評(píng)論者': comment_name.text,
            '評(píng)論內(nèi)容': comment_content.text,
            '評(píng)論贊': comment_vote.text
        }
        newsdata.insert_one(comment_one)


運(yùn)行結(jié)果:大概爬了4000多條評(píng)論谣殊,應(yīng)該沒(méi)有丟失的


Paste_Image.png

這里有幾點(diǎn)注意一下:
1箩言、爬取多頁(yè)的最新短評(píng),元素的匹配是否正常富雅,雖然方法很多掸驱,因?yàn)檫@里相同名字元素太多了;
2没佑、選擇列表的數(shù)據(jù)毕贼,這里首頁(yè)是10個(gè),點(diǎn)擊一次加載更多是20條評(píng)論图筹,但是你打開(kāi)json數(shù)據(jù)key看到有些數(shù)據(jù)不知道為什么是空的帅刀,在網(wǎng)頁(yè)上沒(méi)有展示出來(lái)的,可能是有些評(píng)論異常吧远剩,所以這里如果是固定的每次累加20個(gè)取數(shù)據(jù)的話扣溺,取出的數(shù)據(jù)應(yīng)該是有問(wèn)題的,

最后瓜晤,大家有什么好的方法可以評(píng)論建議一下锥余,多謝

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市痢掠,隨后出現(xiàn)的幾起案子驱犹,更是在濱河造成了極大的恐慌,老刑警劉巖足画,帶你破解...
    沈念sama閱讀 222,946評(píng)論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件雄驹,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡淹辞,警方通過(guò)查閱死者的電腦和手機(jī)医舆,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,336評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)象缀,“玉大人蔬将,你說(shuō)我怎么就攤上這事⊙胄牵” “怎么了霞怀?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,716評(píng)論 0 364
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)莉给。 經(jīng)常有香客問(wèn)我毙石,道長(zhǎng)廉沮,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,222評(píng)論 1 300
  • 正文 為了忘掉前任徐矩,我火速辦了婚禮废封,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘丧蘸。我一直安慰自己,他們只是感情好遥皂,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,223評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布力喷。 她就那樣靜靜地躺著,像睡著了一般演训。 火紅的嫁衣襯著肌膚如雪弟孟。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 52,807評(píng)論 1 314
  • 那天样悟,我揣著相機(jī)與錄音拂募,去河邊找鬼。 笑死窟她,一個(gè)胖子當(dāng)著我的面吹牛陈症,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播震糖,決...
    沈念sama閱讀 41,235評(píng)論 3 424
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼录肯,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了吊说?” 一聲冷哼從身側(cè)響起论咏,我...
    開(kāi)封第一講書(shū)人閱讀 40,189評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎颁井,沒(méi)想到半個(gè)月后厅贪,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,712評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡雅宾,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,775評(píng)論 3 343
  • 正文 我和宋清朗相戀三年养涮,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片秀又。...
    茶點(diǎn)故事閱讀 40,926評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡单寂,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出吐辙,到底是詐尸還是另有隱情宣决,我是刑警寧澤,帶...
    沈念sama閱讀 36,580評(píng)論 5 351
  • 正文 年R本政府宣布昏苏,位于F島的核電站尊沸,受9級(jí)特大地震影響威沫,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜洼专,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,259評(píng)論 3 336
  • 文/蒙蒙 一棒掠、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧屁商,春花似錦烟很、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,750評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至官还,卻和暖如春芹橡,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背望伦。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,867評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工林说, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人屯伞。 一個(gè)月前我還...
    沈念sama閱讀 49,368評(píng)論 3 379
  • 正文 我出身青樓腿箩,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親劣摇。 傳聞我的和親對(duì)象是個(gè)殘疾皇子度秘,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,930評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容