用PyQuery寫爬蟲爬取新聞

爬蟲

網(wǎng)絡(luò)爬蟲是一種按照一定的規(guī)則袜匿，自動(dòng)地抓取萬維網(wǎng)信息的程序或者腳本豺型。

法律責(zé)任

爬蟲禁止爬取個(gè)人隱私數(shù)據(jù)和明確禁止他人訪問的數(shù)據(jù)，甚至涉及版權(quán)保護(hù)的內(nèi)容都不允許爬取后隨意轉(zhuǎn)載或者用于商業(yè)用途饼齿。

通過查看網(wǎng)站主頁的robots.txt文檔饲漾。判斷網(wǎng)頁內(nèi)容是否可以爬取。

以百度為例：
http://baidu.com/robots.txt
可以查看里面有哪些內(nèi)容不允許爬取缕溉。

robots.txt

入門技術(shù)

需要事先了解計(jì)算機(jī)網(wǎng)絡(luò)（HTTP考传，Web，URL证鸥，URI）等網(wǎng)絡(luò)知識(shí)僚楞；
了解HTML中的tag, elements, attribute以及CSS，JavaScript ,DOM,JSON, Chrome瀏覽器的調(diào)試等枉层；

爬蟲的一般步驟

選擇數(shù)據(jù)源泉褐，并查看是否允許爬取
創(chuàng)建爬蟲規(guī)則
分析網(wǎng)頁的結(jié)構(gòu)和要爬取的內(nèi)容
解析關(guān)鍵數(shù)據(jù)：可以通過CSS Selector正則表達(dá)式查找
保存爬取的文件信息

如何用pyquery爬取新聞內(nèi)容

這里以pyquery為例，爬取人民網(wǎng)新聞數(shù)據(jù)：

首先需要安裝pyquery
pip3 install pyquery（可以使用開源鏡像安裝）
打開人民網(wǎng)時(shí)政新聞鸟蜡，我們需要爬取該頁面的新聞數(shù)據(jù)膜赃。

image.png
使用Chrome瀏覽器按F12，選取需要爬取的新聞揉忘，并記錄selector跳座，如下圖所示：

需要爬取的新聞

拷貝當(dāng)前的selector

對(duì)于新聞的正文內(nèi)容，我們點(diǎn)開查看詳細(xì)的URL：
http://politics.people.com.cn/n1/2020/0212/c1001-31583728.html泣矛，可以發(fā)現(xiàn)網(wǎng)站的前綴依然是http://politics.people.com.cn/疲眷，后綴是我們上圖中href中的鏈接。
我們可以對(duì)其進(jìn)行拼接然后跳轉(zhuǎn)到詳細(xì)信息頁面您朽。
現(xiàn)在對(duì)我們的新聞內(nèi)容進(jìn)行爬取狂丝，這里采用ID的形式對(duì)頁面內(nèi)容進(jìn)行查找，對(duì)當(dāng)前頁面的id進(jìn)行記錄哗总。

新聞?wù)?/div>

現(xiàn)在我們根據(jù)元素的id編寫爬蟲代碼進(jìn)行實(shí)驗(yàn)

def handler():
    # 設(shè)置需要爬取的網(wǎng)站地址
    response = urllib.request.urlopen('http://politics.people.com.cn/')
    code = response.code
    # 打開當(dāng)前路徑下的news.txt文件几颜，以追加的方式對(duì)信息進(jìn)行存儲(chǔ)
    fw = open('./news.txt', 'a')
    if code == 200:
        # http請(qǐng)求返回200表示請(qǐng)求成功
        print("*****請(qǐng)求成功，開始爬蟲*****")
        # 設(shè)置文本的編碼方式為GBK編碼
        content = response.read().decode('gbk')
        # print(content) # 打印網(wǎng)頁的全部信息
        doc = pq(content)
        # 爬取10條新聞
        for i in range(1, 11):
            # 通過F12魂奥，查找要爬取信息的selector菠剩，通過觀察我們將要爬取的10條信息的id傳入selector中進(jìn)行遍歷爬取
            element = doc('body > div.w1000.mt20.column_2.p9_con > div.left.w655 > div:nth-child(3) > div:nth-child({}) > div > h5 > a'.format(i))
            # 獲取新聞標(biāo)題
            title = element.text()
            print(title)
            # 獲取新聞鏈接
            link = element.attr('href')
            # 轉(zhuǎn)入新聞詳細(xì)信息頁面
            detail_response = urllib.request.urlopen('http://politics.people.com.cn' + link)
            # 新聞信息編碼為GBK
            detail_content = detail_response.read().decode('gbk')
            detail_doc = pq(detail_content)
            # 獲取id為'#rwb_zw'的div，即正文耻煤，也可以通過selector進(jìn)行選擇,同時(shí)去掉新聞中的換行符具壮，方便存儲(chǔ)查看
            detail = detail_doc('#rwb_zw').text().replace("\n", "")
            print(detail)
            fw.write(title + '@@@' + detail + "\n")
    # 記得關(guān)閉文件
    fw.close()

參考文檔

pyquery

開源代碼

Handler.py

最后編輯于：2020.02.16 21:15:10

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者