經(jīng)濟(jì)學(xué)人文章爬蟲(chóng)

因?yàn)榕既坏臋C(jī)會(huì)知道了經(jīng)濟(jì)學(xué)人這個(gè)網(wǎng)站昭卓,下面是引自百度百科的相關(guān)介紹:

《經(jīng)濟(jì)學(xué)人》是一份由倫敦經(jīng)濟(jì)學(xué)人報(bào)紙有限公司出版的雜志掺逼,創(chuàng)辦于1843年9月慢睡,創(chuàng)辦人詹姆士·威爾遜疲恢。雜志的大多數(shù)文章寫(xiě)得機(jī)智,幽默睹晒,有力度趟庄,嚴(yán)肅又不失詼諧,并且注重于如何在最小的篇幅內(nèi)告訴讀者最多的信息伪很。

雜志主要關(guān)注政治和商業(yè)方面的新聞戚啥,但是每期也有一兩篇針對(duì)科技和藝術(shù)的報(bào)導(dǎo),以及一些書(shū)評(píng)锉试。雜志中所有文章都不署名猫十,而且往往帶有鮮明的立場(chǎng),但又處處用事實(shí)說(shuō)話(huà)键痛。主編們認(rèn)為:寫(xiě)出了什么東西炫彩,比出自誰(shuí)的手筆更重要。

但是該網(wǎng)站的文章一個(gè)賬號(hào)每周只能免費(fèi)閱讀3篇絮短,訂閱價(jià)格大約是一個(gè)月100港元。

假如是經(jīng)常閱讀該網(wǎng)站文章自然是訂閱支持一下更好昨忆,但假如只是偶爾想看幾篇文章訂閱的性?xún)r(jià)比就不高了丁频。

但是我在點(diǎn)開(kāi)網(wǎng)頁(yè)的過(guò)程中發(fā)現(xiàn)到文章先是被完全加載出來(lái)后突然消失到只剩標(biāo)題的,由此我猜測(cè)該網(wǎng)站的每周3篇文章上限這條規(guī)定是識(shí)別Cookie后執(zhí)行的邑贴,由此我再猜測(cè)假如果我只寫(xiě)一個(gè)requests請(qǐng)求是不是就能拿到含有文章信息的網(wǎng)頁(yè)源代碼呢席里?然后再解析一下是不是就能拿到文章的文本了呢?

下面是我寫(xiě)的一個(gè)簡(jiǎn)單的文章爬蟲(chóng):

import requests
from pyquery import PyQuery as pq

url = 'https://www.economist.com/special-report/2017/10/05/commodities-are-not-always-bad-for-you'

def get_text(url):
    html = requests.get(url).text
    doc = pq(html)
    article = doc('article')
    h1 = article('h1 span').text()  # 文章標(biāo)題
    print(h1+'\n')
    rubric = article('.blog-post__rubric').text()  # 紅字標(biāo)題
    print(rubric+'\n')

    div_imgs = article('.blog-post__image').items()  # 文章圖片
    text = article('.blog-post__text')  # 文章文本
    ps = text('p').items()  # 文章段落
    h2s = text('.xhead').items()  # 文章小標(biāo)題

    for p in ps:
        if not p.text().startswith('Upgrade your inbox'):  # 過(guò)濾一行廣告文本
            print(p.text()+'\n')

    for h2 in h2s:
        print(h2.text()+'\n')

    for div_img in div_imgs:
        img = div_img('img').attr.src
        print(img)
        
get_text(url)

這個(gè)爬蟲(chóng)沒(méi)加任何headers拢驾,但確實(shí)能拿到文章內(nèi)容和文章中的配圖奖磁,只是不知道小標(biāo)題在文章的什么位置。

當(dāng)然這是一個(gè)不規(guī)范的很簡(jiǎn)陋的爬蟲(chóng)腳本繁疤。目的只是為了個(gè)人能多閱讀兩篇經(jīng)濟(jì)學(xué)人雜志文章咖为。下面是該爬蟲(chóng)運(yùn)行示例:

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市稠腊,隨后出現(xiàn)的幾起案子躁染,更是在濱河造成了極大的恐慌,老刑警劉巖架忌,帶你破解...
    沈念sama閱讀 222,807評(píng)論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件吞彤,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)饰恕,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,284評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén)挠羔,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人埋嵌,你說(shuō)我怎么就攤上這事破加。” “怎么了莉恼?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,589評(píng)論 0 363
  • 文/不壞的土叔 我叫張陵拌喉,是天一觀(guān)的道長(zhǎng)。 經(jīng)常有香客問(wèn)我俐银,道長(zhǎng)尿背,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,188評(píng)論 1 300
  • 正文 為了忘掉前任捶惜,我火速辦了婚禮田藐,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘吱七。我一直安慰自己汽久,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,185評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布踊餐。 她就那樣靜靜地躺著景醇,像睡著了一般。 火紅的嫁衣襯著肌膚如雪吝岭。 梳的紋絲不亂的頭發(fā)上三痰,一...
    開(kāi)封第一講書(shū)人閱讀 52,785評(píng)論 1 314
  • 那天,我揣著相機(jī)與錄音窜管,去河邊找鬼散劫。 笑死,一個(gè)胖子當(dāng)著我的面吹牛幕帆,可吹牛的內(nèi)容都是我干的获搏。 我是一名探鬼主播,決...
    沈念sama閱讀 41,220評(píng)論 3 423
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼失乾,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼常熙!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起仗扬,我...
    開(kāi)封第一講書(shū)人閱讀 40,167評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤症概,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后早芭,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體彼城,經(jīng)...
    沈念sama閱讀 46,698評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,767評(píng)論 3 343
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了募壕。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片调炬。...
    茶點(diǎn)故事閱讀 40,912評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖舱馅,靈堂內(nèi)的尸體忽然破棺而出缰泡,到底是詐尸還是另有隱情,我是刑警寧澤代嗤,帶...
    沈念sama閱讀 36,572評(píng)論 5 351
  • 正文 年R本政府宣布棘钞,位于F島的核電站,受9級(jí)特大地震影響干毅,放射性物質(zhì)發(fā)生泄漏宜猜。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,254評(píng)論 3 336
  • 文/蒙蒙 一硝逢、第九天 我趴在偏房一處隱蔽的房頂上張望姨拥。 院中可真熱鬧,春花似錦渠鸽、人聲如沸叫乌。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,746評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)憨奸。三九已至,卻和暖如春凿试,著一層夾襖步出監(jiān)牢的瞬間膀藐,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,859評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工红省, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人国觉。 一個(gè)月前我還...
    沈念sama閱讀 49,359評(píng)論 3 379
  • 正文 我出身青樓吧恃,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親麻诀。 傳聞我的和親對(duì)象是個(gè)殘疾皇子痕寓,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,922評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容

  • Android 自定義View的各種姿勢(shì)1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,336評(píng)論 25 707
  • 用兩張圖告訴你,為什么你的 App 會(huì)卡頓? - Android - 掘金 Cover 有什么料蝇闭? 從這篇文章中你...
    hw1212閱讀 12,754評(píng)論 2 59
  • 夜里睡覺(jué)呼吸不過(guò)來(lái)呻率,差點(diǎn)憋死。悶了好久呻引,忽然醒過(guò)來(lái)礼仗,大口呼吸。 上班下班兩點(diǎn)一線(xiàn),快倆月沒(méi)在外面逛過(guò)吃飯看電影了元践,...
    裳瓔珞閱讀 164評(píng)論 0 1
  • 還是一個(gè)人好熬录埂!5ヅ浴;Ω帷!O蠡搿D枋巍!愉豺!
    小咻咻閱讀 339評(píng)論 0 0
  • 測(cè)測(cè)試草稿能不能同步卡勒德·胡賽測(cè)試草稿能不能同步卡勒德·胡賽測(cè)試草稿能不能同步卡勒德·胡賽尼
    玉蒙love閱讀 205評(píng)論 0 0