python爬蟲鳳凰網新聞

首先使用chrome瀏覽器园担,找到網頁要爬取內容的代碼忌锯,鼠標選中,右鍵丑念,選擇菜單項“檢查”

之后让蕾,就會在頁面下方該選中位置的源代碼浪规,


這時,就可以查看class, p, title等標簽探孝。寫python代碼進行爬取了笋婿。

爬取鳳凰新聞頁面的新聞標題,簡介顿颅,時間和鏈接缸濒。

代碼如下:

import requests

from bs4 import BeautifulSoup

web_data =requests.get('http://news.ifeng.com/listpage/101231/1/list.shtml')

soup = BeautifulSoup(web_data.text,'lxml')

a = 1

for data in soup.select('.box_list'):

detail =data.select('.box_txt p')[0].text

time =data.select('span')[0].text

title =data.select('h2 a')[0]['title']

link =data.select('h2 a ')[0]['href']

print('%d.'%a,title,link,detail,time)

a = a+1

print("新聞條數:",a-1)

爬取截圖如下:


最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市粱腻,隨后出現的幾起案子庇配,更是在濱河造成了極大的恐慌,老刑警劉巖绍些,帶你破解...
    沈念sama閱讀 212,718評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件捞慌,死亡現場離奇詭異,居然都是意外死亡遇革,警方通過查閱死者的電腦和手機卿闹,發(fā)現死者居然都...
    沈念sama閱讀 90,683評論 3 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來萝快,“玉大人锻霎,你說我怎么就攤上這事【句觯” “怎么了旋恼?”我有些...
    開封第一講書人閱讀 158,207評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長奄容。 經常有香客問我冰更,道長产徊,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,755評論 1 284
  • 正文 為了忘掉前任蜀细,我火速辦了婚禮舟铜,結果婚禮上,老公的妹妹穿的比我還像新娘奠衔。我一直安慰自己谆刨,他們只是感情好,可當我...
    茶點故事閱讀 65,862評論 6 386
  • 文/花漫 我一把揭開白布归斤。 她就那樣靜靜地躺著痊夭,像睡著了一般。 火紅的嫁衣襯著肌膚如雪脏里。 梳的紋絲不亂的頭發(fā)上她我,一...
    開封第一講書人閱讀 50,050評論 1 291
  • 那天,我揣著相機與錄音迫横,去河邊找鬼番舆。 笑死,一個胖子當著我的面吹牛员淫,可吹牛的內容都是我干的合蔽。 我是一名探鬼主播,決...
    沈念sama閱讀 39,136評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼介返,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了沃斤?” 一聲冷哼從身側響起圣蝎,我...
    開封第一講書人閱讀 37,882評論 0 268
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎衡瓶,沒想到半個月后徘公,有當地人在樹林里發(fā)現了一具尸體,經...
    沈念sama閱讀 44,330評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡哮针,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,651評論 2 327
  • 正文 我和宋清朗相戀三年关面,在試婚紗的時候發(fā)現自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片十厢。...
    茶點故事閱讀 38,789評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡等太,死狀恐怖,靈堂內的尸體忽然破棺而出蛮放,到底是詐尸還是另有隱情缩抡,我是刑警寧澤,帶...
    沈念sama閱讀 34,477評論 4 333
  • 正文 年R本政府宣布包颁,位于F島的核電站瞻想,受9級特大地震影響压真,放射性物質發(fā)生泄漏。R本人自食惡果不足惜蘑险,卻給世界環(huán)境...
    茶點故事閱讀 40,135評論 3 317
  • 文/蒙蒙 一滴肿、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧佃迄,春花似錦嘴高、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,864評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至柴信,卻和暖如春套啤,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背随常。 一陣腳步聲響...
    開封第一講書人閱讀 32,099評論 1 267
  • 我被黑心中介騙來泰國打工潜沦, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人绪氛。 一個月前我還...
    沈念sama閱讀 46,598評論 2 362
  • 正文 我出身青樓唆鸡,卻偏偏與公主長得像,于是被迫代替她去往敵國和親枣察。 傳聞我的和親對象是個殘疾皇子争占,可洞房花燭夜當晚...
    茶點故事閱讀 43,697評論 2 351

推薦閱讀更多精彩內容