失敗的地方在于 網(wǎng)址中有時間戳,我沒有搞定对扶!
'''
1,網(wǎng)址:http://www.dgtle.com/
2,難點(diǎn)在于毒租,soup惹谐。select找不到相應(yīng)的節(jié)點(diǎn)碾篡。后來,我發(fā)現(xiàn)蹂喻,用正則匹配還是最棒的方法葱椭,秒殺一切。
3口四,遇到了一個小細(xì)節(jié)孵运,卡主了我20分鐘。
p1 = r'subject":".*?","typeid"' 這個正則表達(dá)式蔓彩,始終寫不對治笨,后來匯總與弄明白了," ' 這兩個符號之間赤嚼,多了一個空格旷赖,我始終匹配不上!
4,p1 = r'subject":"(.*?)","typeid"' 用括號將想要提取的內(nèi)容提取出來更卒,旁邊那些東西都可以直接去掉了等孵。剩下的東西提取出來放到列表當(dāng)中,非常完美蹂空!
5,這里遇到了一個問題俯萌,鏈接內(nèi)部有類似時間戳的東西,這可咋辦吧险怼咐熙?經(jīng)過測試,就算把page頁數(shù)改了辨萍,還是下載的同一個網(wǎng)頁棋恼!
https://api.yii.dgtle.com/v2/news?token=&perpage=24&typeid=0
https://api.yii.dgtle.com/v2/news?token=&dateline=1554188534&page=2&perpage=24&typeid=0
https://api.yii.dgtle.com/v2/news?token=&dateline=1553669706&page=3&perpage=24&typeid=0
https://api.yii.dgtle.com/v2/news?token=&dateline=1553482235&page=4&perpage=24&typeid=0
https://api.yii.dgtle.com/v2/news?token=&dateline=1553023952&page=5&perpage=24&typeid=0
https://api.yii.dgtle.com/v2/news?token=&dateline=1552710093&page=6&perpage=24&typeid=0
這個時間戳有一些復(fù)雜,時間竟然越來越少!
'''
import time,re
import requests
from bs4 import BeautifulSoup
url = "http://news.dgtle.com/"
url2 = "https://api.yii.dgtle.com/v2/news?token=&perpage=24&typeid=389"
url3 = ["https://api.yii.dgtle.com/v2/news?token=&dateline=1553023911&page={}&perpage=24&typeid=0".format(str(i)) for i in range(1, 10)]
# 每輸入一個頁面鏈接蘸泻,就得到頁面上所有的信息
def get_pageinfo(url) :
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text, "lxml")
#print(soup)
p1 = r'subject":"(.*?)","typeid"' #匹配標(biāo)題
p2 = r'"author":"(.*?)","authorid"' #匹配作者
pattern1 = re.compile(p1)
pattern2 = re.compile(p2)
titles = pattern1.findall(soup.text)
authors = pattern2.findall(soup.text)
# 點(diǎn)贊琉苇,瀏覽量嘲玫,信息很容易添加悦施,但是文章鏈接,發(fā)布時間這兩個比較難搞定去团。
#print(authors)
#titles = re.finditer(r'subject":"(.+)","typeid"', soup.text) #這個寫法始終不成功抡诞,具體原因,我也不清楚土陪!
for title,author in zip(titles, authors):
data={
"文章標(biāo)題": title,
"文章作者": author
}
print(data)
i=1
for single_url in url3:
time.sleep(2)
get_pageinfo(single_url)
print(single_url)
print("第" + str(i) + "頁下載完畢" )
i = i + 1
下面是運(yùn)算結(jié)果:
{'文章標(biāo)題': '——雷軍","message":"性價比不是戰(zhàn)術(shù)昼汗,性價比是一種價值觀,性價比是一種商業(yè)模式鬼雀,性價比是一種核心能力顷窒,背后是對效率的極致追求和死磕自己的決心。', '文章作者': 'DGtle丨尾巴君'}
{'文章標(biāo)題': '童心制物 Makeblock源哩,拓展兒童創(chuàng)造的邊界', '文章作者': '楊益達(dá)'}
{'文章標(biāo)題': '小米最新財報:2018 年總營收 1749 億元鞋吉,增長 52.6%', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '除了 iPad,iMac 也用上了新處理器', '文章作者': '奧大利奧'}
{'文章標(biāo)題': '零界全面屏 + 升降式攝像頭励烦,vivo X27 系列正式登場', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '中國家電第一展谓着,群雄逐鹿大戰(zhàn)場', '文章作者': '小蘭'}
{'文章標(biāo)題': '黑鯊 2 屏幕用的 DC 調(diào)光是怎么一回事?', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '這本專拍塑料袋的攝影集坛掠,一點(diǎn)都不裝', '文章作者': 'TOPYS'}
{'文章標(biāo)題': '小熊電器 AWE 展臺:主打萌系風(fēng)', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '英偉達(dá):部分 GTX 顯卡將支持光線追蹤', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '石頭的新掃地機(jī)器人 T6赊锚,內(nèi)外都有升級', '文章作者': 'baggiohua'}
{'文章標(biāo)題': '小牛電動:2018 年共售出電動車 339585 輛', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '3199 元起,黑鯊游戲手機(jī) 2 正式發(fā)布', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '蘋果官網(wǎng)上新:新一代 iPad mini 和 iPad Air 來了', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': 'CTS 接班人屉栓,凱迪拉克 CT5 正式發(fā)布', '文章作者': '鯨躍汽車'}
{'文章標(biāo)題': '紅米春季新品發(fā)布會:不止有 Redmi Note 7 Pro', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': 'Apple 春季發(fā)布會前瞻:更多蘋果服務(wù)的「開幕戲」', '文章作者': 'nyctimee'}
{'文章標(biāo)題': 'ColorOS 6 的推出舷蒲,可能只是 OPPO 軟件革新的第一步', '文章作者': '小淼-海'}
{'文章標(biāo)題': 'Sensor Tower:《王者榮耀》累計營收已突破 45 億美元', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '飛傲推出七款音頻新品,音樂播放器開始全面屏?xí)r代友多?', '文章作者': '小淼-海'}
{'文章標(biāo)題': 'AWE 2019 九陽展廳:小廚電 get 新技能', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '谷歌:2018 年共刪除 23 億條違規(guī)廣告', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '洗個衣服有什么難的阿纤?博世 X-Spect 不這么想', '文章作者': '楊益達(dá)'}
{'文章標(biāo)題': 'Google Pixel 4 系列長這樣的話,你會買嗎夷陋?', '文章作者': 'nyctimee'}
{'文章標(biāo)題': '容聲牽頭出臺的冰箱養(yǎng)鮮團(tuán)體標(biāo)準(zhǔn)是什么欠拾?', '文章作者': '楊益達(dá)'}
https://api.yii.dgtle.com/v2/news?token=&dateline=1553023911&page=1&perpage=24&typeid=0
第1頁下載完畢
{'文章標(biāo)題': '童心制物 Makeblock,拓展兒童創(chuàng)造的邊界', '文章作者': '楊益達(dá)'}
{'文章標(biāo)題': '小米最新財報:2018 年總營收 1749 億元骗绕,增長 52.6%', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '除了 iPad藐窄,iMac 也用上了新處理器', '文章作者': '奧大利奧'}
{'文章標(biāo)題': '零界全面屏 + 升降式攝像頭,vivo X27 系列正式登場', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '中國家電第一展酬土,群雄逐鹿大戰(zhàn)場', '文章作者': '小蘭'}
{'文章標(biāo)題': '黑鯊 2 屏幕用的 DC 調(diào)光是怎么一回事荆忍?', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '這本專拍塑料袋的攝影集,一點(diǎn)都不裝', '文章作者': 'TOPYS'}
{'文章標(biāo)題': '小熊電器 AWE 展臺:主打萌系風(fēng)', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '英偉達(dá):部分 GTX 顯卡將支持光線追蹤', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '石頭的新掃地機(jī)器人 T6,內(nèi)外都有升級', '文章作者': 'baggiohua'}
{'文章標(biāo)題': '小牛電動:2018 年共售出電動車 339585 輛', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '3199 元起刹枉,黑鯊游戲手機(jī) 2 正式發(fā)布', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '蘋果官網(wǎng)上新:新一代 iPad mini 和 iPad Air 來了', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': 'CTS 接班人叽唱,凱迪拉克 CT5 正式發(fā)布', '文章作者': '鯨躍汽車'}
{'文章標(biāo)題': '紅米春季新品發(fā)布會:不止有 Redmi Note 7 Pro', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': 'Apple 春季發(fā)布會前瞻:更多蘋果服務(wù)的「開幕戲」', '文章作者': 'nyctimee'}
{'文章標(biāo)題': 'ColorOS 6 的推出,可能只是 OPPO 軟件革新的第一步', '文章作者': '小淼-海'}
{'文章標(biāo)題': 'Sensor Tower:《王者榮耀》累計營收已突破 45 億美元', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '飛傲推出七款音頻新品微宝,音樂播放器開始全面屏?xí)r代棺亭?', '文章作者': '小淼-海'}
{'文章標(biāo)題': 'AWE 2019 九陽展廳:小廚電 get 新技能', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '谷歌:2018 年共刪除 23 億條違規(guī)廣告', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '洗個衣服有什么難的?博世 X-Spect 不這么想', '文章作者': '楊益達(dá)'}
{'文章標(biāo)題': 'Google Pixel 4 系列長這樣的話蟋软,你會買嗎镶摘?', '文章作者': 'nyctimee'}
{'文章標(biāo)題': '容聲牽頭出臺的冰箱養(yǎng)鮮團(tuán)體標(biāo)準(zhǔn)是什么?', '文章作者': '楊益達(dá)'}
https://api.yii.dgtle.com/v2/news?token=&dateline=1553023911&page=2&perpage=24&typeid=0
第2頁下載完畢
{'文章標(biāo)題': '童心制物 Makeblock岳守,拓展兒童創(chuàng)造的邊界', '文章作者': '楊益達(dá)'}
{'文章標(biāo)題': '小米最新財報:2018 年總營收 1749 億元凄敢,增長 52.6%', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '除了 iPad,iMac 也用上了新處理器', '文章作者': '奧大利奧'}
{'文章標(biāo)題': '零界全面屏 + 升降式攝像頭涝缝,vivo X27 系列正式登場', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '中國家電第一展,群雄逐鹿大戰(zhàn)場', '文章作者': '小蘭'}
{'文章標(biāo)題': '黑鯊 2 屏幕用的 DC 調(diào)光是怎么一回事害幅?', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '這本專拍塑料袋的攝影集,一點(diǎn)都不裝', '文章作者': 'TOPYS'}
{'文章標(biāo)題': '小熊電器 AWE 展臺:主打萌系風(fēng)', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '英偉達(dá):部分 GTX 顯卡將支持光線追蹤', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '石頭的新掃地機(jī)器人 T6,內(nèi)外都有升級', '文章作者': 'baggiohua'}
{'文章標(biāo)題': '小牛電動:2018 年共售出電動車 339585 輛', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '3199 元起佣赖,黑鯊游戲手機(jī) 2 正式發(fā)布', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '蘋果官網(wǎng)上新:新一代 iPad mini 和 iPad Air 來了', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': 'CTS 接班人,凱迪拉克 CT5 正式發(fā)布', '文章作者': '鯨躍汽車'}
{'文章標(biāo)題': '紅米春季新品發(fā)布會:不止有 Redmi Note 7 Pro', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': 'Apple 春季發(fā)布會前瞻:更多蘋果服務(wù)的「開幕戲」', '文章作者': 'nyctimee'}
{'文章標(biāo)題': 'ColorOS 6 的推出,可能只是 OPPO 軟件革新的第一步', '文章作者': '小淼-海'}
{'文章標(biāo)題': 'Sensor Tower:《王者榮耀》累計營收已突破 45 億美元', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '飛傲推出七款音頻新品,音樂播放器開始全面屏?xí)r代屈藐?', '文章作者': '小淼-海'}
{'文章標(biāo)題': 'AWE 2019 九陽展廳:小廚電 get 新技能', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '谷歌:2018 年共刪除 23 億條違規(guī)廣告', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '洗個衣服有什么難的搓扯?博世 X-Spect 不這么想', '文章作者': '楊益達(dá)'}
{'文章標(biāo)題': 'Google Pixel 4 系列長這樣的話,你會買嗎谭贪?', '文章作者': 'nyctimee'}
{'文章標(biāo)題': '容聲牽頭出臺的冰箱養(yǎng)鮮團(tuán)體標(biāo)準(zhǔn)是什么慨削?', '文章作者': '楊益達(dá)'}
https://api.yii.dgtle.com/v2/news?token=&dateline=1553023911&page=3&perpage=24&typeid=0
第3頁下載完畢
{'文章標(biāo)題': '童心制物 Makeblock,拓展兒童創(chuàng)造的邊界', '文章作者': '楊益達(dá)'}
{'文章標(biāo)題': '小米最新財報:2018 年總營收 1749 億元慎皱,增長 52.6%', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '除了 iPad今膊,iMac 也用上了新處理器', '文章作者': '奧大利奧'}
{'文章標(biāo)題': '零界全面屏 + 升降式攝像頭纸泄,vivo X27 系列正式登場', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '中國家電第一展弓千,群雄逐鹿大戰(zhàn)場', '文章作者': '小蘭'}
{'文章標(biāo)題': '黑鯊 2 屏幕用的 DC 調(diào)光是怎么一回事?', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '這本專拍塑料袋的攝影集,一點(diǎn)都不裝', '文章作者': 'TOPYS'}
{'文章標(biāo)題': '小熊電器 AWE 展臺:主打萌系風(fēng)', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '英偉達(dá):部分 GTX 顯卡將支持光線追蹤', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '石頭的新掃地機(jī)器人 T6,內(nèi)外都有升級', '文章作者': 'baggiohua'}
{'文章標(biāo)題': '小牛電動:2018 年共售出電動車 339585 輛', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '3199 元起,黑鯊游戲手機(jī) 2 正式發(fā)布', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '蘋果官網(wǎng)上新:新一代 iPad mini 和 iPad Air 來了', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': 'CTS 接班人熊尉,凱迪拉克 CT5 正式發(fā)布', '文章作者': '鯨躍汽車'}
{'文章標(biāo)題': '紅米春季新品發(fā)布會:不止有 Redmi Note 7 Pro', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': 'Apple 春季發(fā)布會前瞻:更多蘋果服務(wù)的「開幕戲」', '文章作者': 'nyctimee'}
{'文章標(biāo)題': 'ColorOS 6 的推出,可能只是 OPPO 軟件革新的第一步', '文章作者': '小淼-海'}
{'文章標(biāo)題': 'Sensor Tower:《王者榮耀》累計營收已突破 45 億美元', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '飛傲推出七款音頻新品桥状,音樂播放器開始全面屏?xí)r代辅斟?', '文章作者': '小淼-海'}
{'文章標(biāo)題': 'AWE 2019 九陽展廳:小廚電 get 新技能', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '谷歌:2018 年共刪除 23 億條違規(guī)廣告', '文章作者': '不會飛的喬老爺'}
{'文章標(biāo)題': '洗個衣服有什么難的查邢?博世 X-Spect 不這么想', '文章作者': '楊益達(dá)'}
{'文章標(biāo)題': 'Google Pixel 4 系列長這樣的話未桥,你會買嗎亦镶?', '文章作者': 'nyctimee'}
{'文章標(biāo)題': '容聲牽頭出臺的冰箱養(yǎng)鮮團(tuán)體標(biāo)準(zhǔn)是什么?', '文章作者': '楊益達(dá)'}
https://api.yii.dgtle.com/v2/news?token=&dateline=1553023911&page=4&perpage=24&typeid=0
第4頁下載完畢