使用requests庫(kù)獲取網(wǎng)頁源碼，再用lxml進(jìn)行解析显晶。時(shí)間匆忙，連滾帶爬查文檔，本來想一次性都遍歷下來喷兼，結(jié)果中間字符轉(zhuǎn)字符串過程出了一點(diǎn)小問題馏予，遂卒复斥，等會(huì)兒出去跑個(gè)步清醒下回來再搞霉旗，畢竟任務(wù)是每天一篇區(qū)塊鏈輸出。
look南缓！這是專題的頁面胸遇，今天先獲取第一篇文章的名字和網(wǎng)址。
本來是用Chrome的Xpath插件比較好用汉形，只是近期我的”科學(xué)上網(wǎng)“工具全部掛掉狐榔，有一個(gè)工具我充了兩年期會(huì)員，心塞获雕。
先用Firefox的插件對(duì)付用著，我們看到下方的箭頭收捣，指向我們標(biāo)的信息的位置届案。
顯然，ul[1]代表第一篇文章罢艾，那么一共35篇文章楣颠，數(shù)據(jù)就是ul[i]，1 <= i <= 35咐蚯。一看這情況童漩，總覺著for循環(huán)直接解決，奈何出現(xiàn)一點(diǎn)問題春锋，先解決第一篇文章的名稱和鏈接矫膨。
# -*- coding: utf-8 -*-
# @Time : 2019/10/2 12:32
# @Author : 幣行者
# @Email : xypip@qq.com
# @File : test1.py
import requests
from lxml import etree
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
response = requests.get("http://www.reibang.com/u/4d19f75c94c3", headers=headers)
text = response.content.decode()
# print(response.request.headers)
#
# print(response.content.decode())
html = etree.HTML(text)
# # 按字符串序列化HTML文檔
# result = etree.tostring(html).decode()
#
# print(result)
result = etree.tostring(html)
article_name = html.xpath("http://ul[@class='note-list']/li[1]/div/a/text()")
print("article_name = ", article_name)
article_url = html.xpath("http://ul[@class='note-list']/li[1]/div/a/@href")
article_url[0] = "http://www.reibang.com" + article_url[0]
print("article_url = ", article_url)
運(yùn)行結(jié)果：
article_name = ['央行數(shù)字貨幣，意在輔人民幣出海']
article_url = ['http://www.reibang.com/p/ac1c68afb873']
