昨天才開始正經(jīng)地接觸Python蚜点，以前都是白嫖別人寫好的程序轧房。
好吧，其實(shí)現(xiàn)在也依然沒有正經(jīng)地系統(tǒng)性學(xué)習(xí)绍绘，學(xué)會(huì)什么算什么吧奶镶。
關(guān)于這個(gè)像我一樣毫無意義的小爬蟲：
爬取BiliBili首頁的標(biāo)題和描述，保存.txt文檔到本地
爬取img標(biāo)簽里的圖片url保存到本地陪拘，下載url對應(yīng)的圖片到本地
（要寫爬蟲就要分析網(wǎng)頁的源代碼嘛厂镇，結(jié)果分析著分析著，我點(diǎn)進(jìn)了首頁推薦的沙雕視頻左刽，然后沉溺進(jìn)了更多的沙雕視頻捺信，人都笑沒了......所以一定要學(xué)會(huì)拒絕誘惑hhhhhh）
知識(shí)點(diǎn)
1.獲取網(wǎng)頁源代碼
2.文件的讀寫
3.字符串的增刪改查
4.通過正則表達(dá)式從源代碼里過濾數(shù)據(jù)
源代碼
透著濃濃智障氣息的原始版本：
import re
import requests
# 通過url獲取到網(wǎng)頁源代碼
url = "https://www.bilibili.com/"
response = requests.get(url)
# 指定編碼方式
response.encoding = "utf-8"
# 保存為text
btext = response.text
# "title":"【花唄、借唄欠痴，你不知道的】全網(wǎng)瘋轉(zhuǎn)的視頻迄靠，首發(fā)在此"
# "desc":"這個(gè)10月30號的視頻，…”"
# 寫正則表達(dá)式
title = re.compile(r'"title":"(.*?)"')
desc = re.compile(r'"desc":"(.*?)"')
# 創(chuàng)建列表喇辽，將獲取到的數(shù)據(jù)存放進(jìn)列表
blist = []
for j in desc.findall(btext):
# 先存放title掌挚，再存放desc
for i in title.findall(btext):
blist.append("標(biāo)題："+i)
blist.append("簡介："+j)
# 創(chuàng)建文檔并將blist里的數(shù)據(jù)寫入其中
# 忽略錯(cuò)誤
with open("../Python學(xué)習(xí)/title&desc.txt", "w+", errors='ignore') as f:
f.write("\n".join(blist))
f.close()
# <img src="https://..."
# 寫獲取圖片的正則表達(dá)式
img = re.compile(r'<img src="(.*?)"')
# findall返回的數(shù)據(jù)類型是一個(gè)列表
# 獲取所有的圖片url
imgurl = img.findall(btext)
# 創(chuàng)建文檔并將圖片的url寫入文檔
with open("../Python學(xué)習(xí)/imgurl.txt", "w+") as f:
f.write("\n".join(imgurl))
f.close()
# 由于獲取到的圖片，有的以https://開頭菩咨，有的沒有
# 所以處理一下這個(gè)問題
urldata = ""
# a+：追加讀寫吠式、不覆寫
with open("../Python學(xué)習(xí)/imgurl.txt", "a+") as f:
# 每次打開的時(shí)候?qū)⒅羔樑驳匠跏? f.seek(0)
# 按行讀取文原文檔內(nèi)容
linelist = f.readlines()
# 先將文檔清空舅世，方便后面寫入
f.truncate()
# 做一個(gè)判定：
# 如果原來的url自帶https://，略過此行
# 如果沒有奇徒，就在行前追加https://
for line in linelist:
regex = re.compile(r'https://')
# match()只匹配一次且僅僅匹配開頭
# 就是123與12345能匹配成功
if regex.match(line):
newline = line
else:
newline = "https:"+line
urldata += newline
f.close()
# 將整理好的urldata寫入文檔
with open("../Python學(xué)習(xí)/imgurl.txt", "w+") as f:
f.write(urldata)
f.close()
# 最后下載圖片
# 以列表的形式打開修改過后的文檔
# 先聲明一個(gè)列表
urllist = []
# 打開文件
with open("../Python學(xué)習(xí)/imgurl.txt", "r") as f:
# 搞掉換行符\n
for line in f.readlines():
line = line.replace("\n","")
urllist.append(line)
f.close()
# 再整個(gè)參數(shù)
i = 0
for iurl in urllist:
# 用二進(jìn)制解析圖片
# 超過五秒雏亚，失去耐心
img = requests.get(iurl,timeout = 5).content
if img:
with open(str(i)+".jpg","wb") as f:
print("第"+str(i+1)+"張圖片下載ing..." )
f.write(img)
i +=1
else:
print("下載失敗，略~~~")
終于終于終于把這個(gè)毫無意義的東西成功寫出來運(yùn)行了ＤΩ啤０盏汀！
但是胖笛，我為什么要把圖片的url存放進(jìn)列表里网持，
再創(chuàng)建txt文檔，
再把文檔里的圖片url拿出來重新放進(jìn)列表拿出來用长踊。
我這不就是有毛病么......為什么不直接在存進(jìn)第一個(gè)列表以前功舀，做出判定，然后美滋滋地用現(xiàn)成的列表呢身弊？
改造升級了一下辟汰，于是有了現(xiàn)在這個(gè)——
還是看起來不太聰明的升級版本：
import re
import requests
# 通過url獲取到網(wǎng)頁源代碼
url = "https://www.bilibili.com/"
response = requests.get(url)
# 指定編碼方式
response.encoding = "utf-8"
# 保存為text
btext = response.text
# "title":"【花唄、借唄阱佛，你不知道的】全網(wǎng)瘋轉(zhuǎn)的視頻帖汞，首發(fā)在此"
# "desc":"這個(gè)10月30號的視頻，…”"
# 寫正則表達(dá)式
title = re.compile(r'"title":"(.*?)"')
desc = re.compile(r'"desc":"(.*?)"')
# 創(chuàng)建列表凑术，將獲取到的數(shù)據(jù)存放進(jìn)列表
blist = []
for j in desc.findall(btext):
# 先存放title翩蘸，再存放desc
for i in title.findall(btext):
blist.append("標(biāo)題："+i)
blist.append("簡介："+j)
# 創(chuàng)建文檔并將blist里的數(shù)據(jù)寫入其中
# 忽略錯(cuò)誤
with open("title&desc.txt", "w+", errors='ignore') as f:
f.write("\n".join(blist))
f.close()
# <img src="https://..."
# 寫獲取圖片的正則表達(dá)式
img = re.compile(r'<img src="(.*?)"')
# findall返回的數(shù)據(jù)類型是一個(gè)列表
# 那就先整個(gè)列表
urllist = []
# 往里面塞數(shù)據(jù)
for i in img.findall(btext):
regex = re.compile(r'https://')
if regex.match(i):
continue
else:
i = "https://"+i
i.replace("\n","")
urllist.append(i)
# 創(chuàng)建文檔并將圖片的url寫入文檔
with open("imgurl.txt", "w+") as f:
f.write("\n".join(urllist))
f.close()
#這不就完事了么，我剛剛宛如一個(gè)智障
# 以列表的形式打開文檔
# 先聲明一個(gè)列表
urllist = []
# 打開文件
with open("../Python學(xué)習(xí)/imgurl.txt", "r") as f:
# 搞掉換行符\n
for line in f.readlines():
line = line.replace("\n","")
urllist.append(line)
f.close()
# 再整個(gè)參數(shù)
i = 0
for iurl in urllist:
# 用二進(jìn)制解析圖片
# 超過五秒淮逊，失去耐心
img = requests.get(iurl,timeout = 5).content
if img:
with open(str(i)+".jpg","wb") as f:
print("第"+str(i+1)+"張圖片下載ing..." )
f.write(img)
i +=1
else:
print("下載失敗催首，略~~~")
欣慰，終于有點(diǎn)進(jìn)步了泄鹏。
但是我還有一個(gè)很苦惱的問題：
上面的代碼是將url存進(jìn)列表里→寫入文檔→從文檔中讀取內(nèi)容裝進(jìn)列表→從列表里拿url發(fā)送請求對吧郎任。
就很.....像一個(gè)沒用的圈圈
為什么還要構(gòu)造一個(gè)列表來發(fā)送請求呢，第一步不是已經(jīng)有列表了嘛命满。
但是如果直接使用第一步的列表涝滴，就會(huì)一直報(bào)這個(gè)異常：Requests.exceptions.InvalidURL
我再琢磨琢磨。
另外胶台，待會(huì)兒解決一下開了fiddler會(huì)報(bào)一個(gè)requests.exceptions.SSLError的問題。
