requests爬蟲(chóng)的四個(gè)步驟：1.指定url? ? 2.發(fā)起請(qǐng)求? ?3.獲取響應(yīng)數(shù)據(jù)? ?4.持久化存儲(chǔ)
import requests
from fake_useragentimport UserAgent
#def key_word():
if __name__ =='__main__':
url ="https://www.sogou.com/web"
? ? # url = "https://www.baidu.com/"
? ? headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36"
? ? }
kw =input("請(qǐng)輸入關(guān)鍵字：")
param = {
"query": kw
}
response = requests.get(url=url,params=param,headers=headers)
# 打印輸出代碼
? ? print(response.text)
# 保存文件
? ? filename = kw+".html"
? ? with open(filename,'w',encoding='utf-8')as f:
f.write(response.text)
print(filename +"打印成功")
在 本次的小練習(xí)中碰到一個(gè)坑：就是param中的字典的鍵和值對(duì)應(yīng)不上楣颠。以后再自己寫的時(shí)候當(dāng)中叶圃，特別需要注明url當(dāng)中的字典文件
params參數(shù)是requests當(dāng)中的參數(shù)船响，表示的是可以的加入一些參數(shù)字典掘托，還有其他的參數(shù)
