在爬蟲爬取網(wǎng)站的過程中,難免遇到網(wǎng)站通過useragent驗證是否為正常用戶搜囱∨葑欤可以自己維護一個ua列表甫恩,但是為了方便,我們可以使用一個python三方庫fake_useragent
來隨機生成ua,具體步驟如下:
- 安裝fake_useragent
pip install fake_useragent
- 使用
from fake_useragent import UserAgent
ua = UserAgent()
random_ua = ua.random
print random