這個問題是因為服務(wù)器在收到這個請求的時候并不知道發(fā)送請求的瀏覽器和系統(tǒng)的硬件信息。
主要是由于該網(wǎng)站禁止爬蟲導(dǎo)致的胳徽,可以在請求加上頭信息,偽裝成瀏覽器訪問User-Agent。
url ="https://weibo.com/?category=1760"
to
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36'}
req = urllib.request.Request(url, headers=headers)