在做網絡爬蟲時尺棋,防止爬蟲被ban的一個方式就是在爬取時修改請求的UserAgent翁垂,然而想要獲取眾多的UserAgent的時候,就只能在各個網站中去搜索別人的帖子磕瓷,效率很低盒齿。
今天在網上瀏覽的時候發(fā)現了一個很不錯的網站念逞,里面有全球各個版本瀏覽器的UserAgent,拿來給大家一起分享下边翁。
http://www.useragentstring.com/pages/useragentstring.php?name=All
希望對各個爬行者能有幫助
在做網絡爬蟲時尺棋,防止爬蟲被ban的一個方式就是在爬取時修改請求的UserAgent翁垂,然而想要獲取眾多的UserAgent的時候,就只能在各個網站中去搜索別人的帖子磕瓷,效率很低盒齿。
今天在網上瀏覽的時候發(fā)現了一個很不錯的網站念逞,里面有全球各個版本瀏覽器的UserAgent,拿來給大家一起分享下边翁。
http://www.useragentstring.com/pages/useragentstring.php?name=All
希望對各個爬行者能有幫助