先從一個最簡單的頁面開始爬起
現(xiàn)在我要做的時把它從網(wǎng)頁是爬下來宴凉，貼出代碼
運(yùn)行
值得注意的是對文件操作是盡量使用with open 方法這樣就避免了直接使用open方法需要使用 ? ? ?.close()方法關(guān)閉文件的繁瑣
然后就可以看到本地文件夾下多出來了一張圖片
到這里一張圖片的爬取就完成了捞蚂，是不是覺得很簡單呢诲侮，接下來就是對宅男們比較感興趣的爬一堆美女圖片
直接貼上裸奔版的代碼
關(guān)于下載圖片，也可以使用urllib.request.urlretrieve(img,'%s.jpg'%num)方法
運(yùn)行
然后回到文件夾下就會發(fā)現(xiàn)一堆美女圖片已經(jīng)躺在那了
妹子的話就轉(zhuǎn)變一下去爬一些帥哥型男的圖片咯
但是往往裸奔版對一些網(wǎng)站是爬不了的盲憎，這時就需要對爬蟲進(jìn)行一些偽裝了兔乞。偽裝瀏覽器或者加入延時艾杏。
偽裝的話直接把request請求改成
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) '
'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'}
request = urllib.request.Request(url,headers=headers)
這樣就成功完成偽裝了
