前文循头,下載了一個圖片網(wǎng)站,但是素材還是不夠碌上,我希望的是GIF素材蛹尝,所以又找了一個網(wǎng)站务漩。
下載這些圖片的目的轮洋,是在進(jìn)行動圖創(chuàng)作、視頻編輯的時候,感到素材太少嘀略,所以需要爬以下粮宛,獲得一些素材扛伍。
分享之前我還是要推薦下我自己建的Python開發(fā)學(xué)習(xí)群:628979297因俐,群里都是學(xué)Python開發(fā)的,如果你正在學(xué)習(xí)Python 弓柱,小編歡迎你加入,今天分享的這個案例已經(jīng)上傳到群文件禀横,大家都是軟件開發(fā)黨屁药,不定期分享干貨(只有Python軟件開發(fā)相關(guān)的),包括我自己整理的一份2018最新的Python進(jìn)階資料和高級開發(fā)教程柏锄,歡迎進(jìn)階中和進(jìn)想深入Python的小伙伴酿箭。
如果喜歡視頻編輯的話复亏,可以下載我的另一款軟件:任性小視頻
ython學(xué)習(xí) 三 01 再爬一個網(wǎng)站,幾行代碼缭嫡,搞定分類類別
ython學(xué)習(xí) 三 01 再爬一個網(wǎng)站缔御,幾行代碼,搞定分類類別
根據(jù)主類別妇蛀,創(chuàng)建本地目錄耕突,
將主類別對應(yīng)的網(wǎng)址,下載下來
看網(wǎng)頁源碼
ython學(xué)習(xí) 三 01 再爬一個網(wǎng)站评架,幾行代碼眷茁,搞定分類類別
創(chuàng)建好的主類別如下
ython學(xué)習(xí) 三 01 再爬一個網(wǎng)站,幾行代碼古程,搞定分類類別
代碼如下:
ython學(xué)習(xí) 三 01 再爬一個網(wǎng)站蔼卡,幾行代碼,搞定分類類別
目前挣磨,我們將主類別創(chuàng)建成功了雇逞,而且主類別目錄下,是其對應(yīng)的網(wǎng)頁
ython學(xué)習(xí) 三 01 再爬一個網(wǎng)站茁裙,幾行代碼塘砸,搞定分類類別
下圖為主類別網(wǎng)頁
ython學(xué)習(xí) 三 01 再爬一個網(wǎng)站,幾行代碼晤锥,搞定分類類別
網(wǎng)頁源碼如下:
ython學(xué)習(xí) 三 01 再爬一個網(wǎng)站掉蔬,幾行代碼,搞定分類類別
子類別位于class=cat的DIV下
標(biāo)簽的對應(yīng)的類 class="sidebar-letter"
下面矾瘾,我們加載這個主類別網(wǎng)頁女轿,然后,在這個網(wǎng)頁中搜尋子類別信息
首先獲得gif目錄下的所有子文件夾
ython學(xué)習(xí) 三 01 再爬一個網(wǎng)站壕翩,幾行代碼蛉迹,搞定分類類別
ython學(xué)習(xí) 三 01 再爬一個網(wǎng)站,幾行代碼放妈,搞定分類類別
然后獲得子目錄下存放的TXT網(wǎng)頁北救,對此網(wǎng)頁進(jìn)行解析,獲得所需的子類別信息芜抒,
ython學(xué)習(xí) 三 01 再爬一個網(wǎng)站珍策,幾行代碼,搞定分類類別
代碼:
ython學(xué)習(xí) 三 01 再爬一個網(wǎng)站宅倒,幾行代碼攘宙,搞定分類類別
最后,根據(jù)子類別信息,創(chuàng)建子類別目錄模聋,及子類別對應(yīng)的網(wǎng)頁
ython學(xué)習(xí) 三 01 再爬一個網(wǎng)站肩民,幾行代碼,搞定分類類別
至此链方,我們將原網(wǎng)站中對應(yīng)的類別信息持痰,已經(jīng)下載下了。
ython學(xué)習(xí) 三 01 再爬一個網(wǎng)站祟蚀,幾行代碼工窍,搞定分類類別
代碼:
ython學(xué)習(xí) 三 01 再爬一個網(wǎng)站,幾行代碼前酿,搞定分類類別
注意了患雏,前面寫的那么多,要廢除了罢维,但是前面也并不是一點(diǎn)作用也沒有淹仑,而是為了更好的分析
很多時候就這樣,并不能一下子就找到正確的方法肺孵,就是要在不斷的調(diào)試匀借,不斷的分析后,才能找到更好的策略
我發(fā)現(xiàn)平窘,這個網(wǎng)站吓肋,并不是嚴(yán)格的幾層分類,分類層數(shù)不一定瑰艘,又仔細(xì)看了下源碼是鬼,不管是主分類網(wǎng)頁,還是次分類網(wǎng)頁紫新,他們的div的類別都是相同的均蜜。
ython學(xué)習(xí) 三 01 再爬一個網(wǎng)站,幾行代碼芒率,搞定分類類別
而A分類下的子類別accordions下兆龙,可能還有子分類,也可能沒有子分類敲董。
判斷accordions下還沒有子分類的方式:
下載網(wǎng)頁
ython學(xué)習(xí) 三 01 再爬一個網(wǎng)站,幾行代碼慰安,搞定分類類別
看看此網(wǎng)頁中是否還有
ython學(xué)習(xí) 三 01 再爬一個網(wǎng)站腋寨,幾行代碼,搞定分類類別
如果還有化焕,則繼續(xù)創(chuàng)建類別
這是一個遞歸創(chuàng)建的過程萄窜,所以我將上面的程序重新推到,重新寫了個遞歸算法。
用這幾句代碼查刻,就可以正確的創(chuàng)建網(wǎng)站類別了键兜。
ython學(xué)習(xí) 三 01 再爬一個網(wǎng)站,幾行代碼穗泵,搞定分類類別