學(xué)習(xí)爬蟲是入門python最好的方式。一個爬蟲程序的思維模式基本都是固定的着降，編程模式相對其它而言也是最簡單的差油，只要多去實踐，慢慢積累后一般都可以學(xué)的還不錯任洞。
此篇文章講得就是對一個網(wǎng)頁以BeautifulSoup和lxml為根本蓄喇，進行多種抓取信息方法實戰(zhàn)。
一般爬蟲的固定模式
即無需處理像異步加載交掏、代理妆偏、驗證碼等高級爬蟲技術(shù)的方法。一般情況下的爬蟲兩大請求庫 urllib 和requests中 requests大家都非常喜歡用盅弛，urllib功能也是非常齊全钱骂。
兩大常用的解析庫BeautifulSoup由它強大的HTML文檔解析功能而被大家廣泛使用，另一個lxml解析庫與xpath表達式搭配效率也是顯著提高挪鹏。
各有特色见秽，完全是看個人喜好去使用。我比較熱衷于
四種實現(xiàn)爬蟲的方法
例舉一個網(wǎng)頁首頁如下：在這里還是要推薦下我自己建的Python開發(fā)學(xué)習(xí)群:304+050+799讨盒，群里都是學(xué)Python開發(fā)的解取，如果你正在學(xué)習(xí)Python ，小編歡迎你加入返顺，大家都是軟件開發(fā)黨禀苦，不定期分享干貨（只有Python軟件開發(fā)相關(guān)的），包括我自己整理的一份2018最新的Python進階資料和高級開發(fā)教程遂鹊，歡迎進階中和進想深入Python的小伙伴
爬蟲效果如下：
一樣是BeautifulSoup與requests的爬蟲組合振乏，然而再信息提取上采用了find_all的方法，效果：
和第三種方法相似稿辙，不過是在解析上使用了lxml庫下的 html.fromstring模塊昆码，效果如下：
還有些人認為爬蟲很難學(xué)會，感覺知識點很多邻储，比如熟練前端、python旧噪、數(shù)據(jù)庫吨娜、正則表達式、XPath表達式這些淘钟。然而爬蟲需要嗎宦赠？是的需要。但是你完全可以繞過這些直接學(xué)爬蟲，到了不懂的地方再去翻資料學(xué)就是了勾扭。爬取網(wǎng)站時盡量多使用不同的方法毡琉，加深對Python爬蟲的應(yīng)用。
