最近貌似爬蟲需求越來越大锯岖，可能是大數(shù)據(jù)帶動的。今天給大家分享爬蟲應(yīng)該怎么寫甫何？用什么框架出吹？怎么自動登錄？怎么繞過反爬蟲技術(shù)辙喂？
爬蟲就是從別人家的網(wǎng)站或者平臺上獲取數(shù)據(jù)捶牢，我們今天就拿提供企業(yè)信息的某某網(wǎng)站為案例。
第一步選擇一個爬蟲框架巍耗，我第一個會想到的是scrapy一個用python語言開發(fā)的最強(qiáng)最流行的爬蟲框架秋麸，短短十幾行代碼就能實現(xiàn)簡單的爬蟲任務(wù)。我之前沒有python語言的基礎(chǔ)炬太，也沒有用過scrapy灸蟆，所以我從scrapy的官網(wǎng)上學(xué)習(xí)了幾個小時。然后就開始寫了幾十行能運(yùn)行亲族。但是某某網(wǎng)站的反爬蟲技術(shù)強(qiáng)炒考，需要更改agent，需要加入cookie解決滑動驗證碼霎迫、還有頁面必須渲染執(zhí)行js才能獲取到真正想得到的數(shù)據(jù)等等很多問題斋枢，對于初學(xué)這個框架的我難度太大了，然后我就放棄該選擇了知给。
我想到了自動測試工具selenium瓤帚。該工具能調(diào)用瀏覽器，并且等待瀏覽器渲染完頁面執(zhí)行完js后可以讀取瀏覽器展示的數(shù)據(jù)炼鞠。selenium也有Java的接口缘滥，還需要WebDriver火狐瀏覽器版。
第二步就是寫代碼實現(xiàn)功能了谒主，新建一個FirefoxDriver(如果是Chrome的話ChromeDriver)對象朝扼，它有一個get方法能在瀏覽器里打開你要的頁面了，它還有一個gatPageSource方法霎肯，該方法就是獲取頁面上的數(shù)據(jù)了擎颖。
好了就這么簡單一個爬蟲出來了榛斯，能繞過反爬蟲技術(shù)超強(qiáng)的某某.com設(shè)置的障礙，唯一的缺點就是滑動驗證碼還是得人去驗證搂捧，程序遇到滑動驗證碼后會等待驮俗。
歡迎各位感興趣的朋友交流技術(shù)、經(jīng)驗允跑。
