大家好妖啥，我是Zoe陨晶，簡稱Rust Rabbit，這是爬蟲實戰(zhàn)技巧系列蚜点。
我會定期在這個系列中分享自己在平時爬蟲相關(guān)工作中的一些小的技巧和處理問題的方法。
這一期是這個系列的大綱拌阴，羅列下后面的分享可能會涉及的內(nèi)容绍绘，分享的實際內(nèi)容以具體文章為準(zhǔn)，這里僅作大綱羅列所用迟赃。
如果大家對這方面的內(nèi)容感興趣陪拘，請讓我知道，你們的熱情是我分享的動力纤壁。
背景
我有位同事曾多次這么跟我：“最佩服的不是你的寫代碼能力左刽，而是獲取數(shù)據(jù)來源的能力，什么找接口酌媒、逆向欠痴、漏洞等等∶胱桑”（這是在嫌疑我的代碼么喇辽？）
沒錯，爬蟲系統(tǒng)框架發(fā)展到今天雨席，已經(jīng)走向配置化菩咨，自動化，還需要人肉寫代碼的情況已經(jīng)不多了陡厘。性能在數(shù)據(jù)抓取上已經(jīng)不是問題抽米，數(shù)據(jù)抓取的難點可能更多的是在數(shù)據(jù)源的尋找，抓取途徑的選擇上糙置，以及如何應(yīng)付對方的反爬機(jī)制云茸。
從某種意義上來說，數(shù)據(jù)抓取可能不單純的屬于開發(fā)類谤饭，同時會涉及安全方向的很多內(nèi)容查辩。更多的是偷別人的數(shù)據(jù)，而不是搶网持。你看宜岛，如今社會，一片祥和功舀，強(qiáng)盜不多萍倡，但小偷仍是層出不窮。對爬蟲工程師來說辟汰，想對數(shù)據(jù)抓取得心應(yīng)手列敲，修煉一手爐火純青的偷竊技術(shù)是必不可少的阱佛。那么，這個系列我會分享一些自己在這方面的經(jīng)驗戴而。
注意
- 數(shù)據(jù)抓取一定要溫和凑术，不要沒有操守地一次性講對方拖跨
- 只能獲取公開數(shù)據(jù)，堅決不要使用利用XSS等攻擊方式獲取敏感信息
- 發(fā)現(xiàn)對方有漏洞可以利用后所意，最好先上報給廠商
- 再說一邊淮逊，慢慢抓，不要猛搞扶踊，影響對方正常瀏覽
以上只是個人觀點泄鹏，若有不妥，歡迎指出秧耗。同時备籽，我分享的內(nèi)容里面，肯定不是100%正確分井，如果有描述得不恰當(dāng)或錯誤的地方车猬，歡迎大家提出指正。
涉及內(nèi)容
這里我先羅列一些之后會分享到的內(nèi)容尺锚，每一點都能算得上是一個小的技巧诈唬，我所分享的這些，可能各位對其都熟悉并在工作中有所應(yīng)用缩麸，但是對于一些新人來說铸磅，仍不乏會有一醍醐灌頂，茅塞頓開的效果杭朱。
1. 抓取源的選擇
這應(yīng)該算的上是最初級的技巧了阅仔，基本只要從事過一段時間數(shù)據(jù)抓取工作的人都知道。但據(jù)我所見弧械，仍有不少人八酒，也不乏有一段時間的爬蟲工作經(jīng)驗的人，他們對數(shù)據(jù)來源的認(rèn)識只是停留在桌面瀏覽器的web界面中刃唐，他們始終認(rèn)為所見即所得羞迷。
我們經(jīng)常會遇到一些不能夠直接在桌面瀏覽器中被看到，或者說這一類的數(shù)據(jù)更利于我們來抓取画饥。選擇一個合適的數(shù)據(jù)抓取來源衔瓮，會發(fā)現(xiàn)后續(xù)的抽取工作會大大降低，抓取的效率也有很大的提升抖甘。
2. 數(shù)據(jù)抓包的方式
抓包的目的热鞍，無非我們是想看下是發(fā)出什么樣子的請求猜能拿到我們想要的數(shù)據(jù)。大多情況下，我們所說的抓包指的是狹義上特指HTTP協(xié)議的數(shù)據(jù)包薇宠，但特殊情況下也會涉及TCP的數(shù)據(jù)偷办，但這時我們一般不是從中獲取數(shù)據(jù)，更多的是在通過重放等方式來確定對方的漏洞澄港。
當(dāng)然也會有用來做協(xié)議分析的時候椒涯，但對于爬蟲來說，我們要盡量避免取分析協(xié)議回梧，我們不一定能夠承擔(dān)得起做協(xié)議分析的時間本废岂，需要采取一些特殊的方法來獲取數(shù)據(jù)，在具體文章中我會用微信抓取來舉例說明漂辐。
3. 巧用搜索引擎
搜索引擎是很好工具，除了檢索資料棕硫，社工等這些常規(guī)用途髓涯，對爬蟲來說，通過搜索引擎來找一些突破點也是常有的事哈扮。
通過抓包的方式纬纪，我們可能只能找到一部分的數(shù)據(jù)接口，或者說這些接口的校驗策略比較繁瑣滑肉，不利于快速的進(jìn)行數(shù)據(jù)的抓取包各。
那我們不妨利用搜索引擎來尋找一些特殊的頁面，多數(shù)情況下靶庙，我們會有很多意外的收獲问畅。
4. 猜測后臺實現(xiàn)，尋找漏洞
這里可能更多偏向于安全的范疇六荒，但是我們爬蟲工程師不妨利用這里面的一些方式來抓取我們想要的數(shù)據(jù)护姆。當(dāng)然從某種角度來說，這個做法并不可取掏击，當(dāng)發(fā)現(xiàn)廠家有漏洞時卵皂，理應(yīng)及時向其報告，幫助其完善后臺系統(tǒng)砚亭，避免造成更大損失灯变。我這里只是提供這個思路，具體問題的取舍捅膘，這個各位自行把握添祸。
5. 要會JS哇
不會JS的爬蟲工程師，怎么能抓得好數(shù)據(jù)呢寻仗？很多情況下膝捞，我們要去分析其JS代碼，來達(dá)到我們數(shù)據(jù)抓取的目的。一般是兩種情況：1. 分析數(shù)據(jù)流和處理邏輯蔬咬，比如實現(xiàn)Web微信鲤遥；2. 反爬策略的分析，當(dāng)你直接在瀏覽器訪問數(shù)據(jù)接口時林艘，發(fā)現(xiàn)取不到數(shù)據(jù)盖奈，這時候可能對方在JS里面有認(rèn)證策略。
6. 客戶端抓取怎么辦
抓取時狐援，當(dāng)Web端久攻不下钢坦，或者處理異常復(fù)雜時，我們應(yīng)該要換一個方向啥酱，從APP端入手爹凹。APP端抓取的幾個有點：1. 數(shù)據(jù)規(guī)范，大部分情況下回事JSON或XML镶殷；2. APP后臺反爬策略相對寬松禾酱。那么，當(dāng)確定要走APP抓取時绘趋，我們第一步應(yīng)該怎么處理颤陶，中間會遇到哪些問題呢？
7. 突破反爬策略
爬蟲與反爬是相通的陷遮，所謂知己知彼滓走，百戰(zhàn)不殆。反爬系統(tǒng)必然是知道爬蟲會使用怎樣的方式來盜取數(shù)據(jù)帽馋，而爬蟲工程師也理應(yīng)要知道反爬系統(tǒng)是怎么執(zhí)行他的反爬策略搅方。一般的情況，中了反爬可能只是沒有數(shù)據(jù)绽族，但是有一些公司會直接將爬蟲引入蜜罐腰懂，返回偽造的假數(shù)據(jù)，我們的爬蟲并不能區(qū)分這些假數(shù)據(jù)项秉，直接增加了爬蟲的成本绣溜。那么，在對抗對方反爬策略時娄蔼，我們應(yīng)該要有怎樣的一個思路呢怖喻。
后面的話
寫分享還是挺耗時間的，特別是對于我這種岁诉，表述能力欠缺的人來說锚沸，更是一個需要花時間的事情。
平時上班時間都挺久的涕癣，只能抽周日（沒打錯哗蜈，就是周日；解決溫飽而已）的時間來做這件事情。
如果大家喜歡距潘，覺得對自己有幫助炼列，我會堅持下去，每月更新一篇音比。
