（此文來(lái)自樂(lè)字節(jié)）

自我介紹

大家好倡蝙，我是一名程序員。專做爬蟲的程序員宛乃，現(xiàn)就職于樂(lè)字節(jié)公司悠咱；2015年畢業(yè)于某大專院校。爬過(guò)淘寶征炼、搞過(guò)京東析既、干過(guò)微信，總之你們平時(shí)所用的幾乎每個(gè)平臺(tái)都被我的爬蟲光顧過(guò)谆奥。

2016年我從某大廠離職跟著當(dāng)時(shí)這個(gè)大廠的副總裁去創(chuàng)業(yè)眼坏。本計(jì)劃5年內(nèi)坐擁千萬(wàn)身價(jià)，不料創(chuàng)業(yè)失敗于2019年低離開(kāi)了呆了3年零6個(gè)月的公司酸些，重新開(kāi)始了求職打工生涯宰译。

2019年互聯(lián)網(wǎng)裁員風(fēng)波，大家混的都不好魄懂。我肯定是一樣的沿侈，我找了將近一個(gè)月的工作才找到合適的，我記得剛畢業(yè)時(shí)找工作也才花了2周市栗。

不過(guò)皇天不負(fù)有心人缀拭，我于2019年12月2日我入職某小公司（100人左右），不是我鄙視這小公司填帽。實(shí)在后面他做的事情太絕了蛛淋，我沒(méi)曝光他就是給他面子。

我的title是高級(jí)golang工程師篡腌，負(fù)責(zé)公司某事業(yè)部的推薦系統(tǒng)研發(fā)工作褐荷。經(jīng)過(guò)3個(gè)月的努力我把推薦系統(tǒng)從0到1干出來(lái)。

項(xiàng)目1.0版本一收尾嘹悼，2月25號(hào)事業(yè)部leader突然把我叫到辦公室叛甫，說(shuō)公司近期有人員調(diào)整讓我離職。我簽的6個(gè)月試用期的合同杨伙，才做了3個(gè)月合溺。

我對(duì)leader說(shuō)我會(huì)盡快交接完成，爭(zhēng)取兩周內(nèi)交接完缀台。他說(shuō)：‘就這就兩天吧…… MD棠赛，當(dāng)時(shí)那個(gè)人事拿著離職申請(qǐng)放在我面前，催著我簽膛腐，我就不簽……我說(shuō)還沒(méi)交接完睛约，我能拖一天是一天。跟我交接的兄弟很配合我說(shuō)太難了哲身，還要兩天辩涝。

hr說(shuō)：“你先離職，等后面出了問(wèn)題再微信問(wèn)你勘天，你應(yīng)該也不會(huì)不幫忙對(duì)吧”怔揩。

我內(nèi)心：“xxx(敏感詞)捉邢，你們這樣趕人走你還想我?guī)湍愫罄m(xù)解決問(wèn)題！”商膊。硬是又拖了一天伏伐，我才簽了離職申請(qǐng)。

后來(lái)我才知道試用期被辭退可以拿半個(gè)月的補(bǔ)償晕拆。當(dāng)時(shí)就不應(yīng)該簽人事給的那個(gè)自愿離職申請(qǐng)表藐翎，我以為試用期被辭退沒(méi)有補(bǔ)償是正常的。也怪我之前沒(méi)好好普法实幕，所以希望各位記得提防小公司卸磨殺驢的操作吝镣，試用期被辭一定至少要半個(gè)月補(bǔ)償不然就上仲裁，小公司一般吃軟怕硬昆庇，只要你開(kāi)口他就會(huì)給末贾。

在這里我要感謝跟我交接的兄弟。是他硬生生幫我把交接流程拖延了近一周整吆，為我找下個(gè)工作帶來(lái)緩沖的時(shí)間未舟。不過(guò)他在我離職后一天就向領(lǐng)導(dǎo)提了離職，因?yàn)樗膊幌朐谶@傻 X 公司干了哈哈…… 不過(guò)他現(xiàn)在因?yàn)椴∏榈辔呀?jīng)半年沒(méi)有上班裕膀，只能在家靜養(yǎng)。好人怎么沒(méi)有好報(bào)勇哗？

經(jīng)過(guò)疫情許多公司這一輪裁員昼扛，我發(fā)現(xiàn)我并不適合搞純后臺(tái)開(kāi)發(fā)。因?yàn)槲夜ぷ饕呀?jīng)5年了欲诺，所接觸的知識(shí)全部是圍繞爬蟲抄谐、逆向方面的技術(shù)棧。

爬蟲是一直對(duì)抗型的工作，反爬的技術(shù)不斷升級(jí)，爬蟲也要升級(jí)颜启。人家搞加密，你就得搞解密浦箱，人家搞加殼，你就要脫殼祠锣。爬蟲很輕易轉(zhuǎn)到后端去碼磚酷窥。后端卻不能輕易轉(zhuǎn)到爬蟲來(lái)。

總之伴网，一個(gè)頂級(jí)的爬蟲工程師公司被裁的概率很小蓬推。我想好了，我還是繼續(xù)干爬蟲澡腾，畢竟咱學(xué)歷不行沸伏，一定要搞點(diǎn)掐脖子的技術(shù)公司才能重視你糕珊，否則你還會(huì)被裁。

失業(yè)的日子不好過(guò)

我離職這家小公司是3月3日毅糟。后面我就每天開(kāi)始投簡(jiǎn)歷红选，疫情期間工作相當(dāng)難找。Boss留特、拉鉤海投之后的回電都寥寥無(wú)幾纠脾，要么是幾個(gè)外包公司的電話玛瘸。

疫情期間除了BATJ這種巨頭公司還能維持給員工正常發(fā)工資蜕青，不裁員。其他公司都是裁員糊渊、降薪右核、停薪，還有那種給不起補(bǔ)償又想削減人員的公司說(shuō)要搬到懷柔去辦公渺绒，上下班交通讓員工自己想辦法贺喝，然后員工就自己離職了。

沒(méi)有工作的日子我比較窘迫宗兼，因?yàn)楸池?fù)了兩套房的房貸躏鱼，月供不能停。平時(shí)沒(méi)有存糧意識(shí)殷绍，所以一下被動(dòng)離職整的我還真挺被動(dòng)的染苛。

那段時(shí)間我銀行賬戶上就剩下2萬(wàn)多塊錢了，每個(gè)月房貸+租房+生活費(fèi)至少1.8W的剛性輸出主到。也就說(shuō)我下一份工作就算降薪稅后收入至少也得1.8W茶行。

壓力巨大，能節(jié)省開(kāi)支就盡量節(jié)省登钥。以前喝礦泉水畔师，現(xiàn)在去小區(qū)自助取水機(jī)上打水喝。以前出門打車牧牢，現(xiàn)在坐地鐵公交看锉。

為了節(jié)約開(kāi)支，我每天早上和中午就吃一個(gè)蘋果塔鳍，晚上再去買菜自己做飯度陆。這樣每天就能節(jié)省大概50-70的餐費(fèi)。

期間面試也很窘迫献幔，大多小公司給不起錢懂傀，我還不愿降太多薪。不過(guò)我發(fā)現(xiàn)很多公司做不了APP逆向/抓取蜡感，因?yàn)檫@塊技術(shù)上不了臺(tái)面蹬蚁，而且還晦澀難懂恃泪。我再反思，我是否要直接破解一兩個(gè)大廠的app犀斋，錄成視頻教程上傳到網(wǎng)盤贝乎，然后把觀看地址放簡(jiǎn)歷里面。這樣我的簡(jiǎn)歷會(huì)非常有特色叽粹，HR就大概率會(huì)把簡(jiǎn)歷投遞給面試官览效。

只要面試官我見(jiàn)到了，我就可以用技術(shù)鎮(zhèn)住他虫几。牛逼的大專和985锤灿、211一等學(xué)府的人綜合能力都差不多。唯一的區(qū)別人家有更多的面試機(jī)會(huì)辆脸，而你如果不是特別優(yōu)秀但校，不能在有限的機(jī)會(huì)里抓住的話，你就很難了啡氢。

所以能進(jìn)大廠的大專有時(shí)候他的閃光點(diǎn)是很一般是很強(qiáng)的状囱。否則同等能力公司更愿意要學(xué)歷高的，能要你說(shuō)明你有不可替代性倘是。

上海成功入職亭枷，學(xué)歷卻被老總鄙視

我發(fā)現(xiàn)疫情期間北京管控非常嚴(yán)格，導(dǎo)致北京的公司不能正常運(yùn)轉(zhuǎn)搀崭。所以我往上海叨粘、杭州那邊開(kāi)始投簡(jiǎn)歷…

不知道是老天爺?shù)木祛欉€是自己的努力終于上海一家公司給我打電話了，經(jīng)過(guò)1门坷、2面宣鄙，面試官每個(gè)問(wèn)題都被我唬住了。但是他們還是不放心默蚌，主要是我覺(jué)得我要價(jià)太高冻晤。

對(duì)方技術(shù)總監(jiān)給我出了一個(gè)作業(yè)，要我逆向 xx APP绸吸。我從早上9點(diǎn)干到晚上11點(diǎn)終于逆向出來(lái)鼻弧，中間除了上個(gè)廁所、吃個(gè)飯啥的我基本沒(méi)有離開(kāi)過(guò)電腦锦茁。我把逆向結(jié)果發(fā)給面試官攘轩。

4月9號(hào)周四 HR 給我電話，問(wèn)我什么時(shí)候可以入職码俩？我說(shuō)下周一（4月13號(hào)）度帮。

即使這家公司遠(yuǎn)在1300多公里外的上海，我也是覺(jué)得我等不起了。我已經(jīng)近1個(gè)半月沒(méi)有收入了笨篷，加之之前杠桿玩的太高貸款買了兩套房瞳秽。

我已經(jīng)算好了每個(gè)月存多少花多少，所以導(dǎo)致幾乎沒(méi)有什么存糧率翅。我得趕緊入職练俐，簡(jiǎn)單收拾一下帶幾件短期換洗得衣服買上飛往上海得機(jī)票周六就出發(fā)了。入職很順利…

我入職大概第二周吧冕臭，這家公司老板在一個(gè)高層會(huì)議上腺晾。直接懟這位招聘我進(jìn)去的技術(shù)總監(jiān)：

“你招的這是什么人？以后我們只要985辜贵、211的悯蝉，我們不要這種學(xué)校。這是什么學(xué)校念颈？”泉粉。

后來(lái)技術(shù)總監(jiān)就把這事跟我說(shuō)了连霉，我心里那個(gè)怒榴芳。我雖然學(xué)歷低，好歹我技術(shù)也還OK跺撼。爬蟲窟感，985、211能干的歉井，我能干柿祈。不能干的，我也能干哩至。

靠技術(shù)站穩(wěn)腳

我現(xiàn)在只是還沒(méi)產(chǎn)出躏嚎，等我?guī)湍愀銕讉€(gè) app 你就知道我的厲害了… 其實(shí)，一個(gè)人真正的力量來(lái)自于憤怒菩貌，那種沉淀在內(nèi)心深處卢佣，把能量全部釋放在某件事情上的憤怒。

這家公司業(yè)務(wù)模式很受爬蟲技術(shù)的限制箭阶，客戶買不買帳全看你數(shù)據(jù)分析出來(lái)虚茶。而數(shù)據(jù)分析又基于你能不能有擼數(shù)據(jù)的能力。就是那種需要監(jiān)控全網(wǎng)視頻仇参、文章數(shù)據(jù)的場(chǎng)景嘹叫，前幾年這家公司做的順風(fēng)順?biāo)?/p>

近幾年不行了，業(yè)務(wù)越來(lái)越難做诈乒。主要是因?yàn)槎桃曨l產(chǎn)業(yè)為代表的新興數(shù)據(jù)全部集中到了APP上面罩扇，抓APP和以前做網(wǎng)站web爬蟲的技術(shù)完全不一樣。

我第一個(gè)任務(wù)就是抓取 xx視頻號(hào)怕磨，賊尼瑪 xx喂饥。由于搞APP工作得高度集中精力寞缝，不然逆向思路中斷的話非常不好⊙鲂海看 xx 混淆源碼結(jié)合frida動(dòng)態(tài)hook調(diào)試分析邏輯荆陆，每天晚上9點(diǎn)下班回家洗完澡就癱倒在床上。

經(jīng)過(guò)1個(gè)月的奮戰(zhàn)集侯，我終于把 xx 視頻號(hào)搞定了被啼。商務(wù)立馬拿研發(fā)成果去跟甲方公司吹牛逼，看我們可以擼某 APP 數(shù)據(jù)棠枉，其他投標(biāo)公司不能做浓体。然后公司順利拿到某大公司的合作合同。這一簽就是3000萬(wàn)１惭取Ｃ　！后面又搞了幾個(gè)APP贱除，反正都是大家手機(jī)上天天用的那幾個(gè)APP吧生闲。

對(duì)“42k，100萬(wàn)股票” 說(shuō) “No”

我站穩(wěn)腳跟了月幌，下一步我要“教”這個(gè)老板做人碍讯。只要985、211是吧扯躺？OK捉兴！我騎驢找馬，繼續(xù)投簡(jiǎn)歷录语，找下家倍啥。面了N多公司吧，當(dāng)然有很多公司都沒(méi)過(guò)澎埠。原因大家自己想吧虽缕，前面我也給大家普及了爬蟲技術(shù)棧的誤區(qū)，也有我其他方面的原因吧失暂。

我確定下家提離職幾天之后彼宠，老板跟總監(jiān)開(kāi)會(huì)指定下一步的數(shù)據(jù)采集策略〉苋總監(jiān)跟老板說(shuō)我提離職了凭峡，還補(bǔ)了一句‘你招到他算是招到寶了’。老板叫我去他辦公室决记，問(wèn)了下為什么離職摧冀？

我當(dāng)然不能說(shuō)因?yàn)槟隳蔷洹覀冎灰?85、211’的話，我就告訴他去意已決…省略很多…老板:”我給你漲到42k+100W股票（分四年拿清）索昂，我想你做我的技術(shù)合伙人建车。目前公司市值x個(gè)億，三年內(nèi)公司會(huì)在創(chuàng)業(yè)板上市…我開(kāi)這家公司9年了椒惨，從來(lái)沒(méi)遇到像你這么能做爬蟲的缤至，你要是能留下來(lái)，以后你直接匯報(bào)給我（連升兩級(jí)）康谆，8個(gè)人的爬蟲團(tuán)隊(duì)給你帶”领斥。

我內(nèi)心：“你不是要985、211的嗎沃暗？”月洛。我拒絕了，做我的老板可以沒(méi)能力孽锥、沒(méi)背景嚼黔、甚至“沒(méi)錢”。但是你要是只看學(xué)歷惜辑，就不行唬涧。

這是我的底線。

我這么給大家打個(gè)比方吧韵丑，你們搞前后端爵卒、客戶端虚缎、Java撵彻、Python、C++的都是正向工程实牡，你們每天都是在熟練駕駛著各種框架陌僵，有時(shí)候把框架做些小小改動(dòng)就認(rèn)為自己牛逼了。感覺(jué)沒(méi)啥事就去研究算法创坞，看看怎么碼磚更優(yōu)美碗短。

爬蟲/逆向的人，工作性質(zhì)決定了我們不太需要關(guān)注什么 JVM 內(nèi)存模型题涨、GC調(diào)優(yōu)偎谁、各種排序算法、數(shù)據(jù)結(jié)構(gòu)什么b+樹(shù)纲堵、紅黑樹(shù)…巡雨，我們也沒(méi)有時(shí)間去了解。

這些需求每個(gè)編程語(yǔ)言的標(biāo)準(zhǔn)庫(kù)已經(jīng)完全夠用了席函。

爬蟲工程師不像你們正向開(kāi)發(fā)工程師需要去了解開(kāi)發(fā)語(yǔ)言和框架的“發(fā)動(dòng)機(jī)引擎”铐望。所以我有時(shí)候遇到面試官很偏向問(wèn)什么算法的、開(kāi)發(fā)框架底層原理我內(nèi)心那個(gè)火。

你爬蟲技術(shù)垃圾可以正蛙，但是對(duì)爬蟲技術(shù)也沒(méi)有一個(gè)正確的認(rèn)知督弓，那必定你招的人也很垃圾啊。因?yàn)槟阌米龊笈_(tái)的考核方式去招聘做爬蟲的人乒验，那你招的到也都是工程能力OK愚隧，但是對(duì)爬蟲略知一二這樣的人。

其實(shí)锻全，爬蟲/逆向工程師最重要的是去了解各個(gè)操作系統(tǒng)的設(shè)計(jì)規(guī)則和一些應(yīng)用加載機(jī)制奸攻。比如你做web爬蟲的，你得懂瀏覽器內(nèi)核渲染機(jī)制吧虱痕，js反機(jī)器識(shí)別原理睹耐？怎么去機(jī)器指紋？怎么定位加密函數(shù)部翘？AST語(yǔ)法樹(shù)解混淆代碼硝训？動(dòng)態(tài)字體怎么破？滑塊怎么破新思？

非爬蟲工程師所了解的搞IP池那都是基本功窖梁，能光靠搭建代理池就能解決問(wèn)題，還要我們這些專業(yè)的爬蟲工程師干什么夹囚？

你搞Android逆向纵刘，你得懂一些安卓應(yīng)用開(kāi)發(fā)的知識(shí)吧。安卓四大組件是什么荸哟？別上來(lái)就用jadx看app源代碼假哎，那你只會(huì)一臉懵逼。安卓反調(diào)試機(jī)制怎么實(shí)現(xiàn)的鞍历？怎么找簽名方法舵抹？

某年輕人：“直接源代碼搜索關(guān)鍵詞不就行了嗎”。源代碼混淆了怎么辦劣砍？加殼了怎么辦惧蛹？就算你把java層簽名函數(shù)搞定了，后面你會(huì)發(fā)現(xiàn)你的知識(shí)還是不夠用刑枝。

別人后面把簽名函數(shù)放在so里面香嗓，你得懂匯編吧。代碼寄存器装畅、段地址寄存器靠娱、偏移地址寄存器、跳轉(zhuǎn)指令洁灵、返回指令饱岸、ollvm等等掺出。這些知識(shí)，那才叫真正的晦澀難懂苫费。

等你學(xué)會(huì)了95%以上逆向分析的技術(shù)汤锨，別人突然不玩http(s)了。人家搞一套自己的協(xié)議百框，mmtls聽(tīng)過(guò)沒(méi)有闲礼？你們現(xiàn)在每天用的微信就是走的這個(gè)協(xié)議。你還想抓包铐维？想得美柬泽！

年輕人說(shuō)：“那用tcpdump、Wireshark抓包不就行了嗎嫁蛇？”锨并。能說(shuō)這話的都是外行，現(xiàn)在哪里還是20年前的互聯(lián)網(wǎng)睬棚。什么協(xié)議沒(méi)有加密第煮？你用這些抓的原始tcp數(shù)據(jù)包能看到的都是加密1010。

所以抑党，APP逆向/爬蟲技術(shù)發(fā)展到后面就有了諸如沙盒（其實(shí)就是安卓上的虛擬機(jī)）包警、注入調(diào)用、hook等一些比較淫亂的技術(shù)底靠。從某種概念上去理解這些技術(shù)的發(fā)展害晦，就是為了用工程化的能力盡量替代更加底層低效的純逆向工程。

于是就有了半脫機(jī)協(xié)議暑中，就是難以破解還原的加密方法我通過(guò)注入調(diào)用的方式去調(diào)（黑盒調(diào)用）壹瘟，拿到加密結(jié)果后面接著走接口。但是慢慢人家調(diào)用鏈路檢測(cè)上來(lái)了痒芝，你直接調(diào)用也不好使了俐筋。

我有一次做 xxx App 的逆向發(fā)現(xiàn)， xxx App 就會(huì)對(duì)調(diào)用鏈路進(jìn)行檢測(cè)严衬。總之笆呆，爬蟲本質(zhì)是一種作弊的行為请琳，而作弊又有高級(jí)和低級(jí)之分。低級(jí)的爬蟲赠幕，就是玩自動(dòng)化的俄精，搞個(gè)類似按鍵精靈的東西去點(diǎn)點(diǎn)點(diǎn)。手機(jī)上再配一個(gè)mitmproxy截取流量榕堰，更低級(jí)的直接從屏幕上的元素讀取信息竖慧。抓取量大了嫌套，這種技術(shù)就費(fèi)勁了。

PS：推薦觀看：Java八個(gè)實(shí)戰(zhàn)項(xiàng)目合集自學(xué)課程B站：BV1Ch411v7fP