拿好這段代碼员帮,愿你求職路上不再迷茫

解答思路

我一直提倡的是 學(xué)以致用或粮,知行合一,所以當我們學(xué)習(xí)和儲備技能的時候應(yīng)該要和市場相結(jié)合捞高,準確的說應(yīng)該是人才市場被啼。

要了解人才市場有個非常簡單的方法——招聘網(wǎng)站。我們上招聘網(wǎng)站搜一搜棠枉,看看企業(yè)在招聘的時候都有哪些技能需求就一目了然了。

可問題就是數(shù)據(jù)那么多泡挺,如果只抽取部分做參考不夠準確辈讶,一個個去看又效率太低。

我覺得身為開發(fā)人員最大的優(yōu)勢就是 可以用代碼等技術(shù)手段定制所需的工具娄猫。所以我們只需要寫一段爬蟲代碼贱除,把招聘網(wǎng)站上的數(shù)據(jù)“同步”到數(shù)據(jù)庫,然后進行統(tǒng)計分析媳溺,就可以進行有的放矢地學(xué)習(xí)了月幌。先看一下統(tǒng)計分析結(jié)果:

動手實踐

以個人比較喜歡的某招聘網(wǎng)站為例。

網(wǎng)頁分析

搜索“前端”,人往高處看齊悬蔽,我們添加一個過濾條件“25k-50k”扯躺,看看市場對高級前端的要求。同時按下F12打開調(diào)試,發(fā)現(xiàn)這里發(fā)送了ajax請求(凡事有利有弊录语,前后端分離雖然開發(fā)效率提高了倍啥,但同時也為爬蟲程序降低了難度)。

補充一下:一般分兩種情況:json數(shù)據(jù)和html頁面澎埠,本文兩種情況皆有涉及虽缕。

通過列表我們只能知道公司和職位,點擊鏈接跳轉(zhuǎn)到詳情頁看到我們想要的信息:崗位職責(zé)和要求蒲稳。

這里沒有看到ajax請求氮趋,應(yīng)該是后端利用模板直接生成的靜態(tài)頁面,所以需要解析html江耀,會略微麻煩一些剩胁。

編寫代碼

整個編碼的思路變得很清晰了:

1.分頁查詢職位列表

用request模塊發(fā)送get請求,獲取json數(shù)據(jù)决记,然后按照id查詢html摧冀。

2.按職位查詢詳情并入庫

用jsdom模塊對獲取的html進行dom解析,這個模塊很容易上手系宫,可用jquery語法索昂。

將解析的數(shù)據(jù)過濾,保留崗位職責(zé)和要求信息扩借,利用mongoose保存至數(shù)據(jù)庫椒惨。

3.從數(shù)據(jù)庫中查詢結(jié)果

查詢統(tǒng)計各技能占比。結(jié)果如開頭截圖所示潮罪。

覺得文章有用的康谆,關(guān)注一下微信公眾號:zhiheguoqiang

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市嫉到,隨后出現(xiàn)的幾起案子沃暗,更是在濱河造成了極大的恐慌,老刑警劉巖何恶,帶你破解...
    沈念sama閱讀 212,080評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件孽锥,死亡現(xiàn)場離奇詭異,居然都是意外死亡细层,警方通過查閱死者的電腦和手機惜辑,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,422評論 3 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來疫赎,“玉大人盛撑,你說我怎么就攤上這事∨醺悖” “怎么了抵卫?”我有些...
    開封第一講書人閱讀 157,630評論 0 348
  • 文/不壞的土叔 我叫張陵狮荔,是天一觀的道長。 經(jīng)常有香客問我陌僵,道長轴合,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,554評論 1 284
  • 正文 為了忘掉前任碗短,我火速辦了婚禮受葛,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘偎谁。我一直安慰自己总滩,他們只是感情好,可當我...
    茶點故事閱讀 65,662評論 6 386
  • 文/花漫 我一把揭開白布巡雨。 她就那樣靜靜地躺著闰渔,像睡著了一般。 火紅的嫁衣襯著肌膚如雪铐望。 梳的紋絲不亂的頭發(fā)上冈涧,一...
    開封第一講書人閱讀 49,856評論 1 290
  • 那天,我揣著相機與錄音正蛙,去河邊找鬼督弓。 笑死,一個胖子當著我的面吹牛乒验,可吹牛的內(nèi)容都是我干的愚隧。 我是一名探鬼主播,決...
    沈念sama閱讀 39,014評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼锻全,長吁一口氣:“原來是場噩夢啊……” “哼狂塘!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起鳄厌,我...
    開封第一講書人閱讀 37,752評論 0 268
  • 序言:老撾萬榮一對情侶失蹤荞胡,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后了嚎,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體泪漂,經(jīng)...
    沈念sama閱讀 44,212評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,541評論 2 327
  • 正文 我和宋清朗相戀三年新思,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片赘风。...
    茶點故事閱讀 38,687評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡夹囚,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出邀窃,到底是詐尸還是另有隱情荸哟,我是刑警寧澤假哎,帶...
    沈念sama閱讀 34,347評論 4 331
  • 正文 年R本政府宣布,位于F島的核電站鞍历,受9級特大地震影響舵抹,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜劣砍,卻給世界環(huán)境...
    茶點故事閱讀 39,973評論 3 315
  • 文/蒙蒙 一惧蛹、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧刑枝,春花似錦香嗓、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,777評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至掠兄,卻和暖如春像云,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背蚂夕。 一陣腳步聲響...
    開封第一講書人閱讀 32,006評論 1 266
  • 我被黑心中介騙來泰國打工迅诬, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人双抽。 一個月前我還...
    沈念sama閱讀 46,406評論 2 360
  • 正文 我出身青樓百框,卻偏偏與公主長得像,于是被迫代替她去往敵國和親牍汹。 傳聞我的和親對象是個殘疾皇子铐维,可洞房花燭夜當晚...
    茶點故事閱讀 43,576評論 2 349

推薦閱讀更多精彩內(nèi)容