從招聘網(wǎng)站爬取職位信息小窺IT發(fā)展

想知道你的工作值多少錢?如果想小范圍內(nèi)轉(zhuǎn)行懂扼,轉(zhuǎn)哪個比較好呢赶熟?

IT人恐怕逃脫不了加班這個魔咒,有的人想轉(zhuǎn)行啊央,最好是錢多事少離家近逝撬。 Snake 從拉勾網(wǎng)爬取職位信息溯警,通過分析城市狡相,職位和薪水的分布的情況梯轻,來探討IT的發(fā)展趨勢。
雖然數(shù)據(jù)可能有些不準(zhǔn)尽棕,“窺一斑而知全豹”喳挑。

首先挑幾個維度做樣本,如下:

cities = np.array(['北京', '上海', '廣州', '深圳', '杭州'])
salaries = np.array(['2k-5k', '5k-10k', '10k-15k', '15k-25k', '25k-50k'])
keywords = np.array(["測試", "Android", "IOS", "前端", "人工智能", "后端", "運維"])

翠花滔悉,上爬蟲!

def get_page(url, page_num, keyword): 
    headers = {
        "User-Agent": "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
        "Accept": "application/json, text/javascript, */*; q=0.01",
        "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
        "Accept-Encoding": "gzip, deflate, br",
        "Accept-Language": "zh-CN,zh;q=0.8"
    }
    if page_num == 1:
        boo = 'true'
    else:
        boo = 'false'

    page_data = {
        'first': boo,
        'pn': page_num,
        'kd': keyword
    }
    page = requests.post(url=url, headers=headers, data=page_data)
    return page.json()


def get_detail(keyword):
    final_result = []

    for city in cities:
        total_count = []
        for salary in salaries:
            result = get_page(url.format(city, salary), 1, keyword)['content']['positionResult']['totalCount']
            total_count.append(result)

        final_result.append(total_count)
    detail[keyword] = final_result

爬到的數(shù)據(jù)如下:

屏幕快照 2017-08-14 下午10.23.18.png

圖形化回官,更直觀點:

  1. 測試


    測試_detail.png
  2. Android開發(fā)


    Android_detail.png
  3. IOS開發(fā)


    IOS_detail.png
  4. 前端開發(fā)


    前端_detail.png
  5. 人工智能


    人工智能_detail.png
  6. 后端開發(fā)


    后端_detail.png
  7. 運維


    運維_detail.png

PS曹宴,原諒我還沒完全解決Mac繪圖中文字體問題,將就看把歉提。

從數(shù)據(jù)可以看到笛坦,無論哪個崗位,職位最多的非帝都莫屬苔巨。

杭州超過了廣州版扩。(馬云功不可沒)

各個職位對中級需求相對多些,帝都對15--25K的需求比較大恋拷。(帝都的房價资厉,難道是IT人員撐起來的?我知道一個華為的蔬顾,帝都好幾套)

測試和運維的分布很接近宴偿。

開發(fā)的薪資和測試的薪資湘捎,距離沒有那么大了。(經(jīng)過這么多年的發(fā)展窄刘,開發(fā)的薪資已經(jīng)很理性了窥妇。)

人工智能已經(jīng)起來了,高薪機(jī)會很多娩践。(難道是下一個風(fēng)口活翩,希望不是泡沫)

以上是個人愚見,如有不準(zhǔn)翻伺,請找招聘網(wǎng)站材泄。我頂多就放了個??。

更多精彩吨岭,請關(guān)注: python愛好部落

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末拉宗,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子辣辫,更是在濱河造成了極大的恐慌旦事,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,402評論 6 499
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件急灭,死亡現(xiàn)場離奇詭異姐浮,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)葬馋,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,377評論 3 392
  • 文/潘曉璐 我一進(jìn)店門卖鲤,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人点楼,你說我怎么就攤上這事扫尖。” “怎么了掠廓?”我有些...
    開封第一講書人閱讀 162,483評論 0 353
  • 文/不壞的土叔 我叫張陵换怖,是天一觀的道長。 經(jīng)常有香客問我蟀瞧,道長沉颂,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,165評論 1 292
  • 正文 為了忘掉前任悦污,我火速辦了婚禮铸屉,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘切端。我一直安慰自己彻坛,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,176評論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著昌屉,像睡著了一般钙蒙。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上间驮,一...
    開封第一講書人閱讀 51,146評論 1 297
  • 那天躬厌,我揣著相機(jī)與錄音,去河邊找鬼竞帽。 笑死扛施,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的屹篓。 我是一名探鬼主播疙渣,決...
    沈念sama閱讀 40,032評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼抱虐!你這毒婦竟也來了昌阿?” 一聲冷哼從身側(cè)響起饥脑,我...
    開封第一講書人閱讀 38,896評論 0 274
  • 序言:老撾萬榮一對情侶失蹤恳邀,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后灶轰,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體谣沸,經(jīng)...
    沈念sama閱讀 45,311評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,536評論 2 332
  • 正文 我和宋清朗相戀三年笋颤,在試婚紗的時候發(fā)現(xiàn)自己被綠了乳附。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,696評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡伴澄,死狀恐怖赋除,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情非凌,我是刑警寧澤举农,帶...
    沈念sama閱讀 35,413評論 5 343
  • 正文 年R本政府宣布,位于F島的核電站敞嗡,受9級特大地震影響颁糟,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜喉悴,卻給世界環(huán)境...
    茶點故事閱讀 41,008評論 3 325
  • 文/蒙蒙 一棱貌、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧箕肃,春花似錦婚脱、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽涡贱。三九已至,卻和暖如春惹想,著一層夾襖步出監(jiān)牢的瞬間问词,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,815評論 1 269
  • 我被黑心中介騙來泰國打工嘀粱, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留激挪,地道東北人。 一個月前我還...
    沈念sama閱讀 47,698評論 2 368
  • 正文 我出身青樓锋叨,卻偏偏與公主長得像垄分,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子娃磺,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,592評論 2 353

推薦閱讀更多精彩內(nèi)容