題記
之前一直說要分析拉勾網(wǎng)的數(shù)據(jù)就去學(xué)了爬蟲写隶,學(xué)習(xí)爬蟲的過程還是很有意思的,寫了很多小玩意也遇到很多問題讲仰,把學(xué)習(xí)過程記錄在博客里慕趴,還意外還賺了點點擊量。(貌似有點跑題了鄙陡,好了冕房,我們回來)今天終于可以把分析報告寫出來了。
Ps.想學(xué)爬蟲的朋友可以去我的主頁翻python爬蟲系列文章趁矾,有圖片耙册,豆瓣,還有拉勾網(wǎng)爬蟲的教程哈
拉勾網(wǎng)數(shù)據(jù)說明
拉勾網(wǎng)的數(shù)據(jù)麻煩在是動態(tài)加載的毫捣,加上對顯示數(shù)據(jù)有很強的限制详拙,所以不可能爬下來完整的數(shù)據(jù)。(最近拉勾網(wǎng)是一次搜索最多顯示30頁蔓同,每頁15條溪厘,這加起來一次搜索也就500條信息不到,但是通過查看網(wǎng)絡(luò)請求牌柄,可以發(fā)現(xiàn)畸悬,拉勾網(wǎng)一次搜索提供的數(shù)據(jù)是5000多條。)
所以我是通過多關(guān)鍵次多次爬取珊佣。采用的是拉勾首頁提供的關(guān)鍵詞蹋宦,加上自己的添加。關(guān)鍵詞列表如下(只涉及大部分的技術(shù)崗):
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463292485128.png)
數(shù)據(jù)量
總共數(shù)據(jù)量一共4w多條咒锻。分析直接采用的現(xiàn)成的統(tǒng)計工具(數(shù)說立方)生成結(jié)果冷冗,還挺方便。
工資處理
由于拉勾網(wǎng)的工資數(shù)據(jù)是采用的工資范圍的顯示方式:20k-50k
所以我記錄了最小值
和最大值
惑艇,平均值
直接采用最小值
和最大值
的平均(當(dāng)然這肯定不準(zhǔn)確蒿辙,但是也有一定的參考意義)
分析報告
好了,我知道大部分人只關(guān)注這一部分:'
總體崗位需求
我列出了前20位的崗位需求滨巴,先看圖:
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463291633305.png)
明顯需求最大的還是java
思灌,PHP
,Android
3者均爆表(>=5000)恭取,.Net
泰偿,iOS
緊跟其后。Pytho
n的尋求和c#
差不多蜈垮,還高一點耗跛。大數(shù)據(jù)
和數(shù)據(jù)挖掘
這兩個關(guān)鍵詞的職位目前需求也很旺盛裕照,這和目前大家的預(yù)期都還是挺一致的。
這里發(fā)現(xiàn)前兩年火的云計算
需求沒那么旺盛调塌,哪怕加上Hadoop
都沒破千(理論上都不能用加)晋南,這點還是挺出乎我意料外
的。Node.js
我覺得目前需求小了點羔砾,但是我還是對其保持樂觀的看法负间。
html5
目前需要也比較旺盛,前景還是很樂觀的嘛蜒茄。
這里有意思的是C在C++前面唉擂,然后我看了看C的都是什么職位餐屎,然后我就懂了檀葛,也很好理解,搜C關(guān)鍵詞肯定會把C++帶上腹缩。目前招C大部分是C/C++一起招的屿聋,純C的還是少。
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463293234267.png)
崗位平均工資
我們看看前20的崗位工資情況:
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463293722862.png)
這里基本和需求調(diào)了個藏鹊,工資最高的是
推薦
润讥,機(jī)器學(xué)習(xí)
,搜索
,自然語言處理
,docker
,大數(shù)據(jù)類
,語音識別
盘寡,這個很符合目前市場的預(yù)期楚殿,在大數(shù)據(jù),機(jī)器學(xué)習(xí)還有人工智能的大背景下竿痰,推薦脆粥,搜索,還有自然語言處理借勢自然會火一把影涉。(相關(guān)專業(yè)的同學(xué)請吃飯好不好变隔??)
這里值得注意的是中間件火了蟹倾。我記得剛聽到這個詞還是大四的時候匣缘,聽國外大學(xué)教授介紹docker,他說:“國外這個已經(jīng)非诚侍模火了肌厨,中國總是落后國外幾年,今后這個會火的豁陆∠目蓿”
我當(dāng)時還不信,我現(xiàn)在信了献联。雖然崗位需求還沒上來竖配,但是何址,工資已經(jīng)先上來了。
工資平均最大值
最大值的平均值平均要提高5k左右进胯,最高的還是那幾個用爪。
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463294232166.png)
語言類需求
沒太多出乎意料的地方
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463296621011.png)
語言類平均工資
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463298136538.png)
Go
,python
胁镐,ruby
三大腳本語言領(lǐng)先偎血。js
超過了java
,雖然考慮需求量依然是java需求量大,但是腳本語言前途還是挺光明的盯漂,至少目前的趨勢下颇玷,你得至少會一門腳本語言。
非語言類需求
依舊是數(shù)據(jù)類占大頭
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463296906641.png)
城市崗位需求
不出意外"北上廣深杭" 依然占據(jù)前5就缆,不過我沒想到北京會拉別的城市那么多帖渠。還有,技術(shù)崗需求中杭州
超過廣州
了也竭宰。(當(dāng)然這個數(shù)據(jù)畢竟不是完整的數(shù)據(jù))
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463294453417.png)
城市工資情況
工資前幾名還是北京
空郊,上海
,深圳
切揭,香港
,杭州
明顯高于其他城市狞甚。廣州在平均工資這里偏低了。
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463297481553.png)
城市工資最大值平均情況
工資前幾名還是北京
廓旬,上海
哼审,深圳
,杭州
孕豹,香港
,這里杭州
大于香港
了涩盾,但是整體差不多。也是明顯高于其他城市巩步。
(注意這里都是平均情況旁赊,要說最高的,我還見過有50k,100k的呢)
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463297644426.png)
其他
公司規(guī)模與工資情況
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463298630578.png)
還是工資跟公司規(guī)模成正比椅野,這點貌似還是沒錯
招聘崗位詞云
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463298726359.png)
公司最喜歡貼的標(biāo)簽
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463298807211.png)
雙薪
终畅,年假
。竟闪。离福。我竟然還在旁邊看見一個美女
。
怎么看著那么不靠譜呢炼蛤?有句話怎么說來著妖爷?得不到的永遠(yuǎn)在騷動?所以公司就用這些標(biāo)簽去吸引人才了,反正我是不信互聯(lián)網(wǎng)公司有那么多假絮识。绿聘。。
公司優(yōu)勢
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463298965227.png)
參考上面次舌。
總結(jié)
還是大數(shù)據(jù)
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463299709772.png)
通過上面很粗略的分析熄攘,可以看出來,目前市場需求最大并且工資最高的都還是有關(guān)大數(shù)據(jù)類的工作彼念。所以小伙伴你們懂的挪圾。
腳本語言
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463300165819.png)
在語言方面,腳本語言越來越火了逐沙,如果你會相對小眾的腳本語言go哲思,ruby(注意我這里用了相對小眾,擁護(hù)者別打我)吩案,估計以后找個高薪的機(jī)會應(yīng)該不難(前提是精通)棚赔,不過小眾的腳本語言在中國的學(xué)習(xí)資料不算多,交流也相對麻煩點务热。
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463300116567.png)
PS. go語言真的不打算換吉祥物了???
大前端
我覺得現(xiàn)在的前端應(yīng)該和以前只會切圖的前端web區(qū)分開了忆嗜,隨著js的重要性繼續(xù)增強己儒,google v8引擎的推出崎岂。以后應(yīng)用可能會往web傾斜,目前也有web app轉(zhuǎn)本地APP的方案了闪湾,以后應(yīng)該能做到一次編寫冲甘,跨平臺運行。是不是有可能開啟一個大航海(大前端)時代呢(個人看法途样,輕噴)
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463296859625.png)
除此之外江醇,html5
現(xiàn)在招聘信息也挺多的了。是不是意味著中國大前端的春天要來了何暇?
![](https://raw.githubusercontent.com/hk029/blog/master/%E9%9A%8F%E7%AC%94/%E4%BD%A0%E7%9A%84%E6%96%B9%E5%90%91%E5%80%BC%E5%A4%9A%E5%B0%91%E9%92%B1%EF%BC%9F%E4%BB%8E%E6%8B%89%E5%8B%BE%E7%BD%91%E6%95%B0%E6%8D%AE%E7%9C%8B%E7%9B%AE%E5%89%8D%E3%80%90IT%E5%B8%82%E5%9C%BA%E8%A1%8C%E6%83%85%E3%80%91/1463296820935.png)
加上Node.js
一出陶夜,我感覺全棧
的概念又得火
聲明:
(我覺得還是得加個聲明,不然估計會有人找我麻煩的)
以上信息均是個人根據(jù)興趣分析結(jié)果裆站,不代表任何機(jī)構(gòu)的立場条辟。
由于不是大數(shù)據(jù)的結(jié)果,可能會有不準(zhǔn)確的地方宏胯,大家僅供參考。
最后,對拉勾公司提供的信息表示感謝嚷往,沒封我的ip博杖。(雖然不是主動提供的)這還是個好公司,給程序猿們提供了很多有關(guān)就業(yè)有用的信息氛赐。
以上爬取內(nèi)容僅供學(xué)習(xí)交流使用魂爪,禁止用于商業(yè)行為先舷。