概述
前一篇文章,已經(jīng)介紹了BMR的基礎用法,再結合Spark和Scala的文檔,我想應該是可以開始你的數(shù)據(jù)分析之路的.這一篇文章,著重進行一些簡單的思路上的引導和分析.如果你分析招聘數(shù)據(jù)時,卡在了某個環(huán)節(jié),可以試著閱讀本文. 在繼續(xù)下面的各種分析前,請確保已經(jīng)讀完了本系列文章的第三篇,并正確配置了BMR,同時導入了需要的真實招聘數(shù)據(jù).
如果用傳統(tǒng)編程語言工具?
假設我們從數(shù)據(jù)的采集,存儲到數(shù)據(jù)的讀取與使用,都是使用傳統(tǒng)的語言工具,比如nodejs.
我們?nèi)绻胫赖降子胁煌男剿斡卸嗌僬衅嘎毼徊亩嗟缴倥判?我們可能需要:
- 新建對象,存儲各個公司的數(shù)據(jù);
- 循環(huán)讀取數(shù)據(jù),豐富各個公司的數(shù)據(jù);
- 以薪水為分組,記錄各個公司各個職位的信息;
- 以招聘數(shù)量為標準排序;
步驟,還算簡單.暫且不提數(shù)據(jù)集再大些時,內(nèi)存是極有可能吃不消;但是第2,3步的邏輯細節(jié),就需要不少代碼判斷,比如如何循環(huán)讀取文件數(shù)據(jù)?如果文件名命名是不規(guī)律的呢?如果文件數(shù)據(jù)是損壞的不規(guī)律數(shù)據(jù)呢?文件數(shù)據(jù)的json,并不是一個直接可用的職位數(shù)組,json結構轉換的操作,邏輯上對你來說好實現(xiàn)嗎?
誠然,用編程語言,沒有什么做不了的,只是時間問題;既然談到了時間,如果有另外一種明顯快的多的方式,你會不用嗎?
使用Spark進行分析
使用Spark實現(xiàn)上述同樣的邏輯.以下操作,基于交互編程工具Zeppelin:
1.讀取數(shù)據(jù)
val job = sqlContext.read.json("jobs")
job.registerTempTable("job")
job.printSchema()
2.獲取各個薪水段職位數(shù)量,并排序
%sql
SELECT postionCol.salary,COUNT(postionCol.salary) salary_count
FROM job
LATERAL VIEW explode(content.positionResult.result) positionTable AS postionCol
WHERE content.positionResult.queryAnalysisInfo.positionName="ios"
GROUP BY postionCol.salary
ORDER BY salary_count DESC
真的可以直接使用類似于SQL的語法,進行半結構數(shù)據(jù)的復雜查詢,不知道各位看官,看完有何感想?
如果你的SQL功底,不是特別好,我的建議是:有空多看看文檔,有需求時先打英文關鍵詞google
幾個你可能感興趣的數(shù)據(jù)的sparkSQL示例查詢
送給有需要的童鞋:
按公司名顯示某職位的招聘數(shù)量
%sql
SELECT postionCol.companyFullName,COUNT(postionCol.companyFullName) postition_count
FROM job
LATERAL VIEW explode(content.positionResult.result) positionTable AS postionCol
WHERE content.positionResult.queryAnalysisInfo.positionName="ios"
GROUP BY postionCol.companyFullName
ORDER BY postition_count DESC
顯示某一職位對工作年限的要求
%sql
SELECT postionCol.workYear,COUNT(postionCol.workYear) workYears
FROM job
LATERAL VIEW explode(content.positionResult.result) positionTable AS postionCol
WHERE content.positionResult.queryAnalysisInfo.positionName="ios"
GROUP BY postionCol.workYear
ORDER BY workYears DESC
顯示某一職位對學歷的要求
%sql
SELECT postionCol.education,COUNT(postionCol.education) education_count
FROM job
LATERAL VIEW explode(content.positionResult.result) positionTable AS postionCol
WHERE content.positionResult.queryAnalysisInfo.positionName="ios"
GROUP BY postionCol.education
ORDER BY education_count DESC
顯示某一職位各個公司的規(guī)模
%sql
SELECT postionCol.companySize,COUNT(postionCol.companySize) company_size_ount
FROM job
LATERAL VIEW explode(content.positionResult.result) positionTable AS postionCol
WHERE content.positionResult.queryAnalysisInfo.positionName="ios"
GROUP BY postionCol.companySize
ORDER BY company_size_ount DESC
系列后記
這是第一個系列文章.我覺得,我還是說清楚了一些問題的.文章本身的價值,決定于是否它能遇到剛好需要它的人.這些東西就交給時間!單就本系列而言,最后聚合分析出的結果,連我自己都很經(jīng)驗.現(xiàn)在招聘市場對中高端人才的需求比例竟然如此之大,突然發(fā)現(xiàn)我的思維還停留在里兩年前,那個"大白"橫行的時代.
坦白說,我一直在尋找著我這么做的意義.系列文章的第一篇和第二篇閱讀量都很少.但是,很慶幸,我繼續(xù)堅持寫了第三篇,終于有人慢慢認可和閱讀了,順帶著前兩篇的閱讀量月多了些.
我們還是應該相信,人們對于美好的有價值的東西是有鑒賞能力的;如果你覺得沒有,可能剛好你的付出,沒有被有需要的人看到.
把自己感覺有價值的東西,記錄下來,其他的就交給時間--這就是最后我想對那些可愛的努力想寫博客分享東西的童鞋說的!一起加油↖(ω)↗
本系列專屬gitub倉庫:https://github.com/ios122/spark_lagou
