題目三:爬蟲及信息可視化——“找呀找呀找工作”
項目成員:李昶箕般、李楠耐薯、楊金金、宋洋丝里、徐辰龍曲初、呂尚青、李華琛杯聚、程德民
一臼婆、資源匯總:
網(wǎng)站資源:
- BOSS直聘:https://www.zhipin.com/
- 拉勾:https://www.lagou.com/
- 智聯(lián)招聘:https://www.zhaopin.com/
- 51job:https://www.51job.com/
- 趕集網(wǎng):http://bj.ganji.com/zhaopin/(只能城市)
二、功能設(shè)計:
1.總覽:
劃分幾個大的行業(yè)種類幌绍,可視化顯示一下每個行業(yè)的綜合薪資颁褂、職位需求地區(qū)分布、學(xué)歷要求傀广、工作經(jīng)驗要求
2.用戶自定義:
- 允許用戶通過目錄樹的方式查找到自己有意向的崗位痢虹;
- 可視化顯示出用戶所設(shè)置的有意向崗位的綜合薪資、職位需求地區(qū)分布主儡、學(xué)歷要求奖唯、工作經(jīng)驗要求;
三糜值、具體實現(xiàn):
1.前端:
-
路由設(shè)置:
使用/1/23/2/123/22
來縮短請求的長度丰捷,規(guī)定第幾個數(shù)字分別代表什么索引項坯墨,若為0則默認全部 -
索引列表:
城市:0 全國,1 北京......
行業(yè):0 全部病往,1 待定......
崗位:0 全部捣染,1 待定......
薪資水平(月薪):0 全部,1 一千-兩千停巷,2 兩千-三千耍攘,3 ......
學(xué)歷要求:0 全部,1 無要求畔勤,2 尷俑鳎科,3 本科庆揪,4 碩士式曲,5 博士
有無工作經(jīng)驗要求:0 全部,1 無要求缸榛,2 一年經(jīng)驗吝羞,3 兩年經(jīng)驗,4...... -
界面設(shè)計:
待定
2.后端:
- 列表信息獲饶诳拧:通過爬蟲加上人工篩選的方法導(dǎo)出一份對應(yīng)每一位索引項的目錄文件
- 實現(xiàn)多線程爬蟲:通過前端發(fā)來的請求從幾個網(wǎng)站同時獲取相關(guān)信息并向前端返回數(shù)據(jù)
_
_
_
_
while(alive){
eat();
sleep();
code();
repeat();
}