0 引言

??Google 通過其招聘網(wǎng)站發(fā)布了大量的職位，這些數(shù)據(jù)有助于我們了解當(dāng)今互聯(lián)網(wǎng)巨頭之一的 Google 需要怎么樣的人才飘言，也從一個(gè)側(cè)面體現(xiàn)了當(dāng)今互聯(lián)網(wǎng)行業(yè)最流行哪些編程語言或工具。感謝 Niyamat Ullah驼侠，他爬取了 1250 條 Google 招聘信息姿鸿，并發(fā)布在 Kaggle 上，而本文也正是使用了他提供的數(shù)據(jù)集倒源，對(duì) Google 的招聘信息進(jìn)行簡(jiǎn)單分析苛预。

1 導(dǎo)入相關(guān)包

# Jupyter 魔法函數(shù)，在當(dāng)前頁面輸出圖像
%matplotlib inline

# 科學(xué)計(jì)算
import numpy as np
# 數(shù)據(jù)處理及導(dǎo)入導(dǎo)出
import pandas as pd

# 數(shù)據(jù)可視化
import matplotlib.pyplot as plt
plt.style.use('ggplot') #使用 ggplot 主題
plt.rcParams['font.sans-serif'] = ['SimHei'] # 指定默認(rèn)字體  
plt.rcParams['axes.unicode_minus'] = False # 解決保存圖像是負(fù)號(hào)'-'顯示為方塊的問題 
# 更好的可視化效果
import seaborn as sns
sns.set_style("whitegrid") #設(shè)置 Seaborn 主題
sns.set(font='SimHei')  # 解決 Seaborn 中文顯示問題

# 詞云
from wordcloud import WordCloud, STOPWORDS
from imageio import imread

# 正則表達(dá)式
import re
# 默認(rèn)字典
from collections import defaultdict

2 準(zhǔn)備數(shù)據(jù)

??導(dǎo)入數(shù)據(jù)集笋熬，并查看數(shù)據(jù)集信息热某。

# 導(dǎo)入數(shù)據(jù)集
df = pd.read_csv('job_skills.csv')

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1250 entries, 0 to 1249
Data columns (total 7 columns):
Company 1250 non-null object
Title 1250 non-null object
Category 1250 non-null object
Location 1250 non-null object
Responsibilities 1235 non-null object
Minimum Qualifications 1236 non-null object
Preferred Qualifications 1236 non-null object
dtypes: object(7)
memory usage: 68.4+ KB

??查看 DataFrame 中 5 行數(shù)據(jù)。

df.sample(5)

??修改列名。

# 修改 DataFrame 列名
df.columns = ['公司名稱', '職位名稱', '職位類別', '工作地點(diǎn)', '崗位職責(zé)', '最低資格', '首選資格']

??檢查是否含有 NaN 值昔馋，若有筹吐，則將其刪除。

# 檢查是否含有 NaN 值
pd.isnull(df).sum()

公司名稱 0
職位名稱 0
職位類別 0
工作地點(diǎn) 0
崗位職責(zé) 15
最低資格 14
首選資格 14
dtype: int64

# 刪除含 NaN 值的列
df = df.dropna(how='any', axis='rows')

??檢查是否含有其他公司的記錄秘遏，若有丘薛，則將其刪除。
# 雖然油管也屬于 Google 的邦危，但這里主要是分析 Google 的招聘信息洋侨，因此將其刪除。

df['公司名稱'].value_counts()

Google 1212
YouTube 23
Name: 公司名稱, dtype: int64

# 刪除 YouTube
df = df[df['公司名稱'] != 'YouTube']

??在之前查看 DataFrame 中 5 條記錄的時(shí)候倦蚪，不難發(fā)現(xiàn)希坚，工作地點(diǎn)那列其實(shí)是包含了工作城市和工作國(guó)家的，將其分成新的兩列审丘。

df['工作城市'] = df['工作地點(diǎn)'].apply(lambda x : x.split(',')[0])
df['工作國(guó)家'] = df['工作地點(diǎn)'].apply(lambda x : x.split(',')[-1])

3 統(tǒng)計(jì)分析

??首先對(duì) DataFrame 進(jìn)行快速統(tǒng)計(jì)匯總吏够。

df.describe()

??接下來，查看下這些職位都分布在那些國(guó)家滩报、城市和類別锅知。

def top15_bar(df, series):
    """
        生成前 15 的條形圖
        
        Args:
            df: DataFrame Name, DataFrame
            series: Series name, string
    """
    f, ax = plt.subplots(figsize=(12, 6))
    
    top15 = df[series].value_counts()[0:15]
    
    title = series + ' TOP 15'
    x = top15.values
    y = top15.index
    
    ax.set(title=title)
    sns.set_color_codes("muted")
    sns.barplot(x=x, y=y, color='b');

top15_bar(df, '工作國(guó)家')

top15_bar(df, '工作城市')

top15_bar(df, '職位類別')

??很明顯，一半的職位都集中在美國(guó)脓钾，而銷售售睹、市場(chǎng)兩種類別占據(jù)了最多的職位。
??再看看在 Google 內(nèi)最受歡迎的編程語言是什么可训，這需要先對(duì) DataFrame 進(jìn)行一些處理昌妹。

# 編程語言列表
programing_language_list = ['java', 'c', 'c++', 'python', 'c#', 'php', 'javascript', 'sql', 'objective-c', 
                            'swift', 'ruby', 'r', 'matlab', 'perl', 'go', 'kotlin']

def tostr(df, series):
    """
        將指定 Series 轉(zhuǎn)換為字符串
        
        Args:
            df: DataFrame name, DataFrame
            series: Series name, string
            
        Returns:
            string
    """
    list_temp = df[series].tolist() #先轉(zhuǎn)換成列表
    string_temp =  "".join(str(v) for v in list_temp).lower()
    
    return string_temp

minimum_qualifications = tostr(df, '最低資格')

def word_count(countstr, wordlist):
    """
        對(duì)指定詞語進(jìn)行計(jì)數(shù)
        
        Args:
            countstr: target string, string
            wordlist: words to count, list
            
        Returns:
            DataFrame
    """    
    wordcount = dict((x,0) for x in wordlist)
    for w in re.findall(r"[\w']+|[.,!?;’]", countstr):
        if w in wordcount:
            wordcount[w] += 1
            
    result = sorted(wordcount.items(), key=lambda kv: kv[1], reverse=True) #對(duì)結(jié)果進(jìn)行排序
    df_temp = pd.DataFrame(result, columns=['Item','Frequency']) #轉(zhuǎn)換為 DataFrame
    df_temp['Item'] = df_temp['Item'].str.capitalize()
    
    return df_temp

programming_lang_count = word_count(minimum_qualifications, programing_language_list)

f, ax = plt.subplots(figsize=(12, 6))
sns.barplot(x="Frequency",  y="Item", data=programming_lang_count, palette="Blues_d");

??在 Google，最受歡迎的編程語言前 5 名分別是 Python握截、C飞崖、Javascript、Java谨胞、SQL固歪。接著繼續(xù)看看 Google 中對(duì)學(xué)位和工作年限的最低要求又是怎么樣的。

# 學(xué)位列表
degree_list = ["ba", "bs", "bachelor", "mba", "master", "phd"]

degree_count = word_count(minimum_qualifications, degree_list)

f, ax = plt.subplots(figsize=(12, 6))
sns.barplot(x="Frequency",  y="Item", data=degree_count, palette="Blues_d");

??在 Google 對(duì)學(xué)位的最低要求中胯努，理學(xué)學(xué)士和文學(xué)學(xué)士占了絕大部分牢裳。

years_exp = defaultdict(lambda: 0)
for w in re.findall(r'([0-9]+) year', minimum_qualifications):
     years_exp[w] += 1
             
df_years_exp = pd.DataFrame.from_dict(years_exp, 'index') #創(chuàng)建一個(gè)新的 DataFrame   
df_years_exp = df_years_exp.reset_index()
df_years_exp.columns = ['Years', 'Frequency']
df_years_exp = df_years_exp.astype('int') #轉(zhuǎn)換為整型
df_years_exp.sort_values(by='Years', inplace=True)

f, ax = plt.subplots(figsize=(12, 6))
with sns.color_palette("husl", 8):
    sns.barplot(x="Years",  y="Frequency", data=df_years_exp);

??Google 對(duì)于工作年限的最低要求，主要集中于 3-5 年叶沛。再來看看對(duì)工作年限的要求蒲讯，與職位類別有沒關(guān)系。

df['工作年限'] = df['最低資格'].str.extract(r'([0-9]+) year')

df_cate = df[['職位類別', '工作年限', '工作國(guó)家']]

f, ax = plt.subplots(figsize=(12, 12))
with sns.color_palette("husl", 3):
    sns.countplot(y='職位類別', hue='工作年限', data=df_cate, 
                  hue_order=df_cate['工作年限'].value_counts().iloc[:3].index)
plt.yticks(fontsize=16)
plt.show()

4 詞云

??將 Google 對(duì)這些職位的最低要求和首選要求生成詞云灰署。

# 設(shè)置停用詞
STOPWORDS.add('degree')
STOPWORDS.add('name')
STOPWORDS.add('dtype')
STOPWORDS.add('location')
stopwords = set(STOPWORDS)

def word_cloud(df, series):
    """
        生成詞云并保存為圖片
        
        Args:
            df: DataFrame name, DataFrame
            series: Series name, string
    """
    mask = imread('img\google.jpg')
    
    wordcloud = WordCloud(
                                background_color = 'white',
                                stopwords = stopwords,
                                mask = mask,
                                max_font_size = 128, 
                                min_font_size = 8,
                                random_state = False
                            ).generate(str(df[series]))

    plt.figure(figsize = (12, 12))
    plt.imshow(wordcloud)
    plt.axis('off')
    plt.show();

word_cloud(df, '最低資格')

word_cloud(df, '首選資格')

5 分析技術(shù)解決方案類別

??最后判帮，選擇技術(shù)解決方案（Technical Solutions）這一職位類別進(jìn)行分析局嘁，首先將該職位類別下的數(shù)據(jù)篩選出來。之后查看該類別下 TOP 15 的工作國(guó)家和工作城市脊另，以及最受歡迎的編程語言导狡，最后將該類別的最低任職資格、首選任職資格和崗位職責(zé)生成對(duì)應(yīng)詞云偎痛。

df_TS = df[df['職位類別'] == 'Technical Solutions']

df_TS.describe()

df_TS.sample(3)

top15_bar(df_TS, '工作國(guó)家')

top15_bar(df_TS, '工作城市')

TS_minimum_qualifications = tostr(df_TS, '最低資格')

TS_programming_lang_count = word_count(TS_minimum_qualifications, programing_language_list)

f, ax = plt.subplots(figsize=(12, 6))
sns.barplot(x="Frequency",  y="Item", data=TS_programming_lang_count, palette="Blues_d");

word_cloud(df_TS, '最低資格')

word_cloud(df_TS, '首選資格')

word_cloud(df_TS, '崗位職責(zé)')