前言

最近用 python 爬蟲抓取了知乎用戶個(gè)人資料（公開信息），去重之后有300+萬條記錄憾筏，為了得到這些數(shù)據(jù)，還不小心跑崩了一臺(tái)服務(wù)器…… 當(dāng)然主要是配置太低梳凛。

手頭有了數(shù)據(jù)也不能閑著梳杏，于是就有了這篇分析報(bào)告淹接，這篇報(bào)告做了一些淺顯的數(shù)據(jù)分析叛溢，主要目的是練練手，大家看個(gè)熱鬧厢蒜，高手勿笑烹植。

爬蟲源碼放在了 github 上，windcode/zhihu-crawler-people草雕，各位大佬別忘了點(diǎn)個(gè) star~

數(shù)據(jù)量：3,289,329 人巷屿。
數(shù)據(jù)采集工具：分布式 python 爬蟲
分析工具：ElasticSearch + Kibana
分析角度包括：地理位置、男女比例墩虹、各類排名嘱巾、所在高校、活躍程度等诫钓。

注意：

• 以下所有分析結(jié)果都基于我抓取到的這300萬用戶的個(gè)人信息旬昭，非權(quán)威分析，僅供參考菌湃。
• 數(shù)據(jù)抓取時(shí)間為2017年7月份问拘，用戶數(shù)據(jù)會(huì)隨著時(shí)間推移而變化，所以該報(bào)告具有一定時(shí)效性慢味。
• 知乎的用戶個(gè)人資料很大程度上是不完整的场梆，因?yàn)橛脩粲袡?quán)只填寫部分信息，所以后面分析的時(shí)候會(huì)篩掉對(duì)應(yīng)指標(biāo)為空的用戶纯路。

下面讓我們看看知乎用戶分布中有哪些有趣的現(xiàn)象（下面的圖點(diǎn)擊可以放大） ↓

知乎的男女比例或油？

首先來看看知乎用戶的男女比例，以當(dāng)前樣本數(shù)據(jù)統(tǒng)計(jì)的結(jié)果接近 1:1驰唬，其中男生略多一些顶岸。（其實(shí)還有很大一部分性別不明的用戶，被我略掉了 ╮(╯▽╰)╭）

藍(lán)色為男生叫编，紅色為女生辖佣。具體數(shù)據(jù)為：

男生：1,202,234 人，占 51.55%搓逾。
女生：1,129,874 人卷谈，占 48.45%。

知乎用戶都是哪里人霞篡？

再來看看全國(guó)（全球？）都有哪些地方的人在玩知乎：

由上圖可以看到顶滩，知乎用戶中一線城市用戶占較大的比重礁鲁，北上廣深皆在詞云的中心位置（文字越大仅醇，比重越大）着憨。我們?cè)賮砜纯淳唧w的排名（前十名）：

知乎用戶居住地前十名依次是：北京漆改、上海挫剑、杭州愉棱、成都奔滑、南京朋其、武漢梅猿、廣州袱蚓、深圳喇潘、西安、重慶响蓉。

你可能發(fā)現(xiàn)了Y坐標(biāo)里每座城市的用戶數(shù)并不多，這是因?yàn)橛写蟾?60萬的知乎沒有填寫“居住地”這一欄~ 以下分析也有可能出現(xiàn)用戶沒有填寫某一欄信息的情況源武，我會(huì)把這些用戶忽略掉粱栖，以保證展示圖表的準(zhǔn)確性闹究。

知乎的職業(yè)分布渣淤？

以下顯示知乎主流職業(yè)价认，同樣根據(jù)知乎用戶個(gè)人信息里填寫的職業(yè)為準(zhǔn)：

由上圖可以看到，知乎用戶中學(xué)生用戶占據(jù)多數(shù)脐彩，其它的比如產(chǎn)品經(jīng)理惠奸、程序員晨川、運(yùn)營(yíng)共虑、HR數(shù)量也不少妈拌。我們看一下具體的排名（前十名）：

去除學(xué)生后，知乎主流職業(yè)比重從大到小依次是（前十名）：產(chǎn)品經(jīng)理供嚎、自由職業(yè)克滴、程序員偿曙、工程師、設(shè)計(jì)師竿秆、騰訊幽钢、教師匪燕、人力資源（HR）帽驯、運(yùn)營(yíng)尼变、律師嫌术《绕可以看到适荣，除了一些互聯(lián)網(wǎng)公司的常見職位外束凑，教師和律師用戶在知乎中也占據(jù)不小的比重汪诉。

下面我們結(jié)合 性別 和 居住地 來分析一下知乎的主流職業(yè)扒寄。

知乎主流職業(yè)的性別分布：

上面這張餅圖的內(nèi)圈表示各主流職業(yè)在前十名中所占的比重，外圈表示該職業(yè)從業(yè)者中的男女比例课竣，藍(lán)色為男性，紅色為女性迂曲。我們?cè)儆靡粡堉狈綀D來表示：

同樣藍(lán)色代表男性，紅色代表女性传黄，從左到右的職業(yè)在知乎中的數(shù)量依次下降涉波∑「玻可以看到窗声，知乎大部分主流職業(yè)中主要為男性占主導(dǎo)笨觅。前 10 名的主流職業(yè)中有 8 個(gè)職業(yè)的男性從業(yè)者比女性多杀糯，其中以 程序員 的男女比例差距最為懸殊（-_-|||）固翰，以 設(shè)計(jì)師 男女比例差距最小，看來設(shè)計(jì)師從業(yè)人員男女比例較為均衡冈欢。其它的太示，比如產(chǎn)品經(jīng)理类缤、自由職業(yè)者镜盯、律師中速缆，均為男性從業(yè)者多于女性。而前 10 名剩下的 2 個(gè)職業(yè)——教師、人力資源（HR）——女性從業(yè)者要多于男性，其中以 人力資源（HR） 男女比例差距最為懸殊撩独，教師的男女比例雖不那么夸張玛臂，但女性也遠(yuǎn)遠(yuǎn)多于男性（也許是因?yàn)槟行越處煵辉趺瓷现跹畹埃浚?/p>

看完了知乎各職業(yè)的性別分布杯巨，我們?cè)儆靡粡垷崃D來觀察知乎主流職業(yè)（前五名）在各個(gè)地區(qū)的分布情況映砖，顏色越深真慢，代表該職業(yè)在該地區(qū)的人數(shù)越多：

這里我為了展示方便蚯撩，去掉了產(chǎn)品經(jīng)理呀癣，你只需要知道產(chǎn)品經(jīng)理在各地人數(shù)都是最多的…… 不明白知乎上怎么這么多產(chǎn)品經(jīng)理沼沈，可能是為了方便宣傳他們的產(chǎn)品页衙？

從上圖可以看出眨八，知乎各主流職業(yè)大部分集中在北京和上海兩地闰蚕，更準(zhǔn)確地說诗鸭，大部分都集中在北京蝌箍，但是人力資源（HR）是個(gè)例外悯衬，他們更多集中在上海。我們?cè)賮砜纯雌渌殬I(yè)，程序員分布最多的城市依次是：北京宫仗、上海办悟、廣州、杭州、廈門。北京占得比重最大盛卡，簡(jiǎn)直綠的發(fā)黑橘霎，看來北京是程序員的天堂？其中深圳沒有上榜，讓我很奇怪绕德。設(shè)計(jì)師分布最多的城市依次是：北京、上海蚊惯、杭州、深圳歹篓、武漢坑赡。設(shè)計(jì)師的地區(qū)分布比較平均烙如，各個(gè)城市都有一定數(shù)量。

知乎的高校用戶

知乎中學(xué)生用戶占很大的比重甸昏，我們來看看他們都來自哪些學(xué)校雌隅！詞云中字體越大，表示所占比重越大。

我們?cè)倭谐鲈敿?xì)的比重排名：

以上展示的結(jié)果不一定準(zhǔn)確遏乔，可能有很大一部分學(xué)生用戶沒有填寫自己的學(xué)校了讨。僅從上圖可以看出捻激，知乎活躍高校用戶從大到小依次是：浙江大學(xué)、武漢大學(xué)前计、華中科技大學(xué)胞谭、中山大學(xué)、北京大學(xué)男杈、上海交通大學(xué)丈屹、復(fù)旦大學(xué)、南京大學(xué)伶棒、四川大學(xué)旺垒、清華大學(xué)。

既然分析到學(xué)校了肤无，我們順便看看各高校的男女比例袖牙，嘿嘿。

發(fā)現(xiàn)一個(gè)有意思的現(xiàn)象舅锄，各高校大部分都是男生在玩知乎……
再看一下哪些高校在知乎獲得的贊數(shù)最多：

第一是同濟(jì)大學(xué)鞭达，土木工程，恩皇忿，這是哪位大佬撐起來的畴蹭；第二是華南理工大學(xué)，軟件工程鳍烁，這個(gè)我知道叨襟，輪子哥是皇家理工的嘛；第三幔荒，重慶第一工程尸培訓(xùn)基地糊闽，恩？爹梁？右犹？這是什么鬼（黑人問號(hào)）；繼續(xù)往后看姚垃，恩……念链？？家里蹲大學(xué)？掂墓？Ｇ础！還有一個(gè)蘭州大學(xué)君编，牛肉面工藝專業(yè)跨嘉？？吃嘿？WHAT祠乃？？＿胪帧！

∑(っ°Д°;)っ

知乎大佬都這么調(diào)皮嗎……

這個(gè)圖似乎不太準(zhǔn)忍饰，大家忽略就好……

我們?cè)賮砜纯?strong>各地區(qū)有哪些高校是知乎重度用戶贪嫂，顏色越深代表該學(xué)校的知乎用戶越多：

北京玩知乎最多的高校依次是：北京大學(xué)、北京郵電大學(xué)艾蓝、中國(guó)傳媒大學(xué)力崇、中國(guó)人民大學(xué)、清華大學(xué)赢织。

上海玩知乎最多的高校依次是：上海交通大學(xué)亮靴、復(fù)旦大學(xué)、同濟(jì)大學(xué)于置、上海大學(xué)茧吊、上海財(cái)經(jīng)大學(xué)。

杭州玩知乎最多的高校依次是：浙江大學(xué)八毯、浙江工業(yè)大學(xué)搓侄、杭州電子科技大學(xué)、浙江大學(xué),計(jì)算機(jī)科學(xué)话速、浙江大學(xué),軟件工程讶踪。浙江大學(xué)是重度用戶啊……

成都玩知乎最多的高校依次是：電子科技大學(xué)、四川大學(xué)泊交、西南交通大學(xué)乳讥、電子科技大學(xué),軟件工程、四川師范大學(xué)廓俭。

廣州玩知乎最多的高校依次是：中山大學(xué)（SYSU）云石、華南理工大學(xué)（SCUT）、華南農(nóng)業(yè)大學(xué)(SCAU)研乒、廣東外語(yǔ)外貿(mào)大學(xué)留晚、廣東工業(yè)大學(xué)。

我們?cè)賮砜匆幌?strong>知乎各高校用戶的活躍程度，按每個(gè)學(xué)校用戶回答問題的總數(shù)排名：

排名依次是：武漢大學(xué)错维、浙江大學(xué)奖地、中山大學(xué)、華南理工大學(xué)赋焕、北京大學(xué)参歹、華中科技大學(xué)、復(fù)旦大學(xué)隆判、上海交通大學(xué)犬庇、西北農(nóng)林科技大學(xué)。
好了侨嘀，高校分析告一段落臭挽，我們?cè)賮砜纯粗跤脩舻母黝惻琶?/p>

知乎贊數(shù)最多的100位大V

下圖中詞云的字越大，表示收到的贊數(shù)越多：

我們?cè)賮硪粡堉狈綀D咬腕，配合著看：

張佳瑋大大無可爭(zhēng)議的獲得第一名欢峰，360+萬贊，恐怖涨共。其次是馬前卒纽帖、唐缺、vczh举反、肥肥貓懊直、朱炫、Seasee Youl火鼻、ze ran室囊、鬼木知、豆子魁索。知乎獲贊總數(shù)前五名有兩位都是作家（張佳瑋和唐缺）波俄，看來作家在知乎回答問題獲贊方面還是很吃香，果然表達(dá)能力是觀點(diǎn)獲得認(rèn)可的一個(gè)重要支撐 蛾默。

知乎關(guān)注者最多的100位大V

下圖詞云的字越大懦铺，表示關(guān)注者越多，看看有沒有你熟悉的大V 呢支鸡？：

同樣我們配合著一張直方圖來看：

知乎關(guān)注人數(shù)最多的前10位大V依次是：張佳瑋冬念、李開復(fù)、黃繼新牧挣、周源急前、張亮、張小北瀑构、李淼裆针、朱炫刨摩、葛巾、田吉順世吨。這些是知乎真正的大V澡刹，關(guān)注者數(shù)量極多。關(guān)注者最多的張佳瑋有137萬粉絲（抓取時(shí)）耘婚，他的粉絲還在不斷上漲罢浇，到現(xiàn)在已經(jīng)有138萬粉絲。關(guān)注者最少田吉順也有57萬粉絲沐祷，輪子哥（vczh）稍微少一些嚷闭，排在第11位。

知乎回答問題最多的100位大V

這些大V在知乎很活躍…… 下圖詞云文字越大赖临，表示回答問題數(shù)量越多胞锰。

具體的排名為：

知乎回答問題數(shù)最多的10位大V從大到小依次為：vczh、李東兢榨、趙鋼嗅榕、另一只襪子、四海之內(nèi)色乾、M3小蘑菇誊册、kun yu领突、白貓轉(zhuǎn)轉(zhuǎn)風(fēng)暖璧、yskin、肛里拉出個(gè)電鋸君旦。微軟的工作貌似很閑澎办，看輪子哥（vczh）整天刷知乎……
我們?cè)賮砑由线@幾位用戶在知乎的獲得的贊數(shù)，看看“回答問題的數(shù)量”和“獲得的贊數(shù)”之間有沒有什么聯(lián)系：

由上圖我們可以粗略的得出結(jié)論金砍，回答問題的數(shù)量和獲得贊數(shù)的關(guān)系沒有很大局蚀。上圖中只有 kun yu 和 vczh 回答問題的數(shù)量和獲贊數(shù)基本持平，榜單前十名的其它用戶獲得贊數(shù)雖然也不少恕稠，但和他們回答問題數(shù)量的排名比起來琅绅，還不在一個(gè)量級(jí)上。這從側(cè)面也說明了一個(gè)問題鹅巍，回答問題的質(zhì)量更加重要千扶，某些高質(zhì)量的會(huì)更容易吸引用戶點(diǎn)贊。

知乎參加live最多的100位大V

我們?cè)賮砜匆粋€(gè)有意思的統(tǒng)計(jì)骆捧，知乎參加 live 最多的100位用戶澎羞，以及他們最多參加過多少場(chǎng) live。（live 是知乎推出的一種類似于直播的問答形式敛苇，大V開一場(chǎng) live妆绞，分享他所在領(lǐng)域的知識(shí)，用戶買門票參與 live，是一種知識(shí)變現(xiàn)的方式）

再來看看他們最多參加過多少場(chǎng) live：

最多的那個(gè)大V竟然參加過 1600+ 場(chǎng) live括饶，真的很有精力和金錢株茶，哈哈。

尾聲

以上巷帝，便是以知乎300萬用戶個(gè)人資料為樣本忌卤，做出的簡(jiǎn)單數(shù)據(jù)分析。大家覺得還可以挖掘哪些有用的信息呢楞泼？

喜歡我的分析的小伙伴可以點(diǎn)一個(gè)贊驰徊，或者等我的下一篇文章。接下來會(huì)發(fā)一篇爬蟲的源碼剖析堕阔，有時(shí)間的話會(huì)繼續(xù)抓取其它有用的數(shù)據(jù)棍厂，做成數(shù)據(jù)報(bào)告發(fā)上來。另外我會(huì)嘗試下把這次抓到的數(shù)據(jù)做成功能集成到公眾號(hào)中超陆，如果你有什么好玩的點(diǎn)子也可以推薦給我牺弹。

分布式知乎爬蟲思路分析：如何寫一個(gè)簡(jiǎn)單的分布式知乎爬蟲？

也歡迎大家去我的博客踩踩：http://yangyingming.com

撒由那拉~ 下次再見~

原創(chuàng)聲明

作者：囈語(yǔ)
微信公眾號(hào)：囈語(yǔ)的黑板報(bào)
轉(zhuǎn)載請(qǐng)注明：囈語(yǔ) ? 如何寫一個(gè)簡(jiǎn)單的分布式知乎爬蟲时呀？