姓名：張萌? ? ? ? ? 學(xué)號17021211113
轉(zhuǎn)載自：http://mp.weixin.qq.com/s/-R461U-ojnmWmfOLmkH1Yw
【嵌牛導(dǎo)讀】：最近用 python 爬蟲抓取了知乎用戶個人資料（公開信息）涉枫，去重之后有300+萬條記錄梧田，做了這個分析
【嵌牛鼻子】：知乎萌业，爬蟲
【嵌牛提問】：python爬蟲如何爬到這些數(shù)據(jù)蔚袍？
【嵌牛正文】：最近用 python 爬蟲抓取了知乎用戶個人資料（公開信息）乡范，去重之后有300+萬條記錄，為了得到這些數(shù)據(jù)啤咽，還不小心跑崩了一臺服務(wù)器…… 當(dāng)然主要是配置太低晋辆。
手頭有了數(shù)據(jù)也不能閑著，于是就有了這篇分析報告宇整，這篇報告做了一些淺顯的數(shù)據(jù)分析瓶佳，主要目的是練練手，大家看個熱鬧鳞青，高手勿笑霸饲。
數(shù)據(jù)量：3,289,329 人为朋。
數(shù)據(jù)采集工具：分布式 python 爬蟲
分析工具：ElasticSearch + Kibana
分析角度包括：地理位置、男女比例厚脉、各類排名习寸、所在高校、活躍程度等傻工。
注意：
以下所有分析結(jié)果都基于我抓取到的這300萬用戶的個人信息霞溪，非權(quán)威分析，僅供參考中捆。
數(shù)據(jù)抓取時間為2017年7月份鸯匹，用戶數(shù)據(jù)會隨著時間推移而變化，所以該報告具有一定時效性泄伪。
知乎的用戶個人資料很大程度上是不完整的殴蓬，因為用戶有權(quán)只填寫部分信息，所以后面分析的時候會篩掉對應(yīng)指標(biāo)為空的用戶蟋滴。
下面讓我們看看知乎用戶分布中有哪些有趣的現(xiàn)象科雳。
知乎的男女比例？
首先來看看知乎用戶的男女比例脓杉，以當(dāng)前樣本數(shù)據(jù)統(tǒng)計的結(jié)果接近 1:1糟秘，其中男生略多一些。（其實還有很大一部分性別不明的用戶球散，被我略掉了 ╮(╯╰)╭）
藍(lán)色為男生尿赚，紅色為女生。具體數(shù)據(jù)為：
男生：1,202,234 人蕉堰，占 51.55%凌净。
女生：1,129,874 人，占 48.45%屋讶。
知乎用戶都是哪里人冰寻？
再來看看全國（全球？）都有哪些地方的人在玩知乎：
由上圖可以看到皿渗，知乎用戶中一線城市用戶占較大的比重斩芭，北上廣深皆在詞云的中心位置（文字越大，比重越大）乐疆。我們再來看看具體的排名（前十名）：
你可能發(fā)現(xiàn)了Y坐標(biāo)里每座城市的用戶數(shù)并不多蚊夫，這是因為有大概260萬的知乎沒有填寫“居住地”這一欄~ 以下分析也有可能出現(xiàn)用戶沒有填寫某一欄信息的情況，我會把這些用戶忽略掉止邮，以保證展示圖表的準(zhǔn)確性这橙。
知乎的職業(yè)分布奏窑？
以下顯示知乎主流職業(yè)导披，同樣根據(jù)知乎用戶個人信息里填寫的職業(yè)為準(zhǔn)：
由上圖可以看到，知乎用戶中學(xué)生用戶占據(jù)多數(shù)埃唯，其它的比如產(chǎn)品經(jīng)理撩匕、程序員、運營墨叛、HR數(shù)量也不少止毕。我們看一下具體的排名（前十名）：
由上圖可以看到，知乎用戶中“學(xué)生”的比重獨占鰲頭漠趁，我們把“學(xué)生”去掉扁凛，來看看正經(jīng)些的知乎職業(yè)排名：
去除學(xué)生后，知乎主流職業(yè)比重從大到小依次是（前十名）：產(chǎn)品經(jīng)理闯传、自由職業(yè)谨朝、程序員、工程師甥绿、設(shè)計師字币、騰訊、教師共缕、人力資源（HR）洗出、運營、律師图谷◆婊睿可以看到，除了一些互聯(lián)網(wǎng)公司的常見職位外便贵，教師和律師用戶在知乎中也占據(jù)不小的比重隅茎。
下面我們結(jié)合 性別 和 居住地 來分析一下知乎的主流職業(yè)。
知乎主流職業(yè)的性別分布：
上面這張餅圖的內(nèi)圈表示各主流職業(yè)在前十名中所占的比重嫉沽，外圈表示該職業(yè)從業(yè)者中的男女比例辟犀，藍(lán)色為男性，紅色為女性。我們再用一張直方圖來表示：
同樣藍(lán)色代表男性堂竟，紅色代表女性魂毁，從左到右的職業(yè)在知乎中的數(shù)量依次下降〕鲟冢可以看到席楚，知乎大部分主流職業(yè)中主要為男性占主導(dǎo)。前 10 名的主流職業(yè)中有 8 個職業(yè)的男性從業(yè)者比女性多税稼，其中以 程序員 的男女比例差距最為懸殊（-_-|||）烦秩，以 設(shè)計師 男女比例差距最小，看來設(shè)計師從業(yè)人員男女比例較為均衡郎仆。其它的只祠，比如產(chǎn)品經(jīng)理、自由職業(yè)者扰肌、律師中抛寝，均為男性從業(yè)者多于女性。而前 10 名剩下的 2 個職業(yè)——教師曙旭、人力資源（HR）——女性從業(yè)者要多于男性盗舰，其中以 人力資源（HR） 男女比例差距最為懸殊，教師的男女比例雖不那么夸張桂躏，但女性也遠(yuǎn)遠(yuǎn)多于男性（也許是因為男性教師不怎么上知乎钻趋？）。
看完了知乎各職業(yè)的性別分布剂习，我們再用一張熱力圖來觀察知乎主流職業(yè)（前五名）在各個地區(qū)的分布情況蛮位，顏色越深，代表該職業(yè)在該地區(qū)的人數(shù)越多：
這里我為了展示方便进倍，去掉了產(chǎn)品經(jīng)理土至，你只需要知道產(chǎn)品經(jīng)理在各地人數(shù)都是最多的…… 不明白知乎上怎么這么多產(chǎn)品經(jīng)理，可能是為了方便宣傳他們的產(chǎn)品猾昆？
從上圖可以看出陶因，知乎各主流職業(yè)大部分集中在北京和上海兩地，更準(zhǔn)確地說垂蜗，大部分都集中在北京楷扬，但是人力資源（HR）是個例外，他們更多集中在上海贴见。我們再來看看其他職業(yè)烘苹，程序員分布最多的城市依次是：北京、上海片部、廣州镣衡、杭州、廈門。北京占得比重最大廊鸥，簡直綠的發(fā)黑望浩，看來北京是程序員的天堂？其中深圳沒有上榜惰说，讓我很奇怪磨德。設(shè)計師分布最多的城市依次是：北京、上海吆视、杭州典挑、深圳、武漢啦吧。設(shè)計師的地區(qū)分布比較平均您觉，各個城市都有一定數(shù)量。
知乎的高校用戶
知乎中學(xué)生用戶占很大的比重丰滑，我們來看看他們都來自哪些學(xué)校顾犹！詞云中字體越大倒庵，表示所占比重越大褒墨。
我們再列出詳細(xì)的比重排名：
以上展示的結(jié)果不一定準(zhǔn)確，可能有很大一部分學(xué)生用戶沒有填寫自己的學(xué)校擎宝。僅從上圖可以看出郁妈，知乎活躍高校用戶從大到小依次是：浙江大學(xué)、武漢大學(xué)绍申、華中科技大學(xué)噩咪、中山大學(xué)、北京大學(xué)极阅、上海交通大學(xué)胃碾、復(fù)旦大學(xué)、南京大學(xué)筋搏、四川大學(xué)仆百、清華大學(xué)。
既然分析到學(xué)校了奔脐，我們順便看看各高校的男女比例俄周，嘿嘿。
發(fā)現(xiàn)一個有意思的現(xiàn)象髓迎，各高校大部分都是男生在玩知乎……
再看一下哪些高校在知乎獲得的贊數(shù)最多：
第一是同濟大學(xué)峦朗，土木工程，恩排龄，這是哪位大佬撐起來的波势；第二是華南理工大學(xué)，軟件工程，這個我知道尺铣，輪子哥是皇家理工的嘛闭翩；第三，重慶第一工程尸培訓(xùn)基地迄埃，恩疗韵？？侄非？這是什么鬼（黑人問號）蕉汪；繼續(xù)往后看，恩……逞怨？者疤？家里蹲大學(xué)？叠赦？＞月怼！還有一個蘭州大學(xué)除秀，牛肉面工藝專業(yè)糯累？？册踩？WHAT泳姐？？Ｔ菁胖秒！
知乎大佬都這么調(diào)皮嗎…
我們再來看看各地區(qū)有哪些高校是知乎重度用戶，顏色越深代表該學(xué)校的知乎用戶越多：
北京玩知乎最多的高校依次是：北京大學(xué)慕的、北京郵電大學(xué)阎肝、中國傳媒大學(xué)、中國人民大學(xué)肮街、清華大學(xué)风题。
上海玩知乎最多的高校依次是：上海交通大學(xué)、復(fù)旦大學(xué)低散、同濟大學(xué)俯邓、上海大學(xué)、上海財經(jīng)大學(xué)熔号。
杭州玩知乎最多的高校依次是：浙江大學(xué)稽鞭、浙江工業(yè)大學(xué)、杭州電子科技大學(xué)引镊、浙江大學(xué),計算機科學(xué)朦蕴、浙江大學(xué),軟件工程篮条。浙江大學(xué)是重度用戶啊……
成都玩知乎最多的高校依次是：電子科技大學(xué)、四川大學(xué)吩抓、西南交通大學(xué)涉茧、電子科技大學(xué),軟件工程、四川師范大學(xué)疹娶。
廣州玩知乎最多的高校依次是：中山大學(xué)（SYSU）伴栓、華南理工大學(xué)（SCUT）、華南農(nóng)業(yè)大學(xué)(SCAU)雨饺、廣東外語外貿(mào)大學(xué)钳垮、廣東工業(yè)大學(xué)。
我們再來看一下知乎各高校用戶的活躍程度额港，按每個學(xué)校用戶回答問題的總數(shù)排名：
排名依次是：武漢大學(xué)饺窿、浙江大學(xué)、中山大學(xué)移斩、華南理工大學(xué)肚医、北京大學(xué)、華中科技大學(xué)向瓷、復(fù)旦大學(xué)肠套、上海交通大學(xué)、西北農(nóng)林科技大學(xué)风罩。
知乎贊數(shù)最多的100位大V
下圖中詞云的字越大糠排，表示收到的贊數(shù)越多：
張佳瑋大大無可爭議的獲得第一名舵稠，360+萬贊超升，恐怖。其次是馬前卒哺徊、唐缺室琢、vczh、肥肥貓落追、朱炫盈滴、Seasee Youl、ze ran轿钠、鬼木知巢钓、豆子。知乎獲贊總數(shù)前五名有兩位都是作家（張佳瑋和唐缺）疗垛，看來作家在知乎回答問題獲贊方面還是很吃香症汹，果然表達(dá)能力是觀點獲得認(rèn)可的一個重要支撐 。
知乎關(guān)注者最多的100位大V
下圖詞云的字越大贷腕，表示關(guān)注者越多背镇，看看有沒有你熟悉的大V 呢咬展？：
知乎關(guān)注人數(shù)最多的前10位大V依次是：張佳瑋、李開復(fù)瞒斩、黃繼新破婆、周源、張亮胸囱、張小北祷舀、李淼、朱炫烹笔、葛巾蔑鹦、田吉順。這些是知乎真正的大V箕宙，關(guān)注者數(shù)量極多嚎朽。關(guān)注者最多的張佳瑋有137萬粉絲（抓取時），他的粉絲還在不斷上漲柬帕，到現(xiàn)在已經(jīng)有138萬粉絲哟忍。關(guān)注者最少田吉順也有57萬粉絲，輪子哥（vczh）稍微少一些陷寝，排在第11位锅很。
知乎回答問題最多的100位大V
這些大V在知乎很活躍…… 下圖詞云文字越大，表示回答問題數(shù)量越多凤跑。
具體的排名為：
知乎回答問題數(shù)最多的10位大V從大到小依次為：vczh爆安、李東、趙鋼仔引、另一只襪子扔仓、四海之內(nèi)、M3小蘑菇咖耘、kun yu翘簇、白貓轉(zhuǎn)轉(zhuǎn)風(fēng)、yskin儿倒、肛里拉出個電鋸版保。微軟的工作貌似很閑，看輪子哥（vczh）整天刷知乎……
我們再來加上這幾位用戶在知乎的獲得的贊數(shù)夫否，看看“回答問題的數(shù)量”和“獲得的贊數(shù)”之間有沒有什么聯(lián)系：
由上圖我們可以粗略的得出結(jié)論彻犁，回答問題的數(shù)量和獲得贊數(shù)的關(guān)系沒有很大。上圖中只有 kun yu 和 vczh 回答問題的數(shù)量和獲贊數(shù)基本持平凰慈，榜單前十名的其它用戶獲得贊數(shù)雖然也不少汞幢，但和他們回答問題數(shù)量的排名比起來，還不在一個量級上溉瓶。這從側(cè)面也說明了一個問題急鳄，回答問題的質(zhì)量更加重要谤民，某些高質(zhì)量的會更容易吸引用戶點贊。
知乎參加live最多的100位大V
我們再來看一個有意思的統(tǒng)計疾宏，知乎參加 live 最多的100位用戶张足，以及他們最多參加過多少場 live。（live 是知乎推出的一種類似于直播的問答形式坎藐，大V開一場 live为牍，分享他所在領(lǐng)域的知識，用戶買門票參與 live岩馍，是一種知識變現(xiàn)的方式）
再來看看他們最多參加過多少場 live：
最多的那個大V竟然參加過 1600+ 場 live碉咆，真的很有精力和金錢，哈哈
