知乎上經(jīng)常會有很多令人忍俊不禁的神回復(fù)侠草，初看之下拍案叫絕辱挥，細(xì)思之下更是回味無窮。本文就來介紹下如何爬取知乎的神回復(fù)边涕，揭曉其背后的原理晤碘。
知乎神回復(fù)都有些什么特點(diǎn)呢？我們先來觀察一下功蜓，如下圖：
大家看出什么規(guī)律了么园爷？短小精辟有沒有？贊同很多有沒有式撼？所以爬取知乎神回復(fù)我們只要爬取那些贊同多又字?jǐn)?shù)少的回答就可以童社。
簡單的兩個步驟就能實現(xiàn)，第一步爬取知乎回答著隆，第二部篩選回答扰楼。是不是很 easy？
爬取知乎回答
第一步我們爬取知乎上的回答旅东。知乎上的回答太多了灭抑，一下子爬取所有的回答會很費(fèi)時十艾，我們可以選定幾個話題抵代，爬取這幾個話題里的內(nèi)容。
下面的函數(shù)用于爬取某一個指定話題的內(nèi)容：
def get_answers_by_page(topic_id, page_no):
offset = page_no * 10
url = <topic_url> # topic_url是這個話題對應(yīng)的url
headers = {
“User-Agent”: “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36”,
}
r = requests.get(url, verify=False, headers=headers)
content = r.content.decode(“utf-8”)
data = json.loads(content)
is_end = data[“paging”][“is_end”]
items = data[“data”]
client = pymongo.MongoClient()
db = client[“zhihu”]
if len(items) > 0:
db.answers.insert_many(items)
db.saved_topics.insert({“topic_id”: topic_id, “page_no”: page_no})
return is_end
get_answers_by_page 函數(shù)有兩個參數(shù)忘嫉，第一個參數(shù)是話題的 id荤牍，第二個參數(shù)表示爬的是第幾頁的內(nèi)容。
爬下來的內(nèi)容當(dāng)中有幾個需要注意的字段庆冕，下圖中用黃框高亮出來了：
這幾個字段的含義如下：
question.title：問題的標(biāo)題康吵。
content：回答的內(nèi)容。
voteup_count：贊同的數(shù)量访递。
這些字段在下一步篩選回答的時候會用到晦嵌。
篩選回答
爬完數(shù)據(jù)后，我們來篩選一下結(jié)果拷姿。我們用 MongoDB 中的聚合管道對回答做篩選惭载。
關(guān)于 MongoDB 的聚合管道的用法可以參考 Aggregation Pipeline Quick Reference 這篇文章：
https://docs.mongodb.com/manual/meta/aggregation-quick-reference/
代碼如下：
client = pymongo.MongoClient()
db = client[“zhihu”]
items = db.answers.aggregate([
{“KaTeX parse error: Expected 'EOF', got '}' at position 34: …ype": "answer"}}?, {"match”: {“target.voteup_count”: {“KaTeX parse error: Expected 'EOF', got '}' at position 11: gte": 1000}?}}, {"addFields”: {“answer_len”: {“strLenCP":"strLenCP": "strLenCP":"target.content”}}},
{“KaTeX parse error: Expected '}', got 'EOF' at end of input: …answer_len": {"lte”: 50}}},])
上面的代碼會篩選所有贊同大于 1000拔第、字?jǐn)?shù)小于 50 的回答蚀同，篩選出來的結(jié)果就是短小精辟的神回復(fù)蒸苇。
以上是核心代碼甜癞，完整代碼已上傳 GitHub：
https://github.com/pythonml/answer
知乎神回復(fù)
代碼寫完了埋心，我們來運(yùn)行下看看须揣。由于關(guān)注者大部分是程序員诀豁，我們來篩選一下和程序員有關(guān)的神回復(fù)畔规。結(jié)果如下，近百條搞笑段子
PS：段子僅僅是作為爬蟲的結(jié)果展示拘泞，供大家一笑纷纫！大家可以在評論區(qū)討論下哪個段子最逗！
1
Q：碼農(nóng)們最常說的「謊言」有哪些陪腌？
A：//TODO
2
Q：計算機(jī)系的學(xué)生都有哪些口頭禪涛酗？
A：我電腦上運(yùn)行的好好的啊??
3
Q：如何反駁「程序員離開電腦就是廢物」這個觀點(diǎn)？
A：不不不偷厦，很多程序員在電腦前也是廢物商叹。
4
Q：假如有一天所有的人都使用計算機(jī)語言說話，會是怎樣的場景只泼？
A：hello剖笙，world。燙燙燙燙燙燙燙?d}??R?0:?v??.
5
Q：突然想開一家程序員主題的餐館请唱，名字就叫程序員的菜弥咪，菜名就叫各種語言中的關(guān)鍵字，各位指點(diǎn)一哈十绑，有前途沒聚至？
A：進(jìn)門一個大大的 hello world，招牌菜叫“紅燒產(chǎn)品經(jīng)理”本橙，一定會爆滿的扳躬。
6
Q：什么是遞歸？
A：「不宜公開討論的政治內(nèi)容」的定義和范疇本身也屬于「不宜公開討論的政治內(nèi)容」
7
Q：編程最基本的術(shù)語 “Bug” 該怎么翻譯甚亭？
A：幺蛾子贷币，你的程序又出幺蛾子了。
8
Q：編程的樂趣是什么亏狰？
A：人的成就感來源于兩樣?xùn)|西役纹，創(chuàng)造和毀滅。
9
Q：計算機(jī)世界里有哪些經(jīng)典謠言暇唾？
A：我已閱讀并同意該條款促脉。
10
Q：作為程序員，你在編程時吃了哪些數(shù)學(xué)的虧策州？
A：看論文時候一個"顯然"推了我一下午瘸味。
11
Q：土豪程序員的設(shè)備都有啥？
A：女朋友抽活。硫戈。。
12
Q：祈求代碼不出 Bug 該拜哪個神仙下硕？
A：拜雍正丁逝，專治八阿哥汁胆。
13
Q：考上好大學(xué)學(xué) IT 是不是當(dāng)今中國窮人家孩子晉級中產(chǎn)唯一的出路？
A：對霜幼，就 4 條路嫩码，寫代碼，搞金融罪既，在代碼圈搞金融铸题，在金融圈寫代碼。
14
Q：為什么程序員無論到哪兒都喜歡背電腦包琢感，哪怕里面沒有裝電腦丢间？
A：因為他們沒有別的包。
15
Q：「Talk is cheap. Show me the code」怎么翻譯比較好驹针？
A：屁話少說烘挫，放碼過來。
16
Q：為什么程序員的女朋友或老婆顏值普遍要高于男方很多柬甥？還是說程序員已經(jīng)算是婚戀市場的優(yōu)質(zhì)股了饮六？
A：程序員女朋友顏值高，我是服的苛蒲，因為隨便問十個程序員他的女朋友是誰卤橄，有九個回答是新垣結(jié)衣。
17
Q：為什么一部分人寧可買幾個機(jī)械鍵盤換著用臂外，也不愿意給自己敷一下面膜窟扑？
A：老子不靠臉吃飯。老子靠辛辛苦苦掙來的鈔票寄月。老子想怎么花就怎么花辜膝。
18
Q：程序員夫妻結(jié)婚戒指刻什么字好无牵？
A：0 error 0 warning漾肮。
19
Q：IT 工程師被叫「碼農(nóng)」時是否會不舒服？
A：我們好歹還是人茎毁，產(chǎn)品和設(shè)計已經(jīng)是狗了……
20
Q：為什么一個銷售男（30歲）會約我一個男程序員（24歲）去小區(qū)附近的星巴克克懊？
A：根據(jù)哥多年的經(jīng)驗，他應(yīng)該是有巨牛逼的 idea 然后只差程序員去實現(xiàn)了七蜘。
21
Q：怎么找到喜歡程序員的妹子做女友谭溉？
A：看緣分，知乎上這么多用戶橡卤，你關(guān)注到我就是緣分扮念。
22
Q：程序員女朋友如何給程序員男朋友過生日？
A：告訴他碧库，接口已經(jīng)準(zhǔn)備好了柜与。
23
Q：作為程序員巧勤，你是如何在工作以后找到女朋友的？
A：題主作了這么久的程序員弄匕，還喜歡女孩子已經(jīng)難能可貴了颅悉。
24
Q：程序員轉(zhuǎn)行燒烤需要做哪些準(zhǔn)備，有哪些優(yōu)勢和劣勢迁匠？
A：你看剩瓶，你連自己做燒烤都不知道優(yōu)勢劣勢在哪里，所以城丧，你還是需要一名產(chǎn)品經(jīng)理延曙。
25
Q：哪些話可以惹火程序員？
A：路過他電腦前時說一句亡哄，呦搂鲫，又在寫 Bug 呢!
26
Q：我的一位老師說，Java 適用于大型軟件而 C# 適用中小型軟件磺平。這是真的么魂仍？
A：Java 有項天賦，就是能把中小型軟件寫成大型的拣挪。
27
Q：為什么 2014 年程序員薪資那么高擦酌？
A：時薪又不高。
28
Q：是不是大部分程序員都在抱怨工資低菠劝？
A：誰赊舶、誰在抱怨工資高？
29
Q：單身程序狗解決了一個技術(shù)難題后沒有妹子可以炫耀或夸一下自己怎么辦赶诊？
A：現(xiàn)在你明白了吧笼平，為什么那么多程序員要寫技術(shù)博客。
30
Q：中國程序員是否偏愛「沖鋒衣+牛仔褲+運(yùn)動鞋」的衣著舔痪？如果是寓调，為何會形成這樣的潮流？
A：穿那么好看給程序看嗎锄码？
31
Q：作為 IT 從業(yè)人員夺英，你覺得有什么工具大大提高了你的工作效率？
A：單身滋捶。
32
Q：為什么我認(rèn)為程序員似乎大多不善言辭痛悯？
A：你就當(dāng)是我們情商低就好了，這樣你開心重窟，我們也開心载萌。
33
Q：在中國，年齡最大的程序員不過 40 歲左右，請問中國的程序員未來還可以做什么扭仁？
A：這跟為什么 90 后沒人活過 30 歲是同一個原理可缚。
34
Q：如何回復(fù)程序員發(fā)來的短信：「Hello world」？
A：hello nerd斋枢。
35
Q：怎么看出 IT 男喜歡一個女生帘靡？
A：當(dāng)他拼著自己早已養(yǎng)成的寡言少語的習(xí)慣去死命的跟你套近乎的時候。
36
Q：有線鼠標(biāo)會被無線鼠標(biāo)取代嗎瓤帚？
A：我覺得在網(wǎng)吧有線鼠標(biāo)就不會被取代描姚。
37
Q：同事說自己 C++ 水平全中國第一，怎么讓他意識到自己沒那么厲害戈次？
A：實不相瞞轩勘，我也不是裝逼：我的 C++ 水平全國第 0。
38
Q：為什么 iPhone 刪軟件時怯邪，所有圖標(biāo)都要抖绊寻？
A：第三方軟件是嚇得，系統(tǒng)自帶軟件是嘚瑟悬秉。
39
Q：計算機(jī)世界里有哪些經(jīng)典謠言澄步？
A：Windows 正在聯(lián)機(jī)尋找解決方案。
40
Q：iPhone 處理器的性能按照現(xiàn)在每年翻一倍的節(jié)奏和泌，是不是很快就能趕上甚至超過臺式電腦的處理器村缸？
A：小時候我總覺得過兩年我就能和大我兩歲的哥哥一樣大了。
41
Q：知乎給你帶來的最小限度的好處是什么武氓？
A：消磨時間還不覺得罪惡梯皿。
42
Q：有哪些反人類的科技發(fā)明或設(shè)計？
A：電腦連不上網(wǎng)县恕，診斷以后它提示我要聯(lián)網(wǎng)解決东羹。
43
Q：為什么設(shè)計師不愿意被稱為美工？
A：只要工資開的高忠烛，叫我阿姨都行属提。
44
Q：為什么有人認(rèn)為網(wǎng)易云音樂是業(yè)界良心？
A：有一天突然給我推送一條消息說我要的歌詞找到了
45
Q：為什么沒有出現(xiàn)無人機(jī)自毀式攻擊武器呢况木？恐怖分子用過嗎垒拢？
A：你是說導(dǎo)彈么？
46
Q：既然思想是我的火惊，那么為什么有時候我控制不了我的負(fù)面情緒？
A：操作系統(tǒng)不會允許用戶訪問奔垦、修改及刪除核心系統(tǒng)文件屹耐，因為這會損壞系統(tǒng)，導(dǎo)致運(yùn)行異常。
47
Q：魯迅雖然很牛惶岭，但在這世界十大文豪里是不是湊數(shù)的寿弱？
A：為什么文豪要為文盲排的榜買單？
48
Q：人類的哪些科技已經(jīng)接近瓶頸按灶，很久沒有重大突破了症革？
A：燒開水。
49
Q：如何看待某些人下載軟件喜歡到官網(wǎng)的偏好鸯旁？
A：同學(xué)你沒中過百度全家桶吧噪矛？
50
Q：為什么很多人買筆記本打游戲，而不用性能更好的臺式機(jī)铺罢？
A：因為買不起房子艇挨。。韭赘。
51
Q：第一次聽好耳機(jī)對你帶來的震撼有多大缩滨？
A：第一次聽好耳機(jī)不會給人多大震撼，但是當(dāng)換回普通耳機(jī)的時候泉瞻，震撼就來了脉漏。
52
Q：Chrome 真的很費(fèi)電嗎？
A：不費(fèi)電袖牙，我現(xiàn)在就在用 Chrome鸠删，用到現(xiàn)在這么久，筆記本電量還有 50%贼陶，我估讠
53
Q：MacBook 上安裝 Windows 后的使用體驗如何刃泡？
A：像突然間有了軟肋，并且還失去了鎧甲碉怔。
54
Q：家里所有有關(guān)產(chǎn)品都用蘋果產(chǎn)品是一種什么體驗烘贴？
A：來個電話全家都響了起來。
55
Q：你為什么不買 iPhone X撮胧？
A：日益增長的美好生活需要和貧窮的現(xiàn)實之間的矛盾桨踪。
56
Q：為什么有人愿意花幾千元買 iPhone ，卻不愿意花幾十元買正版 iPhone 軟件和游戲芹啥？
A：因為他們下載不到 iPhone锻离。
57
Q：有什么 App 取的名字特別驚艷？
A：水表助手…是查快遞的…
58
Q：你為什么要買移動硬盤墓怀？
A：條件好了也要給自己的女人們住舒適點(diǎn)啊汽纠。
59
Q：如何用 iPad 遙控 PC 關(guān)機(jī)？
A：瞄準(zhǔn) PC 電源鍵扔過去傀履。
60
Q：如何評價 2016 年 9 月 7 日的蘋果發(fā)布會虱朵？
A：為了新 MacBook Pro，半年看了三場發(fā)布會……
61
Q：如何評價 Internet Explorer？
A：下載其他瀏覽器的瀏覽器碴犬。
-----一年后-----
IE8 以下好爛絮宁，做前端想哭的節(jié)奏。
62
Q：爸媽讓我攢錢買房服协，我卻想買蘋果電腦怎么辦绍昂？
A：你要真能 3 年攢 50 萬的房子，差這 1 萬 7 買個電腦么偿荷，大哥?
63
Q：有哪些垃圾手機(jī)軟件窘游？
A：短信攔截軟件！ 攔截后告訴你它攔截了一條短信遭顶。 我相信 99% 的人會再去點(diǎn)進(jìn)去看一下被攔截的短信张峰！
64
Q：一個完整的 PPT 做下來，最讓你頭疼的是什么棒旗？
A：怎樣向領(lǐng)導(dǎo)隱藏自己的實力喘批。
65
Q：什么是 Vim 可以做而 Emacs 做不到的？
A：幫助烏干達(dá)的可憐兒童……
66
Q：蘋果用戶為什么選擇蘋果铣揉？
A：因為不用蘋果的用戶不是蘋果用戶饶深。
67
Q：為什么程序員不應(yīng)該會修電腦？
A：范冰冰需要會修電視機(jī)嗎逛拱？
68
Q：你隨身攜帶或佩戴最久的那件東西是什么敌厘？對你有什么特殊的意義？
A：眼鏡朽合，因為瞎俱两。
69
Q：顏值真的有那么重要嗎？
A：同樣是互聯(lián)網(wǎng)巨頭曹步，李彥宏是老公宪彩，而馬云只能當(dāng)爸爸。
70
Q：為什么人常會在黑夜里讲婚，變得矯情萬分尿孔？
A：要渲染的圖像少了，CPU 就有空閑來思考人生了筹麸。
71
Q：你第一次跳槽是什么原因活合？后悔嗎？
A：我上班就是為了錢物赶，他非得和我談理想白指，可我的理想是不上班…
72
Q：面試的時候被人問到為什么你沒有去清華大學(xué)，你該怎么回答块差？
A：“去了侵续，但保安沒讓進(jìn)倔丈『┤颍”
73
Q：接了阿里 Offer 后毀約會被拉黑嗎状蜗？
A：得打個電話，讓對方擁抱變化鹉动。
74
Q：男生在【日常打扮】中如何才能穿出二次元的感覺轧坎，同時顯得得體又不怪異？
A：穿女裝就好了泽示。
75
Q：IT 界有哪些有意思的短笑話缸血？
A：winrarsetup.rar。
76
Q：平時開玩笑開習(xí)慣了械筛，結(jié)果跟女生表白人家以為我是開玩笑呢捎泻，怎么辦？
A：她才沒誤會呢埋哟，只是她比較善良笆豁。
77
Q：怎樣拒絕女生的告白？
A：對不起赤赊，我是個好人闯狱。
78
Q：你會在意你的戀人有異性閨蜜嗎？
A：女人永遠(yuǎn)不會明白男人為什么懷疑她跟別的男人的友誼抛计，因為男人太了解男人了哄孤！
79
Q：如何成為“交際花”？
A：善解人異吹截，善解人疑瘦陈，善解人意，善解人衣波俄。
80
Q：如何優(yōu)雅地拒絕他人的表白晨逝？
A：我知道了，你先回去等消息吧～
81
Q：在哪里可更高幾率遇見高質(zhì)量男生弟断？
A：兩會的時候可以去逛逛咏花，每個地方牛逼的大叔都在那。
82
Q：為什么那么多人說自己寂寞阀趴、孤單昏翰、想找個男／女朋友，卻還是單身刘急？
A：因為不僅自己丑棚菊，還嫌別人長得丑。
83
Q：做備胎是什么感覺叔汁？
A：每一句話都是密碼
84
Q：滾床單來不及卸妝怎么辦统求？
A：別啊检碗，我要的就是阿凡達(dá)。
85
Q：男生堅持每天給女生說晚安码邻，持續(xù)一年會怎樣折剃？
A：IE 天天都問我要不要把它設(shè)定為默認(rèn)瀏覽器，已經(jīng)好幾年了像屋。
86
Q：女生送青蛙玩具給男生怕犁，代表什么意思？
A：我送你個青蛙己莺，你好歹還我點(diǎn)蝌蚪吧奏甫。
87
Q：女生的長相重要嗎？
A：重要凌受，一般姑娘撒個嬌就能解決的問題我都得靠武力阵子。
88
Q：你為什么還單身？
A：因為單身比較專注胜蛉，單身使人進(jìn)步~
89
Q：為什么絕大部分女生拒絕男生表白后都希望做朋友挠进，這是什么心態(tài)？
A：跟你客氣一下啊腾么，要不還能說什么奈梳，“我們不合適，我們還是做仇人吧”
90
Q：如何用歌詞表白解虱？
A：總想對你表白攘须，我的心情是多么豪邁。
91
Q：表白被拒絕時你在想什么殴泰？
A：不愧是我看上的妹子于宙，眼光果然不錯～
92
Q：有個女生幫了我的忙，我想感謝她但不希望她男友誤會悍汛，我該怎么做捞魁？
A：你可以給她送個錦旗。离咐。谱俭。
————————————————
版權(quán)聲明：本文為CSDN博主「??聽聞??」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議宵蛀，轉(zhuǎn)載請附上原文出處鏈接及本聲明昆著。
原文鏈接：https://blog.csdn.net/weixin_47979914/article/details/107002831
