用爬蟲獲取簡(jiǎn)書總用戶數(shù)和總文章數(shù)隨時(shí)間的變化曲線

思路

關(guān)鍵在于如何得到一系列的文章、用戶全局編號(hào)以及文章發(fā)表和用戶注冊(cè)的時(shí)間戳挽唉,作為時(shí)間-數(shù)量曲線上的二維點(diǎn)滤祖。希望這些點(diǎn)能夠隨時(shí)間較為均勻地分布,這樣瓶籽,幾百個(gè)采樣點(diǎn)足矣匠童。

然而用來(lái)訪問簡(jiǎn)書文章和用戶頁(yè)面里是編號(hào)的hash值,因此不可能簡(jiǎn)單通過編號(hào)遞增的方法產(chǎn)生訪問地址來(lái)獲得時(shí)間戳塑顺。

但稍加分析可發(fā)現(xiàn)汤求,用戶的文章列表中有個(gè)note-id字段俏险,似乎就是文章本身的全局編號(hào)。那么扬绪,找一個(gè)簡(jiǎn)書創(chuàng)立之初就開始連續(xù)發(fā)表文章的用戶竖独,例如@簡(jiǎn)書,那么挤牛,遍歷文章列表獲得note-id和對(duì)應(yīng)發(fā)表時(shí)間就可搞定文章總數(shù)的時(shí)間曲線莹痢。

對(duì)于用戶數(shù)量,發(fā)現(xiàn)搜索用戶的功能里ajax請(qǐng)求可返回包含用戶全局id的json信息墓赴,而用戶主頁(yè)的動(dòng)態(tài)中竞膳,第一條為用戶加入簡(jiǎn)書的時(shí)間。那么诫硕,可搜索常用用戶名的單字顶猜,例如“小”,“的”之類痘括,可保證較為均勻地獲得簡(jiǎn)書創(chuàng)立之初直到現(xiàn)在的用戶信息长窄。

獲取方法

根據(jù)前述思路,寫js腳本纲菌,在chrome瀏覽器中挠日,簡(jiǎn)書頁(yè)面之下運(yùn)行即可,好處是不用寫登錄邏輯翰舌,且滿足同源策略方便ajax嚣潜。細(xì)節(jié)比較簡(jiǎn)單,不贅述椅贱。

結(jié)果

把結(jié)果按照時(shí)間排序懂算,繪制得到:

簡(jiǎn)書用戶數(shù)、文章數(shù)的時(shí)間曲線

可見目前文章數(shù)超過1200萬(wàn)庇麦,用戶數(shù)超過600萬(wàn)计技。總體而言山橄,曲線平穩(wěn)上升垮媒。對(duì)比之下,文章數(shù)上升更快航棱,說明大家的創(chuàng)作熱情越來(lái)越強(qiáng)了睡雇。
另外,看到2015年7月附近有些跳變饮醇,推測(cè)是做了推廣吧它抱。

思考題:如何獲得簡(jiǎn)書的日活?

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末朴艰,一起剝皮案震驚了整個(gè)濱河市观蓄,隨后出現(xiàn)的幾起案子混移,更是在濱河造成了極大的恐慌,老刑警劉巖蜘腌,帶你破解...
    沈念sama閱讀 211,123評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件沫屡,死亡現(xiàn)場(chǎng)離奇詭異饵隙,居然都是意外死亡撮珠,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,031評(píng)論 2 384
  • 文/潘曉璐 我一進(jìn)店門金矛,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)芯急,“玉大人,你說我怎么就攤上這事驶俊∪⑺#” “怎么了?”我有些...
    開封第一講書人閱讀 156,723評(píng)論 0 345
  • 文/不壞的土叔 我叫張陵饼酿,是天一觀的道長(zhǎng)榕酒。 經(jīng)常有香客問我,道長(zhǎng)故俐,這世上最難降的妖魔是什么想鹰? 我笑而不...
    開封第一講書人閱讀 56,357評(píng)論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘袱蚓。我一直安慰自己悴晰,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,412評(píng)論 5 384
  • 文/花漫 我一把揭開白布金赦。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪碌廓。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,760評(píng)論 1 289
  • 那天剩盒,我揣著相機(jī)與錄音氓皱,去河邊找鬼。 笑死勃刨,一個(gè)胖子當(dāng)著我的面吹牛波材,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播身隐,決...
    沈念sama閱讀 38,904評(píng)論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼廷区,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了贾铝?” 一聲冷哼從身側(cè)響起隙轻,我...
    開封第一講書人閱讀 37,672評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤埠帕,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后玖绿,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體敛瓷,經(jīng)...
    沈念sama閱讀 44,118評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,456評(píng)論 2 325
  • 正文 我和宋清朗相戀三年斑匪,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了呐籽。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,599評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡蚀瘸,死狀恐怖狡蝶,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情贮勃,我是刑警寧澤贪惹,帶...
    沈念sama閱讀 34,264評(píng)論 4 328
  • 正文 年R本政府宣布,位于F島的核電站寂嘉,受9級(jí)特大地震影響奏瞬,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜泉孩,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,857評(píng)論 3 312
  • 文/蒙蒙 一硼端、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧棵譬,春花似錦显蝌、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,731評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至脏嚷,卻和暖如春骆撇,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背父叙。 一陣腳步聲響...
    開封第一講書人閱讀 31,956評(píng)論 1 264
  • 我被黑心中介騙來(lái)泰國(guó)打工神郊, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人趾唱。 一個(gè)月前我還...
    沈念sama閱讀 46,286評(píng)論 2 360
  • 正文 我出身青樓涌乳,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親甜癞。 傳聞我的和親對(duì)象是個(gè)殘疾皇子夕晓,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,465評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容

  • Android 自定義View的各種姿勢(shì)1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 171,743評(píng)論 25 707
  • 江水兩岸風(fēng)景舊,滿園春色香幾里悠咱,伊人隔水蒸辆,無(wú)船無(wú)槳征炼,情路長(zhǎng),嘗斷腸躬贡。 茜紗窗下谆奥,我本無(wú)緣,黃土壟中拂玻,卿何薄命酸些。
    lrfc_adbe閱讀 71評(píng)論 0 0
  • 引言 依賴注入,有后端背景的童鞋(尤其是熟悉java spring框架的)應(yīng)該不會(huì)陌生纺讲,提到依賴注入擂仍,就不得不說一...
    OnePiece索隆閱讀 3,513評(píng)論 0 4
  • 女兒期末考試成績(jī)出來(lái)了囤屹,班級(jí)第32名熬甚,距上次班級(jí)第4名下滑了28名。從當(dāng)天早上開始朋友圈的各路好友就開始曬各自家...
    sophie的二次學(xué)習(xí)日志閱讀 1,049評(píng)論 0 0
  • 《劉潤(rùn)商學(xué)院》6.21 熱爐法則肋坚,一碰就燙手乡括,在管理中規(guī)章制度必須像熱爐,讓執(zhí)行者一旦觸碰就會(huì)燙智厌,那么他在執(zhí)行時(shí)才...
    臺(tái)一DDM路靜娟閱讀 160評(píng)論 0 0