關(guān)于簡書那些你也許并不感興趣的駭人公開秘密

網(wǎng)絡(luò)爬蟲肆意橫行簡書垢箕,只因……


簡書系統(tǒng)最近又鬧別扭了,聽說無法上傳或不顯示圖片呢撞;還有失常鎖文贸街。

所幸庵寞,又聽說在技術(shù)員一番溫柔安撫之后,情緒已逐漸穩(wěn)定下來了薛匪。

我第一反應(yīng)是點開美文網(wǎng)搜索一番,結(jié)果發(fā)現(xiàn)最近的文章都被爬取了脓鹃,唯一不同的是不顯示圖片逸尖,點開頁面也只有標(biāo)題而已:




這是巧合嗎?于是我再嘗試搜索小木的主頁:



難道簡書與爬蟲網(wǎng)站是命運共同體瘸右?

這讓我想起一件事娇跟,據(jù)說爬蟲把簡書的文章與圖片都爬取后,還是直接用簡書的圖床鏈接太颤。

試想苞俘,當(dāng)他們站流量大了之后,圖片卻還在簡書這里龄章,而圖片存儲和 CDN 都得花錢……這又有多冤枉俺砸ァ!

至于美文網(wǎng)圖片不顯示是否與此次系統(tǒng)鬧別扭有關(guān)做裙,我不懂這方面的技術(shù)岗憋,所以只能猜測。

說到簡書系統(tǒng)一直鬧別扭锚贱,我就更不負(fù)責(zé)任猜想是讓蟲子搞得抓狂了仔戈。

或許有人會說干嘛不把蟲子拍死?

說起來拧廊,網(wǎng)絡(luò)爬蟲就與大自然的蟲子一樣监徘。

自然界的蟲子有分益蟲與害蟲,而網(wǎng)絡(luò)爬蟲也分合法與非法吧碾;所以不能一拍子把蟲子都滅了凰盔。

爬蟲既然不可滅,于是就有了與爬蟲之間的一份協(xié)議——robots.txt( 爬蟲協(xié)議 )滤港。

協(xié)議列明了爬蟲訪問權(quán)限與可抓取的內(nèi)容廊蜒。

說白了,就比如簡書是一間大酒店溅漾,不想被打擾的就在房門掛上“請勿打擾”的牌子山叮;沒掛牌子的即默許被打擾。

這份協(xié)議是君子協(xié)議添履,君子遵守而小人無視屁倔。

但是,在侵權(quán)的訴訟上暮胧,絕對能以此協(xié)議為依據(jù)提出起訴——雖然沒有制約性锐借,但是卻有法律效力……貌似有些矛盾问麸?

那么,簡書可有robots.txt钞翔?

當(dāng)然有严卖,協(xié)議內(nèi)容也不是什么秘密,只要上網(wǎng)輸入關(guān)鍵詞就能輕易獲得布轿。

jianshu robots.txt——



我不是技術(shù)員哮笆,看不懂這份協(xié)議也很正常,不過聽小明說這份協(xié)議內(nèi)容并沒有設(shè)限汰扭,簡單來說就是沒在我們房門囗掛上“請勿打擾”的牌子稠肘。

說得再直白一點就是沒有限制爬蟲對簡書文章的抓取萝毛!

不阻止即是默許项阴?

因為沒說不許爬取,所以爬蟲爬得理直氣壯笆包?

明知一早已讓爬蟲盯上环揽,簡書官方為什么不規(guī)范爬蟲的訪問權(quán)限?

為什么不禁止爬蟲肆意採集色查?

為什么無視用戶的訴求薯演?

為什么不在乎優(yōu)秀作者因此失望憤而放棄簡書?

我還得再三強調(diào)秧了,我不了解這方面的專業(yè)跨扮,所以希望有人給出答案……


在不斷搜索的過程,更駭人聽聞的竟然是有人在簡書上發(fā)帖公開教導(dǎo)如何利用爬蟲技術(shù)爬取簡書用戶的文章验毡!


python爬蟲系列之?dāng)?shù)據(jù)存儲實戰(zhàn):爬取簡書用戶文章列表并保存

一個大膽的想法衡创,爬取簡書所有的文章信息


除此,以“如何爬取簡書文章”為關(guān)鍵詞搜索又會出現(xiàn)怎樣的訊息晶通?



搜索至此璃氢,眼前一片黑暗,簡書是砧板上任人魚肉的平臺狮辽?

這是諷刺一也?還是對簡書官方的警示?

簡書官方還能無視嗎喉脖?難道不該積極正視并想設(shè)法去亡羊補牢嗎椰苟?

我不明白,對此树叽,你們又是怎么看的舆蝴?


慢!


如果把關(guān)鍵詞“簡書”換成某乎某條又如何?

我嘗試了……你就把搜索所得的簡書換成某乎某條就是答案了洁仗。

最后层皱,我只能說反爬蟲的過程就八個字:


? ? ? ? 道高一尺魔高一丈


這是一場艱苦的長期維權(quán)之戰(zhàn),我們希望簡書未來更好赠潦,也明白現(xiàn)實與理想的差距——可我們更希望看見的是上下一心的一致叫胖。

最怕的是底下在反抗,上面的深知反抗的難處而消極化作享受她奥。

無論如何艱難臭家,我們都不該放棄!

不是嗎方淤?




最后想說的是,我理解與表達(dá)能力有限蹄殃,所說也就想著能起到拋磚引玉的作用携茂。

同時,我更相信萬眾一心的力量诅岩,你呢讳苦?

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市吩谦,隨后出現(xiàn)的幾起案子鸳谜,更是在濱河造成了極大的恐慌,老刑警劉巖式廷,帶你破解...
    沈念sama閱讀 219,188評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件咐扭,死亡現(xiàn)場離奇詭異,居然都是意外死亡滑废,警方通過查閱死者的電腦和手機蝗肪,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,464評論 3 395
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來蠕趁,“玉大人薛闪,你說我怎么就攤上這事“陈” “怎么了豁延?”我有些...
    開封第一講書人閱讀 165,562評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長腊状。 經(jīng)常有香客問我诱咏,道長,這世上最難降的妖魔是什么寿酌? 我笑而不...
    開封第一講書人閱讀 58,893評論 1 295
  • 正文 為了忘掉前任胰苏,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘硕并。我一直安慰自己法焰,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,917評論 6 392
  • 文/花漫 我一把揭開白布倔毙。 她就那樣靜靜地躺著埃仪,像睡著了一般。 火紅的嫁衣襯著肌膚如雪陕赃。 梳的紋絲不亂的頭發(fā)上卵蛉,一...
    開封第一講書人閱讀 51,708評論 1 305
  • 那天,我揣著相機與錄音么库,去河邊找鬼傻丝。 笑死,一個胖子當(dāng)著我的面吹牛诉儒,可吹牛的內(nèi)容都是我干的葡缰。 我是一名探鬼主播,決...
    沈念sama閱讀 40,430評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼忱反,長吁一口氣:“原來是場噩夢啊……” “哼泛释!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起温算,我...
    開封第一講書人閱讀 39,342評論 0 276
  • 序言:老撾萬榮一對情侶失蹤怜校,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后注竿,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體茄茁,經(jīng)...
    沈念sama閱讀 45,801評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,976評論 3 337
  • 正文 我和宋清朗相戀三年蔓搞,在試婚紗的時候發(fā)現(xiàn)自己被綠了胰丁。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,115評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡喂分,死狀恐怖锦庸,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情蒲祈,我是刑警寧澤甘萧,帶...
    沈念sama閱讀 35,804評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站梆掸,受9級特大地震影響扬卷,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜酸钦,卻給世界環(huán)境...
    茶點故事閱讀 41,458評論 3 331
  • 文/蒙蒙 一怪得、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦徒恋、人聲如沸蚕断。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,008評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽亿乳。三九已至,卻和暖如春径筏,著一層夾襖步出監(jiān)牢的瞬間葛假,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,135評論 1 272
  • 我被黑心中介騙來泰國打工滋恬, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留聊训,地道東北人。 一個月前我還...
    沈念sama閱讀 48,365評論 3 373
  • 正文 我出身青樓恢氯,卻偏偏與公主長得像魔眨,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子酿雪,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,055評論 2 355

推薦閱讀更多精彩內(nèi)容