網(wǎng)絡(luò)爬蟲(chóng)

本人近期學(xué)習(xí)python, 學(xué)習(xí)最有效的方式是什么拳芙？是實(shí)踐！實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)埂息，同樣也是掌握一門(mén)語(yǔ)言最有效的方法技潘。我向來(lái)都是實(shí)戰(zhàn)派，確定實(shí)踐方向---網(wǎng)絡(luò)爬蟲(chóng)千康。

網(wǎng)絡(luò)爬蟲(chóng)技術(shù)正在如火如荼的推進(jìn)著享幽，各大公司用作數(shù)據(jù)挖掘，數(shù)據(jù)分析拾弃，從而產(chǎn)生大數(shù)據(jù)值桩，進(jìn)而推動(dòng)人工智能領(lǐng)域的發(fā)展；亦或是對(duì)數(shù)據(jù)進(jìn)行資源整合豪椿，二次創(chuàng)造奔坟，產(chǎn)生新產(chǎn)品，如一些資訊類(lèi)APP搭盾。

用戶(hù)數(shù)據(jù)

所以說(shuō)咳秉，爬蟲(chóng)技術(shù)是大數(shù)據(jù)來(lái)源的重要手段之一。但是呢鸯隅，這里就存在一個(gè)問(wèn)題澜建，爬取數(shù)據(jù)大多來(lái)源于互聯(lián)網(wǎng)上各大網(wǎng)站中各類(lèi)用戶(hù)的資源，那么滋迈，這是否會(huì)侵害到用戶(hù)的利益呢霎奢？

近期我就遇到了相關(guān)的困擾，學(xué)習(xí)嘛饼灿，少不了實(shí)踐幕侠，于是去抓取某博客網(wǎng)站的用戶(hù)圖片，純粹學(xué)習(xí)用碍彭，然后寫(xiě)了篇相關(guān)的技術(shù)博客晤硕，關(guān)于如何爬取該博客網(wǎng)站指定用戶(hù)的所有圖片。

由于引用了某位用戶(hù)的相關(guān)信息庇忌，所以覺(jué)得有必要征求他本人同意舞箍，就私信告知，并附上了博客鏈接皆疹。后來(lái)這位用戶(hù)覺(jué)得我的做法是不對(duì)的疏橄，大概意思是說(shuō)侵害了原創(chuàng)作者的利益，擔(dān)心別有用心之人用該技術(shù)去干盜用他們的成果。后來(lái)我就把他的信息都換成自己的了捎迫。

ps: 最初不用自己的是因?yàn)楸救瞬┪挠邢薅屹|(zhì)量不算太高(?>?<?）

還有必要補(bǔ)充一點(diǎn)晃酒，這位用戶(hù)粉絲上萬(wàn)，所以算是大V了窄绒。對(duì)于原創(chuàng)作品贝次，本人也同樣不愿被他人盜用。本人曾經(jīng)寫(xiě)的部分文章也被盜用過(guò)彰导，見(jiàn)到其原封不動(dòng)照搬并不注明出處蛔翅，本人也非常氣憤！所以他的擔(dān)憂(yōu)我也能夠理解位谋，那么問(wèn)題來(lái)了山析，爬蟲(chóng)技術(shù)學(xué)習(xí)與分享同用戶(hù)知識(shí)產(chǎn)權(quán)保護(hù)之間的矛盾該如何化解？

矛盾

技術(shù)人員研究技術(shù)倔幼，無(wú)可厚非盖腿；用戶(hù)擔(dān)心原創(chuàng)數(shù)據(jù)被盜用或?yàn)E用，也是情理之中损同。這應(yīng)該算是個(gè)矛盾了吧翩腐？

我想，作為技術(shù)人員膏燃，想的最多的是如何提高自身的技術(shù)水平茂卦，如何讓自己的技術(shù)能夠被廣泛應(yīng)用。一名具有開(kāi)源精神组哩，并且樂(lè)于分享的程序員等龙，必然會(huì)用博客去記錄技術(shù)學(xué)習(xí)的過(guò)程與成果，讓廣大愛(ài)好者受益伶贰，讓自己在總結(jié)的過(guò)程中鞏固所學(xué)蛛砰。

而博客的書(shū)寫(xiě)本身也是一種原創(chuàng)行為，同樣應(yīng)該被支持和鼓勵(lì)黍衙。用戶(hù)擔(dān)心技術(shù)的分享有可能會(huì)給他們的作品帶來(lái)一定的損害或是隱患泥畅，那么其實(shí)我覺(jué)得大可不必。

為什么這么說(shuō)琅翻，網(wǎng)絡(luò)世界位仁，凡有數(shù)據(jù)進(jìn)入，就沒(méi)有100%安全的保障方椎，爬蟲(chóng)與反爬蟲(chóng)的較量和網(wǎng)絡(luò)攻防是一樣的聂抢。很多黑客攻擊是為了給網(wǎng)站檢查安全漏洞，就好比google的Project zero,一個(gè)強(qiáng)大的黑客天團(tuán)棠众，專(zhuān)門(mén)尋找漏洞琳疏。

當(dāng)然，爬蟲(chóng)技術(shù)并不能與之完全等同對(duì)待，但是也有相似之處空盼，爬蟲(chóng)技術(shù)的發(fā)展會(huì)推進(jìn)反爬蟲(chóng)技術(shù)的發(fā)展疮薇，兩者是齊頭并進(jìn)的。作為普通用戶(hù)我注，可以選擇安全性高的平臺(tái)去保障自己的利益，同時(shí)迟隅，網(wǎng)站想要反爬也有很多技術(shù)手段但骨，比如現(xiàn)在大多網(wǎng)站的驗(yàn)證碼，雖然有辦法破解智袭，但也可以抵擋大部分初級(jí)技術(shù)人員奔缠，比如說(shuō)我?ω?

從程序員方面來(lái)看，我們本身是絕不會(huì)想著去侵害他人利益的吼野，至少我是不會(huì)校哎。同時(shí)，爬蟲(chóng)技術(shù)也有一定的君子協(xié)議瞳步，robots協(xié)議闷哆。雖然沒(méi)有強(qiáng)制性，但也是一種自我約束吧单起，這樣就不會(huì)給網(wǎng)站帶來(lái)巨大的訪(fǎng)問(wèn)流量抱怔。如果長(zhǎng)時(shí)間不限速的爬取，對(duì)服務(wù)器也是一種攻擊操作了嘀倒，這本身也是不可取的屈留，畢竟細(xì)水長(zhǎng)流嘛。

至于爬取到的數(shù)據(jù)测蘑，如圖片數(shù)據(jù)灌危，基本上是用于觀賞，技術(shù)強(qiáng)的的可能拿去當(dāng)做訓(xùn)練素材去測(cè)試人工智能算法碳胳，比如圖片分類(lèi)勇蝙，物體識(shí)別等，但也是僅限研究固逗。

最后

程序員要有程序員的自我修養(yǎng)浅蚪，節(jié)制使用爬蟲(chóng)；用戶(hù)注意平臺(tái)的選擇烫罩，同時(shí)對(duì)于重要數(shù)據(jù)請(qǐng)謹(jǐn)慎上傳惜傲，并注重知識(shí)產(chǎn)權(quán)的保護(hù)。

總之贝攒，網(wǎng)絡(luò)世界盗誊，紛繁復(fù)雜，每個(gè)人都是網(wǎng)絡(luò)中的一分子，每個(gè)人的信息都是網(wǎng)絡(luò)洪流中的滄海一粟哈踱，別太浪就好荒适！