人力資源部漂亮的小MM缠犀，跑來問我：老陳数苫，數(shù)據(jù)分析和爬蟲究竟是關(guān)系呀？說實在的辨液，我真不想理她虐急，因為我一直認為這個跟她的工作關(guān)系不大，可一想到她負責(zé)我負責(zé)部門的招聘工作滔迈，我只好勉為其難地跟她說：數(shù)據(jù)分析止吁，吃里被辑，爬蟲，爬外敬惦，合在一起就是吃里爬外盼理。
大數(shù)據(jù)時代，要想進行數(shù)據(jù)分析俄删，首先要有數(shù)據(jù)來源榜揖，單靠公司那幾條毛毛雨(數(shù)據(jù))，分析個寂寞都不夠抗蠢，唯有通過學(xué)習(xí)爬蟲举哟，從外部(網(wǎng)站)爬取一些相關(guān)、有用的數(shù)據(jù)迅矛，才能讓老板進行商業(yè)決策時的有據(jù)可依妨猩，而你，亦是老板秽褒。
一提到老板壶硅，漂亮的小MM，興奮得不得了销斟，馬上大聲問：你們IT界庐椒，最帥的是不是就是那個搞搜索引擎的李老板?
我盡管有點不服氣，有點不開心蚂踊，但我能怎么得约谈，畢竟在網(wǎng)絡(luò)爬蟲方面，他(李老板)的技術(shù)比確實強犁钟。他懂得用爬蟲技術(shù)棱诱，每天在海量互聯(lián)網(wǎng)信息中進行爬取，爬取優(yōu)質(zhì)的信息并收錄在他設(shè)定的數(shù)據(jù)庫中涝动。當(dāng)用戶在搜索引擎中迈勋，輸入關(guān)鍵字時，引擎系統(tǒng)將對關(guān)鍵詞進行數(shù)據(jù)分析處理醋粟，從收錄的網(wǎng)頁中找出相關(guān)網(wǎng)頁靡菇，按照一定的排名規(guī)則排序并將結(jié)果展現(xiàn)給用戶。
一想到排名賺到的money米愿，李老板一分都不給我厦凤，我就跟人力MM說：好了，不跟你扯犢子了吗货，我要跟我的老鐵說網(wǎng)絡(luò)爬蟲的原理了泳唠，你個吃里爬外的家伙狈网，見你的老板去吧宙搬。
1. 爬蟲是什么
網(wǎng)絡(luò)爬蟲又稱網(wǎng)絡(luò)蜘蛛笨腥、網(wǎng)絡(luò)螞蟻、網(wǎng)絡(luò)機器等勇垛，它按照我們制定的規(guī)則脖母，在網(wǎng)絡(luò)上爬取數(shù)據(jù)。爬到的結(jié)果中會有HTML代碼闲孤、JSON數(shù)據(jù)谆级、圖片、音頻或視頻讼积。程序員根據(jù)實際要求肥照，對數(shù)據(jù)進行過濾，提取其中有用的勤众，進行存儲舆绎。
說白點，就是用Python編程語言模擬瀏覽器们颜，訪問指定網(wǎng)站吕朵，對其返回結(jié)果，按規(guī)則進行篩選并提取自己需要的數(shù)據(jù)窥突，存放起來使用努溃，以供使用。
看過我《第10天 | 12天搞定Python阻问，文件操作?》和《第11天 | 12天搞定Python梧税，數(shù)據(jù)庫操作》的老鐵，應(yīng)該知道称近，數(shù)據(jù)常存在文件或數(shù)據(jù)庫中贡蓖。
2. 爬取流程
用戶通過瀏覽器訪問網(wǎng)絡(luò)數(shù)據(jù)的方式：打開瀏覽器->輸入網(wǎng)址->瀏覽器提交請求->下載網(wǎng)頁代碼->解析成頁面煌茬。
爬蟲編程斥铺，指定網(wǎng)址，模擬瀏覽器發(fā)送請求(獲取網(wǎng)頁代碼)->提取有用的數(shù)據(jù)->存放于文件或數(shù)據(jù)庫中坛善。
爬蟲編程晾蜘，推薦用Python，是因為Python爬蟲庫簡單易用眠屎，在Python中剔交，好多開發(fā)庫都可以滿足大多數(shù)功能。它可以：
(1) 用http庫向目標(biāo)站點發(fā)起請求改衩，即發(fā)送一個Request(包含請求頭和請求體等)岖常；
(2) 對服務(wù)器返回的Response，用內(nèi)置的庫(html葫督、json竭鞍、正則表達式)就進行解析
(3) 將所需數(shù)據(jù)存儲到文件或數(shù)據(jù)庫當(dāng)中板惑。
3. 爬點定位
在編寫爬蟲代碼的過程中，經(jīng)常需要指定爬取的節(jié)點或路徑偎快。如果我告訴你冯乘，Chrome瀏覽器，就可以快速獲取節(jié)點或路徑的話晒夹，你會不會馬上看一下電腦是否安裝了裆馒？
會的話，那就對了丐怯，不會的喷好，趕緊去安裝吧。
在頁面中读跷，按下鍵盤F2鍵绒窑，可顯示源代碼。鼠標(biāo)選中你要獲取的節(jié)點舔亭，右鍵【檢查】就可定位到代碼中些膨，右鍵代碼，選擇【Copy】-【Copy Selector 】或【Copy XPath】便可復(fù)制節(jié)點或路徑的內(nèi)容钦铺。
好了订雾，有關(guān)爬蟲原理的內(nèi)容，老陳講完了矛洞，如果覺得對你有所幫助洼哎，希望老鐵能轉(zhuǎn)發(fā)點贊，讓更多的人看到這篇文章沼本。你的轉(zhuǎn)發(fā)和點贊噩峦，就是對老陳繼續(xù)創(chuàng)作和分享最大的鼓勵。
一個當(dāng)了10年技術(shù)總監(jiān)的老家伙抽兆，分享多年的編程經(jīng)驗识补。想學(xué)編程的朋友，可關(guān)注今日頭條：老陳說編程辫红。我將分享Python凭涂，前端(小程序)和App方面的干貨。關(guān)注我贴妻，沒錯的切油。
