室內(nèi)數(shù)據(jù)包括開(kāi)放數(shù)據(jù)，爬蟲(chóng)抓取玄货，傳感器和日志采集，他們各有特點(diǎn)悼泌。
1松捉、開(kāi)放數(shù)據(jù)一般是針對(duì)行業(yè)的數(shù)據(jù)庫(kù)，比如美國(guó)人口調(diào)查局開(kāi)放了美國(guó)的人口信息馆里，地區(qū)分布隘世，交易情況數(shù)據(jù)除了政府外企業(yè)高校也會(huì)開(kāi)放相應(yīng)的大數(shù)據(jù)這方面相對(duì)來(lái)說(shuō)做得好一些，國(guó)內(nèi)貴州做了不少大量嘗試云平臺(tái)鸠踪，逐漸開(kāi)放了旅游丙者，交通商務(wù)等領(lǐng)域的數(shù)據(jù)量。
2营密、爬蟲(chóng)抓取一般針對(duì)特定的網(wǎng)站或APP械媒，如果我們想要抓取指定的網(wǎng)站數(shù)據(jù)，比如購(gòu)物網(wǎng)站的購(gòu)物評(píng)價(jià)评汰，就需要穩(wěn)住定的話中抓取纷捞。
3、第三類(lèi)數(shù)據(jù)源是傳感器键俱，它基本上采取的是物理信息，圖像視頻世分，某個(gè)物體的速度编振、熱度、壓強(qiáng)等臭埋。
4踪央、日志采集，這是統(tǒng)計(jì)用戶(hù)的操作瓢阴，我們可以在前端進(jìn)行買(mǎi)點(diǎn)畅蹂，在后端進(jìn)行腳本收集統(tǒng)計(jì)，來(lái)分析網(wǎng)站的訪問(wèn)情況以及使用瓶頸荣恐。
知道了室內(nèi)數(shù)據(jù)源如何采集這些數(shù)據(jù)
如何使用開(kāi)放數(shù)據(jù)液斜？
1、開(kāi)放數(shù)據(jù)源叠穆，可以從兩個(gè)角度來(lái)看少漆，是單位的委托，比如政府硼被，企業(yè)示损，高校，一個(gè)就是行業(yè)維度嚷硫，比如交通金融能源等检访。開(kāi)放數(shù)據(jù)平臺(tái)如：北京大學(xué)開(kāi)放數(shù)據(jù)平臺(tái)
2始鱼、如何使用爬蟲(chóng)抓取脆贵？
最直接的方法就是使用Python編寫(xiě)爬蟲(chóng)代碼医清，前提是需要費(fèi)用的基本語(yǔ)法，除此之外php也可以完善丹禀，尤其是涉及到多線程的操作状勤。在這個(gè)過(guò)程中會(huì)經(jīng)歷三個(gè)過(guò)程。
*?使用request內(nèi)容双泪，我們可以使用request庫(kù)來(lái)抓取網(wǎng)頁(yè)信息持搜，可以說(shuō)是拍攝的利器，也就是Python通過(guò)這個(gè)苦爬取網(wǎng)頁(yè)中的數(shù)據(jù)焙矛，非常方便葫盼，可以幫助我們節(jié)約大量的時(shí)間。
*?使用x path解析內(nèi)容村斟，XPath贫导，是XML Path所寫(xiě)，也就是xml路徑語(yǔ)言蟆盹，它是一種用來(lái)確定xml文檔中某部分位置的語(yǔ)言孩灯，在開(kāi)發(fā)中經(jīng)常用來(lái)當(dāng)做小型查詢(xún)語(yǔ)言x可以通過(guò)元素和屬性進(jìn)行位置索引
*?使用Pandas保存數(shù)據(jù)判斷是讓數(shù)據(jù)分析工作變得更加簡(jiǎn)單的高級(jí)數(shù)據(jù)結(jié)構(gòu)，我們可以用它保存的數(shù)據(jù)最后通過(guò)再寫(xiě)入xls或者M(jìn)ySQ;等數(shù)據(jù)庫(kù)中逾滥。
這款常用的工具火車(chē)采集器峰档、八爪魚(yú)、集搜客
火車(chē)采集器已經(jīng)有13年歷史寨昙，是老牌的采集工具讥巡，不僅可以做抓取工作，也可以做數(shù)據(jù)清理舔哪，數(shù)據(jù)分析欢顷，數(shù)據(jù)挖掘和可視化等工作，書(shū)記員適用于絕大部分的網(wǎng)頁(yè)捉蚤，網(wǎng)頁(yè)中能看到的內(nèi)容都可以通過(guò)采集規(guī)則進(jìn)行抓取抬驴。
八爪魚(yú)是知名的采集工具，它有兩個(gè)版本缆巧，一個(gè)是免費(fèi)的采集版本怎爵，還有一個(gè)就是云彩及付費(fèi)免費(fèi)采集模板，實(shí)際上就是內(nèi)容采集規(guī)則盅蝗，包括電商生活服務(wù)類(lèi)鳖链，社交媒體內(nèi)論壇類(lèi)的網(wǎng)站都可以采集，用起來(lái)非常方便，也可以自定義任務(wù)芙委。
云采集就是當(dāng)你配置好逞敷，采集任務(wù)可以交給八爪魚(yú)的云端進(jìn)行采集，八爪魚(yú)灌侣，一共有5000臺(tái)服務(wù)器推捐，通過(guò)云丹多節(jié)點(diǎn)并發(fā)采集，采集速度遠(yuǎn)遠(yuǎn)超過(guò)本地采集侧啼，此外還可以自動(dòng)切換多個(gè)IP牛柒，避免IP被封影響采集，做過(guò)工程項(xiàng)目的同學(xué)應(yīng)該能體會(huì)到云采集這個(gè)功能太方便了痊乾，很多時(shí)候自動(dòng)切換IP以及語(yǔ)音采集才是自動(dòng)化采集的關(guān)鍵皮壁。下一篇詳細(xì)介紹八爪魚(yú)的使用。
集搜客哪审，這個(gè)工具的特點(diǎn)是完全可視化操作蛾魄，無(wú)需編程，整個(gè)采集過(guò)程是所見(jiàn)即所得湿滓，抓取信息結(jié)果錯(cuò)誤信息都反映在軟件中滴须。相比于八爪魚(yú)來(lái)說(shuō)，沒(méi)有流程的概念叽奥，用戶(hù)只需關(guān)注抓取什么數(shù)據(jù)扔水，而流程細(xì)節(jié)完全交給軟件處理
缺點(diǎn)是沒(méi)有云采集功能，所有爬蟲(chóng)都在用戶(hù)電腦上跑
3朝氓、如何做日志采集魔市？
日日采集最大的作用就是通過(guò)分析用戶(hù)訪問(wèn)情況，提升系統(tǒng)性能膀篮，從而提高系統(tǒng)承載量嘹狞，及時(shí)發(fā)現(xiàn)系統(tǒng)存在瓶頸岂膳，方便技術(shù)人員基于用戶(hù)實(shí)際的訪問(wèn)情況進(jìn)行優(yōu)化誓竿。
日志就是日記的意思，它記錄了用戶(hù)訪問(wèn)網(wǎng)站的全過(guò)程谈截，那些人在什么時(shí)間通過(guò)什么渠道（比如搜索引擎網(wǎng)址輸入）執(zhí)行了哪些操作系統(tǒng)是否產(chǎn)生錯(cuò)誤請(qǐng)求時(shí)間用戶(hù)代理這些數(shù)據(jù)都可以寫(xiě)在一個(gè)日志文件中筷屡，分成不同的日志文件，訪問(wèn)日志和錯(cuò)誤日志
日志采集分為兩種形式
1簸喂、通過(guò)Web服務(wù)器采集
2毙死、自定義采集用戶(hù)行為
埋點(diǎn)是什么？?
埋點(diǎn)就是在有需要的位置喻鳄，采集相應(yīng)的信息進(jìn)行上報(bào)扼倘。每一個(gè)買(mǎi)點(diǎn)就像一臺(tái)攝像頭，采集用戶(hù)行為數(shù)據(jù)，將數(shù)據(jù)進(jìn)行多維度的交叉分析和真實(shí)還原出用戶(hù)使用場(chǎng)景再菊，用戶(hù)使用需求爪喘。
買(mǎi)點(diǎn)就是在需要統(tǒng)計(jì)數(shù)據(jù)的地方植入統(tǒng)計(jì)代碼，當(dāng)然植物代碼可以自己寫(xiě)纠拔，也可以使用第三方統(tǒng)計(jì)工具秉剑。之前講過(guò)不重復(fù)造輪子的原則，一般來(lái)說(shuō)需要自己寫(xiě)的代碼稠诲，一般是主營(yíng)核心業(yè)務(wù)侦鹏，對(duì)于買(mǎi)點(diǎn)這種監(jiān)測(cè)性的工具，市場(chǎng)上已經(jīng)比較成熟第三方的工具比如友盟臀叙、Google Analysis,talking data略水。
日采集有助于我們了解用戶(hù)的操作數(shù)據(jù)，用于運(yùn)維監(jiān)控匹耕，安全審計(jì)聚请，業(yè)務(wù)分析等場(chǎng)景一般外服務(wù)器會(huì)自帶，也可以使用是從不同的服務(wù)器集群中采集傳輸大量的日志數(shù)據(jù)稳其，當(dāng)然我們也可以使用第三方的統(tǒng)計(jì)工具或者制定以得到自己想要的統(tǒng)計(jì)內(nèi)容驶赏。
總結(jié)
數(shù)據(jù)采集是數(shù)據(jù)分析的關(guān)鍵。數(shù)據(jù)采集的方法很廣既鞠，開(kāi)放數(shù)據(jù)煤傍、爬蟲(chóng)、日志嘱蛋、傳感器蚯姆。
需求不用，采集數(shù)據(jù)也不同洒敏。及同行業(yè)龄恋，數(shù)據(jù)采集會(huì)和攝像頭或者測(cè)速儀有關(guān)，對(duì)于運(yùn)維人員日志采集和分析這些觀點(diǎn)凶伙，我們針對(duì)特定的場(chǎng)景選擇合適的采集工具郭毕，Kaggle。
預(yù)想比特幣的未來(lái)走勢(shì)需要哪些維度的數(shù)據(jù)源函荣？
交易量显押，歷史價(jià)格、熱度指數(shù)(分析下降原因)傻挂、政府政策乘碑、股市走勢(shì)、（是否有相關(guān)性）
