1.LA框架的提出 最早由Twitter工程師Nathan Marz提出來种蘸，它是一種大數(shù)據(jù)軟件設(shè)計(jì)架構(gòu)方淤，其目的是指導(dǎo)用戶充分利用批處理和流式計(jì)算技術(shù)各自的優(yōu)點(diǎn)，在延遲丹允、吞吐量...
發(fā)簡信
IP屬地：廣東
-
「大數(shù)據(jù)」04大數(shù)據(jù)框架：Lambda Architecture(LA)
-
「大數(shù)據(jù)」03Hadoop與Spark開源大數(shù)據(jù)技術(shù)棧Hadoop與Spark開源大數(shù)據(jù)技術(shù)棧如下圖： （1）數(shù)據(jù)收集層：主要由關(guān)系型與非關(guān)系型數(shù)據(jù)收集組件郭厌、分布式消息隊(duì)列構(gòu)成。 ①Sqoop/Canal：關(guān)系型數(shù)據(jù)收集和導(dǎo)入工...
-
「大數(shù)據(jù)」02大數(shù)據(jù)技術(shù)體系從數(shù)據(jù)在信息系統(tǒng)中的生命周期看雕蔽，大數(shù)據(jù)從數(shù)據(jù)源開始折柠，經(jīng)過分析、挖掘到最終環(huán)節(jié)獲得價值一般需要經(jīng)過6個主要環(huán)節(jié)：數(shù)據(jù)收集批狐、數(shù)據(jù)存儲扇售、資源管理與服務(wù)協(xié)調(diào)、計(jì)算引擎嚣艇、數(shù)據(jù)分析和數(shù)據(jù)...
-
「大數(shù)據(jù)」01大數(shù)據(jù)的概念及應(yīng)用場景
1.大數(shù)據(jù)的概念 2015年國務(wù)院向社會公布了《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》明確提出了大數(shù)據(jù)的基本概念：大數(shù)據(jù)是以容量大承冰、類型多、存取速度快食零、應(yīng)用價值高為主要特征的數(shù)據(jù)集合困乒，...
-
「爬蟲」19利用PhantomJS編寫爬蟲程序雖然PhantomJS的開發(fā)者已經(jīng)停止更新了，但現(xiàn)存版本依舊可以使用贰谣，仍然可以用來解決爬蟲中遇到的某些問題娜搂，所以還是很值得了解學(xué)習(xí)一下的。 （1）下載：https://pha...
-
「補(bǔ)充」20Python主要模塊的使用
import numpy對數(shù)據(jù)進(jìn)行操作吱抚，創(chuàng)建數(shù)組涌攻，生成隨機(jī)數(shù) ·numpy.concatenate()數(shù)據(jù)集成 import pandas導(dǎo)入數(shù)據(jù)，為數(shù)據(jù)指定索引频伤，引用數(shù)據(jù)框...
-
「補(bǔ)充」19sklearn庫自帶標(biāo)準(zhǔn)數(shù)據(jù)集說明
sklearn庫中自帶的標(biāo)準(zhǔn)數(shù)據(jù)集有： 前面有用到過的數(shù)據(jù)集說明： （1）波士頓房價數(shù)據(jù)集(boston)包含506組數(shù)據(jù)恳谎，每條數(shù)據(jù)包含房屋以及房屋周圍的詳細(xì)信息。其中包含城...
-
「關(guān)聯(lián)分析」18關(guān)聯(lián)分析之Aprior算法與FP-growth算法1.關(guān)聯(lián)分析 關(guān)聯(lián)分析是從大量數(shù)據(jù)中發(fā)現(xiàn)項(xiàng)集之間的相關(guān)聯(lián)系婚苹。關(guān)聯(lián)分析的一個典型例子是購物籃分析。該過程通過發(fā)現(xiàn)顧客放人其購物籃中的不同商品之間的聯(lián)系鸵膏，分析顧客的購買習(xí)慣膊升。通過...
-
「人工神經(jīng)網(wǎng)絡(luò)」17人工神經(jīng)網(wǎng)絡(luò)之BP算法
1.人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)是在受到了生物學(xué)的啟發(fā)后創(chuàng)建的谭企，在某種程度上它是對生物大腦的一種模擬廓译。人們仿照生物...
-
「聚類分析」16聚類分析之KMeans算法與K中心點(diǎn)算法1.聚類 聚類屬于無監(jiān)督式學(xué)習(xí)。在無監(jiān)督式學(xué)習(xí)中债查，訓(xùn)練樣本的標(biāo)記信息是未知的非区，算法通過對無標(biāo)記樣本的學(xué)習(xí)來揭示蘊(yùn)含于數(shù)據(jù)中的性質(zhì)和規(guī)律。聚類算法的任務(wù)是根據(jù)數(shù)據(jù)特征將數(shù)據(jù)集相...
-
「數(shù)據(jù)分類」15支持向量機(jī)(SVM)及混淆矩陣1.支持向量機(jī)（SVM）概述 （1）支持向量機(jī)(Support Vector Machines盹廷，SVM)是一種二元分類模型征绸，它是一類模型的統(tǒng)稱，其中包括： ①線性可分支持向量...
-
「數(shù)據(jù)分類」14決策樹分類之CART算法1.CART算法與ID3算法對比 （1）CART算法解決了ID3算法的不足俄占，既能用于分類問題管怠，又能用于回歸問題。 （2）實(shí)際上缸榄，CART算法的主體結(jié)構(gòu)和ID3算法基本相同渤弛，只...
-
「數(shù)據(jù)分類」13決策樹分類之ID3算法和C4.5算法1.決策樹 決策樹是應(yīng)用廣泛的一種歸納推理算法。在分類問題中甚带，決策樹算法基于特征對樣本進(jìn)行分類暮芭，構(gòu)成一棵包含一系列if-then規(guī)則的樹，在數(shù)學(xué)上可以將這棵樹解釋為定義在特征...
-
「·文本分析」12多項(xiàng)式樸素貝葉斯算法對新聞分類1.fetch_newsgroups模塊 sklearn.datasets.fetch_20newsgroups(data_home=None,subset=’train’,...
-
「數(shù)據(jù)分類」11樸素貝葉斯算法1.貝葉斯公式 一般情況下欲低，令F1，F(xiàn)2畜晰，...砾莱，F(xiàn)N表示一組互不相容事件，在E（新的證據(jù)）已發(fā)生的情況下凄鼻，F(xiàn)k發(fā)生的概率為： 其中： ·P(Fk)稱為先驗(yàn)概率(Prior ...
-
「數(shù)據(jù)分類」10回歸分析與回歸算法1.回歸分析 （1）回歸的定義： 指研究一組隨機(jī)變量(Y1腊瑟，Y2，…块蚌，Yi)和另一組(X1闰非，X2，…峭范，Xk)變量之間關(guān)系的統(tǒng)計(jì)分析方法财松，又稱多重回歸分析。通常Y1，Y2辆毡，...
-
「數(shù)據(jù)分類」09數(shù)據(jù)建模概述及KNN分類算法1.python數(shù)據(jù)分析 （1）數(shù)據(jù)建模：指的是對現(xiàn)實(shí)世界各類數(shù)據(jù)的抽象組織菜秦，建立一個適合的模型對數(shù)據(jù)進(jìn)行處理。模型的建立依賴于算法舶掖，常見的算法有分類球昨、聚類、關(guān)聯(lián)眨攘、回歸等主慰。 ...
-
「文本分析」08TF-IDF算法及文本相似度分析
1.TF-IDF算法 （1）TF-IDF(term frequency–inverse document frequency，逆文本頻數(shù)指數(shù))算法 用于信息檢索和數(shù)據(jù)挖掘的常...
-
「文本分析」07字頻統(tǒng)計(jì)和詞云圖的繪制1.字頻統(tǒng)計(jì)：collections.Counter （1）指定文本 from collections import Countercnt = Counter()for wo...
