IP屬地：浙江
-
機(jī)器學(xué)習(xí)入門之泰坦尼克號(hào)生存預(yù)測(cè)（附測(cè)試數(shù)據(jù)集）
這是在Kaggle上看到的一個(gè)機(jī)器學(xué)習(xí)入門的例子，Kaggle是一個(gè)數(shù)據(jù)分析建模的應(yīng)用競(jìng)賽平臺(tái)，這就是那個(gè)無(wú)數(shù)『數(shù)據(jù)挖掘先驅(qū)』們，在回答”槍我有...
-
Apache Hadoop與第三方Hadoop（CDH、HDP等）的比較一侥猩、Hadoop版本綜述 Apache Hadoop的開(kāi)源協(xié)議決定了任何人可以對(duì)其進(jìn)行修改，并作為開(kāi)源或者商業(yè)版發(fā)布/銷售。故而目前Hadoop...
-
利用HCatalog管理元數(shù)據(jù)
在HDFS和HBase之間蛙婴，Hadoop提供了許多保存數(shù)據(jù)的方法，使得數(shù)據(jù)可以被多個(gè)應(yīng)用程序訪問(wèn)尔破。但將數(shù)據(jù)集中存儲(chǔ)并提供給多個(gè)應(yīng)用程序訪問(wèn)街图，這樣...
-
hcatalog簡(jiǎn)介和使用
Hcatalog是apache開(kāi)源的對(duì)于表和底層數(shù)據(jù)管理統(tǒng)一服務(wù)平臺(tái)，目前最新release版本是0.5懒构，不過(guò)需要Hive0.10支持餐济，由于我們...
-
kafka原理
需要說(shuō)明的是，Kafka只解決”fail/recover”胆剧，不處理“Byzantine”（“拜占庭”）問(wèn)題絮姆。 一條消息只有被“in sync” ...
-
Hadoop之Pig
Pig是一種探索大規(guī)模數(shù)據(jù)集的腳本語(yǔ)言。MapReducer的一個(gè)主要的缺點(diǎn)就是開(kāi)發(fā)的周期太長(zhǎng)了秩霍。我們要編寫mapper和reducer滚朵，然后對(duì)...
-
MESOS簡(jiǎn)介
Apache Mesos 是一個(gè)集群管理器類似于YARN，提供了有效的前域、跨分布式應(yīng)用或框架的資源隔離和共享辕近，可以運(yùn)行 Hadoop、MPI匿垄、Hy...
-
hive中UDF和UDAF使用說(shuō)明
Hive進(jìn)行UDF開(kāi)發(fā)十分簡(jiǎn)單移宅，此處所說(shuō)UDF為Temporary的function归粉，所以需要hive版本在0.4.0以上才可以。 一漏峰、背景：H...
-
hive優(yōu)化
1.Hive自己如何確定reduce數(shù)： reduce個(gè)數(shù)的設(shè)定極大影響任務(wù)執(zhí)行效率糠悼，不指定reduce個(gè)數(shù)的情況下，hive會(huì)猜測(cè)確定一個(gè)re...