sqoop的功能架構(gòu) sqoop是能夠在hdfs和關(guān)系型數(shù)據(jù)庫之間進(jìn)行數(shù)據(jù)量大的數(shù)據(jù)轉(zhuǎn)換工具，底層運行的是mapreduce項目，是Apache...

認(rèn)識HDFS HDFS的特點： 高容錯性高吞吐量故障的檢測和自動快速恢復(fù)流式的數(shù)據(jù)訪問大數(shù)據(jù)集一次寫入,多次讀寫 HDFS不適用的場景 不支持大...

2003年至今淘寶網(wǎng)從零開始飛速發(fā)展丐箩，走過了13個年頭钞啸，支撐淘寶業(yè)務(wù)野蠻式生長背后是一套不斷完善的技術(shù)平臺运杭，淘寶大數(shù)據(jù)平臺讲冠，就是其中非常重要的一...

一個 Streaming Application 往往需要7*24不間斷的跑券膀，所以需要有抵御意外的能力（比如機(jī)器或者系統(tǒng)掛掉辟躏，JVM crash...

實驗?zāi)康?理解Hive在Hadoop體系結(jié)構(gòu)中的角色谷扣。 熟悉Hive的DDL命令與DML操作。 區(qū)分?jǐn)?shù)據(jù)倉庫和數(shù)據(jù)庫的概念。 實驗平臺 操作系統(tǒng)...

整個shuffle的流程圖 Map Shuffle的作用以及相應(yīng)的設(shè)置 partition過程：輸入的<key,value>對經(jīng)過map()處理...

hdp2.4是hortworks最新推出的100%開源的hadoop發(fā)行版本会涎，其中包含了最新的spark 1.6裹匙，沖著這點，使用離線方式安裝最新...

hadoop是處理大數(shù)據(jù)的得力幫手末秃，它主要分為三種模式: 單機(jī)模式概页；偽分布式模式；完全分布式模式练慕； 在這篇文章中惰匙，主要來看看在CentOS7中進(jìn)...

List集合 list是一個有序且可以重復(fù)的序列秃臣。 創(chuàng)建list集合 List(elem1, elem2...)這些元素可以不是同一類型 lis...