大數(shù)據(jù)架構(gòu) - 專題

投稿

收錄了11篇文章 · 22人關(guān)注

11.Hive壓縮，文件格式及優(yōu)化
1. 日志文件加載案例：需求描述：在日志文件目錄中，按天建文件夾凌简，并且在每個天文件夾中，每小時有一個日志文件恃逻。程序自動每天將這些文件load到...

0.2 奉先 0 6
10. Sqoop介紹
1.大數(shù)據(jù)協(xié)作框架：大數(shù)據(jù)協(xié)作框架是Hadoop 2.x生態(tài)系統(tǒng)中幾個輔助框架雏搂。最為常見的是以下幾個：數(shù)據(jù)轉(zhuǎn)換工具Sqoop 文件收集庫框架...

奉先 0 2

9. Hive使用
1.Hive數(shù)據(jù)導入的六種類型：以下面兩個表來實驗： 1.從本地文件系統(tǒng)導入到hive表中：使用load data語句可以直接導入本地文件到...

0.2 奉先 0 9
8. Hive基礎(chǔ)
1. Hive基本介紹和基礎(chǔ)： Facebook公司最早完成并開源了hive框架，可以將sql語句直接翻譯成MapReduce程序寇损。Hive是基...

1.3 奉先 0 43
7. Hadoop 2.x 中高級特性
1. HDFS Federation架構(gòu)介紹： 1. HDFS介紹： HDFS包含兩層凸郑，分別是Namespace （命名空間）和 Block S...

奉先 0 2
6. Zookeeper和集群HA配置
1. Zookeeper介紹： 1.基本介紹： Zookeeper：為分布式應用提供分布式協(xié)作（協(xié)調(diào)）服務(wù)。使用類似文件系統(tǒng)的樹形結(jié)構(gòu)润绵。目的是...

0.2 奉先 0 10
5.分布式集群環(huán)境
1.虛擬機VMware Tools安裝：安裝VMWare Tools非常簡單线椰，右鍵一個虛擬機，選擇“安裝VMware Tools” （其實尘盼，這...

奉先 0 3

1.CentOS 7 安裝
1. 新建虛擬機為了學習Hadoop憨愉，使用虛擬機來實驗Hadoop集群環(huán)境。使用VMWare來安裝CentOS 7 操作系統(tǒng)卿捎。（1）新建虛...

奉先 0 1
2.Hadoop偽分布式環(huán)境搭建和基本概念
1. Hadoop常用組件： 1. hadoop commons ：hadoop基礎(chǔ)模塊配紫。 2. HDFS：存儲數(shù)據(jù)（讀-寫），一次寫入午阵、多次讀...

奉先 0 2
3.Hadoop 2.x 深度內(nèi)容
1. HDFS架構(gòu)： 1. 架構(gòu)綜述： HDFS是master/slave架構(gòu)躺孝。HDFS集群包含一個namenode和多個datanode享扔；na...

奉先 1 1