TodoList: Be busy living Pamper's Blog
發(fā)簡信
IP屬地：廣東
-
ubuntu美化和常用軟件安裝
安裝完Ubuntu系統(tǒng)后 配置一個國內(nèi)鏡像： 安裝搜狗輸入法：先下載搜狗輸入發(fā)for linux的deb包 打開系統(tǒng)設置涝婉，點擊語言支持稿存，鍵盤輸入方式系統(tǒng)選擇fictix注銷，...
-
-
-
ubuntu16與windows8雙系統(tǒng)
下載ubuntu系統(tǒng)目派，下載Ultraiso制作u盤為啟動盤 進入bios坤候，設置u盤優(yōu)先啟動。重啟安裝企蹭，按照提示操作白筹。 安裝完成后我們再次進入windows的時候發(fā)現(xiàn)時間變了。...
-
Hbase谅摄。徒河。
hbase的數(shù)據(jù)模型 行鍵，時間戳送漠，列簇顽照。列簇是表schema的一部分，而列不是螺男，所以動態(tài)加列可以不用改變表結構棒厘。每一個列簇生成一個文件，就相當于做了分表下隧。cell：由row...
-
HBASE簡介和安裝列式數(shù)據(jù)庫與行式數(shù)據(jù)庫 從上面可以看出，列式數(shù)據(jù)庫和行式數(shù)據(jù)庫各自有著自己的優(yōu)點谓媒。傳統(tǒng)數(shù)據(jù)庫如：oracle淆院、mysql都是行式。它們適合用于實時的業(yè)務系統(tǒng)（OLTP），對數(shù)...
-
mapreduce的執(zhí)行過程
wordcount 關于切片劃分maptask任務土辩，由客戶端（提交job）完成支救，寫入文件交給mr appmaster。這里的任務切片是一個邏輯片拷淘，和hdfs的block是不同...
-
mapreduce初體驗--wordcountmapreduce是hadoop的核心部分之一各墨。是分布式運算程序的編程框架。相對于hdfs启涯，mapreduce就是一個客戶端贬堵。hdfs：namenode,管理整個系統(tǒng)的元數(shù)據(jù)...
-
socket，hadoop的rpcsocket：在本地我們用PID來唯一標識一個進程结洼。但是在網(wǎng)絡中這樣做難以實現(xiàn)黎做。在TCP/IP協(xié)議簇中，網(wǎng)絡層的ip地址可以唯一標識網(wǎng)絡中的主機松忍，傳輸層的協(xié)議+端口可以唯一標...
-
一些互聯(lián)網(wǎng)協(xié)議網(wǎng)絡模型 這些分類會有一些大同小異蒸殿。每一層都是為了完成一種功能，大家都遵守同樣的協(xié)議鸣峭。 物理層：把電腦連接起來宏所，用光纜、電纜摊溶、雙絞線爬骤、無線電波等方式。主要規(guī)定了網(wǎng)絡的一些電器...
-
azkaban工作流調(diào)度一個完整的數(shù)據(jù)分析系統(tǒng)通常由大量的任務單元組成：shell腳本程序，java程序膛薛，mapreduce程序听隐，hive腳本等。各任務單元之間存在時間先后和依賴關系哄啄，所以需要工作流...
-
flume數(shù)據(jù)采集簡介 flume官網(wǎng)里面有user guide雅任。作用：日志采集、聚合咨跌、傳輸核心組件：Agentagent內(nèi)部組件：source沪么，sink，channel（緩存） 這些組件可以...
-
hive級聯(lián)累計
根據(jù)訪問次數(shù)統(tǒng)計表锌半，得到累計訪問總計 建表禽车，load數(shù)據(jù) 求每個用戶的月總金額 把表自己inner join 生成累計值 分組查詢求月累計值。為什么要max（salary）?...
-
hive自定義函數(shù)和transform
hive自定義函數(shù)（udf：user-defined function） 例1：對于以下數(shù)據(jù) 1、開發(fā)一個java類殉摔，繼承UDF(聚合函數(shù)繼承UDAF)并重載evaluate...