發(fā)簡(jiǎn)信
IP屬地：江蘇
-
Docker學(xué)習(xí)筆記什么是docker Docker 是一個(gè)開源的應(yīng)用容器引擎，基于 Go 語言 并遵從Apache2.0協(xié)議開源苟径。 Docker 可以讓開發(fā)者打包...
-
Redis學(xué)習(xí)筆記Redis簡(jiǎn)介 REmote DIctionary Server(Redis) 是一個(gè)由SalvatoreSanfilippo寫的key-val...
-
Hive自定義UDF、UDTF（initialize部分源碼解析）這里分析Hive中部分UDF及UDTF函數(shù)的源碼并依此進(jìn)行自定義 1.UDF 這里UDF以Upper方法為例 此方法會(huì)將傳入的字符串變?yōu)榇髮懞蠓?..
-
Sqoop導(dǎo)入My'SQL數(shù)據(jù)到hive及hdfs（全量及增量）Sqoop安裝 配置conf下的sqoop-env.sh文件 添加關(guān)鍵的環(huán)境變量 因?yàn)橐褂胢ysql突琳，需要把mysql驅(qū)動(dòng)包添加到lib下 在...
-
MapReduce中DBInputFormat和DBOutputFormat的使用DBWritable 在通過Mapper讀取數(shù)據(jù)時(shí)可以選擇使用DBInputFormat或DBOutputFormat從Mysql或Oracle...
-
HBase int類型字段存儲(chǔ)亂碼用MR往HBase里寫Int類型遇到了亂碼問題一睁，總結(jié)一下厅翔。 直接往HBase表里寫int呢簸，通過shell查詢 可以看到是一堆字節(jié)數(shù)組神年，hbase...
-
Flume SinkProcessor及ChannelSelector（一個(gè)channel對(duì)接多個(gè)sink的情況）今天在看網(wǎng)課做項(xiàng)目的時(shí)候使用flume的時(shí)候拿它和kafka對(duì)接已维，source使用的是一個(gè)TAILDIR,channel就是一個(gè)普通的memor...
-
Hadoop Partitioner分區(qū)與Shuffle的關(guān)系及自定義分區(qū)代碼初學(xué)Hadoop對(duì)學(xué)習(xí)的東西作一個(gè)總結(jié)。 Partitioner（分區(qū)） 我們知道Hadoop中默認(rèn)使用的InputFormat是TextInp...
-
LinkedBlockingQueue及AQS哨兵節(jié)點(diǎn)的重要性線程池主要有兩種創(chuàng)建方式已日。 一種是選擇使用Executors線程池工具類，可以理解為線程池工廠類栅屏，通過該類設(shè)置好的一些靜態(tài)方法飘千，創(chuàng)建指定類型的線...