flume 有三大組件source 、channel和sink炊琉，各個(gè)組件之間都可以相互組合使用薇组，各組件間耦合度低扫步。使用靈活咧七，方便递宅。 1.多sink channel 的內(nèi)容只輸...
發(fā)簡(jiǎn)信
IP屬地：新疆
-
flume 的source 、channel和sink 多種組合
-
為什么Kafka那么快
網(wǎng)上有很多Kafka的測(cè)試文章，測(cè)試結(jié)果通常都是“吊打”其他MQ锉屈。感慨它的牛B之余我覺(jué)得必要仔細(xì)分析一下它如此快速的原因荤傲。這篇文章不同于其他介紹Kafka使用或者技術(shù)實(shí)現(xiàn)的文...
-
MapReduce的原理及執(zhí)行過(guò)程MapReduce簡(jiǎn)介 MapReduce是一種分布式計(jì)算模型，是Google提出的颈渊，主要用于搜索領(lǐng)域遂黍，解決海量數(shù)據(jù)的計(jì)算問(wèn)題。 MR有兩個(gè)階段組成：Map和Reduce俊嗽，用...
-
Hive高級(jí)查詢(xún)操作
根據(jù)已經(jīng)存在的表雾家，使用as關(guān)鍵字，創(chuàng)建一個(gè)與查詢(xún)結(jié)果字段一致的表绍豁，同時(shí)將查詢(xún)結(jié)果數(shù)據(jù)插入到新表 只有student_id,name兩個(gè)字段的表 刪除列,將繼續(xù)存在的列再定義一...
-
Hive學(xué)習(xí)
us.apache.org/dist/hive/hive-2.1.1/ 官方文檔：https://cwiki.apache.org/confluence/display/Hi...
-
Hive學(xué)習(xí)筆記1
什么是Hive： Hive是基于Hadoop之上的數(shù)據(jù)倉(cāng)庫(kù)芯咧，數(shù)據(jù)存放在HDFS上，它同樣可以通過(guò)ETL來(lái)進(jìn)行數(shù)據(jù)的抽取竹揍、轉(zhuǎn)換和加載敬飒。同時(shí)Hive可以自己開(kāi)發(fā)Mapreduce...
-
Hive高級(jí)查詢(xún)操作
Hive高級(jí)操作 1.使用LIKE、AS創(chuàng)建表,表重命名芬位，添加无拗、修改、刪除列 表結(jié)構(gòu)數(shù)據(jù)復(fù)制 根據(jù)已存在的表結(jié)構(gòu)昧碉，使用like關(guān)鍵字英染，復(fù)制一個(gè)表結(jié)構(gòu)一模一樣的新表 hive>...
-
6.MySql中的SQL語(yǔ)句（五）:多表查詢(xún)
多表查詢(xún)有如下幾種： 合并結(jié)果集；UNION被饿、UNION ALL 連接查詢(xún) 內(nèi)連接[INNER] JOINON 外連接OUTER JOIN ON 左外連接LEFT [OUTE...
-
@Query注解的用法(Spring Data JPA)
1. 一個(gè)使用@Query注解的簡(jiǎn)單例子 @Query(value = "select name,author,price from Book b where b.price...
-
如何進(jìn)行有效的數(shù)據(jù)分析在互聯(lián)網(wǎng)的下半場(chǎng)焰扳，不斷精細(xì)化運(yùn)營(yíng)的背景下柔昼，產(chǎn)品經(jīng)理不再是單純的靠感覺(jué)來(lái)做產(chǎn)品架诞，更需要培養(yǎng)數(shù)據(jù)的意識(shí)叼屠，能以數(shù)據(jù)為依歸，來(lái)不斷改善產(chǎn)品哥牍。 不同于公司專(zhuān)業(yè)的數(shù)據(jù)分析師毕泌，產(chǎn)品經(jīng)理更多...
-
MongoDB高級(jí)查詢(xún)?cè)敿?xì)前幾篇喝检，老玩家繞道即可嗅辣，新手晚上閑著也是蛋疼，不如把命令敲一邊挠说，這樣你就會(huì)對(duì)MongoDB有一定的掌握啦澡谭。如果沒(méi)有安裝MongoDB去看我的上一篇博客 MongoDB下載安裝...
-
MongoDB筆記：windows環(huán)境安裝及連接本地?cái)?shù)據(jù)庫(kù)
安裝步驟： 1、將下載的mongodb壓縮包解壓到對(duì)應(yīng)文件夾，我的是：D:\softInstall\mongodb蛙奖，請(qǐng)注意潘酗，我的bin目錄是：D:\softInstall\m...
-
mysql修改數(shù)據(jù)表自增步長(zhǎng)
可以修改系統(tǒng)變量auto_increment_increment mysql>SHOW VARIABLESLIKE'auto_inc%'; +---------------...
-
通過(guò)jedis客戶(hù)端連接redis寫(xiě)入報(bào)"JedisConnectionException: java.net.SocketException: Software caused connection問(wèn)題現(xiàn)象(jedis-2.1.0.jar) 基于JedisPool管理Jedis對(duì)象，通過(guò)get方法獲取值雁仲，出現(xiàn)key對(duì)應(yīng)的value值錯(cuò)誤仔夺，例如： K V a a Jedi...
-
mysql創(chuàng)建定時(shí)執(zhí)行存儲(chǔ)過(guò)程任務(wù)
sql語(yǔ)法很多，是一門(mén)完整語(yǔ)言攒砖。這里僅僅實(shí)現(xiàn)一個(gè)功能缸兔，不做深入研究。 目標(biāo)：定時(shí)更新表或者清空表吹艇。 案例：曾經(jīng)做過(guò)定時(shí)清空位置信息表的任務(wù)惰蜜。（然而，當(dāng)時(shí)并未考慮服務(wù)器掛掉后的...
-
git學(xué)習(xí)五：eclipse使用git下載項(xiàng)目
準(zhǔn)備工作： 目的：從遠(yuǎn)程倉(cāng)庫(kù)github上down所需的項(xiàng)目 eclipse使用git插件下載github上項(xiàng)目 eclipse版本：eclipse4.5 64位 jdk版本...
-
CentOS安裝Redis
[if !supportLists]1.1.1[endif]安裝環(huán)境 redis是C語(yǔ)言開(kāi)發(fā)受神，安裝redis需要先將官網(wǎng)下載的源碼進(jìn)行編譯抛猖，編譯依賴(lài)gcc環(huán)境。如果沒(méi)有g(shù)cc...
-
已解決：客戶(hù)端無(wú)法登錄Redis服務(wù)器報(bào)錯(cuò)鼻听，解除保護(hù)模式
一：?jiǎn)栴}如下 [sql]view plaincopy 在192.168.56.57客戶(hù)端登錄192.168.56.56的redis服務(wù)器時(shí)财著，報(bào)錯(cuò)如下： [root@local...