┌───────────────────────────────────────────────────┐│2019年12月23日18:55:55更新│ 若redis有密碼...
發(fā)簡(jiǎn)信
IP屬地：湖南
-
如何高效的向Redis中插入大量數(shù)據(jù)
-
國內(nèi)穩(wěn)定的免費(fèi)API接口河咽，我也來分享下
多多點(diǎn)贊全景，因?yàn)榉窒硎且环N美德 http://zhouxunwang.cn/api_a.php?id=25 位置查詢 http://zhouxunwang.cn/api_a.p...
-
數(shù)倉--Hive-面試之Hive動(dòng)態(tài)分區(qū)
面試如果被問道压汪，那么需要說出彩來，特別時(shí)參數(shù) Hive動(dòng)態(tài)分區(qū)參數(shù)配置 往hive分區(qū)表中插入數(shù)據(jù)時(shí)铣揉，如果需要?jiǎng)?chuàng)建的分區(qū)很多饶深，比如以表中某個(gè)字段進(jìn)行分區(qū)存儲(chǔ)，則需要復(fù)制粘貼修...
-
Spark Streaming和Kafka集成深入淺出
寫在前面 本文主要介紹Spark Streaming基本概念逛拱、kafka集成敌厘、Offset管理 本文主要介紹Spark Streaming基本概念、kafka集成朽合、Offse...
-
提交Spark作業(yè)俱两，科學(xué)設(shè)定spark-submit參數(shù)
首先擺出我們常用的一種設(shè)定饱狂。 關(guān)于spark-submit的執(zhí)行過程，讀Spark Core的源碼能夠獲得一個(gè)大致的印象宪彩。今天事情比較多休讳，所以之后會(huì)另寫文章專門敘述關(guān)于Spa...
-
Hbase--為什么不建議在Hbase中使用過多列族面試很容易被問到，也容易被問倒Ｄ蚩住？∪帷！Hbase官網(wǎng)建議每張表的列族數(shù)建議設(shè)在1-3之間活合，so雏婶，Why?從5個(gè)方面說明以下問題： 列族數(shù)對(duì)Flush的影響 在Hbase中，調(diào)用...
-
Kafka+Spark Streaming如何保證exactly once語義在Kafka白指、Storm留晚、Flink、Spark Streaming等分布式流處理系統(tǒng)中（沒錯(cuò)告嘲，Kafka本質(zhì)上是流處理系統(tǒng)错维，不是單純的“消息隊(duì)列”），存在三種消息傳遞語義（...
-
Kafka+Spark Streaming管理offset的兩種方法Kafka配合Spark Streaming是大數(shù)據(jù)領(lǐng)域常見的黃金搭檔之一橄唬，主要是用于數(shù)據(jù)實(shí)時(shí)入庫或分析赋焕。 為了應(yīng)對(duì)可能出現(xiàn)的引起Streaming程序崩潰的異常情況，我們一...
