┌───────────────────────────────────────────────────┐│2019年12月23日18:55:55更新│ 若redis有密碼...
發(fā)簡(jiǎn)信
IP屬地：湖南
-
如何高效的向Redis中插入大量數(shù)據(jù)
-
國(guó)內(nèi)穩(wěn)定的免費(fèi)API接口沸停，我也來分享下
多多點(diǎn)贊狈网，因?yàn)榉窒硎且环N美德 http://zhouxunwang.cn/api_a.php?id=25 位置查詢 http://zhouxunwang.cn/api_a.p...
-
數(shù)倉(cāng)--Hive-面試之Hive動(dòng)態(tài)分區(qū)
面試如果被問道掸犬，那么需要說出彩來站粟，特別時(shí)參數(shù) Hive動(dòng)態(tài)分區(qū)參數(shù)配置 往hive分區(qū)表中插入數(shù)據(jù)時(shí)，如果需要?jiǎng)?chuàng)建的分區(qū)很多伤塌，比如以表中某個(gè)字段進(jìn)行分區(qū)存儲(chǔ)缴允，則需要復(fù)制粘貼修...
-
Spark Streaming和Kafka集成深入淺出
寫在前面 本文主要介紹Spark Streaming基本概念、kafka集成杯巨、Offset管理 本文主要介紹Spark Streaming基本概念蚤告、kafka集成、Offse...
-
提交Spark作業(yè)服爷，科學(xué)設(shè)定spark-submit參數(shù)
首先擺出我們常用的一種設(shè)定杜恰。 關(guān)于spark-submit的執(zhí)行過程，讀Spark Core的源碼能夠獲得一個(gè)大致的印象仍源。今天事情比較多心褐，所以之后會(huì)另寫文章專門敘述關(guān)于Spa...
-
Hbase--為什么不建議在Hbase中使用過多列族面試很容易被問到，也容易被問倒Ａ取Ｃ始拧！Hbase官網(wǎng)建議每張表的列族數(shù)建議設(shè)在1-3之間戳表，so桶至，Why?從5個(gè)方面說明以下問題： 列族數(shù)對(duì)Flush的影響 在Hbase中昼伴，調(diào)用...
-
Kafka+Spark Streaming如何保證exactly once語(yǔ)義在Kafka、Storm镣屹、Flink圃郊、Spark Streaming等分布式流處理系統(tǒng)中（沒錯(cuò)，Kafka本質(zhì)上是流處理系統(tǒng)女蜈，不是單純的“消息隊(duì)列”）持舆，存在三種消息傳遞語(yǔ)義（...
-
Kafka+Spark Streaming管理offset的兩種方法Kafka配合Spark Streaming是大數(shù)據(jù)領(lǐng)域常見的黃金搭檔之一，主要是用于數(shù)據(jù)實(shí)時(shí)入庫(kù)或分析伪窖。 為了應(yīng)對(duì)可能出現(xiàn)的引起Streaming程序崩潰的異常情況逸寓，我們一...
-
Spark--SparkCore面試知識(shí)點(diǎn)總結(jié)
整理于【Spark面試2000題】Spark core面試篇03 ，梅峰谷大數(shù)據(jù) 1.Spark使用parquet文件存儲(chǔ)格式能帶來哪些好處覆山？ 如果說HDFS 是大數(shù)據(jù)時(shí)代分...
-
es 在數(shù)據(jù)量很大的情況下（數(shù)十億級(jí)別）如何提高查詢效率爸裆臁？面試官心理分析 這個(gè)問題是肯定要問的簇宽，說白了勋篓，就是看你有沒有實(shí)際干過 es，因?yàn)樯段焊睿科鋵?shí) es 性能并沒有你想象中那么好的譬嚣。很多時(shí)候數(shù)據(jù)量大了，特別是有幾億條數(shù)據(jù)的時(shí)候钞它，可能...
-
六大數(shù)據(jù)采集平臺(tái)的架構(gòu)對(duì)比分析隨著大數(shù)據(jù)越來越被重視拜银，數(shù)據(jù)采集的挑戰(zhàn)變的尤為突出。今天為大家介紹幾款數(shù)據(jù)采集平臺(tái)：Apache Flume遭垛、Fluentd尼桶、Logstash、Chukwa耻卡、Scribe疯汁、S...
-
數(shù)倉(cāng)--Hive-面試之Hive設(shè)置配置參數(shù)的方法牲尺，列舉8個(gè)常用配置
Hive設(shè)置配置參數(shù)的方法 Hive提供三種可以改變環(huán)境變量的方法卵酪，分別是：（1）、修改${HIVE_HOME}/conf/hive-site.xml配置文件谤碳；（2）溃卡、命令行...
-
Hbase--優(yōu)化之表設(shè)計(jì)
1-預(yù)分區(qū) 默認(rèn)情況下，在創(chuàng)建HBase表的時(shí)候會(huì)自動(dòng)創(chuàng)建一個(gè)region分區(qū)蜒简，當(dāng)導(dǎo)入數(shù)據(jù)的時(shí)候瘸羡，所有的HBase客戶端都向這一個(gè)region寫數(shù)據(jù)，直到這個(gè)region足夠...
-
利用Binlog和Kafka實(shí)時(shí)同步mysql數(shù)據(jù)到Elasticsearch(四) - 消費(fèi)Kafka消息同步數(shù)據(jù)到ES目錄 1搓茬、利用Binlog和Kafka實(shí)時(shí)同步mysql數(shù)據(jù)到Elasticsearch(一) - 開啟Binlog日志2犹赖、利用Binlog和Kafka實(shí)時(shí)同步mysql數(shù)據(jù)...
-
Spark--數(shù)據(jù)傾斜解決方案數(shù)據(jù)傾斜分為兩大類：聚合傾斜和join傾斜队他，針對(duì)不同的傾斜類型采用不同解決方案 數(shù)據(jù)傾斜解決方案上分為：緩解數(shù)據(jù)傾斜和徹底解決數(shù)據(jù)傾斜 1.數(shù)據(jù)傾斜表現(xiàn)形勢(shì) 導(dǎo)致數(shù)據(jù)傾斜的算...
-
深入解析Spark Core麸折、Spark Streaming源碼，徹底精通Spark
-
微服務(wù)日志分析之ELKK所謂ELKK 是指 Elasticsearch, Logstash, Kibana, Kafka 這4個(gè)開源日志分析粘昨，收集, 分析展現(xiàn)和傳輸工具垢啼。 由于 Logstash 是...
-
flume+kafka+SparkStreaming+mysql+ssm+高德地圖熱力圖項(xiàng)目一、概述 本篇文章主要介紹如何使用SparkStreaming + flume + Kafka 實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)的計(jì)算张肾，并且使用高德地圖API實(shí)現(xiàn)熱力圖的展示芭析。 背景知識(shí)： 在有...
-
互聯(lián)網(wǎng)一線從業(yè)者馁启。<br><br>持續(xù)穩(wěn)定輸出技術(shù)文檔，歡迎關(guān)注尸饺、歡迎轉(zhuǎn)發(fā)进统。<br>
