kafka配置KAFKA_LISTENERS和KAFKA_ADVERTISED_LISTENERS 介紹kafka的兩個(gè)參數(shù)KAFKA_LISTENERS和KAFKA_ADV...
發(fā)簡(jiǎn)信
IP屬地：上海
-
kafka配置KAFKA_LISTENERS和KAFKA_ADVERTISED_LISTENERS
-
直接打開終端劲够，輸入sudo vi /etc/hosts
Mac OS 下三種修改Hosts文件的方法
一.系統(tǒng)偏好設(shè)置修改 1.打開系統(tǒng)偏好設(shè)置绒极，底部有一個(gè)Hosts的快捷入口2.輸入ip和hostname后，回車確定，勾選改host即可 二.終端命令行修改 sudo vi ...
-
Hive/HiveQL常用優(yōu)化方法全面總結(jié)（下篇）本文接上篇（http://www.reibang.com/p/8e2f2f0d4b6c）繼續(xù)講解Hive/HiveQL常用優(yōu)化方法锥债，按照目錄，會(huì)從“優(yōu)化SQL處理join數(shù)...
-
Hive/HiveQL常用優(yōu)化方法全面總結(jié)（上篇）Hive作為大數(shù)據(jù)領(lǐng)域常用的數(shù)據(jù)倉(cāng)庫(kù)組件，在平時(shí)設(shè)計(jì)和查詢時(shí)要特別注意效率比驻。影響Hive效率的幾乎從不是數(shù)據(jù)量過大，而是數(shù)據(jù)傾斜岛抄、數(shù)據(jù)冗余别惦、job或I/O過多、MapRedu...
-
再談Spark Streaming Kafka反壓
0x01 前言 上篇文章Spark Streaming和Kafka集成深入淺出介紹了Spark Streaming的基本內(nèi)容及和kafka的集成夫椭，其中也提到了開啟反壓的緣由：...
-
xml文件中的一些特殊符號(hào)（&掸掸，<）的使用方法
xml文件配置 1. 問題說明 平時(shí)我們?cè)陧?xiàng)目文件的配置或者用xml進(jìn)行數(shù)據(jù)的存儲(chǔ)或傳輸時(shí)，會(huì)遇到不能用一些特殊符號(hào)的問題蹭秋，比如我在之前學(xué)習(xí)c3p0的時(shí)候扰付，編輯c3p0-co...
-
Spark 任務(wù)執(zhí)行排查慢的問題排查-2現(xiàn)象描述： Application主要是從hadoop文件中讀取數(shù)據(jù)，然后計(jì)算出24小時(shí)的車輛狀態(tài)仁讨，并存儲(chǔ)羽莺。所以總共24個(gè)Job。之前Application的平均執(zhí)行時(shí)間是2...
-
Spark Job執(zhí)行變慢問題的排查的流程最近一個(gè)從Hbase撈取數(shù)據(jù)進(jìn)行統(tǒng)計(jì)值的Spark Job 計(jì)算經(jīng)常報(bào)警洞豁，執(zhí)行時(shí)間大大超過以前的平均執(zhí)行時(shí)間盐固。于是打開一個(gè)application 發(fā)現(xiàn)這個(gè)applicatio...
-
第九章 事實(shí)表設(shè)計(jì)之累計(jì)快照事實(shí)表累計(jì)快照事實(shí)表的主要用于研究事件之間時(shí)間間隔荒给，當(dāng)然并不僅限于此，還有一些特殊用途刁卜，可以在實(shí)際工作中靈活運(yùn)用志电。 設(shè)計(jì)特點(diǎn) 1）數(shù)據(jù)不斷更新：不同于前面說的兩種事實(shí)表，累計(jì)快照事...
-
快速理解Spark Dataset1. 前言 RDD长酗、DataFrame溪北、Dataset是Spark三個(gè)最重要的概念，RDD和DataFrame兩個(gè)概念出現(xiàn)的比較早夺脾，Dataset相對(duì)出現(xiàn)的較晚（1.6版本開...
-
Spark--spark工作模式詳解(local/standalone/yarn)Spark 運(yùn)行模式分類 本地模式之拨； standalone模式； spark on yarn 模式咧叭，又分未yarn-client和yarn-cluster蚀乔； spark on...
-
Flink On Yarn如何查看任務(wù)日志無論Flink還是Spark都支持自建集群(standalone cluster)。但是為了保證穩(wěn)定性和資源隔離等菲茬，生產(chǎn)環(huán)境里的任務(wù)最好借助資源管理框架(如Yarn)運(yùn)行吉挣。任...
-
MySQL - navicat16 安裝與破解NavicatPremium16破解 Navicat premium是一款數(shù)據(jù)庫(kù)管理工具,是一個(gè)可多重連線資料庫(kù)的管理工具，它可以讓你以單一程式同時(shí)連線到 MySQL婉弹、SQL...
-
Java 中的枚舉 (enum)
枚舉類 (enum) 在某些情況下睬魂，一個(gè)類的對(duì)象時(shí)有限且固定的，如季節(jié)類镀赌，它只有春夏秋冬4個(gè)對(duì)象這種實(shí)例有限且固定的類氯哮，在 Java 中被稱為枚舉類；在 Java 中使用 e...
-
Maven-dependencyManagement的使用1. DepencyManagement應(yīng)用場(chǎng)景 當(dāng)我們的項(xiàng)目模塊很多的時(shí)候商佛，我們使用Maven管理項(xiàng)目非常方便喉钢，幫助我們管理構(gòu)建、文檔良姆、報(bào)告肠虽、依賴、scms玛追、發(fā)布税课、分發(fā)的方...
-
hive的啟動(dòng)和停止
hive的啟動(dòng) hive有兩個(gè)server端的服務(wù) metatstore 和 hiveserver2 根據(jù)需要進(jìn)行啟動(dòng) metatstore的啟動(dòng)方法 （樣例） nohu...
-
Flink--Checkpoint機(jī)制原理基于flink-1.8.1 本文轉(zhuǎn)載自一文搞懂Flink內(nèi)部的Exactly Once和At Least Once 如何理解flink中state(狀態(tài)) state泛指 s...
-
Flink實(shí)戰(zhàn)之寫Hive性能問題
上一篇中寫了Kafka to Hive的樣例，在實(shí)際測(cè)試過程中痊剖，發(fā)現(xiàn)性能比較差伯复。 問題1 我使用的是Flink1.11.1版本，這個(gè)版本有個(gè)性能上的問題邢笙，見FLINK-191...
-
Flink SQL實(shí)戰(zhàn)演練之CSV Format
簡(jiǎn)介：實(shí)時(shí)業(yè)務(wù)中行為數(shù)據(jù)一般是以日志的形式收集的啸如，日志的結(jié)構(gòu)通常類似于nginx access log，我們?cè)诮邮盏饺罩竞蟮撸枰獙?duì)數(shù)據(jù)結(jié)構(gòu)進(jìn)行解析叮雳，按照一定的schema存儲(chǔ)...
