kafka配置KAFKA_LISTENERS和KAFKA_ADVERTISED_LISTENERS 介紹kafka的兩個參數(shù)KAFKA_LISTENERS和KAFKA_ADV...
發(fā)簡信
IP屬地：上海
-
kafka配置KAFKA_LISTENERS和KAFKA_ADVERTISED_LISTENERS
-
直接打開終端馏颂，輸入sudo vi /etc/hosts
Mac OS 下三種修改Hosts文件的方法
一.系統(tǒng)偏好設(shè)置修改 1.打開系統(tǒng)偏好設(shè)置欢瞪，底部有一個Hosts的快捷入口2.輸入ip和hostname后，回車確定，勾選改host即可 二.終端命令行修改 sudo vi ...
-
Hive/HiveQL常用優(yōu)化方法全面總結(jié)（下篇）本文接上篇（http://www.reibang.com/p/8e2f2f0d4b6c）繼續(xù)講解Hive/HiveQL常用優(yōu)化方法本姥，按照目錄，會從“優(yōu)化SQL處理join數(shù)...
-
Hive/HiveQL常用優(yōu)化方法全面總結(jié)（上篇）Hive作為大數(shù)據(jù)領(lǐng)域常用的數(shù)據(jù)倉庫組件，在平時設(shè)計和查詢時要特別注意效率刁绒。影響Hive效率的幾乎從不是數(shù)據(jù)量過大，而是數(shù)據(jù)傾斜烤黍、數(shù)據(jù)冗余知市、job或I/O過多、MapRedu...
-
再談Spark Streaming Kafka反壓
0x01 前言 上篇文章Spark Streaming和Kafka集成深入淺出介紹了Spark Streaming的基本內(nèi)容及和kafka的集成速蕊，其中也提到了開啟反壓的緣由：...
-
xml文件中的一些特殊符號（&嫂丙，<）的使用方法
xml文件配置 1. 問題說明 平時我們在項目文件的配置或者用xml進行數(shù)據(jù)的存儲或傳輸時，會遇到不能用一些特殊符號的問題规哲，比如我在之前學(xué)習(xí)c3p0的時候跟啤，編輯c3p0-co...
-
Spark 任務(wù)執(zhí)行排查慢的問題排查-2現(xiàn)象描述： Application主要是從hadoop文件中讀取數(shù)據(jù)，然后計算出24小時的車輛狀態(tài)，并存儲隅肥。所以總共24個Job关顷。之前Application的平均執(zhí)行時間是2...
-
Spark Job執(zhí)行變慢問題的排查的流程最近一個從Hbase撈取數(shù)據(jù)進行統(tǒng)計值的Spark Job 計算經(jīng)常報警，執(zhí)行時間大大超過以前的平均執(zhí)行時間武福。于是打開一個application 發(fā)現(xiàn)這個applicatio...
-
第九章 事實表設(shè)計之累計快照事實表累計快照事實表的主要用于研究事件之間時間間隔议双，當(dāng)然并不僅限于此，還有一些特殊用途捉片，可以在實際工作中靈活運用平痰。 設(shè)計特點 1）數(shù)據(jù)不斷更新：不同于前面說的兩種事實表，累計快照事...
-
快速理解Spark Dataset1. 前言 RDD伍纫、DataFrame宗雇、Dataset是Spark三個最重要的概念，RDD和DataFrame兩個概念出現(xiàn)的比較早莹规，Dataset相對出現(xiàn)的較晚（1.6版本開...
-
Spark--spark工作模式詳解(local/standalone/yarn)Spark 運行模式分類 本地模式赔蒲； standalone模式； spark on yarn 模式良漱，又分未yarn-client和yarn-cluster舞虱； spark on...
-
Flink On Yarn如何查看任務(wù)日志無論Flink還是Spark都支持自建集群(standalone cluster)。但是為了保證穩(wěn)定性和資源隔離等母市，生產(chǎn)環(huán)境里的任務(wù)最好借助資源管理框架(如Yarn)運行矾兜。任...
-
MySQL - navicat16 安裝與破解NavicatPremium16破解 Navicat premium是一款數(shù)據(jù)庫管理工具,是一個可多重連線資料庫的管理工具，它可以讓你以單一程式同時連線到 MySQL患久、SQL...
-
Java 中的枚舉 (enum)
枚舉類 (enum) 在某些情況下椅寺，一個類的對象時有限且固定的，如季節(jié)類蒋失，它只有春夏秋冬4個對象這種實例有限且固定的類返帕，在 Java 中被稱為枚舉類；在 Java 中使用 e...
-
Maven-dependencyManagement的使用1. DepencyManagement應(yīng)用場景 當(dāng)我們的項目模塊很多的時候篙挽，我們使用Maven管理項目非常方便荆萤，幫助我們管理構(gòu)建、文檔嫉髓、報告观腊、依賴、scms算行、發(fā)布、分發(fā)的方...
-
hive的啟動和停止
hive的啟動 hive有兩個server端的服務(wù) metatstore 和 hiveserver2 根據(jù)需要進行啟動 metatstore的啟動方法 （樣例） nohu...
-
Flink--Checkpoint機制原理基于flink-1.8.1 本文轉(zhuǎn)載自一文搞懂Flink內(nèi)部的Exactly Once和At Least Once 如何理解flink中state(狀態(tài)) state泛指 s...
-
Flink實戰(zhàn)之寫Hive性能問題
上一篇中寫了Kafka to Hive的樣例苫耸，在實際測試過程中州邢，發(fā)現(xiàn)性能比較差。 問題1 我使用的是Flink1.11.1版本，這個版本有個性能上的問題量淌，見FLINK-191...
-
Flink SQL實戰(zhàn)演練之CSV Format
簡介：實時業(yè)務(wù)中行為數(shù)據(jù)一般是以日志的形式收集的骗村，日志的結(jié)構(gòu)通常類似于nginx access log，我們在接收到日志后呀枢，需要對數(shù)據(jù)結(jié)構(gòu)進行解析胚股，按照一定的schema存儲...
