1 HDFS 組成架構(gòu) NameNode（NN）管理HDFS的名稱空間配置副本策略管理數(shù)據(jù)塊（Block）映射信息處理客戶端讀寫請(qǐng)求 DataNode（DN）存儲(chǔ)實(shí)際的數(shù)據(jù)塊...
發(fā)簡(jiǎn)信
IP屬地：陜西
-
Hadoop HDFS操作指南 -
Apache Spark Contributor<br>monkey boy_tech <br>專注于技術(shù)的dotaer
-
JVM調(diào)優(yōu)的幾種場(chǎng)景（建議收藏）最近很多小伙伴跟我說(shuō)置蜀，自己學(xué)了不少JVM的調(diào)優(yōu)知識(shí)，但是在實(shí)際工作中卻不知道何時(shí)對(duì)JVM進(jìn)行調(diào)優(yōu)悉盆。今天盯荤，我就為大家介紹幾種JVM調(diào)優(yōu)的場(chǎng)景。 在閱讀本文時(shí)舀瓢，假定大家已經(jīng)了解了...
-
GeoSpark-[階段性總結(jié)]
一廷雅、 Geospark安裝： 我采用的是gradle安裝耗美，安裝環(huán)境是Spark3.0.3+Scala.2.12.3 二京髓、 Geospark 能夠讀取文件的結(jié)構(gòu)有：CSV,TS...
-
SparkSQL字段血緣關(guān)系的實(shí)現(xiàn)方式
說(shuō)明： spark sql的字段血緣關(guān)系具體實(shí)現(xiàn)代碼和使用方法見(jiàn)GitHub：RHobart/spark-lineage-parent: 跟蹤Spark-sql中的字段血緣關(guān)...
-
DeltaLake批處理：數(shù)據(jù)表的讀取與寫入
DeltaLake支持大部分由Spark DataFrame提供的Opition選項(xiàng) SparkSession的配置 創(chuàng)建表 DeltaLake支持通過(guò)路徑或者元數(shù)據(jù)查詢表，...
-
hive字段級(jí)別血緣實(shí)現(xiàn)
背## 背景 為便于hive表數(shù)據(jù)上下游的管理(評(píng)估邏輯變更的影響商架、快速追溯數(shù)據(jù)來(lái)源)堰怨，需要構(gòu)建hive字段級(jí)別的數(shù)據(jù)血緣，hive本身提供提供了一個(gè)用于打印數(shù)據(jù)血緣的鉤子類...
-
IMPALA&HIVE大數(shù)據(jù)平臺(tái)數(shù)據(jù)血緣與數(shù)據(jù)地圖https://www.freesion.com/article/1176553841/ impala數(shù)據(jù)血緣與數(shù)據(jù)地圖系列： 1. 解析impala與hive的血緣日志 2...
-
presto 的安裝與使用
相關(guān)說(shuō)明： Presto官網(wǎng): Presto | Distributed SQL Query Engine for Big Data (prestodb.io)[https:...
-
Flink 讀取Kafka數(shù)據(jù)
一直以來(lái)都是使用spark structstreaming 讀取kafka數(shù)據(jù)蛇摸，最近一直在嘗試用flink讀取kafka數(shù)據(jù)备图。 開(kāi)發(fā)環(huán)境配置: kafka + flink +...
-
Debezium 初次使用
世間的一切都可以用時(shí)間來(lái)解決 前言： 因項(xiàng)目需要，需要調(diào)研debezium赶袄，也就是捕獲數(shù)據(jù)更改(CDC)揽涮。翻閱了網(wǎng)上的一些資料和官網(wǎng)信息，將之總結(jié)如下： 環(huán)境準(zhǔn)備： ubun...
-
SPARK提交任務(wù)到Y(jié)arn集群的過(guò)程
上面的命令執(zhí)行順序大致為： 文件描述： spark-submit.sh 提交任務(wù)饿肺，程序進(jìn)入到SparkSubmit 文件代碼中 執(zhí)行main()函數(shù)：2.1 匹配到SPARK...
-
spark 行專列蒋困，列轉(zhuǎn)行
目的：數(shù)據(jù)行專列，列轉(zhuǎn)行 數(shù)據(jù)準(zhǔn)備： 列轉(zhuǎn)行： 行專列： 完整代碼：
-
waterdrop 使用
waterdrop 可以設(shè)置多數(shù)據(jù)源雪标，多輸出源零院，按照固定模板寫就行 【此代碼為引用其他文章】 waterdrop 執(zhí)行流程：
-
Hive日常使用
hive 創(chuàng)建表： hive 執(zhí)行： =========================hive 調(diào)用Python腳本的時(shí)候，在root目錄下村刨，在using 'python ...
-
GeoSpark-ST_PointFromText(2)
之前寫過(guò)關(guān)于ST_PointFromText告抄，但是有一個(gè)點(diǎn)忽略了，那就重新寫一遍 完整代碼： 數(shù)據(jù)結(jié)果：
-
2021-02-19《spark將數(shù)據(jù)寫入到clickhouse》
pom.xml文件關(guān)鍵性配置如下： 另外嵌牺，如果創(chuàng)建的項(xiàng)目沒(méi)有resouces打洼，需要在build里面構(gòu)建 注意: resources 中需要將相關(guān)的hive 文件添加進(jìn)去（默...