1 HDFS 組成架構 NameNode（NN）管理HDFS的名稱空間配置副本策略管理數據塊（Block）映射信息處理客戶端讀寫請求 DataNode（DN）存儲實際的數據塊...
發(fā)簡信
IP屬地：陜西
-
Hadoop HDFS操作指南 -
JVM調優(yōu)的幾種場景（建議收藏）最近很多小伙伴跟我說，自己學了不少JVM的調優(yōu)知識艳汽，但是在實際工作中卻不知道何時對JVM進行調優(yōu)。今天麦轰，我就為大家介紹幾種JVM調優(yōu)的場景。 在閱讀本文時砖织，假定大家已經了解了...
-
GeoSpark-[階段性總結]
一款侵、 Geospark安裝： 我采用的是gradle安裝，安裝環(huán)境是Spark3.0.3+Scala.2.12.3 二侧纯、 Geospark 能夠讀取文件的結構有：CSV,TS...
-
SparkSQL字段血緣關系的實現方式
說明： spark sql的字段血緣關系具體實現代碼和使用方法見GitHub：RHobart/spark-lineage-parent: 跟蹤Spark-sql中的字段血緣關...
-
DeltaLake批處理：數據表的讀取與寫入
DeltaLake支持大部分由Spark DataFrame提供的Opition選項 SparkSession的配置 創(chuàng)建表 DeltaLake支持通過路徑或者元數據查詢表喳坠，...
-
hive字段級別血緣實現
背## 背景 為便于hive表數據上下游的管理(評估邏輯變更的影響、快速追溯數據來源)茂蚓，需要構建hive字段級別的數據血緣壕鹉，hive本身提供提供了一個用于打印數據血緣的鉤子類...
-
IMPALA&HIVE大數據平臺數據血緣與數據地圖https://www.freesion.com/article/1176553841/ impala數據血緣與數據地圖系列： 1. 解析impala與hive的血緣日志 2...
-
presto 的安裝與使用
相關說明： Presto官網: Presto | Distributed SQL Query Engine for Big Data (prestodb.io)[https:...
-
Flink 讀取Kafka數據
一直以來都是使用spark structstreaming 讀取kafka數據，最近一直在嘗試用flink讀取kafka數據聋涨。 開發(fā)環(huán)境配置: kafka + flink +...
