木衍小哥

背景介紹??Linkis是一款優(yōu)秀的計(jì)算中間件痒谴，他對(duì)應(yīng)用層屏蔽了復(fù)雜的底層計(jì)算引擎和存儲(chǔ)方案隙弛，讓大數(shù)據(jù)變得更加簡單易用牧抵，同時(shí)也讓運(yùn)維變得更加方便复哆。我們的平臺(tái)很早就部署了WDS...

木衍小哥

Web3.0時(shí)代：開放折砸、隱私、共建 在分布式技術(shù)（區(qū)塊鏈）的助力下沙峻，Web3.0將從開放睦授、隱私和共建三個(gè)角度去顛覆Web2.0互聯(lián)網(wǎng)，打造一個(gè)由用戶社區(qū)主導(dǎo)的去中心化世界摔寨，重...

木衍小哥

一去枷、AQE特性 自適應(yīng)查詢執(zhí)行（AQE）是Spark SQL中的一種優(yōu)化技術(shù)，它利用運(yùn)行時(shí)統(tǒng)計(jì)信息來選擇最有效的查詢執(zhí)行計(jì)劃是复，也就是說可以根據(jù)執(zhí)行過程中的中間數(shù)據(jù)優(yōu)化后續(xù)執(zhí)行...

木衍小哥

一删顶、Shuffle流程 1、Shuffle定義 Spark之所以出現(xiàn)Shuffle淑廊，主要是因?yàn)榫哂心撤N共同特征的一類數(shù)據(jù)需要最終匯聚到一個(gè)計(jì)算節(jié)點(diǎn)上進(jìn)行計(jì)算逗余。這些數(shù)據(jù)分布在各...

木衍小哥

Spark作為一個(gè)基于內(nèi)存的分布式計(jì)算引擎，其內(nèi)存管理模塊在整個(gè)系統(tǒng)中扮演著非常重要的角色季惩。 在執(zhí)行Spark的應(yīng)用程序時(shí)录粱，Spark集群會(huì)啟動(dòng)Driver和Executor...

木衍小哥

Spark任務(wù)從提交到執(zhí)行完成有很多步驟，整體上可以劃分為三個(gè)階段： 應(yīng)用的提交画拾； 執(zhí)行環(huán)境的準(zhǔn)備啥繁； 任務(wù)的調(diào)度和執(zhí)行。 一青抛、執(zhí)行流程概述 Spark有多種不同的運(yùn)行模式输虱，在...

木衍小哥

1、窗口函數(shù) 常用到的Hive窗口函數(shù)具體有：row_number()脂凶、rank()宪睹、dense_rank() 這三個(gè)窗口函數(shù)，具體區(qū)別主要有： row_number:不管排...

木衍小哥

Hive作為大數(shù)據(jù)領(lǐng)域常見的數(shù)據(jù)倉庫組件促煮，在設(shè)計(jì)和開發(fā)階段需要注意效率。影響Hive效率的不僅僅是數(shù)據(jù)量過大整袁、數(shù)據(jù)傾斜菠齿、job（小文件過多）或者磁盤I/O過多、MapRedu...

木衍小哥

一坐昙、基礎(chǔ)配置 我們公司yarn node節(jié)點(diǎn)的可用資源配置為：單臺(tái)node節(jié)點(diǎn)可用資源數(shù)：核數(shù)33cores绳匀、內(nèi)存110G。Hive on Spark任務(wù)的基礎(chǔ)配置炸客，主要配置...

木衍小哥

Hive調(diào)優(yōu)策略 Hive作為大數(shù)據(jù)領(lǐng)域常用的數(shù)據(jù)倉庫組件疾棵，在設(shè)計(jì)和開發(fā)階段需要注意效率。 影響Hive效率的不僅僅是數(shù)據(jù)量過大;數(shù)據(jù)傾斜痹仙、數(shù)據(jù)冗余是尔、job（小文件多）或I/...

木衍小哥

Spark GraphX概述 GraphX是Spark的一個(gè)組件良拼，專門用來表示圖以及進(jìn)行圖的并行計(jì)算。GraphX通過重新定義了圖的抽象概念來拓展了RDD：定向多圖充边，其屬性附...