發(fā)簡(jiǎn)信
IP屬地：四川
-
基于SparkSQL實(shí)現(xiàn)的一套即席查詢(xún)服務(wù)IQL (項(xiàng)目地址：https://github.com/teeyog/IQL) English | 簡(jiǎn)體中文 基于SparkSQL實(shí)現(xiàn)了一套即...
-
[Spark SQL] 源碼解析之Optimizer
前言 由前面博客我們知道了SparkSql整個(gè)解析流程如下： sqlText 經(jīng)過(guò) SqlParser 解析成 Unresolved Logic...
-
[Spark SQL] 源碼解析之Analyzer
前言 由前面博客我們知道了SparkSql整個(gè)解析流程如下： sqlText 經(jīng)過(guò) SqlParser 解析成 Unresolved Logic...
-
[Spark SQL] 源碼解析之Parser前言 由上篇博客我們知道了SparkSql整個(gè)解析流程如下： sqlText 經(jīng)過(guò) SqlParser 解析成 Unresolved Logic...
-
[Spark SQL] 主要執(zhí)行流程預(yù)備知識(shí) 先介紹在Spark SQL中兩個(gè)非常重要的數(shù)據(jù)結(jié)構(gòu)：Tree和Rule。 SparkSql的第一件事就是把SQLText解析成語(yǔ)法樹(shù)，...
-
Spark metrics實(shí)現(xiàn)KafkaSink
背景 監(jiān)控是Spark非常重要的一部分嫡秕。Spark的運(yùn)行情況是由ListenerBus以及MetricsSystem 來(lái)完成的新蟆。通過(guò)Spark的...
-
Spark 實(shí)現(xiàn)MySQL update操作
背景 目前 spark 對(duì) MySQL 的操作只有 Append,Overwrite,ErrorIfExists,Ignore幾種表級(jí)別的模式谚赎，...
-
spark任務(wù)之Task失敗監(jiān)控
需求 spark應(yīng)用程序中诬烹，只要task失敗就發(fā)送郵件此虑，并攜帶錯(cuò)誤原因憎妙。 背景 在spark程序中库正，task有失敗重試機(jī)制（根據(jù) spark.t...
-
Spark整合HBase（自定義HBase DataSource）
背景 Spark支持多種數(shù)據(jù)源，但是Spark對(duì)HBase 的讀寫(xiě)都沒(méi)有相對(duì)優(yōu)雅的api厘唾，但spark和HBase整合的場(chǎng)景又比較多褥符，故通過(guò)sp...