發(fā)簡(jiǎn)信
IP屬地：山東
-
Spark Streaming Source Kafka 0.8.2
描述 針對(duì)kafka0.8.2的API，Spark Streaming有兩個(gè)版本的Source逗柴，Receiver和DirectAPI蛹头，其中Rec...
-
Spark UDF and functions（一）
1.創(chuàng)建與使用udf udf有兩種使用方法，一是通過(guò)sparkSession注冊(cè)戏溺，在sql中直接使用渣蜗；二是在dataset中通過(guò)Column使用...
-
Streaming metadate checkpoint詳解spark streaming的checkpoint目的是保證長(zhǎng)時(shí)間運(yùn)行的任務(wù)在意外掛掉后保證數(shù)據(jù)不丟失，checkpoint包含兩種數(shù)據(jù)：me...
-
Docker部署hexo在github搭建博客
背景 在博客網(wǎng)站發(fā)布markdown格式的博客越來(lái)越方便于购，但發(fā)現(xiàn)好多個(gè)人博客的樣式大都一樣袍睡，研究發(fā)現(xiàn)好多都是使用github+hexo+個(gè)人域名...
-
Spark metrics整理
概述 spark使用metrics的包路徑為：org.apache.spark.metrics，核心類(lèi)：MetricsSystem肋僧“呤ぃ可以把Spa...
-
Spark Structured Streaming Source Sink整理Source源碼調(diào)用 Structured Streaming在Source階段的調(diào)用過(guò)程如上圖 1.在start時(shí)會(huì)啟動(dòng)StreamExecu...
-
prometheus監(jiān)控spark on yarn方案（一）
一控淡、監(jiān)控指標(biāo) 使用sparkMetricSink監(jiān)控的指標(biāo) 二、考慮問(wèn)題 spark自帶的sink使用io.dropwizard.metrics...