207篇文章 · 113145字 · 11人關(guān)注
-
207、Spark 2.0之Structured Streaming：基于checkpoint的容錯機制
容錯機制 如果實時計算作業(yè)遇到了某個錯誤掛掉了，那么我們可以配置容錯機制讓它自動重啟攘轩，同時繼續(xù)之前的進度運行下去俏蛮。這是通過checkpoint和...
-
206、Spark 2.0之Structured Streaming：管理streaming query
管理streaming query
-
205乒躺、Spark 2.0之Structured Streaming：output mode、sink以及foreach sink詳解output操作 定義好了各種計算操作之后扭屁，就需要啟動這個應用算谈。此時就需要使用DataStreamWriter，通過spark.writeStr...
-
204料滥、Spark 2.0之Structured Streaming：對流式的dataset和dataframe執(zhí)行計算操作基礎操作：選擇然眼、映射、聚合 我們可以對流式dataset/dataframe執(zhí)行所有類型的操作葵腹，包括untyped操作高每，SQL類操作，typed...
-
203践宴、Spark 2.0之Structured Streaming：創(chuàng)建流式的dataset和dataframe
創(chuàng)建流式的dataset和dataframe 流式dataframe可以通過DataStreamReader接口來創(chuàng)建鲸匿，DataStreamRe...
-
202、Spark 2.0之Structured Streaming：編程模型Structured Streaming基礎編程模型 structured streaming的核心理念阻肩，就是將數(shù)據(jù)流抽象成一張表带欢，而源源不斷過...
-
201、Spark 2.0之Structured Streaming：wordcount入門案例
Structured Streaming structured streaming是一種可伸縮的烤惊、容錯的洪囤、基于Spark SQL引擎的流式計算引...
-
200、Spark 2.0之Structured Streaming：深入淺出的介紹
流式計算 大多數(shù)的流式計算引擎（比如storm撕氧、spark streaming等）都僅僅關(guān)注流數(shù)據(jù)的計算方面：比如使用一個map函數(shù)對一個流中每...
-
199、Spark 2.0之Dataset開發(fā)詳解-其他常用函數(shù)
日期函數(shù)：current_date喇完、current_timestamp數(shù)學函數(shù)：round隨機函數(shù)：rand字符串函數(shù)：concat伦泥、conca...
