概述 2019 年是大數(shù)據(jù)實(shí)時(shí)計(jì)算領(lǐng)域最不平凡的一年，2019 年 1 月阿里巴巴 Blink （內(nèi)部的 Flink 分支版本）開源喇伯，大數(shù)據(jù)領(lǐng)域一夜間從 Spark 獨(dú)步天下...
發(fā)簡信
IP屬地：北京
-
Flink 面試通關(guān)手冊(cè) -
端到端exactly-once（翻譯官方）
1 概述 在Flink1.4.0中，發(fā)布了一個(gè)叫做TwoPhaseCommitSinkFunction的特性稻据，該邏輯抽取兩階段提交協(xié)議常規(guī)邏輯艾猜，使得可以構(gòu)建端到端的exact...
-
Flink--Checkpoint機(jī)制原理基于flink-1.8.1 本文轉(zhuǎn)載自一文搞懂Flink內(nèi)部的Exactly Once和At Least Once 如何理解flink中state(狀態(tài)) state泛指 s...
-
【Hive】hql語法轉(zhuǎn)MR任務(wù)
Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具箩朴，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張表，并提供類SQL查詢功能.說白了秋度，hive就是MapReduce客戶端,將用戶編寫的HQL語法...
-
【Hive】MR 工作流程(數(shù)據(jù)流轉(zhuǎn))Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具。通過hive荚斯，我們可以方便地進(jìn)行ETL的工作。Hive定義了一個(gè)類似于SQL的查詢語言：HQL事期，能夠?qū)⒂脩艟帉懙腝L轉(zhuǎn)化為相應(yīng)的...
-
四種優(yōu)化 Apache Flink 應(yīng)用程序的方法
使用 Flink Tuples 當(dāng)你使用類似于groupBy,join, 或者keyBy算子時(shí)滥壕，F(xiàn)link 提供了多種用于在你的數(shù)據(jù)集上選擇 key 的方法。你可以使用 ke...
-
Python精講Numpy基礎(chǔ)兽泣，大牛筆記詳細(xì)解釋
以前總認(rèn)為Numpy是渣渣，直到深入接觸以后才知道功能這么強(qiáng)大唠倦〕屏郏堪比Matlab啊。果然是人生苦短稠鼻，我用Python冈止。所以本文作為一個(gè)記錄&筆記，文章內(nèi)容大多數(shù)取自網(wǎng)絡(luò)以&官...
-
淺談?wù){(diào)度工具——Airflow本文將介紹 Airflow 這一款優(yōu)秀的調(diào)度工具熙暴。主要包括 Airflow 的服務(wù)構(gòu)成闺属、Airflow 的 Web 界面、DAG 配置周霉、常用配置以及 Airflow DAG ...
