IP屬地：四川
-
Flink日志采集椭豫、集中存儲(chǔ)、可視化查詢實(shí)踐1. 背景 筆者的開(kāi)發(fā)大數(shù)據(jù)平臺(tái)XSailboat[http://www.reibang.com/p/cacdcf5ec088]中包含基于Fl...
-
本地運(yùn)行Flink退出時(shí)java.nio.file.DirectoryNotEmptyException解決方法1. 背景 在開(kāi)發(fā)大數(shù)據(jù)平臺(tái)XSailboat[http://www.reibang.com/p/cacdcf5ec088]中的查看Flink...
-
Hadoop YARN的ResourceManager報(bào)錯(cuò)TableNotFoundException：prod.timelineservice.flowactivity解決
1. 問(wèn)題 在resourcemanager.log中出現(xiàn)下面的異常： 2. 代碼分析 分析查看源代碼 類org.apache.hadoop.y...
-
Flink連接HDFS出現(xiàn)java.net.UnknownHostException解決辦法
1. 背景 在開(kāi)發(fā)大數(shù)據(jù)平臺(tái)XSailboat[http://www.reibang.com/p/cacdcf5ec088]中的查看Flink...
-
Flink的DAG可視化開(kāi)發(fā)實(shí)踐1. 引言 筆者早年間有很長(zhǎng)一段時(shí)間都在阿里云DataWorks上帶著團(tuán)隊(duì)進(jìn)行數(shù)據(jù)開(kāi)發(fā)庞溜，后來(lái)因?yàn)橐粋€(gè)契機(jī)自己搞起了大數(shù)據(jù)平臺(tái)XSailboat[...
-
數(shù)據(jù)治理平臺(tái)思路1. 何為數(shù)據(jù)治理 數(shù)據(jù)治理是為了讓數(shù)據(jù)在形式上和質(zhì)量上更好地達(dá)成某一數(shù)據(jù)應(yīng)用目標(biāo)而進(jìn)行的數(shù)據(jù)集成张抄、數(shù)據(jù)整理砂蔽、數(shù)據(jù)分析、數(shù)據(jù)修繕署惯、數(shù)據(jù)發(fā)布左驾，數(shù)據(jù)...
-
一站式大數(shù)據(jù)平臺(tái)XSailboat簡(jiǎn)介--Hadoop、Hive、Flink诡右、DataStudio安岂、數(shù)據(jù)服務(wù)、API網(wǎng)關(guān)帆吻、認(rèn)證中心域那、數(shù)據(jù)可視化、離線分析猜煮、實(shí)時(shí)計(jì)算琉雳、應(yīng)用引擎等1. 引言 從2021年年底開(kāi)始，筆者帶領(lǐng)一個(gè)微型團(tuán)隊(duì)開(kāi)始開(kāi)發(fā)我們的大數(shù)據(jù)平臺(tái)XSailboat友瘤，目前已經(jīng)初步具備實(shí)用化條件翠肘，產(chǎn)品將持續(xù)性地開(kāi)發(fā)...
-
7. 相關(guān)標(biāo)準(zhǔn)(五)-大數(shù)據(jù)系統(tǒng)基本要求5、GB/T 38673-2020 信息技術(shù) 大數(shù)據(jù) 大數(shù)據(jù)系統(tǒng)基本要求（1）了解本標(biāo)準(zhǔn)的范圍辫秧、術(shù)語(yǔ)和定義束倍，熟悉大數(shù)據(jù)系統(tǒng)框架、功能要求盟戏、非功能...
-
指標(biāo)建模1. 背景 筆者正在開(kāi)發(fā)大數(shù)據(jù)平臺(tái)(XSailboat)中的指標(biāo)建模工具(SailIMS)绪妹。以此篇文檔梳理一下其中一部分關(guān)鍵性的功能設(shè)計(jì)。內(nèi)容重...