Java bug搬運工损晤，小數(shù)據(jù)攻城獅^O^
發(fā)簡信
IP屬地：北京
-
本地IDEA提交Flink/Spark任務(wù)到集群的工具
Flink任務(wù)洞渔、Spark任務(wù)提交到集群，通常需要將可執(zhí)行Jar上傳到集群刨晴，手動執(zhí)行任務(wù)提交指令薇芝，如果有配套的大數(shù)據(jù)平臺則需要上傳Jar，由調(diào)度系統(tǒng)進行任務(wù)提交务傲。對開發(fā)者來說...
-
「Git」合并多個 Commit在使用 Git 作為版本控制的時候凉当，我們可能會由于各種各樣的原因提交了許多臨時的 commit，而這些 commit 拼接起來才是完整的任務(wù)售葡。那么我們?yōu)榱吮苊馓嗟?comm...
-
-
-
列存儲格式Parquet淺析Parquet調(diào)研報告 1. 概述 1.1 簡介 Apache Parquet是Hadoop生態(tài)圈中一種新型列式存儲格式，它可以兼容Hadoop生態(tài)圈中大多數(shù)計算框架(Had...
-
Flink 組共享原理
本文將主要結(jié)合流程圖昌跌，代碼注釋及要點標注進行講解 Flink 組共享的代碼邏輯，幫助讀者從設(shè)計原理層更好的理解Flink Job的slot分配結(jié)果照雁。提高對Flink Job ...
-
Flink詳解系列之八--Checkpoint和Savepoint一饺蚊、Checkpoint 獲取分布式數(shù)據(jù)流和算子狀態(tài)的一致性快照是Flink容錯機制的核心萍诱，這些快照在Flink作業(yè)恢復(fù)時作為一致性檢查點存在。 1.1 原理 1.1.1 B...
-
Apache Hudi 表 邏輯結(jié)構(gòu)
Apache Hudi 表目錄結(jié)構(gòu) 記錄 一部分 表目錄結(jié)構(gòu)和文件格式污呼。便于對 Hudi 的設(shè)計理念和表的組織格式進行直觀的理解裕坊。 數(shù)據(jù)由官網(wǎng)示例[https://hudi...
-
在瀏覽器中用JS實現(xiàn)常見彈出框JS常見的彈出框（非常之簡單） 本文適合初入前端的同學(xué)相信不少同學(xué)在學(xué)習(xí)前端的過程中，不管是制作demo燕酷，還是真實工作項目中籍凝，難免會遇到制作彈出框（提示框）的需求，這兩天正好...
-
yarn-site.xml中的幾個日志相關(guān)配置項
提交到y(tǒng)arn上的application出錯悟狱，最簡單直接的查錯方式就是查看log静浴，有時還需分析提交到y(tǒng)arn上的job.jar。 yarn-site.xml中有幾個配置項與日...
-
-
【更新中】個人總結(jié)：在大數(shù)據(jù)hadoop路上跳過的坑環(huán)境說明：CentOS-6.4-x86_64-bin-DVD1.isohadoop-2.4.1.tar.gzhbase-0.98.3-hadoop2-bin.tar.gzjd...
-
Storm、Log4j2高性能之—Disruptor隊列
Storm膏萧、Log4j2高性能之—Disruptor隊列 1. Disruptor簡介 Disruptor(https://github.com/LMAX-Exchange/...
