發(fā)簡信
IP屬地：河北
-
-
Kettle:使用觸發(fā)器和快照表進(jìn)行增量數(shù)據(jù)同步
本文介紹了使用快照表和觸發(fā)器進(jìn)行增量數(shù)據(jù)同步赃额。主庫為Oracle 11g數(shù)據(jù)庫谐算，針對需要同步的表建立增量數(shù)據(jù)臨時表以及觸發(fā)器并通過kettle定時同步到PostgreSQL數(shù)...
-
Flink SQL 性能調(diào)優(yōu)--MiniBatch提升吞吐率Flink 在設(shè)計和實現(xiàn)流計算算子時，把“面向狀態(tài)編程”作為第一準(zhǔn)則弊仪。因為在流計算中熙卡，為了保證狀態(tài)（State）的一致性，需要將狀態(tài)數(shù)據(jù)存儲在狀態(tài)后端（StateBacken...
-
基于Hexo的matery主題搭建博客并深度優(yōu)化本文來自 悟塵紀(jì)励饵，獲取更新內(nèi)容可查看原文： https://www.lixl.cn/2019/031019385.html 對于有一定技術(shù)背景的同學(xué)驳癌，自己動手搭建博客網(wǎng)站是一...
-
Flink基于RoaringBitmap的精確去重方案
在Flink實時統(tǒng)計中，提到去重曲横，我能想到比較流行的幾種方式： 布隆過濾器 - 非精確去重喂柒，精度可以配置不瓶，但精度越高，需要的開銷就越大灾杰。主流的框架可以使用guava的實現(xiàn)蚊丐，或...
-
（十四）Win10 IDEA環(huán)境下SparkSQL連接Hive的幾個坑在之前的文章中介紹了通過spark-shell訪問hive中數(shù)據(jù)的方法，那么在IDEA中應(yīng)該怎樣連接Hive并訪問數(shù)據(jù)呢艳吠？網(wǎng)上有很多篇文章介紹麦备，但可能是因為環(huán)境不同，訪問過程...
-
-
Hadoop之linux調(diào)優(yōu)
Hadoop之linux調(diào)優(yōu) 標(biāo)簽： hadoop linux 1. 增大文件描述符nofile（查看當(dāng)前的lsof |wc -l） 和 用戶最大進(jìn)程nproc a. 調(diào)整L...
-
隨意翻譯了一些Flink的文檔呛梆，很多都不太準(zhǔn)確，僅作為參考磕诊，可以省去自己Google翻譯和百度翻譯的時間
-
Installing Apache Ranger Hive Plugin For Apache Spark
Apache Spark is built bundled with built-in Hive Metastore client(version 1.2.1.spark2)...
-
hbase observer實現(xiàn)value自動累加求和
hbase有兩種Coprocessor霎终，endpoint和observer滞磺，endpoint類似于存儲過程，可以在hbase上實現(xiàn)了一個類似于mapReduce的過程莱褒，obs...
-
微軟出品的Spark用例分享Spark做為一個通用的大數(shù)據(jù)引擎击困，用例太多，很難說得全广凸。阅茶。。我們也就只能隨機選取幾個來分享炮障。目派。。今夜胁赢，分享一本微軟出品的Spark經(jīng)典用例電子書: Three practi...
-
es 在數(shù)據(jù)量很大的情況下（數(shù)十億級別）如何提高查詢效率捌蟛洹？面試題 es 在數(shù)據(jù)量很大的情況下（數(shù)十億級別）如何提高查詢效率爸悄谅摄？ 面試官心理分析 這個問題是肯定要問的，說白了系馆，就是看你有沒有實際干過 es送漠，因為啥？其實 es 性能并沒...
-
詳細(xì)解析 kafka manager 的使用添加集群 常用參數(shù)說明 下面已常用的選項作說明 Enable JMX Polling是否開啟 JMX 輪訓(xùn)由蘑，該部分直接影響部分 kafka broker 和 topic 監(jiān)控...
-
深入理解elasticsearch elasticsearch外源資源整理：https://github.com/jacksu/awesome-es
-
Vue復(fù)用Echart，動態(tài)更新數(shù)據(jù)視圖Echart ECharts 爷狈，一個使用 JavaScript 實現(xiàn)的開源可視化庫植影，可以流暢的運行在 PC 和移動設(shè)備上，兼容當(dāng)前絕大部分瀏覽器涎永。Echart提供了豐富功能的...
