發(fā)簡(jiǎn)信
IP屬地：河北
-
-
Kettle:使用觸發(fā)器和快照表進(jìn)行增量數(shù)據(jù)同步
本文介紹了使用快照表和觸發(fā)器進(jìn)行增量數(shù)據(jù)同步珊搀。主庫為Oracle 11g數(shù)據(jù)庫，針對(duì)需要同步的表建立增量數(shù)據(jù)臨時(shí)表以及觸發(fā)器并通過kettle定時(shí)同步到PostgreSQL數(shù)...
-
Flink SQL 性能調(diào)優(yōu)--MiniBatch提升吞吐率Flink 在設(shè)計(jì)和實(shí)現(xiàn)流計(jì)算算子時(shí)，把“面向狀態(tài)編程”作為第一準(zhǔn)則糕档。因?yàn)樵诹饔?jì)算中，為了保證狀態(tài)（State）的一致性拌喉，需要將狀態(tài)數(shù)據(jù)存儲(chǔ)在狀態(tài)后端（StateBacken...
-
基于Hexo的matery主題搭建博客并深度優(yōu)化本文來自 悟塵紀(jì)速那，獲取更新內(nèi)容可查看原文： https://www.lixl.cn/2019/031019385.html 對(duì)于有一定技術(shù)背景的同學(xué)，自己動(dòng)手搭建博客網(wǎng)站是一...
-
Flink基于RoaringBitmap的精確去重方案
在Flink實(shí)時(shí)統(tǒng)計(jì)中尿背，提到去重端仰，我能想到比較流行的幾種方式： 布隆過濾器 - 非精確去重，精度可以配置残家，但精度越高榆俺，需要的開銷就越大。主流的框架可以使用guava的實(shí)現(xiàn)坞淮，或...
-
（十四）Win10 IDEA環(huán)境下SparkSQL連接Hive的幾個(gè)坑在之前的文章中介紹了通過spark-shell訪問hive中數(shù)據(jù)的方法茴晋，那么在IDEA中應(yīng)該怎樣連接Hive并訪問數(shù)據(jù)呢？網(wǎng)上有很多篇文章介紹回窘，但可能是因?yàn)榄h(huán)境不同诺擅，訪問過程...
-
-
Hadoop之linux調(diào)優(yōu)
Hadoop之linux調(diào)優(yōu) 標(biāo)簽： hadoop linux 1. 增大文件描述符nofile（查看當(dāng)前的lsof |wc -l） 和 用戶最大進(jìn)程nproc a. 調(diào)整L...
-
隨意翻譯了一些Flink的文檔，很多都不太準(zhǔn)確撮执，僅作為參考微峰，可以省去自己Google翻譯和百度翻譯的時(shí)間
-
Installing Apache Ranger Hive Plugin For Apache Spark
Apache Spark is built bundled with built-in Hive Metastore client(version 1.2.1.spark2)...
-
hbase observer實(shí)現(xiàn)value自動(dòng)累加求和
hbase有兩種Coprocessor蜓肆，endpoint和observer，endpoint類似于存儲(chǔ)過程谋币，可以在hbase上實(shí)現(xiàn)了一個(gè)類似于mapReduce的過程仗扬，obs...
-
微軟出品的Spark用例分享Spark做為一個(gè)通用的大數(shù)據(jù)引擎，用例太多蕾额，很難說得全早芭。。诅蝶。我們也就只能隨機(jī)選取幾個(gè)來分享退个。。秤涩。今夜帜乞，分享一本微軟出品的Spark經(jīng)典用例電子書: Three practi...
-
es 在數(shù)據(jù)量很大的情況下（數(shù)十億級(jí)別）如何提高查詢效率啊筐眷？面試題 es 在數(shù)據(jù)量很大的情況下（數(shù)十億級(jí)別）如何提高查詢效率袄枇摇？ 面試官心理分析 這個(gè)問題是肯定要問的匀谣，說白了照棋，就是看你有沒有實(shí)際干過 es，因?yàn)樯段漪幔科鋵?shí) es 性能并沒...
-
詳細(xì)解析 kafka manager 的使用添加集群 常用參數(shù)說明 下面已常用的選項(xiàng)作說明 Enable JMX Polling是否開啟 JMX 輪訓(xùn)烈炭，該部分直接影響部分 kafka broker 和 topic 監(jiān)控...
-
深入理解elasticsearch elasticsearch外源資源整理：https://github.com/jacksu/awesome-es
-
Vue復(fù)用Echart符隙，動(dòng)態(tài)更新數(shù)據(jù)視圖Echart ECharts ，一個(gè)使用 JavaScript 實(shí)現(xiàn)的開源可視化庫垫毙，可以流暢的運(yùn)行在 PC 和移動(dòng)設(shè)備上霹疫，兼容當(dāng)前絕大部分瀏覽器。Echart提供了豐富功能的...
