發(fā)簡信
IP屬地：河北
-
-
Kettle:使用觸發(fā)器和快照表進(jìn)行增量數(shù)據(jù)同步
本文介紹了使用快照表和觸發(fā)器進(jìn)行增量數(shù)據(jù)同步沐悦。主庫為Oracle 11g數(shù)據(jù)庫侥蒙，針對需要同步的表建立增量數(shù)據(jù)臨時(shí)表以及觸發(fā)器并通過kettle定時(shí)同步到PostgreSQL數(shù)...
-
Flink SQL 性能調(diào)優(yōu)--MiniBatch提升吞吐率Flink 在設(shè)計(jì)和實(shí)現(xiàn)流計(jì)算算子時(shí)，把“面向狀態(tài)編程”作為第一準(zhǔn)則印机。因?yàn)樵诹饔?jì)算中矢腻，為了保證狀態(tài)（State）的一致性，需要將狀態(tài)數(shù)據(jù)存儲在狀態(tài)后端（StateBacken...
-
基于Hexo的matery主題搭建博客并深度優(yōu)化本文來自 悟塵紀(jì)射赛，獲取更新內(nèi)容可查看原文： https://www.lixl.cn/2019/031019385.html 對于有一定技術(shù)背景的同學(xué)多柑，自己動手搭建博客網(wǎng)站是一...
-
Flink基于RoaringBitmap的精確去重方案
在Flink實(shí)時(shí)統(tǒng)計(jì)中，提到去重楣责，我能想到比較流行的幾種方式： 布隆過濾器 - 非精確去重竣灌，精度可以配置，但精度越高秆麸，需要的開銷就越大初嘹。主流的框架可以使用guava的實(shí)現(xiàn)，或...
-
（十四）Win10 IDEA環(huán)境下SparkSQL連接Hive的幾個(gè)坑在之前的文章中介紹了通過spark-shell訪問hive中數(shù)據(jù)的方法沮趣，那么在IDEA中應(yīng)該怎樣連接Hive并訪問數(shù)據(jù)呢屯烦？網(wǎng)上有很多篇文章介紹，但可能是因?yàn)榄h(huán)境不同，訪問過程...
-
-
Hadoop之linux調(diào)優(yōu)
Hadoop之linux調(diào)優(yōu) 標(biāo)簽： hadoop linux 1. 增大文件描述符nofile（查看當(dāng)前的lsof |wc -l） 和 用戶最大進(jìn)程nproc a. 調(diào)整L...
-
隨意翻譯了一些Flink的文檔芍殖，很多都不太準(zhǔn)確，僅作為參考谴蔑，可以省去自己Google翻譯和百度翻譯的時(shí)間
-
Installing Apache Ranger Hive Plugin For Apache Spark
Apache Spark is built bundled with built-in Hive Metastore client(version 1.2.1.spark2)...
-
hbase observer實(shí)現(xiàn)value自動累加求和
hbase有兩種Coprocessor隐锭，endpoint和observer窃躲，endpoint類似于存儲過程，可以在hbase上實(shí)現(xiàn)了一個(gè)類似于mapReduce的過程钦睡，obs...
-
微軟出品的Spark用例分享Spark做為一個(gè)通用的大數(shù)據(jù)引擎蒂窒，用例太多，很難說得全荞怒。洒琢。。我們也就只能隨機(jī)選取幾個(gè)來分享褐桌。衰抑。。今夜荧嵌，分享一本微軟出品的Spark經(jīng)典用例電子書: Three practi...
-
es 在數(shù)據(jù)量很大的情況下（數(shù)十億級別）如何提高查詢效率扒河弧？面試題 es 在數(shù)據(jù)量很大的情況下（數(shù)十億級別）如何提高查詢效率袄泊椤谭网？ 面試官心理分析 這個(gè)問題是肯定要問的，說白了赃春，就是看你有沒有實(shí)際干過 es愉择，因?yàn)樯叮科鋵?shí) es 性能并沒...
-
詳細(xì)解析 kafka manager 的使用添加集群 常用參數(shù)說明 下面已常用的選項(xiàng)作說明 Enable JMX Polling是否開啟 JMX 輪訓(xùn)聘鳞，該部分直接影響部分 kafka broker 和 topic 監(jiān)控...
-
深入理解elasticsearch elasticsearch外源資源整理：https://github.com/jacksu/awesome-es
-
Vue復(fù)用Echart抠璃，動態(tài)更新數(shù)據(jù)視圖Echart ECharts 站楚，一個(gè)使用 JavaScript 實(shí)現(xiàn)的開源可視化庫，可以流暢的運(yùn)行在 PC 和移動設(shè)備上搏嗡，兼容當(dāng)前絕大部分瀏覽器窿春。Echart提供了豐富功能的...
