發(fā)簡(jiǎn)信
IP屬地：甘肅
-
Flink系列 - 實(shí)時(shí)數(shù)倉(cāng)之FlinkCDC實(shí)現(xiàn)動(dòng)態(tài)分流實(shí)戰(zhàn)（十）??自從Flink出了FlinkCDC之后催跪，我們對(duì)數(shù)據(jù)庫(kù)日志的采集就變得方便了許多了害幅，除去了MaxWell秉颗、Cannel昧辽、OGG等第三方組件的繁...
-
Python腳本之根據(jù)excel統(tǒng)計(jì)表中字段值的缺失率實(shí)用案例（四）??有時(shí)候瘪校，我們需要去連接數(shù)據(jù)庫(kù)蝎亚，然后統(tǒng)計(jì)下目標(biāo)庫(kù)表字段的值有多少個(gè)空值珠插，并且計(jì)算出它的缺失率： ??這時(shí)候如果表中有幾個(gè)字段，并且總共統(tǒng)計(jì)的就...
-
Spark系列 - 實(shí)時(shí)數(shù)倉(cāng)之近1小時(shí)各個(gè)廣告點(diǎn)擊量實(shí)戰(zhàn)（三）??為了資源共用颖对，我們的數(shù)據(jù)和上一篇文章一樣捻撑，這個(gè)實(shí)戰(zhàn)案例的技術(shù)和思想在現(xiàn)實(shí)開發(fā)的需求中還是比較常見(jiàn)的，以廣告為例子缤底，需求是： 一顾患、Kafka ...
-
Spark系列 - 實(shí)時(shí)數(shù)倉(cāng)之top3熱門廣告實(shí)戰(zhàn)（二）??在之前的文章中我們使用 Flink 也實(shí)現(xiàn)過(guò) topn 的案例；這里个唧，為了溫習(xí) Spark 如何訪問(wèn) kafka 以及 DStream 的操...
-
Python腳本之AES加解密實(shí)用案例（三）??有時(shí)候?yàn)榱税踩猓覀兊臄?shù)據(jù)需要做一些加密操作，現(xiàn)實(shí)項(xiàng)目中也確實(shí)如此徙歼，加密的方式很多犁河，那么我們今天就是用最常用的一種方式：AES加解密??這里...
-
Python腳本之configparser與執(zhí)行shell腳本實(shí)用案例（二）
??一般情況下，我們通用屬性一般都是寫在屬性文件中魄梯，然后通過(guò)configparser根據(jù)其鍵去獲取相對(duì)應(yīng)的值桨螺，還有就是字典中比較key和valu...
-
Python腳本之解析Base64實(shí)用案例（一）??Python作為腳本語(yǔ)言，比shell和其它腳本更加好用酿秸，主要是Python提供了豐富的類庫(kù)灭翔，現(xiàn)在越來(lái)越多的框架都開啟了PyAPI，特別是機(jī)...
-
Flink系列 - 實(shí)時(shí)數(shù)倉(cāng)之?dāng)?shù)據(jù)入ElasticSearch實(shí)戰(zhàn)（九）??我們實(shí)時(shí)的流處理入 ElasticSearch 中還是比較麻煩的辣苏，雖然說(shuō) flink 提供了相關(guān)的 sink 接口肝箱，但是一般來(lái)說(shuō)僅僅是簡(jiǎn)單的...
-
Flink系列 - 實(shí)時(shí)數(shù)倉(cāng)之?dāng)?shù)據(jù)入HBase實(shí)戰(zhàn)（八）??這個(gè)案例是建立在上一篇的基礎(chǔ)之上哄褒，之所以做總結(jié)是因?yàn)榫W(wǎng)上很多都只是簡(jiǎn)單的調(diào)用API而已，根本找不到優(yōu)化過(guò)后的 sink 自定義方法煌张，顯示的生...