IP屬地：黑龍江
-
-
flink的內(nèi)存管理在大數(shù)據(jù)面前竞端，JVM的內(nèi)存結(jié)構(gòu)和GC機(jī)制往往會成為掣肘 1. 對象開銷：在HotSpot中乓梨，每個對象占用的內(nèi)存空間必須是8的倍數(shù)。這就導(dǎo)致每個對象占據(jù)的內(nèi)存空間包含三部分：頭...
-
2018年度總結(jié)
2018年12月23日，北京猴仑，晴审轮，微冷肥哎，一年之末。隨手翻閱16疾渣、17年總結(jié)篡诽，不禁長舒一口氣，我終究沒辜負(fù)當(dāng)時的自己榴捡，從16年巨大的變化與挫折中走出來杈女，我用了兩年。有些偶然吊圾，或...
-
《人工智能產(chǎn)品經(jīng)理：人機(jī)對話系統(tǒng)設(shè)計邏輯探究》作者项乒，INTJ啰劲，公眾號：偏笑忘錄
-
淺談推薦系統(tǒng)基礎(chǔ)這篇文章的技術(shù)難度會低一些，主要是對推薦系統(tǒng)所涉及到的各部分內(nèi)容進(jìn)行介紹檀何，以及給出一些推薦系統(tǒng)的常用算法蝇裤，比起技術(shù)，產(chǎn)品色彩會強(qiáng)不少频鉴。參考了《長尾理論》栓辜、《推薦系統(tǒng)實踐》以及...
-
-
本博客所有內(nèi)容均適用知識共享-署名-相同方式共享（CC-BY-SA）4.0協(xié)議似炎。
-
hive.groupby.skewindata=true注意點
和SQL一樣辛萍，HiveQL中同樣支持DISTINCT操作，如下示例：(1) SELECTcount(DISTINCT uid) FROM log(2) SELECT ip, ...
-
-
探究Flink on YARN模式下TaskManager的內(nèi)存分配一個問題 我們使用如下的參數(shù)提交了Flink on YARN作業(yè)（per-job模式）谆甜。 該作業(yè)啟動了10個TaskManager，并正常運行集绰。來到該任務(wù)的Web界面规辱，隨便打...
-
Flink利用State進(jìn)行統(tǒng)計
一. 托管State 1.1 主程序 構(gòu)建 StreamExecutionEnvironment； 啟動 Checkpoint栽燕，并設(shè)置間隔時間罕袋； 設(shè)置 StateBacken...
-
一文搞懂 Flink 網(wǎng)絡(luò)流控與反壓機(jī)制看完本文饥侵，你能get到以下知識Flink 流處理為什么需要網(wǎng)絡(luò)流控？Flink V1.5 版之前網(wǎng)絡(luò)流控介紹Flink V1.5 版之前的反壓策略存在的問題Credit的反壓...
-
Flink任務(wù)提交流程當(dāng)一個應(yīng)用被提交時唠摹，Dispatcher分發(fā)器就會啟動并將應(yīng)用移交給一個JobManager爆捞。 JobManager控制一個應(yīng)用程序執(zhí)行的主進(jìn)程奉瘤，每個應(yīng)用程序都會被一個不同的...
-
Flink學(xué)習(xí)筆記之三DataStream APIDataStream是Flink API中最核心的數(shù)據(jù)結(jié)構(gòu)勾拉，代表一個運行在多個分區(qū)上的并行流。 1.map&flatMap 2.filter 3.keyBy 4.KeyedS...
-
如何增強(qiáng)推薦系統(tǒng)模型更新的「實時性」盗温？這里是「王喆的機(jī)器學(xué)習(xí)筆記」的第二十二篇文章藕赞，上篇文章介紹了推薦系統(tǒng)「實時性」為什么是重要的，以及如何從特征的角度增強(qiáng)推薦結(jié)果的實時性卖局。但特征實時性再強(qiáng)斧蜕，影響的范圍也僅限于當(dāng)...
-
Druid 介紹和應(yīng)用Druid 介紹 說起 Druid，大家首先想到的是阿里的 Druid 數(shù)據(jù)庫連接池砚偶，而本文介紹的 Druid 是一個在大數(shù)據(jù)場景下的解決方案批销，是需要在復(fù)雜的海量數(shù)據(jù)下進(jìn)行交...
