IP屬地：重慶
-
-
flink的內(nèi)存管理在大數(shù)據(jù)面前通今，JVM的內(nèi)存結(jié)構(gòu)和GC機(jī)制往往會(huì)成為掣肘 1. 對(duì)象開銷：在HotSpot中何荚，每個(gè)對(duì)象占用的內(nèi)存空間必須是8的倍數(shù)论悴。這就導(dǎo)致每個(gè)對(duì)象占據(jù)的內(nèi)存空間包含三部分：頭...
-
2018年度總結(jié)
2018年12月23日丛塌，北京较解，晴，微冷赴邻，一年之末印衔。隨手翻閱16、17年總結(jié)姥敛，不禁長舒一口氣奸焙，我終究沒辜負(fù)當(dāng)時(shí)的自己，從16年巨大的變化與挫折中走出來，我用了兩年与帆。有些偶然了赌，或...
-
《人工智能產(chǎn)品經(jīng)理：人機(jī)對(duì)話系統(tǒng)設(shè)計(jì)邏輯探究》作者勿她，INTJ，公眾號(hào)：偏笑忘錄
-
淺談推薦系統(tǒng)基礎(chǔ)這篇文章的技術(shù)難度會(huì)低一些阵翎，主要是對(duì)推薦系統(tǒng)所涉及到的各部分內(nèi)容進(jìn)行介紹逢并，以及給出一些推薦系統(tǒng)的常用算法，比起技術(shù)郭卫，產(chǎn)品色彩會(huì)強(qiáng)不少砍聊。參考了《長尾理論》、《推薦系統(tǒng)實(shí)踐》以及...
-
-
本博客所有內(nèi)容均適用知識(shí)共享-署名-相同方式共享（CC-BY-SA）4.0協(xié)議灶伊。
-
hive.groupby.skewindata=true注意點(diǎn)
和SQL一樣，HiveQL中同樣支持DISTINCT操作寒跳，如下示例：(1) SELECTcount(DISTINCT uid) FROM log(2) SELECT ip, ...
-
-
探究Flink on YARN模式下TaskManager的內(nèi)存分配一個(gè)問題 我們使用如下的參數(shù)提交了Flink on YARN作業(yè)（per-job模式）。 該作業(yè)啟動(dòng)了10個(gè)TaskManager爆惧，并正常運(yùn)行狸页。來到該任務(wù)的Web界面，隨便打...
-
Flink利用State進(jìn)行統(tǒng)計(jì)
一. 托管State 1.1 主程序 構(gòu)建 StreamExecutionEnvironment扯再； 啟動(dòng) Checkpoint芍耘，并設(shè)置間隔時(shí)間； 設(shè)置 StateBacken...
-
一文搞懂 Flink 網(wǎng)絡(luò)流控與反壓機(jī)制看完本文，你能get到以下知識(shí)Flink 流處理為什么需要網(wǎng)絡(luò)流控畦木？Flink V1.5 版之前網(wǎng)絡(luò)流控介紹Flink V1.5 版之前的反壓策略存在的問題Credit的反壓...
-
Flink任務(wù)提交流程當(dāng)一個(gè)應(yīng)用被提交時(shí)袖扛，Dispatcher分發(fā)器就會(huì)啟動(dòng)并將應(yīng)用移交給一個(gè)JobManager。 JobManager控制一個(gè)應(yīng)用程序執(zhí)行的主進(jìn)程十籍，每個(gè)應(yīng)用程序都會(huì)被一個(gè)不同的...
-
Flink學(xué)習(xí)筆記之三DataStream APIDataStream是Flink API中最核心的數(shù)據(jù)結(jié)構(gòu)蛆封，代表一個(gè)運(yùn)行在多個(gè)分區(qū)上的并行流。 1.map&flatMap 2.filter 3.keyBy 4.KeyedS...
-
如何增強(qiáng)推薦系統(tǒng)模型更新的「實(shí)時(shí)性」勾栗？這里是「王喆的機(jī)器學(xué)習(xí)筆記」的第二十二篇文章惨篱，上篇文章介紹了推薦系統(tǒng)「實(shí)時(shí)性」為什么是重要的，以及如何從特征的角度增強(qiáng)推薦結(jié)果的實(shí)時(shí)性围俘。但特征實(shí)時(shí)性再強(qiáng)砸讳，影響的范圍也僅限于當(dāng)...
-
Druid 介紹和應(yīng)用Druid 介紹 說起 Druid，大家首先想到的是阿里的 Druid 數(shù)據(jù)庫連接池界牡，而本文介紹的 Druid 是一個(gè)在大數(shù)據(jù)場景下的解決方案簿寂，是需要在復(fù)雜的海量數(shù)據(jù)下進(jìn)行交...
