我犟不過你

Kafka作為一個(gè)支持大數(shù)據(jù)量寫入寫出的消息隊(duì)列，由于是基于Scala和Java實(shí)現(xiàn)的壶硅，而Scala和Java均需要在JVM上運(yùn)行，所以如果是基于內(nèi)存的方式销斟，即JVM的堆來進(jìn)...

黑客和白帽子的故事

kinesis簡介（什么是Kinesis） Amazon Kinesis 可以輕松收集庐椒、處理和分析實(shí)時(shí)視頻和數(shù)據(jù)流 1、使用 Kinesis可以捕獲蚂踊，處理约谈，存儲(chǔ)video s...

JackpGao

原文：點(diǎn)這里該文章原文是俄文，被人翻譯成了英文犁钟，整體風(fēng)格略顯生硬棱诱。不喜歡看的，可以直接跳過涝动，看最后我增加的結(jié)論迈勋。另外，感謝@張健同學(xué)（一個(gè)著迷于源碼的小鮮肉）的大力幫助~翻譯...

LittleMagic

前言 寫這篇文章的契機(jī)是前段時(shí)間在Flink社區(qū)大群里詳細(xì)解答了一個(gè)問題醋粟。 我們每天都會(huì)與JVM堆打交道（之前哪篇文章的開頭也是這個(gè)來著）靡菇。但作為大數(shù)據(jù)工程師，我們對JVM的...

小北覓

前言：掌握Hbase的重要性不言而喻米愿，掌握Hbase的設(shè)計(jì)原理更是重中之重厦凤。本文是對HBase原理進(jìn)行講解系列文章的開篇，本文盡量詳細(xì)的從整體上介紹HBase的架構(gòu)育苟，并對每個(gè)...

MrSocean

Flink為流處理和批處理分別提供了DataStream API和DataSet API较鼓。在開發(fā)工作中這些API極大的便利了開發(fā)者開發(fā)大數(shù)據(jù)應(yīng)用。DataStream 在經(jīng)過...

天火燎原_e548

一.理解狀態(tài) 1.什么是狀態(tài) 其實(shí)是某一個(gè)時(shí)刻违柏，計(jì)算的結(jié)果博烂，一般是operator/task拓哺，保存在內(nèi)存，由于Flink分布式的運(yùn)行脖母，所以根據(jù)體系結(jié)構(gòu)runtime士鸥，會(huì)設(shè)計(jì)到...

LittleMagic

Update：Canal與Camus的結(jié)合使用，見http://www.reibang.com/p/4c4213385368谆级。 Canal是阿里開源的一個(gè)比較有名的Java...