Kafka 官網(wǎng)： Kafka 主要設(shè)計(jì)目標(biāo)如下： 以時(shí)間復(fù)雜度為 O(1) 的方式提供消息持久化能力败晴，即使對(duì) TB 級(jí)以上數(shù)據(jù)也能保證常數(shù)時(shí)間的訪問性能未桥。 高吞吐率。即使在...
IP屬地：浙江
-
Kafka學(xué)習(xí)
-
-
Flink Streaming File Sink背景 Flink 支持將流數(shù)據(jù)以文件形式存儲(chǔ)到外部系統(tǒng)，典型使用場景是將數(shù)據(jù)寫入Hive表所在 HDFS存儲(chǔ)路徑冯勉，通過Hive 做查詢分析霉猛。隨著Flink文件寫入被業(yè)務(wù)廣泛使...
-
埋點(diǎn)設(shè)計(jì)一、概要 數(shù)據(jù)埋點(diǎn)的本質(zhì)是元數(shù)據(jù)管理珠闰，核心是處理行為惜浅、位置和模塊之間的關(guān)系，找到最合適的元數(shù)據(jù)組織管理方式伏嗜。埋點(diǎn)思維的基礎(chǔ)是位置行為抽象和盒子模型坛悉。 埋點(diǎn)設(shè)計(jì)思維 埋點(diǎn)設(shè)計(jì)模...
-
Alluxio：架構(gòu)及數(shù)據(jù)流1 架構(gòu) 1.1 概述 Alluxio作為大數(shù)據(jù)和機(jī)器學(xué)習(xí)生態(tài)系統(tǒng)中的一個(gè)新的數(shù)據(jù)訪問層，配置在任何持久性存儲(chǔ)系統(tǒng)(如Amazon S3承绸、Microsoft Azure...
-
行存儲(chǔ)裸影、列存儲(chǔ)、行列混存行存儲(chǔ) 我們常用的關(guān)系型數(shù)據(jù)庫mysql军熏，oracle等都是基于行存儲(chǔ)轩猩，以最常用的mysql數(shù)據(jù)庫 innodb引擎為例,見下圖 多個(gè)連續(xù)的行記錄，組成一個(gè)data page...
-
flink使用14-使用SQL操作幾種window
Flink SQL 支持三種窗口類型, 分別為 Tumble Windows / HOP Windows 和 Session Windows. 其中 HOP windows ...
-
Linux下安裝Python3.6和pip
CentOS 7上默認(rèn)安裝的python版本是2.7.5荡澎，系統(tǒng)自帶的舊版本python被系統(tǒng)很多其他軟件環(huán)境依賴均践，因此不能卸載原Python，直接選擇Python3.6.5進(jìn)...
-
《我想進(jìn)大廠》之kafka奪命連環(huán)11問干啥啥不行摩幔，看小說第一名彤委。這不，好好寫了一篇文章或衡。 最近整理了一下文章目錄焦影，因?yàn)楹迷缰熬陀行值芨艺f之前文章找不到车遂，我也懶得整理，現(xiàn)在好好整了一下斯辰，發(fā)現(xiàn)有一篇文章寫了一半我...
