clickhouse使用ReplicatedMergeTree鹦赎、Distributed

表引擎(即表的類型)決定了【https://clickhouse.tech/docs/zh/engines/table-engines/】:

1吹散、數(shù)據(jù)的存儲方式和位置滚澜,寫到哪里以及從哪里讀取數(shù)據(jù)

2爹殊、支持哪些查詢以及如何支持蜕乡。

3、并發(fā)數(shù)據(jù)訪問梗夸。

4层玲、索引的使用(如果存在)。

5反症、是否可以執(zhí)行多線程請求辛块。

6、數(shù)據(jù)復(fù)制參數(shù)铅碍。

創(chuàng)建表使用引擎ReplicatedMergeTree润绵、Distributed的語法格式:

CREATE TABLE [IFNOTEXISTS] [db.] table_name [ON CLUSTER cluster]

CREATE TABLE dm_report.table_name_data ON cluster bi_autorun_cluster

(

udid? String,

app_id? String,

) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{layer}-{shard}/dm_report.table_name_data', '{replica}')

ORDER BY udid SETTINGS index_granularity = 8192, use_minimalistic_part_header_in_zookeeper = 1;


CREATE TABLE dm_report.table_name ON cluster bi_autorun_cluster

(

udid? String,

app_id? String,

) ENGINE = Distributed(bi_autorun_cluster, dm_report, table_name_data, rand());

ReplacingMergeTree引擎,可以針對相同主鍵的數(shù)據(jù)進行去重胞谈,它能夠在合并分區(qū)時刪除重復(fù)的數(shù)據(jù)尘盼。常使用這種引擎實現(xiàn)真正存儲數(shù)據(jù),?由于是分布式建表的,?數(shù)據(jù)分布在集群的各個機器中,?直接查表數(shù)據(jù)查不全,?所以要用到Distributed。

Distributed相當(dāng)于視圖,?不真正存儲數(shù)據(jù),?用來查數(shù)據(jù),?速度快烦绳、數(shù)據(jù)全悔叽。

Distributed表引擎是分布式表的代名詞,它自身不存儲任何數(shù)據(jù)爵嗅,數(shù)據(jù)都分散存儲在某一個分片上娇澎,能夠自動路由數(shù)據(jù)至集群中的各個節(jié)點,所以Distributed表引擎需要和其他數(shù)據(jù)表引擎一起協(xié)同工作睹晒。

所以趟庄,一張分布式表底層會對應(yīng)多個本地分片數(shù)據(jù)表,由具體的分片表存儲數(shù)據(jù)伪很,分布式表與分片表是一對多的關(guān)系【http://www.reibang.com/p/3fbcc98a5021】

所以Distributed表引擎的定義形式如下

Distributed(cluster_name,database_name,table_name[,sharding_key])

各個參數(shù)的含義分別如下:

cluster_name:集群名稱戚啥,與集群配置中的自定義名稱相對應(yīng)。

database_name:數(shù)據(jù)庫名稱

table_name:表名稱

sharding_key:可選的锉试,用于分片的key值猫十,在數(shù)據(jù)寫入的過程中,分布式表會依據(jù)分片key的規(guī)則,將數(shù)據(jù)分布到各個節(jié)點的本地表拖云。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末贷笛,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子宙项,更是在濱河造成了極大的恐慌乏苦,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,723評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件尤筐,死亡現(xiàn)場離奇詭異汇荐,居然都是意外死亡,警方通過查閱死者的電腦和手機盆繁,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,485評論 2 382
  • 文/潘曉璐 我一進店門掀淘,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人油昂,你說我怎么就攤上這事繁疤。” “怎么了秕狰?”我有些...
    開封第一講書人閱讀 152,998評論 0 344
  • 文/不壞的土叔 我叫張陵,是天一觀的道長躁染。 經(jīng)常有香客問我鸣哀,道長,這世上最難降的妖魔是什么吞彤? 我笑而不...
    開封第一講書人閱讀 55,323評論 1 279
  • 正文 為了忘掉前任我衬,我火速辦了婚禮,結(jié)果婚禮上饰恕,老公的妹妹穿的比我還像新娘挠羔。我一直安慰自己,他們只是感情好埋嵌,可當(dāng)我...
    茶點故事閱讀 64,355評論 5 374
  • 文/花漫 我一把揭開白布破加。 她就那樣靜靜地躺著,像睡著了一般雹嗦。 火紅的嫁衣襯著肌膚如雪范舀。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,079評論 1 285
  • 那天了罪,我揣著相機與錄音锭环,去河邊找鬼。 笑死泊藕,一個胖子當(dāng)著我的面吹牛辅辩,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 38,389評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼玫锋,長吁一口氣:“原來是場噩夢啊……” “哼蛾茉!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起景醇,我...
    開封第一講書人閱讀 37,019評論 0 259
  • 序言:老撾萬榮一對情侶失蹤臀稚,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后三痰,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體吧寺,經(jīng)...
    沈念sama閱讀 43,519評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,971評論 2 325
  • 正文 我和宋清朗相戀三年散劫,在試婚紗的時候發(fā)現(xiàn)自己被綠了稚机。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,100評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡获搏,死狀恐怖赖条,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情常熙,我是刑警寧澤纬乍,帶...
    沈念sama閱讀 33,738評論 4 324
  • 正文 年R本政府宣布,位于F島的核電站裸卫,受9級特大地震影響仿贬,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜墓贿,卻給世界環(huán)境...
    茶點故事閱讀 39,293評論 3 307
  • 文/蒙蒙 一茧泪、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧聋袋,春花似錦队伟、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,289評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至啥容,卻和暖如春棘钞,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背干毅。 一陣腳步聲響...
    開封第一講書人閱讀 31,517評論 1 262
  • 我被黑心中介騙來泰國打工宜猜, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人硝逢。 一個月前我還...
    沈念sama閱讀 45,547評論 2 354
  • 正文 我出身青樓姨拥,卻偏偏與公主長得像绅喉,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子叫乌,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 42,834評論 2 345

推薦閱讀更多精彩內(nèi)容