ClickHouse性能提升 -- SQL使用規(guī)范

  • 不要用select *

反例:

select * from app.user_model

正例:

select login_id,name,sex from app.user_model

理由:
只查詢需要的字段可以減少磁盤io和網(wǎng)絡(luò)io局雄,提升查詢性能

  • 不要在大結(jié)果集上構(gòu)造虛擬列

反例:

select id ,pv, uv , pv/uv rate from app.scene_model

正例:

select id ,pv, uv from app.scene_model

理由:
虛擬列非常消耗資源浪費(fèi)性能它褪,拿到pv uv后在前端顯示時(shí)構(gòu)造比率监嗜。

  • 不要在唯一列或大基數(shù)列上進(jìn)行分組或去重操作

反例:

select id, count(1) cn from app.user_model group by id

正例:

select id  from app.user_model  

理由:
基數(shù)太大會(huì)消耗過多的io和內(nèi)存畜份。

  • 根據(jù)需要查詢指定范圍的數(shù)據(jù) (where)

反例:

select login_id,name,sex from app.user_model

正例:

select login_id,name,sex from app.user_model where create_time>'2020-03-30'

理由:
減少磁盤io和網(wǎng)絡(luò)io胧华,提升查詢性能

  • 關(guān)聯(lián)查詢時(shí)小表在后(大表 join 小表)

反例:

select login_id,name,sex,a.scene_name from app.scene_model a join app.user_model b on a.create_user=b.id

正例:

select login_id,name,sex,a.scene_name from app.user_model  a join app.scene_model  b on a.id=b.create_user

理由:
無論是Left Join 、Right Join還是Inner Join永遠(yuǎn)都是拿著右表中的每一條記錄到左表中查找該記錄是否存在

  • 使用 uniqCombined 替代 distinct

反例:

SELECT count( DISTINCT create_user ) from  app.scene_model

正例:

SELECT uniqCombined( create_user ) from  app.scene_model

理由:
uniqCombined對(duì)去重進(jìn)行了優(yōu)化绣硝,通過近似去重提升十倍查詢性能

  • 通過使用 limit 限制返回?cái)?shù)據(jù)條數(shù)

反例:

select id,scene_name,code,pv from app.scene_model order by pv desc 

正例:

select id,scene_name,code,pv from app.scene_model order by pv desc limit 100

理由:
使用limit返回指定的結(jié)果集數(shù)量蜻势,不會(huì)進(jìn)行向下掃描撑刺,大大提升了查詢效率

  • 盡量不去使用字符串類型

反例:

CREATE TABLE scene_model
(
    id String,
    scene_name String,
    pv String,
    create_time String
)
ENGINE = <Engine>
... 

正例:

CREATE TABLE scene_model
(
    id String,
    scene_name String,
    pv Int32,
    create_time Date
)
ENGINE = <Engine>
... 

理由:
時(shí)間類型最終會(huì)轉(zhuǎn)換成數(shù)值類型進(jìn)行處理,數(shù)值類型在執(zhí)行效率和存儲(chǔ)上遠(yuǎn)好過字符串

  • 指定查詢分區(qū)獲取必要的數(shù)據(jù)

假設(shè)分區(qū)字段是day
反例:

select type,count(1) from app.user_model group by type

正例:

select type,count(1) from app.user_model where day ='2020-03-30' group by type

理由:
通過指定分區(qū)字段會(huì)減少底層數(shù)據(jù)庫掃描的文件數(shù)量握玛,提升查詢性能

  • 分組前過濾不必要的字段

反例:

select type,count(1) from app.user_model group by type

正例:

select type,count(1) from app.user_model where type ='1' or  type ='2' group by type

理由:
通過限制分組前結(jié)果集數(shù)量够傍,查詢性能一般能提示數(shù)十倍甫菠,甚至上百倍

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市冕屯,隨后出現(xiàn)的幾起案子寂诱,更是在濱河造成了極大的恐慌,老刑警劉巖安聘,帶你破解...
    沈念sama閱讀 206,839評(píng)論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件痰洒,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡浴韭,警方通過查閱死者的電腦和手機(jī)丘喻,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,543評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來念颈,“玉大人泉粉,你說我怎么就攤上這事×穹迹” “怎么了嗡靡?”我有些...
    開封第一講書人閱讀 153,116評(píng)論 0 344
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)窟感。 經(jīng)常有香客問我讨彼,道長(zhǎng),這世上最難降的妖魔是什么肌括? 我笑而不...
    開封第一講書人閱讀 55,371評(píng)論 1 279
  • 正文 為了忘掉前任点骑,我火速辦了婚禮,結(jié)果婚禮上谍夭,老公的妹妹穿的比我還像新娘黑滴。我一直安慰自己,他們只是感情好紧索,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,384評(píng)論 5 374
  • 文/花漫 我一把揭開白布袁辈。 她就那樣靜靜地躺著,像睡著了一般珠漂。 火紅的嫁衣襯著肌膚如雪晚缩。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,111評(píng)論 1 285
  • 那天媳危,我揣著相機(jī)與錄音荞彼,去河邊找鬼。 笑死待笑,一個(gè)胖子當(dāng)著我的面吹牛鸣皂,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 38,416評(píng)論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼寞缝,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼癌压!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起荆陆,我...
    開封第一講書人閱讀 37,053評(píng)論 0 259
  • 序言:老撾萬榮一對(duì)情侶失蹤滩届,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后被啼,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體帜消,經(jīng)...
    沈念sama閱讀 43,558評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,007評(píng)論 2 325
  • 正文 我和宋清朗相戀三年浓体,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了券犁。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,117評(píng)論 1 334
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡汹碱,死狀恐怖粘衬,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情咳促,我是刑警寧澤稚新,帶...
    沈念sama閱讀 33,756評(píng)論 4 324
  • 正文 年R本政府宣布,位于F島的核電站跪腹,受9級(jí)特大地震影響褂删,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜冲茸,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,324評(píng)論 3 307
  • 文/蒙蒙 一屯阀、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧轴术,春花似錦难衰、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,315評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至彼宠,卻和暖如春鳄虱,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背凭峡。 一陣腳步聲響...
    開封第一講書人閱讀 31,539評(píng)論 1 262
  • 我被黑心中介騙來泰國(guó)打工拙已, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人摧冀。 一個(gè)月前我還...
    沈念sama閱讀 45,578評(píng)論 2 355
  • 正文 我出身青樓倍踪,卻偏偏與公主長(zhǎng)得像霉涨,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子惭适,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,877評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容

  • MySQL技術(shù)內(nèi)幕:SQL編程 姜承堯 第1章 SQL編程 >> B是由MySQL創(chuàng)始人之一Monty分支的一個(gè)版...
    沉默劍士閱讀 2,408評(píng)論 0 3
  • 阿里巴巴 JAVA 開發(fā)手冊(cè) 1 / 32 Java 開發(fā)手冊(cè) 版本號(hào) 制定團(tuán)隊(duì) 更新日期 備 注 1.0.0 阿...
    糖寶_閱讀 7,506評(píng)論 0 5
  • 一、編程規(guī)約 (一)命名規(guī)約 【強(qiáng)制】 代碼中的命名均不能以下劃線或美元符號(hào)開始楼镐,也不能以下劃線或美元符號(hào)結(jié)束癞志。反...
    喝咖啡的螞蟻閱讀 1,478評(píng)論 0 2
  • 文:YoYo蘇 關(guān)于舞蹈的記憶,似乎還停留在小學(xué)時(shí)框产,自己被涂成“猴臉屁”凄杯,代表學(xué)校去參加鎮(zhèn)上的六一兒童節(jié)文藝匯演,...
    YoYo蘇閱讀 439評(píng)論 2 0
  • 我有錦貂裘秉宿,卻思紅羅襦戒突。去去又回首,此生誰來度描睦?
    欲倚闌干不自由閱讀 131評(píng)論 0 0