sql 百萬(wàn)級(jí)數(shù)據(jù)量查詢優(yōu)化

  • 項(xiàng)目問(wèn)題椎镣,一個(gè)需求需要對(duì)兩張表進(jìn)行合并查詢艺晴,分開(kāi)單表查很快冗美,但兩張表合起來(lái)會(huì)耗時(shí)很久歌憨,百萬(wàn)級(jí)耗時(shí)達(dá)到分鐘級(jí),這是無(wú)法忍受的

  • 合并結(jié)果集墩衙,用到 UNION all,這也是加上會(huì)耗時(shí)很久的罪魁禍?zhǔn)?/strong>

  • 創(chuàng)建表

create table `test1` (
    `id` bigint(10) primary key NOT NULL DEFAULT '0',
    `name` varchar(20) NOT NULL DEFAULT '' comment '用戶名',
    `card_no` bigint(18) NOT NULL DEFAULT '0' comment '學(xué)號(hào)',
    `age` int(2) NOT NULL DEFAULT '0' comment '年齡',
    `sex` TINYINT(1) NOT NULL DEFAULT '0' comment '性別',
    `amount` decimal(18,4) NOT NULL DEFAULT '0.0000',
    `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP
)

create table `test2` (
    `id` bigint(10) primary key NOT NULL DEFAULT '0',
    `name` varchar(20) NOT NULL DEFAULT '' comment '用戶名',
    `card_no` bigint(18) NOT NULL DEFAULT '0' comment '學(xué)號(hào)',
    `year` int(2) NOT NULL DEFAULT '0' comment '年齡',
    `sex` TINYINT(1) NOT NULL DEFAULT '0' comment '性別',
    `money` decimal(18,4) NOT NULL DEFAULT '0.0000',
    `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP
)
  • 由于頁(yè)面存在分頁(yè)务嫡,所以對(duì)union用法不可避免,(哪位大啦有高見(jiàn)漆改,請(qǐng)指教謝謝)

  • sql 實(shí)現(xiàn)

// 將滿足條件的兩張表數(shù)據(jù)一起顯示出來(lái)
SELECT 
    a.name as name,
    a.age as age,
    a.amount as money
    FROM test1 a
    WHERE
        a.card_no in (xxx)
        and
        a.sex=1
        AND
        a.age>18
UNION all
SELECT 
    b.name as name,
    b.card_no as idCard,
    b.year as age,
    b.money as money
    FROM test2 b
    WHERE
        b.card_no in (xxx)
        and
        b.sex=1
        AND
        b.year>18
  • 通常sql就是以上寫(xiě)法心铃,小數(shù)據(jù)量還沒(méi)什么,大數(shù)據(jù)量由于union all的存在會(huì)耗時(shí)很久,請(qǐng)求超時(shí)挫剑,令人崩潰

優(yōu)化sql開(kāi)始

  • 避免select *的使用去扣,減少數(shù)據(jù)庫(kù)的解析時(shí)間
  • where 條件放到每張表后面,避免全表掃描
  • 添加查詢條件索引

以上三點(diǎn)幾十萬(wàn)的數(shù)據(jù)已經(jīng)能接受了

此時(shí)100萬(wàn)的數(shù)據(jù)耗時(shí)4s

重點(diǎn)

  • 添加索引
// eg.添加單列索引
alter table test1  add INDEX idx_card_no(`card_no`) COMMENT '學(xué)號(hào)'

// 這里使用多列索引
// 注意索引的創(chuàng)建順序需要與查詢條件順序一致
// 表1
alter table test1  add INDEX idx_card_no_sex_age(`card_no`,`sex`,`age`) COMMENT '學(xué)號(hào)-性別-年齡'
// 表2
alter table test2  add INDEX idx_card_no_sex_year(`card_no`,`sex`,`year`) COMMENT '學(xué)號(hào)-性別-年齡'
此時(shí)100萬(wàn)的數(shù)據(jù)耗時(shí)2.5s
  • 查看索引 show index from table_name
  • 刪除索引
drop index index_name on table_name ;

alter table table_name drop index index_name ;

alter table table_name drop primary key ;
  • 創(chuàng)建索引提高查詢效率樊破,當(dāng)然也會(huì)降低查詢效率(親測(cè))愉棱,由于一張表可能會(huì)有多個(gè)業(yè)務(wù),索引也會(huì)增加

  • 查看以上加索引之后的性能 EXPLAIN(自行百度用法)

    SQL執(zhí)行計(jì)劃

劃紅線的列顯示會(huì)用到其他索引哲戚,這中間有個(gè)索引匹配過(guò)程奔滑,因此會(huì)耗時(shí)

那如果我指定單獨(dú)的索引是不是會(huì)減少匹配的消耗呢?(可以

  • 分別在兩條查詢后指定索引 USE INDEX(index_name)
SELECT 
    a.name as name,
    a.age as age,
    a.amount as money
    FROM test1 a
    
    USE INDEX(idx_card_no_sex_age)
    
    WHERE
        a.card_no in (xxx)
        and
        a.sex=1
        AND
        a.age>18
UNION all
SELECT 
    b.name as name,
    b.card_no as idCard,
    b.year as age,
    b.money as money
    FROM test2 b
    
    USE INDEX(idx_card_no_sex_year)
    
    WHERE
        b.card_no in (xxx)
        and
        b.sex=1
        AND
        b.year>18
此時(shí)100萬(wàn)的數(shù)據(jù)耗時(shí)不到1s

此時(shí)應(yīng)該可以滿足需求了顺少,單表也可借用以上優(yōu)化方法

歡迎大家提供自己的見(jiàn)解朋其,謝謝!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末脆炎,一起剝皮案震驚了整個(gè)濱河市梅猿,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌秒裕,老刑警劉巖袱蚓,帶你破解...
    沈念sama閱讀 221,888評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異几蜻,居然都是意外死亡喇潘,警方通過(guò)查閱死者的電腦和手機(jī)爽撒,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,677評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)响蓉,“玉大人,你說(shuō)我怎么就攤上這事哨毁》慵祝” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 168,386評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵扼褪,是天一觀的道長(zhǎng)想幻。 經(jīng)常有香客問(wèn)我,道長(zhǎng)话浇,這世上最難降的妖魔是什么脏毯? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 59,726評(píng)論 1 297
  • 正文 為了忘掉前任,我火速辦了婚禮幔崖,結(jié)果婚禮上食店,老公的妹妹穿的比我還像新娘。我一直安慰自己赏寇,他們只是感情好吉嫩,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,729評(píng)論 6 397
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著嗅定,像睡著了一般。 火紅的嫁衣襯著肌膚如雪渠退。 梳的紋絲不亂的頭發(fā)上忙迁,一...
    開(kāi)封第一講書(shū)人閱讀 52,337評(píng)論 1 310
  • 那天梅誓,我揣著相機(jī)與錄音,去河邊找鬼。 笑死拥坛,一個(gè)胖子當(dāng)著我的面吹牛蓬蝶,可吹牛的內(nèi)容都是我干的尘分。 我是一名探鬼主播,決...
    沈念sama閱讀 40,902評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼丸氛,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼培愁!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起缓窜,我...
    開(kāi)封第一講書(shū)人閱讀 39,807評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤定续,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后禾锤,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體私股,經(jīng)...
    沈念sama閱讀 46,349評(píng)論 1 318
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,439評(píng)論 3 340
  • 正文 我和宋清朗相戀三年恩掷,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了倡鲸。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,567評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡黄娘,死狀恐怖峭状,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情逼争,我是刑警寧澤宁炫,帶...
    沈念sama閱讀 36,242評(píng)論 5 350
  • 正文 年R本政府宣布,位于F島的核電站氮凝,受9級(jí)特大地震影響羔巢,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜罩阵,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,933評(píng)論 3 334
  • 文/蒙蒙 一竿秆、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧稿壁,春花似錦幽钢、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,420評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至喧笔,卻和暖如春帽驯,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背书闸。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,531評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工尼变, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人浆劲。 一個(gè)月前我還...
    沈念sama閱讀 48,995評(píng)論 3 377
  • 正文 我出身青樓嫌术,卻偏偏與公主長(zhǎng)得像哀澈,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子度气,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,585評(píng)論 2 359