mysql導入clickhouse 并做簡單的性能測試(基于centos)

1鲤嫡、創(chuàng)建 clickhouse?目錄

mkdir clickhouse

2捆愁、進入到clickhouse

cd clickhouse

3舷丹、下載clickhouse? 有兩個版本可供下載?詳情可參見https://github.com/Altinity/clickhouse-rpm-install

curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash

看到? ?The repository is setup! You can now install packages.?成功了

4蜡峰、查看目錄下?是否有相關文件?

sudo yum list 'clickhouse*'

clickhouse-client.x86_64 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?20.5.4.40-1.el7 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Altinity_clickhouse

clickhouse-common-static.x86_64 ? ? ? ? ? ? ? ? ? ? ? ? ? ? 20.5.4.40-1.el7 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Altinity_clickhouse

clickhouse-compressor.x86_64 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?1.1.54336-3.el7 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Altinity_clickhouse

clickhouse-debuginfo.x86_64 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 20.1.11.73-1.el7 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?Altinity_clickhouse

clickhouse-odbc.x86_64 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?1.1.8-1.el7 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Altinity_clickhouse

clickhouse-server.x86_64 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?20.5.4.40-1.el7 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Altinity_clickhouse

clickhouse-server-common.x86_64 ? ? ? ? ? ? ? ? ? ? ? ? ? ? 20.5.4.40-1.el7 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Altinity_clickhouse

clickhouse-test.x86_64 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?20.5.4.40-1.el7 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Altinity_clickhouse

5畴蹭、安裝??sudo yum install -y clickhouse-server clickhouse-client? 服務端與客戶端

sudo yum install -y clickhouse-server clickhouse-client

6氓仲、啟動服務

service clickhouse-server start

7水慨、啟動客端

clickhouse-client –m

出現(xiàn) :)符號

8、查看?數(shù)據(jù)庫列表?

SHOW DATABASES

┌─name───────────────────────────┐

│ _temporary_and_external_tables │

│ default ? ? ? ? ? ? ? ? ? ? ? ?│

│ system ? ? ? ? ? ? ? ? ? ? ? ? │

└────────────────────────────────┘

--------------------------華麗的分隔線------------------------------------以上代表 ck安裝成功

---------開始坑人的mysql?導入了敬扛。我是新手?起碼踩了3個坑晰洒。下在一一說來。

1啥箭、從mysql?導入?最簡單的方法?是直接使用mysql函數(shù)? 但坑人的是低版本?不支持mysql函數(shù)? 我上面下載的版本是支持的谍珊。

2、先安裝mysql?客戶端

3急侥、嘗試用mysql客戶端? 連接

mysql -h -u -p?連接?

我剛才始總是連接不上砌滞,一直找不到原因。因為我的mysql服務器 是用的阿里云坏怪。?后來加入IP白名單?連接成功

4贝润、使用mysql函數(shù)導入?

進入ck客戶端 clickhouse -client;

創(chuàng)建數(shù)據(jù)庫 create databases test

? ck數(shù)據(jù)類型?與mysql?大不一樣。選創(chuàng)表?太麻煩了铝宵。我只是想簡單?測試一下打掘,性能到底比mysql?提高多少

我選擇了自動建表的形式

create table test.testtable engine =MergeTree() order by tid ?as select * from mysql('xx.xxx.xxx.xxx','dbname','tablename','username','pwd');

導入成功!

但自動創(chuàng)建的表捉超,數(shù)據(jù)類型不對胧卤。我mysql的類型 decimal?變成了string類型

測試性能

一個order by sum(total) desc?單表語句?在mysql?中500w數(shù)據(jù)? 需要 15S? 用ck的話。只需要0.168s

我再繼續(xù)追加數(shù)據(jù)到2千萬?也只需要 0.558s

10 rows in set. Elapsed: 0.558 sec. Processed 22.83 million rows, 577.25 MB (40.90 million rows/s., 1.03 GB/s.)

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末拼岳,一起剝皮案震驚了整個濱河市枝誊,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌惜纸,老刑警劉巖叶撒,帶你破解...
    沈念sama閱讀 217,826評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件绝骚,死亡現(xiàn)場離奇詭異,居然都是意外死亡祠够,警方通過查閱死者的電腦和手機压汪,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,968評論 3 395
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來古瓤,“玉大人止剖,你說我怎么就攤上這事÷渚” “怎么了穿香?”我有些...
    開封第一講書人閱讀 164,234評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長绎速。 經(jīng)常有香客問我皮获,道長,這世上最難降的妖魔是什么纹冤? 我笑而不...
    開封第一講書人閱讀 58,562評論 1 293
  • 正文 為了忘掉前任洒宝,我火速辦了婚禮,結果婚禮上萌京,老公的妹妹穿的比我還像新娘雁歌。我一直安慰自己琅摩,他們只是感情好纸巷,可當我...
    茶點故事閱讀 67,611評論 6 392
  • 文/花漫 我一把揭開白布锌半。 她就那樣靜靜地躺著鸭你,像睡著了一般。 火紅的嫁衣襯著肌膚如雪挪丢。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,482評論 1 302
  • 那天,我揣著相機與錄音扒最,去河邊找鬼。 笑死华嘹,一個胖子當著我的面吹牛吧趣,可吹牛的內容都是我干的。 我是一名探鬼主播耙厚,決...
    沈念sama閱讀 40,271評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼强挫,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了薛躬?” 一聲冷哼從身側響起俯渤,我...
    開封第一講書人閱讀 39,166評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎型宝,沒想到半個月后八匠,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體絮爷,經(jīng)...
    沈念sama閱讀 45,608評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,814評論 3 336
  • 正文 我和宋清朗相戀三年梨树,在試婚紗的時候發(fā)現(xiàn)自己被綠了坑夯。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,926評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡抡四,死狀恐怖柜蜈,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情指巡,我是刑警寧澤淑履,帶...
    沈念sama閱讀 35,644評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站厌处,受9級特大地震影響鳖谈,放射性物質發(fā)生泄漏。R本人自食惡果不足惜阔涉,卻給世界環(huán)境...
    茶點故事閱讀 41,249評論 3 329
  • 文/蒙蒙 一缆娃、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧瑰排,春花似錦贯要、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,866評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至京郑,卻和暖如春宅广,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背些举。 一陣腳步聲響...
    開封第一講書人閱讀 32,991評論 1 269
  • 我被黑心中介騙來泰國打工跟狱, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人户魏。 一個月前我還...
    沈念sama閱讀 48,063評論 3 370
  • 正文 我出身青樓驶臊,卻偏偏與公主長得像,于是被迫代替她去往敵國和親叼丑。 傳聞我的和親對象是個殘疾皇子关翎,可洞房花燭夜當晚...
    茶點故事閱讀 44,871評論 2 354