Presto連接MySQL

準備

準備兩臺機器现喳,機器名為 bd1 和 bd2冰单,诫欠,并且在這兩個節(jié)點上安裝 hadoop呕诉,hive甩挫,并且準備一個mysql數(shù)據(jù)庫伊者。

  • bd1 - coordinator節(jié)點
  • bd2 - worker節(jié)點

安裝 presto server

wget -c https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.211/presto-server-0.211.tar.gz
tar zxvf presto-server-0.211.tar.gz
cd /opt/presto-server-0.211
mkdir etc

coordinator 節(jié)點配置

etc/node.properties

node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffff1
node.data-dir=/opt/presto-server-0.211/data

etc/config.properties

coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=8080
query.max-memory=8GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery-server.enabled=true
discovery.uri=http://bd1:8080

etc/jvm.config

-server
-Xmx8G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

worker 節(jié)點配置

etc/node.properties

node.environment=production
node.id=ffffffff-ffff-ffff-ffff-fffffffffff2
node.data-dir=/opt/presto-server-0.211/data

etc/config.properties

coordinator=false
http-server.http.port=8080
query.max-memory=8GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery.uri=http://bd1:8080

etc/jvm.config

-server
-Xmx8G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError

運行Presto

分別在兩個節(jié)點上運行下面的啟動命令

# 啟動 Presto
bin/launcher start

# 停止 Presto
bin/launcher stop

# 前臺運行 Presto法精,建議剛開始的時候使用這種方式搂蜓,如果配置有錯誤帮碰,可以立刻在console上看到錯誤信息殉挽,方便調(diào)試斯碌。
bin/launcher run

服務啟動后可以通過下面的地址來查看服務狀態(tài)

  • http://<coordinator_ip>:8080/ui/

設置 MySQL Connector

創(chuàng)建數(shù)據(jù)表

由于當前版本的 MySQL Connector 不支持創(chuàng)建數(shù)據(jù)表的操作摘符,因此我們需要先通過MySQL的終端來創(chuàng)建數(shù)據(jù)表逛裤。

$ mysql -u root -p

MariaDB [(none)]> use test;
MariaDB [test]> create table user(id int not null, username varchar(32) not null, password varchar(32) not null);
MariaDB [test]> insert into user values(1,'user1','password1');
MariaDB [test]> insert into user values(2,'user2','password2');
MariaDB [test]> insert into user values(3,'user3','password3');
MariaDB [test]> select * from user;
+----+----------+-----------+
| id | username | password  |
+----+----------+-----------+
|  1 | user1    | password1 |
|  2 | user2    | password2 |
|  3 | user3    | password3 |
+----+----------+-----------+

MySQL Connector 配置

在etc目錄下創(chuàng)建catalog目錄带族,然后創(chuàng)建 mysql.properties 文件,編輯保存后將此文件復制的集群中的其它節(jié)點相同目錄下蝙砌。

etc/catalog/mysql.properties

connector.name=mysql
connection-url=jdbc:mysql://bd1:3306
connection-user=root
connection-password=<password>

獲取 Presto 命令行工具

# 下載
wget -c https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.211/presto-cli-0.211-executable.jar

# 這個jar文件是一個自運行的jar包,因此為了使用方便肚邢,我們可以將其改名為presto
mv presto-cli-0.211-executable.jar presto

通過 Presto 操作 MySQL 數(shù)據(jù)庫

./presto --server bd1:8080 --catalog mysql --schema test

presto:test> show schemas from mysql;
       Schema       
--------------------
 information_schema 
 performance_schema 
 test               
(4 rows)

Query 20181024_011707_00040_szyec, FINISHED, 2 nodes
Splits: 19 total, 19 done (100.00%)
0:00 [4 rows, 64B] [9 rows/s, 147B/s]

presto:test> show tables from mysql.test;
 Table 
-------
 user  
(1 row)

Query 20181024_011716_00041_szyec, FINISHED, 2 nodes
Splits: 19 total, 19 done (100.00%)
0:01 [1 rows, 18B] [0 rows/s, 16B/s]

presto:test> select * from mysql.test.user;
 id | username | password  
----+----------+-----------
  1 | user1    | password1 
  2 | user2    | password2 
  3 | user3    | password3 
(3 rows)

Query 20181024_011724_00042_szyec, FINISHED, 1 node
Splits: 17 total, 17 done (100.00%)
0:00 [3 rows, 0B] [7 rows/s, 0B/s]

presto:test> insert into mysql.test.user values(4,'user4','password4');
INSERT: 1 row

Query 20181024_011938_00046_szyec, FINISHED, 2 nodes
Splits: 35 total, 35 done (100.00%)
0:03 [0 rows, 0B] [0 rows/s, 0B/s]

presto:test> select * from mysql.test.user;
 id | username | password  
----+----------+-----------
  1 | user1    | password1 
  2 | user2    | password2 
  3 | user3    | password3 
  4 | user4    | password4 
(4 rows)

Query 20181024_011943_00047_szyec, FINISHED, 1 node
Splits: 17 total, 17 done (100.00%)
0:01 [4 rows, 0B] [6 rows/s, 0B/s]

?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末响蕴,一起剝皮案震驚了整個濱河市浦夷,隨后出現(xiàn)的幾起案子劈狐,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,755評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡闺阱,警方通過查閱死者的電腦和手機酣溃,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,305評論 3 395
  • 文/潘曉璐 我一進店門扛或,熙熙樓的掌柜王于貴愁眉苦臉地迎上來熙兔,“玉大人住涉,你說我怎么就攤上這事舆声∧杉牛” “怎么了毙芜?”我有些...
    開封第一講書人閱讀 165,138評論 0 355
  • 文/不壞的土叔 我叫張陵晦雨,是天一觀的道長闹瞧。 經(jīng)常有香客問我奥邮,道長洽腺,這世上最難降的妖魔是什么蘸朋? 我笑而不...
    開封第一講書人閱讀 58,791評論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮炼彪,結果婚禮上霹购,老公的妹妹穿的比我還像新娘齐疙。我一直安慰自己贞奋,他們只是感情好,可當我...
    茶點故事閱讀 67,794評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般俩由。 火紅的嫁衣襯著肌膚如雪幻梯。 梳的紋絲不亂的頭發(fā)上碘梢,一...
    開封第一講書人閱讀 51,631評論 1 305
  • 那天,我揣著相機與錄音恩沛,去河邊找鬼复唤。 笑死佛纫,一個胖子當著我的面吹牛呈宇,可吹牛的內(nèi)容都是我干的甥啄。 我是一名探鬼主播蜈漓,決...
    沈念sama閱讀 40,362評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼享完,長吁一口氣:“原來是場噩夢啊……” “哼般又!你這毒婦竟也來了巍佑?” 一聲冷哼從身側響起萤衰,我...
    開封第一講書人閱讀 39,264評論 0 276
  • 序言:老撾萬榮一對情侶失蹤胳螟,失蹤者是張志新(化名)和其女友劉穎糖耸,沒想到半個月后嘉竟,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體洋侨,經(jīng)...
    沈念sama閱讀 45,724評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡边苹,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,900評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了茬底。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片阱表。...
    茶點故事閱讀 40,040評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡涉馁,死狀恐怖谨胞,靈堂內(nèi)的尸體忽然破棺而出蒜鸡,到底是詐尸還是另有隱情,我是刑警寧澤叶沛,帶...
    沈念sama閱讀 35,742評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站溉箕,受9級特大地震影響肴茄,放射性物質發(fā)生泄漏寡痰。R本人自食惡果不足惜拦坠,卻給世界環(huán)境...
    茶點故事閱讀 41,364評論 3 330
  • 文/蒙蒙 一贞滨、第九天 我趴在偏房一處隱蔽的房頂上張望疲迂。 院中可真熱鬧,春花似錦幅垮、人聲如沸尾组。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,944評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽嘱腥。三九已至齿兔,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背屁桑。 一陣腳步聲響...
    開封第一講書人閱讀 33,060評論 1 270
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留乌叶,地道東北人准浴。 一個月前我還...
    沈念sama閱讀 48,247評論 3 371
  • 正文 我出身青樓求橄,卻偏偏與公主長得像罐农,于是被迫代替她去往敵國和親催什。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,979評論 2 355

推薦閱讀更多精彩內(nèi)容