博客鏈接地址:https://blog.csdn.net/qq_33187206/article/details/80824414
一、什么是Phonenix?
Phoenix是構(gòu)建在HBase上的一個(gè)SQL層徽诲,能讓我們用標(biāo)準(zhǔn)的JDBC APIs而不是HBase客戶端APIs來(lái)創(chuàng)建表晓猛,插入數(shù)據(jù)和對(duì)HBase數(shù)據(jù)進(jìn)行查詢。
Phoenix
完全使用Java編寫(xiě),作為HBase內(nèi)嵌的JDBC驅(qū)動(dòng)睦霎。Phoenix查詢引擎會(huì)將SQL查詢轉(zhuǎn)換為一個(gè)或多個(gè)HBase掃描缓熟,并編排執(zhí)行以生成標(biāo)準(zhǔn)的JDBC結(jié)果集累魔。直接使用HBase API摔笤、協(xié)同處理器與自定義過(guò)濾器,對(duì)于簡(jiǎn)單查詢來(lái)說(shuō)垦写,其性能量級(jí)是毫秒吕世,對(duì)于百萬(wàn)級(jí)別的行數(shù)來(lái)說(shuō),其性能量級(jí)是秒梯投。
Phoenix
通過(guò)以下方式使我們可以少寫(xiě)代碼命辖,并且性能比我們自己寫(xiě)代碼更好:
將SQL編譯成原生的HBase scans。確定scan關(guān)鍵字的最佳開(kāi)始和結(jié)束讓scan并行執(zhí)行
二分蓖、phoenix下載
1尔艇、點(diǎn)擊連接<apache倉(cāng)庫(kù)>下載
2、點(diǎn)擊連接<官網(wǎng)下載>下載
三么鹤、安裝phoenix
1终娃、解壓
$ tar -zxfapache-phoenix-4.8.0-HBase-0.98-bin.tar.gz -C ../modules/
2、?與hbase集成
?1)蒸甜、將phoenix安裝目錄下的
phoenix-4.8.0-HBase-0.98-client.jar
phoenix-core-4.8.0-HBase-0.98.jar
拷貝到hbase的lib目錄下
2)棠耕、將hbase/conf目錄下hbase-site.xml 文件放到phoenix的bin目錄下
四、啟動(dòng)phoenix
首先:zookeeper 進(jìn)程需要打開(kāi)
? $ bin/zkServer.shstart
其次:hadoop 的進(jìn)程需要開(kāi)啟
?$ bin/start-dfs.sh
再次:hbase 的需要重啟
?$bin/start-hbase.sh
最后:??在Phoenix文件夾下執(zhí)行柠新,指定zk的地址作為hbase的訪問(wèn)入口:
bin/sqlline.py [hostname]:2181
進(jìn)入Phoenix命令行窍荧,執(zhí)行
!tables
注意:第一次啟動(dòng)可能需要1分多鐘的時(shí)間恨憎,之后就會(huì)很快搅荞,主要是在hbase中做了一些初始化工作,會(huì)創(chuàng)建以下3張表
SYSTEM.CATALOG
SYSTEM.SEQUENCE
SYSTEM.STATS
使用命令 框咙!help 可以顯示phoenix用法咕痛,下面是部分
如果 出現(xiàn)? import argparse 這個(gè)錯(cuò)誤:
需要安裝:$ sudoyum -y install python-argparse
五、測(cè)試
1喇嘱、在show databases以及show tables是不支持的
2茉贡、-》!tables查看有什么表,hbase里面也會(huì)有phoenix的系統(tǒng)表
3者铜、在phoenix中創(chuàng)建表
create table user(
id varchar primary key,
name varchar,
password varchar
);
1)腔丧、在hbase中是區(qū)分大小寫(xiě)的,在phoenix中不區(qū)分大小寫(xiě)作烟,但是默認(rèn)都是大寫(xiě)愉粤,加上雙引號(hào)就是小寫(xiě)
2)、在hbase中desc "USER" 發(fā)現(xiàn)映射過(guò)來(lái)的表列簇默認(rèn)是0拿撩,NAME => '0'
3)衣厘、重新創(chuàng)建,指定列簇與列
drop table user;
create table user(
id varchar primary key,
info.name varchar,
info.password varchar
);
4、添加數(shù)據(jù):updata+insert結(jié)合--》upsert
upsert into user(id,name,password)values('001','admin','admin');
upsert into user(id,name,password)values('002','admin','admin');
5影暴、查詢數(shù)據(jù):
select * from user;???
6错邦、刪除數(shù)據(jù):
delete from user where id='002';
在phoenix中的client界面中進(jìn)行的crud操作,與RDBMS的操作沒(méi)有太大的區(qū)別
?7型宙、hbase與phoenix表與表之間進(jìn)行關(guān)聯(lián)撬呢,將hbase中的表映射到phoenix
create table "stu_info"(
rowkey varchar primary key,
info"."name" varchar,
"info"."age" varchar,
"info"."sex" varchar,
"degree"."xueli" varchar,
"work"."job" varchar
);?
缺陷:hbase中的字段類型都是String類型,所以妆兑,phoenix中的映射表都得是 varchar類型為好
六魂拦、在Java項(xiàng)目中集成Phoenix
在Java項(xiàng)目中實(shí)現(xiàn)Phoenix操作Hbase,maven引入Phoenix的依賴包:
???org.apache.phoenix
???phoenix-core
???4.8.0-HBase-0.98
但是引入這個(gè)包是不夠的搁嗓,還需要另外引入一個(gè)依賴包
phoenix-4.8.0-HBase-0.98-client.jar
芯勘,這個(gè)依賴包可以在Phoenix文件中找到,也可以通過(guò)下載Phoenix源碼谱姓,自行編譯后導(dǎo)入借尿,自此就可以通過(guò)java的JDBC訪問(wèn)操作Hbase。
java測(cè)試的源碼如下:
public static void main(String args[]) {
??? Connectionconnection = null;
??? Statementstatement = null;
??? try {
???????Class.forName("org.apache.phoenix.jdbc.PhoenixDriver");
??????? connection=DriverManager.getConnection("jdbc:phoenix:master:2181","","");
??????? statement =connection.createStatement();
???????statement.execute("upsert into yinxiang_note values (3, 'note ofhuhong')");
??????? } catch(Exception e) {
???????????e.printStackTrace();
??????? } finally {
??????????? try {
???????????????connection.close();
???????????????statement.close();
??????????? } catch(Exception e) {
???????????????e.printStackTrace();
??????????? }
??????? }
??? }
相關(guān)博客:
hive整合phoenix :https://www.aliyun.com/jiaocheng/828057.html
phoenix四貼:Phoenix四貼之一:掃盲貼
https://blog.csdn.net/qq1226317595/article/details/80375009
Phoenix三貼之二:Phoenix二級(jí)索引系統(tǒng)
https://blog.csdn.net/qq1226317595/article/details/82833782#comments
Phoenix四貼之三:hive整合
https://blog.csdn.net/qq1226317595/article/details/80375032
Phoenix安裝使用及使用SQuirrel客戶端連接操作Hbase
https://blog.csdn.net/NDF923/article/details/77838267
Phoenix 介紹和基本用法
https://blog.csdn.net/naioonai/article/details/80680023
Phoenix二級(jí)索引(Secondary
Indexing)的使用