phoenix(鳳凰)與Hbase集成

博客鏈接地址:https://blog.csdn.net/qq_33187206/article/details/80824414

一、什么是Phonenix?

Phoenix是構(gòu)建在HBase上的一個(gè)SQL層徽诲,能讓我們用標(biāo)準(zhǔn)的JDBC APIs而不是HBase客戶端APIs來(lái)創(chuàng)建表晓猛,插入數(shù)據(jù)和對(duì)HBase數(shù)據(jù)進(jìn)行查詢。

Phoenix

完全使用Java編寫(xiě),作為HBase內(nèi)嵌的JDBC驅(qū)動(dòng)睦霎。Phoenix查詢引擎會(huì)將SQL查詢轉(zhuǎn)換為一個(gè)或多個(gè)HBase掃描缓熟,并編排執(zhí)行以生成標(biāo)準(zhǔn)的JDBC結(jié)果集累魔。直接使用HBase API摔笤、協(xié)同處理器與自定義過(guò)濾器,對(duì)于簡(jiǎn)單查詢來(lái)說(shuō)垦写,其性能量級(jí)是毫秒吕世,對(duì)于百萬(wàn)級(jí)別的行數(shù)來(lái)說(shuō),其性能量級(jí)是秒梯投。

Phoenix

通過(guò)以下方式使我們可以少寫(xiě)代碼命辖,并且性能比我們自己寫(xiě)代碼更好:

將SQL編譯成原生的HBase scans。確定scan關(guān)鍵字的最佳開(kāi)始和結(jié)束讓scan并行執(zhí)行

二分蓖、phoenix下載

1尔艇、點(diǎn)擊連接<apache倉(cāng)庫(kù)>下載


2、點(diǎn)擊連接<官網(wǎng)下載>下載


三么鹤、安裝phoenix

1终娃、解壓

$ tar -zxfapache-phoenix-4.8.0-HBase-0.98-bin.tar.gz -C ../modules/

2、?與hbase集成


?1)蒸甜、將phoenix安裝目錄下的

phoenix-4.8.0-HBase-0.98-client.jar

phoenix-core-4.8.0-HBase-0.98.jar

拷貝到hbase的lib目錄下

2)棠耕、將hbase/conf目錄下hbase-site.xml 文件放到phoenix的bin目錄下

四、啟動(dòng)phoenix

首先:zookeeper 進(jìn)程需要打開(kāi)

? $ bin/zkServer.shstart

其次:hadoop 的進(jìn)程需要開(kāi)啟

?$ bin/start-dfs.sh

再次:hbase 的需要重啟

?$bin/start-hbase.sh

最后:??在Phoenix文件夾下執(zhí)行柠新,指定zk的地址作為hbase的訪問(wèn)入口:

bin/sqlline.py [hostname]:2181

進(jìn)入Phoenix命令行窍荧,執(zhí)行

!tables


注意:第一次啟動(dòng)可能需要1分多鐘的時(shí)間恨憎,之后就會(huì)很快搅荞,主要是在hbase中做了一些初始化工作,會(huì)創(chuàng)建以下3張表

SYSTEM.CATALOG

SYSTEM.SEQUENCE

SYSTEM.STATS

使用命令 框咙!help 可以顯示phoenix用法咕痛,下面是部分


如果 出現(xiàn)? import argparse 這個(gè)錯(cuò)誤:

需要安裝:$ sudoyum -y install python-argparse

五、測(cè)試

1喇嘱、在show databases以及show tables是不支持的

2茉贡、-》!tables查看有什么表,hbase里面也會(huì)有phoenix的系統(tǒng)表

3者铜、在phoenix中創(chuàng)建表

create table user(

id varchar primary key,

name varchar,

password varchar

);

1)腔丧、在hbase中是區(qū)分大小寫(xiě)的,在phoenix中不區(qū)分大小寫(xiě)作烟,但是默認(rèn)都是大寫(xiě)愉粤,加上雙引號(hào)就是小寫(xiě)

2)、在hbase中desc "USER" 發(fā)現(xiàn)映射過(guò)來(lái)的表列簇默認(rèn)是0拿撩,NAME => '0'

3)衣厘、重新創(chuàng)建,指定列簇與列

drop table user;

create table user(

id varchar primary key,

info.name varchar,

info.password varchar

);

4、添加數(shù)據(jù):updata+insert結(jié)合--》upsert

upsert into user(id,name,password)values('001','admin','admin');

upsert into user(id,name,password)values('002','admin','admin');

5影暴、查詢數(shù)據(jù):

select * from user;???

6错邦、刪除數(shù)據(jù):

delete from user where id='002';

在phoenix中的client界面中進(jìn)行的crud操作,與RDBMS的操作沒(méi)有太大的區(qū)別

?7型宙、hbase與phoenix表與表之間進(jìn)行關(guān)聯(lián)撬呢,將hbase中的表映射到phoenix

create table "stu_info"(

rowkey varchar primary key,

info"."name" varchar,

"info"."age" varchar,

"info"."sex" varchar,

"degree"."xueli" varchar,

"work"."job" varchar

);?

缺陷:hbase中的字段類型都是String類型,所以妆兑,phoenix中的映射表都得是 varchar類型為好

六魂拦、在Java項(xiàng)目中集成Phoenix

在Java項(xiàng)目中實(shí)現(xiàn)Phoenix操作Hbase,maven引入Phoenix的依賴包:

???org.apache.phoenix

???phoenix-core

???4.8.0-HBase-0.98

但是引入這個(gè)包是不夠的搁嗓,還需要另外引入一個(gè)依賴包

phoenix-4.8.0-HBase-0.98-client.jar

芯勘,這個(gè)依賴包可以在Phoenix文件中找到,也可以通過(guò)下載Phoenix源碼谱姓,自行編譯后導(dǎo)入借尿,自此就可以通過(guò)java的JDBC訪問(wèn)操作Hbase。

java測(cè)試的源碼如下:

public static void main(String args[]) {

??? Connectionconnection = null;

??? Statementstatement = null;

??? try {

???????Class.forName("org.apache.phoenix.jdbc.PhoenixDriver");

??????? connection=DriverManager.getConnection("jdbc:phoenix:master:2181","","");

??????? statement =connection.createStatement();

???????statement.execute("upsert into yinxiang_note values (3, 'note ofhuhong')");

??????? } catch(Exception e) {

???????????e.printStackTrace();

??????? } finally {

??????????? try {

???????????????connection.close();

???????????????statement.close();

??????????? } catch(Exception e) {

???????????????e.printStackTrace();

??????????? }

??????? }

??? }




相關(guān)博客:

hive整合phoenix :https://www.aliyun.com/jiaocheng/828057.html

phoenix四貼:Phoenix四貼之一:掃盲貼

https://blog.csdn.net/qq1226317595/article/details/80375009

Phoenix三貼之二:Phoenix二級(jí)索引系統(tǒng)

https://blog.csdn.net/qq1226317595/article/details/82833782#comments

Phoenix四貼之三:hive整合

https://blog.csdn.net/qq1226317595/article/details/80375032

Phoenix安裝使用及使用SQuirrel客戶端連接操作Hbase

https://blog.csdn.net/NDF923/article/details/77838267

Phoenix 介紹和基本用法

https://blog.csdn.net/naioonai/article/details/80680023

Phoenix二級(jí)索引(Secondary

Indexing)的使用

https://www.cnblogs.com/MOBIN/p/5467284.html

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末屉来,一起剝皮案震驚了整個(gè)濱河市路翻,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌茄靠,老刑警劉巖茂契,帶你破解...
    沈念sama閱讀 212,542評(píng)論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異慨绳,居然都是意外死亡掉冶,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,596評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門脐雪,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)厌小,“玉大人,你說(shuō)我怎么就攤上這事战秋¤笛牵” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 158,021評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵脂信,是天一觀的道長(zhǎng)癣蟋。 經(jīng)常有香客問(wèn)我,道長(zhǎng)狰闪,這世上最難降的妖魔是什么疯搅? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,682評(píng)論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮埋泵,結(jié)果婚禮上幔欧,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好琐馆,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,792評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布规阀。 她就那樣靜靜地躺著恒序,像睡著了一般瘦麸。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上歧胁,一...
    開(kāi)封第一講書(shū)人閱讀 49,985評(píng)論 1 291
  • 那天滋饲,我揣著相機(jī)與錄音,去河邊找鬼喊巍。 笑死屠缭,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的崭参。 我是一名探鬼主播呵曹,決...
    沈念sama閱讀 39,107評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼何暮!你這毒婦竟也來(lái)了奄喂?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 37,845評(píng)論 0 268
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤海洼,失蹤者是張志新(化名)和其女友劉穎跨新,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體坏逢,經(jīng)...
    沈念sama閱讀 44,299評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡域帐,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,612評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了是整。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片肖揣。...
    茶點(diǎn)故事閱讀 38,747評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖浮入,靈堂內(nèi)的尸體忽然破棺而出龙优,到底是詐尸還是另有隱情,我是刑警寧澤舵盈,帶...
    沈念sama閱讀 34,441評(píng)論 4 333
  • 正文 年R本政府宣布陋率,位于F島的核電站,受9級(jí)特大地震影響秽晚,放射性物質(zhì)發(fā)生泄漏瓦糟。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,072評(píng)論 3 317
  • 文/蒙蒙 一赴蝇、第九天 我趴在偏房一處隱蔽的房頂上張望菩浙。 院中可真熱鬧,春花似錦、人聲如沸劲蜻。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,828評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)先嬉。三九已至轧苫,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間疫蔓,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,069評(píng)論 1 267
  • 我被黑心中介騙來(lái)泰國(guó)打工岔乔, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留雏门,地道東北人茁影。 一個(gè)月前我還...
    沈念sama閱讀 46,545評(píng)論 2 362
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像蝇更,于是被迫代替她去往敵國(guó)和親年扩。 傳聞我的和親對(duì)象是個(gè)殘疾皇子厨幻,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,658評(píng)論 2 350

推薦閱讀更多精彩內(nèi)容

  • 1 使用概述 2 環(huán)境配置 3 SQL特性詳解 1)create:可以創(chuàng)建一張表或視圖。表名如果沒(méi)有用雙引號(hào)括起來(lái)...
    4ea0af17fd67閱讀 12,438評(píng)論 0 10
  • 轉(zhuǎn)自 沈釗偉 HBase 在大數(shù)據(jù)生態(tài)圈中的位置 提到大數(shù)據(jù)的存儲(chǔ),大多數(shù)人首先聯(lián)想到的是 Hadoop 和 Ha...
    wangxiaoda閱讀 1,238評(píng)論 0 19
  • Apache Phoenix 常用操作 基礎(chǔ)知識(shí) 1****、****Phoenix 主要技術(shù)點(diǎn) a棠隐、將SQL轉(zhuǎn)化...
    4ea0af17fd67閱讀 8,223評(píng)論 0 2
  • 這是二十年后的我呢助泽。 我的教師事業(yè)报咳,因?yàn)槭昵暗膶W(xué)校失火已經(jīng)結(jié)束了,可是還有一家老小膜眠,一個(gè)胖的不如當(dāng)年風(fēng)采的老婆,...
    角角散步去閱讀 399評(píng)論 2 2
  • 上著一個(gè)不怎么喜歡的大學(xué),有一個(gè)不怎么喜歡的專業(yè)及就業(yè)方向土全,但又不知道自己喜歡什么裹匙,想努力卻不知道方向在哪里,怎么...
    虎虎是我閱讀 140評(píng)論 0 0