安裝使用Drill-1.10【轉(zhuǎn)】

準(zhǔn)備材料:

  • jdk-8u121-linux-x64.rpm (運(yùn)行Drill1.6及其后續(xù)版本需要jdk7或8)
  • apache-drill-1.10.0.tar.gz
  • zookeeper-3.4.6
  • hadoop2.x cluster

一漂辐、安裝、配置drill:

①树枫、解壓螟加、安裝

  • tar -xzvf apache-drill-1.10.0.tar.gz
  • cp -r apache-drill-1.10.0 /usr/local
  • ln -s apache-drill-1.10.0 drill-1.10

②徘溢、環(huán)境變量配置
修改/etc/profile吞琐,尾部添加:

##JAVA
export JAVA_HOME=/usr/java/jdk1.8.0_121
export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin:/usr/local/bin

export LANG=en_US.UTF-8

export DRILL_HOME=/usr/local/drill-1.10
export PATH=$PATH:$DRILL_HOME/bin

③、集群模式下配置drill
在$DRILL_HOME/conf/drill-override.conf文件中然爆,使用Drill cluster ID, 通過(guò)指定正確的zookeeper集群地址列表(host1:2181,host2:2181,hostN:2181)來(lái)連接上zk的quorum站粟。
注意:如果在多個(gè)節(jié)點(diǎn)上安裝drill,需要指定同一個(gè)Drill cluster ID曾雕,所有的drill節(jié)點(diǎn)共享同一個(gè)集群ID奴烙。

配置樣例:

drill.exec:{
  cluster-id: "<mydrillcluster>",
  zk.connect: "<zkhostname1>:<port>,<zkhostname2>:<port>,<zkhostname3>:<port>"
 }

④、集群模式下啟動(dòng)drill
在集群模式下使用drill剖张,必須首先在每一臺(tái)節(jié)點(diǎn)上啟動(dòng)Drill daemon(Drillbit)進(jìn)程,在使用client連接上drill前幅虑,務(wù)必先啟動(dòng)Drillbit進(jìn)程倒庵。

4.1 啟動(dòng)Drillbit進(jìn)程炫刷,使用drillbit.sh腳本:

注意:
如果使用standalone的embedded模式浑玛,不需要執(zhí)行drillbit.sh腳本锄奢。

該腳本除了可以啟動(dòng)Drillbit后臺(tái)進(jìn)程外,還可以用來(lái):
a). 檢查Drillbit狀態(tài)
b). 停止后重啟一個(gè)Drillbit進(jìn)程
c). 配置Drillbit用于支持自動(dòng)重啟

drillbit.sh命令語(yǔ)法:

drillbit.sh [–config < conf-dir >] (start | stop | status | restart | autorestart)

例如书在,重啟drillbit進(jìn)程,可以使用:

drillbit.sh restart

4.2 啟動(dòng)Drill Shell

使用shell命令行工具栏账,可以與已連接上的數(shù)據(jù)源挡爵,通過(guò)sql方式進(jìn)行交互式的查詢甚垦。

  • drill-conf
    通過(guò)上述conf/drill-override.conf中配置的zookeeper連接信息涣雕,來(lái)打開(kāi)drill shell交互式執(zhí)行窗口闭翩。
  • drill-localhost
    如果本機(jī)配置了zk疗韵,可以通過(guò)這個(gè)命令打開(kāi)drill shell交互式執(zhí)行窗口。

執(zhí)行完后流译,交互式窗口出現(xiàn):

[root@xxxxx bin]# drill-conf
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0
apache drill 1.10.0
"a drill is a terrible thing to waste"
0: jdbc:drill:> select * from sys.drillbits;
+-----------+------------+---------------+------------+----------+----------+
| hostname  | user_port  | control_port  | data_port  | current  | version  |
+-----------+------------+---------------+------------+----------+----------+
| server01  | 31010      | 31011         | 31012      | false    | 1.10.0   |
| server02  | 31010      | 31011         | 31012      | true     | 1.10.0   |
+-----------+------------+---------------+------------+----------+----------+
2 rows selected (2.686 seconds)

4.3 使用Ad-Hoc方式連上Drill Shell

可以使用sqlline命令以ad-hoc方式連接到drill先蒋,例如竞漾,如果想使用指定的數(shù)據(jù)存儲(chǔ)插件作為schema业岁,可以使用如下語(yǔ)法:

sqlline -u jdbc:drill:[schema=< storage plugin >;]zk=< zk_name1>[:< port1>][,< zk_name1>[:< port1>]…]

參數(shù)解讀:
-u 是連接字符串的前置參數(shù)笔时,必須項(xiàng)允耿;
jdbc 是連接類(lèi)型扒怖,必須項(xiàng)盗痒;
schema 查詢的插件類(lèi)型,可選項(xiàng)骡楼;
zk name指代一個(gè)或多個(gè)zk集群節(jié)點(diǎn)IP,或hostname;
part 指代zk端口號(hào)稽鞭,默認(rèn)2181,可選項(xiàng)

例如:
如果使用dfs數(shù)據(jù)存儲(chǔ)插件朦蕴,來(lái)連上drill弟头,可以這么使用:
sqlline -u jdbc:drill:schema=dfs;zk=centos01

如果需要連上zk集群,可以這么使用:
sqlline -u jdbc:drill:zk=centos01:2181,centos02:2181;centos03:2181

4.4 退出drill shell

可以在命令行窗口上執(zhí)行:!quit

4.5 關(guān)閉Drill服務(wù)

執(zhí)行: drillbit.sh stop

⑤兑燥、Web Console UI展示
可以使用web console來(lái)連上drill,這也是drill眾多客戶端接口中的一個(gè)降瞳。
在瀏覽器中打開(kāi)如下網(wǎng)址即可:

  • htpp://< IP address or host name>:8047
  • htpps://< IP address or host name>:8047

二嘱支、使用drill操作hbase數(shù)據(jù)
如果需要通過(guò)drill查詢hbase的數(shù)據(jù),需要在web console上對(duì)hbase數(shù)據(jù)源做些配置挣饥。

1.web console => Storage tab頁(yè) => enable hbase
2.在“Enabled Storage Plugins”一欄中,點(diǎn)擊hbase上的update按鈕扔枫,進(jìn)入編輯頁(yè)面短荐,填入hbase的配置信息痕貌。

配置樣例如下:

{
  "type": "hbase",
  "config": {
    "hbase.zookeeper.quorum": "111.111.111.111",
    "hbase.zookeeper.property.clientPort": "2181",
    "zookeeper.znode.parent": "/hbase"
  },
  "size.calculator.enabled": false,
  "enabled": true
}

3.重新啟動(dòng)drillbit進(jìn)程糠排,即可開(kāi)始查詢hbase數(shù)據(jù)。

使用drill以sql訪問(wèn)hbase,詳見(jiàn)如下文檔:
Querying HBase

4.注意事項(xiàng)
hbase里乾闰,行健與數(shù)據(jù)列中的數(shù)據(jù)均以byte[]形式存在落追,在使用drill操作hbase的數(shù)據(jù)時(shí),如果不加轉(zhuǎn)換汹忠,實(shí)際上它返回給你的是字節(jié)數(shù)組的地址值淋硝。
這是需要使用其內(nèi)置轉(zhuǎn)換函數(shù)CONVERT_FROM,轉(zhuǎn)換為實(shí)際的值宽菜。

一個(gè)轉(zhuǎn)換例子:

SELECT CONVERT_FROM(row_key, 'UTF8') AS studentid, 
        CONVERT_FROM(students.account.name, 'UTF8') AS name, 
        CONVERT_FROM(students.address.state, 'UTF8') AS state, 
        CONVERT_FROM(students.address.street, 'UTF8') AS street, 
        CONVERT_FROM(students.address.zipcode, 'UTF8') AS zipcode 
 FROM students;
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市竿报,隨后出現(xiàn)的幾起案子铅乡,更是在濱河造成了極大的恐慌,老刑警劉巖烈菌,帶你破解...
    沈念sama閱讀 216,843評(píng)論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件阵幸,死亡現(xiàn)場(chǎng)離奇詭異花履,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)挚赊,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,538評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門(mén)诡壁,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人荠割,你說(shuō)我怎么就攤上這事妹卿。” “怎么了蔑鹦?”我有些...
    開(kāi)封第一講書(shū)人閱讀 163,187評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵夺克,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我嚎朽,道長(zhǎng)铺纽,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,264評(píng)論 1 292
  • 正文 為了忘掉前任哟忍,我火速辦了婚禮狡门,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘锅很。我一直安慰自己其馏,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,289評(píng)論 6 390
  • 文/花漫 我一把揭開(kāi)白布粗蔚。 她就那樣靜靜地躺著尝偎,像睡著了一般。 火紅的嫁衣襯著肌膚如雪鹏控。 梳的紋絲不亂的頭發(fā)上致扯,一...
    開(kāi)封第一講書(shū)人閱讀 51,231評(píng)論 1 299
  • 那天,我揣著相機(jī)與錄音当辐,去河邊找鬼抖僵。 笑死,一個(gè)胖子當(dāng)著我的面吹牛缘揪,可吹牛的內(nèi)容都是我干的耍群。 我是一名探鬼主播,決...
    沈念sama閱讀 40,116評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼找筝,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼蹈垢!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起袖裕,我...
    開(kāi)封第一講書(shū)人閱讀 38,945評(píng)論 0 275
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤曹抬,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后急鳄,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體谤民,經(jīng)...
    沈念sama閱讀 45,367評(píng)論 1 313
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡堰酿,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,581評(píng)論 2 333
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了张足。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片触创。...
    茶點(diǎn)故事閱讀 39,754評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖为牍,靈堂內(nèi)的尸體忽然破棺而出哼绑,到底是詐尸還是另有隱情,我是刑警寧澤吵聪,帶...
    沈念sama閱讀 35,458評(píng)論 5 344
  • 正文 年R本政府宣布凌那,位于F島的核電站,受9級(jí)特大地震影響吟逝,放射性物質(zhì)發(fā)生泄漏帽蝶。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,068評(píng)論 3 327
  • 文/蒙蒙 一块攒、第九天 我趴在偏房一處隱蔽的房頂上張望励稳。 院中可真熱鬧,春花似錦囱井、人聲如沸驹尼。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,692評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)新翎。三九已至,卻和暖如春住练,著一層夾襖步出監(jiān)牢的瞬間地啰,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,842評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工讲逛, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留亏吝,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,797評(píng)論 2 369
  • 正文 我出身青樓盏混,卻偏偏與公主長(zhǎng)得像蔚鸥,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子许赃,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,654評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容

  • hadoop2集群搭建詳解------------------------天津九安醫(yī)療電子--吳偉 一止喷、需要軟件 ...
    hogface閱讀 1,810評(píng)論 1 4
  • 1 Zookeeper概述# ZooKeeper是一個(gè)為分布式應(yīng)用所設(shè)計(jì)的分布的、開(kāi)源的協(xié)調(diào)服務(wù)混聊,它主要是用來(lái)解決...
    七寸知架構(gòu)閱讀 7,351評(píng)論 0 101
  • VirtualBox設(shè)置 VirtualBox網(wǎng)絡(luò)設(shè)置選NAT并配置端口轉(zhuǎn)發(fā):2222->22 安裝時(shí)開(kāi)啟以太網(wǎng)并...
    AndyTalk閱讀 317評(píng)論 0 0
  • 寒城飄雨启盛,葉黃零落,夜深衣薄技羔。箏弦已動(dòng)心悸僵闯,皆知一曲,紅顏微露藤滥。袖手秋千鳖粟,意恐玉笙暗相遇。極目望拙绊,伊影茫茫向图,竟透珠...
    朱曦偵探事務(wù)所閱讀 276評(píng)論 0 2
  • 我重來(lái)沒(méi)想過(guò)竟然小小的感冒竟然會(huì)持續(xù)如此之久。從去年的九月底到今年現(xiàn)在标沪,我還是處在感冒的延續(xù)期榄攀。 剛開(kāi)...
    江心與閱讀 406評(píng)論 0 0