opentsdb+hbase的安裝部署

以下安裝部署都是在centos 7系統(tǒng)下安裝部署的。

? ? ? ? OpenTSDB是基于HBase存儲時間序列數(shù)據(jù)的一個開源的數(shù)據(jù)庫恕沫,是HBase的一個應用监憎。所以安裝OpenTSDB之前,首先需要安裝HBase婶溯,然而HBase使用Java開發(fā)的鲸阔,所以我們第一步首先需要安裝jdk。

一迄委、JDK安裝

1褐筛、http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下載jdk的RPM包,然后執(zhí)行以下命令安裝:

jdk安裝命令安裝完jdk后叙身,需要對環(huán)境變量配置:

2渔扎、環(huán)境變量配置:

配置內(nèi)容如下:

JAVA_HOME=/usr/java/jdk1.8.0_73

JRE_HOME=/usr/java/jdk1.8.0_73/jre

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

export JAVA_HOME JRE_HOME PATH CLASSPATH

3、配置完成后執(zhí)行如下命令曲梗,讓配置內(nèi)容生效:

source /etc/profile

4赞警、安裝必要的依賴:

yum install gnuplot automake autoconf git -y


二妓忍、Hbase安裝

1虏两、從Hbase官網(wǎng)下載Hbase的tar包,拷貝Hbase到指定目錄世剖,我們這里把所有文件都放在/usr/local/這個目錄下

cp hbase-0.94.27.tar.gz /usr/local

2定罢、然后解壓Hbase并切換到Hbase所在目錄:

tar xvf hbase-0.94.27.tar.gz

cd hbase-0.94.27/

3、配置/conf/hbase-site.xml文件內(nèi)容:

<configuration>

? ? <property>

? ? ? ? <name>hbase.rootdir</name>

? ? ? ? <value>file:/usr/local/hbase-0.94.27/hbase-${user.name}</value>

? ? </property>

</configuration>

注意:文件的路徑就是你寫數(shù)據(jù)的路徑旁瘫,不要存在臨時目錄下面祖凫,這樣機器重啟會丟失數(shù)據(jù)

4、對于Hbase的一些基本操作:

(1)啟動Hbase:nohup ./bin/start-hbase.sh 如果沒有報錯啟動成功

(2)Hbase的shell:./bin/hbase shell 即啟動了Hbase的shell就可以通過shell命令操作Hbase數(shù)據(jù)庫:

create 'test','cf' ?創(chuàng)建一個表

put 'test', 'row1', 'cf:a', 'value1' ?插入數(shù)據(jù)

scan 'test' 查詢一個表

get 'test', 'row1' 查詢一行數(shù)據(jù)

disable再drop這張表(刪除表的操作)

exit退出Shell

注意:用Shell操作HBase時要進行刪除酬凳,需要同時按住Ctrl和Delete鍵來進行刪除操作惠况。

(3)停止Hbase ./bin/stop-hbase.sh ?Hbase將會慢慢的停止這只是一個單機的Hbase,后面我們可以設置分布式的Hbase宁仔,只需要對相應的配置文件配置就OK了稠屠,如果需要配置集群的話,后續(xù)我會加上。

三权埠、Opentsdb安裝

1榨了、從Releases · OpenTSDB/opentsdb · GitHub上選擇下載相應的版本,也可以去官網(wǎng)下載都可以攘蔽,解壓Opentsdb安裝文件龙屉,并且解壓文件:

tar -xvf opentsdb-2.2.0.tar.gz

cd? opentsdb-2.2.0

./build.sh?

2、執(zhí)行完以上命令后满俗,將會在build文件夾下生成一個tsdb.jar,接下來安裝:

cd build/

make install

沒有什么錯誤的話转捕,說明Opentsdb安裝成功

3、操作Opentsdb以及數(shù)據(jù)存入到Hbase中:

(1)第一次啟動OpenTSDB需要HBase的支持唆垃,所以首先需要創(chuàng)建必要的HBase表格瓜富,命令如下:

env COMPRESSION=NONE HBASE_HOME=/usr/local/hbase-0.94.27 ./src/create_table.sh?

?HBASE_HOME必須是你本地安裝的HBase的目錄,因為OpenTSDB是基于HBase實現(xiàn)的与柑,所以這里要指明HBase的安裝路徑。這樣就會創(chuàng)建出四個表格蓄坏,分別是tsdb价捧、tsdb-uid、tsdb-tree和tsdb-meta涡戳。為了防止opentsdb產(chǎn)生大量的日志结蟋,可以在/src/logback.xml中設置一個日志級別。

(2)啟動Opentsdb

./build/tsdb tsd ?執(zhí)行如下命令啟動TSD

tsdtmp=${TMPDIR-'/tmp'}/tsd 創(chuàng)建臨時目錄

mkdir -p "$tsdtmp"?

?./build/tsdb tsd --port=4242 --staticroot=build/staticroot --cachedir="$tsdtmp"?

注意:如果使用的是HBase集群渔彰,則需要設置—zkquorum嵌屎。

此時已經(jīng)成功啟動了OpenTSDB,你可以通過IP:Port用瀏覽器進行訪問恍涂,Port是4242

4宝惰、Opentsdb日志管理:

? ? ? ? 一般由于opentsdb默認的日志特別多,尤其以nohup啟動的話再沧,日志很有可能占滿整個磁盤尼夺。所以這里需要修改opentsdb的bug級別。

? ? ? ? Opentsdb采用slf4j作為日志管理炒瘸,主要日志配置在/src/logback.xml文件中淤堵,主要的日志級別如下:

(1)ERROR主要打印錯誤信息,操作失敗等顷扩,這將影響opentsdb的正常使用

(2)WARN這是由于不正確的操作造成的拐邪,但不至于影響opentsdb的正常運行

(3)INFO

(4)DEBUG

(5)OFF

直接修改logback.xml文件就可以完成日志級別的修改,如下圖所示:

直接屏蔽了日志輸出

總結(jié):以上只是將Opentsdb和Hbase(還是單節(jié)點)集成起來隘截,Opentsdb能夠?qū)⒌玫降臄?shù)據(jù)傳送給Hbase扎阶,并存入到Hbase數(shù)據(jù)庫中事富。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市乘陪,隨后出現(xiàn)的幾起案子统台,更是在濱河造成了極大的恐慌,老刑警劉巖啡邑,帶你破解...
    沈念sama閱讀 211,042評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件贱勃,死亡現(xiàn)場離奇詭異,居然都是意外死亡谤逼,警方通過查閱死者的電腦和手機贵扰,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,996評論 2 384
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來流部,“玉大人戚绕,你說我怎么就攤上這事≈剑” “怎么了舞丛?”我有些...
    開封第一講書人閱讀 156,674評論 0 345
  • 文/不壞的土叔 我叫張陵,是天一觀的道長果漾。 經(jīng)常有香客問我球切,道長,這世上最難降的妖魔是什么绒障? 我笑而不...
    開封第一講書人閱讀 56,340評論 1 283
  • 正文 為了忘掉前任吨凑,我火速辦了婚禮,結(jié)果婚禮上户辱,老公的妹妹穿的比我還像新娘鸵钝。我一直安慰自己,他們只是感情好庐镐,可當我...
    茶點故事閱讀 65,404評論 5 384
  • 文/花漫 我一把揭開白布恩商。 她就那樣靜靜地躺著,像睡著了一般焚鹊。 火紅的嫁衣襯著肌膚如雪痕届。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,749評論 1 289
  • 那天末患,我揣著相機與錄音,去河邊找鬼锤窑。 笑死璧针,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的渊啰。 我是一名探鬼主播探橱,決...
    沈念sama閱讀 38,902評論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼申屹,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了隧膏?” 一聲冷哼從身側(cè)響起哗讥,我...
    開封第一講書人閱讀 37,662評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎胞枕,沒想到半個月后杆煞,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,110評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡腐泻,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,451評論 2 325
  • 正文 我和宋清朗相戀三年决乎,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片派桩。...
    茶點故事閱讀 38,577評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡构诚,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出铆惑,到底是詐尸還是另有隱情范嘱,我是刑警寧澤,帶...
    沈念sama閱讀 34,258評論 4 328
  • 正文 年R本政府宣布员魏,位于F島的核電站彤侍,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏逆趋。R本人自食惡果不足惜盏阶,卻給世界環(huán)境...
    茶點故事閱讀 39,848評論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望闻书。 院中可真熱鬧名斟,春花似錦、人聲如沸魄眉。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,726評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽坑律。三九已至岩梳,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間晃择,已是汗流浹背冀值。 一陣腳步聲響...
    開封第一講書人閱讀 31,952評論 1 264
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留宫屠,地道東北人列疗。 一個月前我還...
    沈念sama閱讀 46,271評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像浪蹂,于是被迫代替她去往敵國和親抵栈。 傳聞我的和親對象是個殘疾皇子告材,可洞房花燭夜當晚...
    茶點故事閱讀 43,452評論 2 348

推薦閱讀更多精彩內(nèi)容