Apache Druid元數(shù)據(jù)從Derby導(dǎo)出到CSV

Druid元數(shù)據(jù)從Derby導(dǎo)出到CSV

使用Druid比較老的版本秋忙,有的時候使用的元數(shù)據(jù)管理庫是使用的Derby數(shù)據(jù)庫,但是后面的遷移或者升級构舟,都需要把元數(shù)據(jù)導(dǎo)出來翰绊,但是較老的版本的Druid不支持導(dǎo)出,本文檔就把導(dǎo)出這里問題操作了一次旁壮,記錄了一下监嗜。

這里的示例,我是運(yùn)行了一個Druid0.12.0版本的Druid快速啟動的方式運(yùn)行了一段時間抡谐,有一些數(shù)據(jù)裁奇,這里我就是模擬真實環(huán)境吧,把我當(dāng)前環(huán)境的數(shù)據(jù)遷移出來

我的單機(jī)的Druid安裝麦撵,可以參考Druid0.12.0版本單機(jī)最簡安裝

當(dāng)前的數(shù)據(jù)量是(停止了數(shù)據(jù)攝取任務(wù)刽肠,等待數(shù)據(jù)已經(jīng)落庫的真實數(shù)據(jù))

2020612173245

準(zhǔn)備一個新版本的Druid安裝包

下載Druid 0.17.0的版本

[root@itdeer ~]# mkdir -p /opt/install

[root@itdeer ~]# cd /opt/install

[root@itdeer install]# wget https://archive.apache.org/dist/druid/0.17.0/apache-druid-0.17.0-bin.tar.gz

解壓

[root@itdeer install]# tar -zxf apache-druid-0.17.0-bin.tar.gz

[root@itdeer install]# cd apache-druid-0.17.0

[root@itdeer apache-druid-0.17.0]# mv lib lib2

把lib2這里目錄下載下來放到老的版本的Druid的目錄下(這里測試的版本是0.12.0版本)

[root@itdeer druid-0.12.0]# ll
total 44
drwxr-xr-x  2 root root    187 Jun 12 11:38 bin
drwxr-xr-x  4 root root     38 Jun 12 11:38 conf
drwxr-xr-x  4 root root     38 Jun 12 11:38 conf-quickstart
drwxr-xr-x 19 root root   4096 Jun 12 11:38 extensions
drwxr-xr-x  3 root root     27 Jun 12 11:38 hadoop-dependencies
drwxr-xr-x  2 root root   8192 Jun 12 11:38 lib
drwxr-xr-x  2 root root   8192 Jun 12 16:50 lib2
-rw-r--r--  1  501 games 11358 Sep  9  2016 LICENSE
drwxr-xr-x  2 root root      6 Jun 12 11:41 log
-rw-r--r--  1  501 games  3454 Mar  8  2018 NOTICE
drwxr-xr-x  3 root root    171 Jun 12 11:41 quickstart
drwxr-xr-x  4 root root     30 Jun 12 11:41 var

停止服務(wù),保證數(shù)據(jù)不會在有進(jìn)出

[1] 有Kafka的indexer的攝取任務(wù)的免胃,先停止supervisor的任務(wù)音五,等task自然的停止。

[2] 停止除coordinator之外的所有的服務(wù)羔沙,(可以先停止所有的服務(wù)躺涝,然后在啟動coordinator服務(wù),因為coordinator停止Derby也是停止的扼雏,啟動coordinator時注意Zookeeper也要運(yùn)行的)

準(zhǔn)備導(dǎo)出元數(shù)據(jù)

[1] 準(zhǔn)備目錄

mkdir /opt/csv

[2] 執(zhí)行命令

cd $DRUID_HOME/ #進(jìn)入Druid0.12.0的安裝目錄下

執(zhí)行命令
java -classpath "lib2/*" -Dlog4j.configurationFile=conf-quickstart/druid/_common/log4j2.xml -Ddruid.extensions.directory="extensions" -Ddruid.extensions.loadList=[] org.apache.druid.cli.Main tools export-metadata --connectURI "jdbc:derby://localhost:1527/var/druid/metadata.db;create=true;" -o /opt/csv

conf-quickstart/druid/_common/log4j2.xml    # 是我當(dāng)前Druid運(yùn)行的模式坚嗜,就是我運(yùn)行的是quickstart單機(jī)版本的Druid,若是運(yùn)行cluster則指定 conf/druid/_common/log4j2.xml 即可
jdbc:derby://localhost:1527/var/druid/metadata.db;create=true;      # conf-quickstart/druid/_common/common.runtime.properties 配置文件的屬性
-o /opt/csv         # 指定的輸出文件目錄

[3] 查看元數(shù)據(jù)文件

[root@itdeer druid-0.12.0]# ll /opt/csv/
total 116
-rw-r--r-- 1 root root     0 Jun 12 16:57 druid_config.csv
-rw-r--r-- 1 root root     0 Jun 12 16:57 druid_config_raw.csv
-rw-r--r-- 1 root root   172 Jun 12 16:57 druid_dataSource.csv
-rw-r--r-- 1 root root   246 Jun 12 16:57 druid_dataSource_raw.csv
-rw-r--r-- 1 root root   142 Jun 12 16:57 druid_rules.csv
-rw-r--r-- 1 root root   203 Jun 12 16:57 druid_rules_raw.csv
-rw-r--r-- 1 root root 32773 Jun 12 16:57 druid_segments.csv
-rw-r--r-- 1 root root 54426 Jun 12 16:57 druid_segments_raw.csv
-rw-r--r-- 1 root root  1654 Jun 12 16:57 druid_supervisors.csv
-rw-r--r-- 1 root root  2878 Jun 12 16:57 druid_supervisors_raw.csv

OK 現(xiàn)在已經(jīng)把Derby存儲的元數(shù)據(jù)導(dǎo)出來了诗充。其他的版本應(yīng)該也是可以的苍蔬,應(yīng)該適用于所有的版本,這里只是導(dǎo)出Derby的數(shù)據(jù)蝴蜓。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末碟绑,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子茎匠,更是在濱河造成了極大的恐慌格仲,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,695評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件汽抚,死亡現(xiàn)場離奇詭異抓狭,居然都是意外死亡伯病,警方通過查閱死者的電腦和手機(jī)造烁,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,569評論 3 399
  • 文/潘曉璐 我一進(jìn)店門否过,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人惭蟋,你說我怎么就攤上這事苗桂。” “怎么了告组?”我有些...
    開封第一講書人閱讀 168,130評論 0 360
  • 文/不壞的土叔 我叫張陵煤伟,是天一觀的道長。 經(jīng)常有香客問我木缝,道長便锨,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,648評論 1 297
  • 正文 為了忘掉前任我碟,我火速辦了婚禮放案,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘矫俺。我一直安慰自己吱殉,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,655評論 6 397
  • 文/花漫 我一把揭開白布厘托。 她就那樣靜靜地躺著友雳,像睡著了一般。 火紅的嫁衣襯著肌膚如雪铅匹。 梳的紋絲不亂的頭發(fā)上押赊,一...
    開封第一講書人閱讀 52,268評論 1 309
  • 那天,我揣著相機(jī)與錄音包斑,去河邊找鬼考杉。 笑死,一個胖子當(dāng)著我的面吹牛舰始,可吹牛的內(nèi)容都是我干的崇棠。 我是一名探鬼主播,決...
    沈念sama閱讀 40,835評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼丸卷,長吁一口氣:“原來是場噩夢啊……” “哼枕稀!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起谜嫉,我...
    開封第一講書人閱讀 39,740評論 0 276
  • 序言:老撾萬榮一對情侶失蹤萎坷,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后沐兰,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體哆档,經(jīng)...
    沈念sama閱讀 46,286評論 1 318
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,375評論 3 340
  • 正文 我和宋清朗相戀三年住闯,在試婚紗的時候發(fā)現(xiàn)自己被綠了瓜浸。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片澳淑。...
    茶點(diǎn)故事閱讀 40,505評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖插佛,靈堂內(nèi)的尸體忽然破棺而出杠巡,到底是詐尸還是另有隱情,我是刑警寧澤雇寇,帶...
    沈念sama閱讀 36,185評論 5 350
  • 正文 年R本政府宣布氢拥,位于F島的核電站,受9級特大地震影響锨侯,放射性物質(zhì)發(fā)生泄漏嫩海。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,873評論 3 333
  • 文/蒙蒙 一囚痴、第九天 我趴在偏房一處隱蔽的房頂上張望出革。 院中可真熱鬧,春花似錦渡讼、人聲如沸骂束。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,357評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽展箱。三九已至,卻和暖如春蹬昌,著一層夾襖步出監(jiān)牢的瞬間混驰,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,466評論 1 272
  • 我被黑心中介騙來泰國打工皂贩, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留栖榨,地道東北人。 一個月前我還...
    沈念sama閱讀 48,921評論 3 376
  • 正文 我出身青樓明刷,卻偏偏與公主長得像婴栽,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子辈末,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,515評論 2 359