Flink中rocksdb兼容ARM

Flink 使用介紹相關(guān)文檔目錄

Flink 使用介紹相關(guān)文檔目錄

背景

Flink 1.13.2版本在ARM架構(gòu)Linux系統(tǒng)上運行导盅,如果啟用了rocksdb state backend荧降,會出現(xiàn)架構(gòu)不兼容異常。原因是Flink中的frocksdbjni并非使用Java編寫,沒有提供ARM支持个曙。本篇為大家?guī)砭幾garm版本的frocksdbjni的方式。

編譯環(huán)境

CentOS 7.4

查看Flink的frocksdbjni版本

以Flink 1.13.2版本為例厉颤。查看flink-state-backends/flink-statebackend-rocksdb/pom.xml美旧。

<dependency>
    <groupId>com.ververica</groupId>
    <artifactId>frocksdbjni</artifactId>
    <version>5.17.2-ververica-2.1</version>
</dependency>

說明使用的是5.17.2-ververica-2.1版本。

下載frocksdbjni代碼

git clone https://github.com/ververica/frocksdb.git

切換到Flink對應(yīng)的frocksdbjni版本分支渔肩。

編譯

編譯相關(guān)說明位于frocksdb/java/RELEASE.md中因俐。編譯命令為:

make jclean clean rocksdbjavastaticrelease

注意:

編譯的時候zlib 1.2.11會出現(xiàn)無法下載的情況。實際情況為zlib下載鏈接發(fā)生了變化。

需要編輯項目根目錄的Makefile抹剩,將:

ZLIB_DOWNLOAD_BASE ?= http://zlib.net

修改為:

ZLIB_DOWNLOAD_BASE ?= http://zlib.net/fossils

然后重新編譯撑帖。

這個問題本人已提交PR修復(fù) https://github.com/ververica/frocksdb/pull/58。讀者編譯無需再處理此問題澳眷。

編譯輸出位于frocksdb/java/target胡嘿。可以找到rocksdbjni-5.17.2-linux64.jar钳踊。雖然名字和frocksdbjni不同但是內(nèi)容是一樣的衷敌。

處理Flink binary

將編譯好的frocksdbjni使用maven install命令加入到Flink編譯環(huán)境的maven倉庫。命令示例:

mvn install:install-file -DgroupId=com.ververica -DartifactId=frocksdbjni -Dversion=5.17.2-ververica-2.1 -Dpackaging=jar -Dfile=\path\to\frocksdnjni.jar

然后重新編譯Flink拓瞪。

或者有個更為簡單的方式逢享,找到編譯好的frocksdbjni jar文件,將其中的:

  • librocksdbjni-linux64.so
  • librocksdbjni-linux32.so(如果有的話)

替換掉FLINK_HOME/lib目錄中flink-dist.jar里面的同名文件吴藻。

備注

Flink 1.15以上版本的frocksdbjni已更新(>6.20.x)瞒爬。Jar中包含如下文件:

  • librocksdbjni-linux-aarch64-musl.so
  • librocksdbjni-linux-aarch64.so
  • librocksdbjni-linux-ppc64le-musl.so
  • librocksdbjni-linux-ppc64le.so
  • librocksdbjni-linux32-musl.so
  • librocksdbjni-linux32.so
  • librocksdbjni-linux64-musl.so
  • librocksdbjni-linux64.so

可支持ARM架構(gòu),無需再重新編譯適配沟堡。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末侧但,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子航罗,更是在濱河造成了極大的恐慌禀横,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,194評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件粥血,死亡現(xiàn)場離奇詭異柏锄,居然都是意外死亡,警方通過查閱死者的電腦和手機复亏,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,058評論 2 385
  • 文/潘曉璐 我一進店門趾娃,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人缔御,你說我怎么就攤上這事抬闷。” “怎么了耕突?”我有些...
    開封第一講書人閱讀 156,780評論 0 346
  • 文/不壞的土叔 我叫張陵笤成,是天一觀的道長。 經(jīng)常有香客問我眷茁,道長炕泳,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,388評論 1 283
  • 正文 為了忘掉前任上祈,我火速辦了婚禮培遵,結(jié)果婚禮上挣磨,老公的妹妹穿的比我還像新娘。我一直安慰自己荤懂,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 65,430評論 5 384
  • 文/花漫 我一把揭開白布塘砸。 她就那樣靜靜地躺著节仿,像睡著了一般。 火紅的嫁衣襯著肌膚如雪掉蔬。 梳的紋絲不亂的頭發(fā)上廊宪,一...
    開封第一講書人閱讀 49,764評論 1 290
  • 那天,我揣著相機與錄音女轿,去河邊找鬼箭启。 笑死,一個胖子當(dāng)著我的面吹牛蛉迹,可吹牛的內(nèi)容都是我干的傅寡。 我是一名探鬼主播,決...
    沈念sama閱讀 38,907評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼北救,長吁一口氣:“原來是場噩夢啊……” “哼荐操!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起珍策,我...
    開封第一講書人閱讀 37,679評論 0 266
  • 序言:老撾萬榮一對情侶失蹤托启,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后攘宙,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體屯耸,經(jīng)...
    沈念sama閱讀 44,122評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,459評論 2 325
  • 正文 我和宋清朗相戀三年蹭劈,在試婚紗的時候發(fā)現(xiàn)自己被綠了疗绣。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,605評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡铺韧,死狀恐怖持痰,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情祟蚀,我是刑警寧澤工窍,帶...
    沈念sama閱讀 34,270評論 4 329
  • 正文 年R本政府宣布,位于F島的核電站前酿,受9級特大地震影響患雏,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜罢维,卻給世界環(huán)境...
    茶點故事閱讀 39,867評論 3 312
  • 文/蒙蒙 一淹仑、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦匀借、人聲如沸颜阐。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,734評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽凳怨。三九已至,卻和暖如春是鬼,著一層夾襖步出監(jiān)牢的瞬間肤舞,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,961評論 1 265
  • 我被黑心中介騙來泰國打工均蜜, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留李剖,地道東北人。 一個月前我還...
    沈念sama閱讀 46,297評論 2 360
  • 正文 我出身青樓囤耳,卻偏偏與公主長得像篙顺,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子充择,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,472評論 2 348

推薦閱讀更多精彩內(nèi)容