Storm & Kafka 整合問題筆記

使用版本

<storm.version>1.1.0</storm.version>
<storm.kafka.version>0.8.2.1</storm.kafka.version>
<storm.kafka.artifact.id>kafka_2.10</storm.kafka.artifact.id>

<storm.kafka.client.version>0.10.0.0</storm.kafka.client.version>

問題1

本地啟動報錯:java.lang.NoClassDefFoundError: kafka/api/OffsetRequest

解決方案

pom.xml 中根據(jù)使用當(dāng)前依賴可以解決,參照github storm源碼范例

        <dependency>
            <groupId>org.apache.storm</groupId>
            <artifactId>storm-kafka</artifactId>
            <version>${storm.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.storm</groupId>
            <artifactId>storm-kafka-client</artifactId>
            <version>${storm.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>${storm.kafka.artifact.id}</artifactId>
            <version>${storm.kafka.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.apache.zookeeper</groupId>
                    <artifactId>zookeeper</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>log4j</groupId>
                    <artifactId>log4j</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>${storm.kafka.client.version}</version>
        </dependency>
2017-08-07 15:38:42,385:ERROR Thread-26-spout-transferOpenTsdbTrident-executor[5 5] (NO_SOURCE_FILE:0) - 
org.apache.kafka.common.protocol.types.SchemaException: Error reading field 'topic_metadata': Error reading array of size 554085, only 166 bytes available
    at org.apache.kafka.common.protocol.types.Schema.read(Schema.java:73) ~[kafka-clients-0.10.0.0.jar:?]
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市倔既,隨后出現(xiàn)的幾起案子善已,更是在濱河造成了極大的恐慌,老刑警劉巖池户,帶你破解...
    沈念sama閱讀 216,324評論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件咏雌,死亡現(xiàn)場離奇詭異,居然都是意外死亡校焦,警方通過查閱死者的電腦和手機赊抖,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,356評論 3 392
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來寨典,“玉大人氛雪,你說我怎么就攤上這事∷食桑” “怎么了报亩?”我有些...
    開封第一講書人閱讀 162,328評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長井氢。 經(jīng)常有香客問我弦追,道長,這世上最難降的妖魔是什么花竞? 我笑而不...
    開封第一講書人閱讀 58,147評論 1 292
  • 正文 為了忘掉前任劲件,我火速辦了婚禮,結(jié)果婚禮上约急,老公的妹妹穿的比我還像新娘零远。我一直安慰自己,他們只是感情好厌蔽,可當(dāng)我...
    茶點故事閱讀 67,160評論 6 388
  • 文/花漫 我一把揭開白布牵辣。 她就那樣靜靜地躺著,像睡著了一般躺枕。 火紅的嫁衣襯著肌膚如雪服猪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,115評論 1 296
  • 那天拐云,我揣著相機與錄音罢猪,去河邊找鬼。 笑死叉瘩,一個胖子當(dāng)著我的面吹牛膳帕,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 40,025評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼危彩,長吁一口氣:“原來是場噩夢啊……” “哼攒磨!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起汤徽,我...
    開封第一講書人閱讀 38,867評論 0 274
  • 序言:老撾萬榮一對情侶失蹤娩缰,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后谒府,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體拼坎,經(jīng)...
    沈念sama閱讀 45,307評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,528評論 2 332
  • 正文 我和宋清朗相戀三年完疫,在試婚紗的時候發(fā)現(xiàn)自己被綠了泰鸡。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,688評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡壳鹤,死狀恐怖盛龄,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情芳誓,我是刑警寧澤余舶,帶...
    沈念sama閱讀 35,409評論 5 343
  • 正文 年R本政府宣布,位于F島的核電站兆沙,受9級特大地震影響欧芽,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜葛圃,卻給世界環(huán)境...
    茶點故事閱讀 41,001評論 3 325
  • 文/蒙蒙 一千扔、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧库正,春花似錦曲楚、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,657評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至喷楣,卻和暖如春趟大,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背铣焊。 一陣腳步聲響...
    開封第一講書人閱讀 32,811評論 1 268
  • 我被黑心中介騙來泰國打工逊朽, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人曲伊。 一個月前我還...
    沈念sama閱讀 47,685評論 2 368
  • 正文 我出身青樓叽讳,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子岛蚤,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,573評論 2 353

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理邑狸,服務(wù)發(fā)現(xiàn),斷路器涤妒,智...
    卡卡羅2017閱讀 134,651評論 18 139
  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,070評論 25 707
  • kafka的定義:是一個分布式消息系統(tǒng)单雾,由LinkedIn使用Scala編寫,用作LinkedIn的活動流(Act...
    時待吾閱讀 5,317評論 1 15
  • Date: Nov 17-24, 2017 1. 目的 積累Storm為主的流式大數(shù)據(jù)處理平臺對實時數(shù)據(jù)處理的相關(guān)...
    一只很努力爬樹的貓閱讀 2,173評論 0 4
  • 去年因為在武漢照顧女兒她紫,女兒早出晚歸铁坎,我有了大把時間,不想太閑犁苏,就做起了微商,賣內(nèi)衣扩所,總的來說還不錯围详。今年到店里來...
    叛逆的榴蓮閱讀 357評論 0 1