flink之wordcount異常記錄

pojo代碼

package com.test.pojo;

public class WordCount {
    public  String word;
    public  int count;

    public WordCount(String word, int count) {
        this.word = word;
        this.count = count;
    }

    @Override
    public String toString() {
        return "WordCount{" +
                "word='" + word + '\'' +
                ", count=" + count +
                '}';
    }
}
package com.test;

import com.test.pojp.WordCount;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.ReduceFunction;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.utils.ParameterTool;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.util.Collector;
@SuppressWarnings("serial")
public class Flink01 {
    public static void main(String[] args) {
        final  String hostname;
        final  int port;
        System.out.println("-----------aaaaaaaaaaaaaaaaaaa--");
        try {
            final  ParameterTool parms = ParameterTool.fromArgs(args);
            hostname=parms.has("hostname")?parms.get("hostname"):"localhost";
            port=parms.getInt("port");
            System.out.println(port+"-------------"+hostname);
        } catch (Exception e) {
            System.err.println("No port specified. Please run 'SocketWindowWordCount " +
                    "--hostname <hostname> --port <port>', where hostname (localhost by default) " +
                    "and port is the address of the text server");
            System.err.println("To start a simple text server, run 'netcat -l <port>' and " +
                    "type the input text into the command line");
            return;
        }

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        DataStream<String> str=env.socketTextStream(hostname,port);
        DataStream<WordCount> wordcounts=str.flatMap(new FlatMapFunction<String, WordCount>() {
            public void flatMap(String s, Collector<WordCount> collector) throws Exception {
                for(String word:s.split("\\s")){
                    collector.collect(new WordCount(word,1));
                }
            }
        }).keyBy("word").timeWindow(Time.seconds(5)).reduce(new ReduceFunction<WordCount>() {
            public WordCount reduce(WordCount wordCount, WordCount t1) throws Exception {
                return new WordCount(wordCount.word,wordCount.count+t1.count);
            }
        });
        wordcounts.print().setParallelism(1);
        try {
            env.execute("socket wordcount window");
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

pom.xml

<dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>
        <version>1.9.0</version>

    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-java -->
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_2.12</artifactId>
        <version>1.9.0</version>
        <scope>provided</scope>
    </dependency>

異常log_1

Setting HADOOP_CONF_DIR=/etc/hadoop/conf because no HADOOP_CONF_DIR was set.

------------------------------------------------------------
 The program finished with the following exception:

org.apache.flink.client.program.ProgramInvocationException: Neither a 'Main-Class', nor a 'program-class' entry was found in the jar file.
    at org.apache.flink.client.program.PackagedProgram.getEntryPointClassNameFromJar(PackagedProgram.java:643)
    at org.apache.flink.client.program.PackagedProgram.<init>(PackagedProgram.java:206)
    at org.apache.flink.client.program.PackagedProgram.<init>(PackagedProgram.java:140)
    at org.apache.flink.client.cli.CliFrontend.buildProgram(CliFrontend.java:799)
    at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:196)
    at org.apache.flink.client.cli.CliFrontend.parseParameters(CliFrontend.java:1010)
    at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:1083)
    at org.apache.flink.runtime.security.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:30)
    at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1083)

解決方法如下戴甩,打包方式要調(diào)整,去掉圖中標(biāo)黃部分


1.png

異常記錄2

 The program finished with the following exception:

This type (GenericType<com.test.pojp.WordCount>) cannot be used as key.
    org.apache.flink.api.common.operators.Keys$ExpressionKeys.<init>(Keys.java:330)
    org.apache.flink.streaming.api.datastream.DataStream.keyBy(DataStream.java:337)
    com.test.Flink01.main(Flink01.java:40)

上面的error原因是pojo對(duì)象沒(méi)有添加無(wú)參構(gòu)造
添加這行代碼重新編包即可

package com.test.pojp;

public class WordCount {
    public  String word;
    public  int count;

    public WordCount(String word, int count) {
        this.word = word;
        this.count = count;
    }
    public WordCount(){};//就是這行
    @Override
    public String toString() {
        return "WordCount{" +
                "word='" + word + '\'' +
                ", count=" + count +
                '}';
    }
}
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌蘸泻,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,651評(píng)論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件擅腰,死亡現(xiàn)場(chǎng)離奇詭異蟋恬,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)趁冈,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,468評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門(mén)歼争,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)拜马,“玉大人,你說(shuō)我怎么就攤上這事沐绒×┟В” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 162,931評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵乔遮,是天一觀的道長(zhǎng)扮超。 經(jīng)常有香客問(wèn)我,道長(zhǎng)蹋肮,這世上最難降的妖魔是什么出刷? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,218評(píng)論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮坯辩,結(jié)果婚禮上馁龟,老公的妹妹穿的比我還像新娘。我一直安慰自己漆魔,他們只是感情好坷檩,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,234評(píng)論 6 388
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著改抡,像睡著了一般矢炼。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上阿纤,一...
    開(kāi)封第一講書(shū)人閱讀 51,198評(píng)論 1 299
  • 那天句灌,我揣著相機(jī)與錄音,去河邊找鬼欠拾。 笑死涯塔,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的清蚀。 我是一名探鬼主播,決...
    沈念sama閱讀 40,084評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼爹谭,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼枷邪!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起诺凡,我...
    開(kāi)封第一講書(shū)人閱讀 38,926評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤东揣,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后腹泌,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體嘶卧,經(jīng)...
    沈念sama閱讀 45,341評(píng)論 1 311
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,563評(píng)論 2 333
  • 正文 我和宋清朗相戀三年凉袱,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了芥吟。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片侦铜。...
    茶點(diǎn)故事閱讀 39,731評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖钟鸵,靈堂內(nèi)的尸體忽然破棺而出钉稍,到底是詐尸還是另有隱情,我是刑警寧澤棺耍,帶...
    沈念sama閱讀 35,430評(píng)論 5 343
  • 正文 年R本政府宣布贡未,位于F島的核電站,受9級(jí)特大地震影響蒙袍,放射性物質(zhì)發(fā)生泄漏俊卤。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,036評(píng)論 3 326
  • 文/蒙蒙 一害幅、第九天 我趴在偏房一處隱蔽的房頂上張望消恍。 院中可真熱鬧,春花似錦矫限、人聲如沸哺哼。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,676評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)取董。三九已至,卻和暖如春无宿,著一層夾襖步出監(jiān)牢的瞬間茵汰,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,829評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工孽鸡, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留蹂午,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,743評(píng)論 2 368
  • 正文 我出身青樓彬碱,卻偏偏與公主長(zhǎng)得像豆胸,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子巷疼,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,629評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容

  • 拍戲那三個(gè)月晚胡,我真的是像海綿吸水,現(xiàn)場(chǎng)有太多的東西要學(xué)嚼沿,這是在學(xué)校課堂上完全沒(méi)有的估盘。仙劍攝制組是一個(gè)很高效的團(tuán)隊(duì),...
    漫漫閱讀 157評(píng)論 1 0
  • 你要讓你自己有目標(biāo)別忘記你的一切骡尽,現(xiàn)在你已經(jīng)沒(méi)有時(shí)間了遣妥,所以,你只有讓自己變得更好攀细,才會(huì)實(shí)現(xiàn)你的夢(mèng)想箫踩。今天在開(kāi)課的...
    趙公子的樹(shù)洞閱讀 73評(píng)論 0 0
  • 今天是什么日子 起床:5:00 就寢:22:30 天氣:晴 心情:一般 紀(jì)念日:不開(kāi)心的事 任務(wù)清單 昨日完成的任...
    桔子_e93c閱讀 88評(píng)論 0 0
  • 我們收到一口老蜂箱爱态,用原木挖出來(lái)的圓桶狀蜂箱,臨時(shí)放在墻邊班套,今天下午肢藐,有蜜蜂自己來(lái)安家。 早上吱韭,我們?nèi)タ戳舜蟪靥吝?..
    尚生耕本閱讀 500評(píng)論 0 3
  • 1.編程的藝術(shù)就是處理復(fù)雜性的藝術(shù)吆豹。 2.簡(jiǎn)單是可靠的先決條件。 3.優(yōu)秀的程序員很清楚自己的能力是有限的理盆,所以他...
    337b94dc718f閱讀 485評(píng)論 0 0