(1)Flink CEP復(fù)雜事件處理引擎介紹

(1)簡介及應(yīng)用場景:
復(fù)雜事件處理(CEP)既是把不同的數(shù)據(jù)看做不同的事件,并且通過分析事件之間的關(guān)系建立起一套事件關(guān)系序列庫适刀。利用過濾,聚合煤蹭,關(guān)聯(lián)性笔喉,依賴,層次等技術(shù)硝皂,最終實(shí)現(xiàn)由簡單關(guān)系產(chǎn)生高級(jí)事件關(guān)系常挚。
復(fù)雜事件主要應(yīng)用場景:主要用于信用卡欺詐檢測、用戶風(fēng)險(xiǎn)檢測稽物、設(shè)備故障檢測奄毡、攻擊行為分析等領(lǐng)域。
Flink CEP能夠利用的場景較多贝或,在實(shí)際業(yè)務(wù)場景中也有了廣泛的使用案例與經(jīng)驗(yàn)積累吼过。比如


1.png

在可編程方面,F(xiàn)link同時(shí)推出了Flink SQL CEP傀缩,開發(fā)者可以通過較為屬性的SQL語法快速構(gòu)建各類CEP事件組合應(yīng)用那先。
Flink CEP原理說明:


2.png

(2)Flink CEP匹配模式介紹:
在Flink CEP中匹配模式分為嚴(yán)格近鄰模式和寬松近鄰模式。嚴(yán)格近鄰模式的事件必須是緊密連接的赡艰,寬松近鄰事件可以無需緊密連接售淡,如下圖:
3.png
4.png

(3)Flink CEP SQL語法介紹:
(3.1)Flink CEP SQL樣例:

        String sql = "SELECT * " +
                "FROM CEP_SQL_3 " +
                "    MATCH_RECOGNIZE ( " +
                "        PARTITION BY symbol " +       //分組
                "        ORDER BY rowtime " +          //排序
                "        MEASURES " +                   //定義如何根據(jù)匹配成功的輸入事件構(gòu)造輸出事件
                "            LISTAGG(CAST(e3.id as varchar),',') as ids,"+
                "            AVG(e1.price) as avgPrice,"+
//                "            START_ROW.rowtime AS start_tstamp, " +
                "            LAST(e1.rowtime) AS bottom_tstamp, " +     //第一次的事件時(shí)間為end_timestamp
                "            LAST(e3.rowtime) AS end_tstamp " +           //最新的事件時(shí)間為end_timestamp
                "        ONE ROW PER MATCH " +                                      //匹配成功輸出一條
                "        AFTER MATCH  SKIP PAST LAST ROW " +                   //匹配后跳轉(zhuǎn)到下一行
                "        PATTERN ( e1 e2 e3{1}) WITHIN INTERVAL '2' MINUTE" +  //定義事件組
                "        DEFINE " +                                            //定義每個(gè)事件的匹配條件     
                "            e1 AS " +
                "                e1.price = 25 , " +
                "            e2 AS " +
                "                e2.price = 18 ," +
                "            e3 AS " +
                "                e3.price = 15 " +
                "    ) MR";

(3.2)Flink CEP匹配規(guī)則:貪婪詞量和勉強(qiáng)詞量
Concatenation-像(AB)這樣的模式意味著A和B之間的連接是嚴(yán)格的。因此,在它們之間不能存在沒有映射到A或B的行揖闸。
Quantifiers-修改可以映射到模式變量的行數(shù)揍堕。

  • 0或者多行
  • 1或者多行
    ? 0或者1行
    {n} 嚴(yán)格n行(n>0)
    {n,} n或者更多行(n≥O)
    {n,m} 在n到m(包含)行之間(0≤n≤m,0<m)
    {,m}一在0到m(包含)行之間(m>0)


    5.png

    (3.3)匹配策略
    SKIP PAST LAST ROW -匹配成功之后汤纸,從匹配成功的事件序列中的最后?個(gè)事件的下?個(gè)事件開始進(jìn)?下?次匹配衩茸。
    SKIP TO NEXT ROW -匹配成功之后,從匹配成功的事件序列中的第?個(gè)事件的下?個(gè)事件開始進(jìn)?下?次匹配贮泞。(默認(rèn)模式)
    SKIP TO LAST variable -匹配成功之后楞慈,從匹配成功的事件序列中最后?個(gè)對(duì)應(yīng)于變量的事件開始進(jìn)行下?次匹 配。
    SKIP TO FIRST variable -匹配成功之后啃擦,從匹配成功的事件序列中第?個(gè)對(duì)應(yīng)于變量的事件開始進(jìn)行下?次匹配囊蓝。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市令蛉,隨后出現(xiàn)的幾起案子聚霜,更是在濱河造成了極大的恐慌,老刑警劉巖珠叔,帶你破解...
    沈念sama閱讀 206,311評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件蝎宇,死亡現(xiàn)場離奇詭異,居然都是意外死亡祷安,警方通過查閱死者的電腦和手機(jī)姥芥,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,339評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來辆憔,“玉大人撇眯,你說我怎么就攤上這事∈郑” “怎么了熊榛?”我有些...
    開封第一講書人閱讀 152,671評(píng)論 0 342
  • 文/不壞的土叔 我叫張陵,是天一觀的道長腕巡。 經(jīng)常有香客問我玄坦,道長,這世上最難降的妖魔是什么绘沉? 我笑而不...
    開封第一講書人閱讀 55,252評(píng)論 1 279
  • 正文 為了忘掉前任煎楣,我火速辦了婚禮,結(jié)果婚禮上车伞,老公的妹妹穿的比我還像新娘择懂。我一直安慰自己,他們只是感情好另玖,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,253評(píng)論 5 371
  • 文/花漫 我一把揭開白布困曙。 她就那樣靜靜地躺著表伦,像睡著了一般。 火紅的嫁衣襯著肌膚如雪慷丽。 梳的紋絲不亂的頭發(fā)上蹦哼,一...
    開封第一講書人閱讀 49,031評(píng)論 1 285
  • 那天,我揣著相機(jī)與錄音要糊,去河邊找鬼纲熏。 笑死,一個(gè)胖子當(dāng)著我的面吹牛锄俄,可吹牛的內(nèi)容都是我干的局劲。 我是一名探鬼主播,決...
    沈念sama閱讀 38,340評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼奶赠,長吁一口氣:“原來是場噩夢(mèng)啊……” “哼容握!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起车柠,我...
    開封第一講書人閱讀 36,973評(píng)論 0 259
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎塑猖,沒想到半個(gè)月后竹祷,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,466評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡羊苟,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,937評(píng)論 2 323
  • 正文 我和宋清朗相戀三年塑陵,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片蜡励。...
    茶點(diǎn)故事閱讀 38,039評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡令花,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出凉倚,到底是詐尸還是另有隱情兼都,我是刑警寧澤,帶...
    沈念sama閱讀 33,701評(píng)論 4 323
  • 正文 年R本政府宣布稽寒,位于F島的核電站扮碧,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏杏糙。R本人自食惡果不足惜慎王,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,254評(píng)論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望宏侍。 院中可真熱鬧赖淤,春花似錦、人聲如沸谅河。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,259評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至莽龟,卻和暖如春蠕嫁,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背毯盈。 一陣腳步聲響...
    開封第一講書人閱讀 31,485評(píng)論 1 262
  • 我被黑心中介騙來泰國打工剃毒, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人搂赋。 一個(gè)月前我還...
    沈念sama閱讀 45,497評(píng)論 2 354
  • 正文 我出身青樓赘阀,卻偏偏與公主長得像,于是被迫代替她去往敵國和親脑奠。 傳聞我的和親對(duì)象是個(gè)殘疾皇子基公,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,786評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容