2022 新年伊始,?春日正盛, 一片欣欣向榮之景象! 眾多企業(yè)也在摩拳擦掌, 規(guī)劃藍圖, 準備大干一場! 此時 StreamX 帶來?穩(wěn)定版本,?助力大家放心的上生產(chǎn)環(huán)境, 愿為大家在流處理領(lǐng)域帶來一點方便,?為 Apache Flink 的落地和普及助一臂之力!

新增功能

本次新增?remote, yarn-session 部署模式, 到此StreamX 已經(jīng)完整的支持 Flink 所有部署模式(remote熙掺、yarn-perjob、yarn-session沮焕、yarn-application弓坞、?k8s-native-session隧甚、k8s-native-application )?滿足用戶各種場景下的部署需求。此外, 本次統(tǒng)一了程序打包pipeline,?簡化了構(gòu)建流程, 減少用戶的學(xué)習成本,?使用起來更簡單渡冻。新增功能明細如下:

1. 新增 Remote 部署模式

2. 新增 Yarn-session 部署模式

3. 新增 Yarn-perjob 部署模式

4. 統(tǒng)一項目構(gòu)建上線流程

5. 新增 Apache Doris datastream connector

6. 新增 Redisdatastreamconnector

7. 新增 Flink Cluster集群管理

8. 內(nèi)置?maven 不強制要求部署機安裝 maven

9. maven?支持設(shè)置遠程倉庫地址, 加速依賴下載

10. 項目構(gòu)建時支持指定?maven 構(gòu)建參數(shù)

修復(fù)增強?

· on Yarn 模式下在 hadoop 某些版本存在的任務(wù)提交失敗的 bug

· Flink Sql 添加依賴時檢查到不匹配 scala 版本未能阻止添加的bug

· Flink Sql 格式化存在的 bug

· 在 Flink 某些版本下關(guān)閉 packageProgram導(dǎo)致的 bug

· 任務(wù)編輯和添加切換Flink 部署模式導(dǎo)致頁面錯亂的?bug?

· 任務(wù)在啟動和停止時加入超時,?時間內(nèi)未成功狀態(tài)設(shè)置為失敗

感謝貢獻者

貢獻者

以夢為馬

在 StreamX 1.2.2 發(fā)布之際, 也快迎來 StreamX 開源一周年,?我們收到了一些用戶的心聲和大佬的寄語,?各位的勉勵會時刻鞭策著我們, 努力做得更好!

寄語

StreamX 社區(qū)一直以來都在用心做好流批一體一站式大數(shù)據(jù)平臺戚扳，并有著非常多比如 Web IDE、CI/CD族吻、on k8s 等關(guān)鍵能力帽借，強烈推薦大家使用珠增！也歡迎更多貢獻者加入，一起把 StreamX 社區(qū)發(fā)展的更加繁榮砍艾！

— 白鯨開源聯(lián)合創(chuàng)始人 & Apache DolphinScheduler PMC Chair?&

Apache SeaTunnel PPMC & Mentor & Apache 孵化器導(dǎo)師 &

ASF?Mentor代立冬

從基礎(chǔ)軟件內(nèi)核到用戶側(cè)解決方案蒂教，往往需要在用戶體驗上傾注大量的時間和精力，StreamX 正是為 Flink 和 Spark 應(yīng)用量身定制的一個用戶友好的控制平臺脆荷。很高興看到 StreamX 項目新版發(fā)布凝垛，期待 StreamX 在應(yīng)用部署和管理方面的經(jīng)驗反饋到上游 Flink / Spark 社群，開源協(xié)同蜓谋，把流批一體的數(shù)據(jù)處理能力帶到更多的企業(yè)當中梦皮。

—?Apache Flink Committer &?<<夜天之書>>作者 &

Apache Curator PMC?& ASF Member &2021中國開源先鋒33人?tison

在 StreamX 剛起步的時候就關(guān)注到了這個項目，見證了項目的一步步發(fā)展, 現(xiàn)在已經(jīng)擁有一個活躍的開源社區(qū)桃焕，眾多企業(yè)使用届氢，已有頭部IT教育機構(gòu)的納入課程，StreamX 為企業(yè)和開發(fā)者提供了標準化了配置覆旭、開發(fā)退子、測試、部署型将、監(jiān)控寂祥、運維的全流程管理工具。大大提高了開發(fā)效率及降低成本七兜，推薦更多的用戶去使用StreamX丸凭，同時也希望大家積極的參與到StreamX中來，共建繁榮開源社區(qū)腕铸。

— Apache Doris PPMC?張家鋒

StreamX 作為一個開源的數(shù)據(jù)處理平臺惜犀，使數(shù)據(jù)處理變的更加容易，更好閉環(huán)了數(shù)據(jù)的開發(fā)與任務(wù)管理的環(huán)節(jié)狠裹，每次發(fā)版都越來越靠近他的終極目標：一站式數(shù)據(jù)處理平臺虽界。

— Apache SeaTunnel PPMC?Gary?

用戶代表

StreamX 是一款非常優(yōu)秀的 Flink&Spark 極速開發(fā)框架與一站式大數(shù)據(jù)流處理平臺。開發(fā)者在使用StreamX時只需編寫簡單的配置文件涛菠，即可實現(xiàn)多個開箱即用功能的復(fù)用莉御；通過簡潔易用的Web頁面，即可實現(xiàn)開發(fā)任務(wù)的編譯俗冻、部署與管理監(jiān)控礁叔。該框架一經(jīng)問世便深受廣大開發(fā)者的喜愛。目前迄薄，StreamX 的社區(qū)活躍度高琅关，經(jīng)過多個版本的更新迭代，已有較高的易用性和完成度讥蔽。

StreamX 能讓開發(fā)者減少重復(fù)代碼涣易，把精力更多集中于業(yè)務(wù)本身人乓，讓大數(shù)據(jù)流處理變得更加便捷！這也與尚硅谷教育“讓天下沒有難學(xué)的技術(shù)”的理念不謀而合都毒。尚硅谷也本著非精品不用的原則色罚，與 StreamX 主創(chuàng)團隊達成合作，為 StreamX 提供高質(zhì)量的使用教程與視頻等配套資料账劲！

強烈推薦各位大數(shù)據(jù)開發(fā)者學(xué)習并使用 StreamX戳护，它將大大提高您的開發(fā)效率。也預(yù)祝 StreamX 發(fā)展越來越好瀑焦！

— 尚硅谷教育 大數(shù)據(jù)負責人?繆傳海

StreamX優(yōu)雅的編程框架腌且、簡單易用的WebIDE，沉淀了主創(chuàng)團隊在 Flink&Spark 技術(shù)領(lǐng)域豐富的經(jīng)驗以及獨到的平臺觀榛瓮。數(shù)鑫科技在流批一體開源編程平臺技術(shù)選型過程中铺董，關(guān)注到 StreamX 在編程模型的高度抽象性、可擴展性禀晓、可配置性等方面設(shè)計的非常出色精续，因此毫不猶豫的選擇 StreamX 作為自身可信數(shù)據(jù)流通引擎數(shù)據(jù)消費端配套的流批一體編程框架。相信: StreamX 一定會被越來越多的流批一體開發(fā)者深度關(guān)注和使用粹懒，無論是希望快速開發(fā) Flink 數(shù)據(jù)加工處理邏輯的初學(xué)者重付、還是資深的平臺架構(gòu)師。StreamX 將會深刻的影響 Flink 開源社區(qū)凫乖。

— 深圳數(shù)鑫科技?CTO廖炳才

StreamX 是一個非常好的 Flink 開發(fā)平臺确垫，功能完善，使用方便帽芽，在我們的生產(chǎn)使用過程中删掀，主要是以 application方式將 Flink 任務(wù)部署到 k8s 容器，StreamX 幫助我們方便的管理 Flink 任務(wù)导街，大大的減少了運維成本披泪，提高效率，歡迎大家使用菊匿，也祝愿StreamX 越來越好付呕。

— Baidu?資深大數(shù)據(jù)開發(fā)工程師?張軍

StreamX 是目前少有的實時計算平臺項目计福，結(jié)合了當前最新的Flink流計算實現(xiàn)了基于Standalone跌捆、YARN、K8S 等多種模式的作業(yè)提交和管理模式象颖，降低用戶管理實時作業(yè)門檻佩厚，希望2022年能繼續(xù)發(fā)力，往Flink SQL 平臺邁進说订，同時2022年我也會持續(xù)關(guān)注StreamX 并且貢獻自己一份力量!

— ?Apahce Flink?社區(qū)志愿者 & StreamX 貢獻者陳政羽

StreamX 秉承著開箱即用的思想抄瓦，極大的簡化了 Flink&Spark 開發(fā)部署流程潮瓶，在框架中封裝了很多源和接收器，讓開發(fā)人員只專注業(yè)務(wù)邏輯钙姊，基于以上優(yōu)勢我司在實際生產(chǎn)中使用了 StreamX毯辅。強烈推薦更多的公司和開發(fā)者使用，祝愿 StreamX 發(fā)展的越來越好煞额。

— INMOBO中國 大數(shù)據(jù)團隊負責人?于威

StreamX 作為運荔枝數(shù)據(jù)平臺核心工具思恐，解決了我們實時任務(wù)從開發(fā)、部署膊毁、運維各個環(huán)節(jié)的難題胀莹，保障了實時任務(wù)的穩(wěn)定性；它直觀可視化的操作界面婚温，無論是基于 DataStream API 還是 Flink SQL 都能快速描焰、方便的一站式完成業(yè)務(wù)邏輯的開發(fā)，使得流式任務(wù)整個開發(fā)過程更加敏捷栅螟。

—?成都運荔枝科技?大數(shù)據(jù)應(yīng)用架構(gòu)師李建

StreamX 作為一款功能強大荆秦、場景覆蓋廣的數(shù)據(jù)開發(fā)框架平臺，提供了非常優(yōu)秀的產(chǎn)品化解決方案力图，化繁為簡萄凤，降低了用戶使用 Flink 等計算引擎的成本并提升了用戶體驗 。塵鋒信息通過 StreamX 用極短的調(diào)研試用時間和極少的人力成本落地了實時計算平臺搪哪，避免了在基礎(chǔ)設(shè)施建設(shè)上浪費大量人力和時間靡努，并快速服務(wù)業(yè)務(wù)為市場引得先機。

作為一名數(shù)據(jù)開發(fā)晓折，不僅可以通過 StreamX 提供的編程模型惑朦、計算引擎集成、依賴管理等功能漓概，快速且優(yōu)雅的完成需求開發(fā)及維護漾月，并且能夠從 StreamX 的源碼中學(xué)習到非常多的底層知識，開發(fā)出更加優(yōu)秀穩(wěn)定的應(yīng)用胃珍。

相信未來會有越來越多的數(shù)據(jù)開發(fā)同學(xué)發(fā)現(xiàn) SteamX 梁肿，用上 StreamX ，愛上 StreamX 觅彰，并通過 StreamX 創(chuàng)造數(shù)據(jù)價值吩蔑。

—北京塵鋒信息技術(shù)有限公司?資深數(shù)據(jù)開發(fā)工程師代欣雨

SteamX 是一套優(yōu)秀的 Flink 任務(wù)管理工具，微品致遠在數(shù)據(jù)處理平臺流式數(shù)據(jù)處理選型的時候了解到 StreamX填抬，在深入了解后烛芬，被 StreamX 流式計算的全流程打通所吸引，便毫不猶豫的納入到了微品致遠的數(shù)據(jù)處理平臺中。引入 StreamX 后赘娄，從流式計算的 ide 開發(fā)仆潮，到后續(xù)的任務(wù)上線，完全打通遣臼，解決了之前 Flink 任務(wù)上線混亂性置，管理起來繁瑣的問題，從而提高了提高了團隊任務(wù)開發(fā)到上線的效率揍堰。相信隨著 StreamX 的影響力的擴大蚌讼，會有更多的 Flink 開發(fā)者將 StreamX 應(yīng)用到自己的開發(fā)上線流程中。

— 深圳微品致遠?大數(shù)據(jù)開發(fā)組長張凌瑋

第一次遇到 StreamX个榕，就被它的友好的界面篡石，豐富的功能所吸引。樂我無限 從 1.0 開始跟進西采，StreamX 有著活躍的社區(qū)凰萨，功能也在一步一步的迭代更新，越來越強大械馆。通過 StreamX 我司成功的遷移了 50+ 個實時作業(yè)胖眷，做到了開發(fā)模式的統(tǒng)一管理，為我司的開發(fā)維護節(jié)省了許多時間霹崎。使用 StreamX 使得 Flink 作業(yè)開發(fā)更方便珊搀，管理更友好，維護更省心尾菇。StreamX 一直在追求做到更好境析，不斷解決一些痛點問題，強烈推薦大家使用派诬。

— 樂我無限 高級大數(shù)據(jù)開發(fā)工程師秦基勇

未來規(guī)劃

目前StreamX 已完成 Flink?任務(wù)的托管, 從項目創(chuàng)建伊始, 我們就嘗試系統(tǒng)性的解決 Flink 多版本的支持, 任務(wù)Jar包隔離, 同時支持 DataStream 和 FlinkSQL, 支持Flink 所有部署模式...等一系列的常見問題, 所幸的是這部分基礎(chǔ)建設(shè)工作已經(jīng)完成且趨于穩(wěn)定,?這部分工作很有挑戰(zhàn), 也非常重要劳淆，感謝所有開發(fā)者們付出的努力。后面我們會逐步把 StreamX 里沉淀的一些好的經(jīng)驗反饋到上游 Flink / Spark 社群, 開源協(xié)同默赂。接下來的 1.3.0 中我們關(guān)注的重點是流式數(shù)倉(Streaming-Warehouse)?和?云原生(Cloud-Native)沛鸵。會新增全新的開發(fā)工作臺 -?SQL Workbench(草稿、調(diào)試缆八、預(yù)覽曲掰、發(fā)布、鎖定奈辰、版本管理...), 該部分的開發(fā)工作已經(jīng)在進行中,?了解詳情請移步 1.3.0的 roadmap栏妖。

1.3.0 roadmap

?https://github.com/streamxhub/streamx/issues/602

[ SQL?Workbench?Preview ]

StreamX 遵循 Apache-2.0 開源協(xié)議，將會是個長期更新的活躍項目冯挎。StreamX?于 2021 年 11 月榮獲開源中國「最有價值開源項目」底哥。隨后榮獲「2021 年度 OSC 中國開源項目評選」的「最受歡迎項目」咙鞍，并且陸續(xù)有多家IT教育機構(gòu)出相關(guān)課程, 更有尚硅谷這樣的品質(zhì)和口碑一流的 IT 教育機構(gòu)和 StreamX 展開合作, 這對于一個開源不到一年的項目來說, 是非常少見的, 感謝大家支持, 我們會繼續(xù)努力, ?我們堅信未來會更好房官。

[StreamX 用戶墻]

流批一體趾徽，流式數(shù)倉，數(shù)據(jù)湖是大數(shù)據(jù)領(lǐng)域的趨勢翰守，StreamX 雖離這個目標還有一段距離孵奶，但我們始終堅信: 道阻且長，行則將至蜡峰，行而不輟了袁，未來可期。我們會積極進取湿颅，做好相關(guān)功能持續(xù)迭代優(yōu)化载绿，和社區(qū)所有小伙伴一起努力進一步建設(shè)好社區(qū)，讓 StreamX 成為一個功能完善油航，體驗更佳崭庸，用戶更多的產(chǎn)品，再獲得更多認可谊囚。真誠歡迎熱愛開源的伙伴加入到社區(qū)中來怕享，為做一個優(yōu)秀實用的好項目獻上一份自己的力量。