五:
SOFA微服務(wù)生態(tài)中稿存,微服務(wù)治理中心治理著數(shù)以千計的微服務(wù)集群瓣履,其對集群的治理策略需要根據(jù)集群服務(wù)器的實時主機狀態(tài)练俐,和單位時間窗口內(nèi)的服務(wù)調(diào)用計算決定。微服務(wù)治理中心的職責(zé)主要在于治理服務(wù)瓢棒,收集并計算各服務(wù)的健康指數(shù)應(yīng)該由第三方組件完成丘喻,因此,SOFA流計算引擎應(yīng)運而生连霉。
SOFA流計算引擎在SOFA生態(tài)中的位置如下圖:
SOFA流計算引擎跺撼,實時不間斷的收集數(shù)以千計的服務(wù)器集群的主機狀態(tài)信息及服務(wù)調(diào)用信息,并根據(jù)一系列算法柿祈,對數(shù)據(jù)進行清洗哩至,聚合菩貌,計算,最后生成健康指數(shù)結(jié)果箭阶,返回至分布式消息總線,最后由服務(wù)治理中心獲取用以做服務(wù)治理策略嘹叫,在此過程中诈乒,元數(shù)據(jù)流入計算引擎抓谴,到計算結(jié)果的生成流出寞缝,數(shù)據(jù)延遲在毫秒級,保證了服務(wù)治理中心獲取集群節(jié)點健康指數(shù)信息的實時有效性滩届。
六:
SOFA流式計算平臺產(chǎn)品定位于為用戶提供可接入被啼,低門檻浓体,易部署的實時計算解決方案。平臺整體采用微內(nèi)核+組件的架構(gòu)方式娄猫,內(nèi)核為SOFA流計算引擎贱除,并配備容器運行,資源管控媳溺,監(jiān)控&UI月幌,統(tǒng)一接入4大組件。SOFA流式計算平臺整體架構(gòu)圖如下:
SOFA流計算引擎:
作為平臺核心組件悬蔽,支持fail場景下的自動恢復(fù)扯躺,內(nèi)部使用無鎖+事件驅(qū)動模型實現(xiàn)高性能計算與網(wǎng)絡(luò)傳輸,數(shù)據(jù)計算延遲秒級蝎困,集群部署規(guī)穆加铮可達上千臺,整合各種數(shù)據(jù)存儲服務(wù)而無需額外的數(shù)據(jù)集成開發(fā)工作难衰,包括SOFA恒河數(shù)據(jù)庫钦无,kafka盖袭,hbase,mysql,redis等失暂。
資源管理:
抽象計算資源池,邏輯層實現(xiàn)租戶分組隔離鳄虱,保證用戶使用的安全性與獨立性弟塞。同時,根據(jù)計算拓撲組件的運行情況拙已,實現(xiàn)動態(tài)資源分配决记。
虛擬容器管理:
精確至cpu,內(nèi)存級的計算資源控制,物理層完全隔離提供最有效的防護倍踪,一鍵式部署系宫,輕松實現(xiàn)對集群的彈性擴容操作。
統(tǒng)一接入:
1) 平臺支持java建车,python扩借,shell,php等多種語言接入缤至,并提供了接入kafka,hbase,mysql等基礎(chǔ)開發(fā)工具包潮罪,也可直接把輸入,輸出源抽象成數(shù)據(jù)庫表领斥,以簡單sql的方式直接完成實時數(shù)據(jù)的處理嫉到,簡易的接入方式,良好的開發(fā)體驗隔離了使用者對流計算開發(fā)的細節(jié)月洛,而專注于自己的業(yè)務(wù)邏輯處理上何恶。
2) 同時平臺提供RPC的方式,用于實時計算并響應(yīng)具有大運算量的任務(wù)嚼黔。
3) 友好的交互界面导而,使用者可輕松實現(xiàn)對部署容器的監(jiān)控和管理操作忱叭。
SOFA流式計算平臺產(chǎn)品特性一覽:
服務(wù)運行依賴環(huán)境:
1,基礎(chǔ)運行環(huán)境: ?linux內(nèi)核3.8以上今艺。
2韵丑, hdfs集群 ,采用hadoop2.6.0以上版本:用于提供流式計算引擎工作環(huán)境
3虚缎,分布式協(xié)調(diào)中間件:采用Sokeeper撵彻,用于實現(xiàn)流式計算引擎主從節(jié)點的協(xié)調(diào),以及資源管理組件的HA实牡。