大數(shù)據(jù)學(xué)習(xí)之流式計(jì)算
一.
1.計(jì)算分類：
批量計(jì)算、實(shí)時(shí)計(jì)算混弥、離線計(jì)算、流式計(jì)算
2.共同點(diǎn)：
數(shù)據(jù)源 --> 采集數(shù)據(jù) --> task worker --> task worker --> sink 輸出
3.批量計(jì)算和流式計(jì)算的區(qū)別：
(1)處理數(shù)據(jù)粒度不一樣苍糠。
批量計(jì)算每次處理一定大小的數(shù)據(jù)塊雅镊。流式計(jì)算，每次處理一條記錄捺信。
(2)任務(wù)類型不一樣酌媒。
- 流式計(jì)算會(huì)一直運(yùn)行。
(3)數(shù)據(jù)源的區(qū)別迄靠。
- 對(duì)于批量計(jì)算而言秒咨，數(shù)據(jù)是有限數(shù)據(jù)。而對(duì)于流式計(jì)算梨水，是無(wú)限數(shù)據(jù)拭荤。
4.流式計(jì)算可以提供類似批量計(jì)算的功能，為什么我們還要批量計(jì)算系統(tǒng)疫诽？
- 流式系統(tǒng)的吞吐量不如批量系統(tǒng)舅世。
- 流式系統(tǒng)無(wú)法提供精準(zhǔn)的計(jì)算
二.storm:Storm是最早流式計(jì)算框架
1.架構(gòu)圖
三.Flink
1.spark的反義詞
2.spark把任何東西，都看成RDD來(lái)處理奇徒。
3.Flink把任何東西雏亚，都看作流。
