一掘鄙、需求 從指定時間戳(比如 2 小時前)開始消費 Kafka 數(shù)據(jù) 二钥弯、思路 我們知道通過 Kafka 的 API 可以得到指定時間戳對應(yīng)數(shù)據(jù)所在的 segment 的起始...

一掘鄙、需求 從指定時間戳(比如 2 小時前)開始消費 Kafka 數(shù)據(jù) 二钥弯、思路 我們知道通過 Kafka 的 API 可以得到指定時間戳對應(yīng)數(shù)據(jù)所在的 segment 的起始...
問題現(xiàn)象 一個使用10秒滾動窗口的任務(wù)在平穩(wěn)運行一段時間之后出現(xiàn)了頻繁的重啟床估。在TaskManager日志中能看到以下文本: 原因定位 首先可以看到是YarnTaskExec...