場景
- 需要查詢某一時(shí)間段內(nèi)的設(shè)備、用戶關(guān)聯(lián)關(guān)系（即快照）
- 用戶隨時(shí)可能更換設(shè)備進(jìn)行登錄（正常情況更換設(shè)備概率較多丈氓，如果更換頻繁說明該用戶或設(shè)備可疑）
- 在同一設(shè)備上切換不同的用戶
- 超過1億行記錄斤富，每天新增或變化的約100w
目標(biāo)
- 支持億級(jí)數(shù)據(jù)的存儲(chǔ)
- 支持千萬級(jí)實(shí)時(shí)寫入
- 支持實(shí)時(shí)查詢某一時(shí)間段內(nèi)的設(shè)備旺芽、用戶關(guān)聯(lián)關(guān)系快照
- 高可用 SLA > 999.5
概要方案
概要描述
存儲(chǔ)設(shè)備柠傍、用戶的基本信息以及每條記錄的生命周期⊥昊Γ可以快速查詢當(dāng)天的最新數(shù)據(jù)以及之前的歷史數(shù)據(jù)
- 如果一條數(shù)據(jù)被更改域庇，則起生命周期結(jié)束時(shí)間也就確定了
- 新的狀態(tài)數(shù)據(jù)產(chǎn)生時(shí)間也確定，結(jié)束時(shí)間為無限大
| device_id | uid | uuid | ... | t_start_time | t_end_time |
|---|---|---|---|---|---|
| FC:AB:90:C8:11:66 | 233E77A6-E62D-4BD6-B902-877D95CF38AE | ... | 2019-01-01 08:21:32 | 2019-01-01 08:31:32 | |
| FC:AB:90:C8:11:66 | 11111 | E206C3CE-0FB7-43AB-AF8C-34A8D51CD011 | ... | 2019-01-01 08:31:32 | 9999-12-31 23:59:59 |
| AB:FC:00:A9:22:88 | 22222 | ABCDC3CE-0FB7-43AB-AF8C-34A8D51C1234 | ... | 2019-01-01 08:51:32 | 2019-05-31 23:59:59 |
| AB:FC:00:A9:22:88 | 33333 | BCDEC3CE-0FB7-43AB-AF8C-34A8D51C5678 | ... | 2019-05-31 23:59:59 | 9999-12-31 23:59:59 |
| CD:EF:11:B1:33:99 | 22222 | BDCBAC3CE-0FB7-43AB-AF8C-34A8D51C1100 | ... | 2019-05-31 23:59:59 | 9999-12-31 23:59:59 |
TiDB+拉鏈表
- TiDB和MySQL高度兼容
- 無需考慮分庫分表
- 集群QPS（萬級(jí)起）和延遲（毫秒級(jí)）
- 分布式事務(wù)和強(qiáng)一致性并對(duì)各種Join的支持
- 拉鏈表避免數(shù)據(jù)無限擴(kuò)展
拉鏈表：針對(duì)數(shù)據(jù)倉庫設(shè)計(jì)中表存儲(chǔ)數(shù)據(jù)的方式而定義的覆积，顧名思義听皿，就是記錄歷史，記錄一個(gè)實(shí)物從開始宽档，一直到當(dāng)前狀態(tài)的所有變化信息
拉鏈表vs流水表：流水表存放的是所有變更記錄尉姨，但是拉鏈表中只有一條記錄，拉鏈表設(shè)計(jì)需要注意粒度問題吗冤，比如按天
落地方案
數(shù)據(jù)流程
數(shù)據(jù)獲取 -> 數(shù)據(jù)處理 -> 數(shù)據(jù)應(yīng)用又厉，詳細(xì)數(shù)據(jù)流轉(zhuǎn)圖如下
設(shè)備信息存儲(chǔ)
- 原始數(shù)據(jù)可通過訂閱binlog、訂閱事件消息（Kafka椎瘟、Flink等）或者接口查詢等方式進(jìn)行獲取覆致，避免由于原始數(shù)據(jù)異常或者獲取程序異常的問題造成賬數(shù)據(jù)肺蔚，可將原數(shù)據(jù)分別落庫存儲(chǔ)
- 將原始事件數(shù)據(jù)清理及按業(yè)務(wù)規(guī)則處理匯總后落每日數(shù)據(jù)寬表煌妈，避免數(shù)據(jù)源有誤影響，每日數(shù)據(jù)量頻繁變化宣羊，小表性能更優(yōu)
- 每日日終生成主表日切表璧诵，避免延后發(fā)現(xiàn)問題數(shù)據(jù)進(jìn)入主表，不易恢復(fù)
- 每日日終校驗(yàn)當(dāng)日數(shù)據(jù)表準(zhǔn)確性及完整性仇冯，校驗(yàn)通過則匯總進(jìn)入主表之宿，校驗(yàn)不通過需要通過重試及人工介入等多種方式修復(fù)完成后結(jié)合日切數(shù)據(jù)再進(jìn)入主表，避免主表數(shù)據(jù)被干擾
- 根據(jù)主表數(shù)據(jù)和每日數(shù)據(jù)表在Flink或Spark中進(jìn)行運(yùn)算對(duì)外提供查詢服務(wù)苛坚，對(duì)于查詢量大的場景可以考慮增加緩存
前期最少保留30天原始數(shù)據(jù)比被、每日數(shù)據(jù)和日切數(shù)據(jù)（可根據(jù)實(shí)際業(yè)務(wù)場景及存儲(chǔ)容量調(diào)整）
所有任務(wù)可重新執(zhí)行，任何異常場景都可較低成本的恢復(fù)
高可用
業(yè)務(wù)高可用
保留原始數(shù)據(jù)表泼舱、每日新增表和日切表
- 原始數(shù)據(jù)異常姐赡，通過補(bǔ)償訂閱數(shù)據(jù)修復(fù)，重新執(zhí)行清洗梳理任務(wù)即可柠掂，后續(xù)流程不受影響
- 每日寬表數(shù)據(jù)異常，作廢當(dāng)日寬表依沮，根據(jù)每日原始數(shù)據(jù)重新執(zhí)行清洗梳理任務(wù)涯贞，重新生成當(dāng)日寬表
- 主表數(shù)據(jù)異常枪狂，定位異常開始日期，以異常前一天數(shù)據(jù)為基準(zhǔn)宋渔，重新執(zhí)行數(shù)據(jù)收集州疾、清洗梳理、校驗(yàn)皇拣、匯總等任務(wù)重新生成主表數(shù)據(jù)
- 實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)寫入和查詢?nèi)粘＃@式異常：接口調(diào)用失敗等和隱式異常：數(shù)據(jù)數(shù)量严蓖、比例異常等）
- 接口支持冪等、任務(wù)可以重新執(zhí)行
TiDB高可用
- 借助TiDB生態(tài)
- TiDB支持水平擴(kuò)展（計(jì)算能力和存儲(chǔ)能力）
- TiDB高可用氧急，TiDB颗胡、TiKV、PD都允許部分實(shí)例失效
最意外場景吩坝，TiDB不可用時(shí)毒姨，
- 數(shù)據(jù)收集可以記入其他存儲(chǔ)，如文件钉寝、NoSQL等弧呐，待TiDB恢復(fù)后重新執(zhí)行流程任務(wù)
- 數(shù)據(jù)查詢集群不可用時(shí)，可將結(jié)果數(shù)據(jù)存入NoSQL等
參考
漫談數(shù)據(jù)倉庫之拉鏈表（原理嵌纲、設(shè)計(jì)以及在Hive中的實(shí)現(xiàn)）
淘寶云梯極限存儲(chǔ)
拉鏈表與極限存儲(chǔ)
TiDB 幫助萬達(dá)網(wǎng)絡(luò)科技集團(tuán)實(shí)現(xiàn)高性能高質(zhì)量的實(shí)時(shí)風(fēng)控平臺(tái)
TiDB
