Paimon在寫入垫桂、存儲、查詢的優(yōu)化
1. 寫入優(yōu)化：
-
LSM寫入（Log-Structured Merge Tree）：
- 數據首先寫入內存（MemTable）骑篙，然后批量刷新到磁盤叶圃，減少磁盤的隨機寫入操作席舍。
- 后臺會執(zhí)行合并（Compaction）操作，將小的SSTable文件合并成大的文件奠蹬，減少文件碎片化朝聋，提升查詢性能。
-
批量寫入（Bulk Load）：
- 多個小寫操作合并為批量操作囤躁，減少磁盤I/O冀痕，提高寫入效率。
-
寫入壓縮（Write Compression）：
- 寫入數據時進行壓縮狸演，減少存儲空間言蛇，同時提升讀取效率。
-
高效的寫入順序（Write Ordering）：
- 通過對數據按某些字段（如時間宵距、ID）排序寫入腊尚，優(yōu)化后續(xù)查詢時的讀取順序，減少數據掃描量满哪。
2. 存儲優(yōu)化：
-
列式存儲：
- 數據按列存儲婿斥，優(yōu)化查詢性能，尤其是在需要大量讀取某些列數據時哨鸭。列式存儲有助于壓縮和減少磁盤I/O民宿。
-
分區(qū)設計：
- 數據按某些字段（如時間戳、ID）分區(qū)像鸡，減少查詢時需要掃描的數據量活鹰，提高并行處理效率。
-
分桶（Bucketing）：
- 數據進一步細分為桶只估，在某些查詢場景下志群，通過桶的設計提高數據查找效率。
-
數據合并仅乓、壓縮與清理：
- 定期執(zhí)行數據合并和壓縮操作，減少存儲碎片蓬戚。清理過時或無效數據夸楣，保持存儲的高效性。
3. 查詢優(yōu)化：
-
Skipping By Order：
- 通過排序跳過不相關的數據塊，減少磁盤I/O豫喧，加速查詢石洗，尤其適用于范圍查詢和排序查詢。
-
布隆過濾器（Bloom Filter）：
- 使用布隆過濾器在內存中快速判斷某個元素是否存在紧显，避免不必要的磁盤I/O讲衫，提升查詢性能，尤其在海量數據中尤為有效孵班。
2. PK表和Append 表寫入
- 關于PK（主鍵）涉兽，在Paimon中，主鍵控制的是數據的唯一性篙程，確保寫入數據的一致性和去重枷畏。這也影響了數據的合并和壓縮策略，尤其是在基于主鍵的表結構中虱饿。
- 對于順序寫入拥诡，Paimon采用了分區(qū)（Partition）和桶（Bucket）機制來保證寫入的順序。這種設計使得數據能夠根據分區(qū)進行存儲氮发，減少了數據沖突渴肉，提高了寫入效率，同時也能在查詢時進行高效的索引檢索爽冕。
3. ChangeLog
- Paimon中的ChangeLog是一個重要的特性仇祭，類似于Debezium等數據變更捕獲工具，能夠記錄數據的增扇售、刪前塔、改操作。這為實時數據同步提供了支持承冰，尤其是能夠減少對Kafka等消息中間件的依賴华弓，從而簡化架構，降低維護成本困乒。值得注意的是寂屏，Paimon中的ChangeLog有有效期，即Snapshot的有效期娜搂，這意味著數據變更日志在一定時間后會過期迁霎，因此需要管理和清理過期的日志。
4. Branch 和 Tag
-
Branch和Tag是Paimon的重要特性百宇，Paimon通過Tag和Branch機制實現(xiàn)數據版本管理和并行處理考廉，同時避免了因版本控制而引入過多的存儲開銷。這些機制并不復制數據携御，而是通過引用和增量更新來管理數據版本昌粤，配合后臺的合并和清理操作既绕，有效地優(yōu)化了存儲使用。因此涮坐，Tag和Branch增加的存儲量非常小凄贩，并不會導致顯著的存儲開銷增長。
離線數倉數據備份的成本就大大減少了
5. Metrics
- Paimon的Metrics系統(tǒng)提供了詳細的數據性能監(jiān)控袱讹，能夠幫助分析數據存儲和處理的瓶頸疲扎。這對于優(yōu)化系統(tǒng)性能、檢測問題捷雕、調整配置是非常有幫助的椒丧。通過監(jiān)控指標，用戶可以了解Paimon的實時狀態(tài)非区，并采取措施進行性能優(yōu)化瓜挽。
6. 外部計算引擎的依賴
- Paimon并不提供內建的計算引擎，它主要關注數據存儲和管理征绸，而計算部分需要依賴外部計算引擎（如Flink久橙、Spark等）。這意味著管怠，所有的異步操作（如壓縮淆衷、清理等）都需要外部計算引擎的支持增加了系統(tǒng)的復雜性和維護成本
