內存結構
- OBserver的內存灾前，由兩個參數(shù)共同決定，如果沒有設置memory-limit參數(shù)刷喜，可使用內存為物理內存乘以memory-limit-percentage.反之由前一個參數(shù)的值決定.這兩個參數(shù)可通過show parameters 參數(shù)查看
- 在確定為0Bserver內存后,還需要去掉system_memory的值(500租戶),才是Sys租戶和普通租戶可用的內存,租戶使用內存可通過gv$unit視圖查看.
- 500租戶內存包含所有真實組戶都會共享的部分資源或公用功能的內存，比如多租戶的管理、CLog寫緩存共虑、CLog管理、存儲IO管理呀页、Schema管理妈拌、分區(qū)GC、RPC buffer等蓬蝶，
租戶內存
- memstore 用于存儲數(shù)據(jù),memstore-limit-percentage參數(shù)值決定,默認為租戶最小內存的50%
- kvcache是由可動態(tài)伸縮內存組件組成,包括
- 除此之外尘分，還有很多內存組件，包括 Plan Cache（執(zhí)行計劃緩存）丸氛、SQL Area（SQL 執(zhí)行期內存）音诫、SQL AREA(SQL解析和優(yōu)化使用的內存)、SQL AUDIT雪位、Other AREA（分區(qū)事務管理等使用的內存）
memstore
- memsore中存儲了分區(qū)的增量數(shù)據(jù)
- 有兩種數(shù)據(jù)索引結構btree和hash
- memtable 以MvccRow的形式來存儲多版本數(shù)據(jù)竭钝，數(shù)據(jù)版本以TransNode的形式構成鏈表，其中鎖和事務相關信息也存儲在其中
分層轉儲機制
- active memtable 凍結[freeze_trigger_percentage(70%)] frozen memtable 轉儲 mini sstable 壓縮[minor_compact_trigger(2)] minor sstable 合并[major_compact_trigger(5)] major sstable
- 轉儲可開啟并發(fā)
enable_parallel_minor_merge 分區(qū)內并行轉儲雹洗，默認開啟
_mini_merger_concurrency mini轉儲線程數(shù)
minor_merge_concurrency 通用轉儲線程數(shù)
merge_thread_count 合并線程數(shù)
- 寫入限流
writing_throttling_trigger_percentage 限流閥值香罐，默認100不限流
writing_throttling_maximum_duration 限流后可提供服務的時間
KVCache
- clog、location cache时肿、scheme cache庇茫、stat cache 也是采用 kvcache ,而且是系統(tǒng)租戶的？500|sys?
- block cache
[user block cache] 類似于 Oracle 的 Buffer Cache螃成，緩存具體的數(shù)據(jù)微塊旦签，每個微塊都會解壓后裝載到 Block Cache 中, 因此每個 cache 大小都是變長的查坪。
[Block Index Cache] 緩存微塊的索引，因為每個 SSTable 雖然以宏塊組織宁炫，但是 2M 的粒度對于用戶查詢來說往往粒度太大，因此需要根據(jù)用戶查詢的范圍在宏塊中定位實際需要的微塊羔巢，微塊索引就是描述對每個宏塊中所有的微塊的范圍望忆，當需要訪問某個宏塊的微塊時，需要提前裝載這個宏塊的微塊索引竿秆，因為進行了前綴壓縮启摄，因此大小通常較小，并且在 OceanBase 數(shù)據(jù)庫內部給予其較高優(yōu)先級幽钢，因此一般命中率較高歉备。
- row cache
[user row cache] 針對每個 SSTable 緩存具體的數(shù)據(jù)行，在進行 Get/MultiGet 查詢時匪燕，可以將對應查到的數(shù)據(jù)行放入 Row Cache威创，這樣在下次走到對應行查詢時就可以避免多次二分定位對行的查找。
[fuser row cache] 在 LSM-Tree 架構中, 同一行的修改可能存在于不同的 SSTable 中谎懦，OceanBase 數(shù)據(jù)庫為了進一步優(yōu)化存儲占用肚豺，每次用戶的更新都只會存儲增量數(shù)據(jù)，因此在查詢時需要對各個 SSTable 查詢的結果進行熔合界拦，當用戶不再觸發(fā)新的更新時吸申，這個熔合結果對查詢都是一直有效的，因此 OceanBase 數(shù)據(jù)庫也提供了對于熔合結果緩存的 Fuse Row Cache享甸，更大幅度支持部分用戶的熱點行查詢截碴。
- bloom filter cache
OceanBase 數(shù)據(jù)庫的 BloomFilter 是構建在宏塊上的，根據(jù)用戶實際空查率按需自動構建蛉威，當一個宏塊上的空查次數(shù)超過某個閾值時日丹，就會自動構建 BloomFilter，并將 BloomFilter 放入 Cache蚯嫌。
- tmp block cache
- kvcache 淘汰
組合內存到達90%
cache_wash_threshold(4G)全局內存剩余
> alter system flush location cache;
> alter system flush kvcache tenant='';
SQL Work Area
- 內存為 [min_memory] * [ob_sql_work_area_percentage]
- 主要用于SQL執(zhí)行算子處理的中間結果集
enable_sql_operator_dump 集群級配置哲虾，控制在SQL中間結果是否落盤，默認true
_has_area_size 租戶配置 默認100M
_sort_area_size 租戶配置 默認128M
WORK AREA
工作線程局部緩存[PM]
- ObPageManager的數(shù)據(jù)結構择示，每個SQL工作線程都有束凑，針對sql短生命周期
- workarea_size_policy 默認開啟，自動調整工作區(qū)內存參數(shù)
plan cache
- 內存為 [min_memory] * ob_plan_cache_percentage
- 計劃緩存失效
schema變更
統(tǒng)計信息變化
outline 計劃綁定變更
SPM計劃演進
- 刷新計劃
#sys租戶下
alter system flush plan cache global tenant='';
alter system flush plan cache sql_id='' databases='' tenant='' global;
#普通租戶
alter system flush plan cache sql_id='' databases='' global;
- 淘汰機制
plan_cache_evict_intervel 集群級配置項 默認30s
ob_plan_cache_evict_high_percentage 系統(tǒng)變量
ob_plan_cache_evict_low_percentage 系統(tǒng)變量
sql audit
記錄sql運行信息栅盲，包括SQL請求來源汪诉、執(zhí)行狀態(tài)及統(tǒng)計信息等
- 內存為 [min_memory] * ob_sql_audit_percentage
- 控制開關
enable_sql_audit 集群級配置項
ob_enable_sql_audit 系統(tǒng)變量
sql_audit 淘汰機制
-
sql_audit每隔 1s 會檢測后臺任務并根據(jù)以下標準決定是否淘汰：-
sql_audit內存最大可使用上限為avail_mem_limit= min (OBServer 可使用內存 *10%，sql_audit_memory_limit)谈秫。- 當 avail_mem_limit 在 [64M, 100M] 范圍內時, 內存使用值達到 avail_mem_limit－20M 時觸發(fā)淘汰扒寄。
- 當 avail_mem_limit 在 [100M, 5G] 范圍內時, 內存使用值達到 availmem_limit*0.8 時觸發(fā)淘汰鱼鼓。
- 當 avail_mem_limit 在 [5G, +∞）范圍內時, 內存使用值達到 availmem_limit－1G 時觸發(fā)淘汰。
當
sql_audidt記錄數(shù)超過 900 萬條時该编，觸發(fā)淘汰迄本。
-
-
sql_audit根據(jù)以下標準決定是否停止淘汰：-
如果是達到內存上限觸發(fā)的淘汰，則：
- 當 avail_mem_limit 在 [64M, 100M] 時, 內存使用淘汰值達到 avail_mem_limit－40M 時停止淘汰上渴。
- 當 avail_mem_limit 在 [100M, 5G] 時, 內存使用淘汰值達到 availmem_limit*0.6 時停止淘汰。
- 當 avail_mem_limit 在 [5G, +∞] 時, 內存使用淘汰值達到 availmem_limit－2G 時停止淘汰喜颁。
如果是達到記錄數(shù)上限觸發(fā)的淘汰稠氮，則淘汰值達到 800 萬行記錄時停止淘汰。
-
系統(tǒng)表
- gv$memory/__all_virtual_memory_info視圖用于展示租戶級別的內存統(tǒng)計信息
- gv$memstore展示所有服務器上所有租戶的Memtable內存情況
- gv$memstore_info明細信息
- gv$server_memstore每個server中memstore的內存使用情況
- gv$tenant_memstore_allocator_info用于排查內存長時間未釋放的問題
- gv$table有所有包括virtual的表信
- _all_virtual_kvcache_info kvcache內存使用情況
- _all_virtual_sql_workeare_memory_info
- _all_virtual_plan_cache_stat/gv$plan_cach_stat plan cache 系統(tǒng)表
- gv$sql_audit/__all_virtual_sql_audit sql_audit系統(tǒng)表
- gv$sysstat/_all_virtual_sysstat
observer內存使用視圖 - _all_virtual_server_memory_info
內存使用情況 - gv$tenant_memory_info / _all_virtual_tenant_memory_info
租戶內存 - _all_virtaul_tenant_ctx_memory_info
租戶內ctx內存視圖 - gv$memory / _all_virtual_memory_info
mod內存視圖
