本文主要分享Doris中數(shù)據(jù)副本異常的問題現(xiàn)象、問題定位以及如何處理此類問題。
一、問題現(xiàn)象
- 問題日志
查詢報(bào)錯(cuò)
Failed to initialize storage reader, tablet={tablet_id}.xxx.xxx
- 問題說明
查詢時(shí)闹炉，F(xiàn)E讓BE返回spec_version范圍的數(shù)據(jù)，但是BE缺部分version了润樱，就會(huì)報(bào)這個(gè)錯(cuò)誤渣触。
- 問題原因
遷移副本過程可能丟version，在2.0.3修復(fù)了壹若，或者在數(shù)據(jù)導(dǎo)入過程中be宕機(jī)嗅钻。
注意:
如果版本是2.0.1及以前皂冰，且它的所有副本last failed version > 0，通常需要重新建表進(jìn)行導(dǎo)數(shù)养篓。
二秃流、問題定位
如上圖所示，查詢報(bào)錯(cuò)的 tablet_id 是 606202柳弄， BE ip是 10.xxx舶胀， BE 需要包含version 區(qū)間 [0 - 35]。
當(dāng)確定異常tablet_id時(shí)碧注，參考如下步驟先進(jìn)行問題信息收集：
show tablet {tablet_id} (這里是606202)嚣伐，拿到detail cmd
執(zhí)行detail cmd的輸出
SHOW PROC ' /dbs/10113/591325/partitions/606195/591326/606202";
找出該BE所在的副本（compact status url中包含有該BE的ip）
- 執(zhí)行curl<步驟2的compact status url>， 該例子是
curl http://10.xxx:8040/api/compaction/show?tablet_id=606202
查看該副本的rowset 和 missing_rowset萍丐，重點(diǎn)看rowset 的最大版本（這里是34）和 missing_rowsets纤控。從上圖可以看出該副本的rowset 為 0 ~ 34， 且中間不缺version(missing_rowsets為空)碉纺。而查詢語句中是 special version 是 [0, 35]船万， 但該BE不含version 35。所以需要給該BE補(bǔ)上version 35骨田。
注意：這里的special version實(shí)際就是partition的visible version耿导。 它也可以通過如下指令查看。
show partitions from <table-name xxx> where PartitionName = '<partition name xxx>'
三态贤、問題處理
- 確認(rèn)是否自動(dòng)修復(fù)
由于doris內(nèi)部會(huì)自動(dòng)做數(shù)據(jù)均衡和修復(fù)舱呻，所以當(dāng)出現(xiàn)數(shù)據(jù)副本異常時(shí)，先確認(rèn)異常數(shù)據(jù)副本能否自動(dòng)修復(fù)：
如果是多副本悠汽，查看是否存在健康副本箱吕。健康副本是指副本version >= special version && last failed version = -1 && isBad = false， 且curl 它的 compact status柿冲， missing rowsets 為空茬高。
如果存在這樣的副本，把查詢報(bào)錯(cuò)的副本set bad假抄，如上圖所示BackendId為10003上版本遠(yuǎn)落后于其他兩個(gè)副本的version怎栽，可以通過設(shè)置為bad來自動(dòng)修復(fù)。
ADMIN SET REPLICA STATUS PROPERTIES("tablet_id" = "7552021", "backend_id" = "10003", "status" = "bad");
等待一會(huì)（可能需要一兩分鐘）宿饱，再執(zhí)行步驟2中的detail cmd熏瞄，如果副本都健康了：
version >= special version && last failed version = -1 && isBad = false
且curl它的compact status, missing rowsets為空，說明修補(bǔ)OK了谬以。且執(zhí)行select count (*) from table_xx 是否OK强饮。
如果沒問題，就自動(dòng)修復(fù)完成了为黎，不用往下看邮丰。如果還是有問題行您，接著往下看。
- 重新導(dǎo)數(shù)手動(dòng)修復(fù)
- 如果是多個(gè)副本都損壞柠座，并且是分區(qū)表的情況下，可以刪除這個(gè)分區(qū)片橡，然后手動(dòng)重建這個(gè)分區(qū)妈经，重新導(dǎo)入數(shù)據(jù)即可。
- 如果是多個(gè)副本都損壞捧书，并且是非分區(qū)表的情況下吹泡，只能刪除這個(gè)表重新導(dǎo)入數(shù)據(jù)。
- 填充空副本進(jìn)行修復(fù)
注意:
以上兩個(gè)方法可以恢復(fù)丟失的數(shù)據(jù)经瓷，而填充空副本方法爆哑，是插入若干個(gè)空rowset，它能恢復(fù)讀寫舆吮。但如果丟失的rowset是包含數(shù)據(jù)的揭朝，這種方法實(shí)質(zhì)是丟數(shù)據(jù)的。
空副本修復(fù)方式如下：
curl -X POST "http://10.151.2.29:8040/api/pad_rowset?tablet_id=606202&start_version=35&end_version=35"
- tablet_id table 的 id
- start_version 起始版本
- end_version 終止版本
該功能用于使用一個(gè)空的 rowset 填充損壞的副本色冀。這個(gè)例子中修補(bǔ)的url中 start_version = 35, end_version = 35潭袱。
這個(gè)例子只是缺一個(gè)rowset， 實(shí)際中可能缺多個(gè)（missing rowset锋恬，最大version + 1 ~ special version）屯换，缺多少個(gè)rowset，就調(diào)用多少次修補(bǔ)的方法与学。
修補(bǔ)完之后彤悔，再執(zhí)行下show tablet xxx，該副本last fail version 是否等于 -1索守，如果它的version都補(bǔ)上了晕窑，但是last fail version = version + 1， 還需要手工執(zhí)行把last fail version 改成 -1:
ADMIN SET REPLICA VERSION PROPERTIES("tablet_id" = "10003", "backend_id" = "10001", "last_failed_version" = "-1");
低版本的doris可能不含這個(gè)SQL卵佛， 如果不支持這個(gè)SQL且是單副本的幕屹，通常需要重新建表進(jìn)行導(dǎo)數(shù)。
如果沒問題级遭，使用
select count(*) from table_xx;
查看是否可讀望拖，可讀則說明數(shù)據(jù)副本問題已處理。
本文由mdnice多平臺(tái)發(fā)布
