Caused by: ERROR: canceling statement due to conflict with recovery

Detail: User query might have needed to see row versions that must be removed.

場景描述

這里我們是流復(fù)制環(huán)境戈二，倉庫從現(xiàn)網(wǎng)的備節(jié)點(diǎn)抽取數(shù)據(jù)導(dǎo)致以上報(bào)錯(cuò)。

原理很簡單芍碧，就是主節(jié)點(diǎn)的相關(guān)表做了DDL或者DML统扳，wal在備節(jié)點(diǎn)回放的時(shí)候粹懒，備節(jié)點(diǎn)的查詢還在進(jìn)行抒蚜，如此就會(huì)發(fā)生沖突，干掉備節(jié)點(diǎn)查詢的語句思灰，報(bào)出以上錯(cuò)誤康愤。

下圖簡單演示了報(bào)錯(cuò)原理关划，這里是由DML中的UPDATE引起的沖突，行版本不一致造成相關(guān)的錯(cuò)誤翘瓮。

上圖可見一個(gè)參數(shù)max_standby_streaming_delay默認(rèn)為30秒，也就是說vacuum的時(shí)候资盅，相關(guān)需要清理的數(shù)據(jù)仍有事物在使用调榄，則認(rèn)為有沖突，等待這個(gè)參數(shù)設(shè)置的值呵扛，也就是30秒每庆，30秒后則中斷連接，報(bào)出以上錯(cuò)誤今穿。所以這里可能是DDL缤灵，比如drop table,truncate table,drop database,drop tablespace等等,也可能是DML，delete,update等等語句都會(huì)引起錯(cuò)誤發(fā)生。

所以這里分為兩類處理方式：處理DDL和處理DML

要避免DDL發(fā)生腮出，那么需要設(shè)置參數(shù)max_standby_streaming_delay為-1帖鸦，這樣就會(huì)一直等待查詢的語句結(jié)束為止。如果是從歸檔中回放產(chǎn)生的沖突胚嘲，那就max_standby_archive_delay設(shè)置為-1作儿。

要避免DML,也就是VACUUM產(chǎn)生的沖突，當(dāng)然以上的方法也是可用的馋劈，這里引入另外一個(gè)參數(shù)hot_standby_feedback攻锰，可以打開該參數(shù)(設(shè)置為on)避免。

hot_standby_feedback 的原理很簡單妓雾，就是將備節(jié)點(diǎn)的最小活躍事務(wù) ID 定期告知主節(jié)點(diǎn)娶吞，使得主節(jié)點(diǎn)在執(zhí)行 VACUUM 時(shí)對這些事務(wù)還需要的數(shù)據(jù)手下留情。

設(shè)置 hot_standby_feedback 的好處是可以減少備節(jié)點(diǎn)執(zhí)行查詢時(shí)復(fù)制沖突的可能械姻，但也有其弊端寝志，即會(huì)使主節(jié)點(diǎn)先關(guān)表的數(shù)據(jù)延遲回收，從而導(dǎo)致數(shù)據(jù)膨脹策添；極端情況下，如果 備節(jié)點(diǎn)有一個(gè)很長的事務(wù)毫缆，且涉及表上 DML 操作又很頻繁唯竹，則表的膨脹則會(huì)很嚴(yán)重。

另外也可以考慮設(shè)置vacuum_defer_cleanup_age參數(shù)苦丁，這個(gè)參數(shù)可以延遲清理dead row浸颓，使得在備節(jié)點(diǎn)的查詢可以讀取這些dead row,默認(rèn)為0，這個(gè)參數(shù)是在主節(jié)點(diǎn)上設(shè)置旺拉，也是由主節(jié)點(diǎn)度量的产上，所以這個(gè)值很難確定設(shè)置多少為有效，如果主節(jié)點(diǎn)事物數(shù)增長很快蛾狗，那么很快dead row就會(huì)被清理晋涣，對于備節(jié)點(diǎn)的查詢沖突沒什么效果，所以以上引發(fā)的錯(cuò)誤沉桌，我個(gè)人不建議設(shè)置該參數(shù)解決谢鹊。

總結(jié)：

開啟max_standby_streaming_delay或者max_standby_archive_delay也有弊端，如果備節(jié)點(diǎn)有長事物留凭，那么佃扼，備節(jié)點(diǎn)會(huì)長時(shí)間跟不上主節(jié)點(diǎn)，主備節(jié)點(diǎn)的數(shù)據(jù)無法一致蔼夜，如果有多個(gè)級聯(lián)的備節(jié)點(diǎn)兼耀，那后果更是不堪設(shè)想。

如果這只hot_standby_feedback，那么可能會(huì)導(dǎo)致相關(guān)表膨脹瘤运，如果業(yè)務(wù)頻繁查詢窍霞，更新，刪除尽超，那么這些膨脹的表DML處理肯定效率低下官撼，將會(huì)影響業(yè)務(wù)響應(yīng)。

另外vacuum_defer_cleanup_age覺的效果不好似谁，主要是在主節(jié)點(diǎn)度量這個(gè)值傲绣，所以不建議設(shè)置，這里就不做更深的研究探討巩踏。

參考：

https://www.postgresql.org/docs/11/hot-standby.html

26.5.2. Handling Query Conflicts章節(jié)

原文鏈接：https://blog.csdn.net/dazuiba008/java/article/details/104966409