SQLServer CDC數據遷移和數據抽取功能介紹

CDC介紹

cdc.png

為了滿足數據遷移和數據抽取的業(yè)務需要货抄,使得有機會在數據庫層面上直接實現增量抽取功能漆改,ORACLE綜合性能和場景需要,在數據庫引擎層面直接集成了CDC功能满着,由于提供了類似API的功能接口谦炒,變更數據捕獲和更改跟蹤均不要求在源中進行任何架構更改或使用觸發(fā)器,所以比第三方工具具有一定的優(yōu)勢风喇。利用CDC捕獲變更有以下特點:

① 性能影響小宁改。使用異步進程捕獲,通過進程讀取事務日志魂莫,對系統(tǒng)造成的影響很小还蹲,不對業(yè)務系統(tǒng)造成太大的壓力,影響現有業(yè)務耙考。

② 監(jiān)控范圍大谜喊。對該表的所有DML和DDL操作都會被記錄,有助于跟蹤表的變化琳骡,實現表操作的追根溯源锅论。

③ 操作簡單 。CDC是在數據庫引擎中添加的功能楣号,封裝在數據庫中,類似于API接口調用怒坯,不需要復雜的業(yè)務處理邏輯就可以實現DML和DDL的操作監(jiān)控炫狱。

④ 有一定時延性。由于捕獲進程從事務日志中提取更改數據剔猿,因此视译,向源表提交更改的時間與更改出現在其關聯更改表中的時間之間存在內在的延遲。 雖然這種延遲通常很小归敬,但務必記住酷含,在捕獲進程處理相關日志項之前無法使用更改數據。

CDC注意事項

1. SQL Server的版本必須是2008或以上汪茧;

2. 不能同時使用內存優(yōu)化表(SQL Server2014或以上版本才有的功能)椅亚。否則會出現以下錯誤:

image.png
  1. @@SERVERNAME、serverproperty('servername')兩者(本地服務器名和服務器實例的屬性必須一致)必須一致舱污。下面腳本可將兩者調整成一致呀舔。如果執(zhí)行后兩者仍不一致,需要重啟SQL Server服務扩灯。

if serverproperty('servername') <> @@servername
begin
declare @server sysname
set @server = @@servername
exec sp_dropserver@server =@server
set @server = cast(serverproperty('servername') as sysname)
exec sp_addserver@server = @server , @local = 'LOCAL'
PRINT 'ok'
end
select @@SERVERNAME,serverproperty('servername')

  1. 必須開啟SQL Sever代理服務媚赖。CDC功能必須通過作業(yè)來實現霜瘪。

  2. 開啟CDC功能的表,無法使用 TRUNCATE TABLE 惧磺∮倍裕可以先禁用,執(zhí)行完truncate再啟用cdc磨隘。

6.如果表結構發(fā)生變化缤底,則捕獲實例表中:新增列無法捕獲到、刪除列保持NULL琳拭、修改列類型會發(fā)生強制轉換训堆。為保險起見,應禁用捕獲實例白嘁,然后再啟用坑鱼。

7.在查詢CDC相關表時,建議加上With(NOLOCK)絮缅,否則易產生阻塞或死鎖鲁沥。

  1. 一個表最多只能有兩個捕獲實例。
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末耕魄,一起剝皮案震驚了整個濱河市画恰,隨后出現的幾起案子,更是在濱河造成了極大的恐慌吸奴,老刑警劉巖允扇,帶你破解...
    沈念sama閱讀 218,546評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現場離奇詭異则奥,居然都是意外死亡考润,警方通過查閱死者的電腦和手機,發(fā)現死者居然都...
    沈念sama閱讀 93,224評論 3 395
  • 文/潘曉璐 我一進店門读处,熙熙樓的掌柜王于貴愁眉苦臉地迎上來糊治,“玉大人,你說我怎么就攤上這事罚舱【迹” “怎么了?”我有些...
    開封第一講書人閱讀 164,911評論 0 354
  • 文/不壞的土叔 我叫張陵管闷,是天一觀的道長粥脚。 經常有香客問我,道長渐北,這世上最難降的妖魔是什么阿逃? 我笑而不...
    開封第一講書人閱讀 58,737評論 1 294
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上恃锉,老公的妹妹穿的比我還像新娘搀菩。我一直安慰自己,他們只是感情好破托,可當我...
    茶點故事閱讀 67,753評論 6 392
  • 文/花漫 我一把揭開白布肪跋。 她就那樣靜靜地躺著,像睡著了一般土砂。 火紅的嫁衣襯著肌膚如雪州既。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,598評論 1 305
  • 那天萝映,我揣著相機與錄音吴叶,去河邊找鬼。 笑死序臂,一個胖子當著我的面吹牛蚌卤,可吹牛的內容都是我干的。 我是一名探鬼主播奥秆,決...
    沈念sama閱讀 40,338評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼逊彭,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了构订?” 一聲冷哼從身側響起侮叮,我...
    開封第一講書人閱讀 39,249評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎悼瘾,沒想到半個月后囊榜,有當地人在樹林里發(fā)現了一具尸體,經...
    沈念sama閱讀 45,696評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡亥宿,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,888評論 3 336
  • 正文 我和宋清朗相戀三年锦聊,在試婚紗的時候發(fā)現自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片箩绍。...
    茶點故事閱讀 40,013評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖尺上,靈堂內的尸體忽然破棺而出材蛛,到底是詐尸還是另有隱情,我是刑警寧澤怎抛,帶...
    沈念sama閱讀 35,731評論 5 346
  • 正文 年R本政府宣布卑吭,位于F島的核電站,受9級特大地震影響马绝,放射性物質發(fā)生泄漏豆赏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,348評論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望掷邦。 院中可真熱鬧白胀,春花似錦、人聲如沸抚岗。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,929評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽宣蔚。三九已至向抢,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間胚委,已是汗流浹背挟鸠。 一陣腳步聲響...
    開封第一講書人閱讀 33,048評論 1 270
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留亩冬,地道東北人艘希。 一個月前我還...
    沈念sama閱讀 48,203評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像鉴未,于是被迫代替她去往敵國和親枢冤。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,960評論 2 355

推薦閱讀更多精彩內容

  • 數據庫環(huán)境:1铜秆、SQLServer 2008R22淹真、SQLServer 代理打開 一、新建一個數據庫 創(chuàng)建數據庫 ...
    HapplyFox閱讀 1,955評論 0 0
  • Spring Cloud為開發(fā)人員提供了快速構建分布式系統(tǒng)中一些常見模式的工具(例如配置管理连茧,服務發(fā)現核蘸,斷路器,智...
    卡卡羅2017閱讀 134,657評論 18 139
  • -- 來源于網絡 -- 更詳細的介結參考聯機幫助文檔 xp_cmdshell--*執(zhí)行DOS各種命令啸驯,結果以文本行...
    overad閱讀 2,362評論 0 13
  • 嫁個好男人客扎,是一輩子的幸福 前幾天生了三寶,因為是女兒所以沒有給姨父家罚斗。也很慶幸是生了個女兒徙鱼,因為,好像突然明白很...
    有氧魚閱讀 218評論 0 0
  • ThreadLocal類是什么: This class provides thread-local variabl...
    雅俗共賞M閱讀 286評論 0 0