JDBC批量處理數(shù)據(jù)之分段批量提交以及異常處理

首先來說批量處理數(shù)據(jù)的優(yōu)點(diǎn):

代碼優(yōu)化蜈垮,提高程序執(zhí)行性能

降低了java程序代碼(客戶端)和數(shù)據(jù)庫之間的 網(wǎng)絡(luò)通信的次數(shù)。


大數(shù)據(jù)量的插入問題:(jdbc,hibernate,ibatis)

1.每次只插入一條和數(shù)據(jù)庫交互多次(很耗時間)

2.批量插入和數(shù)據(jù)庫只交互一次(內(nèi)存溢出)


解決辦法:分段批量插入(推薦)

?jdbc批量處理數(shù)據(jù)是通過PreparedStatement對象的 addbatch(), executebatch() clearbatch()進(jìn)行和數(shù)據(jù)庫的交互河爹。通常我們使用分段批量處理的方式 這樣可以提高程序的性能 榛做,防止內(nèi)存溢出。

1.每個sql語句都和數(shù)據(jù)庫交互一次(非批量操作)

2.只和數(shù)據(jù)庫交互一次(批量操作)(內(nèi)存溢出)

當(dāng)數(shù)據(jù)達(dá)到一定額度的時候就和數(shù)據(jù)庫進(jìn)行交互刀森,分多次進(jìn)行(分段批量操作)(500或者1000)

pst.addBatch();

if (i > 0 && i%1000 == 0) {

pst.executeBatch();

pst.clearBatch();

}

JDBC分段批量提交的時候出現(xiàn)異常怎么處理:

解決方案:

通過Map來解決性能問題逝薪。首先在分段批量提交的時候隅要,我們不采用事務(wù),這樣就保證了合法的數(shù)據(jù)就自動提交董济,不合法的數(shù)據(jù)就自己自動進(jìn)行回滾步清,為了避免不合法數(shù)據(jù)影響后續(xù)合法數(shù)據(jù)的提交,采用定義業(yè)務(wù)規(guī)則字典表虏肾,實(shí)現(xiàn)對數(shù)據(jù)的驗(yàn)證廓啊,將不合法的數(shù)據(jù)記錄下來,供用戶進(jìn)行后續(xù)處理封豪,而合法的數(shù)據(jù)就全部提交谴轮。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市吹埠,隨后出現(xiàn)的幾起案子第步,更是在濱河造成了極大的恐慌,老刑警劉巖缘琅,帶你破解...
    沈念sama閱讀 211,042評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件粘都,死亡現(xiàn)場離奇詭異,居然都是意外死亡刷袍,警方通過查閱死者的電腦和手機(jī)翩隧,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,996評論 2 384
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來呻纹,“玉大人堆生,你說我怎么就攤上這事±桌遥” “怎么了淑仆?”我有些...
    開封第一講書人閱讀 156,674評論 0 345
  • 文/不壞的土叔 我叫張陵,是天一觀的道長太闺。 經(jīng)常有香客問我糯景,道長,這世上最難降的妖魔是什么省骂? 我笑而不...
    開封第一講書人閱讀 56,340評論 1 283
  • 正文 為了忘掉前任蟀淮,我火速辦了婚禮,結(jié)果婚禮上钞澳,老公的妹妹穿的比我還像新娘怠惶。我一直安慰自己,他們只是感情好轧粟,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,404評論 5 384
  • 文/花漫 我一把揭開白布策治。 她就那樣靜靜地躺著,像睡著了一般兰吟。 火紅的嫁衣襯著肌膚如雪通惫。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,749評論 1 289
  • 那天混蔼,我揣著相機(jī)與錄音履腋,去河邊找鬼。 笑死惭嚣,一個胖子當(dāng)著我的面吹牛遵湖,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播晚吞,決...
    沈念sama閱讀 38,902評論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼延旧,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了槽地?” 一聲冷哼從身側(cè)響起迁沫,我...
    開封第一講書人閱讀 37,662評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎捌蚊,沒想到半個月后弯洗,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,110評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡逢勾,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,451評論 2 325
  • 正文 我和宋清朗相戀三年牡整,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片溺拱。...
    茶點(diǎn)故事閱讀 38,577評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡逃贝,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出迫摔,到底是詐尸還是另有隱情沐扳,我是刑警寧澤,帶...
    沈念sama閱讀 34,258評論 4 328
  • 正文 年R本政府宣布句占,位于F島的核電站沪摄,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜杨拐,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,848評論 3 312
  • 文/蒙蒙 一祈餐、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧哄陶,春花似錦帆阳、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,726評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至至扰,卻和暖如春鳍徽,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背敢课。 一陣腳步聲響...
    開封第一講書人閱讀 31,952評論 1 264
  • 我被黑心中介騙來泰國打工阶祭, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人翎猛。 一個月前我還...
    沈念sama閱讀 46,271評論 2 360
  • 正文 我出身青樓胖翰,卻偏偏與公主長得像,于是被迫代替她去往敵國和親切厘。 傳聞我的和親對象是個殘疾皇子萨咳,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,452評論 2 348

推薦閱讀更多精彩內(nèi)容