科多大數(shù)據(jù)小課堂之Hibernate的大數(shù)據(jù)量問題與性能優(yōu)化分析凰狞。
不要一味的為了hibernate而hibernate還是可以考慮SQL
hibernate要做大量映射效率肯定不如純的jdbc快
這個只能說hibernate再這個方面和ibatis比還有一定差距
數(shù)據(jù)量大可以解決,現(xiàn)在我準(zhǔn)備采用分表的方式丧荐。每個月建一張表屎开,Hibernate動態(tài)生成表有什么好的解決方法嗎碉钠?
一年就是700萬條流妻,何必抱著hibernate呢
下文則是對Hibernate性能優(yōu)化技巧進(jìn)行總結(jié)性分析驹马,分析如下:
一革砸、在處理大數(shù)據(jù)量時,會有大量的數(shù)據(jù)緩沖保存在Session的一級緩存中糯累,這緩存大太時會嚴(yán)重顯示性能算利,所以在使用Hibernate處理大數(shù)據(jù)量的,可以使用session. clear()或者session. evict(Object) 在處理過程中寇蚊,清除全部的緩存或者清除某個對象笔时。
二棍好、對大數(shù)據(jù)量查詢時仗岸,慎用list()或者iterator()返回查詢結(jié)果允耿,
<1>. 使用List()返回結(jié)果時,Hibernate會所有查詢結(jié)果初始化為持久化對象扒怖,結(jié)果集較
大時较锡,會占用很多的處理時間。
<2>. 而使用iterator()返回結(jié)果時盗痒,在每次調(diào)用iterator.next()返回對象并使用對象時蚂蕴,
Hibernate才調(diào)用查詢將對應(yīng)的對象初始化,對于大數(shù)據(jù)量時俯邓,每調(diào)用一次查詢都會花
費較多的時間骡楼。當(dāng)結(jié)果集較大,但是含有較大量相同的數(shù)據(jù)稽鞭,或者結(jié)果集不是全部都會
使用時鸟整,使用iterator()才有優(yōu)勢。
<3>. 對于大數(shù)據(jù)量朦蕴,使用qry.scroll()可以得到較好的處理速度以及性能篮条。而且直接對結(jié)
果集向前向后滾動。
三吩抓、對于關(guān)聯(lián)操作涉茧,Hibernate雖然可以表達(dá)復(fù)雜的數(shù)據(jù)關(guān)系,但請慎用疹娶,使數(shù)據(jù)關(guān)系較為
簡單時會得到較好的效率伴栓,特別是較深層次的關(guān)聯(lián)時,性能會很差蚓胸。
四挣饥、對含有關(guān)聯(lián)的PO(持久化對象)時,若default-cascade="all"或者 “save-update”沛膳,新增PO時扔枫,請注意對PO中的集合的賦值操作,因為有可能使得多執(zhí)行一次update操作锹安。
五短荐、在一對多、多對一的關(guān)系中叹哭,使用延遲加載機(jī)制忍宋,會使不少的對象在使用時才會初始化,這樣可使得節(jié)省內(nèi)存空間以及減少數(shù)據(jù)庫的負(fù)荷风罩,而且若PO中的集合沒有被使用時糠排,就可減少互數(shù)據(jù)庫的交互從而減少處理時間。
六超升、對于大數(shù)據(jù)量新增入宦、修改哺徊、刪除操作或者是對大數(shù)據(jù)量的查詢,與數(shù)據(jù)庫的交互次數(shù)是決定處理時間的最重要因素乾闰,減少交互的次數(shù)是提升效率的最好途徑落追,所以在開發(fā)過程中,請將show_sql設(shè)置為true涯肩,深入了解Hibernate的處理過程轿钠,嘗試不同的方式,可以使得效率提升病苗。
七疗垛、Hibernate是以JDBC為基礎(chǔ),但是Hibernate是對JDBC的優(yōu)化硫朦,其中使用Hibernate的緩沖機(jī)制會使性能提升继谚,如使用二級緩存以及查詢緩存,若命中率較高明阵幸,性能會是到大幅提升花履。
八、Hibernate可以通過設(shè)置hibernate.jdbc.fetch_size挚赊,hibernate.jdbc.batch_size等屬性诡壁,對Hibernate進(jìn)行優(yōu)化。
九荠割、不過值得注意的是妹卿,一些數(shù)據(jù)庫提供的主鍵生成機(jī)制在效率上未必最佳,大量并發(fā)insert數(shù)據(jù)時可能會引起表之間的互鎖蔑鹦。數(shù)據(jù)庫提供的主鍵生成機(jī)制夺克,往往是通過在一個內(nèi)部表中保存當(dāng)前主鍵狀態(tài)(如對于自增型主鍵而言,此內(nèi)部表中就維護(hù)著當(dāng)前的最大值和遞增量)嚎朽,之后每次插入數(shù)據(jù)會讀取這個最大值铺纽,然后加上遞增量作為新記錄的主鍵,之后再把這個新的最大值更新回內(nèi)部表中哟忍,這樣狡门,一次Insert操作可能導(dǎo)致數(shù)據(jù)庫內(nèi)部多次表讀寫操作,同時伴隨的還有數(shù)據(jù)的加鎖解鎖操作锅很,這對性能產(chǎn)生了較大影響其馏。因此,對于并發(fā)Insert要求較高的系統(tǒng)爆安,推薦采用uuid.hex 作為主鍵生成機(jī)制叛复。
十、Dynamic Update 如果選定,則生成Update SQL 時不包含未發(fā)生變動的字段屬性褐奥,這樣可以在一定程度上提升SQL執(zhí)行效能.Dynamic Insert 如果選定肤寝,則生成Insert SQL 時不包含未發(fā)生變動的字段屬性,這樣可以在一定程度上提升SQL執(zhí)行效能
十一抖僵、在編寫代碼的時候請,對將POJO的getter/setter方法設(shè)定為public缘揪,如果設(shè)定為private耍群,Hibernate將無法對屬性的存取進(jìn)行優(yōu)化,只能轉(zhuǎn)而采用傳統(tǒng)的反射機(jī)制進(jìn)行操作找筝,這將導(dǎo)致大量的性能開銷(特別是在1.4之前的Sun JDK版本以及IBM JDK中蹈垢,反射所帶來的系統(tǒng)開銷相當(dāng)可觀)。
十二袖裕、在one-to-many 關(guān)系中曹抬,將many 一方設(shè)為主動方(inverse=false)將有助性能的改善。
十三急鳄、由于多對多關(guān)聯(lián)的性能不佳(由于引入了中間表谤民,一次讀取操作需要反復(fù)數(shù)次查詢),因此在設(shè)計中應(yīng)該避免大量使用疾宏。