前言:??????
????????用JavaPOI導(dǎo)出Excel時慰枕,我們需要考慮到Excel版本及數(shù)據(jù)量的問題亭姥。針對不同的Excel版本,要采用不同的工具類篱瞎,如果使用錯了苟呐,會出現(xiàn)錯誤信息。Java POI導(dǎo)出Excel有三種形式俐筋,他們分別是:
1. HSSFWorkbook :??一般用于Excel2003版及更早版本(擴展名為.xls)的導(dǎo)出牵素。一張表最大支持65536行數(shù)據(jù),256列澄者。也就是說excel2003完全不可能滿足百萬數(shù)據(jù)導(dǎo)出的需求笆呆。但是 可以通過分表進行實現(xiàn)百萬數(shù)據(jù)需求。
2. XSSFWorkbook:? ?一般用于Excel2007版(擴展名為.xlsx)的導(dǎo)出粱挡。一張表最大支持1048576行赠幕,16384列;
3. SXSSFWorkbook:? SXSSFWorkbook:是操作Excel2007后的版本询筏,擴展名是.xlsx榕堰;大數(shù)據(jù)量導(dǎo)出格式 ?可以千萬數(shù)據(jù)級別
簡述:
HSSFWorkbook:
????????POI導(dǎo)出excel最常用的方式;但是此種方式的局限就是導(dǎo)出的行數(shù)至多為65535行屈留,超出65536條后系統(tǒng)就會報錯局冰。此方式因為行數(shù)不足七萬行所以一般不會發(fā)生內(nèi)存不足的情況(? ?OOM)。
XSSFWorkbook
????????這種形式的出現(xiàn)是為了突破HSSFWorkbook的65535行局限灌危。其對應(yīng)的是excel2007(1048576行,16384列)擴展名為“.xlsx”碳胳,最多可以導(dǎo)出104萬行勇蝙,不過這樣就伴隨著一個問題---OOM內(nèi)存溢出,原因是你所創(chuàng)建的book sheet row cell等此時是存在內(nèi)存的并沒有持久化挨约。
SXSSFWorkbook
從POI 3.8版本開始味混,提供了一種基于XSSF的低內(nèi)存占用的SXSSF方式。對于大型excel文件的創(chuàng)建诫惭,一個關(guān)鍵問題就是翁锡,要確保不會內(nèi)存溢出。其實夕土,就算生成很小的excel(比如幾Mb)馆衔,它用掉的內(nèi)存是遠大于excel文件實際的size的瘟判。如果單元格還有各種格式(比如,加粗角溃,背景標(biāo)紅之類的)拷获,那它占用的內(nèi)存就更多了。對于大型excel的創(chuàng)建且不會內(nèi)存溢出的减细,就只有SXSSFWorkbook了匆瓜。它的原理很簡單,用硬盤空間換內(nèi)存(就像hash map用空間換時間一樣)未蝌。
SXSSFWorkbook
?????????是streaming版本的XSSFWorkbook,它只會保存最新的excel rows在內(nèi)存里供查看驮吱,在此之前的excel rows都會被寫入到硬盤里(Windows電腦的話,是寫入到C盤根目錄下的temp文件夾)萧吠。被寫入到硬盤里的rows是不可見的/不可訪問的糠馆。只有還保存在內(nèi)存里的才可以被訪問到。
注意:
SXSSF與XSSF的對比:
a. 在一個時間點上怎憋,只可以訪問一定數(shù)量的數(shù)據(jù)
b. 不再支持Sheet.clone()
c. 不再支持公式的求值
d. 在使用Excel模板下載數(shù)據(jù)時將不能動態(tài)改變表頭又碌,因為這種方式已經(jīng)提前把excel寫到硬盤的了就不能再改了
以下是我做的一個小測試:
分別使用HSSFWorkbook??XSSFWorkbookSXSSFWorkbook? 導(dǎo)出10000、20000绊袋、30000毕匀、40000、50000癌别、60000皂岔、100000、150000展姐、200000躁垛、500000、1000000條數(shù)據(jù)圾笨。
備注:導(dǎo)出邏輯基本是最簡單的教馆,從數(shù)據(jù)庫中取出數(shù)據(jù),然后就是寫入表中擂达,無復(fù)雜邏輯土铺,以下數(shù)據(jù)僅供參考。
注意:使用HSSFWorkbook在導(dǎo)出超過50000條數(shù)據(jù)時板鬓,使用的是同一個HSSFWorkbook創(chuàng)建多個Sheet實現(xiàn)的悲敷,因為HSSFWorkbook每張表(Sheet)中最多只能存65536條數(shù)據(jù),為了避免報內(nèi)存溢出錯誤俭令,所以控制每張表中存儲50000條數(shù)據(jù)后德。
數(shù)據(jù)量/耗時
總結(jié):
以上數(shù)據(jù)均為一次性測得,沒有進行多次重復(fù)測試取平均值抄腔,所以數(shù)據(jù)僅供參考:
根據(jù)測試數(shù)據(jù)我們可以看出:
首先在5萬條數(shù)據(jù)以內(nèi):
XSSFWorkbook耗時明顯比其他兩個耗時長瓢湃,而HSSFWorkbook和SXSSFWorkbook耗時基本相同理张。
當(dāng)數(shù)據(jù) 大于5萬條 小于50萬條 時,HSSFWorkbook采用分表策略存儲數(shù)據(jù)時:
???????XSSFWorkbook耗時依然明顯比其他兩個耗時長箱季,但是相比于HSSWorkbook優(yōu)勢就是他的數(shù)據(jù)在一個表中涯穷。而HSSFWorkbook和SXSSFWorkbook耗時基本相同。
當(dāng)數(shù)據(jù)大于50萬條時:
XSSFWorkbook按照原理來說他的上限是100萬左右藏雏,但是相比于SXSSFWorkbook來說拷况,還是SXSSFWorkbook耗時最短,所以SXSSFWorkbook更適合處理大數(shù)據(jù)量掘殴。
數(shù)據(jù)量/文件空間占用
以上數(shù)據(jù)均為一次性測得赚瘦,沒有進行多次重復(fù)測試取平均值,所以數(shù)據(jù)僅供參考:
根據(jù)測試數(shù)據(jù)我們可以看出:
????????按照上面圖示規(guī)律可以看出奏寨,數(shù)據(jù)量不斷增加情況下起意,使用三種方式導(dǎo)出excel文件大小呈現(xiàn)平穩(wěn)上升趨勢,最終比較是HSSFWorkbook和SXSSFWorkbook占用空間較小病瞳。
總結(jié):
??通過相同數(shù)據(jù)量情況下 耗時和文件大小的比較揽咕,最后還是SXSSFWorkbook性能是比較好的,并且支持大數(shù)據(jù)量傳輸套菜。
以上內(nèi)容純屬個人見解亲善,如有錯誤或不妥之處請大家不吝賜教。謝謝逗柴!