POI 簡述


前言:??????

????????用JavaPOI導(dǎo)出Excel時慰枕,我們需要考慮到Excel版本及數(shù)據(jù)量的問題亭姥。針對不同的Excel版本,要采用不同的工具類篱瞎,如果使用錯了苟呐,會出現(xiàn)錯誤信息。Java POI導(dǎo)出Excel有三種形式俐筋,他們分別是:

1. HSSFWorkbook :??一般用于Excel2003版及更早版本(擴展名為.xls)的導(dǎo)出牵素。一張表最大支持65536行數(shù)據(jù),256列澄者。也就是說excel2003完全不可能滿足百萬數(shù)據(jù)導(dǎo)出的需求笆呆。但是 可以通過分表進行實現(xiàn)百萬數(shù)據(jù)需求。

2. XSSFWorkbook:? ?一般用于Excel2007版(擴展名為.xlsx)的導(dǎo)出粱挡。一張表最大支持1048576行赠幕,16384列;

3. SXSSFWorkbook:? SXSSFWorkbook:是操作Excel2007后的版本询筏,擴展名是.xlsx榕堰;大數(shù)據(jù)量導(dǎo)出格式 ?可以千萬數(shù)據(jù)級別


簡述:

HSSFWorkbook:

????????POI導(dǎo)出excel最常用的方式;但是此種方式的局限就是導(dǎo)出的行數(shù)至多為65535行屈留,超出65536條后系統(tǒng)就會報錯局冰。此方式因為行數(shù)不足七萬行所以一般不會發(fā)生內(nèi)存不足的情況(? ?OOM)。

XSSFWorkbook

????????這種形式的出現(xiàn)是為了突破HSSFWorkbook的65535行局限灌危。其對應(yīng)的是excel2007(1048576行,16384列)擴展名為“.xlsx”碳胳,最多可以導(dǎo)出104萬行勇蝙,不過這樣就伴隨著一個問題---OOM內(nèi)存溢出,原因是你所創(chuàng)建的book sheet row cell等此時是存在內(nèi)存的并沒有持久化挨约。

SXSSFWorkbook

從POI 3.8版本開始味混,提供了一種基于XSSF的低內(nèi)存占用的SXSSF方式。對于大型excel文件的創(chuàng)建诫惭,一個關(guān)鍵問題就是翁锡,要確保不會內(nèi)存溢出。其實夕土,就算生成很小的excel(比如幾Mb)馆衔,它用掉的內(nèi)存是遠大于excel文件實際的size的瘟判。如果單元格還有各種格式(比如,加粗角溃,背景標(biāo)紅之類的)拷获,那它占用的內(nèi)存就更多了。對于大型excel的創(chuàng)建且不會內(nèi)存溢出的减细,就只有SXSSFWorkbook了匆瓜。它的原理很簡單,用硬盤空間換內(nèi)存(就像hash map用空間換時間一樣)未蝌。

SXSSFWorkbook

?????????是streaming版本的XSSFWorkbook,它只會保存最新的excel rows在內(nèi)存里供查看驮吱,在此之前的excel rows都會被寫入到硬盤里(Windows電腦的話,是寫入到C盤根目錄下的temp文件夾)萧吠。被寫入到硬盤里的rows是不可見的/不可訪問的糠馆。只有還保存在內(nèi)存里的才可以被訪問到。

注意:

SXSSF與XSSF的對比:

a. 在一個時間點上怎憋,只可以訪問一定數(shù)量的數(shù)據(jù)

b. 不再支持Sheet.clone()

c. 不再支持公式的求值

d. 在使用Excel模板下載數(shù)據(jù)時將不能動態(tài)改變表頭又碌,因為這種方式已經(jīng)提前把excel寫到硬盤的了就不能再改了


以下是我做的一個小測試:

分別使用HSSFWorkbook??XSSFWorkbookSXSSFWorkbook? 導(dǎo)出10000、20000绊袋、30000毕匀、40000、50000癌别、60000皂岔、100000、150000展姐、200000躁垛、500000、1000000條數(shù)據(jù)圾笨。

備注:導(dǎo)出邏輯基本是最簡單的教馆,從數(shù)據(jù)庫中取出數(shù)據(jù),然后就是寫入表中擂达,無復(fù)雜邏輯土铺,以下數(shù)據(jù)僅供參考。

注意:使用HSSFWorkbook在導(dǎo)出超過50000條數(shù)據(jù)時板鬓,使用的是同一個HSSFWorkbook創(chuàng)建多個Sheet實現(xiàn)的悲敷,因為HSSFWorkbook每張表(Sheet)中最多只能存65536條數(shù)據(jù),為了避免報內(nèi)存溢出錯誤俭令,所以控制每張表中存儲50000條數(shù)據(jù)后德。

數(shù)據(jù)量/耗時

不同模板導(dǎo)出 數(shù)據(jù)量/耗時 對比圖

總結(jié):

以上數(shù)據(jù)均為一次性測得,沒有進行多次重復(fù)測試取平均值抄腔,所以數(shù)據(jù)僅供參考:

根據(jù)測試數(shù)據(jù)我們可以看出:

首先在5萬條數(shù)據(jù)以內(nèi):

XSSFWorkbook耗時明顯比其他兩個耗時長瓢湃,而HSSFWorkbook和SXSSFWorkbook耗時基本相同理张。

當(dāng)數(shù)據(jù) 大于5萬條 小于50萬條 時,HSSFWorkbook采用分表策略存儲數(shù)據(jù)時:

???????XSSFWorkbook耗時依然明顯比其他兩個耗時長箱季,但是相比于HSSWorkbook優(yōu)勢就是他的數(shù)據(jù)在一個表中涯穷。而HSSFWorkbook和SXSSFWorkbook耗時基本相同。

當(dāng)數(shù)據(jù)大于50萬條時:

XSSFWorkbook按照原理來說他的上限是100萬左右藏雏,但是相比于SXSSFWorkbook來說拷况,還是SXSSFWorkbook耗時最短,所以SXSSFWorkbook更適合處理大數(shù)據(jù)量掘殴。


數(shù)據(jù)量/文件空間占用

數(shù)據(jù)量/文件空間占用 圖

以上數(shù)據(jù)均為一次性測得赚瘦,沒有進行多次重復(fù)測試取平均值,所以數(shù)據(jù)僅供參考:

根據(jù)測試數(shù)據(jù)我們可以看出:

????????按照上面圖示規(guī)律可以看出奏寨,數(shù)據(jù)量不斷增加情況下起意,使用三種方式導(dǎo)出excel文件大小呈現(xiàn)平穩(wěn)上升趨勢,最終比較是HSSFWorkbook和SXSSFWorkbook占用空間較小病瞳。


總結(jié):

??通過相同數(shù)據(jù)量情況下 耗時和文件大小的比較揽咕,最后還是SXSSFWorkbook性能是比較好的,并且支持大數(shù)據(jù)量傳輸套菜。

以上內(nèi)容純屬個人見解亲善,如有錯誤或不妥之處請大家不吝賜教。謝謝逗柴!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末蛹头,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子戏溺,更是在濱河造成了極大的恐慌渣蜗,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,036評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件旷祸,死亡現(xiàn)場離奇詭異耕拷,居然都是意外死亡,警方通過查閱死者的電腦和手機肋僧,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,046評論 3 395
  • 文/潘曉璐 我一進店門斑胜,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人嫌吠,你說我怎么就攤上這事〔籼浚” “怎么了辫诅?”我有些...
    開封第一講書人閱讀 164,411評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長涧狮。 經(jīng)常有香客問我炕矮,道長么夫,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,622評論 1 293
  • 正文 為了忘掉前任肤视,我火速辦了婚禮档痪,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘邢滑。我一直安慰自己腐螟,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,661評論 6 392
  • 文/花漫 我一把揭開白布困后。 她就那樣靜靜地躺著乐纸,像睡著了一般。 火紅的嫁衣襯著肌膚如雪摇予。 梳的紋絲不亂的頭發(fā)上汽绢,一...
    開封第一講書人閱讀 51,521評論 1 304
  • 那天,我揣著相機與錄音侧戴,去河邊找鬼宁昭。 笑死,一個胖子當(dāng)著我的面吹牛酗宋,可吹牛的內(nèi)容都是我干的积仗。 我是一名探鬼主播,決...
    沈念sama閱讀 40,288評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼本缠,長吁一口氣:“原來是場噩夢啊……” “哼斥扛!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起丹锹,我...
    開封第一講書人閱讀 39,200評論 0 276
  • 序言:老撾萬榮一對情侶失蹤稀颁,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后楣黍,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體匾灶,經(jīng)...
    沈念sama閱讀 45,644評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,837評論 3 336
  • 正文 我和宋清朗相戀三年租漂,在試婚紗的時候發(fā)現(xiàn)自己被綠了阶女。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,953評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡哩治,死狀恐怖秃踩,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情业筏,我是刑警寧澤憔杨,帶...
    沈念sama閱讀 35,673評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站蒜胖,受9級特大地震影響消别,放射性物質(zhì)發(fā)生泄漏抛蚤。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,281評論 3 329
  • 文/蒙蒙 一寻狂、第九天 我趴在偏房一處隱蔽的房頂上張望岁经。 院中可真熱鬧,春花似錦蛇券、人聲如沸缀壤。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,889評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽诉位。三九已至,卻和暖如春菜枷,著一層夾襖步出監(jiān)牢的瞬間苍糠,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,011評論 1 269
  • 我被黑心中介騙來泰國打工啤誊, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留岳瞭,地道東北人。 一個月前我還...
    沈念sama閱讀 48,119評論 3 370
  • 正文 我出身青樓蚊锹,卻偏偏與公主長得像瞳筏,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子牡昆,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,901評論 2 355

推薦閱讀更多精彩內(nèi)容