python 存儲(chǔ)hdf文件

1.出現(xiàn)問(wèn)題

在使用hdf的時(shí)候洲脂，如果不指定格式，那么在存儲(chǔ)數(shù)據(jù)中存在string類型的數(shù)據(jù)往果，會(huì)出現(xiàn)如下警告一铅，這會(huì)導(dǎo)致導(dǎo)出的h5文件讀不出來(lái)。

PerformanceWarning: 
your performance may suffer as PyTables will pickle object types that it cannot
map directly to c-types [inferred_type->mixed,key->block0_values] [items->['000005',

這是因?yàn)槲覀兊臄?shù)據(jù)肮之，默認(rèn)都是unicode編碼格式卜录，而這個(gè)hdf對(duì)unicode的支持并不好，因此筐高，如果有字符串的列丑瞧，我們需要去轉(zhuǎn)換一次：

df["col1"] = df["col1"].str.decode("utf-8")

這么轉(zhuǎn)好之后，就不會(huì)出現(xiàn)警告稽屏，但是當(dāng)我們讀取數(shù)據(jù)的時(shí)候數(shù)據(jù)就都變成了float64灸促，還需要轉(zhuǎn)換成int涵卵，在轉(zhuǎn)換成string轿偎，也就是encode。

2.解決辦法（table格式的存儲(chǔ)）

我們?cè)俅嫒霐?shù)據(jù)的時(shí)候被廓，使用pd.HDFStore()坏晦，在put方法里指定一下存儲(chǔ)格式format="table"，這種方式不需要做轉(zhuǎn)換就可以嫁乘。

hstore = pd.HDFStore("F:\\get_data\\sw_2020_1.h5",mode="w")
hstore.put("sw_20",sw_20,format="table",append=False)
hstore.close()

這樣讀取的時(shí)候就不會(huì)出現(xiàn)問(wèn)題昆婿，
pd.read_hdf("F:\\get_data\\sw_2020_1.h5",key="sw_20")

3.pandas處理h5文件詳解

pandas中的HDFStore()用于生成管理HDF5文件IO操作的對(duì)象，其主要參數(shù)如下：
「path」：字符型輸入蜓斧，用于指定h5文件的名稱（不在當(dāng)前工作目錄時(shí)需要帶上完整路徑信息）
「mode」：用于指定IO操作的模式仓蛆，與Python內(nèi)建的open()中的參數(shù)一致，默認(rèn)為'a'挎春，即當(dāng)指定文件已存在時(shí)不影響原有數(shù)據(jù)寫入看疙，指定文件不存在時(shí)則新建文件；'r'直奋，只讀模式；'w'脚线，創(chuàng)建新文件（會(huì)覆蓋同名舊文件）搁胆；'r+'，與'a'作用相似邮绿，但要求文件必須已經(jīng)存在渠旁；
「complevel」：int型，用于控制h5文件的壓縮水平斯碌，取值范圍在0-9之間一死，越大則文件的壓縮程度越大，占用的空間越小傻唾，但相對(duì)應(yīng)的在讀取文件時(shí)需要付出更多解壓縮的時(shí)間成本投慈，默認(rèn)為0，代表不壓縮

• 1. 寫入數(shù)據(jù)的方式有兩種
     第一種方式利用鍵值對(duì)將不同的數(shù)據(jù)存入store對(duì)象中：
     hstore['s'], hstore['df'] = s, df
     第二種方式利用store對(duì)象的put()方法冠骄，其主要參數(shù)如下：
• key：指定h5文件中待寫入數(shù)據(jù)的key
• value：指定與key對(duì)應(yīng)的待寫入的數(shù)據(jù)
• format：字符型輸入伪煤，用于指定寫出的模式，'fixed'對(duì)應(yīng)的模式速度快凛辣，但是不支持追加也不支持檢索抱既；'table'對(duì)應(yīng)的模式以表格的模式寫出，速度稍慢扁誓，但是支持直接通過(guò)store對(duì)象進(jìn)行追加和表格查詢操作

使用put()方法將數(shù)據(jù)存入store對(duì)象中：

hstore.put(key='s', value=s,format="fixed");store.put(key='df', value=df,format="table")

既然是鍵值對(duì)的格式防泵，那么可以查看store的items屬性（注意這里store對(duì)象只有items和keys屬性蚀之，沒有values屬性.

• 2. 數(shù)據(jù)的刪除
     刪除store對(duì)象中指定數(shù)據(jù)的方法有兩種，一是使用remove()方法捷泞，傳入要?jiǎng)h除數(shù)據(jù)對(duì)應(yīng)的鍵：
     hstore.remove('s')
     二是使用Python中的關(guān)鍵詞del來(lái)刪除指定數(shù)據(jù)：
     del store['s']
• 3. hstore.close()
• 4. h5文件的讀取
     在pandas中讀入HDF5文件的方式主要有兩種足删，一是通過(guò)上一節(jié)中類似的方式創(chuàng)建與本地h5文件連接的IO對(duì)象，接著使用鍵索引或者store對(duì)象的get()方法傳入要提取數(shù)據(jù)的key來(lái)讀入指定數(shù)據(jù)：

hstore = pd.HDFStore('demo.h5')
'''方式1'''
df1 = store['df']
'''方式2'''
df2 = store.get('df')
df1 == df2

第二種讀入h5格式文件中數(shù)據(jù)的方法是pandas中的read_hdf()锁右，其主要參數(shù)如下：

• path_or_buf：傳入指定h5文件的名稱
• key：要提取數(shù)據(jù)的鍵
  需要注意的是利用read_hdf()讀取h5文件時(shí)對(duì)應(yīng)文件不可以同時(shí)存在其他未關(guān)閉的IO對(duì)象失受，否則會(huì)報(bào)錯(cuò)。

最后咏瑟，在處理非常大的數(shù)據(jù)時(shí)拂到，h5的存儲(chǔ)空間和讀取速度都優(yōu)于csv文件。

4 問(wèn)題

如果出現(xiàn)如下問(wèn)題码泞，是因?yàn)樾盅瑪?shù)據(jù)框中有string格式的數(shù)據(jù)，和int格式的數(shù)據(jù)浦夷，這種情況下辖试，可以將這兩種數(shù)據(jù)文件分來(lái)存儲(chǔ)辜王，設(shè)置不同的鍵-值劈狐。
ValueError: cannot set WRITEABLE flag to True of this array