本次筆記內(nèi)容：
- 合并/刪除/計(jì)數(shù)重復(fù)行：groupby的用法
- 去掉一個(gè)dataframe中，行和為0的行
- data frame中out merge, inner merge等
- 對(duì)data frame中元素進(jìn)行批量操作（加和榄融，去除重復(fù)值）
- long data與wide data定義及其互相轉(zhuǎn)換：pandas.melt及pivot_table的用法
在R里將原始文件（如.csv）以data.frame導(dǎo)入時(shí)救湖，如果有重復(fù)行名鞋既，R會(huì)直接報(bào)錯(cuò)。雖然在python的pandas里不會(huì)跌前，但在檢查數(shù)據(jù)時(shí)需要注意重復(fù)行/列名稱的問題陡舅。重復(fù)行/列名稱可能為重復(fù)記錄，刪掉即可臂寝；可能為同一類別的兩種來源摊灭，需要合并帚呼。也有可能是其它需要特殊處理的情況皱蹦。
以下為一個(gè)查找重復(fù)行并計(jì)數(shù)有多少個(gè)重復(fù)行的例子:
- 需要鑒別
df.duplicated()和df.index.duplicated() - 要先檢查清楚：行/列名重復(fù)眷蜈，其行/列值也雷同嗎酌儒？
from collection import Counter # Counter可以當(dāng)作分類計(jì)數(shù)的工具
list = list(df.index.duplicated('first'))
# 除了第一個(gè)出現(xiàn)的重復(fù)值，其余的都標(biāo)記為True; "last"同理籍滴， False則為將所有重復(fù)值標(biāo)記為True
print Counter(list)
# 可以得到每個(gè)unique值的重復(fù)個(gè)數(shù)分別為多少榴啸，如：
# Counter({A: 5, B: 8, C: 90})
# 如果是重復(fù)列...其實(shí)可以.T轉(zhuǎn)置然后再折騰=_=
df.duplicated()
# 識(shí)別的是兩行內(nèi)容是否完全一致，不僅是rownames. print出來的結(jié)果是每個(gè)rowname, 對(duì)應(yīng)T or F
發(fā)現(xiàn)了重復(fù)行/列怎么辦勋功？
合并重復(fù)行：用groupby(level=0).sum()將重復(fù)行合并為一行
df_test = df.groupby(level=0).sum()
# level=0將df中行的unique值總結(jié)起來库说，以sum()的方式：
# 于是df_test為將df中重復(fù)的行合并為一行潜的，其每一列的值為重復(fù)行的相加求和
# 但是要注意只能針對(duì)df中的數(shù)值型變量。df_test中只包含數(shù)值型變量。
# 注意這里level=1不代表列纤掸，是在multi-index時(shí)使用
#合并重復(fù)列的話...轉(zhuǎn)置.T
刪除重復(fù)行/列：
df = df.drop_duplicates()
# 去除重復(fù)行借跪。兩行完全雷同，則只保留一個(gè)歇由。
df = df.loc[:, ~df.columns.duplicated()]
# 可以去除重復(fù)列果港，只要colnames重復(fù)了辛掠，就只保留第一個(gè)谢谦，后面的都刪掉了释牺。這意味著即使兩列不完全雷同，只保留第一列回挽。
# 也可以轉(zhuǎn)置.T再刪
實(shí)用的groupby: 更多參見這個(gè)鏈接
test.groupby(['colname']).sum()
test.groupby(['colname']).mean()
# 用于歸納總結(jié)一些分類型變量的規(guī)律没咙，在某一分類下其他變量的簡單統(tǒng)計(jì)
# 例子如下圖所示
去掉一個(gè)dataframe中，行和為0的行
df = df[(df.sum(axis = 1) != 0)]
Pandas.melt()的用法
首先需要明確long data和wide data的概念：對(duì)于一些數(shù)據(jù)千劈，存在單個(gè)樣本在同一個(gè)特征中有重復(fù)測量的情況祭刚。比如了解一個(gè)人每年的薪水怎樣，那么對(duì)薪水（income）這個(gè)變量墙牌，在每年都有一個(gè)測量值涡驮。
如下所示：
long data中會(huì)出現(xiàn)重復(fù)的行名，因?yàn)閷⒚總€(gè)測量值都單獨(dú)作為一條記錄遮怜，所以每個(gè)樣本會(huì)出現(xiàn)多行記錄。
wide data中不會(huì)出現(xiàn)重復(fù)的行名鸿市，每個(gè)樣本的重復(fù)測量值（repeated responses）按照單獨(dú)的列分列出來锯梁。
在R中可以使用reshape包實(shí)現(xiàn)wide data和long data的互相轉(zhuǎn)換，在Python中可以用pandas.melt()將wide data轉(zhuǎn)換為long data:
pd. melt(df, id_vars = ['A'], value_vars = ['B', 'C'])
# id_vars參數(shù)定義sample_ID, 即有重復(fù)測量的subjects列焰情，在轉(zhuǎn)化為Long data的時(shí)候這一列會(huì)出現(xiàn)多行重復(fù)值
# value_vars參數(shù)定義一個(gè)variable, 這個(gè)variable包括了value_vars定義的所有column names, 即將每個(gè)subject對(duì)應(yīng)的value_var值拿出來作為一條記錄出現(xiàn)在Long data中陌凳。
用pandas.pivot_table()將long data轉(zhuǎn)換為wide data:
df.pivot_table(values = 'value', index = ['A'], columns = 'variable')# values即定義每個(gè)記錄中的值，index定義以哪一列作為Index（即subjects）, columns定義以哪列作為columns展開成wide data
