傳送門
- 十分鐘掌握pandas中文版：https://blog.csdn.net/brook_/article/details/80791473
- 速查手冊中文版： https://blog.csdn.net/qq_33399185/article/details/60872853
若無特殊說明蝎亚，以下操作環(huán)境均在jupyter notebook中
1. 檢查當前使用版本
import pandas
print(pandas.__version__)
若返回的非最新版本，可通過在cmd中輸入指令升級
conda update pandas
系統(tǒng)會自動下載安裝最新包，安裝好后重啟jupyter notebook即可
2. 讀取文件（簡）
- 一般先將所要讀取的文件轉為csv或者txt格式
- 文件路徑格式：\\或者/
- 使用函數(shù)read_csv或者read_table症副，前者默認sep = ','捞稿，后者默認sep = '\t'（稍后作詳細說明）
- windows環(huán)境中讀取/導出文件時若出現(xiàn)編碼問題宛蚓，可嘗試通過設置encoding = 'gbk'解決钞楼。（讀取時也可先用記事本打開蜈亩，另存為編碼utf-8的文件）
import pandas as pd df = pd.read_csv('C:\\Users\\admin\\Desktop\\filename.csv', sep = ',')
3. Series
- 定義：一種類似于一維數(shù)組的對象谅辣，由一列數(shù)據(jù)和一列索引組成
- 創(chuàng)建：
#第一種：默認索引 import pandas as pd s1 = pd.Series(range(0,5)) s1#圖s1#第二種：字典轉Series修赞，key為索引 import pandas as pd dic = {'a':0,'b':1,'c':2,'d':3,'e':4,'f':5} s2 = pd.Series(dic) s2#圖s2#第三種：字符串轉列表，元素為索引桑阶。若為單值柏副，則填充所有索引位對應值 import pandas as pd s3 = pd.Series(3, index = list('abcd')) s3#圖s3返回
s1.png
s2.png
s3.png - 操作
#選取 s2['a'] s2['a','c','d'] #運算 s2[s2 > 2] #篩選大于2的元素，返回包含索引 s2 * 2 #對所有元素*2 s2 + s3 #自動對齊蚣录，缺失值以NaN填充 #判斷 'a' in s2 #修改索引 s3.index = ['e','f','g','h'] #重新索引 s3.reindex(['d','c','b','a','x'], methon = 'ffill' ) #丟棄指定軸上的項 s3.drop('a') #索引切片 s3['b':'c'] #包含末端 #排序和排名 s3.order() s3.rank(methon = 'max', ascending = False) #唯一值 s3.unique().sort() #值頻率 s3.value_counts() 或 pd.value_counts(s3.values, sort = False) #成員資格 s3.isin(['a','b']) #過濾缺失值 s3.dropna()
4.DataFrame
- 定義：二維（或高維）數(shù)據(jù)結構割择，每列數(shù)據(jù)類型可以不同，行和列都有索引
- 創(chuàng)建：
#第一種：等長列表或Numpy數(shù)組組成的字典
data = {'state' : ['Ohio','Ohio','Ohio','Nevada','Nevada'],
'year' : [2001, 2001, 2002, 2001, 2002],
'pop' : [1.5, 1.7, 3.6, 2.4, 2.9]}
frame = DataFrame(data, columns = ['year', 'state', 'pop'], index = ['one','two','three',' four','five'])
#如果傳入的列在數(shù)據(jù)中找不到萎河，則以NaN填充
#第二種：嵌套字典
pop = {'Nevada' : {2001: 12.4. 2002: 2.9}, 'Ohio' : {2000 : 1.5, 2001: 1.7, 2002: 3.6}}
frame2 = DataFrame(pop)
- 操作
#選取單列荔泳，返回Series
frame['state']
frame.year
#選取單行，返回Series
frame.ix['three']
#修改值
frame['state'] = 'Ohio'
frame['year'] = np.range(2000,2005) #長度必須匹配
#如果傳入的數(shù)組有索引公壤，則按索引對應修改值
#為不存在的列賦值則產(chǎn)生新列
frame['state2'] = frame.state == 'Ohio'
#轉置
frame.T
#重新索引
frame.reindex(index = ['two', 'one'], columns = ['year', 'others'], method = 'bfill')
#或
frame.ix[ ['two','one'], ['year', 'others']]
#丟棄指定軸上的項
frame.drop(['one','two'])
frame.drop('year', axis = 0)
#切片换可，即多行多列
frame[:2]
frame[frame['year'] > 2001]
frame.ix[:'three', 'year']
frame.ix[frame.year > 2001, :2]
#算術運算
df1 + df2 #行列同時對齊
df1.add(df2, fill_value = 0)
#廣播
df - df.ix[0] #df所有行都會按列索引與df[0]相減
df.sub(df['a'], axis = 0)
#函數(shù)應用和映射
f = lambda x: x.max() - x.min()
df.apply(f) #對每一列最大值-最小值
df.apply(f, axis = 1) #對每一行 最大值- 最小值
format = lambda x: '%.2f' %x
frame.applymap(format) #元素級應用
#排序和排名
frame.sort_index(by = ['a','b'])
frame.sort_index(axis = 1, ascending = False)
frame.rank(axis = 1)#對每列內(nèi)部排名
#描述統(tǒng)計
df.sum(axis = 1,skipna = False)
df.cusum()#累加
df.describe()
#相關系數(shù)和協(xié)方差
#略
#過濾缺失值
df.dropna(axis = 1, how = 'all')
#填充缺失數(shù)據(jù)
df.fillna(0)
df.fillna({'a':1,'b':2}) #不同列填充不同值
#注：fillna默認返回新對象，但也可以對現(xiàn)有對象就地修改：
_ = df.fillna(0, inplace = True)
#層次化索引
#略
#列與索引轉換
df.set_index('a', drop = False) #列轉為索引厦幅，保留列
df.reset_index() #索引轉為列
