pandas 讀取 csv 文件
import pandas as pd
test_df = pd.read_csv("./test.csv") # 將文件csv文件全部讀取
test_df = pd.read_csv(names=['a_from_lng','a_from_lat','b_from_lng','b_from_lat',],skiprows=10) # 讀取這四列數(shù)據(jù)宅静，并跳過前面10行
查看pandas的列名以及列數(shù)
test_df.columns # 列名
test_df.columns.size # 列數(shù)
test_df.shape[1] # 列數(shù)
pandas 查看某一列的全部數(shù)據(jù)或部分數(shù)據(jù)
test_df['a_from_lng'] # 查看該列全部數(shù)據(jù)
test_df['a_from_lng'].head() # 查看該列前面10條數(shù)據(jù)
test_df['a_from_lng'].head(100) # 查看該列前面100條數(shù)據(jù)
test_df['a_from_lng'].tail() # 查看該列最后10條數(shù)據(jù)
test_df['a_from_lng'].tail(100) # 該看該列最后100條數(shù)據(jù)
查看所有列或者制定列的統(tǒng)計信息
test_df.describe() # 所有列
test_df['a_from_lng'].describe() # 指定列
利用前面幾列的信息生成新的列
def distance(x1, y1, x2, y2):
return np.sqrt((x1-x2)**2+(y1-y2)**2)
test_df['start_distance_gap'] = map(lambda x1, y1, x2, y2: distance(x1, y1, x2, y2), \
test_df['a_from_lng'], test_df['a_from_lat'], test_df['b_from_lng'], test_df['b_from_lat'])
pandas 處理時間特征
# 增加小時和分鐘特征
a_setup_time = pd.DatetimeIndex(test_df['a_setup_time'])
test_df["a_setup_hour"] = pd.Index(a_setup_time).hour
test_df["a_setup_minute"] = pd.Index(a_setup_time).minute
pandas 刪除無用特征死讹，刪除列
test_df.drop('b_time', axis=1, inplace=True)
pandas 將csv文件保存到本地
test_df.to_csv('./feature.csv')
# 將特征文件保存，只保存第0鹤耍，1，2验辞，3列稿黄，并且不保存header（列名）
test_df.to_csv('./feature.csv', columns=[0, 1, 2, 3], header=False)
pandas將一個list加入到df中
useful_order_count = [balabala...]
test_df["useful"] = pd.Series(useful_order_count) # 在dataframe中增加新列useful，這個數(shù)據(jù)之前是一個list
DataFrame 轉(zhuǎn)換成 array 或 list
test_np = np.array(test_df) # np.ndarray()
test_list = test_np.tolist() # list
Series有多少不重復數(shù)據(jù)跌造，重復數(shù)據(jù)有多少
test_df['id'].value_counts()
輸出結(jié)果是每個值都對應了多少數(shù)量
查看某一列有多少不重復的數(shù)據(jù)
tmp = test_df.drop_duplicates(subset=['poi'])
print len(tmp)
查看DataFrame中有缺失值的列
na_count = test_df.isnull().sum().sort_values(ascending=False) # 找出test_df中有缺失值的列杆怕，并按照缺失的數(shù)量按照降序打印出來
na_count = na_count[na_count>0] # 只查看缺失的
na_rate = na_count / len(test_df)
na_data = pd.concat([na_count,na_rate],axis=1,keys=['count','ratio'])
pandas 獲得行名
test_df.index
pandas 顯示所有列的信息
pd.options.display.max_columns = None
將str轉(zhuǎn)換成時間
total_data_useful['Timestamp'] = pd.to_datetime(total_data_useful['Timestamp'])
dataframe 拼接
total_data = pd.concat([data1, data2, data3, data4, data5, data6]) # 按列拼接
total_data = pd.concat([data1, data2, data3, data4, data5, data6], axis=1) # 按行拼接
查看缺失數(shù)據(jù)
total= data_df.isnull().sum().sort_values(ascending=False)
percent = (data_df.isnull().sum()/data_df.isnull().count()).sort_values(ascending=False)
missing_data = pd.concat([total, percent], axis=1, keys=['Total','Percent'])
missing_data
對某一列進行歸一化
col_name = 'Total_Flow'
tmp = (data_df[col_name] - data_df[col_name].mean()) / data_df[col_name].std()
data_df = data_df.drop([col_name], axis=1)
data_df[col_name] = tmp
設置精度
data.to_csv('out.csv',index = False, float_format = '%.4f')
