DataFrame數(shù)據(jù)創(chuàng)建
在上一篇文章中已經(jīng)介紹過(guò)pandas中兩種重要類(lèi)型的數(shù)據(jù)結(jié)構(gòu)：Series類(lèi)型和DataFrame類(lèi)型鬼店，以及詳細(xì)講解了如何創(chuàng)建Series的數(shù)據(jù)吼虎。
本文介紹的是如何創(chuàng)建DataFrame型數(shù)據(jù)巷懈，也是pandas中最常用的數(shù)據(jù)類(lèi)型仇矾，必須掌握的尚胞，后續(xù)的所有連載文章幾乎都是基于DataFrame數(shù)據(jù)的操作郊愧。
導(dǎo)入庫(kù)
pandas和numpy建議通過(guò)anaconda安裝后使用喻粹；pymysql主要是python用來(lái)連接數(shù)據(jù)庫(kù)蟆融，然后進(jìn)行庫(kù)表操作的第三方庫(kù)，也需要先安裝
import numpy as np
import pandas as pd
from pandas import Series,DataFrame
import pymysql # 安裝：pip install pymysql
10種方式創(chuàng)建DataFrame數(shù)據(jù)
下面介紹的是通過(guò)不同的方式來(lái)創(chuàng)建DataFrame數(shù)據(jù)守呜，所有方式最終使用的函數(shù)都是：pd.DataFrame()
創(chuàng)建空DataFrame
1型酥、創(chuàng)建一個(gè)完全空的數(shù)據(jù)
創(chuàng)建一個(gè)空DataFrame數(shù)據(jù)，發(fā)現(xiàn)什么也沒(méi)有輸出查乒；但是通過(guò)type()函數(shù)檢查發(fā)現(xiàn)：數(shù)據(jù)是DataFrame類(lèi)型
2弥喉、創(chuàng)建一個(gè)數(shù)值為NaN的數(shù)據(jù)
df0 = pd.DataFrame(
columns=['A','B','C'], # 指定列屬性
index=[0,1,2] # 指定行索引
)
df0
改變數(shù)據(jù)的行索引：
df0 = pd.DataFrame(
columns=['A','B','C'],
index=[1,2,3] # 改變行索引：從1開(kāi)始
)
df0
手動(dòng)創(chuàng)建DataFrame
將每個(gè)列字段的數(shù)據(jù)通過(guò)列表的形式列出來(lái)
df1 = pd.DataFrame({
"name":["小明","小紅","小侯","小周","小孫"],
"sex":["男","女","女","男","男"],
"age":[20,19,28,27,24],
"class":[1,2,2,1,2]
})
df1
讀取本地文件創(chuàng)建
pandas可以通過(guò)讀取本地的Excel、CSV玛迄、JSON等文件來(lái)創(chuàng)建DataFrame數(shù)據(jù)
1由境、讀取CSV文件
比如曾經(jīng)爬到的一份成都美食的數(shù)據(jù)，是CSV格式的：
df2 = pd.read_csv("成都美食.csv") # 括號(hào)里面填寫(xiě)文件的路徑：本文的文件在當(dāng)然目錄下
df2
2憔晒、讀取Excel文件
如果是Excel文件藻肄，也可以進(jìn)行讀让镂琛：
df3 = pd.read_excel("成都美食.xlsx")
df3.head() # 默認(rèn)顯示前5行數(shù)據(jù)
3、讀取json文件
比如本地當(dāng)前目錄下有一份json格式的數(shù)據(jù)：
通過(guò)pandas讀取進(jìn)來(lái)：
df4 = pd.read_json("information.json")
df4
4嘹屯、讀取TXT文件
本地當(dāng)前目錄有一份TXT文件攻询，如下圖：
df5 = pd.read_table("text.txt")
df5
上圖中如果不指定任何參數(shù)：pandas會(huì)將第一行數(shù)據(jù)作為列字段（不是我們想要的結(jié)果），指定參數(shù)修改后的代碼：
df7 = pd.read_table(
"text.txt", # 文件路徑
names=["姓名","年齡","性別","省份"], # 指定列屬性
sep=" " # 指定分隔符：空格
)
df7
另外的一種解決方法就是：直接修改txt文件州弟，在最上面加上我們想要的列字段屬性：這樣最上面的一行數(shù)據(jù)便會(huì)當(dāng)做列字段
姓名 年齡 性別 出生地
小明 20 男 深圳
小紅 19 女 廣州
小孫 28 女 北京
小周 25 男 上海
小張 22 女 杭州
讀取數(shù)據(jù)庫(kù)文件創(chuàng)建
1钧栖、先安裝pymysql
本文中介紹的是通過(guò)pymysql庫(kù)來(lái)操作數(shù)據(jù)庫(kù)，然后將數(shù)據(jù)通過(guò)pandas讀取進(jìn)來(lái)婆翔，首先要先安裝下pymysql庫(kù)（假裝你會(huì)了）：
pip install pymysql
首先看下本地?cái)?shù)據(jù)庫(kù)中一個(gè)表中的數(shù)據(jù)：讀取Student表中的全部數(shù)據(jù)
數(shù)據(jù)真實(shí)樣子如下圖：
2拯杠、建立連接
connection = pymysql.connect(
host="IP地址",
port=端口號(hào),
user="用戶(hù)名",
password="密碼",
charset="字符集",
db="庫(kù)名"
)
cur = connection.cursor() # 建立游標(biāo)
# 待執(zhí)行的SQL語(yǔ)句
sql = """
select * from Student
"""
# 執(zhí)行SQL
cur.execute(sql)
3、返回執(zhí)行的結(jié)果
data = []
for i in cur.fetchall():
data.append(i) # 將每條結(jié)果追加到列表中
data
4啃奴、創(chuàng)建成DataFrame數(shù)據(jù)
df8 = pd.DataFrame(data,columns=["學(xué)號(hào)","姓名","出生年月","性別"]) # 指定每個(gè)列屬性名稱(chēng)
df8
使用python字典創(chuàng)建
1潭陪、包含列表的字典創(chuàng)建
# 1、包含列表的字典
dic1 = {"name":["小明","小紅","小孫"],
"age":[20,18,27],
"sex":["男","女","男"]
}
dic1
df9 = pd.DataFrame(dic1,index=[0,1,2])
df9
2最蕾、字典中嵌套字典進(jìn)行創(chuàng)建
# 嵌套字典的字典
dic2 = {'數(shù)量':{'蘋(píng)果':3,'梨':2,'草莓':5},
'價(jià)格':{'蘋(píng)果':10,'梨':9,'草莓':8},
'產(chǎn)地':{'蘋(píng)果':'陜西','梨':'山東','草莓':'廣東'}
}
dic2
# 結(jié)果
{'數(shù)量': {'蘋(píng)果': 3, '梨': 2, '草莓': 5},
'價(jià)格': {'蘋(píng)果': 10, '梨': 9, '草莓': 8},
'產(chǎn)地': {'蘋(píng)果': '陜西', '梨': '山東', '草莓': '廣東'}}
創(chuàng)建結(jié)果為：
python列表創(chuàng)建
1依溯、使用默認(rèn)的行索引
lst = ["小明","小紅","小周","小孫"]
df10 = pd.DataFrame(lst,columns=["姓名"])
df10
可以對(duì)索引進(jìn)行修改：
lst = ["小明","小紅","小周","小孫"]
df10 = pd.DataFrame(
lst,
columns=["姓名"],
index=["a","b","c","d"] # 修改索引
)
df10
3、列表中嵌套列表
# 嵌套列表形式
lst = [["小明","20","男"],
["小紅","23","女"],
["小周","19","男"],
["小孫","28","男"]
]
df11 = pd.DataFrame(lst,columns=["姓名","年齡","性別"])
df11
python元組創(chuàng)建
元組創(chuàng)建的方式和列表比較類(lèi)似：可以是單層元組瘟则，也可以進(jìn)行嵌套黎炉。
1、單層元組創(chuàng)建
# 單層元組
tup = ("小明","小紅","小周","小孫")
df12 = pd.DataFrame(tup,columns=["姓名"])
df12
2醋拧、元組的嵌套
# 嵌套元組
tup = (("小明","20","男"),
("小紅","23","女"),
("小周","19","男"),
("小孫","28","男")
)
df13 = pd.DataFrame(tup,columns=["姓名","年齡","性別"])
df13
使用Series數(shù)據(jù)創(chuàng)建
DataFrame 是將數(shù)個(gè) Series 按列合并而成的二維數(shù)據(jù)結(jié)構(gòu)慷嗜，每一列單獨(dú)取出來(lái)是一個(gè) Series ，所以我們可以直接通過(guò)Series數(shù)據(jù)進(jìn)行創(chuàng)建丹壕。
series = {'水果':Series(['蘋(píng)果','梨','草莓']),
'數(shù)量':Series([60,50,100]),
'價(jià)格':Series([7,5,18])
}
df15 = pd.DataFrame(series)
df15
numpy數(shù)組創(chuàng)建
1庆械、使用numpy中的函數(shù)進(jìn)行創(chuàng)建
# 1、使用numpy生成的數(shù)組
data1 = {
"one":np.arange(4,10), # 產(chǎn)生6個(gè)數(shù)據(jù)
"two":range(100,106),
"three":range(20,26)
}
df16 = pd.DataFrame(
data1,
index=['A','B','C','D','E','F'] # 索引長(zhǎng)度和數(shù)據(jù)長(zhǎng)度相同
)
df16
2雀费、直接通過(guò)numpy數(shù)組創(chuàng)建
# 2干奢、numpy數(shù)組創(chuàng)建
# reshape()函數(shù)改變數(shù)組的shape值
data2 = np.array(["小明","廣州",175,"小紅","深圳",165,"小周","北京",170,"小孫","上海",180]).reshape(4,3)
data2
df17 = pd.DataFrame(
data2, # 傳入數(shù)據(jù)
columns=["姓名","出生地","身高"], # 列屬性
index=[0,1,2,3] # 行索引
)
df17
3、使用numpy中的隨機(jī)函數(shù)
# 3盏袄、numpy中的隨機(jī)函數(shù)生成
# 創(chuàng)建姓名忿峻、學(xué)科、學(xué)期辕羽、班級(jí)4個(gè)列表
name_list = ["小明","小紅","小孫","小周","小張"]
subject_list = ["語(yǔ)文","數(shù)學(xué)","英文","生物","物理","地理","化學(xué)","體育"]
semester_list = ["上","下"]
class_list = [1,2,3]
# 生成40個(gè)分?jǐn)?shù)：在50-100之間
score_list = np.random.randint(50,100,40).tolist() # 50-100之間選擇40個(gè)數(shù)
隨機(jī)生成的40個(gè)分?jǐn)?shù)：
通過(guò)numpy中的random模塊的choice方法進(jìn)行數(shù)據(jù)的隨機(jī)生成：
df18 = pd.DataFrame({
"name": np.random.choice(name_list,40,replace=True), # replace=True表示抽取后放回（默認(rèn)）逛尚，所以存在相同值
"subject": np.random.choice(subject_list,40),
"semester": np.random.choice(semester_list,40),
"class":np.random.choice(class_list,40),
"score": score_list
})
df18
使用構(gòu)建器創(chuàng)建from_dict
pandas中有一個(gè)和字典相關(guān)的構(gòu)建器：DataFrame.from_dict 。
它接收字典組成的字典或數(shù)組序列字典刁愿，并生成 DataFrame绰寞。除了 orient 參數(shù)默認(rèn)為 columns，本構(gòu)建器的操作與 DataFrame 構(gòu)建器類(lèi)似。把 orient 參數(shù)設(shè)置為 'index'滤钱， 即可把字典的鍵作為行標(biāo)簽觉壶。
df19 = pd.DataFrame.from_dict(dict([('姓名', ['小明', '小紅', '小周']),
('身高', [178, 165, 196]),
('性別',['男','女','男']),
('出生地',['深圳','上海','北京'])
])
)
df19
還可以通過(guò)參數(shù)指定行索引和列字段名稱(chēng)：
df20 = pd.DataFrame.from_dict(dict([('姓名', ['小明', '小紅', '小周']),
('身高', [178, 165, 196]),
('性別',['男','女','男']),
('出生地',['深圳','上海','北京'])
]),
orient='index', # 將字典的鍵作為行索引
columns=['one', 'two', 'three'] # 指定列字段名稱(chēng)
)
df20
使用構(gòu)建器from_records
pandas中還有另一個(gè)支持元組列表或結(jié)構(gòu)數(shù)據(jù)類(lèi)型（dtype）的多維數(shù)組的構(gòu)建器：from_records
data3 = [{'身高': 173, '姓名': '張三','性別':'男'},
{'身高': 182, '姓名': '李四','性別':'男'},
{'身高': 165, '姓名': '王五','性別':'女'},
{'身高': 170, '姓名': '小明','性別':'女'}]
df21 = pd.DataFrame.from_records(data3)
df21
還可以傳入列表中嵌套元組的結(jié)構(gòu)型數(shù)據(jù)：
data4 = [(173, '小明', '男'),
(182, '小紅', '女'),
(161, '小周', '女'),
(170, '小強(qiáng)', '男')
]
df22 = pd.DataFrame.from_records(data4,
columns=['身高', '姓名', '性別']
)
df22
總結(jié)
數(shù)據(jù)幀(DataFrame)是pandas中的二維數(shù)據(jù)結(jié)構(gòu)，即數(shù)據(jù)以行和列的表格方式排列件缸，類(lèi)似于 Excel 铜靶、SQL 表，或 Series 對(duì)象構(gòu)成的字典他炊。它在pandas中是經(jīng)常使用争剿，本身就是多個(gè)Series類(lèi)型數(shù)據(jù)的合并。
本文介紹了10種不同的方式創(chuàng)建DataFrame痊末，最為常見(jiàn)的是通過(guò)讀取文件的方式進(jìn)行創(chuàng)建蚕苇，然后對(duì)數(shù)據(jù)幀進(jìn)行處理和分析。希望本文能夠?qū)ψx者朋友掌握數(shù)據(jù)幀DataFrame的創(chuàng)建有所幫助凿叠。
下一篇文章的預(yù)告：如何在DataFrame中查找滿(mǎn)足我們需求的數(shù)據(jù)
