需要實現(xiàn)的功能
- 新建數(shù)據(jù)庫之前瑟曲,檢查是否已存在
- 新建數(shù)據(jù)表之前舒岸,檢查是否已存在
- 測試用的數(shù)據(jù)庫及數(shù)據(jù)表块饺,在測試完后刪除
以下為具體實現(xiàn)
判斷數(shù)據(jù)庫存在并創(chuàng)建
使用SqlAlchemy連接MySQL數(shù)據(jù)庫的步驟:
1谨究、創(chuàng)建連接用的url
2莹汤、判斷該url是否為一個已存在的數(shù)據(jù)庫拴袭。若不存在读第,則應(yīng)首先創(chuàng)建該數(shù)據(jù)庫。
3拥刻、新建連接engine
4怜瞒、連接數(shù)據(jù)庫
創(chuàng)建連接用的 url
db_url = ‘mysql+pymysql://username:password@localhost:port/db_name
檢查數(shù)據(jù)庫是否存在
需要從`sqlalchemy_utils`庫中導(dǎo)入`database_exists`和`create_database`
from sqlalchemy_utils import database_exists, create_database`
# 檢查數(shù)據(jù)庫是否存在,并創(chuàng)建
if not database_exists(db_url):
create_database(db_url, encoding='utf8')
# 新建連接engine
engine = create_engine(db_url)
# 連接數(shù)據(jù)庫
conn = engine.connect()
判斷數(shù)據(jù)表存在并創(chuàng)建
通過engine的table_names()方法返回當(dāng)前數(shù)據(jù)庫里所有表名稱般哼,從而判斷某個數(shù)據(jù)表table_name是否存在
由于是通過pandas來存儲和讀取數(shù)據(jù)表吴汪,因此即便表不存在,可以直接用pandas.to_sql
保存蒸眠,不必提前創(chuàng)建表結(jié)構(gòu)漾橙,省去了寫sql語句的麻煩。
if table_name not in engine.table_names():
df.to_sql(table_name, con=conn, index=False) # 如果表不存在楞卡,則直接保存
若表存在霜运,則最好先檢查待存DataFrame的列標(biāo)簽是否與當(dāng)前表的表頭一致。此處需要用到sqlalchemy.inspect
蒋腮,具體為:
from sqlalchemy import inspect
inspector = inspect(engine)
# 返回某個數(shù)據(jù)表里的列名
columns_dict_list = inspector(table_name) # 返回的是一個字典的列表淘捡,列表中每個元素的’name’鍵對應(yīng)該數(shù)據(jù)表的一個列名
columns = [item[‘name’] for item in columns_dict_list]
比較兩組數(shù)據(jù)表的列名,無誤后即可繼續(xù)使用pandas.to_sql
向已有的數(shù)據(jù)表添加數(shù)據(jù)池摧,其中參數(shù)if_exists
的值為append
:
if df_columns == columns: # df_columns是待存儲DataFrame的列名列表
df.to_sql(table_name, con=conn, if_exists=‘a(chǎn)ppend’)
刪除測試時添加的數(shù)據(jù)庫表
筆者目前沒有在sqlalchemy中找到刪除數(shù)據(jù)庫表的方法案淋,所以只能使用sqlalchemy_utils
庫的drop_database
來刪除數(shù)據(jù)庫,使用pymysql
庫及sql語句來刪除數(shù)據(jù)表险绘。
刪除數(shù)據(jù)表
import pymysql
# 使用pymysql建立與數(shù)據(jù)庫的連接:
pymysql_conn = pymysql.connect(‘localhost, username, password, db_name, charset=‘utf8’)
# 刪除數(shù)據(jù)表的sql語句:
drop_table_sql = ‘drop table %s’ %table_name
cursor = pymysql_conn.cursor()
cursor.execute(drop_table_sql)
pymysql_conn.close()
刪除數(shù)據(jù)庫
from sqlalchemy_utils import drop_database
drop_database(db_url) # db_url是通過sqlalchemy連接數(shù)據(jù)庫所使用的url