這是全棧數(shù)據(jù)工程師養(yǎng)成攻略系列教程的第十二期:12 數(shù)據(jù)庫(kù) 用Python操作MySQL舵盈。
我們已經(jīng)接觸了如何使用Web工具phpMyAdmin和本地軟件Navicat操作MySQL边坤,現(xiàn)在再來(lái)了解下如何使用Python操作MySQL。
MySQLdb
MySQLdb是Python中操作MySQL的功能包辈讶,在命令行中使用pip安裝即可汹粤。
pip install mysql-python
如果可以在Python中import成功旦万,則表示安裝沒(méi)有問(wèn)題棋恼,否則還得繼續(xù)折騰。不過(guò)安裝和配置等事情畢竟是一勞永逸的脂崔,糾結(jié)一次滤淳,受益終身,絕知此事須躬行砌左。
import MySQLdb
建立連接
在Sublime中新建一個(gè)代碼脖咐,首先需要import相關(guān)的包铺敌。
import MySQLdb
import MySQLdb.cursors
打開(kāi)MAMP或者WAMP并啟動(dòng)Web服務(wù),使得MySQL運(yùn)行起來(lái)屁擅,可以通過(guò)訪問(wèn)phpMyAdmin管理頁(yè)面以確認(rèn)MySQL成功運(yùn)行偿凭。然后,使用以下代碼即可建立MySQL數(shù)據(jù)庫(kù)連接派歌,其中host為數(shù)據(jù)庫(kù)的主機(jī)地址弯囊,可以使用127.0.0.1
或localhost
表示本機(jī),user和passwd分別為數(shù)據(jù)庫(kù)的用戶名和密碼胶果,db表示接下來(lái)要操作的數(shù)據(jù)庫(kù)常挚,port和charset表示連接的端口和字符集。以上參數(shù)分別替換成實(shí)際值即可稽物,這里我們使用之前在本機(jī)數(shù)據(jù)庫(kù)中新建的douban
數(shù)據(jù)庫(kù),得到的cursor變量可用于執(zhí)行后續(xù)數(shù)據(jù)庫(kù)操作折欠。如果需要連接云端服務(wù)器的數(shù)據(jù)庫(kù)贝或,使用相應(yīng)的配置參數(shù)即可。
db = MySQLdb.connect(host='127.0.0.1', user='root', passwd='root', db='douban', port=8889, charset='utf8', cursorclass = MySQLdb.cursors.DictCursor)
db.autocommit(True)
cursor = db.cursor()
執(zhí)行操作
和數(shù)據(jù)庫(kù)相關(guān)的操作無(wú)非CURD四種锐秦,即Create咪奖、Update、Read酱床、Delete。要用到的數(shù)據(jù)可以在我的Github上找到昧捷,里面的data文件夾中除了上次的西游記小說(shuō)罐寨,還包括這次要用到的douban_movie_clean.txt
靡挥,其中包含一行表頭,之后每一行都是一條電影數(shù)據(jù)鸯绿,包括id跋破、title瓶蝴、url、cover舷手、rate等15個(gè)字段拧簸,字段之間以^
分割,主要是避免中文內(nèi)容里包括逗號(hào)導(dǎo)致沖突聚霜。
首先來(lái)看下如何向數(shù)據(jù)表中插入數(shù)據(jù)珠叔,以下代碼讀取douban_movie_clean.txt
中的數(shù)據(jù)并逐條插入數(shù)據(jù)表中弟劲。需要注意的是,數(shù)據(jù)表的結(jié)構(gòu)應(yīng)當(dāng)和需要插入的字段保持一致兔乞,即movie
表應(yīng)當(dāng)中包含主鍵id、標(biāo)題title霍骄、鏈接url、評(píng)分rate读整、時(shí)長(zhǎng)length咱娶、簡(jiǎn)介description六個(gè)字段。
# 讀取數(shù)據(jù)
fr = open('douban_movie_clean.txt', 'r')
count = 0
for line in fr:
count += 1
# count表示當(dāng)前處理到第幾行了
print count
# 跳過(guò)表頭
if count == 1:
continue
# strip()函數(shù)可以去掉字符串兩端的空白符
# split()函數(shù)按照給定的分割符將字符串分割為列表
line = line.strip().split('^')
# 插入數(shù)據(jù)屈糊,注意對(duì)齊字段
# execute()函數(shù)第一個(gè)參數(shù)為要執(zhí)行的SQL命令
# 這里用字符串格式化的方法生成一個(gè)模板
# %s表示一個(gè)占位符
# 第二個(gè)參數(shù)為需要格式化的參數(shù)琼了,傳入到模板中
cursor.execute("insert into movie(title, url, rate, length, description) values(%s, %s, %s, %s, %s)", [line[1], line[2], line[4], line[-3], line[-1]])
# 關(guān)閉讀文件
fr.close()
運(yùn)行以上代碼之后,在phpMyAdmin中選擇douban
數(shù)據(jù)庫(kù)中的movie
表昧诱,在Browse
標(biāo)簽頁(yè)下即可看到成功插入的數(shù)據(jù)所袁。點(diǎn)擊SQL
標(biāo)簽,輸入Select count(*) from movie
并點(diǎn)擊Go
執(zhí)行SQL命令纲熏,可以統(tǒng)計(jì)數(shù)據(jù)表中一共有多少條數(shù)據(jù)記錄。
接下來(lái)再了解下如何更新數(shù)據(jù)庫(kù)中的數(shù)據(jù)局劲。SQL命令可以根據(jù)給定的條件,更新滿足條件的記錄药有,例如改變記錄中的某些字段。既然每條數(shù)據(jù)都有唯一的主鍵id愤惰,不妨將id作為條件進(jìn)行更新。當(dāng)然也可以做一些更有意義的更新扇单,例如添加一個(gè)“電影時(shí)長(zhǎng)分類(lèi)”字段奠旺,然后對(duì)于每條記錄,如果時(shí)長(zhǎng)大于100鄙信,則“電影時(shí)長(zhǎng)分類(lèi)”更新為“長(zhǎng)電影”忿晕,否則更新為“短電影”。
# 更新需要提供條件践盼、需要更新的字段、更新的新值
# 以下對(duì)于id為1的記錄,將其title和length兩個(gè)字段進(jìn)行更新
cursor.execute("update movie set title=%s, length=%s where id=%s", ['全棧數(shù)據(jù)工程師養(yǎng)成攻略', 999, 1])
運(yùn)行以上代碼之后谅河,在phpMyAdmin中Browse
標(biāo)簽頁(yè)下即可看到确丢,id為1的記錄相應(yīng)字段確實(shí)已經(jīng)得到了更新。
然后就是最常用的讀取操作鲜侥,一方面是取出已有的數(shù)據(jù)進(jìn)行加工和計(jì)算得到新的結(jié)果并再次存儲(chǔ),另一方面是在Web項(xiàng)目中從后端取出數(shù)據(jù)傳遞到前端展示崎苗。讀取數(shù)據(jù)時(shí)可以僅讀取一條舀寓,也可以選擇多條;可以讀取全部字段必尼,也可以選擇部分字段;還可以按某個(gè)字段進(jìn)行排序判莉,使得讀取多條數(shù)據(jù)時(shí)的結(jié)果有序排列。
# 讀取全部數(shù)據(jù)的全部字段
cursor.execute("select * from movie")
movies = cursor.fetchall()
# 返回元組帮哈,每一項(xiàng)都是一個(gè)字典
# 對(duì)應(yīng)一條記錄的全部字段和字段值
print type(movies), len(movies), movies[0]
# 讀取一條數(shù)據(jù)的部分字段
# 返回一個(gè)字段渗饮,對(duì)應(yīng)所選擇的部分字段和字段值
cursor.execute("select id, title, url from movie")
movie = cursor.fetchone()
print type(movie), len(movie), movie
# 讀取一條數(shù)據(jù)的部分字段
# 按id降序排序,默認(rèn)為升序
cursor.execute("select id, title, url from movie order by id desc")
movie = cursor.fetchone()
print type(movie), len(movie), movie
最后是從數(shù)據(jù)庫(kù)中刪除數(shù)據(jù)私蕾,刪除數(shù)據(jù)是不可恢復(fù)的胡桃,所以務(wù)必需要謹(jǐn)慎操作,并一定要提供刪除條件容贝,這樣僅滿足刪除條件的記錄才會(huì)被刪除之景。
# 刪除數(shù)據(jù)務(wù)必要提供刪除條件
# 此處刪除id為1的記錄
cursor.execute("delete from movie where id=%s", [1])
關(guān)閉連接
使用Python操作完數(shù)據(jù)庫(kù)之后,別忘記了關(guān)閉數(shù)據(jù)庫(kù)連接锻狗。
# 關(guān)閉數(shù)據(jù)庫(kù)連接
cursor.close()
db.close()
擴(kuò)展內(nèi)容
我們會(huì)發(fā)現(xiàn)在使用Python操作數(shù)據(jù)庫(kù)時(shí)轻纪,主要是使用execute()
函數(shù)并傳入SQL命令。以上介紹的都是最基礎(chǔ)的CURD操作刻帚,其實(shí)SQL命令可以融合非常多的功能并寫(xiě)得更為復(fù)雜。
以下鏈接提供了一份更加完整的SQL教程掂僵,http://www.runoob.com/sql/sql-tutorial.html顷歌,系統(tǒng)地講解了SQL中的其他常用高級(jí)語(yǔ)法。強(qiáng)烈推薦學(xué)習(xí)一遍互妓,這樣才能在用Python操作數(shù)據(jù)庫(kù)時(shí),得心應(yīng)手地寫(xiě)出滿足需求的SQL命令來(lái)冯勉。
視頻鏈接:用Python操作MySQL