最近在弄一個(gè)項(xiàng)目分析的時(shí)候，看到有一個(gè)后綴為".sqlite"的數(shù)據(jù)文件亩进，由于以前沒怎么接觸過犹褒，就想著怎么用python來打開并進(jìn)行數(shù)據(jù)分析與處理，于是稍微研究了一下莺奸。
SQLite是一款非常流行的關(guān)系型數(shù)據(jù)庫(kù)，由于它非常輕盈冀宴，因此被大量應(yīng)用程序采用憾筏。
像csv文件一樣，SQLite可以將數(shù)據(jù)存儲(chǔ)于單個(gè)數(shù)據(jù)文件花鹅，以便方便的分享給其他人員氧腰。許多編程語言都支持SQLite數(shù)據(jù)的處理，python語言也不例外刨肃。
sqlite3是python的一個(gè)標(biāo)準(zhǔn)庫(kù)古拴，可以用于處理SQLite數(shù)據(jù)庫(kù)。
用sqlite3創(chuàng)建和操作數(shù)據(jù)庫(kù)文件
對(duì)于數(shù)據(jù)庫(kù)的SQL語句真友，本文會(huì)用到最基礎(chǔ)的SQL語句黄痪，應(yīng)該不影響閱讀。如果想進(jìn)一步了解盔然，可參考如下網(wǎng)址：
http://www.w3school.com.cn/sql/index.asp
下面桅打，我們來應(yīng)用salite3模塊來創(chuàng)建SQLite數(shù)據(jù)文件，以及進(jìn)行數(shù)據(jù)讀寫操作愈案。主要的步驟如下：
- 與數(shù)據(jù)庫(kù)建立連接挺尾，創(chuàng)建數(shù)據(jù)庫(kù)文件（.sqlite文件）
- 創(chuàng)建游標(biāo)（cursor）
- 創(chuàng)建數(shù)據(jù)表（table）
- 向數(shù)據(jù)表中插入數(shù)據(jù)
- 查詢數(shù)據(jù)
演示代碼如下：
import sqlite3
with sqlite3.connect('test_database.sqlite') as con:
c = con.cursor()
c.execute('''CREATE TABLE test_table
(date text, city text, value real)''')
for table in c.execute("SELECT name FROM sqlite_master WHERE type='table'"):
print("Table", table[0])
c.execute('''INSERT INTO test_table VALUES
('2017-6-25', 'bj', 100)''')
c.execute('''INSERT INTO test_table VALUES
('2017-6-25', 'pydataroad', 150)''')
c.execute("SELECT * FROM test_table")
print(c.fetchall())
Table test_table
[('2017-6-25', 'bj', 100.0), ('2017-6-25', 'pydataroad', 150.0)]
關(guān)于SQLite數(shù)據(jù)庫(kù)中數(shù)據(jù)的可視化預(yù)覽，有很多的工具可以實(shí)現(xiàn)站绪，我這里使用的是SQLite Studio遭铺，是一個(gè)免費(fèi)使用的工具，不需要安裝恢准，下載下來就可以使用魂挂，有興趣的同學(xué)可以參考下面的鏈接。
https://sqlitestudio.pl/index.rvt?act=download
數(shù)據(jù)預(yù)覽的效果如下：
用pandas來讀取sqlite數(shù)據(jù)文件
從上面代碼的運(yùn)行結(jié)果可以看出馁筐，數(shù)據(jù)查詢的結(jié)果是一個(gè)由tuple組成的list涂召。python的list數(shù)據(jù)在進(jìn)行進(jìn)一步的數(shù)據(jù)處理與分析時(shí)，可能會(huì)不太方便敏沉」可以想象一下，假設(shè)如果數(shù)據(jù)庫(kù)的表格中一共有100萬行或者更多數(shù)據(jù)赦抖，從list中循環(huán)遍歷獲取數(shù)據(jù)舱卡，效率會(huì)比較低辅肾。
這時(shí)队萤，我們可以考慮用pandas提供的函數(shù)來從SQLite數(shù)據(jù)庫(kù)文件中讀取相關(guān)數(shù)據(jù)信息，并保存在DataFrame中矫钓，方便后續(xù)進(jìn)一步處理要尔。
Pandas提供了兩個(gè)函數(shù)舍杜，均可以讀取后綴為“.sqlite”數(shù)據(jù)文件的信息。
- read_sql()
- read_sql_query()
import pandas as pd
with sqlite3.connect('test_database.sqlite') as con:
# read_sql_query和read_sql都能通過SQL語句從數(shù)據(jù)庫(kù)文件中獲取數(shù)據(jù)信息
df = pd.read_sql_query("SELECT * FROM test_table", con=con)
# df = pd.read_sql("SELECT * FROM test_table", con=con)
print(df.shape)
print(df.dtypes)
print(df.head())
(2, 3)
date object
city object
value float64
dtype: object
date city value
0 2017-6-25 bj 100.0
1 2017-6-25 pydataroad 150.0
