數(shù)據(jù)庫鏈接,ETL

一习瑰、python通過pip安裝包,提示 pip 不是內(nèi)部或外部命令

1秽荤、執(zhí)行pip?install pymysql甜奄,報pip不是內(nèi)部或者外部命令

2柠横、需要將該命令加入到環(huán)境變量中,找到該命令所在的路徑

3课兄、右擊我的電腦-->屬性-->高級-->環(huán)境變量-->系統(tǒng)變量-->path牍氛,添加上pip所在的路徑

4、但是依舊報上面的錯烟阐,這次錯在哪里呢搬俊?

原來是配置完成后,需要重新關(guān)閉命令窗口蜒茄,重新打開配置的變量才會生效唉擂。

D:\Users\Administrator\Anaconda3\Scripts;

D:\Users\Administrator\Anaconda3;

D:\Users\Administrator\Anaconda3\Library\bin

安裝好驅(qū)動程序:連接數(shù)據(jù)庫

二、原始數(shù)據(jù)庫操作

1檀葛、導入包

import pymysql

2玩祟、連接數(shù)據(jù)庫

建立連接

conn=pymysql.connect(

? ? host = '127.0.0.1',

? ? user = 'root',

? ? password = '123456',

? ? db = 'gansu',

? ? port =? 3306,

? ? charset = 'utf8'

)

建立游標

cur = conn.cursor()

3、查詢屿聋,得到的結(jié)果放在內(nèi)存里

cur.execute('select * from bas_calcedvisit where CITY = "包頭"')

4空扎、獲取數(shù)據(jù),元組形式

data = cur.fetchall()

5润讥、打印數(shù)據(jù)查看

for d in data:

? ? print(d[21],d[22],d[23],d[24])

6转锈、對數(shù)據(jù)庫進行增刪改后,必須提交

conn.commit()

7楚殿、執(zhí)行完之后需要將其關(guān)閉

cur.close()

conn.close()

三撮慨、pandas讀數(shù)據(jù)庫

1、加載包

import pymysql

import pandas as pd

from sqlalchemy import create_engine

2勒魔、連接甫煞、查詢

sql = 'select * from bas_calcedvisit'

engine = create_engine('mysql+pymysql://root:123456@localhost:3306/gansu?charset=utf8')

df = pd.read_sql(sql,engine)

3、自定義函數(shù)

注意:這里的數(shù)據(jù)庫名寫成一個參數(shù)形式冠绢,則用{0}代替抚吠,后面加上.format(參數(shù)名),若多個參數(shù)弟胀,依次是{1}楷力,{2}....,后面.format(參數(shù)名1,參數(shù)名2,....)

def reader(query,db = 'gansu'):

? ? sql = query

? ? engine = create_engine('mysql+pymysql://root:123456@localhost:3306/{0}?charset=utf8'.format(db))

? ? df = pd.read_sql(sql,engine)

? ? return df

調(diào)用函數(shù)

df_data=reader( 'select * from bas_calcedvisit')

插入數(shù)據(jù)

df_data1=reader('select * from bas_calcedvisit where CHANNELDISPLAYNAME = "直接訪問"')

數(shù)據(jù)框:

這里有個問題孵户,如何統(tǒng)計出形如sql中查詢數(shù)據(jù)呢

SELECT CITY,COUNT(DISTINCT UVCOOKIE),COUNT(DISTINCT SESSIONID),COUNT(ID) FROM bas_calcedvisit

WHERE CHANNELDISPLAYNAME = '直接訪問'

GROUP BY CITY


result = df_data1.groupby('CITY').count()['UVCOOKIE'].reset_index()

插入表:(注意萧朝,一般都是先建表,然后插入數(shù)據(jù)夏哭,這樣有自增字段)

(其中if_exists='append'時检柬,如果表存在,則會追加數(shù)據(jù)竖配,如果表不存在何址,則先新建表)

result.to_sql(name = 'newtable',con = 'mysql+pymysql://root:123456@localhost:3306/gansu?charset=utf8',if_exists='append',index = False )

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末里逆,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子用爪,更是在濱河造成了極大的恐慌原押,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,185評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件偎血,死亡現(xiàn)場離奇詭異诸衔,居然都是意外死亡,警方通過查閱死者的電腦和手機颇玷,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,652評論 3 393
  • 文/潘曉璐 我一進店門笨农,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人亚隙,你說我怎么就攤上這事磁餐∮∑ǎ” “怎么了镐捧?”我有些...
    開封第一講書人閱讀 163,524評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長渡嚣。 經(jīng)常有香客問我渣淳,道長脾还,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,339評論 1 293
  • 正文 為了忘掉前任入愧,我火速辦了婚禮鄙漏,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘棺蛛。我一直安慰自己怔蚌,他們只是感情好,可當我...
    茶點故事閱讀 67,387評論 6 391
  • 文/花漫 我一把揭開白布旁赊。 她就那樣靜靜地躺著桦踊,像睡著了一般。 火紅的嫁衣襯著肌膚如雪终畅。 梳的紋絲不亂的頭發(fā)上籍胯,一...
    開封第一講書人閱讀 51,287評論 1 301
  • 那天,我揣著相機與錄音离福,去河邊找鬼杖狼。 笑死,一個胖子當著我的面吹牛妖爷,可吹牛的內(nèi)容都是我干的蝶涩。 我是一名探鬼主播,決...
    沈念sama閱讀 40,130評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼子寓!你這毒婦竟也來了暗挑?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,985評論 0 275
  • 序言:老撾萬榮一對情侶失蹤斜友,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后垃它,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體鲜屏,經(jīng)...
    沈念sama閱讀 45,420評論 1 313
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,617評論 3 334
  • 正文 我和宋清朗相戀三年国拇,在試婚紗的時候發(fā)現(xiàn)自己被綠了洛史。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,779評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡酱吝,死狀恐怖也殖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情务热,我是刑警寧澤忆嗜,帶...
    沈念sama閱讀 35,477評論 5 345
  • 正文 年R本政府宣布,位于F島的核電站崎岂,受9級特大地震影響捆毫,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜冲甘,卻給世界環(huán)境...
    茶點故事閱讀 41,088評論 3 328
  • 文/蒙蒙 一绩卤、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧江醇,春花似錦濒憋、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,716評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至律适,卻和暖如春辐烂,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背捂贿。 一陣腳步聲響...
    開封第一講書人閱讀 32,857評論 1 269
  • 我被黑心中介騙來泰國打工纠修, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人厂僧。 一個月前我還...
    沈念sama閱讀 47,876評論 2 370
  • 正文 我出身青樓扣草,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子辰妙,可洞房花燭夜當晚...
    茶點故事閱讀 44,700評論 2 354