Day2 python & sql | Pandas& numpy

After finished the sql query of "python or sql" question.

step1.try to use pyodbc to query the sql server.

https://mkleehammer.github.io/pyodbc/

always remember to "import pyodbc"
連接數(shù)據(jù)庫時(shí),記得要給用戶訪問數(shù)據(jù)庫的權(quán)限哦~(Admin登陸數(shù)據(jù)庫的情況下陌凳,點(diǎn)擊數(shù)據(jù)庫-屬性-文件-所有者晃琳,給予用戶權(quán)限)

Connect to A Database

Pass an ODBC connection string to the connect function which will return a Connection. Once you have a connection you can ask it for a Cursor.

Select Some Data

All SQL statements are executed using Cursor.execute. If the statement returns rows, such as a select statement, you can retreive them using the Cursor fetch functions (fetchone,fetchall, fetchmany).
這里要注意具篇,fetchone,fetchall,fetchmany切換時(shí)腊凶,需要重新執(zhí)行execute語句榄檬,否則fetch的對象不對哦(因?yàn)檫@里其實(shí)是指針督函,每次操作都會(huì)移動(dòng)的)帆调。另外,fetchall比較占內(nèi)存迁匠,是將所有查詢結(jié)果保存在連接里面剩瓶,所以盡量每次用fetchone提取自己需要的對象〕巧ィ——比如延曙,用while 1這個(gè)循環(huán)來遍歷。
另外亡哄,經(jīng)驗(yàn)證搂鲫,只要連接不中斷,都是實(shí)時(shí)查詢磺平,也就是說,如果對數(shù)據(jù)庫中數(shù)據(jù)進(jìn)行了修改拐辽,重新查詢的值也會(huì)修改拣挪。

Parameters

ODBC supports query parameters using a question mark as a place holder in the SQL. You provide the values for the question marks by passing them after the SQL
置后傳參,即運(yùn)算符后面放‘俱诸?’菠劝,參數(shù)放在最后統(tǒng)一傳(其實(shí)也可以直接傳參,即直接在運(yùn)算符后面?zhèn)鳎?/p>

Insert, Delete, Update

commit

always remember to commit the transaction.


關(guān)于Pandas 和 numpy

  • Pandas中的數(shù)據(jù)結(jié)構(gòu)

Series:一維數(shù)組睁搭,與Numpy中的一維array類似赶诊。二者與Python基本的數(shù)據(jù)結(jié)構(gòu)List也很相近,其區(qū)別是:List中的元素可以是不同的數(shù)據(jù)類型园骆,而Array和Series中則只允許存儲(chǔ)相同的數(shù)據(jù)類型舔痪,這樣可以更有效的使用內(nèi)存,提高運(yùn)算效率锌唾。

Time- Series:以時(shí)間為索引的Series锄码。

DataFrame:二維的表格型數(shù)據(jù)結(jié)構(gòu)夺英。很多功能與R中的data.frame類似∽檀罚可以將DataFrame理解為Series的容器痛悯。以下的內(nèi)容主要以DataFrame為主。

Panel :三維的數(shù)組重窟,可以理解為DataFrame的容器载萌。

  • 安裝Pandas

通過Anaconda安裝
http://pandas.pydata.org/pandas-docs/stable/install.html#installing-pandas-with-anaconda
不用這個(gè)工具安裝的方法之一見
http://data-sci.info/2015/10/18/windows-%E5%AE%89%E8%A3%9Dpython-pandas%E5%A5%97%E4%BB%B6/

安裝完成之后直接用IPython編輯,語法同python巡扇,網(wǎng)上有說IPython相較于Python自帶編輯器的優(yōu)點(diǎn)扭仁。
關(guān)于IPython常用命令參見
http://www.360doc.com/content/15/0313/11/175261_454772338.shtml

使用Anaconda Prompt進(jìn)行查看和安裝包操作
輸入 conda list 來看一下所有安裝時(shí)自帶的Python擴(kuò)展;輸入pip install xx來安裝包

  • 使用Pandas導(dǎo)入文本數(shù)據(jù)(txt,csv等)

import Pandas as pd
然后使用解析函數(shù)霎迫,有一堆參數(shù)可選斋枢,重點(diǎn)記住path(路徑),names(自定義列名)知给,index_col(索引列)瓤帚,header(行號(hào),默認(rèn)為0涩赢,若無header行應(yīng)設(shè)置為None)戈次。。筒扒。


pandas的解析函數(shù).png
  • 逐塊讀取文本文件

很大文件時(shí)逐塊讀取參見(有效率對比及適用條件說明)
http://www.thebigdata.cn/JieJueFangAn/13962.html

原文件與分塊讀取后保存的文件對比

這里有個(gè)奇怪的現(xiàn)象怯邪,如果禁用行列標(biāo)簽則正常,如果不禁用則導(dǎo)出文件的第一個(gè)數(shù)據(jù)單元格有問題花墩。

我的示例

注意悬秉,如果想要合并后按照列對齊的話,reader1的columns和reader2的要一致冰蘑,這里涉及到表的連接和泌。

  • 關(guān)于python如何切換目錄
    import os
    獲取當(dāng)前工作目錄
    os.getcwd()
    更改當(dāng)前工作目錄
    os.chdir('d:\')

  • 關(guān)于python idle清屏
    import os
    os.system('cls')


十分鐘搞定pandas

參見,常見用法基本都有
http://www.cnblogs.com/chaosimple/p/4153083.html

用ipython畫圖的話祠肥,記得用plt.show()進(jìn)行圖片顯示~

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末武氓,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子仇箱,更是在濱河造成了極大的恐慌县恕,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,378評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件剂桥,死亡現(xiàn)場離奇詭異忠烛,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)权逗,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,356評論 2 382
  • 文/潘曉璐 我一進(jìn)店門况木,熙熙樓的掌柜王于貴愁眉苦臉地迎上來垒拢,“玉大人,你說我怎么就攤上這事火惊∏罄啵” “怎么了?”我有些...
    開封第一講書人閱讀 152,702評論 0 342
  • 文/不壞的土叔 我叫張陵屹耐,是天一觀的道長尸疆。 經(jīng)常有香客問我,道長惶岭,這世上最難降的妖魔是什么寿弱? 我笑而不...
    開封第一講書人閱讀 55,259評論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮按灶,結(jié)果婚禮上症革,老公的妹妹穿的比我還像新娘。我一直安慰自己鸯旁,他們只是感情好噪矛,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,263評論 5 371
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著铺罢,像睡著了一般艇挨。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上韭赘,一...
    開封第一講書人閱讀 49,036評論 1 285
  • 那天缩滨,我揣著相機(jī)與錄音,去河邊找鬼泉瞻。 笑死脉漏,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的袖牙。 我是一名探鬼主播侧巨,決...
    沈念sama閱讀 38,349評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼贼陶!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起巧娱,我...
    開封第一講書人閱讀 36,979評論 0 259
  • 序言:老撾萬榮一對情侶失蹤碉怔,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后禁添,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體撮胧,經(jīng)...
    沈念sama閱讀 43,469評論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,938評論 2 323
  • 正文 我和宋清朗相戀三年老翘,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了芹啥。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片锻离。...
    茶點(diǎn)故事閱讀 38,059評論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖墓怀,靈堂內(nèi)的尸體忽然破棺而出汽纠,到底是詐尸還是另有隱情,我是刑警寧澤傀履,帶...
    沈念sama閱讀 33,703評論 4 323
  • 正文 年R本政府宣布虱朵,位于F島的核電站,受9級特大地震影響钓账,放射性物質(zhì)發(fā)生泄漏碴犬。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,257評論 3 307
  • 文/蒙蒙 一梆暮、第九天 我趴在偏房一處隱蔽的房頂上張望服协。 院中可真熱鬧胸懈,春花似錦蛉腌、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,262評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽遭顶。三九已至,卻和暖如春泪蔫,著一層夾襖步出監(jiān)牢的瞬間棒旗,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,485評論 1 262
  • 我被黑心中介騙來泰國打工撩荣, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留铣揉,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,501評論 2 354
  • 正文 我出身青樓餐曹,卻偏偏與公主長得像逛拱,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個(gè)殘疾皇子台猴,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,792評論 2 345

推薦閱讀更多精彩內(nèi)容