前言： pandas中讀取csv文件通常使用pd.read_csv()函數(shù)瓢对，正常情況下給出文件路徑即可讀取數(shù)據(jù)非春，不過(guò)在某些特殊情況下剥哑，需要一些小技巧才能讀取正確的內(nèi)容 文本型...
發(fā)簡(jiǎn)信
IP屬地：上海
-
pandas中讀取csv文件的一些小技巧 -
將字符串日期轉(zhuǎn)換成datetime
前言 在證券交割單中攒至，日期格式為字符串存哲，如20180101信柿。如果需要將其以時(shí)間序列形式寫(xiě)入pandas中的dataframe但两，就需要將文本格式化。 操作方法也很簡(jiǎn)單吞获，使用to...
-
pandas中數(shù)據(jù)偏移計(jì)算前言 在金融計(jì)算中，有很多內(nèi)容都涉及偏移計(jì)算谚鄙，例如計(jì)算5天平均移動(dòng)線各拷、計(jì)算10天漲幅等等，pandas中有很多函數(shù)可以非常簡(jiǎn)單的用一行代碼予以解決 rolling函數(shù) 主要解...
-
snapshot中進(jìn)行統(tǒng)計(jì)學(xué)分析引言 AGS中可以導(dǎo)出每次飛行的快照數(shù)據(jù)闷营，這些數(shù)據(jù)對(duì)于飛行品質(zhì)的分析非常有幫助烤黍。目前上航每月737航班約產(chǎn)生9000-10000行快照信息，每行信息包含200個(gè)字段 分析字段...
-
tushare歷史數(shù)據(jù)讀取開(kāi)銷(xiāo)比較本方法測(cè)試使用get_k_data更新某一單項(xiàng)歷史數(shù)據(jù)（比如60分鐘線）袄简，計(jì)算耗時(shí)腥放。 測(cè)試用服務(wù)器使用amazon web service+cloud9云編程平臺(tái)，使用兩種不...
-
tushare中的get_k_data的去重問(wèn)題
由于獲取數(shù)據(jù)的時(shí)限性绿语，在日線以下的數(shù)據(jù)秃症，比如小時(shí)線只能獲取一定時(shí)間范圍，超過(guò)該時(shí)間就無(wú)法再獲取了吕粹。根據(jù)實(shí)測(cè)种柑，60分鐘線大約能保存6個(gè)月的數(shù)據(jù)，5分鐘線約保存15天數(shù)據(jù)昂芜，因此在...
-
獲取最新股票代碼列表
在tushare中莹规，任何數(shù)據(jù)處理的前提都是獲取最新的股票代碼列表，有兩種方式可以獲得： 方法一 使用ts.get_today_all()返回結(jié)果如下： 改方法的缺點(diǎn)是獲取數(shù)據(jù)...
-
推薦文章：http://www.reibang.com/p/5af9293297ea ------------------------------------------------------------ 視編程為愛(ài)好，歡迎各類(lèi)充滿(mǎn)熱情的編程技術(shù)分享欢际。Python母市、C/C++、Java损趋、Spring患久、.Net Framework、嵌入式浑槽、機(jī)電一體化所有和編程相關(guān)的內(nèi)容都?xì)g迎蒋失。 知識(shí)星球：https://t.zsxq.com/2ZfeAMN 公眾號(hào)：亖的 side4u 企鵝群：470100934 點(diǎn)擊鏈接加入群聊【編程直播室】：https://jq.qq.com/?_wv=1027&k=5w1pJpY
-
將兩個(gè)不同日期的同一股票數(shù)據(jù)合并
由于數(shù)據(jù)更新的需要，往往需要將新日期獲取的數(shù)據(jù)合并到原有的數(shù)據(jù)中桐玻，pandas中的concat函數(shù)能很好的完成合并工作篙挽，再通過(guò)使用drop_duplicates方法去除重復(fù)的...
-
關(guān)于urllib從python2向pyhon3遷移的問(wèn)題
背景 最近在調(diào)用聚合數(shù)據(jù)的短信API接口，原有的代碼是python2镊靴，目前我所使用的python全部都在3上（因?yàn)閙ysql接口已經(jīng)遷移到3）铣卡，所以稍微爬了一下代碼，做了遷移...
-
2018-04-03
今天進(jìn)行了AGS的姓名匹配工作偏竟，由于系統(tǒng)默認(rèn)在發(fā)動(dòng)機(jī)關(guān)車(chē)后進(jìn)行數(shù)據(jù)上傳煮落，因此實(shí)際觀察下來(lái)后可以按照QAR系統(tǒng)接收時(shí)間和航班實(shí)際關(guān)車(chē)時(shí)間做對(duì)比進(jìn)行匹配，一般間隔時(shí)間均為幾分鐘內(nèi)...
-
MYSQL中的多事務(wù)處理
背景 在某個(gè)應(yīng)用場(chǎng)景中踊谋，需要對(duì)一個(gè)航班的機(jī)組3人進(jìn)行航線拆分蝉仇，原數(shù)據(jù)庫(kù)字段內(nèi)容為：姓名A，姓名B，姓名C量淌，拆分后的結(jié)果是導(dǎo)入到[crew_link]骗村，成為3行不同的數(shù)據(jù)。 按...
-
2018-02-06
今天遇到一個(gè)錯(cuò)誤代碼：'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128...
-
Tushare安裝教程
安裝tushare 1.下載最新版軟件python3支持 （版本號(hào)查詢(xún)地址https://docs.anaconda.com/anaconda/install/linux）：...
-
用datetime計(jì)算時(shí)間差
最近在計(jì)算兩個(gè)時(shí)間字符串的差值呀枢，會(huì)用到datetime模塊在這個(gè)模塊中胚股，提供計(jì)算天數(shù)、秒和總秒數(shù)的差值計(jì)算裙秋。 計(jì)算天數(shù)間隔 輸出結(jié)果1 計(jì)算秒數(shù)間隔 輸出結(jié)果：3706 等等...
-
datetime函數(shù)故障處理
今天出現(xiàn)了一個(gè)很奇怪的bug琅拌，在導(dǎo)入datetime函數(shù)時(shí)出現(xiàn)了 the bad magic number error，懷疑和python2/3的版本混裝有關(guān)摘刑，另外我在保存p...
-
2018-01-29
最近朋友推薦了一個(gè)基金 [景順長(zhǎng)城量化新動(dòng)力股票 (001974)]进宝，我一般對(duì)于基金的態(tài)度都不太好，因?yàn)楦呱曩?gòu)費(fèi)率和管理費(fèi)率會(huì)嚴(yán)重侵蝕你的收益率枷恕，所以買(mǎi)入基金的理由是看好股市...
