Futu Quant API+MongoDB建立股票數(shù)據(jù)庫

一、前言

炒股一兩年拣技,虧的內(nèi)褲都沒了(\laughcry),就當是玩吧。

隨著玩性的深入偏序,逐漸對目前的炒股軟件失去性趣键耕,感覺是時候建立自己的股票數(shù)據(jù)庫咧叭。初衷是可以通過對歷史數(shù)據(jù)的分析葱跋,實現(xiàn)自己的一些想法或者說所謂的量化的策略分析。所以崔步,量化第一步呢稳吮,就是建立一個自己的股票數(shù)據(jù)庫。

今天井濒,抽空寫下這篇小文章灶似,算是對自己最近的總結(jié),同時也可以給各位一個思路瑞你,僅供參考酪惭。


二、思路

1者甲、數(shù)據(jù)來源:之前一直想在tushare下載歷史數(shù)據(jù)春感,不過聽說他的數(shù)據(jù)有缺失或者偏差,因此遲遲沒有動手,也一直在尋找合適的數(shù)據(jù)源鲫懒。一方面希望能從傳統(tǒng)軟件中獲取數(shù)據(jù)嫩实,不過沒找到切口(畢竟不是牛逼的程序猿(\笑)),前幾天偶然看到富途牛牛的openquant api接口可以實現(xiàn)數(shù)據(jù)的下載窥岩,趕緊取去網(wǎng)上查甲献,發(fā)現(xiàn)他們的github,下載下來谦秧,看他們的說明配置一下竟纳,就可以連接到他們的數(shù)據(jù)源了撵溃。

2疚鲤、數(shù)據(jù)存儲:拿到數(shù)據(jù)源后,就得考慮怎么存儲數(shù)據(jù)了缘挑。就我了解到的有四種思路集歇,csv、mysql语淘、mongodb還有h5诲宇。一般童鞋都試過csv比較慢,因此第一個排除惶翻,mysql和mongodb的區(qū)別就是關(guān)系的存在與否姑蓝,如果要關(guān)系的話我覺得查找的時候會比較慢,而mongodb是沒有關(guān)系并且按照索引查找吕粗,速度應(yīng)該比mysql有保障纺荧,因此排除mysql。h5數(shù)據(jù)庫聽說是很快的颅筋,但是我沒時間去了解了宙暇,所以最后選擇了mongodb。接著更重要的問題來了议泵,怎么把三千多只的股票幾年的數(shù)據(jù)存放到本地占贫,調(diào)用的時候能方便的快速的實現(xiàn)?進一步說先口,這個Mongodb的collection要怎么設(shè)計的問題型奥。我的想法是:一只股票一個collection,存放它所有日線數(shù)據(jù)碉京,總共三千多個collection厢汹。到時候查找的時候就可以直接取出某只股票的歷史日線數(shù)據(jù)。_id設(shè)置成股票代碼收夸,后面用日期作為鍵值坑匠,如fig1和fig2所示。這樣就可以明白的看到所有股票的collection和日線數(shù)據(jù)了卧惜。

fig1


fig2

三 厘灼、代碼實現(xiàn)

1夹纫、首先你得有個股票code池子,這個是futuquant里所需要的设凹。這個好像可以直接在futuquant里面下載舰讹,不過我是之前在sina里面爬出來的,費了好點功夫闪朱。

stockcode

2月匣、有了股票池子,你就可以直接在futuquant里面的有個sample.py修改接口代碼奋姿,直接獲取數(shù)據(jù)锄开。大部分shi不用改的,只做稍微的修改称诗,我的修改版如下圖萍悴。當然修改的時候會有一些坑,比如如果你一次請求的code太多會出錯寓免,所以我就用個for循環(huán)癣诱,部分下載數(shù)據(jù)。還有袜香,連接code池子可以在另外寫個文件撕予,然后import一下,不然直接寫在sample里面的話太大了蜈首。其他一些小坑实抡,大家看了erro提示應(yīng)該沒什么問題。

modified api

3疾就、最后就是寫個mongodb的api接口澜术,存儲數(shù)據(jù)了。因為futuquant輸出的是dataframe格式數(shù)據(jù)猬腰,所以不能直接寫進mongodb中鸟废,因此首先要對數(shù)據(jù)進行處理。

>1 對dataframe格式遍歷姑荷,取出一行row盒延。

for

>2 然后對該行的每一列讀取數(shù)據(jù),付給變量值鼠冕。

getdata

>3 最后連接mongodb保存數(shù)據(jù)添寺。

datastore

>4 查看數(shù)據(jù)庫是否有數(shù)據(jù)及數(shù)據(jù)是否正確。大功告成懈费。

四计露、后記

本文只是初級水平的教程,那些程序猿大牛請輕噴,我也只是分享一些學(xué)習(xí)歷程及思路票罐。

后面還有數(shù)據(jù)提取及分析叉趣,有機會我也會分享出來。

獲取數(shù)據(jù)存儲數(shù)據(jù)還有很多其他方法该押,歡迎提問題及建議疗杉,共同學(xué)習(xí)共同進步。

版權(quán)所有蚕礼,謝絕轉(zhuǎn)載烟具!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市奠蹬,隨后出現(xiàn)的幾起案子朝聋,更是在濱河造成了極大的恐慌,老刑警劉巖罩润,帶你破解...
    沈念sama閱讀 206,311評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件玖翅,死亡現(xiàn)場離奇詭異翼馆,居然都是意外死亡割以,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,339評論 2 382
  • 文/潘曉璐 我一進店門应媚,熙熙樓的掌柜王于貴愁眉苦臉地迎上來严沥,“玉大人,你說我怎么就攤上這事中姜∠” “怎么了?”我有些...
    開封第一講書人閱讀 152,671評論 0 342
  • 文/不壞的土叔 我叫張陵丢胚,是天一觀的道長翩瓜。 經(jīng)常有香客問我,道長携龟,這世上最難降的妖魔是什么兔跌? 我笑而不...
    開封第一講書人閱讀 55,252評論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮峡蟋,結(jié)果婚禮上坟桅,老公的妹妹穿的比我還像新娘。我一直安慰自己蕊蝗,他們只是感情好仅乓,可當我...
    茶點故事閱讀 64,253評論 5 371
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著蓬戚,像睡著了一般夸楣。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,031評論 1 285
  • 那天豫喧,我揣著相機與錄音洞慎,去河邊找鬼。 笑死嘿棘,一個胖子當著我的面吹牛劲腿,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播鸟妙,決...
    沈念sama閱讀 38,340評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼焦人,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了重父?” 一聲冷哼從身側(cè)響起花椭,我...
    開封第一講書人閱讀 36,973評論 0 259
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎房午,沒想到半個月后矿辽,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,466評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡郭厌,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,937評論 2 323
  • 正文 我和宋清朗相戀三年袋倔,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片折柠。...
    茶點故事閱讀 38,039評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡宾娜,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出扇售,到底是詐尸還是另有隱情前塔,我是刑警寧澤,帶...
    沈念sama閱讀 33,701評論 4 323
  • 正文 年R本政府宣布承冰,位于F島的核電站华弓,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏困乒。R本人自食惡果不足惜寂屏,卻給世界環(huán)境...
    茶點故事閱讀 39,254評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望顶燕。 院中可真熱鬧凑保,春花似錦、人聲如沸涌攻。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,259評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽恳谎。三九已至芝此,卻和暖如春憋肖,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背婚苹。 一陣腳步聲響...
    開封第一講書人閱讀 31,485評論 1 262
  • 我被黑心中介騙來泰國打工岸更, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人膊升。 一個月前我還...
    沈念sama閱讀 45,497評論 2 354
  • 正文 我出身青樓怎炊,卻偏偏與公主長得像,于是被迫代替她去往敵國和親廓译。 傳聞我的和親對象是個殘疾皇子评肆,可洞房花燭夜當晚...
    茶點故事閱讀 42,786評論 2 345

推薦閱讀更多精彩內(nèi)容