如果你對銀行以及金融領域的機器學習或人工智能（AI）應用感興趣的話指攒，你一定了解 JPM（摩根大通）去年發(fā)布的在金融領域有關大數(shù)據(jù)及人工智能應用指南 涝涤，你也一定會對他們剛剛發(fā)布的一份關于將 “數(shù)據(jù)驅(qū)動下的機器學習應用于算法交易”問題的新報告感興趣酥郭。
去年那份長篇報告是由JPM 宏觀量化研究團隊負責人嘱支，素有“半人半神”之稱的 Marko Kolanovic贩汉，以及另一位在去年四月剛從美林銀行離職的量化策略師 Rajesh Krishnamachari協(xié)助下共同編寫的盖桥。本月這篇報告并沒有那么長零抬，共由五位 JPM 員工共同完成镊讼。他們分別是 Vacslav Glukhov（EMEA 電子交易量化研究中心負責人）、Vangelis Bacoyannis（電子交易定量研究中心副總裁）平夜、Tom Jin（量化分析師）蝶棋、Jonathan Kochems（量化研究員）及 Doo Re Song（量化研究員）。
新報告于2018年5月在NIPS大會上發(fā)布忽妒，但近期剛剛公布玩裙。想要了解“數(shù)據(jù)驅(qū)動學習”如何與算法交易進行交互的朋友要注意了，下面是報告的主要內(nèi)容段直。
客戶設置部分參數(shù),算法控制關鍵交易決策
算法在金融業(yè)務中控制“微觀層”的交易吃溅，如股票和電子期貨合約：“算法決定交易的波段、價格及數(shù)量鸯檬【龀蓿”然而，算法并不會完全按照人們的預期工作京闰。JPM 提醒客戶颜及，“算法通常只是把具體約束及偏好下的交易指令告訴經(jīng)紀人甩苛。”
例如俏站，客戶可能想在投資組合時保持貨幣中立讯蒲，以實現(xiàn)買賣數(shù)量大體相等∫拊客戶也可能會指定某組交易證券的主題墨林、國家或行業(yè)。
客戶下單交易時犯祠，他們也許想控制交易執(zhí)行對市場價格影響的方式（操控市場影響）旭等、或控制市場波動影響交易的方式（控制風險）、或指定一個能夠平衡市場影響與風險的緊急程度衡载。
交易委托賬本包含的數(shù)據(jù)非常復雜
編寫電子交易算法是一件讓人抓狂且十分復雜的任務搔耕。
舉個例子。JPM 分析師指出痰娱，一局國際象棋每人大約要走 40 步弃榨，一局圍棋大約走 200 步。然而梨睁，即便是中等交易頻率的電子交易算法（每秒都需要重新考慮交易選擇）每小時大約要完成 3600 次交易選擇鲸睛。
問題遠不止于此。當繪制國際象棋與圍棋數(shù)據(jù)時坡贺，如何在所有可選項中選擇走哪一步官辈、下一步又該如何應對，這都是需要解決的問題遍坟。然而拳亿，一次電子交易行為包括了許多步驟。JPM 分析師認為“這就是一個子訂單（child order）集合政鼠》缡荩”
什么是子訂單（child order）？JPM 解釋道公般，系指可能會“提交被動買入訂單和主動買入訂單”的單次（single）交易万搔。被動子訂單是交易委托賬本中指定價位水平的交易，因此官帘，能為其它市場參與者提供流動性瞬雹。提供流動性可能最終通過抓住局部上漲趨勢，在交易時獲得回報：更好的交易價格刽虹，或者更好的交易對象酗捌。另一方面，主動子訂單會被用來基于預期的價格變動，捕捉交易良機胖缤。上述兩種情況都會產(chǎn)生單次（single）交易行為尚镰。最終，交易行為范圍被無限擴大哪廓，根據(jù)瞬時交易特征的組合數(shù)量呈指數(shù)增長狗唉。
誠然如是。
人工編寫的交易算法傾向于變得龐大而笨拙
人工編寫電子交易算法時涡真，情況會迅速變得復雜分俯。
過去，JPM 分析師認為：電子交易算法融合了許多科學的量化模型哆料；量化模型是“從定量角度描述世界的運行機制”缸剪；算法包含著“代表交易員和算法使用者的實踐經(jīng)驗、觀察結論和風險偏好的規(guī)則和啟發(fā)式方法东亦⌒咏冢”
想把算法的方方面面都說清楚是十分困難的〖ゴ耍“多數(shù)人編寫的算法代碼冗長至極且難于維護及修改拢锹∫テ蓿”JPM 認為萄喳，每當客戶目標及市場條件變化時，人工算法都深感“功能拓展”之難蹋半。
隨著時間的推移他巨，算法將學會“積累多層邏輯、參數(shù)及微調(diào)减江，以處理特殊情況染突。”
監(jiān)管讓人工編寫的算法又一次變得更加復雜
此外辈灼，交易算法還必須應對諸如 MiFID II（新版歐盟金融工具市場指導）的監(jiān)管及“最優(yōu)執(zhí)行”的理念份企。因此，算法編寫必須考慮“變化發(fā)展的市場條件與結構巡莹、監(jiān)管約束及客戶的多重目標與不同偏好司志。”
如果算法編寫實現(xiàn)自動化且滿足各類約束降宅，一切都將變得簡單骂远。
編寫交易算法時，使用數(shù)據(jù)的三種文化方法
機器學習文化嘗試運用更多復雜且有時晦澀的函數(shù)表達觀測結果腰根，不要求函數(shù)能揭示潛在流程的本質(zhì)激才。
算法決策文化更關注于決策，而非建模。算法決策文化嘗試訓練電子代理（譬如算法）以區(qū)分決策好壞瘸恼，而不是試圖映射出世界運行機制劣挫。如此一來，理解算法為何做出決策东帅，及如何利用規(guī)則揣云、價值及約束確保決策可被接受就成為新的問題。
算法必須實現(xiàn)最優(yōu)執(zhí)行率與最優(yōu)執(zhí)行計劃之間的平衡
算法一旦寫完冰啃，首先需要解決平衡問題：快速交易邓夕，其風險是影響市場價格；慢速交易阎毅，其風險是成交價格變化或?qū)⒁鸾灰讚p失（升了焚刚，買家賺錢；跌了扇调，賣家賺錢）矿咕。
并非總能清晰知曉一個成功的交易由什么組成
算法交易成功與否很難界定，因為這與如何權衡快速交易（效率）與固定價格交易（最優(yōu)）有關──而這又取決于客戶如何設定他的優(yōu)先等級狼钮。
例如碳柱，算法的目標可能是與市場其他部分融合（blend with the rest of the market）。這意味著熬芜，需要平衡極速交易與價格變動引起的市場影響莲镣、或是通過慢速交易確保價格與交易反向。算法編寫人員需要尋找一種表達信息和行為的方式涎拉，該方式能與模型與機器學習方法相匹配瑞侮。盡管“市場龐大、多變鼓拧，規(guī)模和訂單狀態(tài)經(jīng)常變化半火，父訂單與子訂單數(shù)還不夠作為模型輸入〖玖”市場狀態(tài)都需要能被總結和概括出來钮糖。
不過，這也無助于抓住瞬即逝的絕佳機會酌住。而且店归，JPM 認為，算法交易執(zhí)行或取消后赂韵，就無法判斷交易的好壞娱节，但這一點并非總是那么顯而易見〖朗荆“局部最優(yōu)并不需要轉變成全局最優(yōu)∫蘼現(xiàn)在失敗的交易也許以后某天又會賺的盆滿缽滿谴古。”
J.P. Morgan一直在使用強化學習算法進行交易稠歉，即使這可能會出現(xiàn)問題
JPM 正急于掌握運用動態(tài)規(guī)劃及獎懲機制的各種強化學習算法掰担。
JPM 交易員說，“我們目前使用第二代基于強化算法的限價委托引擎怒炸，于有界行為空間內(nèi)訓練算法带饱，選擇具備差異化獎勵、步長及時程特征的短期目標阅羹∩滋郏”然而，訓練算法十分復雜──如果你嘗試通過在多重處理設備上同時執(zhí)行算法以實現(xiàn)算法的平行訓練捏鱼，會得到錯誤結果执庐。原因是算法與環(huán)境之間的閉環(huán)反饋。但如果你不這么做导梆，而嘗試基于梯度的算法訓練轨淌，最終會得到大量無關經(jīng)驗，無法記住好的交易行為看尼。
JPM 嘗試應用超參數(shù)優(yōu)化技術避免此問題递鹉。這代表每次訓練都有多個抽樣事件，并會盡早停止無意義的優(yōu)化路徑藏斩。銀行應用超參數(shù)優(yōu)化技術躏结，通過運行平行訓練項目訓練算法。
JPM 表示灾茁，研究的主要目標已轉變?yōu)椤安呗詫W習算法”窜觉，通過在固定參數(shù)條件下匹配特定商業(yè)目標以最大化累積報酬。分層強化學習可用于要求必須“生成可預測北专、可控制及可解釋行為”的交易算法。在分層方法中旬陡，根據(jù)抽樣頻率和粒度水平將算法決策劃分為不同組別拓颓，使得算法能夠模塊化，其求解效果也容易甄別描孟。
JPM 已開發(fā)具備“某種特征”的強化學習算法驶睦，以應對長尾效應
在多數(shù)強化學習情況中，JPM 強調(diào)算法學習行為通常會產(chǎn)生更好的結果匿醒。然而场航，在金融業(yè)，過度關注平均結果是錯誤的──想想長尾效應廉羔「攘。基于此原因，銀行的量化專家始終基于多維度與不確定結果評價構建算法。
為實現(xiàn)該目標孩饼，銀行會基于期望效用的未來分布對比結果髓削，對不確定結果（長尾）排序──即 CERL（確定等值強化學習）。
通過 CERL镀娶，JPM 注意到算法能夠有效獲得基于風險偏好的特性立膛。“如果客戶是風險厭惡梯码，結果的不確定增加會降低行為的確定等值獎勵宝泵。”算法很自然的需要折扣因素 γ──代表結果分布轩娶，分布范圍與風險正相關鲁猩。算法將更加關注遠期目標。
還有許多非常有用的開源強化學習框架
如果你也想構建自己的交易算法罢坝，JPM 研究人員推薦了一些學習網(wǎng)站廓握。他們給出了許多有益的早期開源強化學習框架，包括 BigQuant嘁酿、OpenAI baselines隙券、 dopamine、deepmind/trfl 及 Ray RLlib闹司。
BigQuant——人工智能量化投資平臺 是國內(nèi)首家將人工智能技術應用于量化投資領域的平臺級產(chǎn)品娱仔，致力推進AI賦能投資，為投資者提供新型投資大數(shù)據(jù)和AI技術服務游桩，讓每個投資者和投資機構都可以無門檻的使用AI降低投資成本赋焕，提升投資能力。
原文地址：《JPMorgan’s new guide to machine learning in algorithmic trading》
