如果你對(duì)銀行與金融領(lǐng)域的 AI 應(yīng)用有興趣的話，你肯定了解 JPM（摩根大通）最近十年對(duì)大數(shù)據(jù)和人工智能的出色運(yùn)用，也會(huì)對(duì)他們最新發(fā)布的一份報(bào)告感興趣。

JPM(摩根大通) 一直是銀行金融行業(yè)中積極應(yīng)用大數(shù)據(jù)和人工智能技術(shù)的典范和先行者。今年五月，他們在 NIPS 上提交了一份題目為 Idiosyncrasies and challenges of data driven learning in electronic trading 的報(bào)告（其實(shí)是一篇小論文）。不過直至最近，內(nèi)容才得以對(duì)外公布。這篇并不長的文章中，他們探討了算法交易中機(jī)器學(xué)習(xí)等技術(shù)的應(yīng)用情況，也分享了摩根大通的最新經(jīng)驗(yàn)。

去年那份巨長的報(bào)告出自 Marko Kolanovic 之手，素有「半人半神」之稱的 Marko Kolanovic 是 JPM 宏觀量化研究團(tuán)隊(duì)負(fù)責(zé)人。另外一位合作者是去年四月剛從美林銀行離職的量化策略師 Rajesh Krishnamachari。

不過，這篇報(bào)告并沒那么長，共由五位 JPM 員工共同完成。他們分別是 Vacslav Glukhov（EMEA 電子交易量化研究中心負(fù)責(zé)人）、Vangelis Bacoyannis（電子交易定量研究中心副總裁）、Tom Jin（量化分析師）、Jonathan Kochems（量化研究員）及 Doo Re Song（量化研究員）。

2018 年 5 月，我們就在神經(jīng)信息處理系統(tǒng)大會(huì)（NIPS conference）上提交過這份報(bào)告，不過直到最近才得以公開。想知道如何將「數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)」用于算法交易的朋友們請注意了，報(bào)告概要如下：

如今算法控制關(guān)鍵交易決策，客戶設(shè)置部分參數(shù)

算法在金融業(yè)務(wù)中控制「微觀層」的交易，如股票和電子期貨合約：「算法決定交易的波段、價(jià)格及數(shù)量?！谷欢惴ú⒉粫?huì)完全按照人們的預(yù)期工作。JPM 提醒客戶，「算法通常只是把具體約束及偏好下的交易指令告訴經(jīng)紀(jì)人?！?/p>

例如，客戶可能想在投資組合時(shí)保持貨幣中立，以實(shí)現(xiàn)買賣數(shù)量大體相等。客戶也可能會(huì)指定某組交易證券的主題、國家或行業(yè)。

客戶下單交易時(shí)，他們也許想控制交易執(zhí)行對(duì)市場價(jià)格影響的方式（操控市場影響）、或控制市場波動(dòng)影響交易的方式（控制風(fēng)險(xiǎn)）、或指定一個(gè)能夠平衡市場影響與風(fēng)險(xiǎn)的緊急程度。

交易委托賬本包含的數(shù)據(jù)十分復(fù)雜

編寫電子交易算法是一件讓人抓狂且十分復(fù)雜的任務(wù)。

舉個(gè)例子。JPM 分析師指出，一局國際象棋每人大約要走 40 步，一局圍棋大約走 200 步。然而，即便是中等交易頻率的電子交易算法（每秒都需要重新考慮交易選擇）每小時(shí)大約要完成 3600 次交易選擇。

問題遠(yuǎn)不止于此。當(dāng)繪制國際象棋與圍棋數(shù)據(jù)時(shí)，如何在所有可選項(xiàng)中選擇走哪一步、下一步又該如何應(yīng)對(duì)，這都是需要解決的問題。然而，一次電子交易行為包括了許多步驟。JPM 分析師認(rèn)為「這就是一個(gè)子訂單（child order）集合。」

什么是子訂單（child order）？JPM 解釋道，系指可能會(huì)「提交被動(dòng)買入訂單和主動(dòng)買入訂單」的單次（single）交易。被動(dòng)子訂單是交易委托賬本中指定價(jià)位水平的交易，因此，能為其它市場參與者提供流動(dòng)性。提供流動(dòng)性可能最終通過抓住局部上漲趨勢，在交易時(shí)獲得回報(bào)：更好的交易價(jià)格，或者更好的交易對(duì)象。另一方面，主動(dòng)子訂單會(huì)被用來基于預(yù)期的價(jià)格變動(dòng)，捕捉交易良機(jī)。上述兩種情況都會(huì)產(chǎn)生單次（single）交易行為。最終，交易行為范圍被無限擴(kuò)大，根據(jù)瞬時(shí)交易特征的組合數(shù)量呈指數(shù)增長。

誠然如是。

人工編寫的交易算法容易變得龐大而笨拙

人工編寫電子交易算法時(shí)，情況會(huì)迅速變得復(fù)雜。

過去，JPM 分析師認(rèn)為：電子交易算法融合了許多科學(xué)的量化模型；量化模型是「從定量角度描述世界的運(yùn)行機(jī)制」；算法包含著「代表交易員和算法使用者的實(shí)踐經(jīng)驗(yàn)、觀察結(jié)論和風(fēng)險(xiǎn)偏好的規(guī)則和啟發(fā)式方法?！?/p>

想把算法的方方面面都說清楚是十分困難的?！付鄶?shù)人編寫的算法代碼冗長至極且難于維護(hù)及修改。」JPM 認(rèn)為，每當(dāng)客戶目標(biāo)及市場條件變化時(shí)，人工算法都深感「功能拓展」之難。

隨著時(shí)間的推移，算法將學(xué)會(huì)「積累多層邏輯、參數(shù)及微調(diào)，以處理特殊情況。」

監(jiān)管讓人工編寫的算法再次變得更加復(fù)雜

此外，交易算法還必須應(yīng)對(duì)諸如 MiFID II（新版歐盟金融工具市場指導(dǎo)）的監(jiān)管及「最優(yōu)執(zhí)行」的理念。因此，算法編寫必須考慮「變化發(fā)展的市場條件與結(jié)構(gòu)、監(jiān)管約束及客戶的多重目標(biāo)與不同偏好?！?/p>

如果算法編寫實(shí)現(xiàn)自動(dòng)化且滿足各類約束，一切都將變得簡單。

編寫交易算法時(shí)，使用數(shù)據(jù)的三種文化手段（cultural approaches)

機(jī)器學(xué)習(xí)文化嘗試運(yùn)用更多復(fù)雜且有時(shí)晦澀的函數(shù)表達(dá)觀測結(jié)果，不要求函數(shù)能揭示潛在流程的本質(zhì)。

算法決策文化更關(guān)注于決策，而非建模。算法決策文化嘗試訓(xùn)練電子代理（譬如算法）以區(qū)分決策好壞，而不是試圖映射出世界運(yùn)行機(jī)制。如此一來，理解算法為何做出決策，及如何利用規(guī)則、價(jià)值及約束確保決策可被接受就成為新的問題。

算法必須實(shí)現(xiàn)最優(yōu)執(zhí)行率與最優(yōu)執(zhí)行計(jì)劃之間的平衡

算法一旦寫完，首先需要解決平衡問題：快速交易，其風(fēng)險(xiǎn)是影響市場價(jià)格；慢速交易，其風(fēng)險(xiǎn)是成交價(jià)格變化或?qū)⒁鸾灰讚p失（升了，買家賺錢；跌了，賣家賺錢）。

是什么構(gòu)成了成功交易？并非總是清晰可見

算法交易成功與否很難界定，因?yàn)檫@與如何權(quán)衡快速交易（效率）與固定價(jià)格交易（最優(yōu)）有關(guān)──而這又取決于客戶如何設(shè)定他的優(yōu)先等級(jí)。

例如，算法的目標(biāo)可能是與市場其他部分融合（blend with the rest of the market）。這意味著，需要平衡極速交易與價(jià)格變動(dòng)引起的市場影響、或是通過慢速交易確保價(jià)格與交易反向。算法編寫人員需要尋找一種表達(dá)信息和行為的方式，該方式能與模型與機(jī)器學(xué)習(xí)方法相匹配。盡管「市場龐大、多變，規(guī)模和訂單狀態(tài)經(jīng)常變化，父訂單與子訂單數(shù)還不夠作為模型輸入。」，市場狀態(tài)都需要能被總結(jié)和概括出來。

不過，這也無助于抓住瞬即逝的絕佳機(jī)會(huì)。而且，JPM 認(rèn)為，算法交易執(zhí)行或取消后，就無法判斷交易的好壞，但這一點(diǎn)并非總是那么顯而易見?！妇植孔顑?yōu)并不需要轉(zhuǎn)變成全局最優(yōu)。現(xiàn)在失敗的交易也許以后某天又會(huì)賺的盆滿缽滿。」

即便可能出現(xiàn)問題，JPM 已經(jīng)開始使用強(qiáng)化學(xué)習(xí)算法處理交易

JPM 正急于掌握運(yùn)用動(dòng)態(tài)規(guī)劃及獎(jiǎng)懲機(jī)制的各種強(qiáng)化學(xué)習(xí)算法。

JPM 交易員說，「我們目前使用第二代基于強(qiáng)化算法的限價(jià)委托引擎，于有界行為空間內(nèi)訓(xùn)練算法，選擇具備差異化獎(jiǎng)勵(lì)、步長及時(shí)程特征的短期目標(biāo)。」然而，訓(xùn)練算法十分復(fù)雜──如果你嘗試通過在多重處理設(shè)備上同時(shí)執(zhí)行算法以實(shí)現(xiàn)算法的平行訓(xùn)練，會(huì)得到錯(cuò)誤結(jié)果。原因是算法與環(huán)境之間的閉環(huán)反饋。但如果你不這么做，而嘗試基于梯度的算法訓(xùn)練，最終會(huì)得到大量無關(guān)經(jīng)驗(yàn)，無法記住好的交易行為。

JPM 嘗試應(yīng)用超參數(shù)優(yōu)化技術(shù)避免此問題。這代表每次訓(xùn)練都有多個(gè)抽樣事件，并會(huì)盡早停止無意義的優(yōu)化路徑。銀行應(yīng)用超參數(shù)優(yōu)化技術(shù)，通過運(yùn)行平行訓(xùn)練項(xiàng)目訓(xùn)練算法。

JPM 表示，研究的主要目標(biāo)已轉(zhuǎn)變?yōu)椤覆呗詫W(xué)習(xí)算法」，通過在固定參數(shù)條件下匹配特定商業(yè)目標(biāo)以最大化累積報(bào)酬。分層強(qiáng)化學(xué)習(xí)可用于要求必須「生成可預(yù)測、可控制及可解釋行為」的交易算法。在分層方法中，根據(jù)抽樣頻率和粒度水平將算法決策劃分為不同組別，使得算法能夠模塊化，其求解效果也容易甄別。

JPM 已開發(fā)具備「某種特征」的強(qiáng)化學(xué)習(xí)算法，以應(yīng)對(duì)長尾效應(yīng)

在多數(shù)強(qiáng)化學(xué)習(xí)情況中，JPM 強(qiáng)調(diào)算法學(xué)習(xí)行為通常會(huì)產(chǎn)生更好的結(jié)果。然而，在金融業(yè)，過度關(guān)注平均結(jié)果是錯(cuò)誤的──想想長尾效應(yīng)。基于此原因，銀行的量化專家始終基于多維度與不確定結(jié)果評(píng)價(jià)構(gòu)建算法。

為實(shí)現(xiàn)該目標(biāo)，銀行會(huì)基于期望效用的未來分布對(duì)比結(jié)果，對(duì)不確定結(jié)果（長尾）排序──即 CERL（確定等值強(qiáng)化學(xué)習(xí)）。

通過 CERL，JPM 注意到算法能夠有效獲得基于風(fēng)險(xiǎn)偏好的特性?！溉绻蛻羰秋L(fēng)險(xiǎn)厭惡，結(jié)果的不確定增加會(huì)降低行為的確定等值獎(jiǎng)勵(lì)?！顾惴ê茏匀坏男枰劭垡蛩?γ──代表結(jié)果分布，分布范圍與風(fēng)險(xiǎn)正相關(guān)。算法將更加關(guān)注遠(yuǎn)期目標(biāo)。