查看原文
其他

详细报道 | 关于高盛在Github开源背后的真相!

QIML编辑部 量化投资与机器学习 2022-07-01

标星★公众号,第一时间获取最新研究

近期原创文章:

♥ 基于无监督学习的期权定价异常检测(代码+数据)

♥ 5种机器学习算法在预测股价的应用(代码+数据)

♥ 深入研读:利用Twitter情绪去预测股市

♥ Two Sigma用新闻来预测股价走势,带你吊打Kaggle

 利用深度学习最新前沿预测股价走势

♥ 一位数据科学PhD眼中的算法交易

♥ 基于RNN和LSTM的股市预测方法

♥ 人工智能『AI』应用算法交易,7个必踩的坑!

♥ 神经网络在算法交易上的应用系列(一)

♥ 预测股市 | 如何避免p-Hacking,为什么你要看涨?

♥ 如何鉴别那些用深度学习预测股价的花哨模型?

♥ 优化强化学习Q-learning算法进行股市


公众号独家整理报道

编辑:Allen



开源改变了人们对

软件和硬件的思考方式!



前言


本月初,GitHub CEO Nat Friedman 在Twitter上发布了一条消息:



解读:本月晚些时候,高盛计划在GitHub上发布一些代码,高盛自己的交易员和工程师将利用这些代码为证券定价、分析和做风险管理。


下面的评论区的读者也是也是一片好评:



与此同时,《华尔街日报》也报道了这个消息:



高盛在Github上发布代码已经至少两年了,但《华尔街日报》表示,即将发布的代码有点特别它将允许用户直接与SecDB的新web应用进行Marquee交互,包括数据提取、定价引擎和其他功能。除此之外,高盛每年还为其提供10万美元的年度资金,资助工程师开发使用其代码构建的应用。


如果一切按计划进行,每个拥有GitHub账户的人都可以修改公司的代码行。然而,由此产生的知识产权将完全由高盛拥有。


报告称:高盛将放弃部分商标保密措施,分享其一度受到严密保护的技术。


在此之前,高盛在GitHub上发布了几个开源项目:



Reladomo

高盛在GitHub和Maven Central上正式发布了最新的Apache 2.0授权Java框架Reladomo。


三个开源项目——Jrpip、Obevo和Tablasco。

JRPIP

Jrpip实现了远程接口方法调用,允许不同的Java进程彼此交互。该产品旨在通过提供有用的功能来提高开发人员的效率,例如在任何servlet容器中部署的能力、不需要RemoteException的接口实现和使用一次执行语义的自动重试。此外,Jrpip使用高效的二进制协议进行流处理,减少了内存消耗和垃圾收集器问题。“我们希望开源社区发现Jrpip是一个有用的Java库”。技术部门的副总裁兼技术研究员Mohammad说。“使用Jrpip,开发人员可以专注于他们的代码,而不必担心网络管道和TCP错误。”

OBEVO

Obevo是一个数据库部署工具,帮助团队管理软件开发生命周期(SDLC)过程中的数据库更改。除了处理生产部署之外,Obevo还通过定义一个干净的结构来维护DB对象代码来辅助开发阶段,并使用内存中数据库转换等特性来帮助测试阶段。值得注意的是,Obevo是为企业规模和复杂性的系统设计的,可以在一个模式中管理数百个DB对象,同时仍然以一种简单的方式处理新模式。“我们觉得,我们有能力搭载一个大型的、长期使用的系统,实现一个干净的SDLC流程,这是开源领域的一个关键区别”。技术部副总裁Shant说“。”通过将其发布到开放源码社区,我们希望帮助其他人在他们自己的DB部署环境中进行部署,同时围绕该工具发展一个强大的社区。”

TABLASCO

Tablasco是一个JUnit规则,它将表验证添加到单元测试中。对于生成大量数据的软件产品,此工具可以帮助创建全面且易于维护的自动化测试。用户只需将现有数据调整为Tablasco能够理解的表格式。“每次测试都会生成一个彩色编码的HTML break报告,帮助用户快速识别问题”。技术部门副总裁Barry说。此外,Tablasco具有自动化基线管理功能,允许用户轻松地更新失败测试的基线文件。



高盛正寻求与谷歌和Facebook等硅谷科技公司走同样的道路。这些公司通过开放技术来源,显著改善了业务。


通过这一大胆的步骤,高盛希望为其技术获得新的用例,并赢得计算机驱动的量化交易员的青睐。


据报道,在2008年全球金融危机之前,高盛的自营交易引擎SecDB将该公司的交易员打造成了华尔街最聪明的专业人士,甚至被认为使高盛比竞争对手更好地缓冲了金融危机的影响。


然而,由于金融危机后对自营交易系统的全面禁令,高盛此后将SecDB变成了一个名为Marquee的网络应用程序,目前已吸引了约1.3万名用户,其中包括其员工和客户。


随着Marquee在GitHub上的上线,用户将能够直接与它的数据提要、定价引擎等进行交互。


值得注意的是,高盛的新举措可能预示着更伟大的事情即将到来,因为该公司最近一直对分散的区块链技术世界表现出兴趣。


2018年8月,BTCManager获悉,作为在传统金融行业部署区块链解决方案的更广泛计划的一部分,高盛参与了区块链创业公司Axoni的B轮融资。


看来顶尖投行也在GitHub上开源一些内容啦。很值得期待!


下面我们来具体看看高盛这一路的历程。


Marquee


据报道,高盛正计划发布API,使人们能够在GitHub上访问名为 Marquee 的平台。


Marquee是一个基于web的平台,建立在风险和定价引擎SecDB之上。高盛计划发布API(应用程序编程接口),以便通过web与Marquee平台进行交互。


所谓Marquee,是高盛近年来的重磅科技产品,其目的是为了将大宗股票交易电子化而创立的开源平台,允许接入多种投资应用。


Marquee的大宗交易算法执行交易只须数秒,而人工交易则以分钟或小时计。


大宗交易涉及1万股或价值20万美元的股票,如果客户希望买入和卖出大宗股票,他们愿意多付费用来保证流动性和亲自操作。


这是华尔街银行进行自动大宗交易的又一最新尝试,对股票业务而言是一个亮点,因为目前绝大多数股票业务都是人工实现的,而非专业化的计算机程序。


高盛也曾在声明中表示,将致力于把Marquee平台打造成世界级的金融服务与风险管理平台,而赚钱与否是次要的关注点。



James Blackha,前高盛担任数字结构主管。他负责设计、规划、实施、交付和推出Marquee。


他表示:“在最初阶段,Marquee致力于让客户与银行进行电子互动。”


Marquee还开放了高盛的各个部门,并把他们带到了一个平台上来。


James Blackha表示:“Marquee本质上是一个平台,允许高盛的不同业务以安全和一致的方式向客户开放”。


它还允许客户在不与高盛销售团队沟通的情况下自学并快速做出决定。这个应用程序的一个例子是SIMON(结构化投资市场Online)。这让客户能够了解结构性产品,并通过一个应用程序执行交易。在此之前,他们必须与高盛的结构性产品专家沟通,才能了解其交易内容。


这一举措意义重大,因为目前只有高盛(Goldman Sachs)、摩根大通(J.P.Morgan)和摩根士丹利(Morgan Stanley)这三家顶级投行拥有GitHub账户。瑞银(UBS)、瑞士信贷(Credit Suisse)、巴克莱(Barclays)、美国银行(Bank of America)和德意志银行(Deutsche)等投行要么没有GitHub账户,要么什么都没有。对于这样做的公司,除了摩根大通的法定人数外,所有项目本质上都是非财务性质的:它们只是软件工程工具和实用程序。因此,对于一家银行来说,发布代码直接链接到定价引擎等服务是迈向21世纪的重要一步。这也是他们在校招中可以称道的事情。


高盛此举真的有这么大的影响吗?客户已经能够通过第三方系统(如TradeWeb)或具有API的单一交易商平台与高盛这样的银行进行价格发现(Price Discovery)。SecDB的报价请求(RFQ)通常会自动定价,但它们是隐藏在平台背后的黑盒子。我们认为,高盛将努力为量化研究人员和交易员提供工具和服务,让他们融入自己的工作流程,然后鼓励他们在此基础上进行交易。

知识点

价格发现(Price Discovery)是指买卖双方在给定的时间和地方对一种商品的质量和数量达成交易价格的过程。


它涉及市场结构、市场行为、市场信息、期货市场和风险管理。价格发现并不混同于一般意义上的价格决定(Price Determination)。”价格发现是期货市场的一个重要的经济功能,也是期货市场存在和发展的基础。

SecDB


众所周知,证券数据库是高盛的特殊优势。这个系统也被称为SecDB,允许高盛定价交易并评估每日280万交易头寸的风险,是竞争优势的巨大来源,也是其他银行正在努力效仿的东西。


一位前高盛内部人士表示:“你必须知道,SecDB是一个拥有大量天才创意令人惊叹的平台,但它只有26年或27年的历史。”。“在上世纪90年代和本世纪头十年,有很多技术选择对该行业非常有利,但现在情况不同了。例如,当时,你可能每天有几十万笔交易,但现在,在电子外汇交易中,你可能每天有100万笔交易。你如何将一个可以处理10万笔交易的系统扩展到数百万笔?”


了解SecDB需要了解高盛的历史。SecDB高盛1981年收购的外汇和大宗商品经纪公司J Aron创立。直到21世纪初,J Aron才被高盛完全吸收,得以继续开发自己的技术。 J Aron在1992年左右开始使用SecDB。也许是在2006年或2007年,整个公司才开始运营它。每次出现像1998年亚洲危机或2002年互联网泡沫破裂这样的危机时,J Aron的SecDB系统都会进一步扩展。


从一开始,SecDB就J Aron的“战略”团队及其技术人员的合作成果。目前负责高盛资产管理量化交易业务的Armen Avanessians负责该公司的策略。技术部门由Mike Dubno、Glenn Gribble和Kevin Lundeen管理。他们都是非常有才华的技术人员,但这是在1991年。今天的许多编程语言根本不存在。


Slang 


在没有Python的情况下,高盛的技术人员发明了他们自己的语言:Slang 


人们意识到,像C++这样的语言有利于提高执行速度,它运行得非常快,但它是一种复杂的语言,需要很长时间来开发。技术人员认为他们需要一种更容易使用的语言,一种可以在Windows、Solaris和Unix系统上运行的解释性语言。所以他们想出了Slang。


如今,高盛仍然用Slang来编码SecDB。根据各种估计,这个系统是建立在1500万到4000万行Slang代码之上的。Slang曾对高盛有好处,但现在有了更好的东西:Python


其他正在开发SecDB这样系统的银行现在都在使用Python。使用Python,你可以利用TensorFlow之类的东西。高盛做不到这一点,因为Slang,它被困在了公司内部。使用Slang,你不能从其他地方传播思想。最终,这将减缓高盛的创新步伐。


那么,为什么现在不把Slang移开呢?这并不容易:1500多万行代码不可能在一夜之间被替换掉。这可能需要十年甚至更长时间。


高盛其他内部人士说:”公司意识到了这些问题,多年来一直在解决这些问题。高盛一位前合伙人表示,17年前,当SecDB在股票领域推出时,可扩展性问题得到了解决。这是电子交易兴起的开始。所以我们解决了可扩展性的问题”。其他人表示,高盛已经拥有 "JSI" 或Java Slang集成一种使用Java代码访问SecDB的方法,并开发了Python包装器。


这种向Java的转变被认为与雇佣Java程序员相对容易有关。这也是Slang的另一个问题:除非你在高盛长大,否则你不会熟悉它。如果你在高盛从事Slang工作,你就会落后于Python等语言的所有创新。高盛一位技术内部人士承认:“这加大了横向招聘的难度”。这是高盛需要雇佣这么多STEM学生的一个很好的理由:它必须自下而上地培训Slang程序员。


学习Slang也不是那么繁重。一个好的程序员很容易学会俚语。你不用Python并不重要。SecDB有它的局限性,但它已经维持了25年,所以它一定很好。


随着高盛以招牌形式向客户推出SecDB,摩根大通等银行正在紧追高盛。摩根大通还聘请了微软的一位顶级人工智能专家来开发一个新的全球机器学习部门等等。


不过,让我们明确一下这一点。这不是秘诀。从历史上看,SecDB和更新的Marquee并不是高盛历来成为交易大佬的唯一原因。SecDB是一个风险管理平台,它根据理论模型对衍生品合约进行有效定价的能力,但并不能产生Alpha值,只有当交易部门的头寸、客户盈利能力和成本/佣金等额外数据被加入时,它才会变得有趣。显然,这些数据不会通过这些API公开


如果你是客户,通过Marquee API访问SecDB可能会降低你的基础设施开销,并根据提供的服务减少投放市场的时间。但这是有代价的:高盛将知道你在做什么,而且可能会为更有用的功能收取高昂的费用。


最终,我们怀疑高盛会想要像亚马逊那样将其平台货币化。从长远来看,它在这个过程中获得的数据无疑将具有巨大的价值。


高盛工程师Andy Phillips表示:“我们希望成为量化投融资的一员,就像Amazon成为计算能力的一员一样“。亚马逊在成立之初就意识到,它可以出售额外的服务器容量;去年,亚马逊网络服务贡献了该公司四分之三的利润。


据报道,摩根大通在Athena平台的外部可用性方面并没有落后太多,但高盛Github的努力表明,它将更进一步。

推荐阅读


01、经过多年交易之后你应该学到的东西(深度分享)

02、监督学习标签在股市中的应用(代码+书籍)

03、全球投行顶尖机器学习团队全面分析

04、使用Tensorflow预测股票市场变动

05、使用LSTM预测股票市场基于Tensorflow

06、美丽的回测——教你定量计算过拟合概率

07、利用动态深度学习预测金融时间序列基于Python

08、Facebook开源神器Prophet预测时间序列基于Python

09、Facebook开源神器Prophet预测股市行情基于Python

10、2018第三季度最受欢迎的券商金工研报前50(附下载)

11、实战交易策略的精髓(公众号深度呈现)

12、Markowitz有效边界和投资组合优化基于Python

13、使用LSTM模型预测股价基于Keras

14、量化金融导论1:资产收益的程式化介绍基于Python

15、预测股市崩盘基于统计机器学习与神经网络(Python+文档)

16、实现最优投资组合有效前沿基于Python(附代码)

17、精心为大家整理了一些超级棒的机器学习资料(附链接)

18、海量Wind数据,与全网用户零距离邂逅!

19、机器学习、深度学习、量化金融、Python等最新书籍汇总下载

20、各大卖方2019年A股策略报告,都是有故事的人!

—End—

量化投资与机器学习微信公众号,是业内垂直于QuantMFECST等专业的主流自媒体。公众号拥有来自公募、私募、券商、银行、海外等众多圈内10W+关注者。每日发布行业前沿研究成果和最新资讯。

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存