深度学习在财务风险管理中的应用——预测高风险投资者（三）【学术前沿】

往期回顾：《深度学习在...预测高风险投资者（一）》

 5  实验设计

本节描述了价差交易数据集，详细说明了A类客户的定义，并介绍了模型评估标准和不同的分类模型。

5.1、数据库与目标标签定义

STX提供了从2003年到2014年十年的真实交易数据。总的来说，这些数据包括25000名活跃交易者的超过3,000万笔，涉及6064种不同金融工具的交易。为了做好分析数据的准备，我们使用EM估算和切比雪夫法替换缺失值进行离群值处理。

通过有监督机器学习的方法我们会根据交易者i之前的交易记录推断他未来交易的表现（具体方法见原文）。若推算出接下来100笔交易i的收益率会超过5%，那么就把i定义为A类客户，并且立马对冲他的所有头寸，STX设置的标准差不多也是5%，但他们是根据交易者之前的交易记录推断，而我们实验所用的是一种前瞻性的方法，推断交易者进行j交易的之后的盈利能力，而且我们的计算结果也会随着交易的进行而不断改变。根据我们这样的定义算下来所有交易者中有6.43%的交易者被定义为A类交易者，他们的头寸应该被全部对冲。

关于我们如何预测未来利润，我们在交易J发生时收集和分析了包括人口统计信息、客户信息以及交易J发生之前的20笔交易的信息。考虑过去20笔交易的决定是基于STX的对冲政策,STX原有的对冲策略就是基于交易发生前20笔交易的表现来决定当时的客户状态的。

5.2、特征创造

我们通过与STX交易部门经验丰富的成员访谈来创建交易者分类变量。第一轮访谈的目的是识别领域专家认为代表好/坏交易者的风险因素。基于相应的结果，我们开发了一个半结构化的调查，并在第二轮访谈中向交易部门的七名成员展示。调查要求参与者评估从第一轮中产生的行为特征，用李克特量表从1 - 7分，1分和7分分别代表最好和最坏的交易行为。在调查结束后，我们让参与者分别说出他们交易FTSE100指数和FTSE100指数中的一只股票时会采用的策略。这样做是为了收集调查中可能未涵盖到的因素。访谈的结果指导了特征的创建。由于与STX的保密协议，我们不能正式定义所有特征。但我们会对其进行大体描述，并讲述它们是如何被创建的。

这些特征反映了STX的具体情况。风险分析人员可能会发现以下描述对相关应用中的特征生成很有用。然而，由于我们的研究集中在DL方法的应用上，因此它不能保证通用性。一般来说，特征分为五个组。第一组包括交易员的人口统计资料，如年龄、原籍国、邮编、就业状况和薪金组。

第二组特征是交易者过去的交易表现。我们使用平均值和标准偏差等集合来计算一个目标交易的20个前交易的相应特征。选择20的窗口大小遵循了STX在研究时的对冲政策。除了盈利能力，我们还计算了一组相关的绩效指标，如平均盈利率、平均盈利点数、客户是否盈利等。我们也考虑风险调整回报(如夏普比率)。

第三组特征主要描述交易者对市场和渠道的偏好。例如，其中一个特征只是计算交易者投资的市场数量，而另一个特征则是交易者在之前的20次交易中是否对某个特定市场表现出强烈的偏好。利用这些信息，我们创建了描述交易者整个历史和最近20次交易中最喜爱的市场集群的特征。

调查结果发现，处置效应是检测不良交易者的一个相关因素。处置效应(Weber & Camerer,1998)即:投资者倾向于快速卖出获利的交易，但不愿卖出亏损的交易。第四组特征试图捕获这一效应。我们确定每个交易者的平仓平均数量和时间，并计算它们的比例。我们还考虑了前20次交易和之前所有交易的总和，而不是平均值和窗口长度。

采访中出现的另一个因素与交易纪律有关。交易部门的成员指出，优秀的交易者倾向于设定手动限制(止损和盈利水平)，并会随市场变动作出反应。第五组特征意在捕捉有关交易者策略的通性。持股规模的变化指数体现了相应的特征。我们还考虑了一些更简单的特性，比如持股规模的标准差，以及捕捉交易频率及其变化的特性。这一组的其他特征与客户在正常交易时间内/外交易的倾向有关(例如，相应交易的数量和份额)，我们认为这是交易者业性的指标。交易者关闭部分交易的程度也可能是专业的信号，这会带来更高的风险。因此，我们创建了一个特征来衡量在过去20次交易中已经关闭的交易的份额。前面的例子概括了我们使用的特性类型。通过改变窗口大小、聚合函数、通过将特征与阈值进行比较创建特征(例如是否使用移动应用程序关闭了最近20次交易)，并考虑双变量交互，我们获得了接近100个特征的集合。本文的一个目的是测试DNN是否能够自动学习具有预测性的高级特征。例如，在特征工程的讨论中提出特征之间存在多重共线性，特征选择可以弥补这一缺陷。然而我们的一个子目标是检验DNN自动丢弃冗余和不相关的特征的能力。因此我们不进行特征选择。

5.3、实验数据分析与特征重要性

为了阐明A类和B类客户在特性上的差异，我们展示了数据分析的结果。表2分别报告了A类和B类客户端的十大顶级特性的描述性统计。我们根据Fisher-score来选择这些特征(Verbeke et al.，2012)。以20为后缀的特征是通过目标交易的前20个交易的数据进行计算的。

有趣的是，Fisher-score将决定STX当前对冲政策的特征PassAvgReturn20排在最重要特征的第十位。这表明，如果基于ProfitxDur20等更重要的特性(在Fisher-score排名中名列前茅)做出决策，可能会是对当前决策的改进。更一般地说，表2显示了客户组之间在变量的平均值上的差异很小。这表明好的交易者和坏的交易者都在这些特征所表示的行为空间中活动，对他们进行分类可能有一定难度。为了支持这一观点，我们使用表2的特征对训练集做了一个逻辑回归模型，并观察到McFadden R2接近于零。如果考虑标准差，从表2可以看出，B类客户的交易行为相对于A类客户的波动性略大，这支持了访谈中发现的好的交易者策略一致的结论。表2还强调了性格效应作为潜在的区别因素。十大特征中有几个旨在通过对比交易者持续盈利仓和亏损仓的持续时间来捕捉处置效应。最后，特征分布的第三和第四阶矩揭示了好交易者和坏交易者之间的一些差异。然而，逻辑回归的失败表明，将这些差异转化为分类规则非常困难，用线性模型可能难以做到。

5.4、数据组织，标准评估与性能

我们使用n次交叉验证来评估ML模型的预测性能。与将数据单独划分到训练集和测试集相比，重复建立模型和评估n次增加了结果的鲁棒性。在后续的比较中，我们考虑了n = 10和n = 5的设置。

客户分类问题能显示出类别不平衡和不对称错误的代价。假阴性(FP)错误是指将A类客户误分类为B类客户。假阳性(FP)错误则相反，即一个B类客户被错误地归类为高风险交易者。FP错误的经济含义是做市商对冲B客户的A笔交易。这种做法不太合适，因为B类客户平均都会赔钱。对做市商来说，这些客户的损失代表着利润，但如果交易被对冲，这些损失就会化为零。FN错误更为严重，因为未能对冲高风险交易者的交易可能会给做市商带来巨大损失。为了反映这种成本不对称，我们根据模型的预测，根据套期交易的损益对分类模型进行评估。

首先我们计算出一起假阳性和一起假阴性事件的平均损失，之后我们计算每笔交易中平均因分类失误而导致的损失作为第二个效绩指标。我们基于特定类别进行平均而不是基于行业，这样的话平均错误分类成本(AMC)在正确模型中更稳健，而损益反映了在我们的数据样本中进行分类的真实效益上的影响。因此，这两种措施是相辅相成的。

为了比较我们的DNN的性能，我们选择了5个ML模型作为对照，包括逻辑回归、ANNs、RF、Adaboost和支持向量机(SVM)。这些对照的详细描述可见原文的在线附录。我们在在线附录的第2部分展示了选择模型时考虑的超参数设置，其中我们还详细介绍了超参数调优。

6、实验结果之基于ML方法与DNN方法的预测准确性比较

我们首先在表3中给出了关于不同分类模型对不同评价标准的预测性能的结果。加粗加黑的一栏是每个评估标准中表现最好的模型。P&L（损益）和AMC（资产管理价值）以英镑计量，并且在单个交易水平上进行计算。例如，我们观察到DNN的损益值为121.67，这意味着根据DNN的建议对冲一笔交易，做市商平均获利121.67英镑。另一方面，AMC的值为483.84，则表明按照模型预测的每笔交易的结果并相应地进行对冲，那么做市商每笔交易将获得483.84英镑的利润。显然，DNN模型的最佳对冲是一个理论基准。表3中的所有值都是平均值，这是我们通过10次交叉验证得到的。

表3证明了DNN的优越性。在多个性能指标上，它的性能明显优于ML方法。唯一的例外是特异性（Specificity)，所有的模型都接近完美，RF（随机森林法）比其他模型小有优势。在损益这个STX最关心的指标上，DNN相比第二名的逻辑回归上升了9%。在AMC指标上的改进更实质。DNN的性能大约是ML的两倍。表3中的其他指标说明了AMC结果的来源。所有的分类模型在特异性和精度指标上都达到了很高的水平，但在敏感性（Sensitivity)方面有着巨大差异。接近1的精确度表明，当一个模型将一个交易分类为高风险并建议对冲时，这个分类通常是正确的，对于每个分类器都是如此。然而，DNN具有更高的敏感性，这意味着它能识别出更大比例的高风险交易。结果就是DNN会对冲更多来自A类客户的交易，避免相应的损失。在这方面，我们可以将表3解释为DNN实施了更审慎的风险管理策略的证据。通过不同的测量证明，DNN在灵敏度、特异性和精度方面取得了较好的平衡。AUC结果对评价进行了补充，表明DNN具有更好的排序性能。根据模型估计的类别概率对交易进行排序，DNN区分A客户和B类客户交易更准确，它能获得比第二好的RF分类模型高出13%的AUC分数。

值得我们思考的是为什么DNN在AMC方面比P&L表现出更大的优势。这两项测量因结构的不同而有所不同。P&L考虑的是每笔交易的实际回报，而AMC则是分别基于A类客户和B类客户交易的平均回报。考虑到一笔给做市商带来巨大损失的交易，P&L上的错误比AMC上的错误给公司带来更严重的损失。从表3可以看出，DNN对一些损失较大的交易进行了错误分类，而ML模型对这些交易进行了正确预测。这可能表明，DNN和其他分类模型的组合使用可以比单独使用DNN更好。然而，如果不同的分类模型各自的性能非常不同，那么利用它们之间的协同作用就不是件容易的事。例如，从表3可以清楚地看出，对DNN和另一个分类模型的预测值进行简单的平均会降低预测精度。鉴于表3中DNN的出色表现，我们将对预测组合的评价留给未来的研究，并将重点放在解析DNN性能的起源上。

分类模型的性能取决于它选取的特征及其预测值。数据分析没有识别出具有高预测能力的单一特征。一个仅使用表2特征的简单逻辑回归模型的预测性能与随机没什么区别。为了更清楚地了解特征与效果之间的关系，我们采用基于信息融合的灵敏度分析(IFBSA)。IFBSA最初是由Delen(2007)提出的，目前已被用于多个研究中，它通过多个分类模型视角来检验特征的重要性。IFBSA首先评估单个特征的重要性，即没有该特征的模型误差与包含该特征的模型误差的百分比比率。IFBSA会对所有特性重复此评估。为了评估一个特征对模型性能的边际影响，IFBSA的第一步与基于rf的特征重要性权重有相似之处，感兴趣的读者可以在在线附录中找到。IFBSA和基于rf的特征重要性之间的一个关键区别是，前者考虑了几种不同的分类模型，将所有不同分类模型中对某一特征的预测进行综合。

IFBSA可以揭示不同分类模型中特定特征在预测表现中所占的权重，这样可以保证在预测效果好的模型中特征的权重会更大。将IFBSA应用于表3中的不同分类模型，得到融合后的特征重要度权重分布如图5所示。我们重点关注了基于fisher-score分析的十大最重要的特性。图5描述了我们数据集中的五组特征中每一组的特征的IFBSA重要性。

从图5中我们可以看出所有的特征按重要性可以大致分为三个区间，有一小部分特征特别重要，他们的评分非常高，然后有一大波的特征比较重要，集中在中间区间，另外有一小部分不太重要的特征。按照我们之前Fisher-score所评出来的十大最重要特征排在中间区间，在IFBSA法中它们并不是最重要的特征。考虑到IFBSA和Fisher-score对特征重要性的看法根本不同，它们重要性排名之间的差异是可以预料的。我们将图5作为二元响应和特征之间复杂依赖关系的证据，这一点Fisher-score没有捕捉到。很容易将图5中的三组特征描述为分别与预测目标非线性相关、线性相关和不相关的特征。

我们希望图5中的等级也能反映一个特征对交易者行为特征的潜在、抽象表示的影响，这是DNN通过其深层架构从数据中提炼出来的。然而，这种解释需要进一步的分析，以更好地理解DNN成功的起源以及它是如何与特征相联系的。后面几节阐明了这些问题。我们对IFBSA的特征重要性评估进行了简单总结，发现特征中预测信息的总量均匀分布在五类特征中，如下图6中所展示。

内容转载自智能财会研究院

执笔人丨洪振瀚

---

      推荐阅读      

【学术前沿专题回顾】

（按住蓝色区域上下滑动可查看更多内容）

阿里达摩院发布2020十大科技趋势

【人才&实务专题回顾】

（按住蓝色区域上下滑动可查看更多内容）财务机器人案例专题（二）
财务机器人案例专题（三）
国网青海电力构建智能化财务系统，助力疫情防控

各大高校纷纷开启智能财会专业建设与人才培养，智能财会浪潮已来

【会议动态专题回顾】

（按住蓝色区域上下滑动可查看更多内容）上海国家会计学院第二届智能财务高峰论坛成功举办上海国家会计学院刘勤：智能财务时代已来临 “人机共生”协作模式或将出现元年科技李彤：智能财务的关键在认知智能和生态协同