资产定价中的实证挑战 (V)

作者：石川

摘要：本文解析协变量的高维数时代，实证资产定价研究中机器学习的机遇和挑战。

0 前文回顾

本系列的前文分析表明，当面对时序和截面收益率数据量有限的情况，同时存在大量具有预测信息的协变量，并且这些协变量之间可能通过交互作用对收益率产生非线性影响时，传统的计量经济学方法（如 OLS）往往显得低效甚至难以适用。

在这种背景下，机器学习算法凭借其强大的建模能力，或许不再是锦上添花，而是成为解决问题的关键工具。作为本系列最后一篇，本文首先针对前文有关测试资产选择和模型设定偏误的问题给出机器学习模型的解决办法，之后会从模型复杂度和泛化性能、渐近分布以及可解释性几个角度进一步阐释机器学习在实证资产定价中的机会和挑战。

1 测试资产与机器学习

由前面的论述可知，测试资产一方面应该包含关于资产预期收益率截面差异的足够信息，另一方面则应该包含较低的噪声以防止估计误差或者定价模型被过度拒绝。而传统方法中无论是使用变量进行双重排序还是直接使用个股都难以满足上述条件。在这方面，Bryzgalova et al. (forthcoming) 结合了机器学习中的决策树和资产定价理论，构造了资产定价树，取得了一定的进展。

首先，该文使用大量协变量作为决策树的划分依据。假设共有 K 个协变量，则一棵深度为 d 的决策树共有潜在 K^d 种构造顺序，且每次划分的节点都是一个由满足该划分的股票而构成的投资组合。如果考虑所有可能的划分产生的全部投资组合，无疑会陷入维数灾难。为此，该方法的第二步是使用剪枝（pruning）。剪枝的目的是为了留下对资产定价而言最重要的节点（投资组合）。

由于目标是构造测试资产，因此剪枝的目标是使留下的节点所构成的 MVE 组合的夏普比率最大。该目标在数学上可以通过估计 MVE 组合中每个节点的权重实现。为了防止样本内过拟合，该文在损失函数中同时加入了 L1 和 L2 罚项。二者可以有效控制模型复杂度，且 L1 罚项能够施加稀疏性约束。实证结果表明，基于上述资产定价树所构造的测试资产所涵盖的截面信息远远超过传统 portfolio sort。

2 模型设误与机器学习

为了避免遗漏变量问题，Feng et al. (2020) 提出了两步 LASSO 回归来识别真实的因子。第一步 LASSO 首先从众多候选因子中找出能够解释资产预期收益率的因子。之后，在第二步 LASSO 中，该文通过考察“已选出因子和资产的协方差”以及“剩余因子和资产的协方差”之间的相关性，再选出额外的因子。第二步有效地避免了第一步存在模型设定偏误导致遗漏变量的问题。

遗漏变量问题可导致因子溢价估计有偏。因此，如何准确的估计因子溢价以及在这个基础上检验异象就是非常重要的问题。由于真实的因子结构是未知的，因此学术界把研究的目光移到了隐性因子模型上。在隐性因子模型框架下，任何一个可观测因子的风险溢价等于它对隐性因子的暴露乘以隐性因子的溢价。在这个性质下，Giglio and Xiu (2021) 利用主成分分析（PCA），通过隐性因子模型估计可观测因子的溢价。

计量经济学中的重要性质使得 PCA 在这方面大有可为。首先，利用线性因子模型的旋转不变性，即便只能观察到隐性因子的某个满秩变换，也不妨碍估计可观测因子的溢价。其次，只要隐性因子足够强，PCA 总是可以复原对因子空间的某个旋转变换。通过这两个性质，该文准确地估计了可观测因子的溢价。

3 模型复杂度和泛化性能

机器学习属于应对维数灾难的密集建模技术，为解决高维预测问题提供了强大的工具库。机器学习模型能够通过高维协变量揭示出错综复杂的数据关系，捕捉那些在传统统计方法中可能被忽视的模式。例如，金融市场中，通过综合大量的经济指标、公司特征、市场数据以及非结构化信息，机器学习模型可以识别出影响资产价格的细微变化和深层次因素。这种深入分析能力为理解市场动态和预测未来趋势提供了新的视角。从这个意义上说，相比于传统方法，机器学习的灵活性使它在近似复杂、非线性或高维数据生成过程（Data Generating Process，DGP）方面具有潜在优势。

然而，对 DGP 的更好近似并非没有代价。如果使用不当，机器学习模型可能会过于灵活，导致过拟合。为了避免这种情况，引入正则化来控制模型的复杂度非常必要。正则化有助于提升模型在样本外的泛化能力。当模型复杂度很低时，模型的方差很小但偏差很高；当模型复杂度高时，模型的偏差降低但方差增大。二者共同作用导致泛化误差随模型复杂度呈现人们熟悉的 U 型，即模型太简单或太复杂都不好，而最小化泛化误差的复杂度位于一个折中的位置，微妙地平衡了偏差和方差。

上述传统的模型复杂度与泛化性能的关系是以协变量的个数小于样本个数为前提。然而，近年来机器学习领域的诸多突破成果表明，在其他应用中取得成功的深度神经网络中，模型参数的个数超过样本个数并不罕见，但它们却有着很好的泛化性能。这个现象促使这人们搞清楚背后的原因。当协变量个数超过样本个数时，模型能够完美的拟合训练集样本。

对这样一个模型来说，人们以往的认知是，它在样本外的泛化误差一定会“爆炸”，因为它过度拟合了训练集数据的全部噪声。然而，Belkin et al. (2019) 指出，在施加足够正则化约束的前提下，模型复杂度超过样本个数之后，泛化误差并没有“爆炸”，而是随着复杂度的提升下降。因此，如果我们以样本个数表示模型复杂度，并以它为界限观察泛化误差在其左右的曲线，会发现在其左侧（即经典 U 型区域），泛化误差会随复杂度的下降而下降（这是因为模型会逐渐接近传统区域内实现偏差-方差权衡的那个点）；而在其右侧（即过度参数化区域），泛化误差会随模型复杂度的上升而下降（下图）。Belkin et al. (2019) 把这个现象称为双侧下降（double descent）。

从直觉上解读上述现象，在过度参数化区域，由于协变量个数超过样本个数的时候，因此训练集的解是不唯一的。然而，在必要强度的正则化作用下，最优的解实现了方差最小。随着协变量越来越多（即模型越来越复杂），最优解的方差总能单调下降。再来看偏差，由于所有模型都是真实 DGP 的某个误设版本，因此当变量个数超过样本个数时，偏差也会在一定范围内随着复杂度而下降。最终，二者的综合结果是在过度参数化区域，模型的泛化误差随复杂度的上升而下降。

我们还可以换个角度来理解传统的偏差-方差的权衡。当模型简单时，它的参数很少因此能够有效规避过拟合，但却无法很好地近似 DGP；当模型复杂时，它的参数很多甚至过度参数化，但也更有可能近似 DGP。因此偏差-方差权衡也可以被理解为更好地近似 DGP 与防止过度参数化之间的权衡。当近似 DGP 带来的好处超过过度参数化带来的统计成本时，提升模型的复杂度就是有益的。

对于实证资产定价而言，真实的 DGP 是十分复杂的，协变量也是高维的。那么上述机器学习领域的最新发现对预测资产收益率又有什么启示呢？过度参数化的复杂模型是否也能够被应用于实证资产定价之中呢？ Bryan Kelly 一系列以“复杂度美德”为题目的论文对此做了初步的探讨，认为在实证资产定价中提升模型复杂度能够带来样本外的好处。例如，Kelly et al. (2024) 使用神经网络研究了美股市场的择时问题；Didisheim et al. (2023) 则将“复杂度美德”扩展到截面定价模型。

4 渐近分布

估计量的渐近分布描述了该估计量在样本大小趋向无穷时的分布特性。它为人们提供了一种评估估计量长期行为的方法，帮助人们了解其在大样本下的性质。对于机器学习模型，虽然其关注的重点是预测而非参数估计，但了解模型参数的渐近特性仍然是非常有益的，特别是对实证资产定价而言。

例如，考虑一个简单的线性回归模型。在传统的统计学中，我们知道其系数估计的渐近正态性。这意味着，随着样本大小的增加，这些系数的估计会围绕真实值波动，并服从正态分布。在机器学习的背景下，尤其是当我们使用更复杂的模型时，这种渐近性质可能不再成立，或者可能更难以推导。每个机器学习模型都有其特定的参数。这些参数通常是通过优化算法从数据中学习得到的。但随着数据量的增加，它们的取值会如何变化？是会收敛到某个固定值，还是会不断波动？这就是渐近分布回答的问题。

考虑到金融市场的噪声和不确定性，机器学习模型的渐近特性对于评估模型的稳定性和过拟合风险尤为重要。一个具有良好渐近特性的模型更可能具备良好的泛化性能。Athey and Imbens (2019) 指出，即使在复杂的机器学习模型中，理解和分析渐近行为仍然是确保模型稳健性的关键步骤。通过分析模型在大样本下的行为，研究人员可以更好地理解模型的收敛性和稳定性。

5 可解释性

关于金融领域中的机器学习，一个常见的误解是认为它只重视预测准确性而忽视可解释性，常被视为一种“黑箱”方法。然而，这种观点过于简化了机器学习在实证研究中的角色，特别是在资产定价的背景下。尽管机器学习模型确实复杂，但已有大量努力确保这些模型保持可解释性，与传统学术界对理解预测背后“为何”和“如何”的强调相一致。

在传统的多因子模型中，可解释性一直是基石。例如，Fama-French 五因子模型是基于股息折现模型，而 Hou-Xue-Zhang 模型则基于 q 理论。同样，对异常现象的研究通常将其分类为基于风险或由于错误定价，提供了其存在的明确解释。当机器学习模型进入这一领域时，向复杂算法的转变引发了对失去这种可解释性的担忧。然而，机器学习并非与可解释性本质上对立。

对于线性机器学习模型来说，可解释性相对简单。例如，Kozak et al. (2018, 2020) 使用主成分分析（PCA）从投资组合中提取主成分，发现前两个成分完全对应于著名的规模（SMB）和价值（HML）因子。同样，Kelly et al. (2019) 提出了条件 PCA（即 Instrumented PCA）。虽然其数学复杂，但本质上是从横截面回归中得出的管理投资组合的线性组合。这些例子表明，即使在机器学习框架内，线性模型仍然保留了根植于回归分析和投资组合排序法中的可解释性。

对于非线性模型来说，可解释性更具挑战性，但仍然是学术研究的重点。例如，Gu et al. (2020) 使用 permutation importance 来识别在预测中最重要的协变量。其研究结果显示，最重要的协变量——动量、流动性、风险和基本面变量——与数十年的实证资产定价研究一致。同样，Chen et al. (2024) 通过分析随机折现因子（SDF）权重对协变量的敏感性来评估模型的可解释性，识别出交易摩擦、价值、无形资产、盈利能力以及投资等最重要的协变量。

其他创新方法进一步突出了机器学习模型的可解释性。例如，Kozak (2020) 应用核技巧将协变量映射到更高维空间，使得 PCA 能够在保持计算效率的同时揭示出关键的协变量。通过将结果映射回原始协变量，该文仍然可以识别出最重要的解释变量。此外，Avramov et al. (2023) 展示了观察不同协变量中被选中股票的共同特征可以揭示变量的重要性，加强了机器学习洞察与传统资产定价原则之间的一致性。

这些例子强调了机器学习模型不仅能够提高预测准确性，还能揭示与既有实证发现一致的关键解释变量。最后，我们想强调的是，追求机器学习中的可解释性并非事后之举；相反，这是在复杂算法与资产定价基本原则之间架起桥梁的积极探索。随着机器学习的不断发展，其预测能力和可解释性能够确保其在金融研究中发挥更大的作用。

6 What's Next

2020 年，RFS 推出了 New Methods in the Cross-Section 的专刊，标志着实证资产定价从计量经济学向机器学习的转变，而它背后所折射出来的，更是从 sparse-modeling 向 dense-modeling 的转变。

站在当下，再次回顾 Breiman 提出的两种文化所带给我们的启发。在面对实际问题时，我们不应该盲目地坚持某一种文化，而应该根据问题的性质和数据的特点来选择最合适的方法。当然，对实证资产定价而言，问题绝非像使用机器学习取代计量经济学那么简单，且金融数据低信噪比、不满足平稳性等特征也决定了现成的机器学习算法也并非即插即用。如何在实证研究中成功应用机器学习，才是必须回答且必须回答好的问题。

感谢各位小伙伴看到这里。本系列写到此就暂时告一段落了。而关于如何回答好这个问题，今后自会有答案的。

Stay tuned.

参考文献

Athey, S. and G. W. Imbens (2019). Machine learning methods that economists should know about. Annual Review of Economics 11, 685-725.

Avramov, D., S. Cheng, and L. Metzker (2023). Machine learning vs. economic restrictions: Evidence from stock return predictability. Management Science 69(5), 2587-2619.

Belkin, M., D. Hsu, S. Ma, and S. Mandal (2019). Reconciling modern machine-learning practice and the classical bias–variance trade-off. PNAS 116(32), 15849-15854.

Bryzgalova, S., M. Pelger, and J. Zhu (forthcoming). Forest through the trees: Building cross sections of asset returns. Journal of Finance.

Chen, L., M. Pelger, and J. Zhu (2024). Deep learning in asset pricing. Management Science 70(2), 714-750.

Didisheim, A., S. Ke, B. T. Kelly, and S. Malamud (2023). Complexity in factor pricing models. Working Paper.

Feng, G., S. Giglio, and D. Xiu (2020). Taming the factor zoo: A test of new factors. Journal of Finance 75(3), 1327-1370.

Giglio, S. and D. Xiu (2021). Asset pricing with omitted factors. Journal of Political Economy 129(7), 1947-1990.

Gu, S., B. T. Kelly, and D. Xiu (2020). Empirical asset pricing via machine learning. Review of Financial Studies 33(5), 2223-2273.

Kelly, B. T., S. Malamud, and K. Zhou (2024). The virtue of complexity in return prediction. Journal of Finance 79(1), 459-503.

Kelly, B. T., S. Pruitt, and Y. Su (2019). Characteristics are covariances: A unified model of risk and return. Journal of Financial Economics 134(3), 501-524.

Kozak, S. (2020). Kernel trick for the cross-section. Working paper.

Kozak, S., S. Nagel, and S. Santosh (2018). Interpreting factor models. Journal of Finance 73(3), 1183-1223.

Kozak, S., S. Nagel, and S. Santosh (2020). Shrinking the cross-section. Journal of Financial Economics 135(2), 271-292.

免责声明：入市有风险，投资需谨慎。在任何情况下，本文的内容、信息及数据或所表述的意见并不构成对任何人的投资建议。在任何情况下，本文作者及所属机构不对任何人因使用本文的任何内容所引致的任何损失负任何责任。除特别说明外，文中图表均直接或间接来自于相应论文，仅为介绍之用，版权归原作者和期刊所有。