Vesper 不仅展示大宗商品市场的实时信息，还运用机器学习预测各类农业大宗商品（例如乳制品、油脂、糖）的价格、产量与库存水平。为帮助用户理解哪些变量会导致价格、产量与库存水平发生变化，Vesper 在本文中研究了因果推断（causal inference）分析如何帮助量化这些变量的影响。此外，这还可能帮助我们的用户理解并预判新冠疫情或仍在持续的乌克兰战争等重大意外事件的影响。
总体而言，因果推断可以用来分析和量化各种因果关系。因此，在本文中，我们将量化并比较以下因果效应：黄油进口、黄油出口与黄油产量对黄油价格的影响。本文的结构如下：
- 首先，我们会更深入地说明因果推断到底是什么。 - 其次，我们会讨论用于寻找黄油进口、黄油出口、黄油产量与黄油价格之间因果关系的底层市场结构，以及识别因果关系如何能让 Vesper 用户受益。 - 最后，我们会谈到因果推断中使用 Microsoft DoWhy 库的机器学习部分，并给出因果推断结果。
因果推断到底是什么？
因果推断被定义为这样一个过程：识别数据之间的因果关系，并估计某一特定事件的影响（Eichler, 2012）。要回答“用户在看过某部电影之后会给它打多少分？”和“是什么导致了这种大宗商品的价格变化？”这类问题，就必须测量并比较不同变量的影响（Moraffah et al., 2021）。举例来说，可以看看 Netflix 的推荐模型，比如用户主页上展示的个性化电影推荐行。传统的推荐系统试图回答一个简单的问题：“用户会给这部电影打多少分？”问题在于，无论系统推荐什么，用户都会去看自己最喜欢的电影。因果推断让 Netflix 能够分析并量化不同电影推荐的影响，从而更好地理解用户，并提升现有推荐模型的表现。 从 Vesper 的角度看，开展因果推断有助于更好地理解是什么导致大宗商品价格朝某个方向变动，无论是上涨还是下跌。我们的大宗商品因果推断结果可以帮助客户在特定市场状况发生变化时，更好、更快地做出预判。
相关性不等于因果关系！
大多数用于预测股票或大宗商品价格的机器学习模型和算法，都依赖变量之间的相关性。然而，若要洞察预测背后的驱动因素，只依赖相关性是非常危险的。简单来说，相关性是一种度量，描述变量之间关系的大小和方向（正向或负向）。只看相关性，可能会让我们以为人造奶油消费量与缅因州的离婚率之间存在因果关系（见下图）。这张图清楚地显示，这两个事件高度相关。然而，这并不意味着少吃人造奶油就会带来更健康的婚姻。相关不等于因果：因果关系说明两个事件之间是否存在因果联系，而因果推断则检验因与果之间的关系是否真的存在。
市场结构
要做因果推断，就必须对影响黄油市场的各类因素有一个清晰的概览。这通过因果图（即一种用于编码数据生成过程假设的概率图模型）来实现。Vesper 的市场洞察专家绘制了一张图，涵盖所有可能影响黄油产量与黄油定价周期的因素，如下所示。图中呈现了多个因素之间的不同关系，这些因素都与黄油进出口、黄油产量或黄油价格存在直接或间接的关系。黄油价格是我们关注的变量，因为我们开展因果推断，正是为了考察黄油进口、黄油出口与黄油产量对黄油价格的因果效应。图中的箭头代表两个变量之间的直接关系。可以看到，我们假设牛奶产量与黄油价格之间不存在直接关系。不过，这并不自动意味着二者之间不存在间接关系。可以认为，由于产品增值核算（valorization）的结果有利，牛奶产量增加可能导致黄油产量上升，从而间接压低黄油价格。通过开展因果推断，可以量化两个或多个间接相关的变量之间的因果关系。
产品的增值核算是最重要的变量之一。最好把它理解为：以最优方式配置资源，从而获得尽可能高的回报。在给定各类乳制品当前价格的条件下，Vesper 会计算 10,000 升牛奶用于生产哪种产品（包括副产品）能带来最高回报。当黄油价格极高时，增值核算工具很可能会建议多生产黄油，因为相比生产奶酪等其他产品，黄油更有利可图。因此，牛奶产量与增值核算都会影响黄油的产量。反过来，黄油价格又会影响今天的增值核算模型给出的结果。除了增值核算（以及由此决定的流入黄油生产的牛奶量）之外，黄油产量还受到黄油进口与出口、消费量和库存水平的影响。
市场洞察与数据科学的交叉点
乍看之下，数据科学与市场洞察似乎是两个不同的工作领域。两者所需的技能和实际职能各不相同，但最终目标往往是一致的：获取洞察，以改进企业内部或市场中的决策。要对大宗商品价格开展因果推断，我们既要理解整个市场的运行机制，也要具备整合因果推断模型的技术能力。市场洞察在因果图的构建中作用很大，它负责识别所有对两个事件之间关系有贡献的因素。换句话说，必须先确定市场结构，数据科学团队才能整合因果推断模型。如果缺少必要的技术能力和/或市场知识，几乎不可能理解大宗商品价格因果推断的结果。因此，这两个不同领域之间的良好协作非常重要，而这正是 Vesper 的核心所在。
因果推断对 Vesper 用户的意义
我们在 Vesper 为什么如此关注因果推断？因为它帮助我们更好地理解大宗商品市场，并为客户创造更多价值。它让我们能够把 AI 领域的最新进展与团队的市场专长结合起来。更关键的是，自动化、定量化的因果推理可以带来更稳健、更具战略性、更全面也更灵活的商业智能。下一部分将说明因果推断的主要优势，以及它如何帮助我们的用户。
过去几年，我们体会到意外事件会给企业带来多么沉重的冲击。贸易战、一波又一波的疫情、真实的战争、极端天气以及不断上升的政治不稳定，让供应链和错综复杂的进出口网络比以往任何时候都更脆弱。因果推断让我们能够帮客户为意外做好准备。没有任何机器学习算法能够预测下一次市场扰动的确切规模。但是，只要理解被事件改变的那些变量对整个市场有何影响，我们就能为意外事件做好更充分的准备。举例来说，如果某个大宗商品出口大国因制裁或贸易战被迫退出国际市场，任何基于历史价格的市场预测都将失效。然而，理解出口减少对市场的影响，有助于更好地判断制裁会带来什么后果。因果推断让我们能够把数据与我们对市场动态的了解结合起来，回答“如果某个国家的进口降到零会发生什么？”这类问题，即使这种情况此前从未发生过。这样，因果推断就通过提供对市场行为更稳健、更有韧性的理解，来补充预测。
理解并估计因与果，有助于战略决策。如果一家公司想大幅提高某种商品的产量，就需要把由此带来的价格变化考虑在内。这类决策通常不会被预测所涵盖，因为预测只基于历史市场数据。当然，对市场影响有限的小公司来说，这大概不是问题。但大型参与者需要知道自己的行动如何影响整个市场。因果推断让这成为可能。如果我们知道产量提高对市场价格的影响，就能更好地估计一家公司的决策会带来什么结果。因此，借助因果推断模型，我们可以把 AI 的力量用于企业规划与战略。
最后，因果推断让规划更具灵活性。它可能让我们的客户去考虑不同的情景，看看这些情景会如何影响市场。举例来说，如果未来几个月的天气存在不确定性，一家公司可以查看不同天气条件对牛奶价格的通常影响，并据此规划。又比如，如果一家公司认为竞争对手可能因签订新的合作协议而迅速增加黄油进口，它就可以通过估计这一举动对黄油价格的影响来提前准备。这样，因果分析可以补充预测，提供更贴合自身需要的市场洞察。
用于因果推断的 DoWhy 库
为了开发一个完整的因果推断引擎，我们使用了 Microsoft 的一个开源 Python 库：DoWhy（Sharma, Kiciman, 2020）。用作者们的话说：正如机器学习库为预测所做的那样，“DoWhy”是一个旨在激发因果思考与因果分析的 Python 库。该库提供了一个估计因果效应和条件因果效应的框架。它融合了机器学习、统计学和经济学中发展出来的因果研究方法，因而具备更大的灵活性。该库目前仍处于 beta 阶段，但已经具备了一套令人印象深刻的功能。
因果推断的 DoWhy 方法，共分为四个步骤：
- 对问题建模 - 识别因果关系 - 估计这一关系的大小 - 对结果进行反驳检验
第一步很直接：要开展因果分析，我们需要把因果图编码好，让这个库能够解析它。此外，我们还需要选定结果变量和处理变量。在我们这个案例中，它们分别是黄油价格和黄油产量。
第二步，DoWhy 使用 do-calculus 找出可能的混杂因素（confounder）：也就是那些可能干扰处理变量（黄油产量）与结果变量（黄油价格）之间因果关系的变量。混杂因素可能是一个共同原因：例如，黄油库存水平可能同时影响产量和价格，所以我们需要把它考虑进来。do-calculus 是一套形式化体系，在给定因果图的前提下，它让算法能够找出所有这样的混杂因素。已经有证明表明，使用 do-calculus，程序总是能够判断出：在我们现有数据的条件下，所关心的因果关系是否可识别。正因如此，在这一步我们可以完全依靠 DoWhy 库。
第三步，也就是因果关系的估计，对程序员来说工作量最大。当我们知道了所有需要纳入考虑（进行控制）的变量之后，仍然需要选择一个统计模型来估计这一关系的大小。最常用的模型包括简单线性回归，LASSO（Tibshirani, 1996）或岭回归（Ridge，Hoerl, Kennard, 1970）等收缩回归，双重机器学习模型（Chernozhukov et al, 2016），以及因果森林（Wager, Athey, 2018）。后两者不仅让我们能够估计平均因果效应，还能估计以其他某个变量取值为条件的因果效应。例如，在黄油库存处于不同水平时，多生产黄油对黄油价格的预期影响是多少？这一步与通常的预测工作类似，所有机器学习工程师和数据科学家都很熟悉。正因如此，已经为预测积累的技能可以复用到因果推断工具的实现上。
最后，DoWhy 集成了一套完整的工具，用于检验和反驳因果估计结果。例如，您可以向模型中加入一个随机的混杂因素，看看结果是否稳健。正因如此，您可以确认自己得到的结果是有效、扎实且可靠的。DoWhy 让我们开发因果推断工具变得更容易也更快，从而使我们能够为大宗商品市场提供更好、更全面也更灵活的洞察。
因果推断结果
我们用市场结构图来估计黄油产量、进口和出口对黄油价格的因果效应。可以合理预期，产量和进口会压低价格，而出口会推高价格。然而，这还不够。要做出精确且有依据的决策，就必须知道这些影响有多大。进口对价格的压低作用是否比产量更强？进口与出口对价格的影响在量级上是否相近？要回答这些问题，我们需要高质量的数据和因果推断。
我们估计，每多生产 1 吨黄油，每吨黄油的价格会下降 0.0046 欧元。也就是说，生产 1,000 吨黄油会让价格下降 4.6 欧元。进口的影响方向相同，但幅度大得多：每进口 1,000 吨黄油，每吨黄油的价格下降多达 16.8 欧元。反过来，每出口 1,000 吨黄油，每吨黄油的价格上涨 6.2 欧元。这些影响的方向符合预期，幅度可观且具有显著性。其中，进口的影响最为可观，远大于出口和产量。
Vesper 的因果推断引擎还让我们能够估计以其他变量为条件的预期因果效应。我们已经知道黄油产量的平均影响，但它如何取决于现有黄油库存的水平？为回答这个问题，我们针对所关注的三个因素（黄油的产量、进口和出口），估计并绘制了一个因果效应随黄油库存变化的异质性模型。
在黄油库存水平较低时，黄油产量对价格的影响最为明显，也最为显著。如果库存低于 100,000 吨，每多生产 1,000 吨黄油的影响可能高达 7 欧元。随着黄油库存水平上升，这一影响会变小；当库存水平高于 150,000 吨时，其影响在统计上已与零无法区分。这说明，较高的黄油库存水平可能对市场起到平滑作用，削弱增产带来的即时影响。
在黄油进口方面，情况则不同。增加黄油进口的因果效应并不取决于黄油库存水平，而略微可见的趋势在统计上并不显著。无论库存如何，增加黄油进口都会对价格产生强烈的负向影响，尽管在库存水平较高的情况下，估计结果相当不精确。
最后，出口的影响与产量的影响类似，同样对库存水平敏感。当库存较少时，出口对价格的正向影响最大：此时每出口 1,000 吨黄油，可能使每吨价格上涨多达 14 欧元。这一影响随后急剧减弱，当库存水平高于 140,000 吨时便不再显著。这说明，只有在黄油不太充裕时，出口才会对价格产生实质影响。当库存水平非常高时，出口就成了不得已的选择而非策略，它对价格的因果影响也随之消退。
核心要点
上述洞察有助于农业大宗商品市场中的买家、卖家和贸易商做出更有依据的决策。如果您觉得这些洞察有价值，并想了解 Vesper 还能提供什么，请与 Yannick Aink 预约演示：Yannick@vespertool.com。
参考文献
- Eichler, Michael. Causal inference in time series analysis. na, 2012.
- Moraffah, Raha, et al. “Causal inference for time series analysis: Problems, methods and evaluation.” Knowledge and Information Systems (2021): 1–45.
- Blog, Netflix Technology. “A Survey of Causal Inference Applications at Netflix.” Medium, Netflix TechBlog, 6 June 2022, https://netflixtechblog.com/a-survey-of-causal-inference-applications-at-netflix-b62d25175e6f.
- Amit Sharma, Emre Kiciman. DoWhy: An End-to-End Library for Causal Inference. 2020. https://arxiv.org/abs/2011.04216
- Tibshirani, Robert. “Regression shrinkage and selection via the lasso.” Journal of the Royal Statistical Society: Series B (Methodological) 58.1 (1996): 267–288.
- Hoerl, Arthur E., and Robert W. Kennard. “Ridge regression: Biased estimation for nonorthogonal problems.” Technometrics 12.1 (1970): 55–67.
- Chernozhukov, Victor, et al. “Double/debiased machine learning for treatment and causal parameters.” arXiv preprint arXiv:1608.00060 (2016).
- Wager, Stefan, and Susan Athey. “Estimation and inference of heterogeneous treatment effects using random forests.” Journal of the American Statistical Association 113.523 (2018): 1228–1242.
更多关于 Vesper 数据科学与开发的文章，请访问 medium.com/vespertool。
