Non seulement Vesper affiche des informations en temps réel sur le marché des matières premières, mais il utilise aussi le machine learning pour prévoir les prix, la production et les niveaux de stocks de différentes matières premières agricoles (par exemple les produits laitiers, les huiles végétales, le sucre). Pour aider ses utilisateurs à comprendre quelles variables font évoluer les prix, la production et les niveaux de stocks, Vesper étudie dans cet article comment l’analyse par inférence causale peut aider à quantifier l’effet de ces variables. Par ailleurs, cela pourrait aider nos utilisateurs à comprendre et à anticiper l’impact d’événements majeurs et imprévus comme la COVID-19 ou la guerre en cours en Ukraine.
De manière générale, l’inférence causale peut servir à analyser et à quantifier différentes relations causales. C’est pourquoi, dans cet article, nous allons quantifier et comparer les effets causaux des importations de beurre, des exportations de beurre et de la production de beurre sur les prix du beurre. Cet article s’articule comme suit :
- Nous verrons d’abord un peu plus en détail ce qu’est exactement l’inférence causale. - Nous aborderons ensuite la structure de marché sous-jacente utilisée pour établir la relation causale entre les importations de beurre, les exportations de beurre, la production de beurre et les prix du beurre, ainsi que la façon dont l’identification des relations causales peut bénéficier aux utilisateurs de Vesper. - Enfin, nous évoquerons la partie machine learning de l’inférence causale à l’aide de la bibliothèque Microsoft DoWhy, résultats d’inférence causale compris.
Qu’est-ce que l’inférence causale, exactement ?
L’inférence causale se définit comme un processus qui identifie les relations causales entre des données et estime l’effet d’un événement précis (Eichler, 2012). Pour répondre à des questions telles que « Comment un utilisateur noterait-il un film donné, s’il y était exposé ? » et « Qu’est-ce qui a fait évoluer le prix de cette matière première ? », il faut mesurer et comparer l’effet des différentes variables (Moraffah et al., 2021). Prenons l’exemple des modèles de recommandation de Netflix, comme les rangées de recommandations de films personnalisées affichées sur l’écran d’accueil d’un utilisateur. Le système de recommandation traditionnel cherche à répondre à une question simple : « Comment l’utilisateur noterait-il ce film ? ». Le problème, c’est que les utilisateurs regarderont leurs films préférés quoi que le système recommande. L’inférence causale permet à Netflix d’analyser et de quantifier l’effet des différentes recommandations de films, d’où une meilleure compréhension de ses utilisateurs et de meilleures performances des modèles de recommandation actuels. Du point de vue de Vesper, l’inférence causale peut être menée pour mieux comprendre ce qui fait évoluer les prix des matières premières dans un sens ou dans l’autre, à la hausse ou à la baisse. Les résultats de notre inférence causale sur les matières premières peuvent aider nos clients à anticiper mieux et plus vite les changements de conditions de marché.
Corrélation n’implique pas causalité !
La plupart des modèles ou algorithmes de machine learning utilisés pour la prévision des cours boursiers et des prix des matières premières reposent sur des corrélations entre variables. Pourtant, pour comprendre les moteurs des prévisions, il est très dangereux de se fier à la seule corrélation. En termes simples, la corrélation est une mesure qui décrit l’ampleur et le sens (positif ou négatif) de la relation entre des variables. S’en tenir à la corrélation peut nous faire croire que la consommation de margarine et le taux de divorce dans le Maine entretiennent une relation causale (voir la figure ci-dessous). Le graphique montre clairement que les deux événements sont fortement corrélés. Cela n’implique pourtant pas que manger moins de margarine mènera à un mariage plus sain. Corrélation n’est pas causalité : la causalité indique s’il existe une relation causale entre deux événements, et l’inférence causale teste si une relation de la cause à l’effet existe bel et bien.
Structure de marché
Pour l’inférence causale, il est nécessaire d’avoir une vue claire des différents facteurs qui agissent sur le marché du beurre. Cela prend la forme d’un graphe causal (c’est-à-dire un modèle graphique probabiliste servant à encoder des hypothèses sur le processus de génération des données). Les experts en veille de marché de Vesper ont créé un graphe reprenant tous les facteurs susceptibles d’avoir un impact sur la production de beurre et sur le cycle de formation de son prix ; il est présenté ci-dessous. Le graphe affiche différentes relations entre de multiples facteurs, qui ont tous une relation (in)directe avec les importations et exportations de beurre, la production de beurre ou les prix du beurre. Le prix du beurre est la variable d’intérêt, puisque nous menons l’inférence causale pour observer l’effet causal des importations de beurre, des exportations de beurre et de la production de beurre sur les prix du beurre. Les flèches du diagramme représentent une relation directe entre deux variables. Comme vous pouvez le voir, nous supposons qu’il n’existe pas de relation directe entre la production de lait et les prix du beurre. Cela n’implique pourtant pas automatiquement qu’aucune relation indirecte n’existe. On peut avancer qu’une production de lait plus importante peut entraîner une hausse de la production de beurre du fait d’une valorisation favorable des produits, ce qui fait baisser indirectement le prix du beurre. En menant une inférence causale, la relation causale entre deux variables ou plus indirectement liées peut être quantifiée.
La valorisation des produits est l’une des variables les plus importantes. On peut la décrire au mieux comme l’allocation optimale des ressources afin de générer le rendement le plus élevé possible. Vesper calcule quel produit, sous-produits compris, offre le rendement le plus élevé pour 10 000 L de lait, compte tenu des prix actuels des différents produits laitiers. Lorsque les prix du beurre sont extrêmement élevés, il est probable que l’outil de valorisation conseillera de produire davantage de beurre, car c’est plus rentable que de produire d’autres produits comme le fromage. La production de lait et la valorisation influent donc toutes deux sur la production de beurre. Les prix du beurre, de leur côté, agissent sur les résultats du modèle de valorisation du jour. Outre la valorisation, et donc la quantité de lait dirigée vers la production de beurre, la production de beurre est également influencée par les importations et exportations de beurre, la consommation et les niveaux de stocks.
À la croisée de la veille de marché et de la data science
À première vue, la data science et la veille de marché semblent être deux métiers différents. Les compétences requises et les fonctions concrètes varient, alors que la finalité est le plus souvent la même : rechercher des éclairages pour améliorer la prise de décision au sein de l’entreprise ou du marché. Pour mener une inférence causale sur les prix des matières premières, nous devons comprendre les mécanismes de l’ensemble du marché et disposer de la capacité technique d’intégrer un modèle d’inférence causale. La veille de marché joue un grand rôle dans la création du graphe causal, en identifiant tous les facteurs qui contribuent à la relation entre deux événements. Autrement dit, la structure de marché doit être établie avant que l’équipe data science ne puisse intégrer le modèle d’inférence causale. Sans les compétences techniques requises et/ou la connaissance du marché, il est presque impossible de comprendre les résultats de l’inférence causale sur les prix des matières premières. Une bonne collaboration entre ces deux métiers est donc très importante, et c’est précisément ce qui caractérise Vesper.
L’inférence causale pour les utilisateurs de Vesper
Pourquoi l’inférence causale nous intéresse-t-elle autant chez Vesper ? Elle nous aide à mieux comprendre les marchés de matières premières et à créer plus de valeur pour nos clients. Elle nous permet d’associer les développements les plus récents de l’IA à l’expertise de marché de notre équipe. Surtout, un raisonnement causal automatisé et quantitatif peut déboucher sur des éclairages décisionnels plus robustes, plus stratégiques, plus complets et plus flexibles. La partie suivante explique les principaux bénéfices de l’inférence causale et la façon dont elle peut aider nos utilisateurs.
Ces dernières années, nous avons appris à quel point l’activité peut être lourdement affectée par des événements imprévus. Les guerres commerciales, les vagues de pandémie, les guerres réelles, les conditions météorologiques extrêmes et l’instabilité politique croissante ont rendu les chaînes d’approvisionnement et les réseaux complexes d’importations et d’exportations plus fragiles que jamais. L’inférence causale nous permet de préparer nos clients à l’imprévu. Aucun algorithme de machine learning ne peut prédire l’ampleur exacte de la prochaine perturbation de marché. Nous pouvons toutefois être mieux préparés aux événements imprévus lorsque nous comprenons l’effet, sur le marché dans son ensemble, des variables que l’événement modifie. Par exemple, si un grand exportateur de matières premières est écarté du marché international à cause de sanctions ou d’une guerre commerciale, toute prévision de marché fondée sur les prix historiques devient obsolète. En revanche, comprendre l’effet de la baisse des exportations sur le marché aide à mieux comprendre quel sera l’effet des sanctions. L’inférence causale nous permet de combiner les données à notre connaissance des dynamiques de marché pour répondre à des questions comme « Que se passera-t-il si les importations d’un pays donné tombent à zéro ? », même si cela ne s’est jamais produit auparavant. Ainsi, l’inférence causale complète les prévisions en apportant une compréhension plus robuste et plus résiliente du comportement du marché.
La compréhension et l’estimation des causes et des effets peuvent aider à la prise de décision stratégique. Si une entreprise veut augmenter fortement la production d’un bien, elle doit tenir compte de la variation des prix qui en résultera. Une décision de ce type n’est, en général, pas prise en compte par les prévisions, puisque celles-ci reposent uniquement sur les données de marché historiques. Certes, ce n’est probablement pas un problème pour les petites entreprises, dont l’impact sur le marché est limité. Mais les grands acteurs ont besoin de savoir comment leurs actions influencent le marché dans son ensemble. L’inférence causale rend cela possible. Si nous connaissons l’effet d’une production accrue sur les prix de marché, nous pouvons mieux estimer les résultats de la décision d’une entreprise. Ainsi, en utilisant des modèles d’inférence causale, nous pouvons mettre la puissance de l’IA au service de la planification et de la stratégie d’entreprise.
Enfin, l’inférence causale autorise une plus grande flexibilité dans la planification. Elle pourrait permettre à nos clients d’envisager différents scénarios et de voir comment ils agissent sur les marchés. Par exemple, en cas d’incertitude sur la météo des mois à venir, une entreprise peut vérifier les effets habituels des différentes conditions météorologiques sur les prix du lait et planifier en conséquence. Ou encore, si une entreprise pense que son concurrent pourrait augmenter rapidement ses importations de beurre à la suite de la signature d’un nouveau partenariat, elle peut s’y préparer en estimant les effets que ce mouvement aura sur les prix du beurre. Ainsi, l’analyse causale peut compléter les prévisions pour fournir des éclairages de marché plus sur mesure.
Le package DoWhy pour l’inférence causale
Pour développer un moteur d’inférence causale complet, nous utilisons une bibliothèque python open source de Microsoft : DoWhy (Sharma, Kiciman, 2020). Comme le décrivent les auteurs : à l’image de ce que les bibliothèques de machine learning ont fait pour la prévision, « DoWhy » est une bibliothèque Python qui vise à susciter la réflexion et l’analyse causales. La bibliothèque fournit un cadre pour estimer les effets causaux et les effets causaux conditionnels. Elle combine des approches de la causalité développées en machine learning, en statistique et en économie, ce qui autorise une plus grande flexibilité. La bibliothèque est encore en bêta, mais dispose déjà d’un ensemble impressionnant de fonctionnalités.
L’approche DoWhy de l’inférence causale comporte quatre étapes :
- Modéliser le problème - Identifier la relation causale - Estimer l’ampleur de la relation - Réfuter les résultats
La première étape est simple : pour réaliser l’analyse causale, nous devons disposer d’un graphe causal encodé de façon que la bibliothèque puisse l’analyser. Nous devons en outre choisir les variables de résultat et de traitement. Dans notre cas : les prix du beurre et la production de beurre.
À la deuxième étape, DoWhy recourt au do-calculus pour trouver les facteurs de confusion possibles : des variables qui pourraient interférer dans la relation causale entre la variable de traitement (la production de beurre) et le résultat (les prix du beurre). Un facteur de confusion pourrait être une cause commune : le niveau des stocks de beurre, par exemple, peut influencer à la fois la production et les prix, et nous devons donc en tenir compte. Le do-calculus est un système formel qui, à partir d’un graphe causal, permet à l’algorithme de trouver tous ces facteurs de confusion. Il a été démontré qu’avec le do-calculus, le programme peut toujours dire si, compte tenu des données dont nous disposons, la relation causale qui nous intéresse peut être identifiée. Grâce à cela, nous pouvons nous en remettre entièrement à la bibliothèque DoWhy à cette étape.
La troisième étape, l’estimation de la relation causale, exige le plus de travail de la part du programmeur. Une fois connues toutes les variables dont nous devons tenir compte (que nous devons contrôler), il nous reste à choisir un modèle statistique pour estimer l’ampleur de cette relation. Parmi les modèles les plus courants figurent la régression linéaire simple, les régressions pénalisées comme LASSO (Tibshirani, 1996) ou Ridge (Hoerl, Kennard, 1970), les modèles de double machine learning (Chernozhukov et al, 2016) et les forêts causales (Wager, Athey, 2018). Les deux derniers nous permettent d’estimer non seulement l’effet causal moyen, mais aussi l’effet causal conditionnel à la valeur d’une autre variable. Par exemple, quel est l’impact attendu d’une production de beurre supplémentaire sur le prix du beurre pour différents niveaux de stocks de beurre ? Cette étape s’apparente à l’exercice de prévision habituel, familier à tous les ingénieurs machine learning et data scientists. Grâce à cela, les compétences déjà développées pour les prévisions peuvent être réutilisées pour mettre en place des outils d’inférence causale.
Enfin, DoWhy intègre un outil complet pour vérifier et réfuter les estimations causales. Vous pouvez par exemple ajouter un facteur de confusion aléatoire au modèle et voir si les résultats sont robustes. Grâce à cela, vous pouvez vous assurer que les résultats que vous avez obtenus sont valides, solides et sûrs. DoWhy rend le développement de nos outils d’inférence causale plus facile et plus rapide. Ce qui nous permet de fournir des éclairages meilleurs, plus complets et plus flexibles sur le marché des matières premières.
Résultats de l’inférence causale
Nous utilisons le graphe de structure de marché pour estimer les effets causaux de la production, des importations et des exportations de beurre sur les prix du beurre. On peut raisonnablement s’attendre à ce que la production et les importations fassent baisser les prix, et que les exportations les fassent monter. Ce n’est pourtant pas suffisant. Pour une prise de décision précise et bien informée, il est nécessaire de connaître l’ampleur de ces effets. Les importations font-elles baisser les prix davantage que la production ? Les effets des importations et des exportations sur les prix sont-ils d’ampleur comparable ? Pour répondre à ces questions, il nous faut des données de grande qualité et de l’inférence causale.
Nous estimons que la production d’une tonne de beurre supplémentaire fait baisser le prix d’une tonne de beurre de 0,0046 euro. Autrement dit, produire 1 000 t de beurre réduit le prix de 4,6 euros. L’effet des importations va dans le même sens, mais il est bien plus fort. Importer 1 000 t de beurre fait baisser le prix d’une tonne de beurre de pas moins de 16,8 euros. Exporter 1 000 t de beurre, à l’inverse, augmente le prix d’une tonne de beurre de 6,2 euros. Les effets vont dans le sens attendu et sont substantiels et significatifs. Parmi eux, ce sont les importations qui ont l’effet le plus marqué, bien supérieur à celui des exportations et de la production.
Le moteur d’inférence causale de Vesper nous permet également d’estimer les effets causaux attendus conditionnellement à d’autres variables. Nous connaissons les effets moyens de la production de beurre, mais comment dépendent-ils du niveau des stocks de beurre existants ? Pour répondre à cette question, nous estimons et représentons un modèle à effets causaux hétérogènes selon les stocks de beurre, pour les trois facteurs qui nous intéressent : la production, les importations et les exportations de beurre.
Les effets de la production de beurre sur les prix sont les plus prononcés et les plus significatifs pour de faibles niveaux de stocks de beurre. Si les stocks sont inférieurs à 100 000 t, l’effet d’une production supplémentaire de 1 000 t de beurre peut atteindre 7 euros. Les effets s’amenuisent pour des niveaux de stocks plus élevés et sont statistiquement indiscernables de zéro pour des niveaux de stocks supérieurs à 150 000 t. Cela montre qu’un niveau élevé de stocks de beurre peut avoir un effet lissant sur le marché, en réduisant tout effet immédiat d’une production supplémentaire.
L’histoire est différente dans le cas des importations de beurre. L’effet causal d’une hausse des importations de beurre ne dépend pas du niveau des stocks de beurre, et la tendance légèrement visible n’est pas statistiquement significative. Importer davantage de beurre a des effets négatifs marqués sur les prix quel que soit le niveau des stocks, bien que les effets estimés en cas de niveau de stocks élevé soient assez imprécis.
Enfin, les effets des exportations sont, comme ceux de la production, sensibles au niveau des stocks. Les effets positifs les plus importants sur les prix apparaissent quand les stocks sont faibles. Exporter 1 000 t de beurre peut alors faire monter le prix à la tonne de 14 euros au maximum. Cet effet diminue fortement et devient non significatif pour des niveaux de stocks supérieurs à 140 000 t. Cela montre que les exportations n’ont un réel impact sur les prix que lorsque le beurre n’est pas trop abondant. Pour des niveaux de stocks très élevés, l’exportation devient une nécessité plutôt qu’une stratégie, et son impact causal sur les prix s’estompe.
Points clés à retenir
Les éclairages ci-dessus aident les acheteurs, vendeurs et traders du marché des matières premières agricoles à prendre des décisions mieux informées. Si vous trouvez ces éclairages utiles et souhaitez savoir ce que Vesper peut vous apporter d’autre, réservez une démo avec Yannick Aink : Yannick@vespertool.com.
Références
- Eichler, Michael. Causal inference in time series analysis. na, 2012.
- Moraffah, Raha, et al. “Causal inference for time series analysis: Problems, methods and evaluation.” Knowledge and Information Systems (2021): 1–45.
- Blog, Netflix Technology. “A Survey of Causal Inference Applications at Netflix.” Medium, Netflix TechBlog, 6 June 2022, https://netflixtechblog.com/a-survey-of-causal-inference-applications-at-netflix-b62d25175e6f.
- Amit Sharma, Emre Kiciman. DoWhy: An End-to-End Library for Causal Inference. 2020. https://arxiv.org/abs/2011.04216
- Tibshirani, Robert. “Regression shrinkage and selection via the lasso.” Journal of the Royal Statistical Society: Series B (Methodological) 58.1 (1996): 267–288.
- Hoerl, Arthur E., and Robert W. Kennard. “Ridge regression: Biased estimation for nonorthogonal problems.” Technometrics 12.1 (1970): 55–67.
- Chernozhukov, Victor, et al. “Double/debiased machine learning for treatment and causal parameters.” arXiv preprint arXiv:1608.00060 (2016).
- Wager, Stefan, and Susan Athey. “Estimation and inference of heterogeneous treatment effects using random forests.” Journal of the American Statistical Association 113.523 (2018): 1228–1242.
Rendez-vous sur medium.com/vespertool pour d’autres articles sur la data science et le développement chez Vesper.
