Vesper non mostra soltanto informazioni in tempo reale sul mercato delle materie prime: usa anche il machine learning per prevedere prezzi, produzione e livelli di scorte di diverse materie prime agricole (per esempio lattiero-caseario, oli vegetali, zucchero). Per aiutare i suoi utenti a capire quali variabili facciano cambiare prezzi, produzione e scorte, in questo articolo Vesper studia come l’analisi di inferenza causale possa aiutare a quantificare l’effetto di quelle variabili. In più, questo può aiutare i nostri utenti a comprendere e anticipare l’impatto di grandi eventi inattesi come il COVID-19 o la guerra in corso in Ucraina.
In generale, l’inferenza causale può essere usata per analizzare e quantificare diverse relazioni causali. Perciò, in questo articolo, quantificheremo e confronteremo gli effetti causali delle importazioni di burro, delle esportazioni di burro e della produzione di burro sui prezzi del burro. L’articolo è costruito così:
- Per prima cosa andremo un po’ più a fondo su che cosa sia esattamente l’inferenza causale. - Poi discuteremo la struttura di mercato sottostante usata per trovare la relazione causale fra importazioni, esportazioni, produzione e prezzi del burro, e come l’identificazione delle relazioni causali possa giovare agli utenti di Vesper. - Infine toccheremo la parte di machine learning dell’inferenza causale usando la libreria DoWhy di Microsoft, compresi i risultati dell’inferenza causale.
Che cos’è esattamente l’inferenza causale?
L’inferenza causale è definita come un processo che identifica relazioni causali fra i dati e stima l’effetto di uno specifico evento (Eichler, 2012). Per rispondere a domande come «Che voto darebbe un utente a un determinato film, se gli venisse proposto?» e «Che cosa ha fatto cambiare il prezzo di questa materia prima?», l’effetto di variabili diverse deve essere misurato e confrontato (Moraffah et al., 2021). Come esempio, prendiamo i modelli di raccomandazione di Netflix, come le righe di film consigliati e personalizzati mostrate nella schermata iniziale di un utente. Il sistema di raccomandazione tradizionale prova a rispondere a una domanda semplice: «Che voto darebbe l’utente a questo film?». Il problema è che gli utenti guarderanno comunque i loro film preferiti, qualunque cosa il sistema consigli. L’inferenza causale permette a Netflix di analizzare e quantificare l’effetto di raccomandazioni diverse, il che porta a una migliore comprensione dei suoi utenti e a prestazioni più alte degli attuali modelli di raccomandazione. Dal punto di vista di Vesper, l’inferenza causale può essere condotta per capire meglio che cosa faccia muovere i prezzi delle materie prime in una determinata direzione, verso l’alto o verso il basso. I risultati della nostra inferenza causale sulle materie prime possono aiutare i nostri clienti ad anticipare meglio e più in fretta i cambiamenti di specifiche condizioni di mercato.
La correlazione non implica la causalità!
Quasi tutti i modelli o algoritmi di machine learning usati per prevedere i prezzi di azioni e materie prime dipendono da correlazioni fra variabili. Tuttavia, per ottenere informazioni sui motori delle previsioni, è molto pericoloso affidarsi alla sola correlazione. In parole semplici, la correlazione è una misura che descrive la dimensione e la direzione (positiva o negativa) della relazione fra variabili. Guardare solo la correlazione può farci credere che il consumo di margarina e il tasso di divorzi nel Maine abbiano una relazione causale (vedi la figura qui sotto). Il grafico mostra chiaramente che i due eventi sono fortemente correlati. Questo però non implica che mangiare meno margarina porti a un matrimonio più sano. La correlazione non è causalità: la causalità indica se esista una relazione causale fra due eventi, e l’inferenza causale verifica se una relazione da causa a effetto esista davvero.
Struttura di mercato
Per l’inferenza causale è necessario avere un quadro chiaro dei diversi fattori che influenzano il mercato del burro. Questo si fa nella forma di un grafo causale (cioè un modello grafico probabilistico usato per codificare ipotesi sul processo che genera i dati). Gli esperti di market intelligence di Vesper hanno creato un grafo che contiene tutti i fattori che possono avere un impatto sul ciclo di produzione e di prezzo del burro, mostrato qui sotto. Il grafo espone diverse relazioni fra molteplici fattori, tutti con una relazione diretta o indiretta con importazioni ed esportazioni di burro, produzione di burro o prezzi del burro. Il prezzo del burro è la variabile di interesse, dato che conduciamo l’inferenza causale per vedere l’effetto causale di importazioni, esportazioni e produzione di burro sui prezzi del burro. Le frecce nel diagramma rappresentano una relazione diretta fra due variabili. Come si vede, assumiamo che non ci sia una relazione diretta fra produzione di latte e prezzi del burro. Questo però non implica automaticamente che non esista una relazione indiretta. Si può sostenere che la produzione di più latte possa far crescere la produzione di burro grazie a una valorizzazione favorevole dei prodotti, il che abbassa indirettamente il prezzo del burro. Conducendo l’inferenza causale, la relazione causale fra due o più variabili collegate indirettamente può essere quantificata.
La valorizzazione dei prodotti è una delle variabili più importanti. Si può descrivere al meglio come l’allocazione ottimale delle risorse per generare il rendimento più alto possibile. Vesper calcola quale prodotto, sottoprodotti compresi, dia il rendimento più alto per 10.000 L di latte, dati i prezzi correnti delle diverse materie prime lattiero-casearie. Quando i prezzi del burro sono molto alti, è probabile che lo strumento di valorizzazione consigli di produrre più burro, perché è più redditizio rispetto ad altri prodotti come il formaggio. Perciò sia la produzione di latte sia la valorizzazione incidono sulla produzione di burro. I prezzi del burro, a loro volta, influenzano gli esiti del modello di valorizzazione di oggi. Oltre alla valorizzazione, e quindi alla quantità di latte che confluisce nella produzione di burro, la produzione di burro è influenzata anche da importazioni ed esportazioni, consumi e livelli di scorte.
L’incrocio fra market intelligence e data science
A prima vista, data science e market intelligence sembrano due campi di lavoro diversi. Le competenze richieste e le funzioni pratiche variano, mentre l’obiettivo finale è quasi sempre lo stesso: cercare informazioni per migliorare le decisioni dentro l’azienda o il mercato. Per condurre inferenza causale sui prezzi delle materie prime dobbiamo capire la meccanica dell’intero mercato e avere anche la capacità tecnica di integrare un modello di inferenza causale. La market intelligence ha un ruolo grande nella creazione del grafo causale, nell’identificare tutti i fattori che contribuiscono alla relazione fra due eventi. In altre parole, la struttura di mercato va determinata prima che il team di data science possa integrare il modello di inferenza causale. Senza le competenze tecniche richieste o la conoscenza del mercato è quasi impossibile capire i risultati dell’inferenza causale per i prezzi delle materie prime. Perciò una buona collaborazione fra i due campi è molto importante, ed è proprio ciò su cui Vesper si fonda.
L’inferenza causale per gli utenti di Vesper
Perché in Vesper ci interessa tanto l’inferenza causale? Ci aiuta a capire meglio i mercati delle materie prime e a creare più valore per i nostri clienti. Ci permette di combinare gli sviluppi più recenti dell’intelligenza artificiale con la competenza di mercato del nostro team. Soprattutto, un ragionamento causale automatizzato e quantitativo può portare a una business intelligence più solida, strategica, completa e flessibile. La parte che segue spiega i vantaggi principali dell’inferenza causale e come può aiutare i nostri utenti.
Negli ultimi anni abbiamo imparato quanto pesantemente gli eventi inattesi possano colpire le imprese. Guerre commerciali, ondate pandemiche, guerre vere e proprie, condizioni meteo estreme e una crescente instabilità politica hanno reso le catene di fornitura e le fitte reti di importazioni ed esportazioni più fragili che mai. L’inferenza causale ci permette di preparare i nostri clienti all’inatteso. Nessun algoritmo di machine learning può prevedere la dimensione esatta della prossima rottura di mercato. Possiamo però essere più preparati agli eventi inattesi quando capiamo l’effetto che le variabili modificate dall’evento hanno sul mercato nel suo insieme. Per esempio, se un grande esportatore di materie prime viene escluso dal mercato internazionale a causa di sanzioni o di una guerra commerciale, qualsiasi previsione di mercato basata sui prezzi storici diventa obsoleta. Capire l’effetto che la diminuzione delle esportazioni ha sul mercato aiuta invece a capire meglio quale sarà l’effetto delle sanzioni. L’inferenza causale ci permette di usare i dati insieme alla nostra conoscenza delle dinamiche di mercato per rispondere a domande come «Che cosa succederà se le importazioni in un dato paese andranno a zero?», anche se non è mai accaduto prima. In questo modo l’inferenza causale integra le previsioni offrendo una comprensione più solida e resiliente di come si comporta il mercato.
Capire e stimare cause ed effetti può aiutare nelle decisioni strategiche. Se un’azienda vuole aumentare in modo significativo la produzione di un bene, deve tenere conto della variazione di prezzo che ne risulta. Una decisione del genere in generale non è contemplata dalle previsioni, perché queste si basano solo su dati di mercato storici. Certo, probabilmente non è un problema per le piccole imprese, con impatto di mercato limitato. Ma i grandi operatori devono sapere come le loro azioni influenzano il mercato nel suo insieme. L’inferenza causale lo rende possibile. Se conosciamo l’effetto di una produzione maggiore sui prezzi di mercato, possiamo stimare meglio i risultati della decisione di un’azienda. Così, usando modelli di inferenza causale, possiamo mettere la potenza dell’intelligenza artificiale al servizio della pianificazione e della strategia aziendale.
Infine, l’inferenza causale consente maggiore flessibilità nella pianificazione. Potrebbe permettere ai nostri clienti di considerare scenari diversi e vedere come incidono sui mercati. Per esempio, se c’è incertezza sul meteo dei mesi successivi, un’azienda può verificare gli effetti abituali di diverse condizioni meteo sui prezzi del latte e pianificare di conseguenza. Oppure, se un’azienda ritiene che un concorrente possa aumentare rapidamente le importazioni di burro dopo aver firmato una nuova partnership, può prepararsi stimando gli effetti che quella mossa avrà sui prezzi del burro. Così l’analisi causale può integrare le previsioni per offrire informazioni di mercato più su misura.
Il pacchetto DoWhy per l’inferenza causale
Per sviluppare un motore di inferenza causale completo usiamo una libreria Python open source di Microsoft: DoWhy (Sharma, Kiciman, 2020). Come scrivono gli autori: molto come le librerie di machine learning hanno fatto per la previsione, «DoWhy» è una libreria Python che punta ad accendere il pensiero e l’analisi causale. La libreria offre un quadro per stimare effetti causali ed effetti causali condizionati. Combina approcci alla causalità sviluppati nel machine learning, nella statistica e nell’economia, il che consente maggiore flessibilità. La libreria è ancora in beta ma ha già un insieme di funzionalità notevole.
L’approccio DoWhy all’inferenza causale consiste in quattro passi:
- Modellare il problema - Identificare la relazione causale - Stimare l’entità della relazione - Confutare i risultati
Il primo passo è lineare: per eseguire l’analisi causale abbiamo bisogno che il grafo causale sia codificato in modo che la libreria possa leggerlo. Inoltre dobbiamo scegliere le variabili di esito e di trattamento. Nel nostro caso: prezzi del burro e produzione di burro.
Nel secondo passo, DoWhy usa il do-calcolo per trovare i possibili confondenti: variabili che potrebbero interferire nella relazione causale fra la variabile di trattamento (produzione di burro) e l’esito (prezzi del burro). Un confondente può essere una causa comune: per esempio il livello delle scorte di burro può influenzare sia la produzione sia i prezzi, quindi dobbiamo tenerne conto. Il do-calcolo è un sistema formale che, dato un grafo causale, permette all’algoritmo di trovare tutti quei confondenti. È stato dimostrato che, usando il do-calcolo, il programma può sempre dire se, dati i dati che abbiamo, la relazione causale di interesse sia identificabile. Grazie a questo, in questo passo possiamo affidarci completamente alla libreria DoWhy.
Il terzo passo, la stima della relazione causale, richiede più lavoro da chi programma. Quando conosciamo tutte le variabili di cui dobbiamo tenere conto (controllare), dobbiamo ancora scegliere un modello statistico per stimare l’entità della relazione. I modelli più diffusi comprendono la semplice regressione lineare, le regressioni con restringimento come LASSO (Tibshirani, 1996) o Ridge (Hoerl, Kennard, 1970), i modelli di double machine learning (Chernozhukov et al, 2016) e le foreste causali (Wager, Athey, 2018). Gli ultimi due permettono di stimare non solo l’effetto causale medio, ma anche l’effetto causale condizionato al valore di qualche altra variabile. Per esempio: qual è l’impatto atteso di produrre più burro sul prezzo del burro a diversi livelli di scorte di burro? Questo passo è simile al consueto esercizio di previsione, familiare a tutti gli ingegneri di machine learning e ai data scientist. Grazie a questo, le competenze già sviluppate per le previsioni possono essere riutilizzate per implementare strumenti di inferenza causale.
Infine, DoWhy integra uno strumento completo per verificare e confutare le stime causali. Per esempio si può aggiungere un confondente casuale al modello e vedere se i risultati restano solidi. Grazie a questo si può accertare che i risultati ottenuti siano validi, robusti e certi. DoWhy rende lo sviluppo dei nostri strumenti di inferenza causale più facile e più veloce, e ci permette di offrire informazioni migliori, più complete e più flessibili sul mercato delle materie prime.
Risultati dell’inferenza causale
Usiamo il grafo della struttura di mercato per stimare gli effetti causali di produzione, importazioni ed esportazioni di burro sui prezzi del burro. È ragionevole attendersi che produzione e importazioni abbassino i prezzi mentre le esportazioni li alzino. Questo però non basta. Per decisioni precise e ben informate è necessario conoscere l’entità di questi effetti. Le importazioni abbassano i prezzi più di quanto faccia la produzione? Gli effetti di importazioni ed esportazioni sui prezzi sono simili per grandezza? Per rispondere a queste domande servono dati di alta qualità e inferenza causale.
Stimiamo che la produzione di una tonnellata aggiuntiva di burro abbassi il prezzo di una tonnellata di burro di 0,0046 euro. Vuol dire che produrre 1.000 t di burro riduce il prezzo di 4,6 euro. L’effetto delle importazioni ha la stessa direzione ma è molto più ampio. Importare 1.000 t di burro abbassa il prezzo di una tonnellata di burro di ben 16,8 euro. Esportare 1.000 t di burro, invece, alza il prezzo di una tonnellata di burro di 6,2 euro. Gli effetti vanno nella direzione attesa e sono consistenti e significativi. Fra questi, le importazioni hanno l’effetto più consistente, di gran lunga maggiore rispetto a esportazioni e produzione.
Il motore di inferenza causale di Vesper ci permette anche di stimare gli effetti causali attesi condizionati ad altre variabili. Conosciamo gli effetti medi della produzione di burro, ma come dipendono dal livello delle scorte di burro esistenti? Per rispondere, stimiamo e tracciamo un modello con effetti causali eterogenei in funzione delle scorte di burro per tutti e tre i fattori che ci interessano: produzione, importazioni ed esportazioni di burro.
Gli effetti della produzione di burro sui prezzi sono più marcati e significativi ai livelli bassi di scorte. Se le scorte sono sotto le 100.000 t, l’effetto di produrre 1.000 t aggiuntive di burro può arrivare a 7 euro. Gli effetti diventano più piccoli ai livelli di scorte più alti e sono statisticamente indistinguibili da zero per livelli superiori a 150.000 t. Questo mostra che un livello elevato di scorte di burro può avere un effetto di smorzamento sul mercato, riducendo qualsiasi effetto immediato della produzione aggiuntiva.
Vediamo una storia diversa nel caso delle importazioni di burro. L’effetto causale di importare più burro non dipende dal livello delle scorte, e la tendenza leggermente visibile non è statisticamente significativa. Importare più burro ha effetti forti e negativi sui prezzi a prescindere dalle scorte, anche se gli effetti stimati nel caso di scorte elevate sono piuttosto imprecisi.
Infine, gli effetti delle esportazioni sono, come quelli della produzione, sensibili al livello delle scorte. Gli effetti positivi più grandi sui prezzi si vedono quando le scorte sono piccole. In quel caso, esportare 1.000 t di burro può alzare il prezzo per tonnellata fino a 14 euro. Questo effetto cala nettamente e diventa non significativo per livelli di scorte superiori a 140.000 t. Questo mostra che le esportazioni hanno un impatto reale sui prezzi solo quando il burro non è troppo abbondante. Ai livelli di scorte molto alti, l’esportazione diventa una necessità più che una strategia, e il suo impatto causale sui prezzi svanisce.
Punti chiave
Le informazioni descritte sopra aiutano acquirenti, venditori e trader del mercato delle materie prime agricole a prendere decisioni più informate. Trovi utili queste informazioni e vorresti sapere che cos’altro può offrirti Vesper? Prenota una demo con Yannick Aink: Yannick@vespertool.com.
Riferimenti
- Eichler, Michael. Causal inference in time series analysis. na, 2012.
- Moraffah, Raha, et al. «Causal inference for time series analysis: Problems, methods and evaluation.» Knowledge and Information Systems (2021): 1-45.
- Blog, Netflix Technology. «A Survey of Causal Inference Applications at Netflix.» Medium, Netflix TechBlog, 6 giugno 2022, https://netflixtechblog.com/a-survey-of-causal-inference-applications-at-netflix-b62d25175e6f.
- Amit Sharma, Emre Kiciman. DoWhy: An End-to-End Library for Causal Inference. 2020. https://arxiv.org/abs/2011.04216
- Tibshirani, Robert. «Regression shrinkage and selection via the lasso.» Journal of the Royal Statistical Society: Series B (Methodological) 58.1 (1996): 267-288.
- Hoerl, Arthur E., and Robert W. Kennard. «Ridge regression: Biased estimation for nonorthogonal problems.» Technometrics 12.1 (1970): 55-67.
- Chernozhukov, Victor, et al. «Double/debiased machine learning for treatment and causal parameters.» arXiv preprint arXiv:1608.00060 (2016).
- Wager, Stefan, and Susan Athey. «Estimation and inference of heterogeneous treatment effects using random forests.» Journal of the American Statistical Association 113.523 (2018): 1228-1242.
Vai su medium.com/vespertool per altri articoli su data science e sviluppo in Vesper.
