A Vesper não mostra apenas informações em tempo real sobre o mercado de commodities: também usa aprendizado de máquina para prever preços, produção e níveis de estoque de diferentes commodities agrícolas (por exemplo laticínios, óleos vegetais, açúcar). Para ajudar seus usuários a entender quais variáveis fazem preços, produção e estoques mudarem, neste artigo a Vesper pesquisa como a análise de inferência causal pode ajudar a quantificar o efeito dessas variáveis. Além disso, isso pode ajudar nossos usuários a compreender e antecipar o impacto de grandes eventos inesperados, como a COVID-19 ou a guerra em curso na Ucrânia.
De modo geral, a inferência causal pode ser usada para analisar e quantificar diferentes relações causais. Por isso, neste artigo, vamos quantificar e comparar os efeitos causais das importações de manteiga, das exportações de manteiga e da produção de manteiga sobre os preços da manteiga. O artigo está estruturado assim:
- Primeiro, vamos aprofundar um pouco o que exatamente é a inferência causal. - Segundo, vamos discutir a estrutura de mercado subjacente usada para encontrar a relação causal entre importações, exportações, produção e preços da manteiga, e como a identificação de relações causais beneficia os usuários da Vesper. - Por último, vamos tocar na parte de aprendizado de máquina da inferência causal usando a biblioteca DoWhy da Microsoft, incluindo os resultados da inferência causal.
O que exatamente é inferência causal?
A inferência causal é definida como um processo que identifica relações causais entre dados e estima o efeito de um evento específico (Eichler, 2012). Para responder perguntas como “Que nota um usuário daria a determinado filme, se ele fosse apresentado a ele?” e “O que fez o preço desta commodity mudar?”, o efeito de diferentes variáveis precisa ser medido e comparado (Moraffah et al., 2021). Como exemplo, veja os modelos de recomendação da Netflix, como as fileiras personalizadas de filmes recomendados na tela inicial de um usuário. O sistema de recomendação tradicional tenta responder a uma pergunta simples: “Que nota o usuário daria a este filme?”. O problema é que os usuários vão assistir aos seus filmes favoritos independentemente do que o sistema recomende. A inferência causal permite à Netflix analisar e quantificar o efeito de diferentes recomendações, o que gera uma compreensão melhor de seus usuários e mais desempenho dos modelos de recomendação atuais. Da perspectiva da Vesper, a inferência causal pode ser conduzida para entender melhor o que faz os preços das commodities se moverem em determinada direção, para cima ou para baixo. Os resultados da nossa inferência causal em commodities podem ajudar nossos clientes a antecipar melhor e mais rápido quando condições específicas de mercado mudam.
Correlação não implica causalidade!
A maioria dos modelos ou algoritmos de aprendizado de máquina usados para prever preços de ações e commodities depende de correlações entre variáveis. No entanto, para obter clareza sobre os motores das previsões, é muito perigoso confiar apenas na correlação. Em termos simples, a correlação é uma medida que descreve o tamanho e a direção (positiva ou negativa) da relação entre variáveis. Olhar só a correlação pode nos fazer acreditar que o consumo de margarina e a taxa de divórcio no Maine têm uma relação causal (veja a figura abaixo). O gráfico mostra claramente que os dois eventos são fortemente correlacionados. Isso, porém, não implica que comer menos margarina leve a um casamento mais saudável. Correlação não é causalidade: a causalidade indica se existe uma relação causal entre dois eventos, e a inferência causal testa se uma relação de causa e efeito de fato existe.
Estrutura de mercado
Para a inferência causal, é necessário ter um panorama claro dos diferentes fatores que afetam o mercado de manteiga. Isso é feito na forma de um grafo causal (ou seja, um modelo gráfico probabilístico usado para codificar suposições sobre o processo que gera os dados). Os especialistas em market intelligence da Vesper criaram um grafo com todos os fatores que poderiam impactar o ciclo de produção e de preço da manteiga, mostrado abaixo. O grafo exibe diferentes relações entre múltiplos fatores, todos com relação direta ou indireta com importações e exportações de manteiga, produção de manteiga ou preços da manteiga. O preço da manteiga é a variável de interesse, já que conduzimos a inferência causal para ver o efeito causal de importações, exportações e produção de manteiga sobre os preços. As setas no diagrama representam uma relação direta entre duas variáveis. Como se vê, assumimos que não há relação direta entre produção de leite e preços da manteiga. Isso, porém, não implica automaticamente que não exista relação indireta. Podemos argumentar que produzir mais leite pode fazer a produção de manteiga aumentar por conta de uma valorização favorável dos produtos, o que indiretamente reduz o preço da manteiga. Ao conduzir a inferência causal, a relação causal entre duas ou mais variáveis indiretamente relacionadas pode ser quantificada.
A valorização dos produtos é uma das variáveis mais importantes. Ela é mais bem descrita como a alocação ótima de recursos para gerar o maior retorno possível. A Vesper calcula qual produto, incluindo coprodutos, entrega o maior retorno para 10.000 L de leite, dados os preços atuais das diferentes commodities lácteas. Quando os preços da manteiga estão muito altos, é provável que a ferramenta de valorização aconselhe produzir mais manteiga, por ser mais lucrativa do que produzir outros produtos como queijo. Portanto, tanto a produção de leite quanto a valorização impactam a produção de manteiga. Os preços da manteiga, por sua vez, afetam os resultados do modelo de valorização de hoje. Além da valorização, e portanto da quantidade de leite que segue para a produção de manteiga, a produção de manteiga também é impactada por importações e exportações, consumo e níveis de estoque.
O encontro entre market intelligence e data science
À primeira vista, data science e market intelligence parecem dois campos de trabalho diferentes. As habilidades exigidas e as funções práticas variam, enquanto o objetivo final costuma ser o mesmo: buscar conhecimento para melhorar as decisões dentro do negócio ou do mercado. Para conduzir inferência causal em preços de commodities, precisamos entender a mecânica de todo o mercado e também ter a capacidade técnica de integrar um modelo de inferência causal. A market intelligence tem papel grande na criação do grafo causal, na identificação de todos os fatores que contribuem para a relação entre dois eventos. Em outras palavras, a estrutura de mercado precisa ser determinada antes que o time de data science consiga integrar o modelo. Sem as habilidades técnicas necessárias ou o conhecimento de mercado, é quase impossível entender os resultados da inferência causal para preços de commodities. Por isso, uma boa colaboração entre os dois campos é muito importante, e é justamente disso que a Vesper trata.
Inferência causal para os usuários da Vesper
Por que temos tanto interesse em inferência causal na Vesper? Ela nos ajuda a entender melhor os mercados de commodities e a criar mais valor para nossos clientes. Permite combinar os desenvolvimentos mais recentes em inteligência artificial com a experiência de mercado do nosso time. E, de forma decisiva, o raciocínio causal automatizado e quantitativo pode levar a uma inteligência de negócio mais robusta, estratégica, abrangente e flexível. A parte a seguir explica os principais benefícios da inferência causal e como ela pode ajudar nossos usuários.
Nos últimos anos, aprendemos o quanto os negócios podem ser afetados por eventos inesperados. Guerras comerciais, ondas de pandemia, guerras de verdade, condições climáticas extremas e instabilidade política crescente tornaram as cadeias de suprimento e as redes intrincadas de importação e exportação mais frágeis do que nunca. A inferência causal nos permite preparar nossos clientes para o inesperado. Nenhum algoritmo de aprendizado de máquina consegue prever o tamanho exato da próxima ruptura de mercado. Mas podemos estar mais preparados para eventos inesperados quando entendemos o efeito que as variáveis alteradas pelo evento têm sobre o mercado como um todo. Por exemplo, se um grande exportador de commodities é empurrado para fora do mercado internacional por sanções ou por uma guerra comercial, qualquer previsão de mercado baseada em preços históricos se torna obsoleta. Entender o efeito que a queda das exportações tem sobre o mercado, porém, ajuda a compreender melhor qual será o efeito das sanções. A inferência causal nos permite usar dados em combinação com o nosso conhecimento da dinâmica de mercado para responder a perguntas como “O que vai acontecer se a importação em determinado país for a zero?”, mesmo que isso nunca tenha acontecido antes. Assim, a inferência causal complementa as previsões ao oferecer uma compreensão mais robusta e resiliente de como o mercado se comporta.
Entender e estimar causas e efeitos pode ajudar na tomada de decisão estratégica. Se uma empresa quer aumentar significativamente a produção de um bem, precisa levar em conta a mudança de preços resultante. Uma decisão dessas em geral não é contemplada pelas previsões, já que elas se baseiam apenas em dados históricos de mercado. Claro, isso provavelmente não é um problema para empresas pequenas, com impacto de mercado limitado. Mas os grandes participantes precisam saber como suas ações influenciam o mercado como um todo. A inferência causal torna isso possível. Se sabemos o efeito do aumento de produção sobre os preços de mercado, conseguimos estimar melhor os resultados da decisão de uma empresa. Assim, usando modelos de inferência causal, podemos colocar o poder da inteligência artificial a serviço do planejamento e da estratégia corporativa.
Por fim, a inferência causal permite mais flexibilidade no planejamento. Ela pode permitir que nossos clientes considerem diferentes cenários e vejam como eles impactam os mercados. Por exemplo, se há incerteza sobre o clima nos meses seguintes, uma empresa pode verificar os efeitos usuais de diferentes condições climáticas sobre os preços do leite e planejar de acordo. Ou, se uma empresa acredita que seu concorrente pode aumentar rapidamente a importação de manteiga por ter assinado uma nova parceria, pode se preparar estimando os efeitos que esse movimento terá sobre os preços da manteiga. Dessa forma, a análise causal complementa as previsões e oferece uma leitura de mercado mais sob medida.
O pacote DoWhy para inferência causal
Para desenvolver um mecanismo abrangente de inferência causal, usamos uma biblioteca Python de código aberto da Microsoft: DoWhy (Sharma, Kiciman, 2020). Como descrevem os autores: assim como as bibliotecas de aprendizado de máquina fizeram pela previsão, o “DoWhy” é uma biblioteca Python que busca despertar o pensamento e a análise causal. A biblioteca oferece um arcabouço para estimar efeitos causais e efeitos causais condicionais. Combina abordagens de causalidade desenvolvidas em aprendizado de máquina, estatística e economia, o que permite maior flexibilidade. A biblioteca ainda está em beta, mas já tem um conjunto impressionante de funcionalidades.
A abordagem DoWhy para inferência causal consiste em quatro passos:
- Modelar o problema - Identificar a relação causal - Estimar a magnitude da relação - Refutar os resultados
O primeiro passo é direto: para fazer a análise causal, precisamos ter o grafo causal codificado de modo que a biblioteca consiga lê-lo. Além disso, precisamos escolher as variáveis de resultado e de tratamento. No nosso caso: preços da manteiga e produção de manteiga.
No segundo passo, o DoWhy usa do-calculus para encontrar os possíveis confundidores: variáveis que poderiam interferir na relação causal entre a variável de tratamento (produção de manteiga) e o resultado (preços da manteiga). Um confundidor pode ser uma causa comum: por exemplo, o nível de estoque de manteiga pode influenciar tanto a produção quanto os preços, então precisamos levá-lo em conta. O do-calculus é um sistema formal que, dado um grafo causal, permite ao algoritmo encontrar todos esses confundidores. Já foi provado que, usando do-calculus, o programa sempre consegue dizer se, com os dados que temos, a relação causal de interesse pode ser identificada. Graças a isso, neste passo podemos confiar inteiramente na biblioteca DoWhy.
O terceiro passo, a estimativa da relação causal, exige mais trabalho de quem programa. Quando sabemos todas as variáveis que precisamos considerar (controlar), ainda precisamos escolher um modelo estatístico para estimar a magnitude dessa relação. Os modelos mais populares incluem a regressão linear simples, as regressões com encolhimento como LASSO (Tibshirani, 1996) ou Ridge (Hoerl, Kennard, 1970), os modelos de double machine learning (Chernozhukov et al, 2016) e as florestas causais (Wager, Athey, 2018). Os dois últimos permitem estimar não só o efeito causal médio, mas também o efeito causal condicional ao valor de alguma outra variável. Por exemplo: qual é o impacto esperado de produzir mais manteiga sobre o preço da manteiga em diferentes níveis de estoque? Este passo é parecido com o exercício usual de previsão, familiar a todos os engenheiros de aprendizado de máquina e cientistas de dados. Graças a isso, as habilidades já desenvolvidas para previsões podem ser reaproveitadas na implementação de ferramentas de inferência causal.
Por último, o DoWhy integra uma ferramenta abrangente para checar e refutar estimativas causais. Por exemplo, você pode adicionar um confundidor aleatório ao modelo e ver se os resultados se mantêm robustos. Graças a isso, você consegue garantir que os resultados obtidos são válidos, sólidos e seguros. O DoWhy torna o desenvolvimento das nossas ferramentas de inferência causal mais fácil e mais rápido, e nos permite oferecer uma leitura melhor, mais abrangente e mais flexível do mercado de commodities.
Resultados da inferência causal
Usamos o grafo da estrutura de mercado para estimar os efeitos causais da produção, das importações e das exportações de manteiga sobre os preços da manteiga. É razoável esperar que produção e importações reduzam preços, enquanto as exportações os aumentem. Isso, porém, não basta. Para decisões precisas e bem informadas, é necessário saber o tamanho desses efeitos. As importações reduzem os preços mais do que a produção? Os efeitos de importação e exportação sobre os preços são semelhantes em magnitude? Para responder a essas perguntas, precisamos de dados de alta qualidade e de inferência causal.
Estimamos que a produção de uma tonelada adicional de manteiga reduz o preço da tonelada de manteiga em 0,0046 euro. Ou seja, produzir 1.000 t de manteiga reduz o preço em 4,6 euros. O efeito da importação tem a mesma direção, mas é bem maior. Importar 1.000 t de manteiga reduz o preço da tonelada de manteiga em nada menos que 16,8 euros. Exportar 1.000 t de manteiga, por outro lado, aumenta o preço da tonelada de manteiga em 6,2 euros. Os efeitos vão na direção esperada e são substanciais e significativos. Entre eles, a importação tem o efeito mais substancial, bem maior do que exportação e produção.
O mecanismo de inferência causal da Vesper também nos permite estimar os efeitos causais esperados condicionais a outras variáveis. Sabemos os efeitos médios da produção de manteiga, mas como eles dependem do nível de estoque existente? Para responder, estimamos e plotamos um modelo com efeitos causais heterogêneos conforme o estoque de manteiga, para os três fatores que nos interessam: produção, importação e exportação de manteiga.
Os efeitos da produção de manteiga sobre os preços são mais pronunciados e significativos nos níveis baixos de estoque. Se o estoque está abaixo de 100.000 t, o efeito de produzir 1.000 t adicionais de manteiga pode chegar a 7 euros. Os efeitos ficam menores em níveis mais altos de estoque e são estatisticamente indistinguíveis de zero para níveis acima de 150.000 t. Isso mostra que um nível alto de estoque de manteiga pode ter efeito suavizador sobre o mercado, reduzindo qualquer efeito imediato da produção adicional.
Vemos uma história diferente no caso das importações de manteiga. O efeito causal de importar mais manteiga não depende do nível de estoque, e a tendência levemente visível não é estatisticamente significativa. Importar mais manteiga tem efeitos fortes e negativos sobre os preços independentemente do estoque, ainda que os efeitos estimados em caso de estoque alto sejam bastante imprecisos.
Por fim, os efeitos da exportação são, assim como os da produção, sensíveis ao nível de estoque. Os maiores efeitos positivos sobre os preços aparecem quando o estoque é pequeno. Nesse caso, exportar 1.000 t de manteiga pode aumentar o preço por tonelada em até 14 euros. Esse efeito cai bruscamente e se torna insignificante para níveis de estoque acima de 140.000 t. Isso mostra que a exportação só tem impacto real sobre os preços quando a manteiga não está abundante demais. Em níveis muito altos de estoque, exportar vira necessidade mais do que estratégia, e seu impacto causal sobre os preços se dissipa.
Principais conclusões
O que foi apresentado acima ajuda compradores, vendedores e traders do mercado de commodities agrícolas a tomar decisões mais informadas. Achou isso útil e gostaria de saber o que mais a Vesper pode oferecer? Agende uma demonstração com Yannick Aink: Yannick@vespertool.com.
Referências
- Eichler, Michael. Causal inference in time series analysis. na, 2012.
- Moraffah, Raha, et al. “Causal inference for time series analysis: Problems, methods and evaluation.” Knowledge and Information Systems (2021): 1-45.
- Blog, Netflix Technology. “A Survey of Causal Inference Applications at Netflix.” Medium, Netflix TechBlog, 6 de junho de 2022, https://netflixtechblog.com/a-survey-of-causal-inference-applications-at-netflix-b62d25175e6f.
- Amit Sharma, Emre Kiciman. DoWhy: An End-to-End Library for Causal Inference. 2020. https://arxiv.org/abs/2011.04216
- Tibshirani, Robert. “Regression shrinkage and selection via the lasso.” Journal of the Royal Statistical Society: Series B (Methodological) 58.1 (1996): 267-288.
- Hoerl, Arthur E., and Robert W. Kennard. “Ridge regression: Biased estimation for nonorthogonal problems.” Technometrics 12.1 (1970): 55-67.
- Chernozhukov, Victor, et al. “Double/debiased machine learning for treatment and causal parameters.” arXiv preprint arXiv:1608.00060 (2016).
- Wager, Stefan, and Susan Athey. “Estimation and inference of heterogeneous treatment effects using random forests.” Journal of the American Statistical Association 113.523 (2018): 1228-1242.
Acesse medium.com/vespertool para mais artigos sobre data science e desenvolvimento na Vesper.
