Vesper nie tylko pokazuje informacje o rynku surowców w czasie rzeczywistym, ale też wykorzystuje uczenie maszynowe do prognozowania cen, produkcji i poziomów zapasów różnych surowców rolnych (np. nabiału, olejów roślinnych, cukru). Żeby pomóc użytkownikom zrozumieć, jakie zmienne powodują zmiany cen, produkcji i poziomów zapasów, Vesper bada w tym artykule, jak analiza przyczynowa może pomóc w kwantyfikacji wpływu tych zmiennych. Dodatkowo mogłoby to pomóc naszym użytkownikom zrozumieć i przewidzieć skutki dużych, nieoczekiwanych wydarzeń, takich jak COVID-19 czy trwająca wojna w Ukrainie.
Ogólnie rzecz biorąc, wnioskowanie przyczynowe można wykorzystać do analizy i kwantyfikacji różnych związków przyczynowych. Dlatego w tym artykule skwantyfikujemy i porównamy przyczynowy wpływ importu masła, eksportu masła i produkcji masła na ceny masła. Artykuł ma następującą budowę:
- Po pierwsze, przyjrzymy się nieco bliżej temu, czym dokładnie jest wnioskowanie przyczynowe. - Po drugie, omówimy leżącą u podstaw strukturę rynku, która służy do znalezienia związku przyczynowego między importem masła, eksportem masła, produkcją masła a cenami masła, oraz to, jakie korzyści identyfikacja związków przyczynowych może przynieść użytkownikom Vesper. - Na koniec poruszymy wątek uczenia maszynowego we wnioskowaniu przyczynowym z użyciem biblioteki Microsoft DoWhy, wraz z wynikami wnioskowania przyczynowego.
Czym dokładnie jest wnioskowanie przyczynowe?
Wnioskowanie przyczynowe definiuje się jako proces, który identyfikuje związki przyczynowe między danymi i szacuje efekt konkretnego zdarzenia (Eichler, 2012). Żeby odpowiedzieć na pytania w rodzaju „Jak użytkownik oceniłby dany film, gdyby się z nim zetknął?” albo „Co spowodowało zmianę ceny tego surowca?”, trzeba zmierzyć i porównać wpływ różnych zmiennych (Moraffah i in., 2021). Weźmy za przykład modele rekomendacji w Netflix, takie jak spersonalizowane wiersze rekomendacji filmowych wyświetlane na ekranie startowym użytkownika. Tradycyjny system rekomendacyjny próbuje odpowiedzieć na proste pytanie: „Jak użytkownik oceniłby ten film?”. Problem w tym, że użytkownicy i tak obejrzą swoje ulubione filmy, niezależnie od tego, co poleci im system. Wnioskowanie przyczynowe pozwala firmie Netflix analizować i kwantyfikować efekt różnych rekomendacji filmowych, co prowadzi do lepszego zrozumienia użytkowników i wyższej skuteczności obecnych modeli rekomendacyjnych. Z perspektywy Vesper wnioskowanie przyczynowe można prowadzić po to, by lepiej zrozumieć, co sprawia, że ceny surowców poruszają się w określonym kierunku, w górę albo w dół. Wyniki naszego wnioskowania przyczynowego dla surowców mogą pomóc naszym klientom lepiej i szybciej przewidywać moment, w którym zmieniają się konkretne warunki rynkowe.
Korelacja to nie przyczynowość!
Większość modeli i algorytmów uczenia maszynowego wykorzystywanych do prognozowania cen akcji i surowców opiera się na korelacjach między zmiennymi. Jeśli jednak chcemy zrozumieć, co napędza prognozy, poleganie wyłącznie na korelacji jest bardzo niebezpieczne. Mówiąc najprościej, korelacja to miara, która opisuje siłę i kierunek (dodatni lub ujemny) zależności między zmiennymi. Sama korelacja może nas skłonić do przekonania, że spożycie margaryny i wskaźnik rozwodów w stanie Maine są ze sobą powiązane przyczynowo (zobacz wykres poniżej). Wykres wyraźnie pokazuje, że oba zjawiska są silnie skorelowane. Nie oznacza to jednak, że jedzenie mniejszej ilości margaryny doprowadzi do zdrowszego małżeństwa. Korelacja to nie przyczynowość: przyczynowość wskazuje, czy między dwoma zdarzeniami istnieje związek przyczynowy, a wnioskowanie przyczynowe sprawdza, czy zależność od przyczyny do skutku rzeczywiście istnieje.
Struktura rynku
Do wnioskowania przyczynowego potrzebny jest przejrzysty obraz różnych czynników, które wpływają na rynek masła. Przyjmuje on postać grafu przyczynowego, czyli probabilistycznego modelu grafowego służącego do zakodowania założeń o procesie generującym dane. Eksperci od analityki rynkowej w Vesper stworzyli graf zawierający wszystkie czynniki, które mogłyby wpłynąć na cykl produkcji i wyceny masła; przedstawiamy go poniżej. Graf pokazuje różne zależności między wieloma czynnikami, a każdy z nich pozostaje w (nie)bezpośrednim związku z importem lub eksportem masła, produkcją masła albo cenami masła. Zmienną, która nas interesuje, jest cena masła: prowadzimy wnioskowanie przyczynowe, żeby zobaczyć przyczynowy wpływ importu masła, eksportu masła i produkcji masła na ceny masła. Strzałki na diagramie oznaczają bezpośrednią zależność między dwiema zmiennymi. Jak widać, zakładamy, że między produkcją mleka a cenami masła nie ma bezpośredniej zależności. Nie znaczy to jednak automatycznie, że nie istnieje zależność pośrednia. Można argumentować, że produkcja większej ilości mleka może powodować wzrost produkcji masła dzięki korzystnej waloryzacji produktów, co pośrednio obniża cenę masła. Dzięki wnioskowaniu przyczynowemu można skwantyfikować związek przyczynowy między dwiema lub wieloma pośrednio powiązanymi zmiennymi.
Waloryzacja produktów jest jedną z najważniejszych zmiennych. Najlepiej opisać ją jako optymalną alokację zasobów, która ma przynieść możliwie najwyższy zwrot. Vesper wylicza, który produkt, wliczając w to produkty uboczne, daje najwyższy zwrot z 10 000 l mleka przy bieżących cenach różnych surowców mleczarskich. Gdy ceny masła są wyjątkowo wysokie, narzędzie do waloryzacji prawdopodobnie doradzi zwiększenie produkcji masła, ponieważ jest ona bardziej opłacalna niż wytwarzanie innych produktów, takich jak ser. Dlatego zarówno produkcja mleka, jak i waloryzacja wpływają na produkcję masła. Ceny masła z kolei oddziałują na wyniki dzisiejszego modelu waloryzacji. Poza waloryzacją, a więc ilością mleka trafiającego do produkcji masła, na produkcję masła wpływają także import i eksport masła, konsumpcja oraz poziomy zapasów.
Na styku analityki rynkowej i data science
Na pierwszy rzut oka data science i analityka rynkowa wydają się dwoma odrębnymi obszarami pracy. Wymagane kompetencje i funkcje praktyczne są różne, natomiast cel końcowy jest najczęściej ten sam: szukanie wniosków, które poprawią podejmowanie decyzji w firmie albo na rynku. Żeby prowadzić wnioskowanie przyczynowe dla cen surowców, musimy rozumieć mechanikę całego rynku, a jednocześnie mieć techniczną możliwość zintegrowania modelu wnioskowania przyczynowego. Analityka rynkowa odgrywa dużą rolę w tworzeniu grafu przyczynowego, bo identyfikuje wszystkie czynniki, które składają się na zależność między dwoma zdarzeniami. Innymi słowy, strukturę rynku trzeba określić, zanim zespół data science będzie w stanie zintegrować model wnioskowania przyczynowego. Bez wymaganych umiejętności technicznych lub wiedzy rynkowej niemal niemożliwe jest zrozumienie wyników wnioskowania przyczynowego dla cen surowców. Dlatego dobra współpraca między tymi dwoma obszarami jest bardzo ważna, a właśnie o to w Vesper chodzi.
Wnioskowanie przyczynowe dla użytkowników Vesper
Dlaczego w Vesper tak bardzo interesuje nas wnioskowanie przyczynowe? Pomaga nam lepiej rozumieć rynki surowców i tworzyć większą wartość dla naszych klientów. Pozwala nam łączyć najnowsze osiągnięcia AI z rynkową wiedzą naszego zespołu. Co kluczowe, zautomatyzowane i ilościowe rozumowanie przyczynowe może prowadzić do business intelligence, która jest solidniejsza, bardziej strategiczna, pełniejsza i elastyczniejsza. Kolejna część wyjaśnia najważniejsze korzyści z wnioskowania przyczynowego i to, jak może ono pomóc naszym użytkownikom.
W ostatnich latach przekonaliśmy się, jak mocno nieoczekiwane wydarzenia potrafią uderzyć w biznes. Wojny handlowe, fale pandemii, prawdziwe wojny, ekstremalne warunki pogodowe i rosnąca niestabilność polityczna sprawiły, że łańcuchy dostaw oraz zawiłe sieci importu i eksportu są kruche jak nigdy dotąd. Wnioskowanie przyczynowe pozwala nam przygotować klientów na to, czego się nie spodziewają. Żaden algorytm uczenia maszynowego nie jest w stanie przewidzieć dokładnej skali kolejnego wstrząsu rynkowego. Możemy być jednak lepiej przygotowani na nieoczekiwane wydarzenia, jeśli rozumiemy, jak zmienne zmienione przez dane wydarzenie wpływają na rynek jako całość. Jeśli na przykład sankcje albo wojna handlowa wypchną dużego eksportera surowców z rynku międzynarodowego, każda prognoza rynkowa oparta na cenach historycznych staje się bezużyteczna. Zrozumienie, jak spadek eksportu wpływa na rynek, pomaga jednak lepiej pojąć, jaki będzie skutek sankcji. Wnioskowanie przyczynowe pozwala nam łączyć dane z naszą wiedzą o dynamice rynku i odpowiadać na pytania w rodzaju „Co się stanie, jeśli import do danego kraju spadnie do zera?”, nawet jeśli nigdy wcześniej tak się nie zdarzyło. W ten sposób wnioskowanie przyczynowe uzupełnia prognozy, dając solidniejsze i odporniejsze zrozumienie tego, jak zachowuje się rynek.
Rozumienie i szacowanie przyczyn oraz skutków mogą pomóc w podejmowaniu decyzji strategicznych. Jeśli firma chce znacząco zwiększyć produkcję jakiegoś dobra, musi wziąć pod uwagę wynikającą z tego zmianę cen. Prognozy zwykle nie uwzględniają takiej decyzji, bo opierają się wyłącznie na historycznych danych rynkowych. Owszem, dla małych firm o ograniczonym wpływie na rynek to pewnie nie jest problem. Ale najwięksi gracze muszą wiedzieć, jak ich działania oddziałują na rynek jako całość. Wnioskowanie przyczynowe to umożliwia. Jeśli znamy wpływ zwiększonej produkcji na ceny rynkowe, możemy lepiej oszacować skutki decyzji firmy. Dzięki temu, korzystając z modeli wnioskowania przyczynowego, możemy wykorzystać siłę AI w planowaniu i strategii korporacyjnej.
Na koniec: wnioskowanie przyczynowe daje większą elastyczność w planowaniu. Mogłoby pozwolić naszym klientom rozważać różne scenariusze i sprawdzać, jak wpływają one na rynki. Jeśli na przykład pogoda w najbliższych miesiącach jest niepewna, firma może sprawdzić, jaki wpływ różne warunki pogodowe zwykle wywierają na ceny mleka, i odpowiednio zaplanować działania. Albo jeśli firma sądzi, że jej konkurent może gwałtownie zwiększyć import masła po podpisaniu nowego partnerstwa, może się przygotować, szacując, jaki wpływ na ceny masła będzie miał ten ruch. W ten sposób analiza przyczynowa może uzupełniać prognozy i dostarczać bardziej skrojonych na miarę wniosków rynkowych.
Pakiet DoWhy do wnioskowania przyczynowego
Żeby zbudować kompleksowy silnik wnioskowania przyczynowego, korzystamy z biblioteki open source dla Pythona autorstwa Microsoftu: DoWhy (Sharma, Kiciman, 2020). Jak opisują ją autorzy: podobnie jak biblioteki uczenia maszynowego zrobiły to dla predykcji, „DoWhy” jest biblioteką Pythona, która ma pobudzać myślenie przyczynowe i analizę przyczynową. Biblioteka daje ramy do szacowania efektów przyczynowych oraz warunkowych efektów przyczynowych. Łączy podejścia do przyczynowości wypracowane w uczeniu maszynowym, statystyce i ekonomii, co pozwala na większą elastyczność. Biblioteka jest wciąż w wersji beta, ale ma już imponujący zestaw funkcji.
Podejście DoWhy do wnioskowania przyczynowego składa się z czterech kroków:
- Modelowanie problemu - Identyfikacja związku przyczynowego - Oszacowanie wielkości tego związku - Podważanie wyników
Pierwszy krok jest prosty: żeby przeprowadzić analizę przyczynową, potrzebujemy grafu przyczynowego zakodowanego tak, by biblioteka mogła go odczytać. Musimy też wybrać zmienną wynikową i zmienną interwencyjną. W naszym przypadku: ceny masła i produkcję masła.
W drugim kroku DoWhy używa do-calculus, żeby znaleźć możliwe zmienne zakłócające: zmienne, które mogłyby zaburzyć związek przyczynowy między zmienną interwencyjną (produkcją masła) a zmienną wynikową (cenami masła). Zmienna zakłócająca może być wspólną przyczyną: poziom zapasów masła może na przykład wpływać zarówno na produkcję, jak i na ceny, więc trzeba go uwzględnić. Do-calculus to system formalny, który przy zadanym grafie przyczynowym pozwala algorytmowi znaleźć wszystkie takie zmienne zakłócające. Udowodniono, że dzięki do-calculus program zawsze potrafi stwierdzić, czy przy danych, którymi dysponujemy, interesujący nas związek przyczynowy da się zidentyfikować. Dzięki temu w tym kroku możemy w pełni polegać na bibliotece DoWhy.
Trzeci krok, czyli oszacowanie związku przyczynowego, wymaga od programisty najwięcej pracy. Kiedy znamy już wszystkie zmienne, które musimy uwzględnić (kontrolować), wciąż musimy wybrać model statystyczny do oszacowania wielkości tego związku. Do najpopularniejszych modeli należą prosta regresja liniowa, regresje z regularyzacją, takie jak LASSO (Tibshirani, 1996) czy Ridge (Hoerl, Kennard, 1970), modele double machine learning (Chernozhukov i in., 2016) oraz causal forests (Wager, Athey, 2018). Dwa ostatnie pozwalają nam szacować nie tylko średni efekt przyczynowy, ale też efekt przyczynowy warunkowy względem wartości jakiejś innej zmiennej. Na przykład: jaki jest oczekiwany wpływ zwiększenia produkcji masła na cenę masła przy różnych poziomach zapasów masła? Ten krok przypomina zwykłe zadanie predykcyjne, znane wszystkim inżynierom uczenia maszynowego i specjalistom data science. Dzięki temu umiejętności wypracowane już na potrzeby prognoz można ponownie wykorzystać przy wdrażaniu narzędzi do wnioskowania przyczynowego.
Na koniec DoWhy udostępnia kompleksowe narzędzie do sprawdzania i podważania oszacowań przyczynowych. Można na przykład dodać do modelu losową zmienną zakłócającą i zobaczyć, czy wyniki są odporne. Dzięki temu można się upewnić, że uzyskane wyniki są poprawne, solidne i pewne. DoWhy sprawia, że rozwijanie naszych narzędzi do wnioskowania przyczynowego jest łatwiejsze i szybsze. Pozwala nam to dostarczać lepszych, pełniejszych i bardziej elastycznych wniosków o rynku surowców.
Wyniki wnioskowania przyczynowego
Do oszacowania przyczynowego wpływu produkcji, importu i eksportu masła na ceny masła wykorzystujemy graf struktury rynku. Rozsądnie jest oczekiwać, że produkcja i import obniżają ceny, a eksport je podnosi. To jednak nie wystarczy. Do precyzyjnych i dobrze uzasadnionych decyzji trzeba znać wielkość tych efektów. Czy import obniża ceny bardziej niż produkcja? Czy wpływ importu i eksportu na ceny jest podobny co do wielkości? Żeby odpowiedzieć na te pytania, potrzebujemy danych wysokiej jakości i wnioskowania przyczynowego.
Szacujemy, że produkcja jednej dodatkowej tony masła obniża cenę tony masła o 0,0046 euro. Oznacza to, że wyprodukowanie 1000 t masła obniża cenę o 4,6 euro. Wpływ importu ma ten sam kierunek, ale jest znacznie większy. Import 1000 t masła obniża cenę tony masła aż o 16,8 euro. Z kolei eksport 1000 t masła podnosi cenę tony masła o 6,2 euro. Efekty działają w oczekiwanym kierunku i są znaczące oraz istotne. Spośród nich najmocniejszy jest import, znacznie silniejszy niż eksport i produkcja.
Silnik wnioskowania przyczynowego w Vesper pozwala nam też szacować oczekiwane efekty przyczynowe warunkowo względem innych zmiennych. Znamy średnie efekty produkcji masła, ale jak zależą one od poziomu istniejących zapasów masła? Żeby odpowiedzieć na to pytanie, szacujemy i wykreślamy model z heterogenicznymi efektami przyczynowymi zależnymi od zapasów masła dla wszystkich trzech interesujących nas czynników: produkcji, importu i eksportu masła.
Wpływ produkcji masła na ceny jest najsilniejszy i najbardziej istotny przy niskich poziomach zapasów masła. Jeśli zapasy są niższe niż 100 000 t, efekt wyprodukowania dodatkowych 1000 t masła może sięgać nawet 7 euro. Przy wyższych poziomach zapasów masła efekty maleją, a powyżej 150 000 t są statystycznie nieodróżnialne od zera. Pokazuje to, że duży poziom zapasów masła może działać na rynek wygładzająco i ograniczać wszelkie natychmiastowe skutki dodatkowej produkcji.
W przypadku importu masła obraz jest inny. Przyczynowy efekt zwiększenia importu masła nie zależy od poziomu zapasów masła, a lekko widoczny trend nie jest istotny statystycznie. Zwiększenie importu masła ma silny, negatywny wpływ na ceny niezależnie od zapasów, choć przy wysokim poziomie zapasów oszacowane efekty są dość nieprecyzyjne.
Na koniec: efekty eksportu, podobnie jak efekty produkcji, są wrażliwe na poziom zapasów. Największy dodatni wpływ na ceny widać wtedy, gdy zapasy są małe. Eksport 1000 t masła może wówczas podnieść cenę za tonę nawet o 14 euro. Efekt ten gwałtownie słabnie i przestaje być istotny przy poziomach zapasów wyższych niż 140 000 t. Pokazuje to, że eksport realnie wpływa na ceny tylko wtedy, gdy masła nie ma w nadmiarze. Przy bardzo wysokich poziomach zapasów eksport staje się koniecznością, a nie strategią, i jego przyczynowy wpływ na ceny zanika.
Najważniejsze wnioski
Powyższe wnioski pomagają kupującym, sprzedającym i traderom na rynku surowców rolnych podejmować lepiej uzasadnione decyzje. Jeśli te wnioski są dla Ciebie przydatne i chcesz się dowiedzieć, co jeszcze może zaoferować Vesper, zarezerwuj demo u Yannicka Ainka: Yannick@vespertool.com.
Bibliografia
- Eichler, Michael. Causal inference in time series analysis. na, 2012.
- Moraffah, Raha, et al. “Causal inference for time series analysis: Problems, methods and evaluation.” Knowledge and Information Systems (2021): 1–45.
- Blog, Netflix Technology. “A Survey of Causal Inference Applications at Netflix.” Medium, Netflix TechBlog, 6 June 2022, https://netflixtechblog.com/a-survey-of-causal-inference-applications-at-netflix-b62d25175e6f.
- Amit Sharma, Emre Kiciman. DoWhy: An End-to-End Library for Causal Inference. 2020. https://arxiv.org/abs/2011.04216
- Tibshirani, Robert. “Regression shrinkage and selection via the lasso.” Journal of the Royal Statistical Society: Series B (Methodological) 58.1 (1996): 267–288.
- Hoerl, Arthur E., and Robert W. Kennard. “Ridge regression: Biased estimation for nonorthogonal problems.” Technometrics 12.1 (1970): 55–67.
- Chernozhukov, Victor, et al. “Double/debiased machine learning for treatment and causal parameters.” arXiv preprint arXiv:1608.00060 (2016).
- Wager, Stefan, and Susan Athey. “Estimation and inference of heterogeneous treatment effects using random forests.” Journal of the American Statistical Association 113.523 (2018): 1228–1242.
Wejdź na medium.com/vespertool, aby przeczytać więcej artykułów o Data Science i rozwoju w Vesper.
