Η ενισχυτική μάθηση, ένας κλάδος της μηχανικής μάθησης, είναι ίσως πιο γνωστή σε σχέση με τα αυτόνομα οχήματα: ένα αυτοκίνητο μαθαίνει να οδηγεί με δοκιμή και σφάλμα και, ύστερα από ένα εκατομμύριο φορές, ξέρει να στρίβει και να σταματά στο κόκκινο φανάρι. Ξέρω ότι αυτό είναι υπεραπλουστευμένο, αλλά καταλαβαίνετε τι εννοώ.
Μια λιγότερο γνωστή εφαρμογή της ενισχυτικής μάθησης βρίσκεται στον κόσμο του trading. Οι περισσότεροι από εμάς είμαστε εξοικειωμένοι με την εφαρμογή μοντέλων μηχανικής μάθησης σε δεδομένα χρονοσειρών. Στη Vesper το κάνουμε αυτό για να προβλέψουμε τις τιμές, την παραγωγή και τα επίπεδα αποθεμάτων διαφόρων αγροτικών εμπορευμάτων για μερικούς μήνες μπροστά. Αυτά τα μοντέλα μπορούν να δείξουν προς τα πού πηγαίνει η αγορά, αλλά δεν μπορούν να σας πουν ποια ενέργεια να κάνετε με βάση το αποτέλεσμά τους: οι πράκτορες ενισχυτικής μάθησης μπορούν να σας πουν πότε να πουλήσετε, να αγοράσετε ή να κρατήσετε τα περιουσιακά σας στοιχεία, ανάλογα με το πώς συμπεριφέρεται η αγορά. Ενώ εφαρμογές σαν αυτή γίνονται όλο και πιο δημοφιλείς στις αγορές μετοχών και συναλλάγματος, δεν υπάρχουν ακόμη περιπτώσεις εφαρμογής τους στις αγορές εμπορευμάτων.
Μαζί με τη Slimmer AI, εμείς (η ομάδα Data Science της Vesper) αφιερώσαμε τρεις μήνες στην έρευνα και την ανάπτυξη ενός πράκτορα RL που μαθαίνει να κάνει trading στην αγορά εμπορευμάτων. Διαβάστε περισσότερα για αυτούς τους κύκλους Έρευνας και Ανάπτυξης εδώ!
Αυτό το άρθρο δίνει μια επισκόπηση των σημαντικότερων ευρημάτων μας. Θα ξεκινήσουμε εξηγώντας σύντομα την έννοια της ενισχυτικής μάθησης και θα συνεχίσουμε με τον ορισμό του πράκτορα trading και τα οφέλη της χρήσης του. Τέλος, θα συζητήσουμε τρεις διαφορετικές μεθόδους ενισχυτικής μάθησης και τα αντίστοιχα πλεονεκτήματα και μειονεκτήματά τους.
Ένα πιο εμπεριστατωμένο άρθρο για τις προδιαγραφές των πρακτόρων μας και τις επιδόσεις τους, καθώς και μια εισαγωγή στη βιβλιοθήκη που χρησιμοποιήσαμε, υπάρχει εδώ. Το αντίστοιχο αποθετήριο git υπάρχει εδώ. Αν όμως δεν γνωρίζετε καλά την έννοια, διαβάστε παρακάτω!
Τι είναι η ενισχυτική μάθηση;
Με απλά λόγια, η ενισχυτική μάθηση είναι η πρακτική της μάθησης με δοκιμή και σφάλμα. Το μοντέλο μαθαίνει επειδή ανταμείβεται για τις καλές αποφάσεις και τιμωρείται για τις κακές. Αυτό γίνεται με τη ρύθμιση του μεγέθους μιας ανταμοιβής, που ονομάζεται σήμα ενίσχυσης, το οποίο είναι είτε θετικό είτε αρνητικό και πάντα συνέπεια μιας ενέργειας του πράκτορα.
Ένα μοντέλο ενισχυτικής μάθησης συνδέει έναν πράκτορα με ένα περιβάλλον μέσω μιας ενέργειας. Μια οπτικοποίηση αυτού φαίνεται στην εικόνα παρακάτω. Ο πράκτορας λαμβάνει πληροφορίες για την τρέχουσα κατάσταση (St) του περιβάλλοντος. Με βάση αυτές τις πληροφορίες, ο πράκτορας αποφασίζει μια ενέργεια (At), αλλάζοντας την κατάσταση του περιβάλλοντος σε St+1. Η ενέργεια επιλέγεται από τον χώρο δράσεων.
Χώρος δράσεων: Το σύνολο όλων των ενεργειών που είναι διαθέσιμες στον πράκτορα και τις οποίες μπορεί να χρησιμοποιήσει για να αλληλεπιδράσει με το περιβάλλον του και να το αλλάξει
Η ανταμοιβή ή η τιμωρία της μετάβασης κατάστασης μεταδίδεται στον πράκτορα μέσω του σήματος ανταμοιβής (Rt). Το σύστημα στοχεύει να μάθει μια στρατηγική ενεργειών που βρίσκει την υψηλότερη αθροιστική τιμή ανταμοιβής του περιβάλλοντος.
Ένα απλοποιημένο παράδειγμα εργασίας ενισχυτικής μάθησης από την πραγματική ζωή είναι ένα παιδί που μαθαίνει να περπατά: το παιδί είναι ο πράκτορας που προσπαθεί να κινηθεί μέσα στο περιβάλλον κάνοντας ενέργειες, δηλαδή περπατώντας ή μπουσουλώντας. Όταν κάνει μερικά βήματα, το παιδί λαμβάνει ευνοϊκή αντίδραση από τους γονείς, κάτι ανάλογο με την ανταμοιβή. Αντίθετα, το παιδί δεν θα λάβει καμία αντίδραση όταν μπουσουλάει ή δεν κινείται, κάτι που αντιπροσωπεύει μια αρνητική ανταμοιβή ή τιμωρία.
Τι είναι οι πράκτορες trading;
Στο πλαίσιο του trading, ένας πράκτορας ενισχυτικής μάθησης είναι ένας trader του οποίου ο χώρος δράσεων αποτελείται από την αγορά, την πώληση ή τη διακράτηση ενός περιουσιακού στοιχείου. Η αγορά στην οποία ανήκει το περιουσιακό στοιχείο λειτουργεί ως περιβάλλον. Η κατάσταση μπορεί να αποτυπωθεί με τη μορφή στατιστικών για την τρέχουσα αγορά, όπως οι ημερήσιοι κινητοί μέσοι, τα ημερήσια υψηλά και χαμηλά ή οι όγκοι συναλλαγών. Η ανταμοιβή στο trading μπορεί να εκφραστεί σε όρους κέρδους, ζημιών ή άλλων δεικτών απόδοσης. Τελικά, στόχος του πράκτορα trading είναι να ενεργεί με τρόπο που μεγιστοποιεί τη μελλοντική ανταμοιβή, δεδομένης της αγοράς στην οποία λειτουργεί. Ένας καλός πράκτορας θα πρέπει να μπορεί να ξεπερνά την αγορά αγοράζοντας σε χαμηλά επίπεδα τιμών και πουλώντας σε υψηλότερα. Η συμπεριφορά του πράκτορα θα εξαρτηθεί σε μεγάλο βαθμό από τη μέθοδο RL που θα επιλεγεί. Τρεις μέθοδοι που χρησιμοποιούνται συχνά συζητούνται στην τελευταία ενότητα, αλλά πρώτα θα δούμε γρήγορα τα οφέλη της χρήσης πρακτόρων trading.
Γιατί να χρησιμοποιήσετε πράκτορες trading;
Το αυτοματοποιημένο trading, γνωστό και ως αλγοριθμικό trading, περιλαμβάνει τη χρήση αλγορίθμων για την εκτέλεση εντολών συναλλαγών· σε αυτόν ακριβώς τον τομέα ανήκουν οι πράκτορες trading. Αυτή η μορφή trading έχει πολλά πλεονεκτήματα έναντι του ανθρώπινου (χειροκίνητου) trading. Πρώτα απ’ όλα, πρέπει να γίνει μια διάκριση ανάμεσα σε δύο είδη αυτοματοποιημένου trading:
1. Αυτοματοποιημένο trading με βάση κανόνες, όπου η στρατηγική είναι προκαθορισμένη και σχεδιασμένη από άνθρωπο. 2. Αυτοματοποιημένο trading με βάση την ενισχυτική μάθηση, όπου η στρατηγική μαθαίνεται με ενισχυτική μάθηση.
Και οι δύο μέθοδοι επωφελούνται από τα γενικά πλεονεκτήματα του αυτοματοποιημένου trading. Τα οφέλη είναι πολλά, αλλά τα σημαντικότερα είναι τα εξής:
- Οι υπολογιστές έχουν γρήγορους χρόνους εκτέλεσης, κάτι που μειώνει τον κίνδυνο να χαθεί μια ευκαιρία λόγω αργής αντίδρασης στην κατάσταση της αγοράς. - Με το αυτοματοποιημένο trading δεν εκτίθεστε στον κίνδυνο να πάρετε κακές αποφάσεις λόγω συναισθηματικών και ψυχολογικών επιδράσεων, κάτι που ταλαιπωρεί τους ανθρώπους υπερβολικά. Οι υπολογιστές θα εκτελούν πάντα τη στρατηγική για την οποία σχεδιάστηκαν. - Το αυτοματοποιημένο trading επωφελείται από το γεγονός ότι οι υπολογιστές είναι σημαντικά ικανότεροι από τον ανθρώπινο εγκέφαλο στο να επεξεργάζονται τεράστιους όγκους δεδομένων σε πραγματικό χρόνο, κάτι που επιτρέπει πολύ πιο σύνθετες στρατηγικές.
Αν δούμε τα οφέλη ειδικά για τους πράκτορες trading που χρησιμοποιούν ενισχυτική μάθηση, μπορούμε να προσθέσουμε το εξής βασικό πλεονέκτημα:
- Ένας πράκτορας trading δεν σταματά ποτέ να μαθαίνει και να προσαρμόζει τη στρατηγική του. Μια στρατηγική που κάποτε ήταν κερδοφόρα μπορεί να μη λειτουργεί όταν αλλάζει η δυναμική της αγοράς. Ένας καλοσχεδιασμένος πράκτορας trading με ενισχυτική μάθηση θα πρέπει να μπορεί να προσαρμόζει ανάλογα τη στρατηγική του.
Ποια μέθοδο να επιλέξετε για πράκτορες trading με ενισχυτική μάθηση;
Όπως αναφέρθηκε νωρίτερα, υπάρχουν διαφορετικές μέθοδοι για να χτίσει κανείς έναν πράκτορα ενισχυτικής μάθησης. Υπάρχουν τρεις προσεγγίσεις για τις χρηματοοικονομικές συναλλαγές: critic-only, actor-only και actor-critic. Η critic-only, η πιο χρησιμοποιούμενη μέθοδος στον χώρο του αυτοματοποιημένου trading, λειτουργεί επιλύοντας έναν διακριτό χώρο δράσεων με τη μορφή μιας συνάρτησης Q-value.
Συνάρτηση Q-value: μέτρο της συνολικής αναμενόμενης ανταμοιβής, με την παραδοχή ότι ο πράκτορας βρίσκεται στην κατάσταση St και εκτελεί την ενέργεια At
Έτσι η μέθοδος μαθαίνει τη στρατηγική που μεγιστοποιεί τη μελλοντική ανταμοιβή, δεδομένης της τρέχουσας κατάστασης. Τα πιο γνωστά παραδείγματα είναι το Q-learning και το Deep Q-learning. Το βασικό μειονέκτημα αυτών των μεθόδων είναι ότι σχεδιάστηκαν για να αντιμετωπίζουν μόνο προβλήματα με διακριτό και πεπερασμένο χώρο δράσεων, δηλαδή οι ενέργειες που μπορεί να κάνει ο πράκτορας πρέπει να είναι προκαθορισμένες. Επομένως, χρειάζονται ειδικές τεχνικές για να μετατραπεί ο χώρος δράσεων σε συνεχή, όπως στην περίπτωση της αγοράς ή της πώλησης διαφορετικών ποσοτήτων ενός προϊόντος.
Η δεύτερη προσέγγιση ονομάζεται actor-only· εδώ το μεγαλύτερο πλεονέκτημα είναι ότι ο χώρος δράσεων μπορεί να είναι συνεχής, αφού μαθαίνεται απευθείας μια πολιτική με τη μορφή κατανομής πιθανότητας, η οποία δίνει μια στρατηγική για οποιαδήποτε κατάσταση.
Πολιτική: αντιστοίχιση από μια κατάσταση St στις πιθανότητες επιλογής κάθε δυνατής ενέργειας At, δεδομένης αυτής της κατάστασης
Ωστόσο, ο μεγαλύτερος χρόνος εκπαίδευσης ο οποίος απαιτείται για να βρεθούν οι βέλτιστες πολιτικές μπορεί να θεωρηθεί μειονέκτημα αυτής της προσέγγισης.
Ο τρίτος τύπος, το πλαίσιο actor-critic, συνδυάζει τους δύο προηγούμενους και εκπαιδεύει ταυτόχρονα δύο μοντέλα: τον actor, ο οποίος μαθαίνει πώς να κάνει τον πράκτορα να συμπεριφέρεται με συγκεκριμένο τρόπο σε μια κατάσταση, και τον critic, ο οποίος αξιολογεί πόσο αποτελεσματική ήταν στην πραγματικότητα η επιλεγμένη ενέργεια. Δύο αλγόριθμοι actor-critic που χρησιμοποιούνται συχνά είναι ο PPO και ο A2C. Αν και οι δύο μέθοδοι είναι ιδιαίτερα δημοφιλείς στο trading μετοχών, υπάρχουν κάποιες διαφορές ανάμεσα στην αγορά μετοχών και στην αγορά εμπορευμάτων, διαφορές που πρέπει να ληφθούν υπόψη όταν αποφασίζουμε την προσέγγισή μας.
Η μεγαλύτερη διαφορά ανάμεσα στις δύο αγορές είναι ο όγκος των διαθέσιμων δεδομένων. Μια δυσκολία που συναντούν συχνά οι ερευνητές όταν εφαρμόζουν τεχνολογίες τεχνητής νοημοσύνης στην αγορά εμπορευμάτων είναι η έλλειψη διαφάνειας αυτής της αγοράς και η συνακόλουθη συνέπεια ότι υπάρχουν λίγα διαθέσιμα δεδομένα αγοράς. Ευτυχώς, ως πλατφόρμα commodity intelligence, η συλλογή αυτών των δεδομένων είναι η καθημερινή μας δουλειά. Η βάση δεδομένων της Vesper περιέχει χιλιάδες σειρές δεδομένων που καλύπτουν, μεταξύ άλλων, τιμές, futures και δεδομένα προσφοράς και ζήτησης για διάφορα αγροτικά εμπορεύματα. Μια άλλη διαφορά που πρέπει να ληφθεί υπόψη είναι η φύση των αγαθών που αποτελούν αντικείμενο συναλλαγών. Επειδή τα αγροτικά εμπορεύματα είναι εξ ορισμού φυσικά, πρέπει να ληφθούν υπόψη πρόσθετοι περιορισμοί. Σκεφτείτε τις ημερομηνίες λήξης, που υποχρεώνουν τους traders να πουλήσουν ένα προϊόν πριν από μια συγκεκριμένη ημερομηνία.
Σε αυτό το άρθρο συζητήσαμε τα βασικά της ενισχυτικής μάθησης, τι είναι οι πράκτορες trading και γιατί είναι χρήσιμο να εφαρμοστούν στην αγορά εμπορευμάτων. Συζητήσαμε επίσης τα οφέλη που τους συνοδεύουν και ποιες μέθοδοι ενισχυτικής μάθησης ταιριάζουν καλύτερα στη δική μας περίπτωση χρήσης. Αν σας ενδιαφέρει η πραγματική υλοποίηση αυτής της μεθόδου, ρίξτε μια ματιά εδώ, όπου δείχνουμε ότι οι πράκτορες trading ξεπερνούν σημαντικά ένα μοντέλο αναφοράς.
Αν σας ενδιαφέρει η αγορά εμπορευμάτων και το πώς χρησιμοποιούμε την τεχνητή νοημοσύνη για να την ανατρέψουμε, γραφτείτε στην έκδοσή μας!
