Λειτουργία μηχανικής μάθησης στο Mail.ru Mail

Με βάση τις ομιλίες μου στο Highload++ και στο DataFest Minsk 2019.

Για πολλούς σήμερα, το ταχυδρομείο είναι αναπόσπαστο μέρος της διαδικτυακής ζωής. Με τη βοήθειά του, πραγματοποιούμε επιχειρηματική αλληλογραφία, αποθηκεύουμε κάθε είδους σημαντικές πληροφορίες που σχετίζονται με τα οικονομικά, τις κρατήσεις ξενοδοχείων, την υποβολή παραγγελιών και πολλά άλλα. Στα μέσα του 2018, διαμορφώσαμε μια στρατηγική προϊόντων για την ανάπτυξη αλληλογραφίας. Πώς πρέπει να είναι η σύγχρονη αλληλογραφία;

Η αλληλογραφία πρέπει να είναι έξυπνος, δηλαδή, βοηθώντας τους χρήστες να πλοηγηθούν στον αυξανόμενο όγκο πληροφοριών: φιλτράρουν, δομή και παρέχουν με τον πιο βολικό τρόπο. Πρέπει να είναι χρήσιμος, που σας επιτρέπει να επιλύετε διάφορες εργασίες απευθείας στο γραμματοκιβώτιό σας, για παράδειγμα, να πληρώνετε πρόστιμα (μια λειτουργία που, δυστυχώς, χρησιμοποιώ). Και ταυτόχρονα, φυσικά, το ταχυδρομείο πρέπει να παρέχει προστασία πληροφοριών, να αποκόπτει τα ανεπιθύμητα μηνύματα και να προστατεύει από το hacking, δηλαδή να ασφαλής.

Αυτοί οι τομείς καθορίζουν μια σειρά από βασικά προβλήματα, πολλά από τα οποία μπορούν να επιλυθούν αποτελεσματικά χρησιμοποιώντας μηχανική εκμάθηση. Ακολουθούν παραδείγματα ήδη υπαρχόντων χαρακτηριστικών που αναπτύχθηκαν ως μέρος της στρατηγικής - ένα για κάθε κατεύθυνση.

• Έξυπνη απάντηση. Το Mail διαθέτει μια λειτουργία έξυπνης απάντησης. Το νευρωνικό δίκτυο αναλύει το κείμενο της επιστολής, κατανοεί το νόημα και τον σκοπό της και ως αποτέλεσμα προσφέρει τις τρεις πιο κατάλληλες επιλογές απάντησης: θετική, αρνητική και ουδέτερη. Αυτό βοηθά στη σημαντική εξοικονόμηση χρόνου όταν απαντάτε σε επιστολές και επίσης συχνά απαντάτε με μη τυπικό και αστείο τρόπο.
• Ομαδοποίηση emailπου σχετίζονται με παραγγελίες σε ηλεκτρονικά καταστήματα. Συχνά ψωνίζουμε διαδικτυακά και, κατά κανόνα, τα καταστήματα μπορούν να στείλουν πολλά email για κάθε παραγγελία. Για παράδειγμα, από το AliExpress, τη μεγαλύτερη υπηρεσία, μπαίνουν πολλά γράμματα για μία παραγγελία και υπολογίσαμε ότι στην θήκη τερματικού ο αριθμός τους θα μπορούσε να φτάσει τα 29. Επομένως, χρησιμοποιώντας το μοντέλο Αναγνώρισης Ονομασμένης Οντότητας, εξάγουμε τον αριθμό παραγγελίας και άλλες πληροφορίες από το κείμενο και ομαδοποιήστε όλα τα γράμματα σε ένα νήμα. Εμφανίζουμε επίσης βασικές πληροφορίες σχετικά με την παραγγελία σε ξεχωριστό πλαίσιο, το οποίο διευκολύνει την εργασία με αυτόν τον τύπο email.

  

• Anti-phishing. Το ηλεκτρονικό ψάρεμα (phishing) είναι ένας ιδιαίτερα επικίνδυνος δόλιος τύπος email, με τη βοήθεια του οποίου οι εισβολείς προσπαθούν να λάβουν οικονομικές πληροφορίες (συμπεριλαμβανομένων των τραπεζικών καρτών του χρήστη) και συνδέσεις. Τέτοιες επιστολές μιμούνται τις πραγματικές που αποστέλλονται από την υπηρεσία, συμπεριλαμβανομένων οπτικά. Επομένως, με τη βοήθεια του Computer Vision, αναγνωρίζουμε τα λογότυπα και το στυλ σχεδίασης των γραμμάτων από μεγάλες εταιρείες (για παράδειγμα, Mail.ru, Sber, Alfa) και το λαμβάνουμε υπόψη μαζί με το κείμενο και άλλες λειτουργίες στους ταξινομητές ανεπιθύμητης αλληλογραφίας και phishing .

Μηχανική εκμάθηση

Λίγα λόγια για τη μηχανική εκμάθηση στο email γενικά. Το Mail είναι ένα σύστημα με μεγάλη φόρτωση: κατά μέσο όρο 1,5 δισεκατομμύρια γράμματα την ημέρα περνούν από τους διακομιστές μας για 30 εκατομμύρια χρήστες DAU. Περίπου 30 συστήματα μηχανικής εκμάθησης υποστηρίζουν όλες τις απαραίτητες λειτουργίες και δυνατότητες.

Κάθε γράμμα περνά από έναν ολόκληρο αγωγό ταξινόμησης. Πρώτα κόβουμε τα ανεπιθύμητα μηνύματα και αφήνουμε καλά email. Οι χρήστες συχνά δεν παρατηρούν το έργο του antispam, επειδή το 95-99% του spam δεν καταλήγει καν στον κατάλληλο φάκελο. Η αναγνώριση ανεπιθύμητων μηνυμάτων είναι ένα πολύ σημαντικό μέρος του συστήματός μας και το πιο δύσκολο, αφού στον τομέα του anti-spam υπάρχει μια συνεχής προσαρμογή μεταξύ των συστημάτων άμυνας και επίθεσης, γεγονός που παρέχει μια συνεχή μηχανική πρόκληση για την ομάδα μας.

Στη συνέχεια, διαχωρίζουμε τα γράμματα από τους ανθρώπους και τα ρομπότ. Τα μηνύματα ηλεκτρονικού ταχυδρομείου από άτομα είναι τα πιο σημαντικά, επομένως παρέχουμε λειτουργίες όπως η Έξυπνη απάντηση για αυτούς. Οι επιστολές από ρομπότ χωρίζονται σε δύο μέρη: συναλλακτικές - αυτές είναι σημαντικές επιστολές από υπηρεσίες, για παράδειγμα, επιβεβαιώσεις αγορών ή κρατήσεων ξενοδοχείων, οικονομικά και ενημερωτικές - αυτές είναι διαφημιστικές επιχειρήσεις, εκπτώσεις.

Πιστεύουμε ότι τα email συναλλαγών είναι εξίσου σημασίας με την προσωπική αλληλογραφία. Θα πρέπει να είναι κοντά σας, γιατί συχνά χρειάζεται να βρούμε γρήγορα πληροφορίες σχετικά με μια παραγγελία ή κράτηση αεροπορικού εισιτηρίου και αφιερώνουμε χρόνο στην αναζήτηση αυτών των επιστολών. Επομένως, για λόγους ευκολίας, τα χωρίζουμε αυτόματα σε έξι βασικές κατηγορίες: ταξίδια, παραγγελίες, οικονομικά, εισιτήρια, εγγραφές και, τέλος, πρόστιμα.

Οι ενημερωτικές επιστολές είναι η μεγαλύτερη και πιθανώς λιγότερο σημαντική ομάδα, η οποία δεν απαιτεί άμεση απάντηση, καθώς τίποτα σημαντικό δεν θα αλλάξει στη ζωή του χρήστη εάν δεν διαβάσει μια τέτοια επιστολή. Στη νέα μας διεπαφή, τα συμπτύσσουμε σε δύο νήματα: κοινωνικά δίκτυα και ενημερωτικά δελτία, καθαρίζοντας έτσι οπτικά τα εισερχόμενα και αφήνοντας ορατά μόνο σημαντικά μηνύματα.

Εκμετάλλευση

Ένας μεγάλος αριθμός συστημάτων προκαλεί πολλές δυσκολίες στη λειτουργία. Εξάλλου, τα μοντέλα υποβαθμίζονται με την πάροδο του χρόνου, όπως κάθε λογισμικό: τα χαρακτηριστικά σπάνε, τα μηχανήματα αποτυγχάνουν, ο κώδικας γίνεται στραβά. Επιπλέον, τα δεδομένα αλλάζουν συνεχώς: προστίθενται νέα, μετασχηματίζονται πρότυπα συμπεριφοράς των χρηστών κ.λπ., επομένως ένα μοντέλο χωρίς την κατάλληλη υποστήριξη θα λειτουργεί όλο και χειρότερα με την πάροδο του χρόνου.

Δεν πρέπει να ξεχνάμε ότι όσο πιο βαθιά διεισδύει η μηχανική μάθηση στη ζωή των χρηστών, τόσο μεγαλύτερη είναι η επίδραση που έχουν στο οικοσύστημα και, ως εκ τούτου, τόσο περισσότερες οικονομικές απώλειες ή κέρδη μπορούν να λάβουν οι παίκτες της αγοράς. Επομένως, σε έναν αυξανόμενο αριθμό περιοχών, οι παίκτες προσαρμόζονται στην εργασία των αλγορίθμων ML (κλασικά παραδείγματα είναι η διαφήμιση, η αναζήτηση και τα ήδη αναφερθέντα antispam).

Επίσης, οι εργασίες μηχανικής μάθησης έχουν μια ιδιαιτερότητα: οποιαδήποτε, ακόμη και μικρή, αλλαγή στο σύστημα μπορεί να δημιουργήσει πολλή δουλειά με το μοντέλο: εργασία με δεδομένα, επανεκπαίδευση, ανάπτυξη, η οποία μπορεί να διαρκέσει εβδομάδες ή μήνες. Επομένως, όσο πιο γρήγορα αλλάζει το περιβάλλον στο οποίο λειτουργούν τα μοντέλα σας, τόσο περισσότερη προσπάθεια χρειάζεται για τη διατήρησή τους. Μια ομάδα μπορεί να δημιουργήσει πολλά συστήματα και να είναι χαρούμενη γι' αυτό, αλλά στη συνέχεια ξοδεύει σχεδόν όλους τους πόρους της για να τα συντηρεί, χωρίς την ευκαιρία να κάνει κάτι νέο. Κάποτε συναντήσαμε μια τέτοια κατάσταση στην ομάδα antispam. Και κατέληξαν στο προφανές συμπέρασμα ότι η υποστήριξη πρέπει να αυτοματοποιηθεί.

Αυτοματοποίηση

Τι μπορεί να αυτοματοποιηθεί; Σχεδόν τα πάντα, στην πραγματικότητα. Έχω εντοπίσει τέσσερις τομείς που καθορίζουν την υποδομή μηχανικής μάθησης:

• συλλογή δεδομένων;
• πρόσθετη εκπαίδευση;
• αναπτύσσω;
• δοκιμή και παρακολούθηση.

Εάν το περιβάλλον είναι ασταθές και αλλάζει συνεχώς, τότε ολόκληρη η υποδομή γύρω από το μοντέλο αποδεικνύεται πολύ πιο σημαντική από το ίδιο το μοντέλο. Μπορεί να είναι ένας καλός παλιός γραμμικός ταξινομητής, αλλά αν του τροφοδοτήσετε τα σωστά χαρακτηριστικά και λάβετε καλά σχόλια από τους χρήστες, θα λειτουργήσει πολύ καλύτερα από τα μοντέλα τελευταίας τεχνολογίας με όλες τις καμπάνες και σφυρίχτρες.

Βρόχος ανατροφοδότησης

Αυτός ο κύκλος συνδυάζει τη συλλογή δεδομένων, την πρόσθετη εκπαίδευση και την ανάπτυξη - στην πραγματικότητα, ολόκληρο τον κύκλο ενημέρωσης του μοντέλου. Γιατί είναι σημαντικό? Δείτε το πρόγραμμα εγγραφών στο mail:

Ένας προγραμματιστής μηχανικής μάθησης έχει εφαρμόσει ένα μοντέλο anti-bot που εμποδίζει τα bots να εγγραφούν στο email. Το γράφημα πέφτει σε μια τιμή όπου παραμένουν μόνο πραγματικοί χρήστες. Ολα είναι υπέροχα! Αλλά περνούν τέσσερις ώρες, τα ρομπότ τροποποιούν τα σενάρια τους και όλα επιστρέφουν στο φυσιολογικό. Σε αυτήν την υλοποίηση, ο προγραμματιστής ξόδεψε ένα μήνα προσθέτοντας δυνατότητες και εκπαιδεύοντας ξανά το μοντέλο, αλλά ο spammer κατάφερε να προσαρμοστεί σε τέσσερις ώρες.

Για να μην είμαστε τόσο βασανιστικά επώδυνοι και να μην χρειαστεί να τα ξανακάνουμε όλα αργότερα, πρέπει αρχικά να σκεφτούμε πώς θα μοιάζει ο βρόχος ανάδρασης και τι θα κάνουμε αν αλλάξει το περιβάλλον. Ας ξεκινήσουμε με τη συλλογή δεδομένων - αυτό είναι το καύσιμο για τους αλγόριθμούς μας.

Συλλογή δεδομένων

Είναι σαφές ότι για τα σύγχρονα νευρωνικά δίκτυα, όσο περισσότερα δεδομένα, τόσο το καλύτερο και, στην πραγματικότητα, παράγονται από τους χρήστες του προϊόντος. Οι χρήστες μπορούν να μας βοηθήσουν επισημαίνοντας δεδομένα, αλλά δεν μπορούμε να κάνουμε κατάχρηση, γιατί κάποια στιγμή οι χρήστες θα κουραστούν να συμπληρώνουν τα μοντέλα σας και θα στραφούν σε άλλο προϊόν.

Ένα από τα πιο συνηθισμένα λάθη (εδώ κάνω αναφορά στον Andrew Ng) είναι η υπερβολική εστίαση στις μετρήσεις στο σύνολο δεδομένων δοκιμής και όχι στην ανατροφοδότηση από τον χρήστη, που είναι στην πραγματικότητα το κύριο μέτρο της ποιότητας της εργασίας, αφού δημιουργούμε ένα προϊόν για τον χρήστη. Εάν ο χρήστης δεν καταλαβαίνει ή δεν του αρέσει η δουλειά του μοντέλου, τότε όλα καταστρέφονται.

Επομένως, ο χρήστης θα πρέπει πάντα να μπορεί να ψηφίζει και να του δίνεται ένα εργαλείο για ανατροφοδότηση. Εάν πιστεύουμε ότι έχει φτάσει στο γραμματοκιβώτιο ένα γράμμα που σχετίζεται με τα οικονομικά, πρέπει να το επισημάνουμε ως "οικονομικό" και να σχεδιάσουμε ένα κουμπί στο οποίο ο χρήστης μπορεί να κάνει κλικ και να πει ότι αυτό δεν είναι χρηματοδότηση.

Ποιότητα ανατροφοδότησης

Ας μιλήσουμε για την ποιότητα των σχολίων των χρηστών. Πρώτον, εσείς και ο χρήστης μπορείτε να βάλετε διαφορετικές έννοιες σε μία έννοια. Για παράδειγμα, εσείς και οι διαχειριστές προϊόντων σας πιστεύετε ότι «χρηματοδότηση» σημαίνει γράμματα από την τράπεζα και ο χρήστης πιστεύει ότι ένα γράμμα από τη γιαγιά σχετικά με τη σύνταξή της αναφέρεται επίσης στα οικονομικά. Δεύτερον, υπάρχουν χρήστες που ασυνείδητα λατρεύουν να πατούν κουμπιά χωρίς καμία λογική. Τρίτον, ο χρήστης μπορεί να κάνει βαθιά λάθος στα συμπεράσματά του. Ένα εντυπωσιακό παράδειγμα από την πρακτική μας είναι η εφαρμογή ενός ταξινομητή Νιγηριανά ανεπιθύμητα μηνύματα, ένα πολύ αστείο είδος spam όπου ο χρήστης καλείται να πάρει αρκετά εκατομμύρια δολάρια από έναν ξαφνικά μακρινό συγγενή που βρέθηκε στην Αφρική. Μετά την εφαρμογή αυτού του ταξινομητή, ελέγξαμε τα κλικ "Μη ανεπιθύμητα" σε αυτά τα μηνύματα ηλεκτρονικού ταχυδρομείου και αποδείχθηκε ότι το 80% από αυτά ήταν ζουμερά ανεπιθύμητα μηνύματα της Νιγηρίας, γεγονός που υποδηλώνει ότι οι χρήστες μπορεί να είναι εξαιρετικά αφελείς.

Και ας μην ξεχνάμε ότι τα κουμπιά μπορούν να πατηθούν όχι μόνο από άτομα, αλλά και από όλα τα είδη ρομπότ που προσποιούνται ότι είναι πρόγραμμα περιήγησης. Επομένως, η ωμή ανατροφοδότηση δεν είναι καλή για μάθηση. Τι μπορείτε να κάνετε με αυτές τις πληροφορίες;

Χρησιμοποιούμε δύο προσεγγίσεις:

• Σχόλια από συνδεδεμένη ML. Για παράδειγμα, έχουμε ένα διαδικτυακό σύστημα anti-bot, το οποίο, όπως ανέφερα, παίρνει μια γρήγορη απόφαση με βάση έναν περιορισμένο αριθμό πινακίδων. Και υπάρχει ένα δεύτερο, αργό σύστημα που λειτουργεί εκ των υστέρων. Έχει περισσότερα δεδομένα για τον χρήστη, τη συμπεριφορά του κ.λπ. Ως αποτέλεσμα, λαμβάνεται η πιο ενημερωμένη απόφαση· κατά συνέπεια, έχει μεγαλύτερη ακρίβεια και πληρότητα. Μπορείτε να κατευθύνετε τη διαφορά στη λειτουργία αυτών των συστημάτων στο πρώτο ως δεδομένα εκπαίδευσης. Έτσι, ένα απλούστερο σύστημα θα προσπαθεί πάντα να προσεγγίσει την απόδοση ενός πιο σύνθετου.
• Κάντε κλικ στην ταξινόμηση. Μπορείτε απλά να ταξινομήσετε κάθε κλικ χρήστη, να αξιολογήσετε την εγκυρότητα και τη χρηστικότητά του. Αυτό το κάνουμε στο antispam mail, χρησιμοποιώντας χαρακτηριστικά χρήστη, το ιστορικό του, τα χαρακτηριστικά αποστολέα, το ίδιο το κείμενο και το αποτέλεσμα των ταξινομητών. Ως αποτέλεσμα, έχουμε ένα αυτόματο σύστημα που επικυρώνει τα σχόλια των χρηστών. Και δεδομένου ότι χρειάζεται να επανεκπαιδεύεται πολύ λιγότερο συχνά, το έργο του μπορεί να γίνει η βάση για όλα τα άλλα συστήματα. Η κύρια προτεραιότητα σε αυτό το μοντέλο είναι η ακρίβεια, επειδή η εκπαίδευση του μοντέλου σε ανακριβή δεδομένα είναι γεμάτη συνέπειες.

Ενώ καθαρίζουμε τα δεδομένα και εκπαιδεύουμε περαιτέρω τα συστήματα ML μας, δεν πρέπει να ξεχνάμε τους χρήστες, γιατί για εμάς, χιλιάδες, εκατομμύρια σφάλματα στο γράφημα είναι στατιστικά στοιχεία και για τον χρήστη, κάθε σφάλμα είναι μια τραγωδία. Εκτός από το γεγονός ότι ο χρήστης πρέπει με κάποιο τρόπο να ζήσει με το σφάλμα σας στο προϊόν, αφού λάβει σχόλια, αναμένει ότι μια παρόμοια κατάσταση θα εξαλειφθεί στο μέλλον. Επομένως, αξίζει πάντα να δίνετε στους χρήστες όχι μόνο την ευκαιρία να ψηφίσουν, αλλά και να διορθώσουν τη συμπεριφορά των συστημάτων ML, δημιουργώντας, για παράδειγμα, προσωπικά ευρετικά για κάθε κλικ ανατροφοδότησης· στην περίπτωση αλληλογραφίας, αυτή θα μπορούσε να είναι η δυνατότητα φιλτραρίσματος τέτοιες επιστολές ανά αποστολέα και τίτλο για αυτόν τον χρήστη.

Πρέπει επίσης να δημιουργήσετε ένα μοντέλο με βάση ορισμένες αναφορές ή αιτήματα για υποστήριξη σε ημιαυτόματη ή μη αυτόματη λειτουργία, έτσι ώστε άλλοι χρήστες να μην αντιμετωπίζουν παρόμοια προβλήματα.

Ευρετικές για μάθηση

Υπάρχουν δύο προβλήματα με αυτά τα ευρετικά και τα δεκανίκια. Το πρώτο είναι ότι ο συνεχώς αυξανόμενος αριθμός των πατερίτσες είναι δύσκολο να διατηρηθεί, πόσο μάλλον η ποιότητα και η απόδοσή τους σε μεγάλες αποστάσεις. Το δεύτερο πρόβλημα είναι ότι το σφάλμα μπορεί να μην είναι συχνό και μερικά κλικ για περαιτέρω εκπαίδευση του μοντέλου δεν θα είναι αρκετά. Φαίνεται ότι αυτές οι δύο άσχετες επιπτώσεις μπορούν να εξουδετερωθούν σημαντικά εάν εφαρμοστεί η ακόλουθη προσέγγιση.

1. Δημιουργούμε ένα προσωρινό δεκανίκι.
2. Στέλνουμε δεδομένα από αυτό στο μοντέλο, ενημερώνεται τακτικά, συμπεριλαμβανομένων των δεδομένων που λαμβάνονται. Εδώ, βέβαια, είναι σημαντικό τα ευρετικά να έχουν υψηλή ακρίβεια ώστε να μην μειώνεται η ποιότητα των δεδομένων στο σετ εκπαίδευσης.
3. Στη συνέχεια, ρυθμίζουμε την παρακολούθηση να ενεργοποιεί το δεκανίκι και αν μετά από κάποιο χρονικό διάστημα το δεκανίκι δεν λειτουργεί πλέον και καλύπτεται πλήρως από το μοντέλο, τότε μπορείτε να το αφαιρέσετε με ασφάλεια. Τώρα αυτό το πρόβλημα είναι απίθανο να ξανασυμβεί.

Οπότε ένας στρατός από δεκανίκια είναι πολύ χρήσιμος. Το κυριότερο είναι ότι η εξυπηρέτησή τους είναι επείγουσα και όχι μόνιμη.

Πρόσθετη εκπαίδευση

Η επανεκπαίδευση είναι η διαδικασία προσθήκης νέων δεδομένων που λαμβάνονται ως αποτέλεσμα ανατροφοδότησης από χρήστες ή άλλα συστήματα και εκπαίδευσης ενός υπάρχοντος μοντέλου σε αυτό. Μπορεί να υπάρχουν πολλά προβλήματα με την πρόσθετη εκπαίδευση:

1. Το μοντέλο μπορεί απλώς να μην υποστηρίζει πρόσθετη εκπαίδευση, αλλά να μαθαίνει μόνο από την αρχή.
2. Πουθενά στο βιβλίο της φύσης δεν γράφεται ότι η πρόσθετη εκπαίδευση σίγουρα θα βελτιώσει την ποιότητα της εργασίας στην παραγωγή. Συχνά συμβαίνει το αντίθετο, δηλαδή μόνο επιδείνωση είναι δυνατή.
3. Οι αλλαγές μπορεί να είναι απρόβλεπτες. Αυτό είναι ένα αρκετά λεπτό σημείο που έχουμε εντοπίσει για εμάς. Ακόμα κι αν ένα νέο μοντέλο σε μια δοκιμή A/B εμφανίσει παρόμοια αποτελέσματα σε σύγκριση με το τρέχον, αυτό δεν σημαίνει ότι θα λειτουργήσει πανομοιότυπα. Η εργασία τους μπορεί να διαφέρει μόνο σε ένα τοις εκατό, γεγονός που μπορεί να φέρει νέα σφάλματα ή να επιστρέψει παλιά που έχουν ήδη διορθωθεί. Τόσο εμείς όσο και οι χρήστες γνωρίζουμε ήδη πώς να ζούμε με τα τρέχοντα σφάλματα και όταν προκύψει μεγάλος αριθμός νέων σφαλμάτων, ο χρήστης μπορεί επίσης να μην καταλαβαίνει τι συμβαίνει, επειδή αναμένει προβλέψιμη συμπεριφορά.

Επομένως, το πιο σημαντικό πράγμα στην πρόσθετη εκπαίδευση είναι να διασφαλιστεί ότι το μοντέλο βελτιώνεται ή τουλάχιστον δεν επιδεινώνεται.

Το πρώτο πράγμα που μας έρχεται στο μυαλό όταν μιλάμε για πρόσθετη εκπαίδευση είναι η προσέγγιση της Ενεργής Μάθησης. Τι σημαίνει αυτό? Για παράδειγμα, ο ταξινομητής καθορίζει εάν ένα email σχετίζεται με τα οικονομικά και γύρω από το όριο απόφασης προσθέτουμε ένα δείγμα παραδειγμάτων με ετικέτα. Αυτό λειτουργεί καλά, για παράδειγμα, στη διαφήμιση, όπου υπάρχουν πολλά σχόλια και μπορείτε να εκπαιδεύσετε το μοντέλο στο διαδίκτυο. Και αν υπάρχει μικρή ανατροφοδότηση, τότε λαμβάνουμε ένα εξαιρετικά προκατειλημμένο δείγμα σε σχέση με τη διανομή δεδομένων παραγωγής, βάσει του οποίου είναι αδύνατο να αξιολογηθεί η συμπεριφορά του μοντέλου κατά τη λειτουργία.

Στην πραγματικότητα, στόχος μας είναι να διατηρήσουμε παλιά μοτίβα, ήδη γνωστά μοντέλα και να αποκτήσουμε νέα. Η συνέχεια είναι σημαντική εδώ. Το μοντέλο, το οποίο συχνά κάναμε μεγάλο κόπο για να κυκλοφορήσουμε, λειτουργεί ήδη, οπότε μπορούμε να επικεντρωθούμε στην απόδοσή του.

Διαφορετικά μοντέλα χρησιμοποιούνται στην αλληλογραφία: δέντρα, γραμμικά, νευρωνικά δίκτυα. Για το καθένα φτιάχνουμε τον δικό μας πρόσθετο αλγόριθμο εκπαίδευσης. Στη διαδικασία της πρόσθετης εκπαίδευσης, λαμβάνουμε όχι μόνο νέα δεδομένα, αλλά και συχνά νέα χαρακτηριστικά, τα οποία θα λάβουμε υπόψη σε όλους τους παρακάτω αλγόριθμους.

Γραμμικά μοντέλα

Ας πούμε ότι έχουμε λογιστική παλινδρόμηση. Δημιουργούμε ένα μοντέλο απώλειας από τα ακόλουθα στοιχεία:

• LogLoss σε νέα δεδομένα.
• τακτοποιούμε τα βάρη των νέων χαρακτηριστικών (δεν αγγίζουμε τα παλιά).
• Μαθαίνουμε επίσης από παλιά δεδομένα για να διατηρήσουμε παλιά πρότυπα.
• και, ίσως, το πιο σημαντικό πράγμα: προσθέτουμε το Harmonic Regularization, το οποίο εγγυάται ότι τα βάρη δεν θα αλλάξουν πολύ σε σχέση με το παλιό μοντέλο σύμφωνα με τον κανόνα.

Δεδομένου ότι κάθε στοιχείο Loss έχει συντελεστές, μπορούμε να επιλέξουμε τις βέλτιστες τιμές για την εργασία μας μέσω διασταυρούμενης επικύρωσης ή βάσει των απαιτήσεων του προϊόντος.

Деревья

Ας προχωρήσουμε στα δέντρα αποφάσεων. Έχουμε συντάξει τον ακόλουθο αλγόριθμο για επιπλέον εκπαίδευση δέντρων:

1. Η παραγωγή διαθέτει ένα δάσος 100-300 δέντρων, το οποίο εκπαιδεύεται σε ένα παλιό σύνολο δεδομένων.
2. Στο τέλος αφαιρούμε M = 5 κομμάτια και προσθέτουμε 2M = 10 νέα, εκπαιδευμένα σε όλο το σύνολο δεδομένων, αλλά με μεγάλο βάρος για τα νέα δεδομένα, που φυσικά εγγυάται μια σταδιακή αλλαγή στο μοντέλο.

Προφανώς, με την πάροδο του χρόνου, ο αριθμός των δέντρων αυξάνεται πολύ και πρέπει να μειώνονται περιοδικά για να ανταποκρίνονται στους χρονισμούς. Για να το κάνουμε αυτό, χρησιμοποιούμε την πανταχού παρούσα απόσταξη γνώσης (KD). Συνοπτικά για την αρχή της λειτουργίας του.

1. Έχουμε το σημερινό «σύνθετο» μοντέλο. Το τρέχουμε στο σύνολο δεδομένων εκπαίδευσης και παίρνουμε την κατανομή πιθανότητας κλάσης στην έξοδο.
2. Στη συνέχεια, εκπαιδεύουμε το μοντέλο μαθητή (το μοντέλο με λιγότερα δέντρα σε αυτήν την περίπτωση) να επαναλαμβάνει τα αποτελέσματα του μοντέλου χρησιμοποιώντας την κατανομή κλάσης ως μεταβλητή στόχο.
3. Είναι σημαντικό να σημειωθεί εδώ ότι δεν χρησιμοποιούμε τη σήμανση συνόλου δεδομένων με κανέναν τρόπο και επομένως μπορούμε να χρησιμοποιήσουμε αυθαίρετα δεδομένα. Φυσικά, χρησιμοποιούμε ένα δείγμα δεδομένων από το ρεύμα μάχης ως δείγμα εκπαίδευσης για το μοντέλο μαθητή. Έτσι, το σετ εκπαίδευσης μας επιτρέπει να διασφαλίσουμε την ακρίβεια του μοντέλου και το δείγμα ροής εγγυάται παρόμοια απόδοση στη διανομή παραγωγής, αντισταθμίζοντας την προκατάληψη του συνόλου εκπαίδευσης.

Ο συνδυασμός αυτών των δύο τεχνικών (προσθήκη δέντρων και περιοδική μείωση του αριθμού τους χρησιμοποιώντας την απόσταξη γνώσης) εξασφαλίζει την εισαγωγή νέων προτύπων και την πλήρη συνέχεια.

Με τη βοήθεια του KD, εκτελούμε επίσης διαφορετικές λειτουργίες σε χαρακτηριστικά μοντέλου, όπως αφαίρεση χαρακτηριστικών και επεξεργασία κενών. Στην περίπτωσή μας, έχουμε μια σειρά από σημαντικά στατιστικά χαρακτηριστικά (από αποστολείς, κατακερματισμούς κειμένου, διευθύνσεις URL κ.λπ.) που αποθηκεύονται στη βάση δεδομένων, τα οποία τείνουν να αποτυγχάνουν. Το μοντέλο, φυσικά, δεν είναι έτοιμο για μια τέτοια εξέλιξη γεγονότων, αφού καταστάσεις αποτυχίας δεν συμβαίνουν στο σετ εκπαίδευσης. Σε τέτοιες περιπτώσεις, συνδυάζουμε τεχνικές KD και αύξησης: όταν εκπαιδεύουμε μέρος των δεδομένων, αφαιρούμε ή επαναφέρουμε τις απαραίτητες λειτουργίες και παίρνουμε τις αρχικές ετικέτες (εξόδους του τρέχοντος μοντέλου) και το μοντέλο μαθητή μαθαίνει να επαναλαμβάνει αυτήν την κατανομή .

Παρατηρήσαμε ότι όσο πιο σοβαρός χειρισμός του μοντέλου συμβαίνει, τόσο μεγαλύτερο είναι το ποσοστό του δείγματος νήματος που απαιτείται.

Η αφαίρεση χαρακτηριστικών, η απλούστερη λειτουργία, απαιτεί μόνο ένα μικρό μέρος της ροής, αφού μόνο μερικά χαρακτηριστικά αλλάζουν και το τρέχον μοντέλο εκπαιδεύτηκε στο ίδιο σύνολο - η διαφορά είναι ελάχιστη. Για να απλοποιηθεί το μοντέλο (μειώνοντας τον αριθμό των δέντρων πολλές φορές), απαιτούνται ήδη 50 έως 50. Και για παραλείψεις σημαντικών στατιστικών χαρακτηριστικών που θα επηρεάσουν σοβαρά την απόδοση του μοντέλου, απαιτείται ακόμη μεγαλύτερη ροή για την εξομάλυνση του έργου του νέο μοντέλο ανθεκτικό σε παραλείψεις σε όλους τους τύπους γραμμάτων.

FastText

Ας περάσουμε στο FastText. Να σας υπενθυμίσω ότι η αναπαράσταση (Ενσωμάτωση) μιας λέξης αποτελείται από το άθροισμα της ενσωμάτωσης της ίδιας της λέξης και όλων των γραμμάτων του γράμματος Ν, συνήθως τριγράμμων. Δεδομένου ότι μπορεί να υπάρχουν πολλά τριγράμματα, χρησιμοποιείται το Bucket Hashing, δηλαδή η μετατροπή ολόκληρου του χώρου σε ένα συγκεκριμένο σταθερό hashmap. Ως αποτέλεσμα, ο πίνακας βάρους λαμβάνεται με τη διάσταση του εσωτερικού στρώματος ανά αριθμό λέξεων + κάδους.

Με πρόσθετη εκπαίδευση, εμφανίζονται νέα σημάδια: λέξεις και τρίγραμμα. Τίποτα σημαντικό δεν συμβαίνει στην τυπική εκπαίδευση παρακολούθησης από το Facebook. Μόνο τα παλιά βάρη με διασταυρούμενη εντροπία επανεκπαιδεύονται σε νέα δεδομένα. Έτσι, δεν χρησιμοποιούνται νέα χαρακτηριστικά· φυσικά, αυτή η προσέγγιση έχει όλα τα προαναφερθέντα μειονεκτήματα που σχετίζονται με την απρόβλεπτη ικανότητα του μοντέλου στην παραγωγή. Γι' αυτό τροποποιήσαμε λίγο το FastText. Προσθέτουμε όλα τα νέα βάρη (λέξεις και τρίγραμμα), επεκτείνουμε ολόκληρο τον πίνακα με διασταυρούμενη εντροπία και προσθέτουμε αρμονική τακτοποίηση κατ' αναλογία με το γραμμικό μοντέλο, το οποίο εγγυάται μια ασήμαντη αλλαγή στα παλιά βάρη.

CNN

Τα συνελικτικά δίκτυα είναι λίγο πιο περίπλοκα. Εάν τα τελευταία επίπεδα ολοκληρωθούν στο CNN, τότε, φυσικά, μπορείτε να εφαρμόσετε αρμονική τακτοποίηση και να εγγυηθείτε τη συνέχεια. Αλλά εάν απαιτείται πρόσθετη εκπαίδευση ολόκληρου του δικτύου, τότε αυτή η τακτοποίηση δεν μπορεί πλέον να εφαρμοστεί σε όλα τα επίπεδα. Ωστόσο, υπάρχει μια επιλογή εκπαίδευσης συμπληρωματικών ενσωματώσεων μέσω Triplet Loss (πρωτότυπο άρθρο).

Τριπλή Απώλεια

Χρησιμοποιώντας μια εργασία anti-phishing ως παράδειγμα, ας δούμε την απώλεια τριπλών σε γενικές γραμμές. Παίρνουμε το λογότυπό μας, καθώς και θετικά και αρνητικά παραδείγματα λογότυπων άλλων εταιρειών. Ελαχιστοποιούμε την απόσταση μεταξύ του πρώτου και μεγιστοποιούμε την απόσταση μεταξύ του δεύτερου, το κάνουμε με ένα μικρό κενό για να εξασφαλίσουμε μεγαλύτερη συμπαγή στις κατηγορίες.

Εάν εκπαιδεύσουμε περαιτέρω το δίκτυο, τότε ο μετρικός μας χώρος αλλάζει εντελώς και γίνεται εντελώς ασύμβατος με τον προηγούμενο. Αυτό είναι ένα σοβαρό πρόβλημα σε προβλήματα που χρησιμοποιούν διανύσματα. Για να ξεπεράσουμε αυτό το πρόβλημα, θα αναμίξουμε παλιές ενσωματώσεις κατά τη διάρκεια της προπόνησης.

Προσθέσαμε νέα δεδομένα στο σετ εκπαίδευσης και εκπαιδεύουμε τη δεύτερη έκδοση του μοντέλου από την αρχή. Στο δεύτερο στάδιο, εκπαιδεύουμε περαιτέρω το δίκτυό μας (Finetuning): πρώτα ολοκληρώνεται το τελευταίο επίπεδο και στη συνέχεια ξεπαγώνει ολόκληρο το δίκτυο. Στη διαδικασία σύνθεσης τριδύμων, υπολογίζουμε μόνο ένα μέρος των ενσωματώσεων χρησιμοποιώντας το εκπαιδευμένο μοντέλο, το υπόλοιπο - χρησιμοποιώντας το παλιό. Έτσι, στη διαδικασία της πρόσθετης εκπαίδευσης, διασφαλίζουμε τη συμβατότητα των μετρικών χώρων v1 και v2. Μια μοναδική εκδοχή αρμονικής τακτοποίησης.

Ολόκληρη η αρχιτεκτονική

Αν θεωρήσουμε ολόκληρο το σύστημα χρησιμοποιώντας ως παράδειγμα antispam, τότε τα μοντέλα δεν είναι απομονωμένα, αλλά φωλιασμένα το ένα μέσα στο άλλο. Τραβάμε φωτογραφίες, κείμενο και άλλες λειτουργίες, χρησιμοποιώντας το CNN και το Fast Text λαμβάνουμε ενσωματώσεις. Στη συνέχεια, εφαρμόζονται ταξινομητές πάνω από τις ενσωματώσεις, οι οποίοι παρέχουν βαθμολογίες για διάφορες κατηγορίες (τύποι γραμμάτων, ανεπιθύμητη αλληλογραφία, παρουσία λογότυπου). Ήδη τα σήματα και οι πινακίδες μπαίνουν στο δάσος των δέντρων για να παρθεί η τελική απόφαση. Οι μεμονωμένοι ταξινομητές σε αυτό το σχήμα καθιστούν δυνατή την καλύτερη ερμηνεία των αποτελεσμάτων του συστήματος και πιο συγκεκριμένα την επανεκπαίδευση στοιχείων σε περίπτωση προβλημάτων, αντί να τροφοδοτούν όλα τα δεδομένα σε δέντρα απόφασης σε ακατέργαστη μορφή.

Ως αποτέλεσμα, εγγυόμαστε τη συνέχεια σε κάθε επίπεδο. Στο κάτω επίπεδο στο CNN και στο Fast Text χρησιμοποιούμε αρμονική τακτοποίηση, για τους ταξινομητές στη μέση χρησιμοποιούμε επίσης αρμονική τακτοποίηση και βαθμονόμηση ρυθμού για συνέπεια της κατανομής πιθανοτήτων. Λοιπόν, η ενίσχυση των δέντρων εκπαιδεύεται σταδιακά ή χρησιμοποιώντας την Απόσταξη Γνώσης.

Γενικά, η διατήρηση ενός τέτοιου ενσωματωμένου συστήματος μηχανικής εκμάθησης είναι συνήθως ένας πόνος, καθώς οποιοδήποτε στοιχείο στο χαμηλότερο επίπεδο οδηγεί σε ενημέρωση ολόκληρου του συστήματος παραπάνω. Επειδή όμως στη ρύθμιση μας κάθε στοιχείο αλλάζει ελαφρώς και είναι συμβατό με το προηγούμενο, ολόκληρο το σύστημα μπορεί να ενημερώνεται κομμάτι προς κομμάτι χωρίς να χρειάζεται να επανεκπαιδεύσουμε ολόκληρη τη δομή, κάτι που του επιτρέπει να υποστηρίζεται χωρίς σοβαρά έξοδα.

Αναπτύσσω

Έχουμε συζητήσει τη συλλογή δεδομένων και την πρόσθετη εκπαίδευση διαφορετικών τύπων μοντέλων, επομένως προχωράμε στην ανάπτυξή τους στο περιβάλλον παραγωγής.

Δοκιμή A/B

Όπως είπα νωρίτερα, στη διαδικασία συλλογής δεδομένων, συνήθως λαμβάνουμε ένα μεροληπτικό δείγμα, από το οποίο είναι αδύνατο να αξιολογήσουμε την απόδοση παραγωγής του μοντέλου. Επομένως, κατά την ανάπτυξη, το μοντέλο πρέπει να συγκριθεί με την προηγούμενη έκδοση για να κατανοήσουμε πώς πάνε πραγματικά τα πράγματα, δηλαδή να διεξάγουμε δοκιμές A/B. Στην πραγματικότητα, η διαδικασία ανάπτυξης και ανάλυσης γραφημάτων είναι αρκετά ρουτίνα και μπορεί εύκολα να αυτοματοποιηθεί. Διαθέτουμε τα μοντέλα μας σταδιακά στο 5%, 30%, 50% και 100% των χρηστών, ενώ συλλέγουμε όλες τις διαθέσιμες μετρήσεις σχετικά με τις απαντήσεις μοντέλων και τα σχόλια των χρηστών. Στην περίπτωση ορισμένων σοβαρών ακραίων τιμών, επαναφέρουμε αυτόματα το μοντέλο και για άλλες περιπτώσεις, έχοντας συγκεντρώσει επαρκή αριθμό κλικ χρηστών, αποφασίζουμε να αυξήσουμε το ποσοστό. Ως αποτέλεσμα, φέρνουμε το νέο μοντέλο στο 50% των χρηστών εντελώς αυτόματα και η διάθεση σε ολόκληρο το κοινό θα εγκριθεί από ένα άτομο, αν και αυτό το βήμα μπορεί να αυτοματοποιηθεί.

Ωστόσο, η διαδικασία δοκιμής A/B προσφέρει περιθώρια βελτιστοποίησης. Γεγονός είναι ότι οποιοδήποτε τεστ A/B είναι αρκετά μεγάλο (στην περίπτωσή μας διαρκεί από 6 έως 24 ώρες ανάλογα με το μέγεθος της ανατροφοδότησης), γεγονός που το καθιστά αρκετά ακριβό και με περιορισμένους πόρους. Επιπλέον, απαιτείται ένα αρκετά υψηλό ποσοστό ροής για τη δοκιμή για να επιταχυνθεί ουσιαστικά ο συνολικός χρόνος της δοκιμής A/B (η στρατολόγηση ενός στατιστικά σημαντικού δείγματος για την αξιολόγηση των μετρήσεων σε μικρό ποσοστό μπορεί να διαρκέσει πολύ χρόνο), γεγονός που καθιστά ο αριθμός των υποδοχών A/B εξαιρετικά περιορισμένος. Προφανώς, πρέπει να δοκιμάσουμε μόνο τα πιο πολλά υποσχόμενα μοντέλα, από τα οποία λαμβάνουμε αρκετά κατά τη διαδικασία πρόσθετης εκπαίδευσης.

Για να λύσουμε αυτό το πρόβλημα, εκπαιδεύσαμε έναν ξεχωριστό ταξινομητή που προβλέπει την επιτυχία ενός τεστ A/B. Για να γίνει αυτό, λαμβάνουμε στατιστικά στοιχεία λήψης αποφάσεων, Ακρίβεια, Ανάκληση και άλλες μετρήσεις στο σετ εκπαίδευσης, στο αναβαλλόμενο και στο δείγμα από τη ροή ως χαρακτηριστικά. Συγκρίνουμε επίσης το μοντέλο με το τρέχον στην παραγωγή, με ευρετικές μεθόδους και λαμβάνουμε υπόψη την πολυπλοκότητα του μοντέλου. Χρησιμοποιώντας όλα αυτά τα χαρακτηριστικά, ένας ταξινομητής που έχει εκπαιδευτεί στο ιστορικό δοκιμών αξιολογεί υποψήφια μοντέλα, στην περίπτωσή μας αυτά είναι δάση από δέντρα, και αποφασίζει ποιο θα χρησιμοποιήσει στη δοκιμή A/B.

Κατά τη στιγμή της εφαρμογής, αυτή η προσέγγιση μας επέτρεψε να αυξήσουμε τον αριθμό των επιτυχημένων δοκιμών A/B αρκετές φορές.

Δοκιμές & Παρακολούθηση

Οι δοκιμές και η παρακολούθηση, παραδόξως, δεν βλάπτουν την υγεία μας, αντίθετα, τη βελτιώνουν και μας απαλλάσσουν από το περιττό άγχος. Η δοκιμή σάς επιτρέπει να αποτρέψετε μια αποτυχία και η παρακολούθηση σάς επιτρέπει να την εντοπίσετε έγκαιρα για να μειώσετε τον αντίκτυπο στους χρήστες.

Είναι σημαντικό να καταλάβετε εδώ ότι αργά ή γρήγορα το σύστημά σας θα κάνει πάντα λάθη - αυτό οφείλεται στον κύκλο ανάπτυξης οποιουδήποτε λογισμικού. Στην αρχή της ανάπτυξης του συστήματος υπάρχουν πάντα πολλά σφάλματα μέχρι να τακτοποιηθούν όλα και να ολοκληρωθεί το κύριο στάδιο της καινοτομίας. Αλλά με την πάροδο του χρόνου, η εντροπία κάνει το φόρο της και τα σφάλματα εμφανίζονται ξανά - λόγω της υποβάθμισης των στοιχείων γύρω και των αλλαγών στα δεδομένα, για τα οποία μίλησα στην αρχή.

Εδώ θα ήθελα να σημειώσω ότι οποιοδήποτε σύστημα μηχανικής εκμάθησης θα πρέπει να λαμβάνεται υπόψη από την άποψη του κέρδους του σε όλο τον κύκλο ζωής του. Το παρακάτω γράφημα δείχνει ένα παράδειγμα του τρόπου με τον οποίο λειτουργεί το σύστημα για να συλλάβει έναν σπάνιο τύπο ανεπιθύμητης αλληλογραφίας (η γραμμή στο γράφημα είναι σχεδόν μηδέν). Μια μέρα, λόγω ενός εσφαλμένα αποθηκευμένου χαρακτηριστικού, τρελάθηκε. Ως τύχη, δεν υπήρχε παρακολούθηση για μη φυσιολογική ενεργοποίηση· ως αποτέλεσμα, το σύστημα άρχισε να αποθηκεύει γράμματα σε μεγάλες ποσότητες στο φάκελο "spam" στο όριο λήψης αποφάσεων. Παρά τη διόρθωση των συνεπειών, το σύστημα έχει ήδη κάνει τόσες πολλές φορές λάθη που δεν θα το πληρώσει ούτε σε πέντε χρόνια. Και αυτό είναι μια πλήρης αποτυχία από την άποψη του κύκλου ζωής του μοντέλου.

Επομένως, ένα τόσο απλό πράγμα όπως η παρακολούθηση μπορεί να γίνει κλειδί στη ζωή ενός μοντέλου. Εκτός από τις τυπικές και προφανείς μετρήσεις, λαμβάνουμε υπόψη την κατανομή των απαντήσεων και των βαθμολογιών του μοντέλου, καθώς και την κατανομή των τιμών των βασικών χαρακτηριστικών. Χρησιμοποιώντας την απόκλιση KL, μπορούμε να συγκρίνουμε την τρέχουσα κατανομή με την ιστορική ή τις τιμές στη δοκιμή A/B με την υπόλοιπη ροή, κάτι που μας επιτρέπει να παρατηρήσουμε ανωμαλίες στο μοντέλο και να επαναφέρουμε τις αλλαγές έγκαιρα.

Στις περισσότερες περιπτώσεις, λανσάρουμε τις πρώτες μας εκδόσεις συστημάτων χρησιμοποιώντας απλά ευρετικά ή μοντέλα που θα χρησιμοποιήσουμε ως παρακολούθηση στο μέλλον. Για παράδειγμα, παρακολουθούμε το μοντέλο NER σε σύγκριση με τα κανονικά για συγκεκριμένα ηλεκτρονικά καταστήματα και αν η κάλυψη του ταξινομητή πέσει σε σύγκριση με αυτά, τότε κατανοούμε τους λόγους. Μια άλλη χρήσιμη χρήση της ευρετικής!

Αποτελέσματα της

Ας δούμε ξανά τις βασικές ιδέες του άρθρου.

• Fibdeck. Πάντα σκεφτόμαστε τον χρήστη: πώς θα ζήσει με τα λάθη μας, πώς θα μπορεί να τα αναφέρει. Μην ξεχνάτε ότι οι χρήστες δεν αποτελούν πηγή καθαρής ανατροφοδότησης για μοντέλα εκπαίδευσης και πρέπει να διαγραφούν με τη βοήθεια βοηθητικών συστημάτων ML. Εάν δεν είναι δυνατή η συλλογή σήματος από τον χρήστη, τότε αναζητούμε εναλλακτικές πηγές ανάδρασης, για παράδειγμα, συνδεδεμένα συστήματα.
• Πρόσθετη εκπαίδευση. Το κύριο πράγμα εδώ είναι η συνέχεια, επομένως βασιζόμαστε στο τρέχον μοντέλο παραγωγής. Εκπαιδεύουμε νέα μοντέλα ώστε να μην διαφέρουν πολύ από το προηγούμενο λόγω αρμονικής τακτοποίησης και παρόμοιων τεχνασμάτων.
• Αναπτύσσω. Η αυτόματη ανάπτυξη βάσει μετρήσεων μειώνει σημαντικά τον χρόνο για την υλοποίηση μοντέλων. Παρακολούθηση στατιστικών και κατανομής της λήψης αποφάσεων, ο αριθμός των πτώσεων από τους χρήστες είναι υποχρεωτικός για τον ξεκούραστο ύπνο και το παραγωγικό σας Σαββατοκύριακο.

Λοιπόν, ελπίζω ότι αυτό θα σας βοηθήσει να βελτιώσετε τα συστήματα ML σας πιο γρήγορα, να τα προωθήσετε πιο γρήγορα στην αγορά και να τα κάνετε πιο αξιόπιστα και λιγότερο αγχώδη.

Πηγή: www.habr.com