Το 2018, η έννοια των MLOps εμφανίστηκε σε επαγγελματικούς κύκλους και σε θεματικά συνέδρια αφιερωμένα στην τεχνητή νοημοσύνη, η οποία γρήγορα εδραιώθηκε στον κλάδο και τώρα αναπτύσσεται ως ανεξάρτητη κατεύθυνση. Στο μέλλον, τα MLOps μπορεί να γίνουν ένας από τους πιο δημοφιλείς τομείς στον τομέα της πληροφορικής. Τι είναι και με τι τρώγεται; Ας μάθουμε παρακάτω.
Τι είναι το MLOps
Το MLOps (συνδυάζει τεχνολογίες και διαδικασίες μηχανικής μάθησης και προσεγγίσεις για την εφαρμογή ανεπτυγμένων μοντέλων σε επιχειρηματικές διαδικασίες) είναι ένας νέος τρόπος συνεργασίας μεταξύ εκπροσώπων επιχειρήσεων, επιστημόνων, μαθηματικών, ειδικών μηχανικής μάθησης και μηχανικών πληροφορικής κατά τη δημιουργία συστημάτων τεχνητής νοημοσύνης.
Με άλλα λόγια, είναι ένας τρόπος μετατροπής των μεθόδων και τεχνολογιών μηχανικής μάθησης σε χρήσιμο εργαλείο για την επίλυση επιχειρηματικών προβλημάτων.
Είναι απαραίτητο να κατανοήσουμε ότι η αλυσίδα της παραγωγικότητας ξεκινά πολύ πριν από την ανάπτυξη του μοντέλου. Το πρώτο βήμα είναι να ορίσει ένα επιχειρηματικό πρόβλημα, μια υπόθεση σχετικά με την αξία που μπορεί να εξαχθεί από τα δεδομένα και μια επιχειρηματική ιδέα για την εφαρμογή του.
Η ίδια η έννοια των MLOps προέκυψε ως αναλογία με την έννοια του DevOps σε σχέση με τα μοντέλα και τις τεχνολογίες μηχανικής μάθησης. Το DevOps είναι μια προσέγγιση στην ανάπτυξη λογισμικού που σας επιτρέπει να αυξήσετε την ταχύτητα υλοποίησης μεμονωμένων αλλαγών διατηρώντας παράλληλα την ευελιξία και την αξιοπιστία χρησιμοποιώντας έναν αριθμό προσεγγίσεων, συμπεριλαμβανομένης της συνεχούς ανάπτυξης, του διαχωρισμού των λειτουργιών σε έναν αριθμό ανεξάρτητων μικροϋπηρεσιών, των αυτοματοποιημένων δοκιμών και της ανάπτυξης μεμονωμένων αλλαγές, παγκόσμια παρακολούθηση της υγείας, σύστημα ταχείας απόκρισης για εντοπισμένες βλάβες κ.λπ.
Το DevOps έχει ορίσει τον κύκλο ζωής του λογισμικού και η κοινότητα έχει καταλήξει στην ιδέα της εφαρμογής της ίδιας μεθοδολογίας στα μεγάλα δεδομένα. Το DataOps είναι μια προσπάθεια προσαρμογής και επέκτασης της μεθοδολογίας λαμβάνοντας υπόψη τις δυνατότητες αποθήκευσης, μετάδοσης και επεξεργασίας μεγάλων ποσοτήτων δεδομένων σε ποικίλες και διαλειτουργικές πλατφόρμες.
Με την εμφάνιση μιας ορισμένης κρίσιμης μάζας μοντέλων μηχανικής μάθησης που εφαρμόστηκαν στις επιχειρηματικές διαδικασίες των επιχειρήσεων, παρατηρήθηκε μια ισχυρή ομοιότητα μεταξύ του κύκλου ζωής των μαθηματικών μοντέλων μηχανικής μάθησης και του κύκλου ζωής του λογισμικού. Η μόνη διαφορά είναι ότι οι αλγόριθμοι μοντέλων δημιουργούνται χρησιμοποιώντας εργαλεία και μεθόδους μηχανικής εκμάθησης. Ως εκ τούτου, προέκυψε φυσικά η ιδέα να εφαρμοστούν και να προσαρμοστούν ήδη γνωστές προσεγγίσεις στην ανάπτυξη λογισμικού για μοντέλα μηχανικής μάθησης. Έτσι, τα ακόλουθα βασικά στάδια μπορούν να διακριθούν στον κύκλο ζωής των μοντέλων μηχανικής μάθησης:
- καθορισμός μιας επιχειρηματικής ιδέας·
- μοντέλο εκπαίδευσης?
- δοκιμή και εφαρμογή του μοντέλου στην επιχειρηματική διαδικασία·
- λειτουργία του μοντέλου.
Όταν κατά τη λειτουργία υπάρχει ανάγκη αλλαγής ή επανεκπαίδευσης του μοντέλου σε νέα δεδομένα, ο κύκλος ξεκινά ξανά - το μοντέλο βελτιώνεται, δοκιμάζεται και αναπτύσσεται μια νέα έκδοση.
Υποχώρηση. Γιατί επανεκπαίδευση και όχι επανεκπαίδευση; Ο όρος «επανακατάρτιση μοντέλου» έχει διπλή σημασία: μεταξύ των ειδικών σημαίνει ελάττωμα μοντέλου, όταν το μοντέλο προβλέπει καλά, στην πραγματικότητα επαναλαμβάνει την προβλεπόμενη παράμετρο στο σετ εκπαίδευσης, αλλά έχει πολύ χειρότερη απόδοση στο εξωτερικό δείγμα δεδομένων. Φυσικά, ένα τέτοιο μοντέλο είναι ελάττωμα, καθώς αυτό το ελάττωμα δεν επιτρέπει τη χρήση του.
Σε αυτόν τον κύκλο ζωής, φαίνεται λογικό να χρησιμοποιούνται εργαλεία DevOps: αυτοματοποιημένη δοκιμή, ανάπτυξη και παρακολούθηση, σχεδιασμός υπολογισμών μοντέλων με τη μορφή ξεχωριστών μικροϋπηρεσιών. Αλλά υπάρχουν επίσης μια σειρά από λειτουργίες που εμποδίζουν την άμεση χρήση αυτών των εργαλείων χωρίς πρόσθετη δέσμευση ML.
Πώς να κάνετε τα μοντέλα να λειτουργούν και να είναι κερδοφόρα
Ως παράδειγμα στο οποίο θα δείξουμε τη χρήση της προσέγγισης MLOps, θα πάρουμε το κλασικό έργο της ρομποτικής δημιουργίας μιας υποστήριξης συνομιλίας για ένα τραπεζικό (ή οποιοδήποτε άλλο) προϊόν. Συνήθως, μια επιχειρηματική διαδικασία υποστήριξης συνομιλίας μοιάζει με αυτό: ένας πελάτης εισάγει ένα μήνυμα με μια ερώτηση σε μια συνομιλία και λαμβάνει μια απάντηση από έναν ειδικό σε ένα προκαθορισμένο δέντρο διαλόγου. Το καθήκον της αυτοματοποίησης μιας τέτοιας συνομιλίας συνήθως επιλύεται χρησιμοποιώντας εξειδικευμένα καθορισμένα σύνολα κανόνων, των οποίων η ανάπτυξη και η διατήρηση απαιτούν πολύ κόπο. Η αποτελεσματικότητα ενός τέτοιου αυτοματισμού, ανάλογα με το επίπεδο πολυπλοκότητας της εργασίας, μπορεί να είναι 20-30%. Φυσικά, προκύπτει η ιδέα ότι είναι πιο κερδοφόρο να εφαρμοστεί μια ενότητα τεχνητής νοημοσύνης - ένα μοντέλο που αναπτύχθηκε με τη χρήση μηχανικής μάθησης, το οποίο:
- είναι σε θέση να επεξεργαστεί μεγαλύτερο αριθμό αιτημάτων χωρίς συμμετοχή χειριστή (ανάλογα με το θέμα, σε ορισμένες περιπτώσεις η αποτελεσματικότητα μπορεί να φτάσει το 70-80%).
- προσαρμόζεται καλύτερα σε μη τυπική διατύπωση στο διάλογο - είναι σε θέση να προσδιορίσει την πρόθεση, την πραγματική επιθυμία του χρήστη με βάση ένα μη σαφώς διατυπωμένο αίτημα.
- ξέρει πώς να προσδιορίζει πότε η απάντηση του μοντέλου είναι επαρκής και πότε υπάρχουν αμφιβολίες σχετικά με την «συνείδηση» αυτής της απάντησης και πρέπει να κάνετε μια επιπλέον διευκρινιστική ερώτηση ή να μεταβείτε στον χειριστή.
- μπορεί να εκπαιδευτεί επιπλέον αυτόματα (αντί μιας ομάδας προγραμματιστών να προσαρμόζουν και να διορθώνουν συνεχώς σενάρια απόκρισης, το μοντέλο εκπαιδεύεται επιπλέον από έναν ειδικό της Επιστήμης Δεδομένων χρησιμοποιώντας τις κατάλληλες βιβλιοθήκες μηχανικής εκμάθησης).
Πώς να κάνετε ένα τόσο προηγμένο μοντέλο να λειτουργήσει;
Όπως και με την επίλυση οποιουδήποτε άλλου προβλήματος, πριν από την ανάπτυξη μιας τέτοιας ενότητας, είναι απαραίτητο να ορίσουμε μια επιχειρηματική διαδικασία και να περιγράψουμε επίσημα τη συγκεκριμένη εργασία που θα λύσουμε χρησιμοποιώντας τη μέθοδο μηχανικής εκμάθησης. Σε αυτό το σημείο, ξεκινά η διαδικασία της λειτουργικότητας, που ορίζεται με το ακρωνύμιο Ops.
Το επόμενο βήμα είναι ότι ο Data Scientist, σε συνεργασία με τον Data Engineer, ελέγχει τη διαθεσιμότητα και την επάρκεια των δεδομένων και την επιχειρηματική υπόθεση σχετικά με τη βιωσιμότητα της επιχειρηματικής ιδέας, αναπτύσσοντας ένα πρωτότυπο μοντέλο και δοκιμάζοντας την πραγματική αποτελεσματικότητά της. Μόνο μετά την επιβεβαίωση από την επιχείρηση μπορεί να ξεκινήσει η μετάβαση από την ανάπτυξη ενός μοντέλου στην ενσωμάτωσή του σε συστήματα που εκτελούν μια συγκεκριμένη επιχειρηματική διαδικασία. Ο σχεδιασμός υλοποίησης από άκρο σε άκρο, η βαθιά κατανόηση σε κάθε στάδιο του τρόπου χρήσης του μοντέλου και του οικονομικού αποτελέσματος που θα έχει, είναι ένα θεμελιώδες σημείο στις διαδικασίες εισαγωγής προσεγγίσεων MLOps στο τεχνολογικό τοπίο της εταιρείας.
Με την ανάπτυξη των τεχνολογιών τεχνητής νοημοσύνης, ο αριθμός και η ποικιλία των προβλημάτων που μπορούν να επιλυθούν με τη χρήση μηχανικής μάθησης αυξάνονται εκθετικά. Κάθε τέτοια επιχειρηματική διαδικασία είναι εξοικονόμηση για την εταιρεία λόγω της αυτοματοποίησης της εργασίας των εργαζομένων σε μαζικές θέσεις (τηλεφωνικό κέντρο, έλεγχος και ταξινόμηση εγγράφων κ.λπ.), είναι μια επέκταση της πελατειακής βάσης με την προσθήκη νέων ελκυστικών και βολικών λειτουργιών , εξοικονομεί χρήματα λόγω της βέλτιστης χρήσης και ανακατανομής των πόρων και πολλά άλλα. Τελικά, οποιαδήποτε διαδικασία επικεντρώνεται στη δημιουργία αξίας και, ως εκ τούτου, πρέπει να έχει ένα συγκεκριμένο οικονομικό αποτέλεσμα. Εδώ είναι πολύ σημαντικό να διατυπωθεί με σαφήνεια η επιχειρηματική ιδέα και να υπολογιστεί το αναμενόμενο κέρδος από την εφαρμογή του μοντέλου στη συνολική δομή δημιουργίας αξίας της εταιρείας. Υπάρχουν περιπτώσεις όπου η εφαρμογή ενός μοντέλου δεν δικαιολογείται και ο χρόνος που αφιερώνουν οι ειδικοί της μηχανικής εκμάθησης είναι πολύ πιο ακριβός από τον χώρο εργασίας του χειριστή που εκτελεί αυτήν την εργασία. Αυτός είναι ο λόγος για τον οποίο είναι απαραίτητο να προσπαθήσουμε να εντοπίσουμε τέτοιες περιπτώσεις στα αρχικά στάδια της δημιουργίας συστημάτων AI.
Κατά συνέπεια, τα μοντέλα αρχίζουν να παράγουν κέρδος μόνο όταν το επιχειρηματικό πρόβλημα έχει διαμορφωθεί σωστά στη διαδικασία MLOps, έχουν τεθεί προτεραιότητες και η διαδικασία εισαγωγής του μοντέλου στο σύστημα έχει διαμορφωθεί στα πρώτα στάδια ανάπτυξης.
Νέα διαδικασία - νέες προκλήσεις
Μια ολοκληρωμένη απάντηση στο θεμελιώδες επιχειρηματικό ερώτημα σχετικά με το πόσο εφαρμόσιμα είναι τα μοντέλα ML στην επίλυση προβλημάτων, το γενικό ζήτημα της εμπιστοσύνης στην τεχνητή νοημοσύνη είναι μια από τις βασικές προκλήσεις στη διαδικασία ανάπτυξης και εφαρμογής προσεγγίσεων MLOps. Αρχικά, οι επιχειρήσεις είναι δύσπιστες σχετικά με την εισαγωγή της μηχανικής μάθησης στις διαδικασίες - είναι δύσκολο να βασιστείς σε μοντέλα σε μέρη όπου προηγουμένως, κατά κανόνα, εργάζονταν άνθρωποι. Για τις επιχειρήσεις, τα προγράμματα φαίνεται να είναι ένα «μαύρο κουτί», η συνάφεια του οποίου πρέπει ακόμη να αποδειχθεί. Επιπλέον, στον τραπεζικό τομέα, στις επιχειρήσεις των τηλεπικοινωνιακών φορέων και άλλων, υπάρχουν αυστηρές απαιτήσεις των κρατικών ρυθμιστικών αρχών. Όλα τα συστήματα και οι αλγόριθμοι που εφαρμόζονται στις τραπεζικές διαδικασίες υπόκεινται σε έλεγχο. Για την επίλυση αυτού του προβλήματος, για να αποδειχθεί σε επιχειρήσεις και ρυθμιστικές αρχές η εγκυρότητα και η ορθότητα των απαντήσεων τεχνητής νοημοσύνης, μαζί με το μοντέλο εισάγονται εργαλεία παρακολούθησης. Επιπλέον, υπάρχει μια ανεξάρτητη διαδικασία επικύρωσης, υποχρεωτική για τα ρυθμιστικά μοντέλα, η οποία πληροί τις απαιτήσεις της Κεντρικής Τράπεζας. Μια ανεξάρτητη ομάδα εμπειρογνωμόνων ελέγχει τα αποτελέσματα που λαμβάνονται από το μοντέλο λαμβάνοντας υπόψη τα δεδομένα εισόδου.
Η δεύτερη πρόκληση είναι η αξιολόγηση και η συνεκτίμηση των κινδύνων του μοντέλου κατά την εφαρμογή ενός μοντέλου μηχανικής μάθησης. Ακόμα κι αν ένα άτομο δεν μπορεί να απαντήσει στην ερώτηση με εκατό τοις εκατό βεβαιότητα εάν το ίδιο φόρεμα ήταν λευκό ή μπλε, τότε η τεχνητή νοημοσύνη έχει επίσης το δικαίωμα να κάνει λάθος. Αξίζει επίσης να ληφθεί υπόψη ότι τα δεδομένα μπορεί να αλλάξουν με την πάροδο του χρόνου και τα μοντέλα πρέπει να επανεκπαιδευτούν προκειμένου να παραχθεί ένα επαρκώς ακριβές αποτέλεσμα. Για να διασφαλιστεί ότι η επιχειρηματική διαδικασία δεν θα υποφέρει, είναι απαραίτητο να διαχειριστείτε τους κινδύνους του μοντέλου και να παρακολουθείτε την απόδοση του μοντέλου, επανεκπαιδεύοντάς το τακτικά σε νέα δεδομένα.
Αλλά μετά το πρώτο στάδιο της δυσπιστίας, αρχίζει να εμφανίζεται το αντίθετο αποτέλεσμα. Όσο περισσότερα μοντέλα εφαρμόζονται με επιτυχία σε διαδικασίες, τόσο αυξάνεται η όρεξη των επιχειρήσεων για χρήση τεχνητής νοημοσύνης - ανακαλύπτονται νέα και νέα προβλήματα που μπορούν να επιλυθούν χρησιμοποιώντας μεθόδους μηχανικής μάθησης. Κάθε εργασία ενεργοποιεί μια ολόκληρη διαδικασία που απαιτεί ορισμένες ικανότητες:
- οι μηχανικοί δεδομένων προετοιμάζουν και επεξεργάζονται δεδομένα·
- οι επιστήμονες δεδομένων χρησιμοποιούν εργαλεία μηχανικής μάθησης και αναπτύσσουν ένα μοντέλο.
- Το IT εφαρμόζει το μοντέλο στο σύστημα.
- Ο μηχανικός ML καθορίζει πώς να ενσωματώσει σωστά αυτό το μοντέλο στη διαδικασία, ποια εργαλεία πληροφορικής θα χρησιμοποιήσει, ανάλογα με τις απαιτήσεις για τον τρόπο εφαρμογής του μοντέλου, λαμβάνοντας υπόψη τη ροή των αιτημάτων, τον χρόνο απόκρισης κ.λπ.
- Ένας αρχιτέκτονας ML σχεδιάζει πώς ένα προϊόν λογισμικού μπορεί να εφαρμοστεί φυσικά σε ένα βιομηχανικό σύστημα.
Ολόκληρος ο κύκλος απαιτεί μεγάλο αριθμό ειδικών υψηλής εξειδίκευσης. Σε ένα ορισμένο σημείο της ανάπτυξης και του βαθμού διείσδυσης των μοντέλων ML στις επιχειρηματικές διαδικασίες, αποδεικνύεται ότι η γραμμική κλιμάκωση του αριθμού των ειδικών σε αναλογία με την αύξηση του αριθμού των εργασιών καθίσταται δαπανηρή και αναποτελεσματική. Ως εκ τούτου, τίθεται το ερώτημα της αυτοματοποίησης της διαδικασίας MLOps - καθορισμός πολλών τυπικών κατηγοριών προβλημάτων μηχανικής μάθησης, ανάπτυξη τυπικών αγωγών επεξεργασίας δεδομένων και πρόσθετη εκπαίδευση μοντέλων. Σε μια ιδανική εικόνα, η επίλυση τέτοιων προβλημάτων απαιτεί επαγγελματίες που είναι εξίσου ικανοί σε ικανότητες στη διασταύρωση Big Data, Data Science, DevOps και IT. Επομένως, το μεγαλύτερο πρόβλημα στον κλάδο της Επιστήμης Δεδομένων και η μεγαλύτερη πρόκληση στην οργάνωση διαδικασιών MLOps είναι η έλλειψη τέτοιας ικανότητας στην υπάρχουσα αγορά εκπαίδευσης. Οι ειδικοί που πληρούν αυτές τις απαιτήσεις είναι σπάνιοι επί του παρόντος στην αγορά εργασίας και αξίζουν το βάρος τους σε χρυσό.
Στο θέμα των αρμοδιοτήτων
Θεωρητικά, όλες οι εργασίες MLOps μπορούν να επιλυθούν χρησιμοποιώντας κλασικά εργαλεία DevOps και χωρίς να καταφύγουμε σε μια εξειδικευμένη επέκταση του προτύπου. Στη συνέχεια, όπως σημειώσαμε παραπάνω, ένας επιστήμονας δεδομένων πρέπει να είναι όχι μόνο μαθηματικός και αναλυτής δεδομένων, αλλά και γκουρού ολόκληρου του αγωγού - είναι υπεύθυνος για την ανάπτυξη της αρχιτεκτονικής, τον προγραμματισμό μοντέλων σε διάφορες γλώσσες ανάλογα με την αρχιτεκτονική, την προετοιμασία ένα data mart και ανάπτυξη της ίδιας της εφαρμογής. Ωστόσο, η δημιουργία του τεχνολογικού πλαισίου που εφαρμόζεται στη διαδικασία end-to-end MLOps απαιτεί έως και 80% του κόστους εργασίας, πράγμα που σημαίνει ότι ένας καταρτισμένος μαθηματικός, ο οποίος είναι ποιοτικός επιστήμονας δεδομένων, θα αφιερώσει μόνο το 20% του χρόνου του στην ειδικότητά του. . Ως εκ τούτου, η οριοθέτηση των ρόλων των ειδικών που εμπλέκονται στη διαδικασία εφαρμογής μοντέλων μηχανικής μάθησης καθίσταται ζωτικής σημασίας.
Το πόσο αναλυτικά θα πρέπει να οριοθετούνται οι ρόλοι εξαρτάται από το μέγεθος της επιχείρησης. Είναι ένα πράγμα όταν μια startup έχει έναν ειδικό, έναν σκληρά εργαζόμενο στο ενεργειακό απόθεμα, ο οποίος είναι ο δικός του μηχανικός, αρχιτέκτονας και DevOps. Είναι εντελώς διαφορετικό το θέμα όταν, σε μια μεγάλη επιχείρηση, όλες οι διαδικασίες ανάπτυξης μοντέλων συγκεντρώνονται σε λίγους ειδικούς υψηλού επιπέδου της Επιστήμης Δεδομένων, ενώ ένας προγραμματιστής ή ειδικός βάσεων δεδομένων -μια πιο κοινή και λιγότερο δαπανηρή ικανότητα στην αγορά εργασίας- μπορεί να πάρει στο μεγαλύτερο μέρος της εργασίας.καθήκοντα ρουτίνας.
Έτσι, η ταχύτητα και η ποιότητα των αναπτυγμένων μοντέλων, η παραγωγικότητα της ομάδας και το μικροκλίμα σε αυτήν εξαρτώνται άμεσα από το πού βρίσκεται το όριο στην επιλογή των ειδικών που θα υποστηρίξουν τη διαδικασία MLOps και τον τρόπο οργάνωσης της διαδικασίας λειτουργίας των αναπτυγμένων μοντέλων. .
Αυτό που έχει ήδη κάνει η ομάδα μας
Πρόσφατα ξεκινήσαμε να χτίζουμε μια δομή ικανοτήτων και διαδικασίες MLOps. Αλλά τα έργα μας σχετικά με τη διαχείριση του κύκλου ζωής των μοντέλων και τη χρήση μοντέλων ως υπηρεσία βρίσκονται ήδη στο στάδιο της δοκιμής MVP.
Καθορίσαμε επίσης τη βέλτιστη δομή ικανοτήτων για μια μεγάλη επιχείρηση και την οργανωτική δομή αλληλεπίδρασης μεταξύ όλων των συμμετεχόντων στη διαδικασία. Οργανώθηκαν ευέλικτες ομάδες για την επίλυση προβλημάτων για ολόκληρο το φάσμα των επιχειρηματικών πελατών και καθιερώθηκε μια διαδικασία αλληλεπίδρασης με ομάδες έργου για τη δημιουργία πλατφορμών και υποδομών, που είναι το θεμέλιο του υπό κατασκευή κτιρίου MLOps.
Ερωτήσεις για το μέλλον
Το MLOps είναι ένας αναπτυσσόμενος τομέας που αντιμετωπίζει έλλειψη ικανοτήτων και θα αποκτήσει δυναμική στο μέλλον. Εν τω μεταξύ, είναι καλύτερο να βασιστείτε στις εξελίξεις και τις πρακτικές του DevOps. Ο κύριος στόχος των MLOps είναι η πιο αποτελεσματική χρήση μοντέλων ML για την επίλυση επιχειρηματικών προβλημάτων. Αυτό όμως εγείρει πολλά ερωτήματα:
- Πώς να μειώσετε τον χρόνο για την κυκλοφορία μοντέλων στην παραγωγή;
- Πώς να μειώσετε τη γραφειοκρατική τριβή μεταξύ ομάδων διαφορετικών ικανοτήτων και να αυξήσετε την εστίαση στη συνεργασία;
- Πώς να παρακολουθείτε μοντέλα, να διαχειριστείτε τις εκδόσεις και να οργανώσετε αποτελεσματική παρακολούθηση;
- Πώς να δημιουργήσετε έναν πραγματικά κυκλικό κύκλο ζωής για ένα σύγχρονο μοντέλο ML;
- Πώς να τυποποιήσετε τη διαδικασία μηχανικής εκμάθησης;
Οι απαντήσεις σε αυτά τα ερωτήματα θα καθορίσουν σε μεγάλο βαθμό πόσο γρήγορα τα MLOs θα φτάσουν στο μέγιστο των δυνατοτήτων τους.
Πηγή: www.habr.com