InterSystems IRIS - καθολική πλατφόρμα AI/ML σε πραγματικό χρόνο

Συγγραφέας: Sergey Lukyanchikov, σύμβουλος μηχανικός στην InterSystems

Υπολογιστικές κλήσεις AI/ML σε πραγματικό χρόνο

Ας ξεκινήσουμε με παραδείγματα από την εμπειρία της πρακτικής της Επιστήμης Δεδομένων στην InterSystems:

• Η φορτωμένη πύλη αγοραστών είναι συνδεδεμένη με ένα ηλεκτρονικό σύστημα συστάσεων. Θα υπάρξει αναδιάρθρωση των προωθήσεων σε όλο το δίκτυο λιανικής (για παράδειγμα, αντί για μια «επίπεδη» γραμμή προωθήσεων, θα χρησιμοποιείται πλέον μια μήτρα «τμήματος-τακτικής»). Τι συμβαίνει με τους κινητήρες σύστασης; Τι συμβαίνει με την υποβολή και την ενημέρωση δεδομένων στη μηχανή συστάσεων (ο όγκος των δεδομένων εισόδου έχει αυξηθεί κατά 25000 φορές); Τι συμβαίνει με την ανάπτυξη προτάσεων (την ανάγκη μείωσης του ορίου φιλτραρίσματος των κανόνων συστάσεων κατά χίλιες φορές λόγω της χιλιαπλάσιας αύξησης του αριθμού και του «εύρους» τους);
• Υπάρχει ένα σύστημα παρακολούθησης της πιθανότητας εμφάνισης ελαττωμάτων στα εξαρτήματα του εξοπλισμού. Ένα αυτοματοποιημένο σύστημα ελέγχου διεργασιών συνδέθηκε με το σύστημα παρακολούθησης, μεταδίδοντας χιλιάδες παραμέτρους τεχνολογικής διαδικασίας κάθε δευτερόλεπτο. Τι συμβαίνει με το σύστημα παρακολούθησης που δούλευε προηγουμένως σε «χειροκίνητα δείγματα» (είναι ικανό να παρέχει παρακολούθηση πιθανότητας δευτερόλεπτο προς δευτερόλεπτο); Τι θα συμβεί εάν ένα νέο μπλοκ πολλών εκατοντάδων στηλών εμφανιστεί στα δεδομένα εισόδου με μετρήσεις από αισθητήρες που προστέθηκαν πρόσφατα στο σύστημα ελέγχου διεργασίας (θα χρειαστεί και για πόσο καιρό να σταματήσει το σύστημα παρακολούθησης να συμπεριλάβει δεδομένα από νέους αισθητήρες στην ανάλυση )?
• Έχει δημιουργηθεί ένα σύνολο μηχανισμών AI/ML (σύσταση, παρακολούθηση, πρόβλεψη) που χρησιμοποιούν τα αποτελέσματα της εργασίας του άλλου. Πόσες ανθρωποώρες απαιτούνται κάθε μήνα για να προσαρμοστεί η λειτουργία αυτού του συγκροτήματος στις αλλαγές στα δεδομένα εισόδου; Ποια είναι η γενική «επιβράδυνση» όταν υποστηρίζεται από το σύμπλεγμα λήψης αποφάσεων διαχείρισης (η συχνότητα εμφάνισης νέων υποστηρικτικών πληροφοριών σε αυτό σε σχέση με τη συχνότητα εμφάνισης νέων δεδομένων εισόδου);

Συνοψίζοντας αυτά και πολλά άλλα παραδείγματα, καταλήξαμε στη διατύπωση των προκλήσεων που προκύπτουν κατά τη μετάβαση στη χρήση μηχανισμών μηχανικής μάθησης και τεχνητής νοημοσύνης σε πραγματικό χρόνο:

• Είμαστε ικανοποιημένοι με την ταχύτητα δημιουργίας και προσαρμογής (στη μεταβαλλόμενη κατάσταση) των εξελίξεων AI/ML στην εταιρεία μας;
• Πόσο υποστηρίζουν οι λύσεις AI/ML που χρησιμοποιούμε τη διαχείριση επιχειρήσεων σε πραγματικό χρόνο;
• Είναι οι λύσεις AI/ML που χρησιμοποιούμε ικανές να προσαρμοστούν ανεξάρτητα (χωρίς προγραμματιστές) στις αλλαγές στα δεδομένα και στις πρακτικές επιχειρηματικής διαχείρισης;

Το άρθρο μας είναι μια λεπτομερής επισκόπηση των δυνατοτήτων της πλατφόρμας IRIS InterSystems όσον αφορά την καθολική υποστήριξη για την ανάπτυξη μηχανισμών AI/ML, τη συναρμολόγηση (ενσωμάτωση) λύσεων AI/ML και την εκπαίδευση (δοκιμή) λύσεων AI/ML σε εντατική ροές δεδομένων. Σε αυτό το άρθρο θα εξετάσουμε έρευνα αγοράς, μελέτες περιπτώσεων λύσεων AI/ML και εννοιολογικές πτυχές αυτού που ονομάζουμε πλατφόρμα AI/ML σε πραγματικό χρόνο.

Τι γνωρίζουμε από έρευνες: εφαρμογές σε πραγματικό χρόνο

Ευρήματα επισκόπησηπου διεξήχθη μεταξύ σχεδόν 800 επαγγελματιών πληροφορικής το 2019 από την Lightbend, μιλούν από μόνα τους:

Σχήμα 1 Κορυφαίοι καταναλωτές δεδομένων σε πραγματικό χρόνο

Ας παραθέσουμε στη μετάφρασή μας σημαντικά αποσπάσματα της έκθεσης σχετικά με τα αποτελέσματα αυτής της έρευνας:

«... Οι τάσεις στη δημοτικότητα των εργαλείων για την ενοποίηση ροών δεδομένων και, ταυτόχρονα, η υποστήριξη υπολογιστών σε κοντέινερ παρέχουν μια συνεργική απάντηση στο αίτημα της αγοράς για μια πιο ανταποκρινόμενη, ορθολογική, δυναμική πρόταση αποτελεσματικών λύσεων. Η ροή δεδομένων μεταφέρει πληροφορίες πιο γρήγορα από τα παραδοσιακά δεδομένα πακέτων. Σε αυτό προστίθεται η δυνατότητα γρήγορης εφαρμογής υπολογιστικών μεθόδων, όπως, για παράδειγμα, συστάσεις που βασίζονται σε AI/ML, δημιουργώντας ανταγωνιστικά πλεονεκτήματα μέσω της αυξημένης ικανοποίησης των πελατών. Ο αγώνας για την ευελιξία επηρεάζει επίσης όλους τους ρόλους στο παράδειγμα DevOps - καθιστώντας την ανάπτυξη και την ανάπτυξη εφαρμογών πιο αποτελεσματική. … Οκτακόσιοι τέσσερις επαγγελματίες πληροφορικής παρείχαν πληροφορίες σχετικά με τη χρήση των ροών δεδομένων στους οργανισμούς τους. Οι ερωτηθέντες βρίσκονταν κυρίως σε δυτικές χώρες (41% στην Ευρώπη και 37% στη Βόρεια Αμερική) και ήταν σχεδόν ομοιόμορφα κατανεμημένοι μεταξύ μικρών, μεσαίων και μεγάλων επιχειρήσεων. ...

... Η τεχνητή νοημοσύνη δεν είναι διαφημιστική εκστρατεία. Το XNUMX% όσων χρησιμοποιούν ήδη επεξεργασία ροής δεδομένων σε εφαρμογές παραγωγικότητας AI/ML επιβεβαιώνουν ότι η χρήση του AI/ML θα σημειώσει τη μεγαλύτερη ανάπτυξη το επόμενο έτος (σε σύγκριση με άλλες εφαρμογές).

• Σύμφωνα με την πλειοψηφία των ερωτηθέντων, η χρήση ροών δεδομένων σε σενάρια AI/ML θα σημειώσει τη μεγαλύτερη ανάπτυξη το επόμενο έτος.
• Οι εφαρμογές σε AI/ML θα αυξηθούν όχι μόνο λόγω των σχετικά νέων τύπων σεναρίων, αλλά και λόγω των παραδοσιακών σεναρίων στα οποία χρησιμοποιούνται όλο και περισσότερο δεδομένα σε πραγματικό χρόνο.
• Εκτός από το AI/ML, το επίπεδο ενθουσιασμού μεταξύ των χρηστών των αγωγών δεδομένων IoT είναι εντυπωσιακό - το 48% όσων έχουν ήδη ενσωματώσει δεδομένα IoT λένε ότι η εφαρμογή σεναρίων σε αυτά τα δεδομένα θα σημειώσει σημαντική αύξηση στο εγγύς μέλλον. ..."

Από αυτή την αρκετά ενδιαφέρουσα έρευνα, είναι σαφές ότι η αντίληψη της μηχανικής μάθησης και των σεναρίων τεχνητής νοημοσύνης ως ηγέτες στην κατανάλωση ροών δεδομένων είναι ήδη «στο δρόμο». Αλλά μια εξίσου σημαντική παρατήρηση είναι η αντίληψη του AI/ML σε πραγματικό χρόνο μέσω του φακού του DevOps: εδώ μπορούμε ήδη να αρχίσουμε να μιλάμε για τον μετασχηματισμό της κυρίαρχης ακόμα κουλτούρας του «αναλώσιμου AI/ML με ένα πλήρως προσβάσιμο σύνολο δεδομένων».

Έννοια πλατφόρμας AI/ML σε πραγματικό χρόνο

Ένας τυπικός τομέας εφαρμογής για AI/ML σε πραγματικό χρόνο είναι ο έλεγχος διεργασιών στην κατασκευή. Χρησιμοποιώντας το παράδειγμά της και λαμβάνοντας υπόψη προηγούμενες σκέψεις, θα διατυπώσουμε την έννοια μιας πλατφόρμας AI/ML σε πραγματικό χρόνο.
Η χρήση της τεχνητής νοημοσύνης και της μηχανικής μάθησης στον έλεγχο διεργασιών έχει μια σειρά από χαρακτηριστικά:

• Τα δεδομένα σχετικά με την κατάσταση της τεχνολογικής διαδικασίας λαμβάνονται εντατικά: με υψηλή συχνότητα και για ένα ευρύ φάσμα παραμέτρων (έως και δεκάδες χιλιάδες τιμές παραμέτρων που μεταδίδονται ανά δευτερόλεπτο από το σύστημα ελέγχου διαδικασίας)
• Τα δεδομένα για τον εντοπισμό των ελαττωμάτων, για να μην αναφέρουμε τα δεδομένα για την ανάπτυξή τους, αντίθετα, είναι σπάνια και ακανόνιστα, που χαρακτηρίζονται από ανεπαρκή χαρακτηρισμό των ελαττωμάτων και τον εντοπισμό τους στο χρόνο (συχνά αντιπροσωπεύονται από χάρτινα αρχεία)
• Από πρακτική άποψη, μόνο ένα «παράθυρο συνάφειας» των δεδομένων πηγής είναι διαθέσιμο για εκπαίδευση και εφαρμογή μοντέλων, που αντικατοπτρίζει τη δυναμική της τεχνολογικής διαδικασίας σε ένα εύλογο διάστημα ολίσθησης που τελειώνει με τις τελευταίες τιμές ανάγνωσης των παραμέτρων διεργασίας

Αυτά τα χαρακτηριστικά μας αναγκάζουν, εκτός από τη λήψη και τη βασική επεξεργασία σε πραγματικό χρόνο του εντατικού «σήματος ευρυζωνικής εισόδου» από την τεχνολογική διαδικασία, να πραγματοποιούμε (παράλληλα) την εφαρμογή, την εκπαίδευση και τον ποιοτικό έλεγχο των αποτελεσμάτων του AI / Μοντέλα ML - επίσης σε πραγματικό χρόνο. Το «πλαίσιο» που «βλέπουν» τα μοντέλα μας στο συρόμενο παράθυρο συνάφειας αλλάζει συνεχώς – και μαζί του αλλάζει και η ποιότητα των αποτελεσμάτων της εργασίας των μοντέλων AI/ML που είχαν εκπαιδευτεί σε ένα από τα «πλαίσια» στο παρελθόν. . Εάν η ποιότητα των αποτελεσμάτων της εργασίας των μοντέλων AI/ML επιδεινωθεί (για παράδειγμα: η τιμή του σφάλματος ταξινόμησης "συναγερμός-norm" έχει ξεπεράσει τα όρια που έχουμε ορίσει), η πρόσθετη εκπαίδευση των μοντέλων θα πρέπει να ξεκινήσει αυτόματα στις ένα πιο τρέχον «πλαίσιο» - και η επιλογή της στιγμής για την έναρξη της πρόσθετης εκπαίδευσης των μοντέλων θα πρέπει να λαμβάνει υπόψη τον τρόπο με τον οποίο η ίδια η διάρκεια της εκπαίδευσης και η δυναμική της επιδείνωσης της ποιότητας εργασίας της τρέχουσας έκδοσης των μοντέλων (αφού οι τρέχουσες εκδόσεις των μοντέλων συνεχίζουν να χρησιμοποιούνται κατά τη διάρκεια της εκπαίδευσης των μοντέλων και έως ότου δημιουργηθούν οι «νεοεκπαιδευμένες» εκδόσεις τους).

Η InterSystems IRIS διαθέτει βασικές δυνατότητες πλατφόρμας για την ενεργοποίηση λύσεων AI/ML για έλεγχο διεργασιών σε πραγματικό χρόνο. Αυτές οι δυνατότητες μπορούν να χωριστούν σε τρεις κύριες ομάδες:

• Συνεχής ανάπτυξη (Continuous Deployment/Delivery, CD) νέων ή προσαρμοσμένων υφιστάμενων μηχανισμών AI/ML σε μια παραγωγική λύση που λειτουργεί σε πραγματικό χρόνο στην πλατφόρμα InterSystems IRIS
• Συνεχής ενσωμάτωση (CI) σε μια ενιαία παραγωγική λύση εισερχόμενων ροών δεδομένων τεχνολογικής διεργασίας, ουρές δεδομένων για εφαρμογή/εκπαίδευση/έλεγχο ποιότητας μηχανισμών AI/ML και ανταλλαγές δεδομένων/κώδικα/ενεργειών ελέγχου με περιβάλλοντα μαθηματικής μοντελοποίησης, ενορχηστρωμένα σε πραγματικό χρόνο πλατφόρμα InterSystems IRIS
• Συνεχής (αυτο)εκπαίδευση (Συνεχής Εκπαίδευση, CT) μηχανισμών AI/ML, που εκτελείται σε περιβάλλοντα μαθηματικής μοντελοποίησης χρησιμοποιώντας δεδομένα, κώδικα και ενέργειες ελέγχου («αποφάσεις που λαμβάνονται») που μεταδίδονται από την πλατφόρμα IRIS InterSystems

Η ταξινόμηση των δυνατοτήτων της πλατφόρμας σε σχέση με τη μηχανική μάθηση και την τεχνητή νοημοσύνη σε αυτές ακριβώς τις ομάδες δεν είναι τυχαία. Ας παραθέσουμε το μεθοδολογικό δημοσίευση Η Google, η οποία παρέχει μια εννοιολογική βάση για αυτήν την ταξινόμηση, στη μετάφρασή μας:

«... Η ιδέα DevOps, δημοφιλής στις μέρες μας, καλύπτει την ανάπτυξη και λειτουργία πληροφοριακών συστημάτων μεγάλης κλίμακας. Τα πλεονεκτήματα της εφαρμογής αυτής της ιδέας είναι η μείωση της διάρκειας των κύκλων ανάπτυξης, η ταχύτερη ανάπτυξη των εξελίξεων και η ευελιξία στον προγραμματισμό κυκλοφορίας. Για να επιτευχθούν αυτά τα οφέλη, το DevOps περιλαμβάνει την εφαρμογή τουλάχιστον δύο πρακτικών:

• Συνεχής ολοκλήρωση (CI)
• Συνεχής Παράδοση (CD)

Αυτές οι πρακτικές ισχύουν επίσης για πλατφόρμες AI/ML για να διασφαλιστεί η αξιόπιστη και αποδοτική συναρμολόγηση παραγωγικών λύσεων AI/ML.

Οι πλατφόρμες AI/ML διαφέρουν από άλλα συστήματα πληροφοριών στις ακόλουθες πτυχές:

• Ικανότητες ομάδας: Κατά τη δημιουργία μιας λύσης AI/ML, η ομάδα περιλαμβάνει συνήθως επιστήμονες δεδομένων ή «ακαδημαϊκούς» ειδικούς στον τομέα της έρευνας δεδομένων που διεξάγουν ανάλυση δεδομένων, αναπτύσσουν και δοκιμάζουν μοντέλα. Αυτά τα μέλη της ομάδας ενδέχεται να μην είναι επαγγελματίες παραγωγικοί προγραμματιστές κώδικα.
• Ανάπτυξη: Οι κινητήρες AI/ML είναι πειραματικού χαρακτήρα. Για να λυθεί ένα πρόβλημα με τον πιο αποτελεσματικό τρόπο, είναι απαραίτητο να περάσουμε από διάφορους συνδυασμούς μεταβλητών εισόδου, αλγορίθμων, μεθόδων μοντελοποίησης και παραμέτρων μοντέλου. Η πολυπλοκότητα μιας τέτοιας αναζήτησης έγκειται στην ανίχνευση «τι λειτούργησε/δεν λειτούργησε», διασφαλίζοντας την αναπαραγωγιμότητα των επεισοδίων, τη γενίκευση των εξελίξεων για επαναλαμβανόμενες υλοποιήσεις.
• Δοκιμές: Η δοκιμή κινητήρων AI/ML απαιτεί ευρύτερο φάσμα δοκιμών από τις περισσότερες άλλες εξελίξεις. Εκτός από τις τυπικές δοκιμές μονάδων και ολοκλήρωσης, ελέγχεται η εγκυρότητα των δεδομένων και η ποιότητα των αποτελεσμάτων της εφαρμογής του μοντέλου σε δείγματα εκπαίδευσης και ελέγχου.
• Ανάπτυξη: Η ανάπτυξη λύσεων AI/ML δεν περιορίζεται σε υπηρεσίες πρόβλεψης που χρησιμοποιούν ένα μοντέλο που εκπαιδεύτηκε μια φορά. Οι λύσεις AI/ML χτίζονται γύρω από αγωγούς πολλαπλών σταδίων που εκτελούν αυτοματοποιημένη εκπαίδευση και εφαρμογή μοντέλων. Η ανάπτυξη τέτοιων αγωγών περιλαμβάνει την αυτοματοποίηση μη τετριμμένων ενεργειών που παραδοσιακά εκτελούνται χειροκίνητα από επιστήμονες δεδομένων προκειμένου να είναι σε θέση να εκπαιδεύουν και να δοκιμάζουν μοντέλα.
• Παραγωγικότητα: Οι κινητήρες AI/ML μπορεί να στερούνται παραγωγικότητας όχι μόνο λόγω μη αποδοτικού προγραμματισμού, αλλά και λόγω της συνεχώς μεταβαλλόμενης φύσης των δεδομένων εισόδου. Με άλλα λόγια, η απόδοση των μηχανισμών AI/ML μπορεί να υποβαθμιστεί λόγω ευρύτερου φάσματος λόγων από την απόδοση των συμβατικών εξελίξεων. Αυτό οδηγεί στην ανάγκη παρακολούθησης (διαδικτύου) της απόδοσης των κινητήρων AI/ML μας, καθώς και αποστολής ειδοποιήσεων ή απόρριψης αποτελεσμάτων εάν οι δείκτες απόδοσης δεν ανταποκρίνονται στις προσδοκίες.

Οι πλατφόρμες AI/ML είναι παρόμοιες με άλλα συστήματα πληροφοριών καθώς και τα δύο απαιτούν συνεχή ενοποίηση κώδικα με έλεγχο έκδοσης, δοκιμή μονάδας, δοκιμή ενοποίησης και συνεχή ανάπτυξη ανάπτυξης. Ωστόσο, στην περίπτωση του AI/ML, υπάρχουν αρκετές σημαντικές διαφορές:

• Το CI (Continuous Integration) δεν περιορίζεται πλέον στη δοκιμή και την επικύρωση του κώδικα των αναπτυγμένων στοιχείων - περιλαμβάνει επίσης τη δοκιμή και την επικύρωση δεδομένων και μοντέλων AI/ML.
• Το CD (Συνεχής Παράδοση/Ανάπτυξη, συνεχής ανάπτυξη) δεν περιορίζεται στη σύνταξη και την κυκλοφορία πακέτων ή υπηρεσιών, αλλά συνεπάγεται μια πλατφόρμα για σύνθεση, εκπαίδευση και εφαρμογή λύσεων AI/ML.
• Το CT (Continuous Training, συνεχής εκπαίδευση) είναι ένα νέο στοιχείο [περ. συγγραφέας του άρθρου: ένα νέο στοιχείο σε σχέση με την παραδοσιακή έννοια των DevOps, στην οποία η CT είναι, κατά κανόνα, Continuous Testing], εγγενής στις πλατφόρμες AI/ML, υπεύθυνος για την αυτόνομη διαχείριση των μηχανισμών εκπαίδευσης και εφαρμογής AI Μοντέλα /ML. ..."

Μπορούμε να δηλώσουμε ότι η μηχανική μάθηση και η τεχνητή νοημοσύνη που εργάζονται σε δεδομένα σε πραγματικό χρόνο απαιτούν ένα ευρύτερο σύνολο εργαλείων και ικανοτήτων (από την ανάπτυξη κώδικα έως την ενορχήστρωση περιβαλλόντων μαθηματικής μοντελοποίησης), πιο στενή ενοποίηση μεταξύ όλων των λειτουργικών και θεματικών περιοχών, πιο αποτελεσματική οργάνωση του ανθρώπου και πόρους μηχανής.

Σενάριο σε πραγματικό χρόνο: αναγνώριση της ανάπτυξης ελαττωμάτων στις αντλίες τροφοδοσίας

Συνεχίζοντας να χρησιμοποιείτε την περιοχή ελέγχου διεργασίας ως παράδειγμα, εξετάστε ένα συγκεκριμένο πρόβλημα (το αναφέραμε ήδη στην αρχή): πρέπει να παρέχουμε παρακολούθηση σε πραγματικό χρόνο της ανάπτυξης ελαττωμάτων στις αντλίες με βάση τη ροή των τιμών των παραμέτρων διεργασίας και αναφορές από το προσωπικό επισκευής για εντοπισμένα ελαττώματα.

Εικόνα 2 Διατύπωση προβλήματος για την παρακολούθηση της ανάπτυξης ελαττωμάτων

Ένα χαρακτηριστικό των περισσότερων εργασιών που τίθενται με αυτόν τον τρόπο στην πράξη είναι ότι η κανονικότητα και η αποτελεσματικότητα της λήψης δεδομένων (APCS) πρέπει να λαμβάνεται υπόψη στο πλαίσιο της επεισοδιακής και παράτυπης εμφάνισης (και καταγραφής) ελαττωμάτων διαφόρων τύπων. Με άλλα λόγια: τα δεδομένα από το σύστημα ελέγχου διεργασίας φτάνουν μία φορά το δευτερόλεπτο, σωστά και ακριβή, και σημειώσεις για ελαττώματα γίνονται με ένα χημικό μολύβι που υποδεικνύει την ημερομηνία σε ένα γενικό σημειωματάριο στο συνεργείο (για παράδειγμα: «12.01 – διαρροή στο κάλυμμα από την πλευρά του 3ου ρουλεμάν»).

Έτσι, μπορούμε να συμπληρώσουμε τη διατύπωση του προβλήματος με τον ακόλουθο σημαντικό περιορισμό: έχουμε μόνο μία «ετικέτα» ενός ελαττώματος συγκεκριμένου τύπου (δηλαδή, ένα παράδειγμα ελαττώματος ενός συγκεκριμένου τύπου αντιπροσωπεύεται από δεδομένα από τον έλεγχο διεργασίας σύστημα σε συγκεκριμένη ημερομηνία - και δεν έχουμε περισσότερα παραδείγματα ελαττώματος αυτού του συγκεκριμένου τύπου). Αυτός ο περιορισμός μας οδηγεί αμέσως πέρα ​​από το πεδίο της κλασικής μηχανικής μάθησης (εποπτευόμενη μάθηση), για την οποία θα πρέπει να υπάρχουν πολλές «ετικέτες».

Εικόνα 3 Διευκρίνιση του καθήκοντος παρακολούθησης της ανάπτυξης ελαττωμάτων

Μπορούμε με κάποιο τρόπο να «πολλαπλασιάσουμε» τη μοναδική «ετικέτα» που έχουμε στη διάθεσή μας; Ναι μπορούμε. Η τρέχουσα κατάσταση της αντλίας χαρακτηρίζεται από τον βαθμό ομοιότητας με τα καταγεγραμμένα ελαττώματα. Ακόμη και χωρίς τη χρήση ποσοτικών μεθόδων, στο επίπεδο της οπτικής αντίληψης, παρατηρώντας τη δυναμική των τιμών δεδομένων που προέρχονται από το σύστημα ελέγχου διαδικασίας, μπορείτε ήδη να μάθετε πολλά:

Σχήμα 4 Δυναμική της κατάστασης της αντλίας στο φόντο ενός "σημαδιού" ενός ελαττώματος ενός δεδομένου τύπου

Αλλά η οπτική αντίληψη (τουλάχιστον προς το παρόν) δεν είναι η πιο κατάλληλη γεννήτρια «ετικέτες» στο ταχέως μεταβαλλόμενο σενάριο μας. Θα αξιολογήσουμε την ομοιότητα της τρέχουσας κατάστασης της αντλίας με τα αναφερόμενα ελαττώματα χρησιμοποιώντας μια στατιστική δοκιμή.

Σχήμα 5 Εφαρμογή στατιστικής δοκιμής στα εισερχόμενα δεδομένα στο πλαίσιο μιας «ετικέτας» ελαττώματος

Μια στατιστική δοκιμή καθορίζει την πιθανότητα οι εγγραφές με τις τιμές των παραμέτρων της τεχνολογικής διαδικασίας στο "πακέτο ροής" που λαμβάνεται από το σύστημα ελέγχου διαδικασίας να είναι παρόμοιες με τις εγγραφές της "ετικέτας" ενός ελαττώματος συγκεκριμένου τύπου. Η τιμή πιθανότητας (δείκτης στατιστικής ομοιότητας) που υπολογίζεται ως αποτέλεσμα της εφαρμογής μιας στατιστικής δοκιμής μετατρέπεται σε τιμή 0 ή 1, και γίνεται «ετικέτα» για μηχανική εκμάθηση σε κάθε συγκεκριμένη εγγραφή στο πακέτο που εξετάζεται για ομοιότητα. Δηλαδή, αφού επεξεργαστούμε ένα νέο πακέτο εγγραφών κατάστασης αντλίας με στατιστική δοκιμή, έχουμε την ευκαιρία να (α) προσθέσουμε αυτό το πακέτο στο εκπαιδευτικό σετ για την εκπαίδευση του μοντέλου AI/ML και (β) να πραγματοποιήσουμε ποιοτικό έλεγχο του τρέχουσα έκδοση του μοντέλου όταν το χρησιμοποιείτε σε αυτό το πακέτο.

Εικόνα 6 Εφαρμογή ενός μοντέλου μηχανικής εκμάθησης στα εισερχόμενα δεδομένα στο πλαίσιο μιας «ετικέτας» ελαττώματος

Σε ένα από τα προηγούμενα μας διαδικτυακά σεμινάρια Δείχνουμε και εξηγούμε πώς η πλατφόρμα IRIS της InterSystems σάς επιτρέπει να εφαρμόσετε οποιονδήποτε μηχανισμό AI/ML με τη μορφή συνεχούς εκτέλεσης επιχειρηματικών διαδικασιών που παρακολουθούν την αξιοπιστία των αποτελεσμάτων μοντελοποίησης και προσαρμόζουν τις παραμέτρους του μοντέλου. Κατά την υλοποίηση ενός πρωτοτύπου του σεναρίου μας με αντλίες, χρησιμοποιούμε όλες τις λειτουργίες InterSystems IRIS που παρουσιάστηκαν κατά τη διάρκεια του διαδικτυακού σεμιναρίου - υλοποιώντας στη διαδικασία του αναλυτή ως μέρος της λύσης μας όχι κλασική εποπτευόμενη μάθηση, αλλά μάλλον ενισχυτική μάθηση, η οποία διαχειρίζεται αυτόματα την επιλογή για μοντέλα εκπαίδευσης . Το δείγμα εκπαίδευσης περιέχει αρχεία στα οποία προκύπτει μια «συναίνεση ανίχνευσης» μετά την εφαρμογή τόσο της στατιστικής δοκιμής όσο και της τρέχουσας έκδοσης του μοντέλου - δηλαδή, τόσο η στατιστική δοκιμή (μετά τη μετατροπή του δείκτη ομοιότητας σε 0 ή 1) όσο και το μοντέλο παρήγαγε το αποτέλεσμα σε τέτοια αρχεία 1. Κατά τη νέα εκπαίδευση του μοντέλου, κατά την επικύρωσή του (το νεοεκπαιδευμένο μοντέλο εφαρμόζεται στο δικό του δείγμα εκπαίδευσης, με προκαταρκτική εφαρμογή στατιστικής δοκιμής σε αυτό), εγγραφές που «δεν διατήρησαν» το αποτέλεσμα 1 μετά την επεξεργασία με τη στατιστική δοκιμή (λόγω της συνεχούς παρουσίας στην εκπαίδευση δείγμα εγγραφών από την αρχική "ετικέτα" του ελαττώματος), αφαιρούνται από το σετ εκπαίδευσης και μια νέα έκδοση του μοντέλου μαθαίνει από την "ετικέτα" του ελάττωμα συν τα «διατηρημένα» αρχεία από τη ροή.

Εικόνα 7 Ρομποτοποίηση υπολογισμών AI/ML στο InterSystems IRIS

Εάν υπάρχει ανάγκη για ένα είδος «δεύτερης γνώμης» σχετικά με την ποιότητα της ανίχνευσης που λαμβάνεται κατά τους τοπικούς υπολογισμούς στο InterSystems IRIS, δημιουργείται μια διαδικασία συμβούλου για την εκτέλεση εκπαίδευσης και εφαρμογής μοντέλων σε ένα σύνολο δεδομένων ελέγχου χρησιμοποιώντας υπηρεσίες cloud (για παράδειγμα, Microsoft Azure, Amazon Web Services, Google Cloud Platform, κ.λπ.):

Εικόνα 8 Δεύτερη γνώμη από το Microsoft Azure που ενορχηστρώθηκε από την InterSystems IRIS

Το πρωτότυπο του σεναρίου μας στο InterSystems IRIS έχει σχεδιαστεί ως ένα σύστημα αναλυτικών διαδικασιών βασισμένο σε πράκτορες που αλληλεπιδρούν με ένα αντικείμενο εξοπλισμού (αντλία), μαθηματικά περιβάλλοντα μοντελοποίησης (Python, R και Julia) και διασφαλίζουν την αυτομάθηση όλων των εμπλεκόμενων AI/ Μηχανισμοί ML - σε ροές δεδομένων σε πραγματικό χρόνο .

Εικόνα 9 Κύρια λειτουργικότητα της λύσης AI/ML σε πραγματικό χρόνο στο InterSystems IRIS

Το πρακτικό αποτέλεσμα του πρωτοτύπου μας:

• Δείγμα ελαττώματος που αναγνωρίστηκε από το μοντέλο (12 Ιανουαρίου):

• Ένα αναπτυσσόμενο ελάττωμα που αναγνωρίστηκε από το μοντέλο και δεν συμπεριλήφθηκε στο δείγμα (11 Σεπτεμβρίου, το ίδιο το ελάττωμα εντοπίστηκε από την ομάδα επισκευής μόνο δύο ημέρες αργότερα, στις 13 Σεπτεμβρίου):

Η προσομοίωση σε πραγματικά δεδομένα που περιέχουν πολλά επεισόδια του ίδιου ελαττώματος έδειξε ότι η λύση μας, που εφαρμόζεται στην πλατφόρμα InterSystems IRIS, μας επιτρέπει να εντοπίσουμε την ανάπτυξη ελαττωμάτων αυτού του τύπου αρκετές ημέρες πριν εντοπιστούν από την ομάδα επισκευής.

InterSystems IRIS - μια καθολική πλατφόρμα υπολογιστών AI/ML σε πραγματικό χρόνο

Η πλατφόρμα IRIS της InterSystems απλοποιεί την ανάπτυξη, την ανάπτυξη και τη λειτουργία λύσεων δεδομένων σε πραγματικό χρόνο. Η InterSystems IRIS είναι σε θέση να εκτελεί ταυτόχρονα συναλλακτική και αναλυτική επεξεργασία δεδομένων. υποστήριξη συγχρονισμένων προβολών δεδομένων σύμφωνα με πολλαπλά μοντέλα (συμπεριλαμβανομένων σχεσιακών, ιεραρχικών, αντικειμένων και εγγράφων). λειτουργεί ως πλατφόρμα για την ενοποίηση ενός ευρέος φάσματος πηγών δεδομένων και μεμονωμένων εφαρμογών· παρέχει προηγμένες αναλύσεις σε πραγματικό χρόνο σε δομημένα και μη δομημένα δεδομένα. Η InterSystems IRIS παρέχει επίσης μηχανισμούς για τη χρήση εξωτερικών αναλυτικών εργαλείων και επιτρέπει ευέλικτο συνδυασμό φιλοξενίας στο cloud και σε τοπικούς διακομιστές.

Οι εφαρμογές που βασίζονται στην πλατφόρμα InterSystems IRIS αναπτύσσονται σε διάφορους κλάδους, βοηθώντας τις εταιρείες να επιτύχουν σημαντικά οικονομικά οφέλη από στρατηγική και επιχειρησιακή προοπτική, αυξάνοντας τη λήψη τεκμηριωμένων αποφάσεων και γεφυρώνοντας τα κενά μεταξύ γεγονότων, ανάλυσης και δράσης.

Εικόνα 10 Αρχιτεκτονική IRIS InterSystems στο πλαίσιο AI/ML σε πραγματικό χρόνο

Όπως και το προηγούμενο διάγραμμα, το παρακάτω διάγραμμα συνδυάζει το νέο «σύστημα συντεταγμένων» (CD/CI/CT) με ένα διάγραμμα της ροής πληροφοριών μεταξύ των στοιχείων εργασίας της πλατφόρμας. Η οπτικοποίηση ξεκινά με τον μακρομηχανισμό CD και συνεχίζει με τους μακρομηχανισμούς CI και CT.

Εικόνα 11 Διάγραμμα ροών πληροφοριών μεταξύ στοιχείων AI/ML της πλατφόρμας InterSystems IRIS

Η ουσία του μηχανισμού CD στο InterSystems IRIS: χρήστες πλατφόρμας (προγραμματιστές λύσεων AI/ML) προσαρμόζουν τις υπάρχουσες ή/και δημιουργούν νέες εξελίξεις AI/ML χρησιμοποιώντας έναν εξειδικευμένο επεξεργαστή κώδικα για μηχανισμούς AI/ML: Jupyter (πλήρες όνομα: Jupyter Notebook; για συντομία, τα έγγραφα που δημιουργούνται σε αυτόν τον επεξεργαστή ονομάζονται επίσης μερικές φορές). Στο Jupyter, ένας προγραμματιστής έχει την ευκαιρία να γράψει, να διορθώσει και να επαληθεύσει την απόδοση (συμπεριλαμβανομένης της χρήσης γραφικών) μιας συγκεκριμένης ανάπτυξης AI/ML προτού τοποθετηθεί ("αναπτυχθεί") στο InterSystems IRIS. Είναι σαφές ότι μια νέα ανάπτυξη που δημιουργήθηκε με αυτόν τον τρόπο θα λάβει μόνο βασικό εντοπισμό σφαλμάτων (καθώς, ειδικότερα, το Jupyter δεν λειτουργεί με ροές δεδομένων σε πραγματικό χρόνο) - αυτό είναι στη σειρά των πραγμάτων, επειδή το κύριο αποτέλεσμα της ανάπτυξης στο Jupyter είναι επιβεβαίωση της θεμελιώδους λειτουργικότητας ενός ξεχωριστού μηχανισμού AI / ML («εμφανίζει το αναμενόμενο αποτέλεσμα σε ένα δείγμα δεδομένων»). Ομοίως, ένας μηχανισμός που έχει ήδη τοποθετηθεί στην πλατφόρμα (δείτε τους ακόλουθους μακρο-μηχανισμούς) πριν από τον εντοπισμό σφαλμάτων στο Jupyter μπορεί να απαιτεί μια "επαναστροφή" σε μια φόρμα "προ-πλατφόρμας" (ανάγνωση δεδομένων από αρχεία, εργασία με δεδομένα μέσω xDBC αντί για πίνακες, άμεση αλληλεπίδραση με παγκόσμια - πολυδιάστατοι πίνακες δεδομένων InterSystems IRIS – κ.λπ.).

Μια σημαντική πτυχή της υλοποίησης CD στην InterSystems IRIS: η αμφίδρομη ολοκλήρωση έχει εφαρμοστεί μεταξύ της πλατφόρμας και του Jupyter, επιτρέποντας τη μεταφορά περιεχομένου σε Python, R και Julia στην πλατφόρμα (και, στη συνέχεια, επεξεργασία στην πλατφόρμα) (και οι τρεις είναι προγραμματιστές γλώσσες στις αντίστοιχες κορυφαίες γλώσσες ανοιχτού κώδικα). περιβάλλοντα μαθηματικής μοντελοποίησης πηγής). Έτσι, οι προγραμματιστές περιεχομένου AI/ML έχουν την ευκαιρία να πραγματοποιήσουν «συνεχή ανάπτυξη» αυτού του περιεχομένου στην πλατφόρμα, δουλεύοντας στο οικείο πρόγραμμα επεξεργασίας Jupyter, με γνωστές βιβλιοθήκες που είναι διαθέσιμες σε Python, R, Julia και πραγματοποιώντας βασική διόρθωση σφαλμάτων (εάν είναι απαραίτητο). έξω από την πλατφόρμα.

Ας προχωρήσουμε στον μηχανισμό μακροεντολής CI στο InterSystems IRIS. Το διάγραμμα δείχνει τη διαδικασία μακροεντολής του «ρομποτικό σε πραγματικό χρόνο» (ένα σύμπλεγμα δομών δεδομένων, επιχειρηματικών διαδικασιών και θραυσμάτων κώδικα ενορχηστρωμένων από αυτούς σε μαθηματικές γλώσσες και ObjectScript - τη μητρική γλώσσα ανάπτυξης της InterSystems IRIS). Το καθήκον αυτής της διαδικασίας μακροεντολής είναι να διατηρεί τις ουρές δεδομένων που είναι απαραίτητες για τη λειτουργία των μηχανισμών AI/ML (με βάση ροές δεδομένων που μεταδίδονται στην πλατφόρμα σε πραγματικό χρόνο), να λαμβάνει αποφάσεις σχετικά με τη σειρά εφαρμογών και την «συνοικία» του AI/ Οι μηχανισμοί ML (είναι επίσης «μαθηματικοί αλγόριθμοι», «μοντέλα» κ.λπ. – μπορούν να ονομάζονται διαφορετικά ανάλογα με τις ιδιαιτερότητες της υλοποίησης και τις ορολογικές προτιμήσεις), διατηρούν ενημερωμένες τις δομές δεδομένων για την ανάλυση των αποτελεσμάτων της εργασίας του AI/ Μηχανισμοί ML (κύβοι, πίνακες, πολυδιάστατοι πίνακες δεδομένων κ.λπ.) κ.λπ. – για αναφορές, πίνακες εργαλείων κ.λπ.).

Μια σημαντική πτυχή της υλοποίησης CI στο InterSystems IRIS: έχει εφαρμοστεί αμφίδρομη ολοκλήρωση μεταξύ της πλατφόρμας και των μαθηματικών περιβαλλόντων μοντελοποίησης, επιτρέποντάς σας να εκτελέσετε περιεχόμενο που φιλοξενείται στην πλατφόρμα σε Python, R και Julia στα αντίστοιχα περιβάλλοντά τους και να λάβετε πίσω τα αποτελέσματα της εκτέλεσης. Αυτή η ενοποίηση υλοποιείται τόσο σε "τερματικό τρόπο" (δηλαδή, το περιεχόμενο AI/ML έχει διαμορφωθεί ως κώδικας ObjectScript που πραγματοποιεί κλήσεις προς το περιβάλλον) όσο και σε "λειτουργία επιχειρηματικής διαδικασίας" (δηλαδή, το περιεχόμενο AI/ML διαμορφώνεται ως επιχειρηματική διαδικασία χρησιμοποιώντας ένα πρόγραμμα επεξεργασίας γραφικών ή μερικές φορές χρησιμοποιώντας το Jupyter ή χρησιμοποιώντας ένα IDE - IRIS Studio, Eclipse, Visual Studio Code). Η διαθεσιμότητα επιχειρηματικών διαδικασιών για επεξεργασία στο Jupyter αντικατοπτρίζεται μέσω της σύνδεσης μεταξύ του IRIS σε επίπεδο CI και του Jupyter σε επίπεδο CD. Μια πιο λεπτομερής επισκόπηση της ολοκλήρωσης με περιβάλλοντα μαθηματικής μοντελοποίησης παρέχεται παρακάτω. Σε αυτό το στάδιο, κατά τη γνώμη μας, υπάρχει κάθε λόγος να διασφαλίσουμε ότι η πλατφόρμα διαθέτει όλα τα απαραίτητα εργαλεία για την υλοποίηση της «συνεχούς ενοποίησης» των εξελίξεων AI/ML (που προέρχονται από τη «συνεχή ανάπτυξη») σε λύσεις AI/ML σε πραγματικό χρόνο.

Και ο κύριος μακρομηχανισμός: CT. Χωρίς αυτήν, δεν θα υπάρχει πλατφόρμα AI/ML (αν και ο «πραγματικός χρόνος» θα υλοποιηθεί μέσω CD/CI). Η ουσία του CT είναι η εργασία της πλατφόρμας με «τεχνουργήματα» μηχανικής μάθησης και τεχνητής νοημοσύνης απευθείας σε συνεδρίες εργασίας μαθηματικών περιβαλλόντων μοντελοποίησης: μοντέλα, πίνακες διανομής, διανύσματα μήτρας, στρώματα νευρωνικών δικτύων κ.λπ. Αυτό το «έργο», στις περισσότερες περιπτώσεις, συνίσταται στη δημιουργία των αναφερόμενων αντικειμένων σε περιβάλλοντα (στην περίπτωση των μοντέλων, για παράδειγμα, η «δημιουργία» συνίσταται στον καθορισμό των προδιαγραφών του μοντέλου και στη συνέχεια στην επιλογή των τιμών των παραμέτρων του - η λεγόμενη «εκπαίδευση» του μοντέλου), η εφαρμογή τους (για μοντέλα: υπολογισμός με τη βοήθεια των τιμών «μοντέλου» των μεταβλητών-στόχων - προβλέψεις, συμμετοχή σε κατηγορία, πιθανότητα ενός συμβάντος κ.λπ.) και βελτίωση των ήδη δημιουργήθηκαν και εφαρμόστηκαν τεχνουργήματα (για παράδειγμα, επαναπροσδιορισμός ενός συνόλου μεταβλητών εισόδου μοντέλου με βάση τα αποτελέσματα της εφαρμογής - προκειμένου να βελτιωθεί η ακρίβεια της πρόβλεψης, ως επιλογή). Το βασικό σημείο για την κατανόηση του ρόλου του CT είναι η «αφαίρεση» του από τις πραγματικότητες των CD και CI: το CT θα εφαρμόσει όλα τα τεχνουργήματα, εστιάζοντας στις υπολογιστικές και μαθηματικές ιδιαιτερότητες της λύσης AI/ML εντός των δυνατοτήτων που παρέχονται από συγκεκριμένα περιβάλλοντα. Η ευθύνη για την «παροχή εισροών» και «παροχή εκροών» θα είναι ευθύνη του CD και του CI.

Μια σημαντική πτυχή της υλοποίησης του CT ειδικά στο InterSystems IRIS: χρησιμοποιώντας την ενσωμάτωση με περιβάλλοντα μαθηματικών μοντελοποίησης που αναφέρθηκαν ήδη παραπάνω, η πλατφόρμα έχει τη δυνατότητα να εξάγει αυτά τα τεχνουργήματα από συνεδρίες εργασίας που εκτελούνται υπό τον έλεγχό της σε μαθηματικά περιβάλλοντα και (το πιο σημαντικό) σε αντικείμενα δεδομένων πλατφόρμας. Για παράδειγμα, ένας πίνακας διανομής που μόλις δημιουργήθηκε σε μια λειτουργική περίοδο λειτουργίας Python μπορεί (χωρίς να σταματήσει η συνεδρία Python) να μεταφερθεί στην πλατφόρμα με τη μορφή, για παράδειγμα, ενός καθολικού (ένας πολυδιάστατος πίνακας δεδομένων InterSystems IRIS) - και να χρησιμοποιηθεί για υπολογισμούς σε άλλο μηχανισμό AI/ML- (που υλοποιείται στη γλώσσα άλλου περιβάλλοντος - για παράδειγμα, στο R) - ή σε έναν εικονικό πίνακα. Ένα άλλο παράδειγμα: παράλληλα με την «κανονική λειτουργία» της λειτουργίας του μοντέλου (στην συνεδρία εργασίας Python), πραγματοποιείται «auto-ML» στα δεδομένα εισόδου του: αυτόματη επιλογή βέλτιστων μεταβλητών εισόδου και τιμών παραμέτρων. Και μαζί με την "κανονική" εκπαίδευση, ένα παραγωγικό μοντέλο σε πραγματικό χρόνο λαμβάνει επίσης μια "πρόταση βελτιστοποίησης" των προδιαγραφών του - στην οποία αλλάζει το σύνολο των μεταβλητών εισόδου, αλλάζουν οι τιμές των παραμέτρων (όχι πλέον ως αποτέλεσμα εκπαίδευσης στην Python, αλλά ως αποτέλεσμα εκπαίδευσης με μια «εναλλακτική» έκδοση του εαυτού της, όπως η στοίβα H2O), που επιτρέπει στη συνολική λύση AI/ML να αντιμετωπίσει αυτόνομα τις απροσδόκητες αλλαγές στη φύση των δεδομένων εισόδου και των φαινομένων που μοντελοποιούνται .

Ας εξοικειωθούμε αναλυτικότερα με τη λειτουργικότητα της πλατφόρμας AI/ML της InterSystems IRIS, χρησιμοποιώντας το παράδειγμα ενός πραγματικού πρωτοτύπου.

Στο παρακάτω διάγραμμα, στην αριστερή πλευρά της διαφάνειας υπάρχει ένα μέρος της επιχειρηματικής διαδικασίας που υλοποιεί την εκτέλεση σεναρίων σε Python και R. Στο κεντρικό τμήμα υπάρχουν οπτικά αρχεία καταγραφής της εκτέλεσης ορισμένων από αυτά τα σενάρια, αντίστοιχα, σε Python και R. Αμέσως πίσω από αυτά υπάρχουν παραδείγματα περιεχομένου σε μια και άλλη γλώσσα, που μεταφέρονται για εκτέλεση στα κατάλληλα περιβάλλοντα. Στο τέλος στα δεξιά υπάρχουν απεικονίσεις που βασίζονται στα αποτελέσματα της εκτέλεσης του σεναρίου. Οι απεικονίσεις στο επάνω μέρος έγιναν στο IRIS Analytics (τα δεδομένα λήφθηκαν από την Python στην πλατφόρμα δεδομένων IRIS InterSystems και εμφανίστηκαν σε πίνακα εργαλείων χρησιμοποιώντας την πλατφόρμα), στο κάτω μέρος έγιναν απευθείας στην περίοδο εργασίας R και εξάγονταν από εκεί σε αρχεία γραφικών . Μια σημαντική πτυχή: το παρουσιαζόμενο τμήμα στο πρωτότυπο είναι υπεύθυνο για την εκπαίδευση του μοντέλου (ταξινόμηση καταστάσεων εξοπλισμού) σε δεδομένα που λαμβάνονται σε πραγματικό χρόνο από τη διαδικασία προσομοιωτή εξοπλισμού, κατόπιν εντολής από τη διαδικασία παρακολούθησης ποιότητας ταξινόμησης που παρατηρήθηκε κατά την εφαρμογή του μοντέλου. Η εφαρμογή μιας λύσης AI/ML με τη μορφή ενός συνόλου διαδικασιών αλληλεπίδρασης («παράγοντες») θα συζητηθεί περαιτέρω.

Εικόνα 12 Αλληλεπίδραση με Python, R και Julia στο InterSystems IRIS

Οι διαδικασίες πλατφόρμας (είναι επίσης "επιχειρηματικές διαδικασίες", "αναλυτικές διεργασίες", "αγωγοί" κ.λπ. - ανάλογα με το πλαίσιο), πρώτα απ 'όλα, επεξεργάζονται στον γραφικό επεξεργαστή επιχειρηματικής διαδικασίας στην ίδια την πλατφόρμα και σε τέτοια τρόπο που τόσο το μπλοκ διάγραμμα του όσο και ο αντίστοιχος μηχανισμός AI/ML (κωδικός προγράμματος) δημιουργούνται ταυτόχρονα. Όταν λέμε ότι "αποκτάται ένας μηχανισμός AI/ML", αρχικά εννοούμε υβριδικότητα (μέσα σε μία διαδικασία): το περιεχόμενο στις γλώσσες των μαθηματικών περιβαλλόντων μοντελοποίησης είναι δίπλα στο περιεχόμενο στην SQL (συμπεριλαμβανομένων των επεκτάσεων από IntegratedML), στο InterSystems ObjectScript, με άλλες υποστηριζόμενες γλώσσες. Επιπλέον, η διαδικασία της πλατφόρμας παρέχει πολύ ευρείες ευκαιρίες για «απόδοση» με τη μορφή ιεραρχικά ένθετων θραυσμάτων (όπως φαίνεται στο παράδειγμα στο παρακάτω διάγραμμα), που σας επιτρέπει να οργανώσετε αποτελεσματικά ακόμη και πολύ περίπλοκο περιεχόμενο χωρίς ποτέ να «πέφτετε έξω». της γραφικής μορφής (σε «μη γραφικές» μορφές). » μέθοδοι/τάξεις/διαδικασίες κ.λπ.). Δηλαδή, εάν είναι απαραίτητο (και προβλέπεται στα περισσότερα έργα), ολόκληρη η λύση AI/ML μπορεί να υλοποιηθεί σε γραφική μορφή αυτο-τεκμηρίωσης. Σημειώστε ότι στο κεντρικό τμήμα του παρακάτω διαγράμματος, το οποίο αντιπροσωπεύει ένα υψηλότερο «επίπεδο ένθεσης», είναι σαφές ότι εκτός από την πραγματική εργασία εκπαίδευσης του μοντέλου (χρησιμοποιώντας Python και R), μια ανάλυση του λεγόμενου Η καμπύλη ROC του εκπαιδευμένου μοντέλου προστίθεται, επιτρέποντας οπτικά (και υπολογιστικά επίσης) να αξιολογήσει την ποιότητα της εκπαίδευσης - και αυτή η ανάλυση υλοποιείται στη γλώσσα Julia (εκτελείται, κατά συνέπεια, στο μαθηματικό περιβάλλον Julia).

Εικόνα 13 Οπτικό περιβάλλον για τη σύνθεση λύσεων AI/ML στο InterSystems IRIS

Όπως αναφέρθηκε προηγουμένως, η αρχική ανάπτυξη και (σε ​​ορισμένες περιπτώσεις) προσαρμογή των μηχανισμών AI/ML που έχουν ήδη εφαρμοστεί στην πλατφόρμα θα/μπορεί να γίνει εκτός της πλατφόρμας στον επεξεργαστή Jupyter. Στο παρακάτω διάγραμμα βλέπουμε ένα παράδειγμα προσαρμογής μιας υπάρχουσας διαδικασίας πλατφόρμας (όπως και στο παραπάνω διάγραμμα) - έτσι φαίνεται στο Jupyter το τμήμα που είναι υπεύθυνο για την εκπαίδευση του μοντέλου. Το περιεχόμενο Python είναι διαθέσιμο για επεξεργασία, εντοπισμό σφαλμάτων και έξοδο γραφικών απευθείας στο Jupyter. Οι αλλαγές (εάν είναι απαραίτητο) μπορούν να γίνουν με άμεσο συγχρονισμό στη διαδικασία της πλατφόρμας, συμπεριλαμβανομένης της παραγωγικής της έκδοσης. Νέο περιεχόμενο μπορεί να μεταφερθεί στην πλατφόρμα με παρόμοιο τρόπο (δημιουργείται αυτόματα μια νέα διαδικασία πλατφόρμας).

Εικόνα 14 Χρήση του Jupyter Notebook για επεξεργασία του κινητήρα AI/ML στην πλατφόρμα InterSystems IRIS

Η προσαρμογή μιας διαδικασίας πλατφόρμας μπορεί να πραγματοποιηθεί όχι μόνο σε μορφή γραφικού ή φορητού υπολογιστή - αλλά και σε μορφή «ολικού» IDE (Integrated Development Environment). Αυτά τα IDE είναι το IRIS Studio (εγγενές στούντιο IRIS), το Visual Studio Code (επέκταση IRIS InterSystems για VSCode) και το Eclipse (πρόσθετο Atelier). Σε ορισμένες περιπτώσεις, είναι δυνατό για μια ομάδα ανάπτυξης να χρησιμοποιήσει και τα τρία IDE ταυτόχρονα. Το παρακάτω διάγραμμα δείχνει ένα παράδειγμα επεξεργασίας της ίδιας διαδικασίας στο IRIS studio, στο Visual Studio Code και στο Eclipse. Απολύτως όλο το περιεχόμενο είναι διαθέσιμο για επεξεργασία: Python/R/Julia/SQL, ObjectScript και επιχειρηματική διαδικασία.

Εικόνα 15 Ανάπτυξη της επιχειρηματικής διαδικασίας InterSystems IRIS σε διάφορα IDE

Αξίζουν ιδιαίτερης αναφοράς τα εργαλεία για την περιγραφή και την εκτέλεση των επιχειρηματικών διαδικασιών της InterSystems IRIS στη γλώσσα Business Process Language (BPL). Η BPL καθιστά δυνατή τη χρήση «έτοιμων στοιχείων ολοκλήρωσης» (δραστηριότητες) στις επιχειρηματικές διαδικασίες - γεγονός που, στην πραγματικότητα, δίνει κάθε λόγο να πούμε ότι η «συνεχής ενοποίηση» εφαρμόζεται στο InterSystems IRIS. Τα έτοιμα στοιχεία επιχειρηματικής διαδικασίας (δραστηριότητες και συνδέσεις μεταξύ τους) είναι ένας ισχυρός επιταχυντής για τη συναρμολόγηση μιας λύσης AI/ML. Και όχι μόνο συνελεύσεις: χάρη στις δραστηριότητες και τις διασυνδέσεις μεταξύ τους για ανόμοιες εξελίξεις και μηχανισμούς AI/ML, δημιουργείται ένα «αυτόνομο επίπεδο διαχείρισης», ικανό να λαμβάνει αποφάσεις ανάλογα με την κατάσταση, σε πραγματικό χρόνο.

Εικόνα 16 Έτοιμα στοιχεία επιχειρηματικής διαδικασίας για συνεχή ενοποίηση (CI) στην πλατφόρμα IRIS της InterSystems

Η έννοια των συστημάτων πρακτόρων (επίσης γνωστή ως «συστήματα πολλαπλών πρακτόρων») κατέχει ισχυρή θέση στη ρομποτοποίηση και η πλατφόρμα InterSystems IRIS την υποστηρίζει οργανικά μέσω της κατασκευής «προϊόν-διαδικασία». Εκτός από τις απεριόριστες δυνατότητες «γέμισης» κάθε διεργασίας με τη λειτουργικότητα που απαιτείται για τη συνολική λύση, το σύστημα διαδικασιών πλατφόρμας με την ιδιότητα του «πρακτορείου» σας επιτρέπει να δημιουργείτε αποτελεσματικές λύσεις για εξαιρετικά ασταθή προσομοιωμένα φαινόμενα (συμπεριφορά κοινωνικών/ βιοσυστήματα, μερικώς παρατηρήσιμες τεχνολογικές διεργασίες κ.λπ.).

Εικόνα 16 Λειτουργία μιας λύσης AI/ML ως σύστημα επιχειρηματικής διαδικασίας που βασίζεται σε πράκτορες στο InterSystems IRIS

Συνεχίζουμε την ανασκόπηση του InterSystems IRIS με μια ιστορία σχετικά με την εφαρμοσμένη χρήση της πλατφόρμας για την επίλυση ολόκληρων κατηγοριών προβλημάτων σε πραγματικό χρόνο (μια αρκετά λεπτομερής εισαγωγή σε μερικές από τις βέλτιστες πρακτικές της πλατφόρμας AI/ML στο InterSystems IRIS μπορεί να βρεθεί σε ένα του προηγούμενου μας διαδικτυακά σεμινάρια).

Hot on the heels του προηγούμενου διαγράμματος, παρακάτω είναι ένα πιο λεπτομερές διάγραμμα του συστήματος πράκτορα. Το διάγραμμα δείχνει το ίδιο πρωτότυπο, είναι ορατές και οι τέσσερις διεργασίες agent, οι σχέσεις μεταξύ τους σχεδιάζονται σχηματικά: GENERATOR - επεξεργάζεται τη δημιουργία δεδομένων από αισθητήρες εξοπλισμού, BUFFER - διαχειρίζεται ουρές δεδομένων, ANALYZER - εκτελεί ο ίδιος μηχανική εκμάθηση, MONITOR - παρακολουθεί την ποιότητα της μηχανικής μάθησης και υποβάλλει ένα μήνυμα σχετικά με την ανάγκη επανεκπαίδευσης του μοντέλου.

Σχήμα 17 Σύνθεση μιας λύσης AI/ML με τη μορφή ενός συστήματος επιχειρησιακών διαδικασιών που βασίζεται σε πράκτορες στο InterSystems IRIS

Το παρακάτω διάγραμμα απεικονίζει την αυτόνομη λειτουργία ενός άλλου ρομποτικού πρωτοτύπου (αναγνώριση του συναισθηματικού χρωματισμού των κειμένων) για κάποιο χρονικό διάστημα. Στο πάνω μέρος είναι η εξέλιξη του δείκτη ποιότητας της εκπαίδευσης μοντέλου (η ποιότητα αυξάνεται), στο κάτω μέρος είναι η δυναμική του δείκτη ποιότητας εφαρμογής του μοντέλου και τα γεγονότα της επαναλαμβανόμενης εκπαίδευσης (κόκκινες ρίγες). Όπως μπορείτε να δείτε, η λύση έχει μάθει αποτελεσματικά και αυτόνομα και λειτουργεί σε ένα δεδομένο επίπεδο ποιότητας (οι τιμές βαθμολογίας ποιότητας δεν πέφτουν κάτω από 80%).

Εικόνα 18 Συνεχής (αυτο)εκπαίδευση (CT) στην πλατφόρμα IRIS της InterSystems

Αναφέραμε επίσης το "auto-ML" νωρίτερα, αλλά το παρακάτω διάγραμμα δείχνει τη χρήση αυτής της λειτουργίας λεπτομερώς χρησιμοποιώντας το παράδειγμα ενός άλλου πρωτοτύπου. Το γραφικό διάγραμμα ενός τμήματος μιας επιχειρηματικής διαδικασίας δείχνει τη δραστηριότητα που ενεργοποιεί τη μοντελοποίηση στη στοίβα H2O, δείχνει τα αποτελέσματα αυτής της μοντελοποίησης (η σαφή κυριαρχία του προκύπτοντος μοντέλου έναντι των «τεχνητών» μοντέλων, σύμφωνα με το συγκριτικό διάγραμμα του Καμπύλες ROC, καθώς και η αυτοματοποιημένη αναγνώριση των «μεταβλητών με τη μεγαλύτερη επιρροή» που είναι διαθέσιμες στο αρχικό σύνολο δεδομένων). Ένα σημαντικό σημείο εδώ είναι η εξοικονόμηση χρόνου και πόρων ειδικών που επιτυγχάνεται μέσω του "auto-ML": αυτό που κάνει η διαδικασία της πλατφόρμας μας σε μισό λεπτό (εύρεση και εκπαίδευση του βέλτιστου μοντέλου) μπορεί να διαρκέσει έναν ειδικό από μια εβδομάδα έως έναν μήνα.

Εικόνα 19 Ενσωμάτωση του "auto-ML" σε μια λύση AI/ML στην πλατφόρμα InterSystems IRIS

Το παρακάτω διάγραμμα χάνει λίγο την ουσία, αλλά είναι ένας καλός τρόπος για να τελειώσει η ιστορία για τις κατηγορίες προβλημάτων σε πραγματικό χρόνο που επιλύονται: σας υπενθυμίζουμε ότι με όλες τις δυνατότητες της πλατφόρμας InterSystems IRIS, τα μοντέλα εκπαίδευσης υπό τον έλεγχό της είναι όχι υποχρεωτική. Η πλατφόρμα μπορεί να λάβει από έξω τις λεγόμενες προδιαγραφές PMML του μοντέλου, εκπαιδευμένες σε ένα εργαλείο που δεν βρίσκεται υπό τον έλεγχο της πλατφόρμας - και να εφαρμόσει αυτό το μοντέλο σε πραγματικό χρόνο από τη στιγμή που εισάγεται Προδιαγραφές PMML. Είναι σημαντικό να ληφθεί υπόψη ότι δεν μπορούν να περιοριστούν όλα τα τεχνουργήματα AI/ML σε προδιαγραφές PMML, ακόμα κι αν τα περισσότερα από τα πιο κοινά τεχνουργήματα το επιτρέπουν. Έτσι, η πλατφόρμα IRIS της InterSystems είναι «ανοιχτός βρόχος» και δεν σημαίνει «σκλαβιά της πλατφόρμας» για τους χρήστες.

Εικόνα 20 Ενσωμάτωση του "auto-ML" σε μια λύση AI/ML στην πλατφόρμα InterSystems IRIS

Ας απαριθμήσουμε τα πρόσθετα πλεονεκτήματα της πλατφόρμας της InterSystems IRIS (για σαφήνεια, σε σχέση με τον έλεγχο διεργασιών), τα οποία έχουν μεγάλη σημασία για την αυτοματοποίηση της τεχνητής νοημοσύνης και της μηχανικής μάθησης σε πραγματικό χρόνο:

• Αναπτυγμένα εργαλεία ενοποίησης με οποιεσδήποτε πηγές δεδομένων και καταναλωτές (σύστημα ελέγχου διεργασιών/SCADA, εξοπλισμός, MRO, ERP κ.λπ.)
• Ενσωματωμένο πολλαπλών μοντέλων DBMS για συναλλακτική και αναλυτική επεξεργασία υψηλής απόδοσης (Hybrid Transaction/Analytic Processing, HTAP) οποιουδήποτε όγκου δεδομένων τεχνολογικής διεργασίας
• Εργαλεία ανάπτυξης για συνεχή ανάπτυξη κινητήρων AI/ML για λύσεις σε πραγματικό χρόνο που βασίζονται σε Python, R, Julia
• Προσαρμοστικές επιχειρηματικές διαδικασίες για συνεχή ενοποίηση και (αυτο)εκμάθηση μηχανών λύσεων AI/ML σε πραγματικό χρόνο
• Ενσωματωμένα εργαλεία Business Intelligence για την οπτικοποίηση δεδομένων διεργασιών και των αποτελεσμάτων μιας λύσης AI/ML
• Διαχείριση API για την παράδοση των αποτελεσμάτων της λύσης AI/ML σε συστήματα ελέγχου διεργασιών/SCADA, πληροφοριακά και αναλυτικά συστήματα, αποστολή ειδοποιήσεων κ.λπ.

Οι λύσεις AI/ML στην πλατφόρμα IRIS της InterSystems ταιριάζουν εύκολα στην υπάρχουσα υποδομή πληροφορικής. Η πλατφόρμα InterSystems IRIS διασφαλίζει υψηλή αξιοπιστία των λύσεων AI/ML υποστηρίζοντας διαμορφώσεις ανεκτικές σε σφάλματα και καταστροφές και ευέλικτη ανάπτυξη σε εικονικά περιβάλλοντα, σε φυσικούς διακομιστές, σε ιδιωτικά και δημόσια cloud και κοντέινερ Docker.

Έτσι, η InterSystems IRIS είναι μια καθολική υπολογιστική πλατφόρμα AI/ML σε πραγματικό χρόνο. Η καθολικότητα της πλατφόρμας μας επιβεβαιώνεται στην πράξη από την απουσία de facto περιορισμών στην πολυπλοκότητα των υπολογισμών που εφαρμόζονται, την ικανότητα της InterSystems IRIS να συνδυάζει (σε ​​πραγματικό χρόνο) την επεξεργασία σεναρίων από μια μεγάλη ποικιλία βιομηχανιών και την εξαιρετική προσαρμοστικότητα των οποιεσδήποτε λειτουργίες και μηχανισμοί πλατφόρμας στις συγκεκριμένες ανάγκες των χρηστών.

Εικόνα 21 InterSystems IRIS - μια καθολική πλατφόρμα υπολογιστών AI/ML σε πραγματικό χρόνο

Για μια πιο ουσιαστική αλληλεπίδραση με όσους από τους αναγνώστες μας ενδιαφέρονται για το υλικό που παρουσιάζεται εδώ, συνιστούμε να μην περιοριστείτε στην ανάγνωση και να συνεχίσετε τον διάλογο "ζωντανά". Θα χαρούμε να παρέχουμε υποστήριξη με τη διαμόρφωση σεναρίων AI/ML σε πραγματικό χρόνο σε σχέση με τις ιδιαιτερότητες της εταιρείας σας, να πραγματοποιήσουμε κοινές πρωτοτυπίες στην πλατφόρμα InterSystems IRIS, να διαμορφώσουμε και να εφαρμόσουμε στην πράξη έναν οδικό χάρτη για την εισαγωγή της τεχνητής νοημοσύνης και της μηχανικής μάθησης στις διαδικασίες παραγωγής και διαχείρισης. Email επικοινωνίας με την ομάδα εμπειρογνωμόνων AI/ML – [προστασία μέσω email].

Πηγή: www.habr.com