InterSystems IRIS – universelle AI/ML-Plattform in Echtzeit

Autor: Sergey Lukyanchikov, Ingenieurberater bei InterSystems

Herausforderungen der Echtzeitausführungen von AI/ML-Berechnungen

Lassen Sie uns mit Beispielen aus der Data Science-Praxis von InterSystems beginnen:

• Das „belastete“ Kundenportal ist mit einem Online-Empfehlungssystem verbunden. Es steht eine Umstrukturierung der Promotionsaktionen im gesamten Einzelhandelsnetz bevor (angenommen, anstelle einer „flachen“ Linie von Promotionsaktionen wird jetzt eine Matrix aus „Segment-Taktik“ angewendet). Was geschieht mit den Empfehlungsmechanismen? Was geschieht mit der Bereitstellung und Aktualisierung der Daten im Empfehlungsmechanismus (das Volumen der Eingabedaten hat sich um das 25000-fache erhöht)? Was geschieht mit der Generierung von Empfehlungen (die Notwendigkeit einer tausendfachen Senkung der Filtergrenze für Empfehlungen aufgrund des tausendfachen Anstiegs ihrer Anzahl und Vielfalt)?
• Es gibt ein System zur Überwachung der Wahrscheinlichkeit von Defekten in den Gerätekomponenten. Das System war mit einer SPS verbunden, die tausende Parameter des technologischen Prozesses pro Sekunde überträgt. Was passiert mit dem Überwachungssystem, das zuvor auf „manuellen Stichproben“ basierte (ist es in der Lage, eine sekündliche Überwachung der Wahrscheinlichkeit zu gewährleisten)? Was wird geschehen, wenn in den Eingabedaten ein neuer Block mit mehreren hundert Spalten von Sensorwerten, die kürzlich in die SPS eingebunden wurden, auftaucht (muss das Überwachungssystem gestoppt werden, um die Daten von neuen Sensoren zu analysieren und wie lange)?
• Ein Komplex von AI/ML-Mechanismen (Empfehlungen, Überwachung, Prognosen) wurde erstellt, der die Ergebnisse der anderen nutzt. Wie viele Personstunden sind monatlich erforderlich, um die Funktionsweise dieses Komplexes an die Änderungen der Eingabedaten anzupassen? Wie hoch ist die gesamte „Verlangsamung“ bei der Unterstützung des Entscheidungsprozesses (die Häufigkeit von unterstützenden Informationen im Vergleich zur Häufigkeit neuer Eingabedaten)?

Zusammenfassend kommen wir anhand dieser und vieler anderer Beispiele zu den Herausforderungen, die sich bei der Implementierung von Mechanismen des maschinellen Lernens und der künstlichen Intelligenz in Echtzeit ergeben:

• Entspricht die Geschwindigkeit der Erstellung und Anpassung (an sich ändernde Situationen) von AI/ML-Entwicklungen in unserem Unternehmen unseren Erwartungen?
• Inwieweit unterstützen die von uns verwendeten AI/ML-Lösungen das Management des Unternehmens in Echtzeit?
• Sind die von uns eingesetzten AI/ML-Lösungen in der Lage, sich selbstständig (ohne Entwickler) an Änderungen in den Daten und in der Unternehmensführung anzupassen?

Unser Artikel ist eine umfassende Übersicht über die Möglichkeiten der Plattform InterSystems IRIS in Bezug auf die universelle Unterstützung des Einsatzes von AI/ML-Mechanismen, die Zusammenführung (Integration) von AI/ML-Lösungen und das Training (Testen) von AI/ML-Lösungen auf intensiven Datenströmen. Wir werden uns auf Marktanalysen, praktische Beispiele von AI/ML-Lösungen und konzeptionelle Aspekte dessen beziehen, was wir in diesem Artikel als Echtzeit-AI/ML-Plattform bezeichnen.

Was aus Umfragen bekannt ist: Echtzeitanwendungen

Ergebnisse der Umfrage, durchgeführt unter etwa 800 IT-Professionals im Jahr 2019 von Lightbend, spricht für sich:

Abbildung 1 Führende Nutzer von Echtzeitdaten

Wir zitieren die für uns wichtigen Abschnitte des Berichts zu den Ergebnissen dieser Umfrage in unserer Übersetzung:

„… Die Trends in der Popularität von Integrationsmitteln für Datenströme und gleichzeitig die Unterstützung von Berechnungen in Containern bieten eine synergetische Antwort auf die Nachfrage des Marktes nach schnelleren, effizienteren und dynamischeren Angeboten effektiver Lösungen. Datenströme ermöglichen eine schnellere Informationsübertragung als traditionelle Batch-Daten. Hinzu kommt die Möglichkeit, Berechnungsmethoden, wie zum Beispiel AI/ML-gestützte Empfehlungen, zeitnah anzuwenden, was Wettbewerbsvorteile durch eine erhöhte Zufriedenheit der Kunden schafft. Der Wettlauf um Geschwindigkeit hat auch Auswirkungen auf alle Rollen im DevOps-Paradigma – es steigert die Effizienz der Entwicklung und Bereitstellung von Anwendungen. … Achtundachtzig IT-Professionals gaben Informationen über die Nutzung von Datenströmen in ihren Organisationen. Die Befragten waren überwiegend in westlichen Ländern angesiedelt (41% in Europa und 37% in Nordamerika) und waren praktisch gleichmäßig auf kleine, mittlere und große Unternehmen verteilt. …

Künstliche Intelligenz ist kein Hype. Achtundfünfzig Prozent derjenigen, die bereits Datenströme in produktiven AI/ML-Anwendungen nutzen, bestätigen, dass ihr Einsatz in AI/ML im nächsten Jahr den größten Zuwachs im Vergleich zu anderen Anwendungen erhalten wird.

• Laut der Mehrheit der Befragten wird der Einsatz von Datenströmen in AI/ML-Szenarien im nächsten Jahr den größten Zuwachs erfahren.
• Der Einsatz in AI/ML wird nicht nur durch relativ neue Szenarien zunehmen, sondern auch durch traditionelle Szenarien, in denen Echtzeitdaten zunehmend angewendet werden.
• Zusätzlich zu AI/ML beeindruckt das Maß an Enthusiasmus unter Nutzern von IoT-Datenpipelines — 48% derjenigen, die bereits IoT-Daten integriert haben, sind der Meinung, dass die Implementierung von Szenarien mit diesen Daten in naher Zukunft einen erheblichen Zuwachs erhalten wird. … »

Aus dieser interessanten Umfrage wird deutlich, dass die Wahrnehmung von Maschinenlernen- und KI-Szenarien als Vorreiter im Verbrauch von Datenströmen bereits „im Kommen“ ist. Ebenso wichtig wird jedoch die Wahrnehmung von Echtzeit-AI/ML durch die Linse von DevOps: Hier kann man bereits von einer Transformation der bisher dominierenden Kultur der „einmaligen AI/ML mit vollständig verfügbaren Datensätzen“ sprechen.

Die Konzeption einer Echtzeit-AI/ML-Plattform

Ein typisches Anwendungsgebiet der Echtzeit-AI/ML ist das Management von Produktionsprozessen. Anhand dieses Beispiels und unter Berücksichtigung der vorherigen Überlegungen formulieren wir das Konzept einer Echtzeit-AI/ML-Plattform.
Der Einsatz von Künstlicher Intelligenz und maschinellem Lernen im Management technologischer Prozesse weist einige Besonderheiten auf:

• Daten über den Zustand des technologischen Prozesses werden intensiv übermittelt: mit hoher Frequenz und über ein breites Spektrum an Parametern (bis hin zu Zehntausenden von Parametern, die pro Sekunde von einem SCADA-System übertragen werden)
• Im Gegensatz dazu sind die Daten zur Erkennung von Mängeln, ganz zu schweigen von den Daten über deren Entwicklung, spärlich und unregelmäßig, gekennzeichnet durch eine unzureichende Typisierung der Mängel und deren zeitliche Lokalisierung (oftmals liegen sie in schriftlicher Form vor)
• Aus praktischer Sicht steht für das Training und die Anwendung von Modellen nur das „Relevanzfenster“ der Ausgangsdaten zur Verfügung, das die Dynamik des technologischen Prozesses über einen angemessenen gleitenden Zeitraum widerspiegelt, der mit den zuletzt erfassten Werten der Prozessparameter endet.

Diese Besonderheiten zwingen uns, neben dem Empfang und der grundlegenden Verarbeitung des intensiven „breitbandigen Eingangssignals“ des technologischen Prozesses auch (parallel) die Anwendung, das Training und die Qualitätssicherung der Ergebnisse der AI/ML-Modelle – ebenfalls in Echtzeit – zu realisieren. Der „Frame“, den unsere Modelle im relevanten Fenster „sehen“, ändert sich ständig – und damit auch die Qualität der Ergebnisse der AI/ML-Modelle, die auf einem der „Frames“ in der Vergangenheit trainiert wurden. Bei einer Verschlechterung der Qualität der Ergebnisse der AI/ML-Modelle (z. B.: der Wert des Klassifikationsfehlers „Alarm-Norm“ hat unsere festgelegten Grenzen überschritten) muss das erneute Training der Modelle auf einem aktuelleren „Frame“ automatisch gestartet werden – und der Zeitpunkt für den Start des erneuten Trainings muss sowohl die Dauer des Trainings selbst als auch die Dynamik der Verschlechterung der Qualität der aktuellen Versionen der Modelle berücksichtigen (da die aktuellen Versionen der Modelle weiter angewendet werden, während die Modelle trainiert werden, und bis ihre „erneut trainierten“ Versionen erstellt sind).

InterSystems IRIS verfügt über wichtige plattformseitige Möglichkeiten zur Unterstützung der Arbeit von AI/ML-Lösungen bei der Steuerung von technologischen Prozessen in Echtzeit. Diese Möglichkeiten lassen sich in drei Hauptgruppen unterteilen:

• Kontinuierliche Bereitstellung (Continuous Deployment/Delivery, CD) neuer oder angepasster bestehender AI/ML-Mechanismen in produktive Lösungen, die in Echtzeit auf der InterSystems IRIS-Plattform arbeiten.
• Kontinuierliche Integration (Continuous Integration, CI) in eine einheitliche produktive Lösung für die eingehenden Datenströme des technologischen Prozesses, Datenwarteschlangen für die Anwendung/Training/Qualitätssicherung der AI/ML-Mechanismen und den Datenaustausch/code/kontrollierenden Eingriffe mit den mathematischen Modellierungsumgebungen, deren Orchestrierung in Echtzeit von der InterSystems IRIS-Plattform erfolgt.
• Kontinuierliches (Selbst-)Lernen (Continuous Training, CT) von AI/ML-Mechanismen, durchgeführt in mathematischen Simulationsumgebungen unter Verwendung von Daten, Code und Steuerungsmaßnahmen ("getroffenen Entscheidungen"), die von der InterSystems IRIS Plattform übermittelt werden.

Die Klassifizierung der plattformbezogenen Möglichkeiten hinsichtlich des maschinellen Lernens und der künstlichen Intelligenz ist nicht zufällig und wird in Methodologischer Weise zitiert. Veröffentlichung von Google, die das konzeptionelle Fundament für diese Klassifikation legt, in unserer Übersetzung:

"... Das heutige beliebte Konzept DevOps umfasst die Entwicklung und den Betrieb groß angelegter Informationssysteme. Die Vorteile der Implementierung dieses Konzepts sind die Verkürzung der Entwicklungszyklen, die Beschleunigung der Bereitstellung von Entwicklungen und die Flexibilität bei der Planung von Releases. Um diese Vorteile zu realisieren, sieht DevOps die Implementierung von mindestens zwei Praktiken vor:

• Continuous Integration (CI)
• Continuous Delivery (CD)

Diese Praktiken sind auch auf AI/ML-Plattformen anwendbar – um eine zuverlässige und leistungsfähige Erstellung produktiver AI/ML-Lösungen zu gewährleisten.

AI/ML-Plattformen unterscheiden sich in folgenden Aspekten von anderen Informationssystemen:

• Kompetenzen des Teams: Bei der Erstellung einer AI/ML-Lösung umfasst das Team in der Regel Data Scientists oder Experten aus der Wissenschaft, die Datenanalysen, die Entwicklung und das Testen von Modellen durchführen. Diese Teammitglieder sind möglicherweise keine professionellen Entwickler produktiven Codes.
• Entwicklung: AI/ML-Mechanismen sind experimentell von Natur aus. Um ein Problem auf die effizienteste Weise zu lösen, müssen verschiedene Kombinationen von Eingangsvariablen, Algorithmen, Modellierungsmethoden und Modellparametern durchlaufen werden. Die Schwierigkeit dabei besteht darin, nachzuvollziehen, "was funktioniert hat/nicht funktioniert hat", die Reproduzierbarkeit von Episoden sicherzustellen und die Entwicklungen für wiederholte Implementierungen zu verallgemeinern.
• Tests: Das Testen von AI/ML-Mechanismen erfordert ein breiteres Spektrum an Tests als die meisten anderen Entwicklungen. Neben den typischen Modul- und Integrationstests werden die Gültigkeit der Daten und die Qualität der Ergebnisse der Anwendung des Modells auf Trainings- und Testdaten überprüft.
• Bereitstellung: Die Bereitstellung von AI/ML-Lösungen beschränkt sich nicht auf prädiktive Dienste, die ein einmal trainiertes Modell anwenden. AI/ML-Lösungen werden um mehrstufige Pipelines aufgebaut, die automatisiertes Training und Anwendung von Modellen durchführen. Die Bereitstellung solcher Pipelines beinhaltet die Automatisierung nicht trivialisierbarer Aktionen, die traditionell von Data Scientists manuell durchgeführt werden, um die Möglichkeit zu schaffen, Modelle zu trainieren und zu testen.
• Produktivität: AI/ML-Mechanismen können nicht nur aufgrund ineffizienter Programmierung an Leistung verlieren, sondern auch wegen der sich ständig ändernden Natur der Eingabedaten. Mit anderen Worten, die Leistung von AI/ML-Mechanismen kann aus einem breiteren Spektrum von Gründen degenerieren als die Leistung herkömmlicher Entwicklungen. Dies führt zu der Notwendigkeit, die Leistung unserer AI/ML-Mechanismen in Echtzeit zu überwachen sowie Benachrichtigungen zu versenden oder Ergebnisse abzulehnen, wenn die Leistungskennzahlen nicht den Erwartungen entsprechen.

AI/ML-Plattformen ähneln anderen Informationssystemen insofern, als beide eine kontinuierliche Integration von Code mit Versionskontrolle, Modulprüfungen, Integrationstests und eine kontinuierliche Bereitstellung von Entwicklungen benötigen. Dennoch gibt es im Fall von AI/ML mehrere wichtige Unterschiede:

• CI (Continuous Integration, kontinuierliche Integration) beschränkt sich nicht mehr nur auf das Testen und Validieren des Codes von bereitgestellten Komponenten – sie umfasst auch das Testen und Validieren von Daten und AI/ML-Modellen.
• CD (Continuous Delivery/Deployment, kontinuierliche Bereitstellung) beschränkt sich nicht auf das Schreiben und die Veröffentlichung von Paketen oder Diensten, sondern bezieht sich auf eine Plattform für die Komposition, das Training und die Anwendung von AI/ML-Lösungen.
• CT (Continuous Training, kontinuierliches Training) – ein neues Element [Anmerkung des Autors: ein neues Element im Verhältnis zum traditionellen Konzept von DevOps, wo CT in der Regel Continuous Testing bedeutet], das AI/ML-Plattformen eigen ist und für die autonome Verwaltung der Mechanismen zum Training und zur Anwendung von AI/ML-Modellen zuständig ist.

Wir können feststellen, dass maschinelles Lernen und künstliche Intelligenz, die mit Echtzeitdaten arbeiten, ein breiteres Spektrum an Werkzeugen und Kompetenzen erfordern (von der Codeentwicklung bis zur Orchestrierung mathematischer Modellierungsumgebungen), eine engere Integration zwischen allen funktionalen und fachlichen Bereichen sowie eine effizientere Organisation von menschlichen und maschinellen Ressourcen.

Echtzeitszenario: Erkennung der Entwicklung von Defekten in NahrungsPumpen

Um das Beispiel der Prozesssteuerung weiter zu verwenden, betrachten wir eine spezifische Aufgabe (die wir bereits zu Beginn erwähnt haben): Es muss in Echtzeit überwacht werden, wie sich Defekte in Pumpen entwickeln, basierend auf dem Fluss von Prozessparameterwerten und Berichten des Wartungspersonals über festgestellte Defekte.

Abbildung 2 Formulierung der Aufgabe zur Überwachung der Entwicklung von Defekten

Eine Besonderheit der meisten in dieser Weise formulierten Aufgaben in der Praxis ist, dass die Regelmäßigkeit und Schnelligkeit der Datenanlieferung (PMS) im Kontext der Episodizität und Unregelmäßigkeit des Auftretens (und der Registrierung) von Defekten verschiedener Art betrachtet werden müssen. Mit anderen Worten: Die Daten aus der PMS kommen jede Sekunde genau an, während über Defekte mit einem chemischen Bleistift in einem allgemeinen Heft in der Werkstatt vermerkt wird (z. B.: „12.01 – Leckage an der Abdeckung auf der Seite des 3. Lagers“).

Somit kann die Formulierung der Aufgabe durch eine weitere wichtige Einschränkung ergänzt werden: „Das Label“ eines bestimmten Defekttyps haben wir nur einmal (d. h. ein Beispiel für einen Defekt dieses Typs ist durch Daten aus der PMS an einem bestimmten Datum dargestellt – und wir haben kein weiteres Beispiel für einen Defekt genau dieses Typs). Diese Einschränkung führt uns sofort über die Grenzen des klassischen maschinellen Lernens (überwachtes Lernen) hinaus, bei dem es viele „Labels“ geben muss.

Abbildung 3 Präzisierung der Aufgabe zur Überwachung der Entwicklung von Defekten

Können wir die einzige „Marke“, die wir zur Verfügung haben, irgendwie „vervielfältigen“? Ja, das können wir. Der aktuelle Zustand der Pumpe wird durch das Maß der Ähnlichkeit zu registrierten Defekten charakterisiert. Selbst ohne quantitative Methoden können wir auf visuelle Wahrnehmungsebene, indem wir die Dynamik der aus der SPS eintreffenden Daten beobachten, bereits viel lernen:

Abbildung 4 Dynamik des Pumpenzustands im Kontext der „Marke“ des definierten Defekttyps

Aber die visuelle Wahrnehmung ist (zumindest vorerst) nicht der geeignetste Generator für „Marken“ in unserem sich schnell ändernden Szenario. Wir werden die Ähnlichkeit des aktuellen Pumpenzustands mit registrierten Defekten mithilfe eines statistischen Tests bewerten.

Abbildung 5 Anwendung des statistischen Tests auf die eingehenden Daten im Kontext der „Marke“ des Defekts

Der statistische Test bestimmt die Wahrscheinlichkeit, dass die Aufzeichnungen mit den Werten von Prozessparametern im aus der SPS erhaltenen „Datenfluss-Paket“ den Aufzeichnungen der „Marke“ des definierten Defekttyps ähneln. Der durch den statistischen Test berechnete Wahrscheinlichkeitswert (Statistikähnlichkeitsindex) wird in einen Wert von 0 oder 1 umgewandelt und wird zu einer „Marke“ für maschinelles Lernen in jedem einzelnen Datensatz im untersuchten Ähnlichkeitspaket. Das heißt, nach der Verarbeitung eines neu eingegangenen Pakets von Pumpenzustandsdaten mit einem statistischen Test haben wir die Möglichkeit, (a) dieses Paket der Trainingsdatenauswahl für das Training des KI/ML-Modells hinzuzufügen und (b) die Qualität der Arbeit der aktuellen Modellversion bei der Anwendung auf dieses Paket zu kontrollieren.

Abbildung 6 Anwendung des Modells für maschinelles Lernen auf die eingehenden Daten im Kontext der „Marke“ des Defekts

In einem unserer vorherigen Webinare Wir zeigen und erklären, wie die InterSystems IRIS-Plattform die Implementierung jeglicher AI/ML-Mechanismen in Form von kontinuierlich ausgeführten Geschäftsprozessen ermöglicht, die die Genauigkeit der Modellierungsergebnisse überwachen und die Parameter der Modelle anpassen. Bei der Umsetzung des Prototyps unseres Szenarios mit Pumpen verwenden wir die gesamte im Webinar präsentierte Funktionalität von InterSystems IRIS – indem wir im Prozessanalysator in unsere Lösung kein klassisches supervised learning implementieren, sondern eher reinforcement learning, das automatisch die Auswahl für das Training der Modelle steuert. Die Trainingsdaten umfassen Einträge, bei denen nach Anwendung sowohl des statistischen Tests als auch der aktuellen Modellversion ein „Konsens der Detektion“ entsteht – d. h., sowohl der statistische Test (nach Transformation des Ähnlichkeitsindex auf 0 oder 1) als auch das Modell haben bei diesen Einträgen das Ergebnis 1 geliefert. Beim neuen Training des Modells, bei seiner Validierung (das neu trainierte Modell wird auf seinen eigenen Trainingsdatensatz angewendet, wobei zuvor der statistische Test darauf angewendet wird), werden Einträge, die nach der Verarbeitung mit dem statistischen Test nicht das Ergebnis 1 „behalten“ haben (aufgrund des ständigen Vorhandenseins von Einträgen aus dem ursprünglichen „Label“ des Defekts in der Trainingsdatenbasis), aus dem Trainingsdatensatz entfernt, und die neue Version des Modells lernt auf dem „Label“ des Defekts sowie auf den „behaltenen“ Einträgen aus dem Datenstrom.

Abbildung 7 Robotisierung von AI/ML-Berechnungen in InterSystems IRIS

Falls der Bedarf an einer Art „zweiter Meinung“ zur Qualität der bei lokalen Berechnungen in InterSystems IRIS erhaltenen Detektion entsteht, wird ein Prozessberater erstellt, um das Training und die Anwendung von Modellen auf einem Kontroll-Datensatz mit Hilfe von Cloud-Diensten (z. B. Microsoft Azure, Amazon Web Services, Google Cloud Platform usw.) durchzuführen:

Abbildung 8 „Zweite Meinung“ von Microsoft Azure unter der Orchestrierung von InterSystems IRIS

Der Prototyp unseres Szenarios in InterSystems IRIS wurde als Agentensystem analytischer Prozesse umgesetzt, die Interaktionen mit dem Hardwareobjekt (der Pumpe), der mathematischen Modellierungsumgebung (Python, R und Julia) durchführen und das Selbstlernen aller eingesetzten AI/ML-Mechanismen – basierend auf Echtzeitdatenströmen – ermöglichen.

Abbildung 9 Hauptfunktionalität der Echtzeit-AI/ML-Lösung in InterSystems IRIS

Praktisches Ergebnis der Arbeit unseres Prototyps:

• Vom Modell erkanntes Defektmuster (12. Januar):

• Vom Modell erkannter sich entwickelnder Defekt, der nicht in das Muster aufgenommen wurde (11. September, der Defekt wurde von der Reparaturmannschaft erst zwei Tage später festgestellt – 13. September):

Die Simulation mit realen Daten, die mehrere Episoden desselben Defekts enthält, hat gezeigt, dass unsere Lösung auf der Plattform InterSystems IRIS es ermöglicht, die Entwicklung solcher Defekte mehrere Tage vor ihrer Entdeckung durch die Reparaturmannschaft zu erkennen.

InterSystems IRIS – universelle Plattform für AI/ML-Berechnungen in Echtzeit

Die Plattform InterSystems IRIS erleichtert die Entwicklung, Bereitstellung und den Betrieb von Lösungen für Daten in Echtzeit. InterSystems IRIS kann gleichzeitig transaktionale und analytische Datenverarbeitung durchführen; synchronisierte Datenansichten entsprechend mehreren Modellen unterstützen (darunter relationale, hierarchische, objektorientierte und dokumentenbasierte Modelle); als Integrationsplattform für eine breite Palette von Datenquellen und einzelnen Anwendungen fungieren; und eine umfassende Echtzeitanalyse von strukturierten und unstrukturierten Daten bereitstellen. InterSystems IRIS bietet zudem Mechanismen zur Anwendung externer Analysewerkzeuge und ermöglicht eine flexible Kombination von Cloud- und On-Premises-Bereitstellungen.

Anwendungen, die auf der Plattform InterSystems IRIS basieren, sind in verschiedenen Branchen implementiert und helfen Unternehmen, erhebliche wirtschaftliche Vorteile aus strategischer und operativer Sicht zu erzielen, die Entscheidungsfindung zu verbessern und die "Lücken" zwischen Ereignis, Analyse und Handlung zu schließen.

Abbildung 10 Architektur von InterSystems IRIS im Kontext von AI/ML in Echtzeit

Wie die vorherige Grafik kombiniert die nachfolgende Grafik ein neues „Koordinatensystem“ (CD/CI/CT) mit dem Schema der Informationsflüsse zwischen den Arbeitselementen der Plattform. Die Visualisierung beginnt mit dem Makromechanismus CD und setzt sich mit den Makromechanismen CI und CT fort.

Abbildung 11 Schema der Informationsflüsse zwischen den AI/ML-Elementen der Plattform InterSystems IRIS

Der Kernmechanismus CD in InterSystems IRIS: Nutzer der Plattform (Entwickler von AI/ML-Lösungen) passen bereits vorhandene AI/ML-Entwicklungen an und/oder erstellen neue AI/ML-Entwicklungen mit Hilfe eines speziellen Editors für Programmcode von AI/ML-Mechanismen: Jupyter (vollständiger Name: Jupyter Notebook; zur Kürze werden auch die in diesem Editor erstellten Dokumente manchmal so genannt). In Jupyter hat der Entwickler die Möglichkeit, konkrete AI/ML-Entwicklungen zu schreiben, zu debuggen und ihre Funktionsfähigkeit (auch unter Verwendung von Grafiken) zu überprüfen, bevor sie im InterSystems IRIS „bereitgestellt“ werden. Es ist offensichtlich, dass eine auf diese Weise neu erstellte Entwicklung lediglich eine grundlegende Fehlersuche erhalten wird (da Jupyter insbesondere nicht mit Datenströmen in Echtzeit arbeitet) – das ist normal, denn das Hauptresultat einer Entwicklung in Jupyter besteht darin, die prinzipielle Funktionsfähigkeit eines einzelnen AI/ML-Mechanismus zu bestätigen („zeigt das erwartete Ergebnis bei den Datenproben“). Ebenso kann ein bereits in die Plattform integrierter Mechanismus (siehe die folgenden Makromaschinen) vor dem Debugging in Jupyter eine „Rückführung“ in diewr „vor-Plattform-Form“ erfordern (Daten aus Dateien lesen, mit Daten über xDBC anstelle von Tabellen arbeiten, direkt mit Globals – mehrdimensionalen Datenarrays von InterSystems IRIS – interagieren usw.).

Ein wichtiger Aspekt der Implementierung von CD genau in InterSystems IRIS: Zwischen der Plattform und Jupyter wurde eine bidirektionale Integration realisiert, die es ermöglicht, Inhalte in den Plattformsprachen Python, R und Julia (alle drei sind Programmiersprachen in den entsprechenden führenden Open-Source-Umgebungen der mathematischen Modellierung) in die Plattform zu übertragen (und später in der Plattform zu verarbeiten). Somit haben Entwickler von AI/ML-Inhalten die Möglichkeit, dieses Content in der Plattform „kontinuierlich bereitzustellen“, während sie in ihrem gewohnten Jupyter-Editor arbeiten, mit den gewohnten Bibliotheken aus Python, R, Julia, und gegebenenfalls die grundlegende Fehlersuche außerhalb der Plattform durchzuführen.

Wir kommen zum Makromechanismus der CI in InterSystems IRIS. Das Diagramm zeigt den Makroprozess des Betriebs des "Echtzeit-Roboters" (eine Kombination aus Datenstrukturen, Geschäftsprozessen und den von ihnen orchestrierten Codefragmenten in den Sprachen MatSred und ObjectScript – der nativen Entwicklungsumgebung von InterSystems IRIS). Die Aufgabe dieses Makroprozesses besteht darin, die für den Betrieb von AI/ML-Mechanismen erforderlichen Datenqueues (basierend auf Datenströmen, die der Plattform in Echtzeit übermittelt werden) aufrechtzuerhalten, Entscheidungen über die Reihenfolge der Anwendung und die "Auswahl" der AI/ML-Mechanismen zu treffen (die auch als "mathematische Algorithmen", "Modelle" usw. bezeichnet werden können, je nach dem spezifischen Kontext und den terminologischen Vorlieben), sowie die Datenstrukturen für die Analyse der Ergebnisse der AI/ML-Mechanismen aktuell zu halten (Cubes, Tabellen, mehrdimensionale Datenarrays usw. – für Berichte, Dashboards usw.).

Ein wichtiger Aspekt der Implementierung von CI insbesondere in InterSystems IRIS: Zwischen der Plattform und den Umgebungen der mathematischen Modellierung wurde eine bidirektionale Integration realisiert, die es ermöglicht, Inhalte, die in der Plattform in den Sprachen Python, R und Julia bereitgestellt wurden, in ihren jeweiligen Umgebungen auszuführen und die Ergebnisse zurückzubekommen. Diese Integration wird sowohl im "Terminalmodus" (d. h. AI/ML-Inhalte werden als ObjectScript-Code formuliert, der MatSred-Aufrufe durchführt) als auch im "Geschäftsprozessmodus" (d. h. AI/ML-Inhalte werden als Geschäftsprozess mithilfe eines grafischen Editors oder manchmal mithilfe von Jupyter oder einer IDE – IRIS Studio, Eclipse, Visual Studio Code – formuliert) realisiert. Die Verfügbarkeit von Geschäftsprozessen zur Bearbeitung in Jupyter wird durch die Verbindung zwischen IRIS auf der CI-Ebene und Jupyter auf der CD-Ebene angezeigt. Eine detailliertere Übersicht der Integration mit den Umgebungen der mathematischen Modellierung wird im Folgenden gegeben. In dieser Phase gibt es unserer Meinung nach alle Gründe, um festzustellen, dass die Plattform über alle erforderlichen Tools für die Realisierung der "kontinuierlichen Integration" von AI/ML-Entwicklungen (die aus der "kontinuierlichen Bereitstellung" stammen) in AI/ML-Lösungen in Echtzeit verfügt.

Und der Hauptmakromechanismus: CT. Ohne ihn wird es keine AI/ML-Plattformen geben (auch wenn „Echtzeit“ durch CD/CI implementiert wird). Das Wesen von CT besteht darin, dass die Plattform mit den „Artefakten“ des maschinellen Lernens und der künstlichen Intelligenz direkt in den Arbeitssitzungen der mathematischen Modellierungsumgebungen arbeitet: Modelle, Verteilungstabellen, Vektoren-Matrizen, Schichten von Neuronalen Netzen usw. Diese „Arbeit“ besteht in den meisten Fällen aus der Erstellung der genannten Artefakte in den Umgebungen (bei Modellen besteht beispielsweise die „Erstellung“ aus der Festlegung der Spezifikation des Modells und dem anschließenden Abstimmen der Werte seiner Parameter – dem so genannten „Training“ des Modells), deren Anwendung (für Modelle: die Berechnung von „Modell“-Werten der Zielvariablen – Prognosen, Zuordnung zu Kategorien, Wahrscheinlichkeit des Eintretens eines Ereignisses usw.) und der Verbesserung bereits erstellter und angewendeter Artefakte (z. B. die Neudefinition der Eingangsvariablen des Modells basierend auf den Ergebnissen der Anwendung – zum Zwecke der Verbesserung der Prognosegenauigkeit, als Option). Ein entscheidender Punkt beim Verständnis der Rolle von CT ist seine „Abstraktheit“ von den Realitäten von CD und CI: CT wird alle Artefakte implementieren, orientiert an der rechnerischen und mathematischen Spezifik des AI/ML-Systems im Rahmen der Möglichkeiten, die von den spezifischen Umgebungen bereitgestellt werden. Die Verantwortung für die „Datenbeschaffung“ und die „Lieferung der Ergebnisse“ liegt bei CD und CI.

Ein wichtiger Aspekt der Implementierung von CT in InterSystems IRIS: Mit der bereits erwähnten Integration in mathematische Modellierungsumgebungen hat die Plattform die Möglichkeit, Artefakte aus Arbeits-Sitzungen, die unter ihrer Kontrolle in diesen Umgebungen ablaufen, zu extrahieren und (was am wichtigsten ist) sie in Datenobjekte der Plattform umzuwandeln. Zum Beispiel kann eine Verteilungstabelle, die gerade in einer Python-Arbeits-Sitzung erstellt wurde, (ohne die Sitzung in Python zu stoppen) in die Plattform in Form von beispielsweise einem Global (mehrdimensionales Datenarray von InterSystems IRIS) übertragen werden – und zur Berechnung in einem anderen AI/ML-Mechanismus verwendet werden (der bereits in einer anderen Umgebung implementiert ist – zum Beispiel in R) – oder zu einer virtuellen Tabelle. Ein weiteres Beispiel: Parallel zum „normalen Betrieb“ des Modells (in der Python-Arbeits-Sitzung) findet eine „Auto-ML“-Prozessierung auf den Eingabedaten statt: automatische Auswahl optimaler Eingangsvariablen und Parameterwerte. Und zusammen mit dem „normalen“ Training erhält das produktive Modell in Echtzeit auch einen „Optimierungsvorschlag“ für seine Spezifikation – in dem sich der Satz der Eingangsvariablen ändert und die Parameterwerte (nicht mehr infolge des Trainings in Python, sondern aufgrund des Trainings einer „alternativen“ Version von sich selbst, beispielsweise im H2O-Stack), was dem gesamten AI/ML-Lösungsansatz ermöglicht, autonom mit unvorhergesehenen Änderungen der Eingabedaten und der modellierten Phänomene umzugehen.

Lernen wir die Plattform AI/ML-Funktionalität von InterSystems IRIS anhand eines tatsächlich existierenden Prototyps näher kennen.

In dem unten stehenden Diagramm ist auf der linken Seite des Slides der Teil des Geschäftsprozesses dargestellt, der die Ausführung von Skripten in Python und R implementiert. In der Mitte sind visuelle Protokolle der Ausführung einiger dieser Skripte, entsprechend in Python und in R. Direkt dahinter sind Beispiele für Inhalte in beiden Sprachen dargestellt, die zur Ausführung in die entsprechenden Umgebungen übergeben wurden. Am Ende rechts befinden sich Visualisierungen, die auf den Ergebnissen der Skriptausführungen basieren. Die Visualisierungen oben wurden mit IRIS Analytics erstellt (die Daten wurden aus Python in die Datenplattform InterSystems IRIS übertragen und über die Mittel der Plattform auf das Dashboard ausgegeben), unten wurden sie direkt in der Arbeitssitzung R erstellt und von dort in Grafikdateien ausgegeben. Ein wichtiger Aspekt: Der dargestellte Abschnitt im Prototyp ist für das Training des Modells (Klassifikation des Status von Ausstattungen) auf den Daten verantwortlich, die in Echtzeit von einem Prozess zur Simulation der Ausstattungen empfangen werden, auf Befehl des Qualitätssichtprozesses der Klassifikation, der während der Anwendung des Modells beobachtet wird. Über die Implementierung der AI/ML-Lösung in Form einer Reihe von interagierenden Prozessen („Agenten“) wird später die Rede sein.

Abbildung 12 Interaktion mit Python, R und Julia in InterSystems IRIS

Plattformprozesse (auch als „Geschäftsprozesse“, „Analyseprozesse“, „Pipelines“ usw. bezeichnet – je nach Kontext) können in erster Linie im grafischen Editor der Geschäftsprozesse auf der Plattform bearbeitet werden, wobei sowohl das Blockdiagramm als auch der entsprechende AI/ML-Mechanismus (Programmiercode) gleichzeitig erstellt werden. Wenn wir sagen, dass „ein AI/ML-Mechanismus entsteht“, meinen wir ursprünglich Hybridität (im Rahmen eines Prozesses): Inhalt in den Sprachen der mathematischen Modellierung koexistiert mit Inhalt in SQL (einschließlich Erweiterungen von IntegratedML), auf InterSystems ObjectScript, mit anderen unterstützten Sprachen. Darüber hinaus bietet der Plattformprozess sehr umfangreiche Möglichkeiten zur „Darstellung“ in Form von hierarchisch verschachtelten Fragmenten (wie im Beispiel in der untenstehenden Diagramm zu sehen), was es ermöglicht, selbst sehr komplexe Inhalte effektiv zu organisieren, ohne irgendwo aus dem grafischen Format (in „nicht-grafische“ Methoden/Klassen/Prozeduren usw.) „herauszufallen“. Das heißt, wenn nötig (was in den meisten Projekten zu erwarten ist), kann die gesamte AI/ML-Lösung in einem grafischen, sich selbst dokumentierenden Format implementiert werden. Wir weisen darauf hin, dass im zentralen Teil des untenstehenden Diagramms, das ein höheres „Verschachtelungsniveau“ darstellt, zu sehen ist, dass neben der eigentlichen Arbeit am Modelltraining (unter Verwendung von Python und R) auch die Analyse der sogenannten ROC-Kurve des trainierten Modells hinzugefügt wird, die es ermöglicht, die Qualität des Trainings visuell (und auch rechnerisch) zu bewerten – und diese Analyse wird in der Programmiersprache Julia realisiert (ausgeführt im entsprechenden Mathematik-Umfeld von Julia).

Abbildung 13 Visuelle Umgebung für die Komposition von AI/ML-Lösungen in InterSystems IRIS

Wie bereits erwähnt, wird die anfängliche Entwicklung und (in einigen Fällen) Anpassung bereits in der Plattform implementierter AI/ML-Mechanismen außerhalb der Plattform im Jupyter-Editor durchgeführt. Im folgenden Diagramm sehen wir ein Beispiel für die Anpassung eines bestehenden Plattformprozesses (derselbe wie im vorherigen Diagramm) – so sieht der Teil in Jupyter aus, der für das Training des Modells verantwortlich ist. Der Inhalt in Python ist zum Bearbeiten, Debuggen und Ausgeben von Grafiken direkt in Jupyter verfügbar. Änderungen (falls erforderlich) können mit sofortiger Synchronisation in den Plattformprozess übertragen werden, einschließlich der produktiven Version davon. Analog kann neuer Inhalt automatisch an die Plattform übergeben werden (ein neuer Plattformprozess wird erstellt).

Abbildung 14 Verwendung von Jupyter Notebook zur Bearbeitung des AI/ML-Mechanismus in der InterSystems IRIS-Plattform

Die Anpassung des plattformbasierten Prozesses kann nicht nur im grafischen oder Laptop-Format durchgeführt werden, sondern auch im "totalen" IDE-Format (Integrated Development Environment). Zu diesen IDEs gehören IRIS Studio (die native IRIS-Studie), Visual Studio Code (Erweiterung von InterSystems IRIS für VSCode) und Eclipse (Plugin Atelier). In einigen Fällen ist es möglich, dass das Entwicklerteam alle drei IDEs gleichzeitig nutzt. Im untenstehenden Diagramm ist ein Beispiel für die Bearbeitung desselben Prozesses in der IRIS-Studie, Visual Studio Code und Eclipse dargestellt. Für die Bearbeitung steht der gesamte Inhalt zur Verfügung: sowohl Python/R/Julia/SQL als auch ObjectScript und Geschäftsprozess.

Abbildung 15 Entwicklung des Geschäftsprozesses InterSystems IRIS in verschiedenen IDEs

Besonders erwähnenswert sind die Werkzeuge zur Beschreibung und Ausführung von Geschäftsprozessen InterSystems IRIS in der Sprache Business Process Language (BPL). BPL ermöglicht die Verwendung von "fertigen Integrationskomponenten" (Activities) in Geschäftsprozessen – was letztendlich die Grundlage dafür liefert, dass in InterSystems IRIS "kontinuierliche Integration" implementiert ist. Fertige Komponenten des Geschäftsprozesses (Aktivitäten und die Verbindungen zwischen ihnen) sind der leistungsstärkste Beschleuniger zum Aufbau von AI/ML-Lösungen. Und nicht nur zum Aufbau: Dank der Aktivitäten und der Verbindungen zwischen ihnen entsteht über den voneinander getrennten AI/ML-Entwicklungen und Mechanismen eine "autonome Verwaltungsschicht", die in der Lage ist, situativ und in Echtzeit Entscheidungen zu treffen.

Abbildung 16 Fertige Komponenten von Geschäftsprozessen für kontinuierliche Integration (CI) auf der Plattform InterSystems IRIS

Das Konzept der Agentensysteme (auch "Multi-Agenten-Systeme") hat starke Positionen in der Robotik, und die Plattform InterSystems IRIS unterstützt es organisch durch das Konzept "Produkt-Prozess". Abgesehen von unbegrenzten Möglichkeiten zur "Ausstattung" jedes Prozesses mit den für die Gesamtlösung notwendigen Funktionen ermöglicht die Verleihung der Eigenschaft "Agentenfähigkeit" an das System der plattformbasierten Prozesse die Schaffung effektiver Lösungen für extrem instabile simulierte Phänomene (Verhalten von sozialen/Biosystemen, teilweise beobachtbare technologische Prozesse usw.).

Abbildung 16 Betrieb der AI/ML-Lösung als Agentensystem von Geschäftsprozessen in InterSystems IRIS

Wir setzen unseren Überblick über InterSystems IRIS mit einem Bericht über die praktische Anwendung der Plattform zur Lösung ganzer Klassen von Echtzeitanforderungen fort (eine recht detaillierte Einführung in einige der besten Praktiken der Plattform-AI/ML auf InterSystems IRIS erfolgt in einem unserer vorherigen Berichte). Webinare).

Auf den "heißen Fersen" des vorherigen Diagramms folgt unten ein detaillierteres Diagramm des Agentensystems. In der Abbildung ist dasselbe Prototyp zu sehen, alle vier Prozess-Agenten sind sichtbar und die Beziehungen zwischen ihnen sind schematisch dargestellt: GENERATOR – erstellt Daten von den Sensoren der Ausrüstung, BUFFER – verwaltet die Datenwarteschlangen, ANALYZER – führt das maschinelle Lernen durch, MONITOR – überwacht die Qualität des maschinellen Lernens und signalisisiert die Notwendigkeit zur erneuten Schulung des Modells.

Abbildung 17 Zusammensetzung der AI/ML-Lösung in Form eines Agentensystems für Geschäftsprozesse in InterSystems IRIS.

Im folgenden Diagramm wird das autonome Funktionieren eines anderen robotergestützten Prototyps (Erkennung emotionaler Nuancen in Texten) über einen bestimmten Zeitraum veranschaulicht. Oben wird die Entwicklung der Qualitätsbewertung des Modells (Qualität steigt) und unten die Dynamik der Anwendungsqualitätsbewertung des Modells sowie die Fakten zur erneuten Schulung (rote Streifen) dargestellt. Wie zu sehen ist, hat sich die Lösung effizient und autonom selbst geschult und arbeitet auf einem festgelegten Qualitätsniveau (die Werte der Qualitätsbewertung fallen nicht unter 80%).

Abbildung 18 Kontinuierliches (selbst-) Lernen (CT) auf der Plattform InterSystems IRIS.

Auch über „Auto-ML“ haben wir bereits gesprochen, aber im nachfolgenden Diagramm wird die Anwendung dieser Funktionalität im Detail am Beispiel eines weiteren Prototyps gezeigt. Im grafischen Schema des Geschäftsprozessfragmentes wird die Aktivität dargestellt, die die Modellierung im H2O-Stack auslöst, sowie die Ergebnisse dieser Modellierung (deutliche Überlegenheit des erhaltenen Modells über „handgefertigte“ Modelle gemäß dem Vergleichsdiagramm der ROC-Kurven, sowie die automatisierte Identifizierung der „einflussreichsten Variablen“ aus dem verfügbaren Datensatz). Ein wichtiger Aspekt hier ist die Zeit- und Expertressourcensparung, die durch „Auto-ML“ erreicht wird: Was unser Plattformprozess in einer halben Minute erledigt (das Finden und Trainieren des optimalen Modells), kann für einen Experten von einer Woche bis zu einem Monat dauern.

Abbildung 19 Integration von „Auto-ML“ in die AI/ML-Lösung auf der Plattform InterSystems IRIS

Das folgende Diagramm bringt die „Spannung“ etwas zum Erliegen, ist aber eine gute Möglichkeit, die Erzählung über die Klassen von Echtzeitproblemen abzuschließen: Wir erinnern daran, dass das Training von Modellen unter der Verwaltung der Plattform InterSystems IRIS trotz aller Möglichkeiten, die die Plattform bietet, nicht zwingend erforderlich ist. Die Plattform kann eine sogenannte PMML-Spezifikation eines außerhalb der Plattform trainierten Modells extern erhalten und dieses Modell in Echtzeit ab dem Zeitpunkt seines Imports anwenden. PMML-Spezifikationen. Dabei ist es wichtig zu beachten, dass nicht alle AI/ML-Artefakte auf eine PMML-Spezifikation reduziert werden können, auch wenn dies für die meisten gängigen Artefakte möglich ist. Somit verfügt die Plattform InterSystems IRIS über einen „offenen Kontur“ und bedeutet nicht „plattformspezifische Knechtschaft“ für die Benutzer.

Abbildung 20 Integration von „Auto-ML“ in die AI/ML-Lösung auf der Plattform InterSystems IRIS

Nennen wir einige zusätzliche plattformspezifische Vorteile von InterSystems IRIS (zur Veranschaulichung in Bezug auf das Management technologischer Prozesse), die bei der Automatisierung von Künstlicher Intelligenz und maschinellem Lernen in Echtzeit von großer Bedeutung sind:

• Ausgebaute Integrationsmittel mit allen Datenquellen und -verbrauchern (ACSU / SCADA, Geräte, Wartung, ERP usw.)
• Integriert multimodale DBMS für leistungsstarke transaktionale und analytische Verarbeitung (Hybrid Transaction/Analytical Processing, HTAP) beliebiger Datenmengen technologischer Prozesse
• Entwicklungstools für die kontinuierliche Bereitstellung von AI/ML-Mechanismen für Echtzeitslösungen basierend auf Python, R, Julia
• Anpassungsfähige Geschäftsprozesse für kontinuierliche Integration und (selbst-) Lernen von AI/ML-Echtzeitslösungen
• Integrierte Business-Intelligence-Tools zur Datenvisualisierung technologischer Prozesse und Ergebnisse von AI/ML-Lösungen
• API-Management zur Bereitstellung der Ergebnisse von AI/ML-Lösungen in SCADA/APS, Informations- und Analysesysteme, Benachrichtigungen usw.

AI/ML-Lösungen auf der InterSystems IRIS-Plattform fügen sich nahtlos in bestehende IT-Infrastrukturen ein. Die InterSystems IRIS-Plattform gewährleistet eine hohe Zuverlässigkeit von AI/ML-Lösungen durch die Unterstützung von hochverfügbaren und katastrophensicheren Konfigurationen sowie eine flexible Implementierung in virtuellen Umgebungen, auf physischen Servern, in privaten und öffentlichen Cloud-Systemen sowie in Docker-Containern.

Daher ist InterSystems IRIS eine universelle Plattform für Echtzeit-AI/ML-Berechnungen. Die Vielseitigkeit unserer Plattform wird in der Praxis durch das Fehlen de facto Beschränkungen in Bezug auf die Komplexität der implementierten Berechnungen sowie die Fähigkeit von InterSystems IRIS bestätigt, (in Echtzeit) die Verarbeitung von Szenarien aus den unterschiedlichsten Branchen zu kombinieren und die außergewöhnliche Anpassungsfähigkeit aller Funktionen und Mechanismen der Plattform an die spezifischen Bedürfnisse der Nutzer.

Abbildung 21 InterSystems IRIS – universelle Plattform für Echtzeit-AI/ML-Berechnungen

Für eine produktive Interaktion mit den Lesern, die an den hier präsentierten Inhalten interessiert sind, empfehlen wir, sich nicht nur auf das Lesen zu beschränken, sondern auch den Dialog "live" fortzusetzen. Wir stehen bereit, Unterstützung bei der Formulierung von AI/ML-Echtzeitszenarien zu bieten, die spezifisch auf Ihr Unternehmen zugeschnitten sind, gemeinsam Prototypen auf der InterSystems IRIS-Plattform zu entwickeln und eine praktische Roadmap für die Implementierung von künstlicher Intelligenz und maschinellem Lernen in Ihre Produktions- und Managementprozesse zu erstellen. Die Kontakt-E-Mail-Adresse unserer AI/ML-Expertengruppe ist MLToolkit@intersystems.com.

Quelle: habr.com