Autor: Sergey Lukyanchikov, enginyer consultor d'InterSystems
Reptes informàtics d'IA/ML en temps real
Comencem amb exemples de l'experiència de la pràctica de Data Science a InterSystems:
- El portal de compradors "carregat" està connectat a un sistema de recomanació en línia. S'acosta la reestructuració de les promocions a l'escala de la xarxa minorista (per exemple, en comptes d'una línia "plana" de promocions, ara s'utilitzarà la matriu "segment-tàctiques"). Què passa amb els recomanadors? Què passa amb l'enviament i actualització de dades al mecanisme de recomanació (el volum de dades d'entrada ha augmentat 25000 vegades)? Què passa amb el desenvolupament de recomanacions (la necessitat d'una disminució mil·lenària del llindar de filtratge de les regles de recomanació a causa de l'augment de mil vegades del seu nombre i "interval")?
- Hi ha un sistema per controlar la probabilitat de desenvolupament de defectes en els nodes de l'equip. Es va connectar un sistema de control de processos al sistema de monitorització, transmetent milers de paràmetres de procés cada segon. Què passa amb el sistema de monitorització que abans treballava amb "mostres manuals" (és capaç de proporcionar un seguiment de probabilitat de segon a segon)? Què passarà si un nou bloc amb diversos centenars de columnes apareix a les dades d'entrada amb les lectures dels sensors recentment afegits al sistema de control del procés (si i quant de temps serà necessari aturar el sistema de monitorització per incloure les dades dels nous sensors al sistema? anàlisi)?
- S'ha creat un conjunt de mecanismes d'IA/ML (recomanatius, de seguiment, predictius) utilitzant els resultats del treball dels altres. Quantes hores-home es necessiten mensualment per adaptar el funcionament d'aquest complex als canvis en les dades d'entrada? Quina és la "alentiment" global que suporta el complex de presa de decisions (freqüència d'aparició de nova informació de suport en relació amb la freqüència d'aparició de noves dades d'entrada)?
Resumint aquests i molts altres exemples, hem arribat a la formulació dels reptes que es plantegen en passar a l'ús de mecanismes d'aprenentatge automàtic i d'intel·ligència artificial en temps real:
- Estem satisfets amb la velocitat de creació i adaptació (a la situació canviant) dels desenvolupaments d'IA/ML a la nostra empresa?
- Fins a quin punt les solucions d'IA/ML que fem servir admeten la gestió empresarial en temps real?
- Les solucions d'IA/ML que utilitzem poden adaptar-se de manera independent (sense desenvolupadors) als canvis en les dades i les pràctiques de gestió empresarial?
El nostre article és una visió general detallada de les capacitats de la plataforma InterSystems IRIS en termes de suport universal per al desplegament de mecanismes d'IA / ML, muntatge (integració) de solucions d'IA / ML i formació (prova) de solucions d'IA / ML en dades intensives. fluxos. Ens referirem a la investigació de mercat, estudis de cas de solucions d'IA/ML i aspectes conceptuals del que en aquest article ens referim com a plataforma d'IA/ML en temps real.
El que sabem de les enquestes: aplicacions en temps real
Troballes realitzat entre uns 800 professionals de TI el 2019 per Lightbend parlen per si mateixos:
Figura 1 Principals consumidors de dades en temps real
Citem els fragments de l'informe sobre els resultats d'aquesta enquesta que són importants per a nosaltres en la nostra traducció:
“…Les tendències en la popularitat de les eines d'integració de flux de dades i, al mateix temps, el suport a la informàtica en contenidors donen una resposta sinèrgica a la demanda del mercat d'una proposta de solucions efectives més eficient, racional i dinàmica. Els fluxos de dades permeten que la informació es transfereixi més ràpidament que les dades de paquets tradicionals. A això s'afegeix la capacitat d'aplicar ràpidament mètodes computacionals, com ara recomanacions basades en IA/ML, per crear avantatges competitius mitjançant una major satisfacció del client. La carrera per l'agilitat també afecta tots els rols del paradigma DevOps, fent que el desenvolupament i el desplegament d'aplicacions siguin més eficients. … Vuit-cents quatre professionals informàtics van proporcionar informació sobre l'ús dels fluxos de dades a les seves organitzacions. Els enquestats es trobaven principalment als països occidentals (41% a Europa i 37% a Amèrica del Nord) i es distribuïen gairebé de manera uniforme entre petites, mitjanes i grans empreses. …
… La intel·ligència artificial no és bombo. El cinquanta-vuit per cent dels que ja utilitzen el processament de flux de dades en aplicacions productives d'IA/ML confirmen que el seu ús en AI/ML tindrà els majors guanys l'any vinent (en comparació amb altres aplicacions).
- Segons la majoria dels enquestats, l'ús de fluxos de dades en escenaris d'IA / ML rebrà el major augment l'any vinent.
- Les aplicacions en IA/ML creixeran no només a través de tipus d'escenaris relativament nous, sinó també a través d'escenaris tradicionals, en què les dades en temps real s'utilitzen cada cop més.
- A més de l'IA/ML, el nivell d'entusiasme entre els usuaris dels pipelines de dades d'IoT és impressionant: el 48% dels que ja han integrat dades d'IoT diuen que la implementació d'escenaris sobre aquestes dades rebrà un augment significatiu en un futur proper. … »
D'aquesta enquesta força interessant, es pot comprovar que la percepció dels escenaris d'aprenentatge automàtic i intel·ligència artificial com a líders en el consum de fluxos de dades ja està "en camí". Però la percepció de l'IA / ML en temps real a través de l'òptica DevOps es converteix en una observació igualment important: aquí ja podem començar a parlar de la transformació de la cultura encara dominant d'"IA / ML d'una sola vegada amb un conjunt de dades totalment accessible".
Concepte de plataforma AI/ML en temps real
Una aplicació típica per a AI/ML en temps real és el control del procés de fabricació. Sobre el seu exemple i tenint en compte les reflexions prèvies, formularem el concepte de plataforma AI/ML en temps real.
L'ús de la intel·ligència artificial i l'aprenentatge automàtic en el control de processos té diverses característiques:
- Les dades sobre l'estat del procés tecnològic es reben de manera intensiva: amb una alta freqüència i en una àmplia gamma de paràmetres (fins a desenes de milers de valors de paràmetres transmesos per segon des del sistema de control del procés)
- Les dades sobre la detecció de defectes, sense oblidar les dades sobre el seu desenvolupament, per contra, són escasses i irregulars, caracteritzades per una tipificació insuficient dels defectes i la seva localització en el temps (sovint representada per registres en paper)
- Des d'un punt de vista pràctic, només està disponible la "finestra de rellevància" de les dades inicials per a la formació i l'aplicació de models, reflectint la dinàmica del procés tecnològic per a un interval de lliscament raonable, acabant amb els últims valors de lectura dels paràmetres del procés.
Aquestes característiques ens obliguen, a més de rebre i processament bàsic en temps real d'una intensa “entrada de banda ampla” del procés, a realitzar (en paral·lel) l'aplicació, formació i control de qualitat dels resultats del treball dels models AI/ML - també en temps real. El "marc" que "veuen" els nostres models a la finestra corredissa de rellevància canvia constantment i, amb ell, també canvia la qualitat dels resultats del treball dels models d'IA / ML entrenats en un dels "marcs" en el passat. . Si la qualitat dels resultats del treball dels models d'IA / ML es deteriora (per exemple: el valor de l'error de classificació "alarma-norma" ha superat els límits que hem definit), el reciclatge dels models s'hauria d'iniciar automàticament d'una manera més "marc" rellevant - i l'elecció del moment per començar el reciclatge dels models hauria de tenir en compte com la durada de la formació en si, així com la dinàmica de deteriorament de la qualitat de la versió actual dels models (des de les versions actuals). dels models es continuen aplicant mentre s'estan entrenant els models, i fins que es generen les seves versions "recentment entrenades").
InterSystems IRIS té capacitats clau de plataforma per habilitar solucions d'IA/ML en temps real per al control de processos. Aquestes possibilitats es poden dividir en tres grans grups:
- Desplegament continu (Desplegament / Lliurament continu, CD) de mecanismes d'IA / ML nous o adaptats existents en una solució productiva que opera en temps real a la plataforma InterSystems IRIS
- Integració contínua (CI) en una única solució productiva de fluxos de dades de procés entrants, cues de dades per a l'aplicació / formació / control de qualitat de mecanismes d'IA / ML i intercanvis de dades / codi / control amb entorns de modelització matemàtica, que s'orquestren en temps real Plataforma InterSystems IRIS
- Aprenentatge (auto) continu (formació contínua, TC) de mecanismes d'IA/ML realitzats en entorns de modelització matemàtica mitjançant dades, codi i accions de control (“decisions preses”) transmeses per la plataforma InterSystems IRIS
La classificació de les capacitats de la plataforma en relació amb l'aprenentatge automàtic i la intel·ligència artificial precisament en aquests grups no és casual. Citem el metodològic Google, que proporciona una base conceptual per a aquesta classificació, a la nostra traducció:
"... El concepte DevOps, que és popular en aquests dies, cobreix el desenvolupament i el funcionament de sistemes d'informació a gran escala. Els avantatges d'implementar aquest concepte són la reducció de la durada dels cicles de desenvolupament, l'acceleració del desplegament del desenvolupament, la flexibilitat de la planificació de llançaments. Per aconseguir aquests avantatges, DevOps implica la implementació d'almenys dues pràctiques:
- Integració contínua (CI)
- Lliurament continu (CD)
Aquestes pràctiques també s'apliquen a les plataformes d'IA/ML per garantir compilacions robustes i de rendiment de solucions productives d'IA/ML.
Les plataformes d'IA/ML es diferencien d'altres sistemes d'informació en els aspectes següents:
- Competències de l'equip: quan es construeix una solució d'IA/ML, l'equip normalment inclou científics de dades o científics de dades que realitzen anàlisi de dades, desenvolupament de models i validació. Aquests membres de l'equip poden no ser desenvolupadors professionals de codi productiu.
- Desenvolupament: els mecanismes d'IA/ML són de naturalesa experimental. Per resoldre el problema de la manera més eficient, cal ordenar diverses combinacions de variables d'entrada, algorismes, mètodes de modelització i paràmetres del model. La complexitat d'aquesta cerca rau a rastrejar "el que va funcionar / no va funcionar", assegurant la reproductibilitat dels episodis, generalitzant desenvolupaments per a implementacions recurrents.
- Proves: provar els mecanismes d'IA/ML requereix un ventall de proves més gran que la majoria dels altres desenvolupaments. A més de les proves típiques d'unitat i d'integració, es prova la validesa de les dades i la qualitat dels resultats de l'aplicació del model a mostres d'entrenament i control.
- Desplegament: el desplegament de solucions d'IA/ML no es limita als serveis predictius que apliquen un model un cop entrenat. Les solucions d'IA / ML es construeixen al voltant de canonades de diverses etapes que realitzen formació i aplicació automatitzada de models. El desplegament d'aquestes canonades implica l'automatització de passos no trivials realitzats tradicionalment manualment pels científics de dades per tal de poder entrenar i provar models.
- Productius: els motors AI/ML poden mancar de rendiment no només a causa d'una programació ineficient, sinó també a causa de la naturalesa canviant de les dades d'entrada. En altres paraules, el rendiment dels mecanismes d'IA/ML pot degradar-se a causa d'una gamma més àmplia de raons que el rendiment dels desenvolupaments convencionals. Això comporta la necessitat de supervisar (en línia) el rendiment dels nostres motors d'IA/ML i enviar alertes o rebutjar els resultats si el rendiment no està a l'altura de les expectatives.
Les plataformes d'IA/ML són similars a altres sistemes d'informació, ja que tots dos requereixen una integració contínua de codi amb control de versions, proves d'unitat, proves d'integració i desplegament de desenvolupament continu. Tanmateix, en el cas d'AI/ML, hi ha algunes diferències importants:
- CI (integració contínua) ja no es limita a provar i validar el codi dels components desplegats, sinó que també inclou provar i validar dades i models d'IA/ML.
- CD (Continuous Delivery / Deployment, continuous deployment) no es limita a escriure i alliberar paquets o serveis, sinó que implica una plataforma per compondre, aprendre i aplicar solucions d'IA / ML.
- CT (Formació contínua, aprenentatge continu) - un nou element [aprox. per l'autor de l'article: un nou element en relació al concepte tradicional de DevOps, en el qual la TC sol ser Continuous Testing], inherent a les plataformes AI/ML, encarregada de gestionar de manera autònoma els mecanismes d'aprenentatge i d'aplicació dels models AI/ML. ..."
Podem afirmar que l'aprenentatge automàtic i la intel·ligència artificial que treballen amb dades en temps real requereixen un conjunt més ampli d'eines i competències (des del desenvolupament de codi fins a l'orquestració d'entorns de modelització matemàtica), una integració més estreta entre totes les àrees funcionals i temàtiques, una organització més eficient de les recursos de la màquina.
Escenari en temps real: reconeixement del desenvolupament de defectes a les bombes d'alimentació
Continuant utilitzant el camp del control de processos com a exemple, considereu una tasca específica (ja hem mencionat al principi): cal proporcionar un seguiment en temps real del desenvolupament de defectes a les bombes en funció del flux dels paràmetres del procés. i informes del personal de manteniment sobre defectes detectats.
Figura 2 Formulació de la tasca de seguiment del desenvolupament de defectes
La particularitat de la majoria de tasques establertes d'aquesta manera a la pràctica és que la regularitat i l'eficiència de la recepció de dades (APCS) s'ha de considerar en el context de l'aparició (i registre) episòdica i irregular de diversos tipus de defectes. És a dir: les dades del sistema de control de processos arriben un cop per segon correctes i precises, i els defectes es registren amb un llapis indeleble amb la data a la llibreta general del taller (per exemple: "12.01 - filtració a la coberta des del taller). costat del 3r rodament”).
Així, és possible complementar la formulació del problema amb la següent limitació important: només tenim una "etiqueta" d'un defecte d'un tipus particular (és a dir, un exemple d'un defecte d'un tipus particular està representat per dades del sistema de control de processos per a una data concreta, i no tenim més exemples d'un defecte d'aquest tipus en particular). Aquesta restricció ens porta immediatament més enllà de l'àmbit de l'aprenentatge automàtic clàssic (aprenentatge supervisat), per al qual hi hauria d'haver moltes "etiquetes".
Figura 3 Perfeccionament de la tasca de seguiment del desenvolupament de defectes
Podem "multiplicar" d'alguna manera l'única "etiqueta" de què disposem? Si podem. L'estat actual de la bomba es caracteritza pel grau de similitud amb els defectes registrats. Fins i tot sense utilitzar mètodes quantitatius, a nivell de percepció visual, observant la dinàmica dels valors de dades procedents del sistema de control de processos, ja podeu aprendre molt:
Figura 4 Dinàmica de l'estat de la bomba amb el rerefons de la "marca" d'un defecte d'un tipus determinat
Però la percepció visual (almenys de moment) no és el generador més adequat d'"etiquetes" en el nostre escenari que canvia ràpidament. Avaluarem la similitud de l'estat actual de la bomba amb els defectes reportats mitjançant una prova estadística.
Figura 5 Aplicació d'una prova estadística a les dades entrants amb el rerefons d'una "etiqueta" d'un defecte
La prova estadística determina la probabilitat que els registres amb els valors dels paràmetres del procés tecnològic en el "paquet de flux" rebuts del sistema de control del procés siguin similars als registres "etiqueta" d'un determinat tipus de defecte. El valor de probabilitat calculat com a resultat de l'aplicació d'una prova estadística (índex de semblança estadística) es converteix en un valor de 0 o 1, convertint-se en una "etiqueta" per a l'aprenentatge automàtic en cada registre específic del paquet de similitud. És a dir, després de processar el paquet recentment rebut de registres d'estat de la bomba amb una prova estadística, tenim l'oportunitat de (a) afegir aquest paquet a la mostra d'entrenament per entrenar el model AI / ML i (b) supervisar la qualitat de la versió actual del model quan s'aplica a aquest paquet.
Figura 6 Aplicació d'un model d'aprenentatge automàtic a les dades entrants en el fons d'una "etiqueta" d'un defecte
En un dels nostres anteriors mostrem i expliquem com la plataforma InterSystems IRIS permet implementar qualsevol mecanisme d'IA / ML en forma d'execució contínua de processos de negoci que controlen la fiabilitat dels resultats de la simulació i adapten els paràmetres del model. Quan implementem el prototip del nostre escenari amb bombes, utilitzem tota la funcionalitat d'InterSystems IRIS presentada durant el seminari web, implementant en el procés de l'analitzador com a part de la nostra solució, no l'aprenentatge supervisat clàssic, sinó l'aprenentatge de reforç, que controla automàticament la mostra per a la formació. models. Els registres es col·loquen a la mostra d'entrenament sobre la qual es produeix un "consens de detecció" després d'aplicar tant la prova estadística com la versió actual del model, és a dir, tant la prova estadística (després de la transformació de l'índex de semblança a 0 o 1) com la model va produir un resultat en aquests registres 1. Amb un nou entrenament del model, durant la seva validació (el nou model entrenat s'aplica a la seva pròpia mostra d'entrenament, amb una aplicació preliminar d'una prova estadística), registres que “no hold" el resultat 1 després del processament per part de la prova estadística (a causa de la presència constant a la formació la mostra de registres de l'"etiqueta" original del defecte) s'eliminen de la mostra d'entrenament i la nova versió del model aprèn de l'"etiqueta" del defecte més els registres "retinguts" del flux.
Figura 7 Robotització de càlculs AI/ML a InterSystems IRIS
Si es necessita una mena de "segona opinió" sobre la qualitat de la detecció obtinguda per la informàtica local a InterSystems IRIS, es crea un procés d'assessor per dur a terme models d'aplicació de formació en un conjunt de dades de control mitjançant serveis al núvol (per exemple, Microsoft Azure). , Amazon Web Services , Google Cloud Platform, etc.):
Figura 8 Segona opinió de Microsoft Azure orquestrada per InterSystems IRIS
El prototip del nostre escenari a InterSystems IRIS es fa en forma d'un sistema basat en agents de processos analítics que interactuen amb l'objecte de l'equip (bomba), entorns de modelització matemàtica (Python, R i Julia) i proporcionen l'autoaprenentatge de tot. mecanismes d'IA / ML implicats: en fluxos de dades en temps real.
Figura 9 Funcionalitat principal de la solució AI/ML en temps real a InterSystems IRIS
El resultat pràctic del nostre prototip:
- Patró de defecte reconegut pel model (12 de gener):
- Un defecte en desenvolupament reconegut pel model, que no es va incloure a la mostra (11 de setembre, l'equip de reparació va comprovar el defecte en si només dos dies després - 13 de setembre):
La simulació sobre dades reals que contenen diversos episodis d'un mateix defecte va demostrar que la nostra solució, implementada a la plataforma InterSystems IRIS, ens permet detectar el desenvolupament de defectes d'aquest tipus diversos dies abans que siguin detectats per l'equip de reparació.
InterSystems IRIS: plataforma informàtica universal d'IA/ML en temps real
La plataforma InterSystems IRIS simplifica el desenvolupament, el desplegament i l'operació de solucions de dades en temps real. InterSystems IRIS és capaç de realitzar simultàniament el processament de dades transaccionals i analítiques; mantenir vistes sincronitzades de les dades d'acord amb diversos models (inclosos els relacionals, jeràrquics, d'objectes i de documents); actuar com una plataforma d'integració per a una àmplia gamma de fonts de dades i aplicacions individuals; proporcionar anàlisis avançades en temps real sobre dades estructurades i no estructurades. InterSystems IRIS també proporciona mecanismes per a l'ús d'eines analítiques externes, permet la flexibilitat de combinar l'allotjament en el núvol i en servidors locals.
Les aplicacions construïdes a la plataforma InterSystems IRIS s'han desplegat a tots els sectors, ajudant a les empreses a aconseguir un valor econòmic significatiu des d'una perspectiva estratègica i operativa, millorant la presa de decisions i tancant les bretxes entre l'esdeveniment, l'anàlisi i l'acció.
Figura 10 Arquitectura d'InterSystems IRIS en el context d'IA/ML en temps real
Igual que el diagrama anterior, el diagrama següent combina el nou "sistema de coordenades" (CD/CI/CT) amb el flux d'informació entre els elements de treball de la plataforma. La visualització comença amb el macromecanisme CD i continua amb els macromecanismes CI i TC.
Figura 11 Esquema de fluxos d'informació entre elements AI/ML de la plataforma InterSystems IRIS
L'essència del mecanisme de CD a InterSystems IRIS: els usuaris de la plataforma (desenvolupadors de solucions AI / ML) adapten i / o creen nous desenvolupaments d'IA / ML mitjançant un editor de codi de mecanisme AI / ML especialitzat: Jupyter (nom complet: Jupyter Notebook; també, per concisió, de vegades s'anomenen documents creats en aquest editor). A Jupyter, un desenvolupador té l'oportunitat d'escriure, depurar i verificar el rendiment (inclòs l'ús de gràfics) d'un desenvolupament específic d'IA / ML abans que estigui allotjat ("desplegat") a InterSystems IRIS. Està clar que un nou desenvolupament creat d'aquesta manera només rebrà una depuració bàsica (ja que, en particular, Jupyter no funciona amb fluxos de dades en temps real), això està en l'ordre de coses, perquè el principal resultat del desenvolupament a Jupyter és la confirmació de l'operativitat fonamental d'un mecanisme AI / ML separat ("mostra el resultat esperat a la mostra de dades"). De la mateixa manera, un mecanisme ja col·locat a la plataforma (vegeu els macro-mecanismes següents) abans de la depuració a Jupyter pot requerir un "rollback" al formulari "pre-plataforma" (llegir dades dels fitxers, treballar amb dades a través de xDBC en lloc de taules, interacció directa amb globals - matrius de dades multidimensionals InterSystems IRIS - etc.).
Un aspecte important de la implementació de CD a InterSystems IRIS és que s'implementa la integració bidireccional entre la plataforma i Jupyter, que permet transferir a la plataforma (i, a més, processar a la plataforma) contingut en Python, R i Julia (tots tres són llenguatges de programació en els corresponents entorns de codi obert líders de modelització matemàtica). Així, els desenvolupadors de contingut d'IA/ML tenen la capacitat de "desplegar contínuament" aquest contingut a la plataforma, treballant en el seu editor Jupyter familiar, amb biblioteques conegudes disponibles a Python, R, Julia i realitzant una depuració bàsica (si cal) fora de la plataforma. .
Passem al mecanisme macro de CI a InterSystems IRIS. El diagrama mostra el macroprocés del "robot en temps real" (un complex d'estructures de dades, processos de negoci i fragments de codi orquestrats per ells en els llenguatges de mats i el llenguatge ObjectScript, el llenguatge de desenvolupament natiu d'InterSystems). IRIS). La tasca d'aquest macroprocés és mantenir les cues de dades necessàries per al funcionament dels mecanismes d'AI/ML (basades en els fluxos de dades transmesos a la plataforma en temps real), prendre decisions sobre la seqüència d'aplicació i el "rang" d'AI/ML. Els mecanismes ML (també són "algorismes matemàtics", "models", etc. - es poden anomenar de manera diferent segons les especificitats de la implementació i les preferències terminològiques), mantenen les estructures de dades actualitzades per analitzar els resultats del treball dels mecanismes d'IA / ML (cubs, taules, matrius de dades multidimensionals, etc.) etc. - per a informes, taulers, etc.).
Un aspecte important de la implementació de CI a InterSystems IRIS és que s'implementa la integració bidireccional entre la plataforma i els entorns de modelització matemàtica, que permet executar el contingut allotjat a la plataforma en Python, R i Julia en els seus respectius entorns amb el retorn dels resultats de l'execució. . Aquesta integració s'implementa tant en "mode terminal" (és a dir, el contingut AI/ML es formula com a codi ObjectScript fent trucades a estores) com en "mode de procés de negoci" (és a dir, el contingut AI/ML es formula com un procés de negoci mitjançant un editor gràfic, o de vegades utilitzant Jupyter, o utilitzant un IDE: IRIS Studio, Eclipse, Visual Studio Code). L'editabilitat dels processos de negoci a Jupyter es reflecteix en la relació entre IRIS a nivell de CI i Jupyter a nivell de CD. A continuació es presenta una visió més detallada de la integració amb entorns de modelització matemàtica. En aquesta etapa, segons la nostra opinió, hi ha tots els motius per fixar la presència a la plataforma de totes les eines necessàries per implementar la "integració contínua" dels desenvolupaments d'IA / ML (procedents del "desplegament continu") en AI / en temps real. Solucions ML.
I el principal mecanisme macro: TC. Sense ella, no hi haurà plataforma AI / ML (tot i que "en temps real" s'implementarà mitjançant CD / CI). L'essència de la TC és el treball de la plataforma amb els "artefactes" de l'aprenentatge automàtic i la intel·ligència artificial directament en les sessions de treball d'entorns de modelització matemàtica: models, taules de distribució, vectors matricials, capes de xarxes neuronals, etc. Aquest "treball", en la majoria dels casos, consisteix a crear els artefactes esmentats en els entorns (en el cas dels models, per exemple, la "creació" consisteix a establir l'especificació del model i la posterior selecció dels valors dels seus paràmetres: el l'anomenat "entrenament" del model), la seva aplicació (per a models: utilitzar-los per calcular valors "model·ladors" de variables objectiu: previsions, pertinença a una categoria, probabilitat que es produeixi un esdeveniment, etc.) i millorar artefactes ja creats i aplicats (per exemple, redefinir el conjunt de variables d'entrada del model en funció dels resultats de l'aplicació, per tal d'augmentar la precisió de la predicció, com a opció). El punt clau per entendre el paper de la TC és la seva "abstracció" de les realitats de CD i CI: CT implementarà tots els artefactes, centrant-se en les especificitats computacionals i matemàtiques de la solució AI / ML dins de les capacitats que proporcionen entorns específics. . La responsabilitat de "proporcionar dades d'entrada" i "oferir resultats" serà responsabilitat de CD i CI.
Un aspecte important de la implementació de CT a InterSystems IRIS: utilitzant la integració amb entorns de modelització matemàtica ja esmentada anteriorment, la plataforma té la capacitat d'extreure els mateixos artefactes de les sessions de treball que s'executen sota el seu control als entorns i (el més important) convertir-los en plataforma. objectes de dades. Per exemple, una taula de distribució que s'acaba de crear en una sessió de Python de treball es pot transferir (sense aturar la sessió a Python) a la plataforma en forma, per exemple, d'una matriu de dades global (multidimensional InterSystems IRIS) i utilitzar-la. per a càlculs en un altre mecanisme AI / ML- (ja implementat en el llenguatge d'un altre entorn -per exemple, en R)- o una taula virtual. Un altre exemple: paral·lelament al "mode normal" de l'operació del model (a la sessió de treball de Python), es realitza "auto-ML" a les seves dades d'entrada: selecció automàtica de variables d'entrada òptimes i valors de paràmetres. I juntament amb l'entrenament "regular", el model productiu en temps real també rep una "proposta d'optimització" per a la seva especificació, en la qual el conjunt de variables d'entrada canvia, els valors dels paràmetres canvien (no com a resultat de l'entrenament en Python). , però com a resultat de la formació d'una "versió alternativa de si mateix, com ara la pila H2O), permetent que la solució global d'IA/ML abordi de manera autònoma els canvis imprevistos en la naturalesa de les dades d'entrada i els fenòmens que s'estan modelant.
Coneixem amb més detall la funcionalitat AI / ML de la plataforma d'InterSystems IRIS, utilitzant l'exemple d'un prototip de la vida real.
En el diagrama següent, a la part esquerra de la diapositiva, hi ha una part del procés de negoci que implementa el processament d'scripts en Python i R. A la part central, hi ha registres visuals per a l'execució d'alguns d'aquests scripts, respectivament, en Python i R. Just darrere d'ells hi ha exemples de contingut en un i un altre llenguatge, enviats per a l'execució en els entorns adequats. Al final de la dreta hi ha visualitzacions basades en els resultats de l'execució de l'script. Les visualitzacions de la part superior es fan a IRIS Analytics (les dades s'agafen de Python a la plataforma de dades IRIS d'InterSystems i es mostren al tauler de control mitjançant la plataforma), a la part inferior es fan directament a la sessió de treball R i des d'allà s'envien al gràfic. Fitxers. Un aspecte important: el fragment presentat en el prototip s'encarrega d'entrenar el model (classificació dels estats de l'equip) sobre les dades procedents en temps real del simulador de procés de l'equip, sota comandament del monitor de procés de la qualitat de la classificació. observat durant l'aplicació del model. La implementació d'una solució d'IA/ML com un conjunt de processos interactius ("agents") es discutirà més endavant.
Figura 12 Interacció amb Python, R i Julia a InterSystems IRIS
Els processos de la plataforma (també són "processos de negoci", "processos analítics", "conductes", etc. - depenent del context), s'editen principalment en un editor gràfic de processos de negoci a la mateixa plataforma, i de tal manera que tant el seu diagrama de blocs i el corresponent mecanisme AI/ML (codi de programa) es creen simultàniament. Parlant del fet que "s'obté un mecanisme AI / ML", inicialment ens referim a la hibridació (dins del mateix procés): el contingut en llenguatges d'entorns de modelització matemàtica és adjacent al contingut en SQL (incloses les extensions de ), a InterSystems ObjectScript, amb altres llenguatges compatibles. A més, el procés de la plataforma ofereix possibilitats molt àmplies per "dibuixar" en forma de fragments jeràrquicament imbricats (com es pot veure a l'exemple del diagrama següent), que us permet organitzar de manera eficaç fins i tot contingut molt complex sense "caure" el format gràfic en qualsevol lloc (en mètodes/classes/procediments "no gràfics", etc.). És a dir, si cal (i s'espera en la majoria de projectes), absolutament totes les solucions d'IA/ML es poden implementar en un format d'autocomentari gràfic. Tingueu en compte que a la part central del diagrama següent, que mostra un "nivell de nidificació" més alt, podeu veure que, a més del treball real d'entrenament del model (utilitzant Python i R), una anàlisi de l'anomenat ROC S'afegeix la corba del model entrenat, que permet avaluar visualment (i també computacionalment) la qualitat de la formació, i aquesta anàlisi s'implementa en el llenguatge Julia (s'executa, respectivament, a l'entorn Julia).
Figura 13 Entorn visual per compondre solucions d'IA/ML a InterSystems IRIS
Com s'ha esmentat anteriorment, el desenvolupament inicial i (en alguns casos) l'adaptació dels mecanismes d'IA/ML ja implementats a la plataforma es/podrà fer fora de la plataforma a l'editor Jupyter. Al diagrama següent, veiem un exemple d'adaptació d'un procés de plataforma existent (igual que al diagrama anterior): així es veu el fragment que s'encarrega d'entrenar el model a Jupyter. El contingut de Python està disponible per a l'edició, la depuració i la sortida de gràfics directament a Jupyter. Els canvis (si cal) es poden fer amb sincronització instantània al procés de la plataforma, inclosa la seva versió de producció. De la mateixa manera, es pot transferir contingut nou a la plataforma (automàticament es genera un nou procés de plataforma).
Figura 14 Ús de Jupyter Notebook per editar el motor AI/ML a la plataforma InterSystems IRIS
L'adaptació del procés de la plataforma es pot realitzar no només en format gràfic o quadern, sinó també en format IDE (Entorn de desenvolupament integrat) "total". Aquests IDE són IRIS Studio (estudi IRIS natiu), Visual Studio Code (extensió InterSystems IRIS per a VSCode) i Eclipse (connector Atelier). En alguns casos, és possible que l'equip de desenvolupament utilitzi els tres IDE al mateix temps. El diagrama següent mostra un exemple d'edició del mateix procés a IRIS Studio, a Visual Studio Code i a Eclipse. Absolutament tot el contingut està disponible per a l'edició: Python / R / Julia / SQL i ObjectScript, i un procés de negoci.
Figura 15 Desenvolupament del procés de negoci InterSystems IRIS en diversos IDE
Menció especial mereixen les eines d'execució i descripció dels processos de negoci d'InterSystems IRIS en el llenguatge de processos empresarials (BPL). BPL permet utilitzar "components d'integració preparats" (activitats) en els processos empresarials, cosa que, de fet, dóna motius per afirmar que la "integració contínua" està implementada a InterSystems IRIS. Els components de processos empresarials preparats (activitats i enllaços entre ells) són l'accelerador més potent per muntar una solució d'IA/ML. I no només assemblees: gràcies a les activitats i connexions entre elles, sobre desenvolupaments i mecanismes dispars d'IA/ML, apareix una “capa de gestió autònoma” que és capaç de prendre decisions segons la situació, en temps real.
Figura 16 Components de processos empresarials preparats per a la integració contínua (CI) a la plataforma InterSystems IRIS
El concepte de sistemes d'agent (també són "sistemes multiagent") té una posició forta en robòtica, i la plataforma InterSystems IRIS el dóna suport orgànicament a través del constructe "procés-producte". A més de possibilitats il·limitades per "omplir" cada procés amb la funcionalitat necessària per a la solució global, dotar el sistema de processos de la plataforma amb la propietat d'"agència" permet crear solucions efectives per a fenòmens simulats extremadament inestables (comportament dels biosistemes/socials). , processos tecnològics parcialment observables, etc.).
Figura 16 Funcionament de la solució AI/ML com a sistema d'agent de processos de negoci a InterSystems IRIS
Continuem la nostra revisió d'InterSystems IRIS amb una història sobre l'aplicació de la plataforma per resoldre classes senceres de problemes en temps real (un coneixement bastant detallat d'algunes de les millors pràctiques de la plataforma AI / ML a InterSystems IRIS es produeix en un dels nostres anteriors). ).
A la recerca del diagrama anterior, a continuació es mostra un diagrama més detallat del sistema d'agents. El diagrama mostra el mateix prototip, els quatre processos d'agent són visibles, les relacions entre ells es dibuixen esquemàticament: GENERADOR - gestiona la creació de dades per part dels sensors de l'equip, BUFFER - gestiona les cues de dades, ANALYZER - realitza ell mateix aprenentatge automàtic, MONITOR - controla el qualitat de l'aprenentatge automàtic i dóna un senyal que el model s'ha de tornar a entrenar.
Figura 17 Composició d'una solució d'IA/ML com a sistema d'agent de processos de negoci a InterSystems IRIS
El diagrama següent il·lustra el funcionament autònom d'un altre prototip robòtic (reconeixement de text emocional) durant un temps. A la part superior - l'evolució de l'indicador de qualitat d'aprenentatge del model (la qualitat està creixent), a la part inferior - la dinàmica de l'indicador de qualitat de l'aplicació del model i els fets d'entrenament repetit (barres vermelles). Com podeu veure, la solució s'ha autoaprenentatge de manera eficient i autònoma, i funciona a un nivell de qualitat determinat (els valors de l'indicador de qualitat no baixen del 80%).
Figura 18 (Auto-)aprenentatge continu (TC) a la plataforma InterSystems IRIS
També hem esmentat "auto-ML" anteriorment, però el diagrama següent mostra l'aplicació d'aquesta funcionalitat en detall utilitzant un altre prototip com a exemple. El diagrama gràfic del fragment del procés de negoci mostra l'activitat que inicia la simulació a la pila H2O, mostra els resultats d'aquesta simulació (domini evident del model resultant sobre els models "man-made", segons el diagrama comparatiu de corbes ROC). , així com la identificació automatitzada de les "variables més influents" a partir de les disponibles al conjunt de dades original). El punt important aquí és l'estalvi de temps i recursos experts, que s'aconsegueix mitjançant "auto-ML": el que fa el procés de la nostra plataforma en mig minut (trobar i entrenar el model òptim), un expert pot trigar d'una setmana a una setmana. mes.
Figura 19 Integració Auto-ML a la solució AI/ML basada en la plataforma InterSystems IRIS
El diagrama de sota "derroca una mica el clímax", però aquesta és una bona manera de completar la història sobre les classes de problemes en temps real que s'estan resolent: us recordem que amb totes les capacitats de la plataforma InterSystems IRIS, els models d'entrenament sota el seu control no és obligatori. La plataforma pot obtenir externament una especificació de model anomenada PMML entrenada en una eina que no està controlada per la plataforma, i aplicar aquest model en temps real des del moment en què s'importa. . Al mateix temps, és important tenir en compte que no tots els artefactes AI / ML es poden reduir a una especificació PMML, fins i tot si la majoria dels artefactes més comuns ho permeten. Així, la plataforma InterSystems IRIS té un "bucle obert" i no significa "esclavitud de plataforma" per als usuaris.
Figura 20 Integració Auto-ML a la solució AI/ML basada en la plataforma InterSystems IRIS
Enumerem els avantatges addicionals de la plataforma d'InterSystems IRIS (per a més claredat, en relació al control de processos), que són de gran importància en l'automatització de la intel·ligència artificial i l'aprenentatge automàtic en temps real:
- Eines d'integració avançades amb qualsevol font de dades i consumidors (PCS/SCADA, equips, MRO, ERP, etc.)
- Incorporat per al processament analític transaccional d'alt rendiment (transacció híbrida/processament analític, HTAP) de qualsevol volum de dades de procés
- Eines de desenvolupament per al desplegament continu de motors de decisió AI/ML en temps real basats en Python, R, Julia
- Processos de negoci adaptatius per a la integració contínua i els mecanismes d'autoaprenentatge de solucions d'IA/ML en temps real
- Eines d'intel·ligència empresarial incrustades per visualitzar les dades del procés i els resultats de la solució d'IA/ML
- per lliurar els resultats de la solució AI / ML a sistemes de control de processos / SCADA, sistemes d'informació i anàlisi, enviament d'alertes, etc.
Les solucions d'IA / ML basades en la plataforma InterSystems IRIS s'adapten fàcilment a la infraestructura informàtica existent. La plataforma InterSystems IRIS proporciona solucions d'IA/ML altament fiables mitjançant el suport per a configuracions tolerants a errors i desastres i un desplegament flexible en entorns virtuals, servidors físics, núvols privats i públics, contenidors Docker.
Així, InterSystems IRIS és una plataforma informàtica universal d'IA/ML en temps real. La universalitat de la nostra plataforma es confirma a la pràctica per l'absència de restriccions de facto sobre la complexitat dels càlculs implementats, la capacitat d'InterSystems IRIS de combinar (en temps real) el processament d'escenaris d'una gran varietat d'indústries i l'excepcional adaptabilitat. de qualsevol funció i mecanisme de la plataforma a les necessitats específiques dels usuaris.
Figura 21 InterSystems IRIS - Plataforma de computació AI/ML en temps real universal
Per a una interacció més substancial amb els nostres lectors que estiguin interessats en el material aquí presentat, us recomanem que no us limiteu a llegir-lo i continueu el diàleg “en directe”. Estarem encantats d'oferir suport amb la formulació d'escenaris d'IA/ML en temps real en relació amb les especificitats de la vostra empresa, realitzar prototips conjunts a la plataforma InterSystems IRIS, formular i posar en pràctica un full de ruta per introduir la intel·ligència artificial i l'aprenentatge automàtic. als vostres processos de producció i gestió. L'adreça de correu electrònic de contacte del nostre grup d'experts en IA/ML és .
Font: www.habr.com