Autore: Sergey Lukyanchikov, InterSystems Consulting Engineer
Sfide di l'informatica AI/ML in tempu reale
Cuminciamu cù esempi da l'esperienza di a pratica di Data Science in InterSystems:
- U portale di cumpratori "caricatu" hè cunnessu à un sistema di ricumandazione in linea. A ristrutturazione di e prumuzioni nantu à a scala di a reta di vendita (per esempiu, invece di una linea "piatta" di promozioni, a matrice "segment-tactics" serà avà aduprata). Cosa succede à i cunsiglieri? Chì succede cù a sottumissione è l'aghjurnamentu di e dati à u mecanismu di ricunniscenza (u voluminu di dati di input hè aumentatu da 25000 XNUMX volte)? Chì succede à u sviluppu di i cunsiglii (a necessità di una diminuzione di mille volte in u sogliu di filtrazione di e regule di ricunniscenza per via di un aumentu di mille volte in u so numeru è "assortiment")?
- Ci hè un sistema per monitorizà a probabilità di sviluppu di difetti in i nodi di l'equipaggiu. Un sistema di cuntrollu di prucessu hè stata cunnessa à u sistema di surviglianza, trasmettenu millaie di parametri di prucessu ogni secondu. Chì succede à u sistema di surviglianza chì hà travagliatu prima nantu à "mostri manuali" (hè capace di furnisce un monitoraghju di probabilità di seconda à seconda)? Chì succederà se un novu bloccu cù parechji cintunari di culonni appare in i dati di input cù e letture di i sensori recentemente introdotti in u sistema di cuntrollu di prucessu (se è quantu serà necessariu di piantà u sistema di surviglianza per includere dati da novi sensori in u analisi)?
- Un inseme di meccanismi AI/ML (raccomandatori, monitoraghju, predittivi) hè statu creatu, utilizendu i risultati di u travagliu di l'altri. Quante ore d'omu sò richieste mensili per adattà l'operazione di stu cumplessu à i cambiamenti in i dati di input? Chì ghjè u "rallentamentu" generale sustinutu da u cumplessu di decisione (frequenza di l'occurrence di novi informazioni di supportu in questu relative à a freccia d'occurrence di novi dati di input)?
Riassuntu questi è parechji altri esempii, simu ghjunti à a formulazione di e sfide chì si sviluppanu quandu si passa à l'usu di l'apprendimentu di machine è di i meccanismi di intelligenza artificiale in tempu reale:
- Semu soddisfatti di a rapidità di creazione è adattazione (à a situazione cambiante) di i sviluppi AI / ML in a nostra cumpagnia?
- Finu à chì puntu e soluzioni AI / ML chì usemu supportanu a gestione cummerciale in tempu reale?
- E soluzioni AI / ML chì usemu sò capaci di adattà indipindentamente (senza sviluppatori) à i cambiamenti in i dati è e pratiche di gestione cummerciale?
U nostru articulu hè una panoramica dettagliata di e capacità di a piattaforma InterSystems IRIS in termini di supportu universale per l'implementazione di meccanismi AI / ML, assemblea (integrazione) di soluzioni AI / ML è furmazione (test) di soluzioni AI / ML nantu à dati intensivi. flussi. Ci vulteremu à a ricerca di u mercatu, studi di casu di soluzioni AI / ML, è aspetti cuncettuali di ciò chì avemu riferitu cum'è una piattaforma AI / ML in tempu reale in questu articulu.
Ciò chì sapemu da i sondaggi: applicazioni in tempu reale
Risultati realizatu trà circa 800 prufessiunali IT in 2019 da Lightbend parlanu per sè stessu:
Figura 1 I cunsumatori principali di dati in tempu reale
Citemu i frammenti di u rapportu nantu à i risultati di sta indagine chì sò impurtanti per noi in a nostra traduzzione:
"... Tendenze in a popularità di l'uttene di integrazione di flussu di dati è, à u stessu tempu, u supportu per l'informatica cuntainerizzata furnisce una risposta sinergica à a dumanda di u mercatu per una pruposta più efficiente, raziunale è dinamica di soluzioni efficaci. I flussi di dati permettenu di trasferisce l'infurmazioni più rapidamente cà i dati tradiziunali di pacchetti. Hè aghjuntu à questu hè a capacità di applicà rapidamente metudi di computazione, cum'è e raccomandazioni basate in AI / ML, per creà vantaghji cumpetitivi attraversu a satisfaczione di u cliente aumentata. A corsa per l'agilità impatta ancu in tutti i roli in u paradigma DevOps - rendendu u sviluppu è l'implementazione di l'applicazioni più efficienti. ... Ottucentu quattru prufessiunali IT furnì infurmazioni nantu à l'usu di flussi di dati in e so urganisazioni. I rispondenti eranu principarmenti situati in i paesi occidentali (41% in Europa è 37% in America di u Nordu) è sò stati distribuiti quasi uguali trà e piccule, medie è grande imprese. …
... L'intelligenza artificiale ùn hè micca hype. Cinquanta ottu per centu di quelli chì anu digià utilizatu u processu di flussu di dati in l'applicazioni AI / ML produttive cunfirmanu chì u so usu in AI / ML vi vede u più grande guadagnu l'annu dopu (in paragone à l'altri applicazioni).
- Sicondu a maiò parte di i rispondenti, l'usu di i flussi di dati in scenarii AI / ML riceverà u più grande aumentu in l'annu prossimu.
- L'applicazioni in AI / ML cresceranu micca solu per mezu di tippi relativamente novi di scenarii, ma ancu attraversu scenari tradiziunali, in quale i dati in tempu reale sò sempre più utilizati.
- In più di AI / ML, u livellu di entusiasmu trà l'utilizatori di i pipelines di dati IoT hè impressiunanti - 48% di quelli chì anu digià integratu i dati IoT dicenu chì l'implementazione di scenarii nantu à sta dati riceverà un aumentu significativu in un futuru vicinu. … »
Da questa indagine piuttostu interessante, si pò vede chì a percepzione di l'apprendimentu di machine è i scenarii di intelligenza artificiale cum'è capi in u cunsumu di flussi di dati hè digià "in strada". Ma a percepzione di l'AI / ML in tempu reale attraversu l'ottica DevOps diventa una osservazione ugualmente impurtante: quì pudemu digià principià à parlà di a trasfurmazioni di a cultura sempre dominante di "AI / ML una volta cù un settore di dati cumplettamente accessibile".
Cuncepimentu di piattaforma AI/ML in tempu reale
Una applicazione tipica per AI / ML in tempu reale hè in u cuntrollu di u prucessu di fabricazione. Nantu à u so esempiu è tenendu in contu e riflessioni precedenti, formuleremu u cuncettu di una piattaforma AI / ML in tempu reale.
L'usu di l'intelligenza artificiale è l'apprendimentu automaticu in u cuntrollu di prucessu hà parechje caratteristiche:
- I dati nantu à u statu di u prucessu tecnologicu sò ricivuti intensivamente: cù una freccia alta è una larga gamma di parametri (finu à decine di millaie di valori di parametri trasmessi per seconda da u sistema di cuntrollu di prucessu)
- Dati nantu à a deteczione di difetti, per micca di parlà di e dati nantu à u so sviluppu, à u cuntrariu, sò scarsi è irregulari, carattarizati da una tipografia insufficiente di difetti è a so localizazione in u tempu (spessu rapprisintatu da registri nantu à carta)
- Da un puntu di vista praticu, solu a "finestra di rilevanza" di i dati iniziali hè dispunibule per a furmazione è l'applicazione di mudelli, chì riflette a dinamica di u prucessu tecnologicu per un intervallu di scorrimentu raghjone, chì finisce cù l'ultimi valori di lettura di i paràmetri di u prucessu.
Queste caratteristiche ci forzanu, in più di riceve è trasfurmazioni basi in tempu reale di intensu "input di banda larga" da u prucessu, per realizà (in parallelu) l'applicazione, a furmazione è u cuntrollu di qualità di i risultati di u travagliu di mudelli AI / ML - ancu in tempu reale. U "quadru" chì i nostri mudelli "vedenu" in a finestra scorrevule di pertinenza hè in constantemente cambiante - è cun ellu, a qualità di i risultati di u travagliu di mudelli AI / ML furmatu nantu à unu di i "quadri" in u passatu cambia ancu. . Se a qualità di i risultati di u travagliu di i mudelli AI / ML si deteriora (per esempiu: u valore di l'errore di classificazione "alarm-norm" hè andatu oltre i limiti chì avemu definitu), a ricuperazione di mudelli deve esse automaticamente iniziata in un modu più. "frame" pertinente - è l'scelta di u mumentu per inizià a furmazione di mudelli deve piglià in contu cumu a durata di a furmazione stessu, è ancu a dinamica di deterioramentu in a qualità di a versione attuale di i mudelli (dapoi e versioni attuali). di i mudelli cuntinueghjanu à esse appiicati mentre i mudelli sò furmatu, è finu à chì e so versioni "retrained" sò generati).
InterSystems IRIS hà capacità chjave di a piattaforma per attivà e soluzioni AI/ML in tempu reale per u cuntrollu di u prucessu. Sti pussibulità ponu esse divisu in trè gruppi principali:
- Implementazione cuntinuu (Deployment / Delivery Continuu, CD) di meccanismi AI / ML novi o adattati esistenti in una soluzione produttiva chì opera in tempu reale nantu à a piattaforma InterSystems IRIS
- Integrazione Continua (CI) in una solu suluzione produttiva di flussi di dati di prucessu entranti, file di dati per l'applicazione / furmazione / cuntrollu di qualità di i meccanismi AI / ML è scambii di dati / codice / cuntrollu cù ambienti di modellazione matematica, chì sò orchestrati in tempu reale. Piattaforma InterSystems IRIS
- Apprendimentu (auto) continuu (Formazione Continua, CT) di i meccanismi AI / ML realizati in ambienti di modellazione matematica utilizendu dati, codice è azzioni di cuntrollu ("decisioni prese") trasmesse da a piattaforma InterSystems IRIS
A classificazione di e capacità di a piattaforma in relazione à l'apprendimentu automaticu è l'intelligenza artificiale in precisamente tali gruppi ùn hè micca accidintali. Citemu a metodulugia Google, chì furnisce una basa conceptuale per sta classificazione, in a nostra traduzzione:
"... U cuncettu DevOps, chì hè populari in questi ghjorni, copre u sviluppu è u funziunamentu di sistemi d'informazione à grande scala. I vantaghji di implementà stu cuncettu sò a riduzzione di a durata di i ciculi di sviluppu, l'accelerazione di u sviluppu di u sviluppu, a flessibilità di a pianificazione di liberazione. Per ottene questi benefici, DevOps implica l'implementazione di almenu duie pratiche:
- Integrazione Continua (CI)
- Consegna cuntinuu (CD)
Queste pratiche si applicanu ancu à e piattaforme AI / ML per assicurà build robuste è performanti di soluzioni AI / ML produttive.
I piattaforme AI/ML differiscenu da altri sistemi d'informazione in i seguenti aspetti:
- Cumpetenze di u Team: Quandu custruisce una soluzione AI / ML, a squadra generalmente include scientisti di dati o scientisti di dati chì realizanu analisi di dati, sviluppu di mudelli è validazione. Questi membri di a squadra ùn ponu micca esse sviluppatori prufessiunali di codice produtivu.
- Sviluppu: I miccanismi AI / ML sò di natura sperimentale. Per risolve u prublema in u modu più efficaci, hè necessariu di sorte à traversu diverse cumminazzioni di variabili di input, algoritmi, metudi di mudellu è paràmetri di mudellu. A cumplessità di una tale ricerca si trova in traccia di "ciò chì hà travagliatu / ùn hà micca travagliatu", assicurendu a riproducibilità di l'episodi, generalizing sviluppi per implementazioni recurrenti.
- Test: A prova di i meccanismi AI/ML richiede una gamma più larga di teste cà a maiò parte di l'altri sviluppi. In più di e teste tipiche di unità è integrazione, a validità di e dati è a qualità di i risultati di l'applicazione di u mudellu à i campioni di furmazione è di cuntrollu sò testati.
- Implementazione: A implementazione di soluzioni AI / ML ùn hè micca limitata à i servizii predittivi chì applicanu un mudellu una volta furmatu. E soluzioni AI / ML sò custruite intornu à pipeline multi-stadi chì realizanu furmazione automatizata è applicazione di mudelli. L'implementazione di tali pipeline implica l'automatizazione di passi micca triviali tradizionalmente realizati manualmente da i scientifichi di dati per pudè furmà è testà mudelli.
- Produttivu: I mutori AI / ML ponu manca di prestazione micca solu per una prugrammazione inefficiente, ma ancu per a natura sempre cambiante di e dati di input. In altri palori, u funziunamentu di i meccanismi AI / ML pò degradà per una gamma più larga di ragioni chì u rendiment di i sviluppi cunvinziunali. Questu risultatu in a necessità di monitorà (in linea) a prestazione di i nostri mutori AI / ML, è mandà alerti o rifiutà i risultati se u rendiment ùn hè micca à l'aspettattivi.
I plataformi AI / ML sò simili à l'altri sistemi d'informazione in quantu i dui necessitanu integrazione di codice cuntinuu cù cuntrollu di versione, teste di unità, teste d'integrazione, implementazione di sviluppu cuntinuu. Tuttavia, in u casu di AI/ML, ci sò uni pochi di differenzi impurtanti:
- CI (Integrazione Continua) ùn hè più limitata à a prova è a validazione di u codice di cumpunenti implementati - include ancu a prova è a validazione di dati è mudelli AI / ML.
- CD (Cuntinuous Delivery / Deployment, Cuntinuous Deployment) ùn hè micca limitatu à scrive è liberazione di pacchetti o servizii, ma implica una piattaforma per cumpone, amparà è applicà soluzioni AI / ML.
- CT (Continuous Training, continuous learning) - un novu elementu [approx. da l'autore di l'articulu: un novu elementu in relazione à u cuncettu tradiziunale di DevOps, in quale CT hè di solitu Testing Continuu], inerente à e plataforme AI / ML, rispunsevuli di gestisce in modu autonomu i meccanismi per l'apprendimentu è l'applicazione di mudelli AI / ML. ... "
Pudemu dichjarà chì l'apprendimentu automaticu è l'intelligenza artificiale chì travaglianu nantu à e dati in tempu reale necessitanu un inseme più largu di arnesi è cumpetenze (da u sviluppu di codice à l'orchestrazione di ambienti di modellazione matematica), una integrazione più stretta trà tutte e aree funziunali è sugetti, una urganizazione più efficaci di l'umani è di l'umani. risorse macchina.
Scenariu in tempu reale: ricunnosce u sviluppu di difetti in e pompe d'alimentazione
Cuntinuà à aduprà u campu di cuntrollu di prucessu cum'è un esempiu, cunzidira un compitu specificu (dighjà citatu da noi à u principiu): hè necessariu di furnisce un surviglianza in tempu reale di u sviluppu di difetti in pompe basatu nantu à u flussu di i paràmetri di u prucessu. è rapporti di u persunale di mantenimentu nantu à i difetti rilevati.
Figura 2 Formulazione di u compitu di monitorà u sviluppu di difetti
A peculiarità di a maiò parte di i travaglii stabiliti in questu modu in a pratica hè chì a rigularità è l'efficienza di a ricezione di dati (APCS) deve esse cunsideratu in u sfondate di l'occurrence episodica è irregulare (è a registrazione) di diversi tipi di difetti. In altre parolle: i dati da u sistema di cuntrollu di u prucessu venenu una volta una seconda curretta curretta, è i difetti sò registrati cù un lapis indeleble cù a data in u librettu generale in l'attellu (per esempiu: "12.01 - fuga in a tappa da u latu di u 3u cuscinettu ").
Cusì, hè pussibule supplementà a formulazione di u prublema cù a limitazione impurtante seguente: avemu solu una "etichetta" di un difettu di un tipu particulari (vale à dì, un esempiu di un difettu di un tipu particulari hè rapprisintatu da dati da u sistema di cuntrollu di prucessu per una data specifica - è ùn avemu micca più esempi di un difettu di stu tipu particulari). Sta restrizzione ci porta immediatamente fora di l'alcunu di l'apprendimentu automaticu classicu (apprendimentu supervisatu), per quale deve esse assai "etichette".
Figura 3 Raffinamentu di u compitu di monitorà u sviluppu di difetti
Pudemu in qualchì modu "multiplicà" l'unica "etichetta" à a nostra dispusizione ? Iè pudemu. U statu attuale di a pompa hè carattarizatu da u gradu di similarità à i difetti registrati. Ancu senza l'usu di metudi quantitativi, à u livellu di a percepzione visuale, osservendu a dinamica di i valori di dati chì venenu da u sistema di cuntrollu di prucessu, pudete digià amparà assai:
Figura 4 Dinamica di u statu di a pompa in u sfondate di a "marca" di un difettu di un tipu datu
Ma a percepzione visuale (almenu per avà) ùn hè micca u generatore più adattatu di "tags" in u nostru scenariu chì cambia rapidamente. Evalueremu a similitudine di u statu attuale di a pompa à i difetti riportati utilizendu una prova statistica.
Figura 5 Applicà una prova statistica à e dati entranti in u sfondate di una "etichetta" di un difettu
A prova statistica determina a probabilità chì i registri cù i valori di i paràmetri di u prucessu tecnologicu in u "pacchettu di flussu" ricivutu da u sistema di cuntrollu di prucessu sò simili à i registri "etichetta" di un certu tipu di difettu. U valore di probabilità calculatu cum'è u risultatu di l'applicazione di una prova statistica (indici di similitudine statistica) hè cunvertitu à un valore di 0 o 1, diventendu una "etichetta" per l'apprendimentu machine in ogni registru specificu in u pacchettu di similarità. Vale à dì, dopu avè trasfurmatu u pacchettu di novu ricivutu di registri di u statu di pompa cù una prova statistica, avemu l'uppurtunità di (a) aghjunghje stu pacchettu à u campione di furmazione per a furmazione di u mudellu AI / ML è (b) monitorà a qualità di a versione attuale di u mudellu quandu hè appiicata à stu pacchettu.
Figura 6 Applicazione di un mudellu d'apprendimentu machine à e dati entranti in u sfondate di una "etichetta" di un difettu
In unu di i nostri precedenti mostramu è spieghemu cumu a piattaforma InterSystems IRIS permette di implementà qualsiasi mecanismu AI / ML in a forma di eseguisce continuamente prucessi di cummerciale chì cuntrolanu l'affidabilità di i risultati di simulazione è adattanu i paràmetri di mudelli. Quandu implementemu u prototipu di u nostru scenariu cù pompe, usemu tutte e funziunalità InterSystems IRIS presentate durante u webinar - implementendu in u prucessu di l'analizzatore cum'è parte di a nostra suluzione, micca l'apprendimentu supervisatu classicu, ma piuttostu l'apprendimentu di rinfurzamentu, chì cuntrolla automaticamente a mostra per a furmazione. mudelli. I registri sò posti in u campionu di furmazione nantu à quale un "consensu di rilevazione" si trova dopu l'applicazione di a prova statistica è a versione attuale di u mudellu - vale à dì sia a prova statistica (dopu à a trasfurmazioni di l'indici di similitudine à 0 o 1), sia a prova statistica. mudellu hà pruduttu un risultatu nantu à tali records 1. Cù una nova furmazione di u mudellu, durante a so validazione (u mudellu novu furmatu hè appiicatu à u so propiu campionu di furmazione, cù una applicazione preliminare di una prova statistica à ellu), registra chì "ùn hà micca hold" u risultatu 1 dopu a trasfurmazioni da a prova statistica (per via di a presenza constante in a furmazione, a mostra di records da u "etichetta" uriginale di u difettu) sò eliminati da a mostra di furmazione, è a nova versione di u mudellu ampara da l'"etichetta" di u difettu più i registri "tenuti" da u flussu.
Figura 7 Robotizazione di i calculi AI/ML in InterSystems IRIS
Se ci hè bisognu di un tipu di "seconda opinione" nantu à a qualità di rilevazione ottenuta da l'informatica locale in InterSystems IRIS, un prucessu di cunsigliu hè creatu per realizà mudelli di furmazione di appiecazione nantu à un set di dati di cuntrollu utilizendu servizii cloud (per esempiu, Microsoft Azure). , Amazon Web Services, Google Cloud Platform, etc.):
Figura 8 Seconda opinione da Microsoft Azure orchestrata da InterSystems IRIS
U prototipu di u nostru scenariu in InterSystems IRIS hè fattu in forma di un sistema basatu in agenti di prucessi analitici chì interagiscenu cù l'ughjettu di l'equipaggiu (pompa), ambienti di modellazione matematica (Python, R è Julia), è furnisce l'auto-apprendimentu di tutti. i meccanismi AI / ML implicati - nantu à i flussi di dati in tempu reale.
Figura 9 Funzionalità principale di a soluzione AI/ML in tempu reale in InterSystems IRIS
U risultatu praticu di u nostru prototipu:
- Pattu di difettu ricunnisciutu da u mudellu (12 di ghjennaghju):
- Un difettu di sviluppu ricunnisciutu da u mudellu, chì ùn era micca inclusu in a mostra (11 settembre, u difettu stessu hè statu verificatu da a squadra di riparazione solu dui ghjorni dopu - 13 settembre):
A simulazione nantu à dati reali chì cuntenenu parechji episodii di u stessu difettu hà dimustratu chì a nostra suluzione, implementata nantu à a piattaforma InterSystems IRIS, permette di detectà u sviluppu di difetti di stu tipu parechji ghjorni prima ch'elli sò rilevati da a squadra di riparazione.
InterSystems IRIS - piattaforma universale di calculu AI/ML in tempu reale
A piattaforma InterSystems IRIS simplifica u sviluppu, l'implementazione è l'operazione di soluzioni di dati in tempu reale. InterSystems IRIS hè capaci di realizà simultaneamente u processu di dati transazionale è analiticu; mantene viste sincronizzate di e dati in cunfurmità cù parechji mudelli (cumpresi relazionale, gerarchicu, oggettu è documentu); agisce cum'è una piattaforma di integrazione per una larga gamma di fonti di dati è applicazioni individuali; furnisce analisi avanzate in tempu reale nantu à dati strutturati è micca strutturati. InterSystems IRIS furnisce ancu miccanismi per l'usu di strumenti analitici esterni, permette a flessibilità di cumminà l'ospiti in u nuvulu è in i servitori lucali.
L'applicazioni custruite nantu à a piattaforma InterSystems IRIS sò state implementate in tutti i settori, aiutendu l'imprese à ottene un valore ecunomicu significativu da una perspettiva strategica è operativa, rinfurzendu a decisione è chjudendu e lacune trà l'avvenimentu, l'analisi è l'azzione.
Figura 10 L'architettura InterSystems IRIS in u cuntestu di l'AI/ML in tempu reale
Cum'è u diagramma precedente, u diagramma sottu combina u novu "sistema di coordenate" (CD/CI/CT) cù u flussu di informazioni trà l'articuli di travagliu di a piattaforma. A visualizazione principia cù u macro-meccanismu CD è cuntinueghja cù i macro-meccanismi CI è CT.
Figura 11 Schema di flussi di informazioni trà elementi AI/ML di a piattaforma InterSystems IRIS
L'essenza di u mecanismu CD in InterSystems IRIS: l'utilizatori di piattaforma (sviluppatori di soluzioni AI / ML) adattanu esistenti è / o creanu novi sviluppi AI / ML utilizendu un editore di codice di meccanismi AI / ML specializatu: Jupyter (nome cumpletu: Jupyter Notebook; ancu, per brevità, i documenti creati in questu editore sò qualchì volta chjamati). In Jupyter, un sviluppatore hà l'uppurtunità di scrive, debug è verificà a prestazione (cumpresu l'usu di grafica) di un sviluppu specificu AI / ML prima ch'ellu sia ospitatu ("spiegatu") in InterSystems IRIS. Hè chjaru chì un novu sviluppu creatu in questu modu riceverà solu debugging di basa (perchè, in particulare, Jupyter ùn travaglia micca cù flussi di dati in tempu reale) - questu hè in l'ordine di e cose, perchè u risultatu principale di u sviluppu in Jupyter. hè a cunferma di l'operabilità fundamentale di un meccanismu AI / ML separatu ("mostra u risultatu previstu nantu à a mostra di dati"). In u listessu modu, un mecanismu digià postu in a piattaforma (vede i macro-meccanismi seguenti) prima di debugging in Jupyter pò esse bisognu di un "rollback" à a forma "pre-piattaforma" (leghjendu dati da i schedari, travagliendu cù dati à traversu xDBC invece di tavule). interazione diretta cù globals - arrays di dati multidimensionali InterSystems IRIS - ecc.).
Un aspettu impurtante di l'implementazione di CD in InterSystems IRIS hè chì l'integrazione bidirezionale hè implementata trà a piattaforma è Jupyter, chì permette di trasferisce à a piattaforma (è, in più, prucessu in a piattaforma) cuntenutu in Python, R è Julia (tutti trè sò linguaggi di prugrammazione in l'ambienti currispundenti di fonte aperta di u modellu matematicu). Cusì, i sviluppatori di cuntenutu AI / ML anu a capacità di "spiegà in continuu" stu cuntenutu à a piattaforma, travagliendu in u so editore familiar Jupyter, cù biblioteche familiari dispunibili in Python, R, Julia, è eseguendu debugging di basa (se necessariu) fora di a piattaforma. .
Passemu à u mecanismu macro di CI in InterSystems IRIS. U diagramma mostra u macro-processu di u "robot in tempu reale" (un cumplessu di strutture di dati, prucessi cummerciale è frammenti di codice orchestrati da elli in e lingue di stuoie è a lingua ObjectScript - a lingua di sviluppu nativa di InterSystems. IRIS). U compitu di stu prucessu macro hè di mantene e file di dati necessarii per u funziunamentu di i meccanismi AI / ML (basatu nantu à i flussi di dati trasmessi à a piattaforma in tempu reale), piglià decisioni nantu à a sequenza di l'applicazione è a "range" di AI / ML. Meccanismi ML (sò ancu "algoritmi matematichi", "mudelli", etc. - ponu esse chjamati in modu diversu secondu a specificità di implementazione è e preferenze terminologiche), mantenenu strutture di dati aghjurnati per analizà i risultati di u travagliu di i miccanismi AI / ML. (cubi, tavule, matrici di dati multidimensionali, etc.) ecc. - per rapporti, dashboards, etc.).
Un aspettu impurtante di l'implementazione di CI in InterSystems IRIS hè chì l'integrazione bidirezionale hè implementata trà a piattaforma è l'ambienti di modellazione matematica, chì permette di eseguisce u cuntenutu ospitu in a piattaforma in Python, R è Julia in i so ambienti rispettivi cù u ritornu di i risultati di esecuzione. . Questa integrazione hè implementata in u "modu terminale" (vale à dì, u cuntenutu AI / ML hè formulatu cum'è codice ObjectScript chì face chjamà à stuoie) è in "modu di prucessu di cummerciale" (vale à dì, u cuntenutu AI / ML hè formulatu cum'è un prucessu cummerciale utilizendu un editore graficu, o qualchì volta utilizendu Jupyter, o utilizendu un IDE - IRIS Studio, Eclipse, Visual Studio Code). L'editabilità di i prucessi di cummerciale in Jupyter hè riflessa da a relazione trà IRIS à u livellu CI è Jupyter à u livellu CD. Una panoramica più dettagliata di l'integrazione cù l'ambienti di modellazione matematica hè datu quì sottu. In questa tappa, in u nostru parè, ci hè ogni mutivu per riparà a presenza in a piattaforma di tutti l'arnesi necessarii per implementà a "integrazione cuntinuu" di i sviluppi AI / ML (venendu da "spiegamentu cuntinuu") in AI / tempu reale. Soluzioni ML.
È u principale mecanismu macro: CT. Senza ellu, ùn ci sarà micca una piattaforma AI / ML (ancu se "tempu reale" serà implementatu attraversu CD / CI). L'essenza di CT hè u travagliu di a piattaforma cù "artifacts" di machine learning è intelligenza artificiale direttamente in e sessioni di travagliu di ambienti di modellazione matematica: mudelli, tabelle di distribuzione, vettori di matrici, strati di rete neurale, etc. Stu "travagliu", in a maiò parte di i casi, cunsiste in a creazione di l'artifacti citati in l'ambienti (in u casu di mudelli, per esempiu, a "creazione" hè custituita da stabilisce a specificazione di u mudellu è a selezzione successiva di i valori di i so parametri - u a chjamata "furmazione" di u mudellu), a so applicazione (per i mudelli: l'utilizanu per calculà i valori "mudellu" di variabili di destinazione - previsioni, appartenenza à una categuria, probabilità di un avvenimentu, etc.) è migliurà artefatti digià creatu è applicati (per esempiu, ridefinisce l'inseme di variabili di input di mudellu basatu nantu à i risultati di l'applicazione - per aumentà a precisione di a prediczione, cum'è una opzione). U puntu chjave per capiscenu u rolu di CT hè a so "astrazione" da e realità di CD è CI: CT implementerà tutti l'artefatti, cuncintrali nantu à e specifiche computazionali è matematiche di a suluzione AI / ML in e capacità furnite da ambienti specifichi. . A rispunsabilità per "furnisce dati di input" è "furnisce risultati" serà a rispunsabilità di CD è CI.
Un aspettu impurtante di l'implementazione di CT in InterSystems IRIS: aduprendu l'integrazione cù l'ambienti di modellazione matematica digià citatu sopra, a piattaforma hà a capacità di estrae i stessi artefatti da e sessioni di travagliu in esecuzione sottu u so cuntrollu in l'ambienti è (u più impurtante) li trasformanu in l'ambienti. oggetti di dati di piattaforma. Per esempiu, una tavola di distribuzione chì hè stata appena creata in una sessione di Python di travagliu pò esse (senza piantà a sessione in Python) trasferita à a piattaforma in forma, per esempiu, di un globale (multidimensional InterSystems IRIS data array) - è utilizatu. per i calculi in un altru mecanismu AI / ML- (dighjà implementatu in a lingua di un altru ambiente - per esempiu, in R) - o una tavola virtuale. Un altru esempiu: in parallelu cù u "modu normale" di u funziunamentu di u mudellu (in a sessione di travagliu di Python), "auto-ML" hè realizatu nantu à i so dati di input: selezzione automatica di variabili di input ottimali è valori di parametri. È inseme cù a furmazione "regula", u mudellu produtivu in tempu reale riceve ancu una "pruposta di ottimisazione" per a so specificazione - in quale l'inseme di variabili di input cambia, i valori di i parametri cambianu (micca in u risultatu di furmazione in Python). , ma com'è u risultatu di furmazione una "versione alternativa di sè stessu, cum'è in u stack H2O), chì permette a suluzione generale AI / ML per trattà in modu autonomu cù cambiamenti imprevisti in a natura di i dati di input è i fenomeni chì sò modellati.
Cunniscitemu più in dettagliu cù a funziunalità di a piattaforma AI / ML di InterSystems IRIS, usendu l'esempiu di un prototipu di a vita reale.
In u diagramma sottu, à a manca di a diapositiva, ci hè una parte di u prucessu cummerciale chì implementa u prucessu di script in Python è R. In a parti cintrali, ci sò logs visuali per l'esekzione di certi di sti scripts, rispittivamenti, in Python è R. Right daretu à elli sò esempi di cuntenutu nant'à unu è un altru lingua, sottumessi à esicuzzioni in l 'ambienti apprupriati. À a fine à a diritta sò visualizazioni basate nantu à i risultati di l'esekzione di script. I visualizazioni in cima sò fatti nantu à IRIS Analytics (i dati sò pigliati da Python à a piattaforma di dati InterSystems IRIS è affissati nantu à u dashboard utilizendu a piattaforma), in u fondu sò fatti ghjustu in a sessione di travagliu R è output da quì à u graficu. i schedari. Un aspettu impurtante: u frammentu presentatu in u prototipu hè rispunsevule per a furmazione di u mudellu (classificazione di stati di l'equipaggiu) nantu à e dati chì venenu in tempu reale da u processu-simulatore di l'equipaggiu, nantu à u cumandamentu da u prucessu-monitor di a qualità di a classificazione. osservatu durante l'applicazione di u mudellu. L'implementazione di una soluzione AI / ML cum'è un inseme di prucessi interagissanti ("agenti") serà discutitu in più.
Figura 12 Interazione cù Python, R è Julia in InterSystems IRIS
I prucessi di a piattaforma (sò ancu "processi di cummerciale", "prucessi analitici", "pipelines", etc. - secondu u cuntestu), sò primarmenti editati in un editore graficu di prucessu cummerciale in a piattaforma stessa, è in tale manera chì i dui u so schema di bloccu è u meccanismo AI / ML currispundente (codice di prugramma) sò creati simultaneamente. Parlendu di u fattu chì "un mecanismu AI / ML hè ottenutu", inizialmente significhemu l'ibridità (in u stessu prucessu): u cuntenutu in lingue di l'ambienti di modellazione matematica hè adiacente à u cuntenutu in SQL (cumprese estensioni da ), in InterSystems ObjectScript, cù altre lingue supportate. Inoltre, u prucessu di a piattaforma furnisce pussibulità assai larghe per "disegnu" in forma di frammenti nidificati hierarchicamente (cum'è pò esse vistu in l'esempiu in u diagramma sottu), chì vi permette di urganizà in modu efficace ancu un cuntenutu assai cumplessu senza "cascà" di u formatu graficu in ogni locu (in metudi / classi / prucedure "non-graficu", etc.). Questu hè, se ne necessariu (è hè previstu in a maiò parte di i prughjetti), assolutamente tutte e soluzioni AI / ML ponu esse implementate in un formatu gràficu d'autore cummentariu. Per piacè nutate chì in a parti cintrali di u diagramma sottu, chì mostra un "livellu di nidificazione" più altu, pudete vede chì in più di u travagliu propiu di furmazione di u mudellu (usendu Python è R), una analisi di u chjamatu ROC. curve di u mudellu furmatu hè aghjuntu, chì permette visually (è computationally troppu) valutà a qualità di furmazione - è sta analisi hè implementatu in a lingua Julia (hè eseguitu, rispittivamenti, in l 'ambienti Julia).
Figura 13 Ambiente visuale per a cumpusizioni di soluzioni AI/ML in InterSystems IRIS
Comu diciatu prima, u sviluppu iniziale è (in certi casi) l'adattazione di i meccanismi AI / ML digià implementati in a piattaforma sarà / pò esse fattu fora di a piattaforma in l'editore Jupyter. In u diagramma sottu, vedemu un esempiu di adattazione di un prucessu di piattaforma esistenti (u stessu cum'è in u diagramma sopra) - questu hè cumu u frammentu chì hè rispunsevule per a furmazione di u mudellu in Jupyter. U cuntenutu Python hè dispunibule per edità, debugging, output graficu direttamente in Jupyter. I cambiamenti (se necessariu) ponu esse fatti cù a sincronizazione immediata à u prucessu di a piattaforma, cumprese a so versione di produzzione. In listessu modu, u novu cuntenutu pò esse trasferitu à a piattaforma (un novu prucessu di piattaforma hè generatu automaticamente).
Figura 14 Utilizendu Jupyter Notebook per edità AI/ML Engine in InterSystems IRIS Platform
L'adattazione di u prucessu di a piattaforma pò esse realizatu micca solu in un formatu gràficu o notebook, ma ancu in u formatu "totale" IDE (Integrated Development Environment). Questi IDE sò IRIS Studio (studiu nativu IRIS), Visual Studio Code (estensione InterSystems IRIS per VSCode), è Eclipse (plugin Atelier). In certi casi, hè pussibule per u squadra di sviluppu di utilizà tutti i trè IDE à u stessu tempu. U diagramma sottu mostra un esempiu di edità di u stessu prucessu in IRIS studio, in Visual Studio Code è in Eclipse. Assolutamente tuttu u cuntenutu hè dispunibule per edità: Python / R / Julia / SQL, è ObjectScript, è un prucessu cummerciale.
Figura 15 Sviluppu di u prucessu cummerciale InterSystems IRIS in diversi IDE
A descrizzione di u prucessu cummerciale InterSystems IRIS è l'arnesi di esecuzione in u Business Process Language (BPL) meritanu una menzione speciale. BPL permette d'utilizà "cumpunenti d'integrazione pronti" (attività) in i prucessi di cummerciale - chì, in fattu, dà piena ragione per affirmà chì "integrazione cuntinuu" hè implementata in InterSystems IRIS. I cumpunenti di prucessu di cummerciale pronti (attività è ligami trà elli) sò l'acceleratore più putente per assemble una soluzione AI / ML. È micca solu l'assemblee: grazia à l'attività è a cunnessione trà elli, nantu à sviluppi è meccanismi AI / ML disparati, appare una "strata di gestione autonoma" chì hè capace di piglià decisioni secondu a situazione, in tempu reale.
Figura 16 Componenti di prucessu cummerciale pronti per l'integrazione continua (CI) nantu à a piattaforma InterSystems IRIS
U cuncettu di sistemi di agenti (sò ancu "sistemi multi-agenti") hà una forte pusizioni in robotica, è a piattaforma InterSystems IRIS u sustegnu organicamente à traversu a custruzzione "prucessu-pruduttu". In più di pussibulità illimitate per "imbottite" ogni prucessu cù e funziunalità necessariu per a suluzione generale, dotate u sistema di prucessi di piattaforma cù a pruprietà di "agenzia" permette di creà suluzioni efficaci per fenomeni simulati estremamente instabili (cumportamentu di suciali / biosistemi). , prucessi tecnologichi parzialmente osservabili, etc.).
Figura 16 Funzionamentu di a soluzione AI/ML cum'è un sistema di agenti di prucessu cummerciale in InterSystems IRIS
Cuntinuemu a nostra rivista di InterSystems IRIS cù una storia nantu à l'applicazione di a piattaforma per risolve classi intere di prublemi in tempu reale (una cunniscenza abbastanza dettagliata di alcune di e migliori pratiche di a piattaforma AI / ML in InterSystems IRIS si trova in una di e nostre precedenti). ).
In a ricerca calda di u schema precedente, quì sottu hè un diagramma più detallatu di u sistema di l'agente. U diagramma mostra u stessu prototipu, tutti i quattru prucessi di l'agenti sò visibili, e relazioni trà elli sò schematicamente disegnati: GENERATOR - gestisce a creazione di dati da i sensori di l'equipaggiu, BUFFER - gestisce file di dati, ANALYZER - esegue l'apprendimentu di macchina stessu, MONITOR - cuntrolla u qualità di machine learning è alimenta un signalu chì u mudellu deve esse riqualificati.
Figura 17 Composizione di una soluzione AI/ML cum'è un sistema di agenti di prucessu cummerciale in InterSystems IRIS
U schema quì sottu illustra u funziunamentu autonomu di un altru prototipu roboticu (ricunniscenza di testu emozionale) per qualchì tempu. In a parti suprana - l'evoluzione di l'indicatore di qualità di l'apprendimentu di mudellu (a qualità hè in crescita), in a parte bassa - a dinamica di l'indicatore di qualità di l'applicazioni di mudellu è i fatti di furmazione ripetuta (barre rosse). Comu pudete vede, a suluzione hà auto-amparatu in modu efficaci è autonomu, è travaglia à un livellu di qualità datu (i valori di l'indicatore di qualità ùn sò micca sottu à 80%).
Figura 18 (auto-)apprendimentu (CT) continuu nantu à a piattaforma InterSystems IRIS
Avemu ancu menzionatu "auto-ML" prima, ma u diagramma sottu mostra l'applicazione di sta funziunalità in dettagliu utilizendu un altru prototipu cum'è un esempiu. U diagramma gràficu di u frammentu di u prucessu di cummerciale mostra l'attività chì principia a simulazione in a pila H2O, mostra i risultati di sta simulazione (dominanza evidenti di u mudellu resultanti nantu à i mudelli "fatti da l'omu", secondu a carta comparativa di curve ROC). , è ancu l'identificazione automatizata di e "variabili più influenti" da dispunibili in u set di dati originale). U puntu impurtante quì hè u risparmiu di tempu è risorse di l'espertu, chì hè ottenutu attraversu "auto-ML": ciò chì u nostru prucessu di piattaforma faci in mezzu minutu (truvà è furmà u mudellu ottimale), un espertu pò piglià da una settimana à una mese.
Figura 19 Integrazione Auto-ML in una soluzione AI/ML basata nantu à a piattaforma InterSystems IRIS
U diagramma sottu "batte u climax" un pocu, ma questu hè un bonu modu per compie a storia nantu à e classi di prublemi in tempu reale chì sò risolti: vi ricurdemu chì cù tutte e capacità di a piattaforma InterSystems IRIS, mudelli di furmazione sottu. u so cuntrollu ùn hè micca ubligatoriu. A piattaforma pò uttene esternamente una specificazione di u mudellu PMML furmatu in un strumentu chì ùn hè micca cuntrullatu da a piattaforma - è applicà stu mudellu in tempu reale da u mumentu chì hè impurtatu. . À u listessu tempu, hè impurtante di piglià in contu chì micca tutti l'artifacti AI / ML ponu esse ridotti à una specificazione PMML, ancu s'è a maiò parte di l'artefatti più cumuni permettenu questu. Cusì, a piattaforma InterSystems IRIS hà un "ciclu apertu" è ùn significa micca "esclavità di piattaforma" per l'utilizatori.
Figura 20 Integrazione Auto-ML in una soluzione AI/ML basata nantu à a piattaforma InterSystems IRIS
Elenchimu i vantaghji supplementari di a piattaforma di InterSystems IRIS (per a chiarezza, in relazione à u cuntrollu di u prucessu), chì sò di grande impurtanza in l'automatizazione di l'intelligenza artificiale è l'apprendimentu automaticu in tempu reale:
- Strumenti d'integrazione avanzati cù qualsiasi fonti di dati è cunsumatori (PCS / SCADA, equipaghji, MRO, ERP, etc.)
- Incorporatu per l'elaborazione transazionale-analitica d'altu rendiment (Transaction Hybrid/Analytical Processing, HTAP) di qualsiasi volumi di dati di prucessu
- Strumenti di sviluppu per l'implementazione cuntinua di mutori di decisione AI/ML in tempu reale basati in Python, R, Julia
- Processi d'affari adattativi per l'integrazione continua è i meccanismi di (auto-)apprendimentu di soluzioni AI/ML in tempu reale
- Strumenti di Business Intelligence integrati per a visualizazione di dati di prucessu è risultati di soluzioni AI/ML
- per furnisce i risultati di a suluzione AI / ML per processà sistemi di cuntrollu / SCADA, sistemi d'informazione è analitici, invià avvisi, etc.
E soluzioni AI / ML basate nantu à a piattaforma InterSystems IRIS si adattanu facilmente à l'infrastruttura IT esistente. A piattaforma InterSystems IRIS furnisce una alta affidabilità di e soluzioni AI / ML per via di supportu per cunfigurazioni tolleranti à i difetti è disastru è una implementazione flessibile in ambienti virtuali, in servitori fisici, in nuvuli privati è publichi, cuntenituri Docker.
Cusì, InterSystems IRIS hè una piattaforma di computing AI/ML universale in tempu reale. L'universalità di a nostra piattaforma hè cunfirmata in a pratica da l'absenza di restrizioni de facto nantu à a cumplessità di i calculi implementati, a capacità di InterSystems IRIS per cumminà (in tempu reale) u trattamentu di scenarii da una larga varietà di industrii, è l'adattabilità eccezziunale. di qualsiasi funzioni è miccanismi di a piattaforma à bisogni specifichi di l'utilizatori.
Figura 21 InterSystems IRIS - Universal Real-time AI/ML Computing Platform
Per una interazzione più sustantiva cù quelli di i nostri lettori chì anu interessatu à u materiale presentatu quì, ricumandemu di ùn limità micca à leghje è cuntinuà u dialogu "live". Saremu felici di furnisce supportu cù a formulazione di scenarii AI / ML in tempu reale in relazione à e specificità di a vostra cumpagnia, eseguisce prototipi cumuni nantu à a piattaforma InterSystems IRIS, furmà è mette in pratica una roadmap per l'introduzione di intelligenza artificiale è machine learning. in i vostri prucessi di pruduzzione è gestione. L'indirizzu email di cuntattu di u nostru gruppu di esperti AI / ML hè .
Source: www.habr.com