InterSystems IRIS - univerzalna platforma AI/ML v realnem času

Avtor: Sergey Lukyanchikov, svetovalni inženir pri InterSystems

Računalniški klici AI/ML v realnem času

Začnimo s primeri iz izkušenj prakse Data Science pri InterSystems:

• Naložen portal za kupce je povezan s spletnim sistemom priporočil. Prišlo bo do prestrukturiranja promocij v maloprodajni mreži (na primer, namesto "ravne" linije promocij bo zdaj uporabljena matrika "segmentna taktika"). Kaj se zgodi s priporočilnimi motorji? Kaj se zgodi z oddajo in posodabljanjem podatkov mehanizmu priporočil (količina vnesenih podatkov se je povečala za 25000-krat)? Kaj se zgodi z razvojem priporočil (potreba po tisočkratnem zmanjšanju praga filtriranja priporočilnih pravil zaradi tisočkratnega povečanja njihovega števila in »razpona«)?
• Obstaja sistem za spremljanje verjetnosti razvoja napak v komponentah opreme. Na nadzorni sistem je bil povezan avtomatiziran sistem vodenja procesov, ki vsako sekundo posreduje na tisoče parametrov tehnološkega procesa. Kaj se zgodi s sistemom za spremljanje, ki je prej deloval na "ročnih vzorcih" (ali je sposoben zagotoviti spremljanje verjetnosti iz sekunde v sekundo)? Kaj se zgodi, če se v vhodnih podatkih pojavi nov blok več sto stolpcev z odčitki senzorjev, ki so bili pred kratkim dodani v sistem vodenja procesa (ali bo treba in za koliko časa zaustaviti nadzorni sistem, da se v analizo vključijo podatki novih senzorjev) )?
• Ustvarjen je bil niz mehanizmov AI/ML (priporočilo, spremljanje, napovedovanje), ki uporabljajo rezultate dela drug drugega. Koliko delovnih ur je potrebnih vsak mesec, da se delovanje tega kompleksa prilagodi spremembam vhodnih podatkov? Kakšna je splošna "upočasnitev", če jo podpira kompleks odločanja o upravljanju (pogostost pojavljanja novih podpornih informacij v njem glede na pogostost pojavljanja novih vhodnih podatkov)?

Če povzamemo te in številne druge primere, smo prišli do formulacije izzivov, ki nastanejo pri prehodu na uporabo mehanizmov strojnega učenja in umetne inteligence v realnem času:

• Ali smo zadovoljni s hitrostjo ustvarjanja in prilagajanja (na spreminjajoče se razmere) razvoja AI/ML v našem podjetju?
• Koliko rešitve AI/ML, ki jih uporabljamo, podpirajo upravljanje poslovanja v realnem času?
• Ali se lahko rešitve AI/ML, ki jih uporabljamo, samostojno (brez razvijalcev) prilagajajo spremembam v praksah upravljanja podatkov in poslovanja?

Naš članek je temeljit pregled zmogljivosti platforme InterSystems IRIS v smislu univerzalne podpore za uvajanje mehanizmov AI/ML, sestavljanje (integracija) rešitev AI/ML in usposabljanje (testiranje) rešitev AI/ML na intenzivnih podatkovnih tokov. V tem članku si bomo ogledali tržne raziskave, študije primerov rešitev AI/ML in konceptualne vidike tega, kar imenujemo platforma AI/ML v realnem času.

Kaj vemo iz raziskav: aplikacije v realnem času

Ugotovitve anketaki jih je med skoraj 800 IT strokovnjaki leta 2019 izvedel Lightbend, govorijo sami zase:

Slika 1 Glavni porabniki podatkov v realnem času

Naj v našem prevodu navedemo pomembne delčke poročila o rezultatih te raziskave:

»... Trendi priljubljenosti orodij za integracijo podatkovnih tokov in hkrati podpiranje računalništva v vsebnikih zagotavljajo sinergijski odgovor na zahtevo trga po bolj odzivnem, racionalnem, dinamičnem predlogu učinkovitih rešitev. Pretakanje podatkov prenaša informacije hitreje kot tradicionalni paketni podatki. Temu je dodana zmožnost hitre uporabe računalniških metod, kot so na primer priporočila, ki temeljijo na AI/ML, kar ustvarja konkurenčne prednosti s povečanim zadovoljstvom strank. Tekma za agilnostjo prav tako vpliva na vse vloge v paradigmi DevOps – zaradi česar sta razvoj in uvajanje aplikacij učinkovitejša. … Osemsto štirje IT strokovnjaki so posredovali informacije o uporabi podatkovnih tokov v svojih organizacijah. Anketiranci so bili pretežno v zahodnih državah (41 % v Evropi in 37 % v Severni Ameriki) in so bili skoraj enakomerno porazdeljeni med mala, srednja in velika podjetja. ...

... Umetna inteligenca ni hype. Oseminpetdeset odstotkov tistih, ki že uporabljajo obdelavo podatkovnega toka v produktivnih aplikacijah AI/ML, potrjuje, da bo njihova uporaba AI/ML v naslednjem letu doživela največjo rast (v primerjavi z drugimi aplikacijami).

• Po mnenju večine vprašanih bo uporaba podatkovnih tokov v scenarijih AI/ML v naslednjem letu doživela največjo rast.
• Aplikacije v AI/ML se bodo povečale ne le zaradi relativno novih vrst scenarijev, temveč tudi zaradi tradicionalnih scenarijev, v katerih se vse pogosteje uporabljajo podatki v realnem času.
• Poleg AI/ML je stopnja navdušenja med uporabniki podatkovnih cevovodov IoT impresivna – 48 % tistih, ki so že integrirali podatke IoT, pravi, da se bo implementacija scenarijev na teh podatkih v bližnji prihodnosti znatno povečala. ..."

Iz te precej zanimive raziskave je jasno, da je dojemanje scenarijev strojnega učenja in umetne inteligence kot vodilnih v porabi podatkovnih tokov že »na poti«. Toda enako pomembna ugotovitev je dojemanje umetne inteligence/ML v realnem času skozi lečo DevOps: tukaj že lahko začnemo govoriti o preobrazbi še vedno prevladujoče kulture »umetne inteligence/ML za enkratno uporabo s popolnoma dostopnim naborom podatkov«.

Koncept platforme AI/ML v realnem času

Eno tipičnih področij uporabe za AI/ML v realnem času je nadzor procesov v proizvodnji. Na njenem primeru in ob upoštevanju prejšnjih razmišljanj bomo oblikovali koncept platforme AI/ML v realnem času.
Uporaba umetne inteligence in strojnega učenja pri vodenju procesov ima številne značilnosti:

• Podatki o stanju tehnološkega procesa se sprejemajo intenzivno: z visoko frekvenco in za širok razpon parametrov (do več deset tisoč vrednosti parametrov, ki se prenašajo na sekundo iz sistema za nadzor procesa)
• Podatki o identifikaciji napak, da ne omenjamo podatkov o njihovem razvoju, so nasprotno redki in neredni, za katere je značilna nezadostna tipizacija napak in njihova časovna lokalizacija (pogosto predstavljena s papirnimi zapisi)
• S praktičnega vidika je za usposabljanje in uporabo modelov na voljo samo "okno ustreznosti" izvornih podatkov, ki odražajo dinamiko tehnološkega procesa v razumnem drsnem intervalu, ki se konča z zadnjimi prebranimi vrednostmi procesnih parametrov.

Te lastnosti nas silijo, da poleg prejemanja in osnovne obdelave v realnem času intenzivnega »širokopasovnega vhodnega signala« iz tehnološkega procesa izvajamo (vzporedno) aplikacijo, usposabljanje in kontrolo kakovosti rezultatov AI ​​/ ML modeli - tudi v realnem času. »Okvir«, ki ga naši modeli »vidijo« v drsnem oknu ustreznosti, se nenehno spreminja – s tem pa se spreminja tudi kakovost rezultatov dela modelov AI/ML, ki so bili v preteklosti trenirani na enem od »okvirjev«. . Če se kakovost rezultatov dela modelov AI/ML poslabša (na primer: vrednost napake klasifikacije "alarm-norma" je presegla meje, ki smo jih določili), se mora samodejno zagnati dodatno usposabljanje modelov na bolj aktualen "okvir" - in izbira trenutka za začetek dodatnega usposabljanja modelov mora upoštevati trajanje samega usposabljanja in dinamiko poslabšanja kakovosti dela trenutne različice modelov (od trenutne različice modelov se še naprej uporabljajo, medtem ko se modeli usposabljajo in dokler se ne oblikujejo njihove "novo usposobljene" različice).

InterSystems IRIS ima ključne zmogljivosti platforme za omogočanje rešitev AI/ML za nadzor procesov v realnem času. Te zmogljivosti lahko razdelimo v tri glavne skupine:

• Neprekinjeno uvajanje (Continuous Deployment/Delivery, CD) novih ali prilagojenih obstoječih mehanizmov AI/ML v produktivno rešitev, ki deluje v realnem času na platformi InterSystems IRIS
• Nenehna integracija (CI) v enotno produktivno rešitev dohodnih podatkovnih tokov tehnološkega procesa, čakalnih vrst podatkov za aplikacije/usposabljanje/kontrolo kakovosti mehanizmov AI/ML in izmenjave podatkov/kode/kontrolnih dejanj z okolji matematičnega modeliranja, orkestrirano v realnem času platformo InterSystems IRIS
• Neprekinjeno (samo)usposabljanje (Continuous Training, CT) mehanizmov AI/ML, ki se izvaja v okoljih matematičnega modeliranja z uporabo podatkov, kode in kontrolnih dejanj (»sprejetih odločitev«), ki jih prenaša platforma InterSystems IRIS

Razvrstitev zmogljivosti platforme v povezavi s strojnim učenjem in umetno inteligenco prav v te skupine ni naključna. Citirajmo metodološko objave Google, ki zagotavlja konceptualno podlago za to klasifikacijo, v našem prevodu:

»... Koncept DevOps, ki je danes priljubljen, zajema razvoj in delovanje obsežnih informacijskih sistemov. Prednosti implementacije tega koncepta so skrajšanje trajanja razvojnih ciklov, hitrejša uvedba razvoja in fleksibilnost pri načrtovanju izdaj. Da bi dosegli te prednosti, DevOps vključuje implementacijo vsaj dveh praks:

• Nenehna integracija (CI)
• Neprekinjena dostava (CD)

Te prakse veljajo tudi za platforme AI/ML, da se zagotovi zanesljivo in učinkovito sestavljanje produktivnih rešitev AI/ML.

Platforme AI/ML se od drugih informacijskih sistemov razlikujejo v naslednjih vidikih:

• Kompetence ekipe: Pri ustvarjanju rešitve AI/ML ekipa običajno vključuje podatkovne znanstvenike ali »akademske« strokovnjake s področja raziskovanja podatkov, ki izvajajo analizo podatkov, razvijajo in testirajo modele. Ti člani skupine morda niso profesionalni razvijalci produktivne kode.
• Razvoj: motorji AI/ML so po naravi eksperimentalni. Da bi problem rešili na najučinkovitejši način, je treba iti skozi različne kombinacije vhodnih spremenljivk, algoritmov, metod modeliranja in parametrov modela. Kompleksnost takšnega iskanja je v sledenju "kaj je delovalo/ne delovalo", zagotavljanju ponovljivosti epizod, posploševanju razvoja za ponavljajoče se izvedbe.
• Testiranje: Testiranje motorjev AI/ML zahteva širši nabor testov kot večina drugih razvojev. Poleg standardnih enotnih in integracijskih testov se preverja veljavnost podatkov in kakovost rezultatov uporabe modela na učnih in kontrolnih vzorcih.
• Uvajanje: Uvajanje rešitev AI/ML ni omejeno na napovedne storitve, ki uporabljajo enkrat usposobljen model. Rešitve AI/ML so zgrajene okoli večstopenjskih cevovodov, ki izvajajo avtomatizirano usposabljanje in uporabo modelov. Uvajanje takih cevovodov vključuje avtomatizacijo netrivialnih dejanj, ki jih podatkovni znanstveniki tradicionalno izvajajo ročno, da bi lahko usposobili in testirali modele.
• Produktivnost: motorjem AI/ML lahko primanjkuje produktivnosti ne le zaradi neučinkovitega programiranja, temveč tudi zaradi nenehno spreminjajoče se narave vhodnih podatkov. Z drugimi besedami, delovanje mehanizmov umetne inteligence/ML se lahko poslabša zaradi širšega nabora razlogov kot delovanje običajnega razvoja. To vodi do potrebe po spremljanju (na spletu) delovanja naših motorjev AI/ML ter pošiljanju opozoril ali zavrnitvi rezultatov, če kazalniki uspešnosti ne izpolnjujejo pričakovanj.

Platforme AI/ML so podobne drugim informacijskim sistemom, saj oba zahtevata stalno integracijo kode z nadzorom različic, testiranje enot, testiranje integracije in stalno uvajanje razvoja. Vendar pa je v primeru AI/ML več pomembnih razlik:

• CI (Continuous Integration) ni več omejen na testiranje in validacijo kode nameščenih komponent – ​​vključuje tudi testiranje in validacijo podatkov in modelov AI/ML.
• CD (Continuous Delivery/Deployment, neprekinjeno uvajanje) ni omejen na pisanje in objavljanje paketov ali storitev, temveč pomeni platformo za sestavljanje, usposabljanje in uporabo rešitev AI/ML.
• CT (Continuous Training, stalno usposabljanje) je nov element [pribl. avtor članka: nov element v povezavi s tradicionalnim konceptom DevOps, v katerem je CT praviloma Continuous Testing], neločljivo povezan s platformami AI/ML, odgovoren za avtonomno upravljanje mehanizmov za usposabljanje in uporabo AI /ML modeli. ..."

Ugotovimo lahko, da strojno učenje in umetna inteligenca, ki delata s podatki v realnem času, zahtevata širši nabor orodij in kompetenc (od razvoja kode do orkestracije okolij matematičnega modeliranja), tesnejšo integracijo med vsemi funkcionalnimi in predmetnimi področji, učinkovitejšo organizacijo človeških in strojnih virov.

Scenarij v realnem času: prepoznavanje razvoja napak v dovodnih črpalkah

Če nadaljujemo z uporabo območja nadzora procesa kot primera, razmislite o specifičnem problemu (ki smo ga že omenili na samem začetku): zagotoviti moramo spremljanje razvoja napak v črpalkah v realnem času na podlagi pretoka vrednosti procesnih parametrov ​​in poročila serviserja o ugotovljenih napakah.

Slika 2 Postavitev problema za spremljanje razvoja napak

Značilnost večine tako zastavljenih nalog v praksi je, da je treba pravilnost in učinkovitost sprejemanja podatkov (APCS) upoštevati v ozadju epizodnega in nerednega pojavljanja (in registracije) napak različnih vrst. Z drugimi besedami: podatki iz sistema za vodenje procesov prihajajo enkrat na sekundo, pravilni in točni, napake pa se beležijo s kemičnim svinčnikom z datumom v splošnem zvezku v delavnici (na primer: »12.01 – puščanje v pokrov s strani 3. ležaja«).

Tako lahko formulacijo problema dopolnimo z naslednjo pomembno omejitvijo: imamo samo eno »oznako« napake določene vrste (tj. primer napake določene vrste predstavljajo podatki iz nadzora procesa sistema na določen datum - in nimamo več primerov okvare te posebne vrste). Ta omejitev nas takoj popelje izven okvira klasičnega strojnega učenja (nadzorovanega učenja), za katerega bi moralo obstajati veliko »oznak«.

Slika 3 Pojasnitev naloge spremljanja razvoja okvar

Ali lahko nekako »pomnožimo« edino »oznako«, ki nam je na voljo? Ja lahko. Za trenutno stanje črpalke je značilna stopnja podobnosti z registriranimi napakami. Tudi brez uporabe kvantitativnih metod se že na ravni vizualne percepcije, z opazovanjem dinamike podatkovnih vrednosti, ki prihajajo iz sistema vodenja procesa, lahko veliko naučite:

Slika 4 Dinamika stanja črpalke na ozadju "oznake" napake določene vrste

Toda vizualna percepcija (vsaj za zdaj) ni najprimernejši generator »oznak« v našem hitro spreminjajočem se scenariju. S statističnim testom bomo ocenili podobnost trenutnega stanja črpalke s prijavljenimi napakami.

Slika 5 Uporaba statističnega testa za vhodne podatke v ozadju »oznake« napake

S statističnim testom se ugotavlja verjetnost, da so zapisi z vrednostmi parametrov tehnološkega procesa v »flow-packet«, prejeti iz sistema za nadzor procesa, podobni zapisom »tag« napake določene vrste. Vrednost verjetnosti (indeks statistične podobnosti), izračunana kot rezultat uporabe statističnega testa, se pretvori v vrednost 0 ali 1 in postane »oznaka« za strojno učenje v vsakem določenem zapisu v paketu, ki se pregleduje glede podobnosti. To pomeni, da imamo po obdelavi novo prejetega paketa zapisov stanja črpalke s statističnim testom možnost (a) dodati ta paket v učni nabor za usposabljanje modela AI/ML in (b) izvesti kontrolo kakovosti trenutno različico modela, ko jo uporabljate v tem paketu.

Slika 6 Uporaba modela strojnega učenja za vhodne podatke na ozadju »oznake« napake

V enem od naših prejšnjih spletni seminarji Pokažemo in razložimo, kako platforma InterSystems IRIS omogoča implementacijo katerega koli mehanizma AI/ML v obliki nenehno izvajajočih se poslovnih procesov, ki spremljajo zanesljivost rezultatov modeliranja in prilagajajo parametre modela. Pri izvajanju prototipa našega scenarija s črpalkami uporabljamo vso funkcionalnost InterSystems IRIS, predstavljeno med spletnim seminarjem - v proces analizatorja kot del naše rešitve implementiramo ne klasično nadzorovano učenje, temveč učenje s krepitvijo, ki samodejno upravlja izbiro za modele usposabljanja . Vzorec za usposabljanje vsebuje zapise, na katerih se po uporabi statističnega testa in trenutne različice modela pojavi »soglasje o odkrivanju« – tj. tako statistični test (po preoblikovanju indeksa podobnosti na 0 ali 1) kot model sta dala rezultat na takšnih zapisih 1. Pri novem urjenju modela, med njegovo validacijo (novo učen model se aplicira na lasten učni vzorec, s predhodno aplikacijo statističnega testa nanj), beleži, da po obdelavi »ni obdržal« rezultata 1 s statističnim testom (zaradi stalne prisotnosti v treningu vzorec zapisov iz prvotne »oznake« napake), se odstranijo iz učnega nabora, nova različica modela pa se uči iz »oznake« napake. napaka plus "ohranjeni" zapisi iz toka.

Slika 7 Robotizacija računalništva AI/ML v InterSystems IRIS

Če obstaja potreba po nekakšnem »drugem mnenju« o kakovosti zaznavanja, pridobljenega med lokalnimi izračuni v InterSystems IRIS, se ustvari proces svetovalca za izvajanje usposabljanja in uporabe modelov na nadzornem naboru podatkov z uporabo storitev v oblaku (na primer Microsoft Azure, Amazon Web Services, Google Cloud Platform itd.):

Slika 8 Drugo mnenje Microsoft Azure, ki ga je orkestriral InterSystems IRIS

Prototip našega scenarija v InterSystems IRIS je zasnovan kot na agentu temelječ sistem analitičnih procesov, ki sodelujejo z objektom opreme (črpalka), okolji matematičnega modeliranja (Python, R in Julia) in zagotavljajo samoučenje vseh vključenih AI/ Mehanizmi ML - na podatkovnih tokovih v realnem času.

Slika 9 Glavna funkcionalnost rešitve AI/ML v realnem času v InterSystems IRIS

Praktični rezultat našega prototipa:

• Napaka vzorca, ki jo prepozna model (12. januar):

• Napaka v razvoju, ki jo prepozna model, ki ni bil vključen v vzorec (11. septembra, samo napako je ekipa za popravila odkrila šele dva dni pozneje, 13. septembra):

Simulacija na resničnih podatkih, ki vsebujejo več epizod iste napake, je pokazala, da nam naša rešitev, implementirana na platformi InterSystems IRIS, omogoča prepoznavanje razvoja tovrstnih napak nekaj dni, preden jih odkrije ekipa za popravilo.

InterSystems IRIS - univerzalna računalniška platforma AI/ML v realnem času

Platforma InterSystems IRIS poenostavlja razvoj, uvajanje in delovanje podatkovnih rešitev v realnem času. InterSystems IRIS je sposoben hkrati izvajati transakcijsko in analitično obdelavo podatkov; podpira sinhronizirane poglede podatkov glede na več modelov (vključno z relacijskimi, hierarhičnimi, objektnimi in dokumentnimi); delovati kot platforma za integracijo širokega nabora podatkovnih virov in posameznih aplikacij; zagotavljajo napredno analitiko v realnem času za strukturirane in nestrukturirane podatke. InterSystems IRIS ponuja tudi mehanizme za uporabo zunanjih analitičnih orodij in omogoča prilagodljivo kombinacijo gostovanja v oblaku in na lokalnih strežnikih.

Aplikacije, zgrajene na platformi InterSystems IRIS, se uporabljajo v različnih panogah in pomagajo podjetjem uresničiti pomembne gospodarske koristi s strateškega in operativnega vidika, povečujejo informirano odločanje in premostijo vrzeli med dogodkom, analizo in ukrepanjem.

Slika 10 Arhitektura InterSystems IRIS v kontekstu AI/ML v realnem času

Tako kot prejšnji diagram tudi spodnji diagram združuje nov »koordinatni sistem« (CD/CI/CT) z diagramom pretoka informacij med delovnimi elementi platforme. Vizualizacija se začne z makromehanizmom CD in nadaljuje z makromehanizmoma CI in CT.

Slika 11 Diagram informacijskih tokov med elementi AI/ML platforme InterSystems IRIS

Bistvo mehanizma CD v InterSystems IRIS: uporabniki platforme (razvijalci rešitev AI/ML) prilagajajo obstoječe in/ali ustvarjajo nove razvojne rešitve AI/ML z uporabo specializiranega urejevalnika kod za mehanizme AI/ML: Jupyter (polno ime: Jupyter Notebook; za kratkost se včasih imenujejo tudi dokumenti, ustvarjeni v tem urejevalniku). V Jupyterju ima razvijalec možnost pisati, odpravljati napake in preverjati delovanje (vključno z uporabo grafike) določenega razvoja AI/ML, preden se ta postavi (»uvede«) v InterSystems IRIS. Jasno je, da bo nov razvoj, ustvarjen na ta način, deležen samo osnovnega odpravljanja napak (ker zlasti Jupyter ne deluje s tokovi podatkov v realnem času) - to je v redu stvari, saj je glavni rezultat razvoja v Jupyterju je potrditev temeljne operativnosti ločenega mehanizma AI/ML (»prikaže pričakovani rezultat na vzorcu podatkov«). Podobno lahko mehanizem, ki je že postavljen v platformo (glejte naslednje makro mehanizme) pred odpravljanjem napak v Jupyterju, lahko zahteva "povrnitev nazaj" na obliko "pred platformo" (branje podatkov iz datotek, delo s podatki prek xDBC namesto tabel, neposredna interakcija z globali - večdimenzionalni nizi podatkov InterSystems IRIS – itd.).

Pomemben vidik implementacije CD-ja v InterSystems IRIS: dvosmerna integracija je bila implementirana med platformo in Jupyterjem, kar omogoča prenos vsebine v Python, R in Julia na platformo (in posledično obdelavo v platformi) (vsi trije so programski). jezikov v ustreznih vodilnih odprtokodnih jezikih).izvorna okolja za matematično modeliranje). Tako imajo razvijalci vsebine AI/ML možnost izvajati "neprekinjeno uvajanje" te vsebine v platformo, pri čemer delajo v svojem znanem urejevalniku Jupyter, z znanimi knjižnicami, ki so na voljo v Python, R, Julia, in izvajajo osnovno odpravljanje napak (če je potrebno) zunaj platforme.

Preidimo na mehanizem makra CI v InterSystems IRIS. Diagram prikazuje makro proces "robotizatorja v realnem času" (kompleks podatkovnih struktur, poslovnih procesov in fragmentov kode, ki jih orkestrirajo v matematičnih jezikih in ObjectScript - izvornem razvojnem jeziku InterSystems IRIS). Naloga tega makro procesa je vzdrževanje čakalnih vrst podatkov, potrebnih za delovanje mehanizmov AI/ML (na podlagi podatkovnih tokov, ki se prenašajo na platformo v realnem času), sprejemanje odločitev o zaporedju uporabe in »sortimentu« AI/ML. Mehanizmi ML (so tudi »matematični algoritmi«, »modeli« itd. – lahko se imenujejo različno glede na posebnosti izvedbe in terminološke preference), posodabljajo podatkovne strukture za analizo rezultatov dela AI/ mehanizmi ML (kocke, tabele, večdimenzionalni nizi podatkov itd.) itd. – za poročila, nadzorne plošče itd.).

Pomemben vidik implementacije CI posebej v InterSystems IRIS: dvosmerna integracija je bila implementirana med platformo in okolji matematičnega modeliranja, kar vam omogoča izvajanje vsebine, ki gostuje na platformi v Python, R in Julia v njihovih ustreznih okoljih in prejmete izvedbo nazaj rezultate. Ta integracija je izvedena v »terminalnem načinu« (tj. vsebina AI/ML je oblikovana kot koda ObjectScript, ki kliče v okolje) in v »načinu poslovnega procesa« (tj. vsebina AI/ML je oblikovana kot poslovni proces). z uporabo grafičnega urejevalnika ali včasih z uporabo Jupyterja ali z uporabo IDE - IRIS Studio, Eclipse, Visual Studio Code). Razpoložljivost poslovnih procesov za urejanje v Jupyterju se odraža v povezavi med IRIS na ravni CI in Jupyter na ravni CD. Spodaj je podan podrobnejši pregled integracije z okolji za matematično modeliranje. Na tej stopnji po našem mnenju obstajajo vsi razlogi, da zagotovimo, da ima platforma vsa potrebna orodja za izvajanje »stalne integracije« razvoja AI/ML (ki izhaja iz »stalne uvedbe«) v rešitve AI/ML v realnem času.

In glavni makro mehanizem: CT. Brez tega ne bo platforme AI/ML (čeprav bo »realni čas« implementiran prek CD/CI). Bistvo CT je delo platforme z "artefakti" strojnega učenja in umetne inteligence neposredno v delovnih sejah okolij matematičnega modeliranja: modeli, distribucijske tabele, matrični vektorji, plasti nevronskih mrež itd. To "delo" je v večini primerov sestavljeno iz ustvarjanja omenjenih artefaktov v okoljih (v primeru modelov je npr. "ustvarjanje" sestavljeno iz nastavitve specifikacije modela in kasnejše izbire vrednosti njegovih parametrov - t.i. “trening” modela), njihovo uporabo (za modele: izračun z njihovo pomočjo “modelskih” vrednosti ciljnih spremenljivk - napovedi, pripadnost kategoriji, verjetnost dogodka itd.) in izboljšanje že ustvarjeni in uporabljeni artefakti (na primer redefiniranje nabora vhodnih spremenljivk modela na podlagi rezultatov aplikacije – za izboljšanje natančnosti napovedi, kot možnost). Ključna točka pri razumevanju vloge CT je njegova "abstrakcija" od realnosti CD in CI: CT bo implementiral vse artefakte, pri čemer se bo osredotočil na računalniške in matematične posebnosti rešitve AI/ML v okviru zmogljivosti, ki jih zagotavljajo posebna okolja. Odgovornost za »zagotavljanje vložkov« in »dostavljanje rezultatov« bo odgovornost CD in CI.

Pomemben vidik implementacije CT posebej v InterSystems IRIS: z že omenjeno integracijo z okolji matematičnega modeliranja ima platforma možnost izluščiti prav te artefakte iz delovnih sej, ki tečejo pod njenim nadzorom v matematičnih okoljih, in (kar je najpomembneje) obrniti v podatkovne objekte platforme. Na primer, distribucijsko tabelo, ki je bila pravkar ustvarjena v delujoči seji Python, je mogoče (brez ustavitve seje Python) prenesti na platformo v obliki na primer globalne (večdimenzionalne podatkovne matrike InterSystems IRIS) – in uporabiti za izračune v drugem mehanizmu AI/ML (implementiranem v jeziku drugega okolja – npr. v R) – ali virtualni tabeli. Drug primer: vzporedno z "normalnim načinom" delovanja modela (v delovni seji Python) se na njegovih vhodnih podatkih izvede "samodejni ML": avtomatska izbira optimalnih vhodnih spremenljivk in vrednosti parametrov. In skupaj z "rednim" usposabljanjem produktivni model v realnem času prejme tudi "predlog za optimizacijo" svoje specifikacije - v katerem se spremeni nabor vhodnih spremenljivk, spremenijo se vrednosti parametrov (ne več kot rezultat usposabljanja). v Pythonu, vendar kot rezultat usposabljanja z "alternativno" "različico same sebe, kot je sklad H2O), kar omogoča celotni rešitvi AI/ML, da se avtonomno spopade z nepričakovanimi spremembami v naravi vhodnih podatkov in pojavov, ki se modelirajo .

Spoznajmo se podrobneje s funkcionalnostjo platforme AI/ML InterSystems IRIS na primeru prototipa iz resničnega življenja.

V spodnjem diagramu je na levi strani diapozitiva del poslovnega procesa, ki izvaja izvajanje skriptov v Pythonu in R. V osrednjem delu so vidni dnevniki izvajanja nekaterih od teh skript oz. v Python in R. Takoj za njimi so primeri vsebin v enem in drugem jeziku, preneseni za izvedbo v ustrezna okolja. Na koncu na desni so vizualizacije na podlagi rezultatov izvajanja skripte. Vizualizacije na vrhu so bile narejene z IRIS Analytics (podatki so bili vzeti iz Pythona v podatkovno platformo InterSystems IRIS in prikazani na nadzorni plošči z uporabo platforme), na dnu so bile narejene neposredno v delovni seji R in izhodne od tam v grafične datoteke . Pomemben vidik: predstavljeni fragment v prototipu je odgovoren za usposabljanje modela (razvrstitev stanj opreme) na podatkih, prejetih v realnem času iz procesa simulatorja opreme, po ukazu iz procesa spremljanja kakovosti klasifikacije, opazovanega med uporabo modela. Implementacija rešitve AI/ML v obliki nabora medsebojno delujočih procesov (»agentov«) bo obravnavana nadalje.

Slika 12 Interakcija s programi Python, R in Julia v InterSystems IRIS

Procesi platforme (so tudi »poslovni procesi«, »analitični procesi«, »cevovodi« itd. – odvisno od konteksta) se najprej urejajo v grafičnem urejevalniku poslovnih procesov v sami platformi in v tako tako, da sta blokovni diagram in ustrezen mehanizem AI/ML (programska koda) ustvarjena hkrati. Ko rečemo, da je "dobljen mehanizem AI/ML", sprva mislimo na hibridnost (znotraj enega procesa): vsebina v jezikih okolij za matematično modeliranje je sosednja vsebini v SQL (vključno z razširitvami iz IntegratedML), v InterSystems ObjectScript, z drugimi podprtimi jeziki. Poleg tega proces platforme ponuja zelo široke možnosti za "upodabljanje" v obliki hierarhično ugnezdenih fragmentov (kot je razvidno iz primera v spodnjem diagramu), kar vam omogoča učinkovito organiziranje celo zelo kompleksne vsebine, ne da bi kdaj "izpadli" grafične oblike (v »negrafične« oblike). » metode/razredi/postopki itd.). To pomeni, da je po potrebi (in to je predvideno v večini projektov) absolutno celotno rešitev AI/ML mogoče implementirati v grafični samodokumentirani obliki. Upoštevajte, da je v osrednjem delu spodnjega diagrama, ki predstavlja višjo »nivo gnezdenja«, jasno razvidno, da je poleg dejanskega dela usposabljanja modela (z uporabo Pythona in R) potrebna analiza t.i. Dodana je ROC krivulja usposobljenega modela, ki omogoča vizualno (in tudi računalniško) oceno kakovosti usposabljanja - in ta analiza je izvedena v jeziku Julia (izveden v skladu s tem v matematičnem okolju Julia).

Slika 13 Vizualno okolje za sestavo rešitev AI/ML v InterSystems IRIS

Kot smo že omenili, bo začetni razvoj in (v nekaterih primerih) prilagoditev mehanizmov umetne inteligence/ML, ki so že implementirani v platformo, izveden/lahko izveden zunaj platforme v urejevalniku Jupyter. Na spodnjem diagramu vidimo primer prilagoditve obstoječega procesa platforme (enako kot na zgornjem diagramu) - tako izgleda fragment, ki je odgovoren za usposabljanje modela v Jupyterju. Vsebina Python je na voljo za urejanje, odpravljanje napak in grafični izpis neposredno v Jupyterju. Spremembe (po potrebi) je mogoče izvesti s takojšnjo sinhronizacijo v proces platforme, vključno z njeno produktivno različico. Na podoben način lahko na platformo prenesete novo vsebino (avtomatsko se generira nov proces platforme).

Slika 14 Uporaba Jupyter Notebook za urejanje motorja AI/ML v platformi InterSystems IRIS

Prilagoditev procesa platforme se lahko izvede ne samo v grafični ali prenosni obliki - ampak tudi v "celotni" obliki IDE (Integrated Development Environment). Ti IDE-ji so IRIS Studio (izvorni studio IRIS), Visual Studio Code (razširitev InterSystems IRIS za VSCode) in Eclipse (vtičnik Atelier). V nekaterih primerih je možno, da razvojna skupina uporablja vse tri IDE hkrati. Spodnji diagram prikazuje primer urejanja istega procesa v IRIS studiu, Visual Studio Code in Eclipse. Za urejanje so na voljo popolnoma vse vsebine: Python/R/Julia/SQL, ObjectScript in poslovni procesi.

Slika 15 Razvoj poslovnega procesa InterSystems IRIS v različnih IDE

Posebej velja omeniti orodja za opisovanje in izvajanje poslovnih procesov InterSystems IRIS v jeziku poslovnih procesov (BPL). BPL omogoča uporabo "gotovih integracijskih komponent" (aktivnosti) v poslovnih procesih - kar pravzaprav daje vse razloge, da trdimo, da je "stalna integracija" implementirana v InterSystems IRIS. Pripravljene komponente poslovnih procesov (aktivnosti in povezave med njimi) so močan pospeševalnik za sestavljanje AI/ML rešitve. In ne samo sklopi: zahvaljujoč dejavnostim in povezavam med njimi prek različnih AI/ML razvojev in mehanizmov nastane »avtonomna upravljavska plast«, ki je sposobna sprejemati odločitve glede na situacijo v realnem času.

Slika 16 Pripravljene komponente poslovnih procesov za stalno integracijo (CI) na platformi InterSystems IRIS

Koncept agentskih sistemov (znan tudi kot »multi-agent sistemi«) ima močan položaj v robotizaciji, platforma InterSystems IRIS pa ga organsko podpira s konstrukcijo »izdelek-proces«. Poleg neomejenih možnosti za »polnjenje« vsakega procesa s funkcionalnostjo, potrebno za celovito rešitev, obdaritev sistema platformnih procesov z lastnostjo »agencije« omogoča ustvarjanje učinkovitih rešitev za izjemno nestabilne simulirane pojave (vedenje družbenih/ biosistemi, delno opazljivi tehnološki procesi itd.).

Slika 16 Delovanje rešitve AI/ML kot sistema poslovnih procesov, ki temelji na agentu, v InterSystems IRIS

Pregled InterSystems IRIS nadaljujemo z zgodbo o uporabni uporabi platforme za reševanje celotnih razredov problemov v realnem času (precej podroben uvod v nekatere najboljše prakse platforme AI/ML na InterSystems IRIS lahko najdete v enem našega prejšnjega spletni seminarji).

Za petami prejšnjega diagrama je spodaj podrobnejši diagram agentskega sistema. Diagram prikazuje isti prototip, vidni so vsi štirje agentski procesi, shematsko so narisani odnosi med njimi: GENERATOR - obdeluje ustvarjanje podatkov s senzorji opreme, BUFFER - upravlja čakalne vrste podatkov, ANALIZATOR - sam izvaja strojno učenje, MONITOR - spremlja kakovost strojnega učenja in poda signal o potrebi po prekvalificiranju modela.

Slika 17 Sestava rešitve AI/ML v obliki sistema poslovnih procesov, ki temelji na agentu, v InterSystems IRIS

Spodnji diagram prikazuje nekaj časa avtonomno delovanje drugega robotskega prototipa (prepoznavanje čustvene obarvanosti besedil). V zgornjem delu je razvoj kazalnika kakovosti modela usposabljanja (kakovost raste), v spodnjem delu je dinamika kazalnika kakovosti uporabe modela in dejstva ponovnega usposabljanja (rdeče črte). Kot lahko vidite, se je rešitev naučila učinkovito in avtonomno ter deluje na dani ravni kakovosti (vrednosti ocene kakovosti ne padejo pod 80 %).

Slika 18 Kontinuirano (samo)usposabljanje (CT) na platformi InterSystems IRIS

Prej smo omenili tudi »auto-ML«, vendar spodnji diagram podrobno prikazuje uporabo te funkcionalnosti na primeru drugega prototipa. Grafični diagram fragmenta poslovnega procesa prikazuje aktivnost, ki sproži modeliranje v skladu H2O, prikazuje rezultate tega modeliranja (jasna prevlada nastalega modela nad modeli, ki jih je ustvaril človek, glede na primerjalni diagram krivulje ROC, kot tudi avtomatsko identifikacijo "najvplivnejših spremenljivk", ki so na voljo v izvirnem naboru podatkov). Pomembna točka pri tem je prihranek časa in strokovnih virov, ki ga dosežemo s pomočjo »auto-ML«: to, kar proces naše platforme naredi v pol minute (iskanje in usposabljanje optimalnega modela), lahko strokovnjaku vzame od tedna do enega meseca.

Slika 19 Integracija »auto-ML« v rešitev AI/ML na platformi InterSystems IRIS

Spodnji diagram nekoliko zgreši bistvo, vendar je dober način za zaključek zgodbe o razredih problemov v realnem času, ki se rešujejo: spomnimo vas, da so z vsemi zmogljivostmi platforme InterSystems IRIS modeli za usposabljanje pod njenim nadzorom ni obvezno. Platforma lahko od zunaj prejme tako imenovano specifikacijo PMML modela, ki je naučena v orodju, ki ni pod nadzorom platforme - in ta model uporablja v realnem času od trenutka, ko je uvožen specifikacije PMML. Pomembno je upoštevati, da vseh artefaktov AI/ML ni mogoče zmanjšati na specifikacijo PMML, tudi če večina najpogostejših artefaktov to omogoča. Tako je platforma InterSystems IRIS »odprta zanka« in ne pomeni »suženjstva platforme« za uporabnike.

Slika 20 Integracija »auto-ML« v rešitev AI/ML na platformi InterSystems IRIS

Naj naštejemo dodatne platformne prednosti InterSystems IRIS (zaradi jasnosti v zvezi z nadzorom procesov), ki so velikega pomena pri avtomatizaciji umetne inteligence in strojnega učenja v realnem času:

• Razvita orodja za integracijo s poljubnimi viri podatkov in porabniki (sistem za nadzor procesov/SCADA, oprema, MRO, ERP itd.)
• Vgrajen večmodelni DBMS za visoko zmogljivo transakcijsko in analitično obdelavo (Hybrid Transaction/Analytical Processing, HTAP) poljubnih količin podatkov tehnoloških procesov
• Razvojna orodja za stalno uvajanje motorjev AI/ML za rešitve v realnem času, ki temeljijo na Python, R, Julia
• Prilagodljivi poslovni procesi za stalno integracijo in (samo)učenje motorjev rešitev AI/ML v realnem času
• Vgrajena orodja poslovne inteligence za vizualizacijo procesnih podatkov in rezultatov rešitve AI/ML
• Upravljanje API za posredovanje rezultatov rešitve AI/ML v sisteme za nadzor procesov/SCADA, informacijske in analitične sisteme, pošiljanje opozoril itd.

Rešitve AI/ML na platformi InterSystems IRIS se zlahka prilegajo obstoječi IT infrastrukturi. Platforma InterSystems IRIS zagotavlja visoko zanesljivost rešitev AI/ML s podporo konfiguracijam, odpornim na napake in katastrofe, ter prilagodljivim uvajanjem v virtualnih okoljih, na fizičnih strežnikih, v zasebnih in javnih oblakih ter vsebnikih Docker.

Tako je InterSystems IRIS univerzalna računalniška platforma AI/ML v realnem času. Univerzalnost naše platforme se v praksi potrjuje z odsotnostjo dejanskih omejitev glede kompleksnosti izvedenih izračunov, zmožnostjo InterSystems IRIS, da združuje (v realnem času) obdelavo scenarijev iz najrazličnejših panog ter izjemno prilagodljivostjo vse funkcije in mehanizme platforme za posebne potrebe uporabnikov.

Slika 21 InterSystems IRIS - univerzalna računalniška platforma AI/ML v realnem času

Za bolj vsebinsko interakcijo s tistimi našimi bralci, ki jih zanima tukaj predstavljeno gradivo, priporočamo, da se ne omejite na branje in nadaljujete dialog »v živo«. Z veseljem vam bomo podprli oblikovanje scenarijev AI/ML v realnem času glede na specifiko vašega podjetja, izvedli skupno izdelavo prototipov na platformi InterSystems IRIS, oblikovali in v praksi implementirali načrt za uvedbo umetne inteligence in strojnega učenja. v vaše proizvodne in upravljavske procese. Kontaktni e-poštni naslov naše skupine strokovnjakov za AI/ML – [e-pošta zaščitena].

Vir: www.habr.com