InterSystems IRIS – universaalne AI/ML platvorm reaalajas

Autor: Sergei Lukjanikov, nõustav insener InterSystems

Reaalaja AI/ML arvutuste väljakutsed

Alustame InterSystems Data Science praktika kogemustest:

• Kliendi «koormatud» portaal on ühendatud veebipõhise soovitussüsteemiga. On ette valmistamas isiku teadaanne kampaaniate restruktureerimist jaekaubanduse ulatuses (eeldatavasti asendatakse «tasane» kampaaniate rida nüüd «segment-taktika» maatriks). Mis toimub soovituste mehhanismidega? Mis toimub andmete esitlemine ja värskendamine soovituste mehhanismis (sisendandmete maht on suurenenud 25000 korda)? Mis toimub soovituste väljatöötamisega (vajadus soovitusreeglite filtreerimise künnise tuhandekordseks vähendamiseks seoses nende arvu ja valiku tuhandekordse suurenemisega)?
• On olemas seadmete sõlmede defektide esinemise tõenäosuse jälgimise süsteem. Jälgimisse on ühendatud automatiseeritud juhtimis- ja mõõtesüsteem, mis edastab protsessi tuhanded parameetrid iga sekundi järel. Mis juhtub jälgimisse süsteemiga, mis varem töötas 'manuaalsete valimitega' (kas see suudab tagada iga sekundilise tõenäosuse jälgimise)? Mis juhtub, kui sisendandmetesse ilmub uus plokk, mis koosneb mitmest sajast veerust sensorite andmetega, mis on hiljuti lisatud automatiseeritud juhtimis- ja mõõtesüsteemi (kas ja kui kaua tuleb jälgimisse süsteemi peatada uute sensorite andmete analüüsimiseks)?
• Loodi AI/ML mehhanismide kompleks (soovituslikud, jälgimis- ja prognoosimisseadmed), mis kasutavad üksteise töö tulemusi. Kui palju inimene-tunde on iga kuu vajalik selle kompleksi kohandamiseks sisendandmete muutustele? Mis on üldine 'aeglustumine' juhtimisotsuste toetamise ajal (toetava teabe ilmumise sagedus seoses uute sisendandmete esinemise sagedusega)?

Kokkuvõttes nende ja paljude muude näidete põhjal oleme jõudnud formulatsioonideni väljakutsete osas, mis tekivad masinõppe ja tehisintellekti mehhanismide kasutuselevõtul reaalajas:

• Kas meid rahuldab AI/ML-arenduste kiire loomine ja kohandamine (muutuvate oludega) meie ettevõttes?
• Kui hästi toetavad meie kasutatavad AI/ML-lahendused äritegevuse juhtimist reaalajas?
• Kas meie kasutatavad AI/ML-lahendused suudavad iseseisvalt (ilma arendajateta) andmete ja ärijuhtimise praktikate muutustega kohanduda?

Meie artikkel on põhjalik ülevaade InterSystems IRIS platvormi võimalustest AI/ML-mehhanismide universaalse toe osas, AI/ML-lahenduste kogumise (integreerimise) ja AI/ML-lahenduste koolitamise (testimise) osas intensiivsete andmevoogude peal. Me käsitleme turuuuringute, praktiliste AI/ML-lahenduste näidete ja kontseptuaalsete aspektide osas seda, mida me selles artiklis nimetame reaalajas AI/ML platvormiks.

Mida teatakse uuringutest: reaalaja rakendused

Tulemused uuring, läbiviidud umbes 800 IT-eriala spetsialisti seas 2019. aastal ettevõtte Lightbend poolt, räägivad enda eest:

Joonis 1. Reaalajas andmeid juhtivad tarbijad

Tsiteerime meie jaoks olulisi lõike selle küsitluse tulemuste raportist meie tõlkes:

„… Andmete integreerimise ja samal ajal konteinerites arvutuste toetamise populaarsuse trendid pakuvad sünergiat, mille kaudu turul on suurem nõudlus kiirete, ratsionaalsete ja dünaamiliste efektiivsete lahenduste järele. Andmevood võimaldavad teavet edastada kiiremini kui traditsioonilised paketandmed. Siia lisandub arvutusmeetodite, näiteks AI/ML-põhiste soovituste kiire rakendamise võimalus, luues konkurentsieeliseid kliendibaasi rahulolu kasvu kaudu. Kiirusel on samuti mõju kõigile rollidele DevOps'i paradigma raames – tõstes rakenduste arendamise ja juurutamise efektiivsust. … Kaheksa sada neli IT-spetsialisti andsid teavet andmevoogude kasutamise kohta oma organisatsioonides. Respondendid olid peamiselt lääneriikides (41% Euroopas ja 37% Põhja-Ameerikas) ning jagunesid praktiliselt ühtlaselt väikeste, keskmiste ja suurte ettevõtete vahel. …

Tehisintellekt ei ole vaid hype. Viiskümmend kaheksa protsenti neist, kes juba rakendavad andmevoogude töötlemist tootmises AI/ML rakendustes, kinnitavad, et nende rakendamine AI/ML-is tõukab järgmisel aastal kõige suuremat kasvu (võrreldes teiste rakendustega).

• Enamiku küsitletud arvates saavutavad andmevoogude rakendused AI/ML stsenaariumites järgmisel aastal kõige suuremat kasvu.
• AI/ML rakendamine ei kasva mitte ainult uute stsenaariumite tõttu, vaid ka tänu traditsioonilistele stsenaariumitele, kus reaalajas andmete rakendamine muutub järjest intensiivsemaks.
• Lisaks AI/ML-ile on entusiasmi tase IoT-andmevoogude kasutajate seas muljetavaldav — 48% neist, kes on juba IoT-andmeid integreerinud, kinnitab, et nende andmetel põhinevate stsenaariumite rakendamine saab lähiajal olulise kasvu.

Selle üsna huvitava küsitluse põhjal on näha, et teadlikkus masinõppe ja tehisintellekti (AI) kui andmevoogude tarbimise juhtide kohta on juba "tulekul". Kuid sama oluline on ka AI/ML reaalajas tajumine DevOpsi vaatevinklist: siin võime hakata rääkima valitseva "ühekordse AI/ML ja täielikult kergesti kätte saadava andmekogumise" kultuuri muutumisest.

Reaalajas AI/ML platvormi kontseptsioon

Üks tüüpilisi AI/ML reaalajas rakendusi on tehnoloogiliste protsesside juhtimine tootmises. Selle näite põhjal ja arvestades varasemaid mõtteid, formuleerime reaalajas AI/ML platvormi kontseptsiooni.
Tehisintellekti ja masinõppe kasutamisel tehnoloogiliste protsesside juhtimisel on mitmeid eripärasid:

• Tehnoloogilise protsessi olekuandmed saadetakse intensiivselt: kõrge sagedusega ja laia ulatusega parameetrite osas (kuni kümnete tuhandete parameetrite väärtusteni, mis edastatakse sekundis AСUТП-st)
• Defektide avastamise andmed, rääkimata nende arengust, on hoopis napid ja e irregular, iseloomustatud defektide tüüpimise ja nende ajalisuse puudulikkuse tõttu (tihti esitatud paberil tehtud märkmetena).
• Praktilisest vaatenurgast on mudelite õppimiseks ja rakendamiseks kergesti kätte saadav vaid lähtandmete "aktuaalsuse aken", mis kajastab tehnoloogilise protsessi dünaamikat mõistliku libiseva intervalli jooksul, mis lõpeb viimati loetud protsessiparametrite väärtustega.

Need to handle the intensive "broadband incoming signal" from the technological process in real time requires us to not only accept and process the data but also to apply, train, and monitor the quality of AI/ML model outputs simultaneously — also in real time. The "frame" our models "see" in the sliding window of relevance is constantly changing, and along with it, the quality of the outputs generated by AI/ML models trained on one of the "frames" in the past also shifts. If the quality of the AI/ML model outputs deteriorates (for example, if the classification error value of "alarm-normal" exceeds the thresholds we have defined), retraining of the models on a more current "frame" must be automatically initiated — and the timing for starting the retraining process should take into account both the duration of the training itself and the dynamics of the degradation of the current model version's performance (since the current versions of the models continue to be applied while they are being trained and until their "retrained" versions are formed).

InterSystems IRIS omab põhifunktsioonid, mis tagavad AI/ML-lahenduste toimimise reaalajas tehnoloogiliste protsesside juhtimisel. Need funktsioonid võib jagada kolme põhigruppi:

• Uute või olemasolevate AI/ML-mootorite pidev juurutamine (Continuous Deployment/Delivery, CD) tootmislahendusse, mis töötab reaalajas InterSystems IRIS platvormil.
• Pidev integreerimine (Continuous Integration, CI) tehnoloogilise protsessi andmevoogude, andmeveerude ja AI/ML-mootorite rakendamise / koolitamise / kvaliteedikontrolli jaoks, samuti andmete / koodi / juhtivate mõjude vahetus matemaatilise modelleerimise keskkondadega, mille orkestreerimist teostab reaalajas InterSystems IRIS platvorm.
• AI/ML-mootorite pidev (ise-)koolitus (Continuous Training, CT), mis toimub matemaatilise modelleerimise keskkondades, kasutades andmeid, koodi ja juhtivaid mõjusid ('vastuvõetud otsuseid'), mida edastab InterSystems IRIS platvorm.

Platvormi võimaluste klassifikatsioon, mis on seotud masinõppe ja tehisintellektiga, põhineb just nendel rühmadel, ning see ei ole juhuslik. Tsiteerime metoodilist väljaandmine Google'i ettevõtet, kus tutvustatakse selle klassifikatsiooni kontseptuaalset alust, meie tõlkes:

„... Tänapäeval populaarne DevOps kontseptsioon hõlmab mahukate infosüsteemide arendamist ja hooldust. Selle kontseptsiooni rakendamise eelisteks on arendustsüklite kestuse lühendamine, arenduste kiire kasutuselevõtt ja väljaannete planeerimise paindlikkus. Nende eeliste saavutamiseks eeldab DevOps vähemalt kahe praktika rakendamist:

• Continuous Integration (CI)
• Continuous Delivery (CD)

Need praktikud kehtivad ka AI/ML platvormide puhul – tagamaks, et tootlikud AI/ML lahendused oleksid usaldusväärsed ja tootlikud.

AI/ML platvormid erinevad teistest infosüsteemidest järgmistes aspektides:

• Meeskonna oskused: AI/ML lahenduste loomisel koosneb meeskond tavaliselt andmete teadlastest või andmeuurimisalaste ekspertidest, kes teevad andmeanalüüsi, arendavad ja proovivad mudeleid. Need meeskonna liikmed ei pruugi olla professionaalsed tootmisprogrammeerijad.
• Arendus: AI/ML mehhanismid on oma olemuselt eksperimentaalsed. Probleemi kõige efektiivsemaks lahendamiseks on vaja läbi käia erinevaid sisendmuutujaid, algoritme, modelleerimise meetodeid ja mudeli parameetreid. Sellise läbimise keerukus seisneb jälgimises "mis töötas/mitte", episoodide korduvuse tagamises, arenduste üldistamises korduvate rakenduste jaoks.
• Testimine: AI/ML mehhanismide testimine nõuab rohkem teste kui enamik teisi arendusi. Lisaks tavapärastele moodul- ja integreerimistestidele testitakse andmete kehtivust, tulemuste kvaliteeti mudeli rakendamisel õppe- ja kontrollelementide suhtes.
• Paigaldamine: AI/ML lahenduste rakendamine ei piirdu ainult ennustavate teenustega, mis kasutavad ühekordselt õpetatud mudelit. AI/ML lahendused on üles ehitatud mitmeastmelistele voogudele, mis viivad läbi automatiseeritud mudeli õpetamise ja rakendamise. Selliste voogude rakendamine eeldab keeruliste toimingute automatiseerimist, mida traditsiooniliselt teevad käsitsi andeteadlased, et võimaldada mudelite õpetamist ja testimist.
• Toimivus: AI/ML mehhanismidel võib mitte piisava toimivuse probleemide allikas olla mitte ainult ebaefektiivne kodeerimine, vaid ka pidevalt muutuvate sisendandmete olemus. Teisisõnu, AI/ML mehhanismide toimivus võib halveneda laiemate põhjuste tõttu kui tavapäraste arenduste toimivus. See toob kaasa vajaduse jälgida (reaalajas) meie AI/ML mehhanismide toimivust, samuti teavitada või eemaldada tulemused, kui toimivusnäitajad ei vasta ootustele.

AI/ML platvormid sarnanevad teiste infotehnoloogiliste süsteemidega, kuna mõlemad vajavad pidevat koodi integreerimist koos versioonihaldusega, moodulite testimist, integratsiooniteste ja pidevat arenduste juurutamist. Siiski on AI/ML puhul mitmeid olulisi erinevusi:

• CI (Pidev Integreerimine) ei piirdu enam ainult juurutatavate komponentide koodi testimise ja valideerimisega – see hõlmab ka andmete ja AI/ML mudelite testimist ja valideerimist.
• CD (Pidev Üleandmine/Juhtimine) ei tähenda ainult pakettide või teenuste kirjutamist ja vabastamist, vaid see hõlmab platvormi AI/ML lahenduste koostamiseks, koolitamiseks ja rakendamiseks.
• CT (Pidev Koolitus) – uus element [autori märkuse kohaselt: uus element võrreldes traditsioonilise DevOpsi kontseptsiooniga, kus CT tähendab enamasti pidevat testimist], mis on iseloomulik AI/ML platvormidele, vastutav AI/ML mudelite koolituse ja rakendamise autonoomse juhtimise eest.

Saame kinnitada, et masinõpe ja tehisintellekt, mis toimivad reaalajas andmete põhjal, nõuavad laiemat tööriistade ja oskuste komplekti (alates koodi arendamisest kuni matemaatiliste mudelite orkestreerimiseni), tihedamat integratsiooni kõigi funktsionaalsete ja ainevaldkondade vahel ning tõhusamat inim- ja masinavarade korraldust.

Reaalajas stsenaarium: defektide avastamise tuvastamine toitmispumpades

Jätkates tööstusprotsesside juhtimise valdkonna näidet, vaatame konkreetset ülesannet (mida oleme juba alguses maininud): on vajalik tagada reaalajas defektide jälgimine pumpades, tuginedes tehnoloogilise protsessi parameetrite väärtuste voole ja remondipersonali aruanetele tuvastatud defektide kohta.

Joonis 2 Defektide jälgimise ülesande määratlemine

Enamik selliste probleemide praktikas korraldamise omadusi on see, et andmete regulaarne ja kiire saabumine (АСУТП) peab toimuma olukorras, kus defektide eri tüübid esinevad episooodselt ja ebaregulaarselt (ning registreeritakse). Teisisõnu: andmed ASУТП-st tulevad sekundis õigesti ja täpselt, samas kui defektide kohta tehakse märkmeid kemikaalipliiatsiga, märkides kuupäeva üldsissekannete vihikus (näiteks: «12.01 – lekke märgid 3. laager suunast»).

Seega saab ülesande määratlemist täiendada järgmise olulise piiranguga: defekti „silt” konkrëetne tüüp on meil üks (st konkreetse defekti näidet esindab ASУТП andmed kindlal kuupäeval – ja meil pole selle konkreetse tüübi kohta rohkem näiteid). See piirang tõukab meid kohe klassikalise masinõppe (supervised learning) raamidest välja, kus „silte” peab olema palju.

Joonis 3 Defektide arengu jälgimise ülesande täpsustamine

Kas me saame mingil moel "kopeerida" meie käsutuses olevat ainukest "märki"? Jah, saame. Praegune pumpade seisund iseloomustab sarnasus registreeritud defektidega. Isegi ilma kvantitatiivsete meetodite rakendamiseta, andmete dünaamika jälgimine ASUTP-st saab juba visuaalse tajumise tasemel palju teada:

Joonis 4 Pumba oleku dünaamika vastavalt määratud tüübi "märgile"

Kuid visuaalne tajumine (vähemalt seni) ei ole meie kiiresti muutuvas stsenaariumis kõige sobivam "märkide" generaator. Me hindame praegune pumpade seisund sarnasus registreeritud defektidega statistilise testi abil.

Joonis 5 Statistilise testi rakendamine saabuvatele andmetele määratud tüübi "märgi" taustal

Statistiline test määrab tõenäosuse, et tehnoloogilise protsessi parameetrite väärtustega kirjed, mis saadakse AСУТП «voog-pakettist», on sarnased konkreetse tüüpi defekti «märgiste» kirjetele. Statistilise testi rakendamisel arvutatud tõenäosuse väärtus (statistilise sarnaste väärtusindeks) muudetakse väärtuseks 0 või 1, muutudes «märgiks» masinõppimiseks iga konkreetse kirje jaoks uuritavas sarnasuse paketis. See tähendab, et pärast uue kirjade paketi töötlemist, mis on saadud pumpade oleku statistilise testimise kaudu, on meil võimalus (a) lisada see pakett AI/ML mudeli koolitamise treeninggruppi ja (b) jälgida praeguse mudeli versiooni kvaliteedikontrolli selle rakendamisel antud paketile.

Joonis 6 Masinõppe mudeli rakendamine sisenevatele andmetele «märgise» defekti taustal

Ühes meie eelnevates veebiseminaridest Me selgitame, kuidas InterSystems IRIS platvorm võimaldab rakendada mis tahes AI/ML-mehhanismi pidevalt toimivate äriprotsessidena, mis kontrollivad mudelite simuleerimise tulemuste usaldusväärsust ja kohandavad mudelite parameetreid. Prototüübi rakendamisel meie pumpade stsenaariumis kasutame kogu veebiseminari käigus tutvustatud InterSystems IRIS funktsionaalsust – integreerime meie lahenduse analüsaatorisse mitte klassikalise juhendatud õppimise (supervised learning), vaid pigem tugevduse õppimise (reinforcement learning), mis automaatselt haldab mudelite koolitamiseks valikut. Koolitusse valitakse sisse andmed, millel tekib „detektsiooni konsensus“ pärast rakendamise ja statistilise testi kasutamist ning mudeli praegust versiooni – st nii statistiline test (pärast sarnasuse indeksi transformeerimist 0 või 1) kui mudel annavad sellistel andmetel tulemuseks 1. Uue mudeli koolitamise ajal, selle valideerimisel (uus koolitatud mudel rakendatakse enda koolitusvalikule, eelnevalt rakendades sellele statistilist testi), eemaldatakse koolitusvalikust andmed, mis ei saavutanud pärast statistilise testi töötlemist tulemust 1 (kuna algse „defekti märgise“ andmed on pidevalt kohal koolitusvalikus), ning mudeli uus versioon õpib „defekti märgise“ ja nende andmete põhjal, mis kaudu test läbis.

Joonis 7 AI/ML arvutuste automatiseerimine InterSystems IRIS-is

Kui on vajadus teatud tüüpi 'teise arvamuse' järele detektsiooni kvaliteedi osas, mis saadakse kohalikes arvutustes InterSystems IRIS-is, luuakse nõustamisprotsess mudelite koolitamiseks ja rakendamiseks kontrollkümnendi kaudu pilveteenuste (nt Microsoft Azure, Amazon Web Services, Google Cloud Platform jne) abil:

Joonis 8 'Teine arvamus' Microsoft Azure’ist InterSystems IRIS-i orkestreerimisel

Meie stsenaariumi prototüüp InterSystems IRIS-is on teostatud analüütiliste protsesside agendi süsteemina, mis suhtleb seadme (pumba), matemaatilise modelleerimise keskkondadega (Python, R ja Julia) ning tagab kõigi kaasatud AI/ML mehhanismide enesekoolituse reaalajas andmevoogudes.

Joonis 9 Reaalajas AI/ML lahenduse põhifunktsionaalsus InterSystems IRIS-is

Meie prototüübi praktiline tulemus:

• Mudeliga tuvastatud vea muster (12. jaanuar):

• Mudeliga tuvastatud arenev viga, mis ei kuulu mustrisse (11. september; viga tuvastati remondigrupp poolt alles kahe päeva pärast – 13. september):

Reaalsete andmete simuleerimine, mis sisaldas mitu episoodi sama defekti kohta, näitas, et meie lahendus, mis on rakendatud platvormil InterSystems IRIS, võimaldab tuvastada selliste defektide arengu mitu päeva enne, kui remontmeeskond need avastab.

InterSystems IRIS – universaalne reaalaja AI/ML arvutusplatvorm

Platvorm InterSystems IRIS lihtsustab reaalaja andmete lahenduste arendamist, juurutamist ja haldamist. InterSystems IRIS suudab samal ajal teostada nii tehingu- kui ka analüüsiprotsesse; toetada sünkroniseeritud andmete esitamist mitu erinevat mudelit (sealhulgas relatsioonilist, hierarhilist, objektset ja dokumentaalset); toimida andmeallikate ja rakenduste integreerimisplatvormina; pakkuda arenenud reaalaja analüüsi struktuurilistele ja struktuurilistele andmetele. InterSystems IRIS pakub ka mehhanisme välist analüüsivahendite kasutamiseks, võimaldades paindlikult ühendada pilve- ja kohalikke servereid.

InterSystems IRIS platvormil loodud rakendused on rakendatud erinevates valdkondades, aidates ettevõtetel saavutada märkimisväärset majanduslikku efekti strateegilistes ja operaatiivsetes perspektiivides, suurendades teadlikkust otsuste tegemisel ja kõrvaldadess "lünki" sündmuse, analüüsi ja tegevuse vahel.

Joonis 10 InterSystems IRIS arhitektuur AI/ML kontekstis reaalajas

Nagu eelmises diagrammis, ühendab allpool toodud diagramm uue «koordinaatsüsteemi» (CD/CI/CT) teabevoogude skeemiga platvormi tööelementide vahel. Visuaalsus algab makromehhanismist CD ja jätkub makromehhanismidega CI ja CT.

Joonis 11 Teabevoogude skeem InterSystems IRIS platvormi AI/ML elementide vahel

CD mehhanismi olemus InterSystems IRIS'is: platvormi kasutajad (AI/ML lahenduste arendajad) kohandavad juba olemasolevaid ja/või loovad uusi AI/ML lahendusi spetsialiseeritud AI/ML mehhanismide koodi redigeerija abil: Jupyter (täisnimetus: Jupyter Notebook; lühidalt nimetatakse vahel ka selles toimetajas loodud dokumente). Jupyter's saab arendaja kirjutada, siluda ja veenduda, et konkreetne AI/ML lahendus töötab (sealhulgas graafika kasutamine), enne kui see paigaldatakse („rakendatakse”) InterSystems IRIS's. On loomulik, et sellisel viisil loodud uus lahendus saab ainult põhjaliku silumise (kuna Jupyter ei toimi reaalajas andmevoogudega) – see on normaalne, sest arenduse põhieesmärk Jupyter's on kinnitada spetsiifilise AI/ML mehhanismi töökindlus („katsedataandmetel näitab oodatud tulemust”). Sarnaselt võivad juba platvormile paigaldatud mehhanismid (vt järgmisi makromehhanisme) enne silumist Jupyter's vajada „tagasitoomist” „lisaplatvormi” vormi (andmete lugemine failidest, andmete käsitlemine xDBC kaudu tabelite asemel, otsene koostöö globaalidega – InterSystems IRIS'i mitmemõõtmelised andmebaasid jne).

Oluline aspekt CD rakendamisest just InterSystems IRIS-s: platvormi ja Jupyteri vahel on loodud kahepoolne integreerimine, mis võimaldab edastada platvormile (ja edaspidi töötlemiseks platvormis) sisu Pythonis, R-is ja Julian, mis kõik kolm on programmeerimiskeeled vastavates juhtivates avatud lähtekoodiga matemaatilise modelleerimise keskkondades. Seega on AI/ML sisu arendajatel võimalus teostada selle sisu "pidevat juurutamist" platvormis, töötades oma tuttavas Jupyteri redigeerijas, kasutades Pythonis, R-is, Julian saadaval olevaid tuntud raamatukogusid ja tehes baasidebugimist (vajadusel) väljaspool platvormi.

Liigume edasi CI makromehhanismi juurde InterSystems IRIS. Diagrammil on kujutatud reaalaegse robotiseerijate makroprotsessi (andmestruktuuride, äriprotsesside ja nendega orkestreeritud koodi fragmentide komplekt, mis on kirjutatud matsred ja ObjectScripti, InterSystems IRISi natiivse arenduskeele keeles). Selle makroprotsessi ülesanne on toetada AI/ML-mehanismide tööks vajalikke andmevahetusjärjekordi (põhinedes andmevoogudel, mis edastatakse platvormile reaalajas), teha otsuseid AI/ML-mehanismide rakendamise järjekorra ja „valiku“ üle (need on „matemaatilised algoritmid“, „mudelid“ jne – need võivad sõltuvalt rakenduse konkreetsusest ja terminoloogilistest eelistustest erinevalt nimetada), säilitada andmestruktuurid AI/ML-mehanismide töö tulemuste analüüsi jaoks (kuubikud, tabelid, mitmemõõtmelised andmestruktuurid jne – aruannete, juhtpaneelide jne jaoks).

Oluline aspekt CI rakendamisel InterSystems IRISis on see, et matemaatiliste mudelite platvormi ja keskkondade vahel on loodud kahepoolsed integreeringud, mis võimaldavad käivitada platvormil oleva sisu Python, R ja Julia keeles nende vastavates keskkondades, tagastades seejuures käitamise tulemused. See integreerimine on ellu viidud nii "terminalirežiimis" (st AI/ML sisu formuleeritakse ObjectScripti koodina, mis kutsub esile matemaatiliste keskkondade ülesandeid) kui ka "äriprotsessi režiimis" (st AI/ML sisu formuleeritakse äriprotsessina graafilise redaktori kaudu või mõnikord Jupyteri või IDEde nagu IRIS Studio, Eclipse, Visual Studio Code abil). Äri protsesside redigeerimise kättesaadavus Jupyteris on peegeldatud IRISi CI taseme ja Jupyteri CD taseme vahelise seose kaudu. Üksikasjalikum ülevaade integreerimisest matemaatiliste mudelite keskkondadesse esitatakse hiljem. Sellest vaatenurgast on meie arvates kõik vajalikud tööriistad platvormil, et rakendada AI/ML arendusi, mis tulevad "pidevast juurutamisest", AI/ML reaalajas lahendusteks.

Ja peamine makromehhanism: CT. Ilma selleta ei saa AI/ML platvorme (kuigi „reaalajas” rakendatakse CD/CI kaudu). CT olemus on platvormi töö „masinõppe” ja „tehisintellekti artefaktidega” otse matemaatilise modelleerimise keskkondades: mudelid, jaotustabelid, vektorid-matriigid, närvivõrgud jne. See „töö” seisneb enamasti nimetatud artefaktide loomises keskkondades (mudelite puhul tähendab „loomine” mudeli spetsifikatsiooni määratlemist ja sellele järgnenud parameetrite väärtuste valimist – nn mudeli „treenimist”), nende kasutamises (mudelite puhul: nende abil „mudelväärtuste” arvutamine sihimuutujate prognoosimiseks, kategooriate määramiseks, sündmuste tõenäosuse hindamiseks jne) ja juba loodud ning rakendatud artefaktide parendamises (nt mudeli sisse- ja väljundite muutmine rakendamise tulemustest – prognoosimise täpsuse parandamise eesmärgil, kui soovite). CT rolli mõistmisel on võtmetähtsusega selle „abstraktsioon” CD-st ja CI-st: CT realiseerib kõik artefaktid, lähtudes AI/ML lahenduse arvutuslikest ja matemaatilistest eripärast, tuginedes spetsiifiliste keskkondade pakutavatele võimalustele. „Sisendandmete” tarnimise ja „tulemuste” edastamise eest vastutavad CD ja CI.

Oluline aspekt CT rakendamisel InterSystems IRIS-is: kasutades juba eespool mainitud integratsiooni matemaatika modelleerimise keskkondadega, on platvorm võimeline eraldama oma juhtimise all toimuvate töösessionite jooksul sündmusi ja (mis kõige tähtsam) muutma need platvormi andmeobjektideks. Näiteks Pythonis äsja loodud jaotustabel võib (ilma Python sessiooni peatamiseta) olla tõstatud platvormi, näiteks InterSystems IRIS-i globaalina (mitme mõõtmelise andmemassiivina) – ning seda saab kasutada arvutustes teises AI/ML mehhanismis (mis on juba rakendatud teise keskkonna keeles – näiteks R) – või virtuaaltabelina. Teine näide: paralleelselt mudeli „tavarežiimi“ tööga (Pythonis töötavas sessioonis) tehakse selle sisendandmetel „auto-ML“: automaatne optimaalse sisendi muutuja ja parameetrite väärtuste valik. Ja koos „tava“ koolitamisega, tootlik mudel reaalajas saab veel ka oma spetsifikatsiooni „optimeerimise ettepaneku“ – milles muudetakse sisendmuutujate kogumit, muudetakse parameetrite väärtusi (juba mitte Pythonis õppimise tõttu, vaid „alternatiivse“ versiooni õppimise tõttu, näiteks H2O tehnoloogias), võimaldades üldisel AI/ML lahendusel autonoomselt toime tulla ettenägematute muudatustega sisendandmete iseloomus ja modelleeritavates nähtustes.

Tutvume InterSystems IRIS platvormi AI/ML funktsionaalsusega lähemalt, kasutades reaalset prototüüpi.

Alljärgneval diagrammil, slaidi vasakus osas - äri protsessi osa, mis rakendab skriptide täitmist Pythonis ja R-is. Keskel - visuaalsed logid mõnede neist skriptidest, vastavalt Pythonis ja R-is. Nende järel - näited sisust ühes ja teises keeles, edastatud täitmiseks vastavatesse keskkondadesse. Parempoolsel küljel - visualiseerimised, mis põhinevad skriptide täitmise tulemustel. Ülemised visualiseerimised - loodud IRIS Analytics'is (data on tõmmatud Pythonist InterSystems IRIS andmeplatvormile ja esitatud dashboardil platvormi vahendite abil), alumised - loodud otse R töösessioonis ja sealt graafikafailidena välja toodud. Oluline aspekt: esitatud fragment prototüübis vastutab mudeli õpetamise (varustuse olekute klassifitseerimine) eest andmete alusel, mis voolavad reaalajas seadme simulatsiooni protsessist, kvaliteedi klassifitseerimise protsessi monitori käsu järgi, mida jälgitakse mudeli rakendamise käigus. AI/ML lahenduse rakendamise osas, mis koosneb omavahel seostuvatest protsessidest ("agendid"), räägime hiljem.

Joonis 12 Koostoime Python, R ja Julia vahel InterSystems IRIS-is

Platvormi protsessid (need on "äri protsessid", "analüütilised protsessid", "torujuhtmed" jne – sõltuvalt kontekstist) redigeeritakse eelkõige platvormi äri protsesside graafika redaktoris, luues samal ajal nii selle plokk-diagrammi kui ka vastava AI/ML-mehhanismi (programmeerimiskood). Rääkides "AI/ML-mehhanismi saamisest", mõtleme me algselt hübriidsusele (ühe protsessi raames): sisu matemaatika modelleerimise keeltes kohtub SQL-i (sealhulgas laiendustega) sisuga. IntegratedML), InterSystems ObjectScript'i ja teiste toetatud keeltega. Veelgi enam, platvormi protsess pakub laialdasi võimalusi „joonistamiseks” hieraktiliselt struktureeritud fragmentidena (nagu on näha alloleval diagrammil), mis võimaldab tõhusalt korraldada isegi väga keerukat sisu, mitte kunagi „välja kukkudes” graafilisest formaadist (nt „mitte-graafilistesse” meetoditesse/klassidesse/protseduuridesse jms). St, vajadusel (mis on ette nähtud enamus projektides) võib kogu AI/ML-lahenduse rakendada graafilises ise-dokumenteerivas formaadis. Täname tähelepanu juhtimise eest, et alltoodud diagrammi keskosas, kus on esitatud kõrgem „sügavuse tase”, on näha, et lisaks mudeli koolitustööle (Python'i ja R'i abil) tehakse ka analüüs nn ROC-kõverast, mis võimaldab visuaalselt (ja arvutuslikult) hinnata koolituse kvaliteeti – ja see analüüs on realiseeritud Julia keeles (töötatakse vastavalt Julia matemaatilises keskkonnas).

Joonis 13 AI/ML-lahenduste koostamise visuaalne keskkond InterSystems IRIS'is

Nagu juba varem mainitud, toimub AI/ML-mehhanismide algne arendus ja (teatud juhtudel) juba olemasolevate kohandamine platvormil edaspidi väljaspool platvormi Jupyteri toimetajas. Alloleval diagrammil näeme olemasoleva platvormiprotsessi kohandamise näidet (sama, mis ülaltoodud diagrammil) – nii näeb Jupyteris välja see osa, mis vastutab mudeli koolitamise eest. Pythonis loodud sisu on kohandatav, silutav ja graafika väljastamine toimub otse Jupyteris. Muudatused (vajadusel) saavad olema koheselt sünkroonitud platvormiprotsessiga, sealhulgas selle tootmisversiooniga. Samamoodi saab platvormile edastada ka uut sisu (automaatne uue platvormiprotsessi genereerimine).

Joonis 14 Jupyter Notebooki rakendamine AI/ML-mehhanismi redigeerimiseks InterSystems IRIS platvormil

Platvormi protsessi kohandamist saab teostada mitte ainult graafilises või sülearvuti formaadis, vaid ka IDE (Integrated Development Environment) 'totalses' formaadis. Sellisteks IDE-deks on IRIS Studio (natiivne IRIS stuudio), Visual Studio Code (InterSystems IRIS laiendus VSCode'ile) ja Eclipse (Atelier plugin). Teatud juhtudel on võimalik, et arendajate meeskond kasutab kõiki kolme IDE-d samaaegselt. Alloleval diagrammil on näidatud näide sama protsessi redigeerimisest IRIS stuudios, Visual Studio Code'is ja Eclipse'is. Redigeerimiseks on saadaval kogu sisu: nii Python/R/Julia/SQL, ObjectScript kui ka äriotsustusprotsess.

Joonis 15 InterSystems IRIS äri protsessi arendamine erinevates IDE-des

Erakordne tähelepanu väärivad InterSystems IRIS äriprotsesside kirjeldamiseks ja täitmiseks mõeldud vahendid Business Process Language (BPL) keeles. BPL võimaldab äriprotsessides kasutada "valmis integreerimise komponente" (activities) — mis annab täieliku aluse väita, et InterSystems IRIS'is on rakendatud "võrdne integreerimine". Valmis äriprotsessi komponendid (aktiivsused ja nende vaheline seos) on suurepärane akselerator AI/ML lahenduse koostamiseks. Ja mitte ainult koostamiseks: tänu aktiivsustele ja nendevahelistele seostele tekib erinevate AI/ML arenduste ja mehhanismide kohal "autonoomne juhtimiskiht", mis suudab otsuseid teha vastavalt olukorrale, reaalajas.

Joonis 16 Valmis äriprotsessi komponendid pidevaks integreerimiseks (CI) InterSystems IRIS platvormil

Agnentsüsteemide kontseptsioon (tuntud ka kui "multiagentsüsteemid") on roboteerimises tugev positsioon ja InterSystems IRIS platvorm toetab seda orgaaniliselt toote-protsessi konstruktsiooni kaudu. Peale piiramatu võimaluse igasuguseid funktsioone, mis on vajalikud üldiste lahenduste loomiseks, võimaldab süsteemi platvormipõhistele protsessidele "agendilisuse" omistamine luua tõhusaid lahendusi äärmiselt ebastabiilsete simuleeritavate nähtuste jaoks (näiteks sotsiaalsete/bioloogiliste süsteemide käitumine, osaliselt jälgitavad tehnoloogilised protsessid jne).

Joonis 16 AI/ML lahenduse töö nagu agentsüsteem InterSystems IRIS äriprotsessides

Jätkame meie InterSystems IRIS ülevaadet platvormi rakenduste kasutamise kohta reaalaja probleemide lahendamiseks (mõningate parimate praktikateni platvormi AI/ML valdkonnas InterSystems IRIS'is tutvustame põhjalikult ühes meie eelnevas artiklis). veebiseminaridest).

Eelmise diagrammi jälgedes on allpool toodud üksikasjalikum diagramm agentide süsteemist. Diagrammil on kujutatud sama prototüüpi, näha on kõiki nelja protsessi-agenti ning nendevaheline suhe on skeemiliselt illustreeritud: GENERATOR – tegeleb andmete loomisega seadmete andurite kaudu, BUFFER – haldab andmete järjekordi, ANALYZER – viib läbi masinõppe, MONITOR – jälgib masinõppe kvaliteeti ja annab signaali mudeli korduskoolituse vajadusest.

Joonis 17 AI/ML-lahenduse koostisosad agentide süsteemi äriprotsesside osana InterSystems IRIS-is

Allpool on diagramm, kus on illustreeritud teise robotprototüübi iseseisva toimimise kestus (tekstide emotsionaalse sisule vastamine). Ülemises osas on mudeli kvaliteedi õppimise näitaja areng (kvaliteet tõuseb), alumises osas - mudeli rakendamise kvaliteedi dünaamika ja faktid uue koolituse kohta (punased jooned). Nagu näha, on lahendus olnud tõhus ja isehakkav ning töötab seatud kvaliteeditasemel (kvaliteedi näitaja väärtused ei lange alla 80%).

Joonis 18 Jätkuv (ise-)õpe (CT) platvormil InterSystems IRIS

Meie oleme varem juba maininud "auto-ML" kohta, kuid alloleval diagrammil on selle funktsiooni rakendamine detaliseeritult esitatud veel ühe prototüübi näitel. Graafiline skeem ettevõtte protsessi fragmentidest näitab aktiivsust, mis käivitab modelleerimise H2O virnas, samuti näidatakse nende modelleerimise tulemusi (teenitud mudeli selge dominant tõstatatud mudelite üle vastavalt ROC-kõvera võrdlevatele diagrammidele, samuti automatiseeritud ülesanne "mõjukaimate muutujate" tuvastamiseks saadaval algandmete komplektis). Oluline punkt on ajakulu ja ekspertide ressursside kokkuhoid, mis saavutatakse "auto-ML" kaudu: see, mida meie platvormipõhine protsess teeb 30 sekundi jooksul (optimaalsete mudelite leidmine ja treenimine), võib eksperdil võtta nädalast kuuni.

Joonis 19 "auto-ML" integreerimine AI/ML lahendusse InterSystems IRIS platvormil

Allpool olev diagramm veidi "segab haripunkti", kuid see on hea viis lõpetada jutustus InterSystems IRIS platvormi lahendatavate ülesannete klassidest: tuletame meelde, et tõsiseltvõetavad mudelid ei tarvitse õppida just selle platvormi all. Platvorm saab väljastpoolt PMML-mudeli spetsifikatsiooni, mis on loodud tööriistas, mis ei kuulu platvormi haldusesse – ja saab seda mudelit reaalses ajas rakendada alates selle importimisest. PMML-spetsifikatsioonid. Samas on oluline märkida, et kaugel pole kõik AI/ML-artefaktid PMML-spetsifikatsiooni alla viidud, isegi kui enamik levinumaid artefakte võimaldab seda teha. Seega on InterSystems IRIS platvorm avatud süsteem ja see ei tähenda, et kasutajad oleksid "platvormi orjad".

Joonis 20 «Auto-ML» integreerimine AI/ML lahendusse InterSystems IRIS platvormil.

Loetleme InterSystems IRIS'i täiendavaid platvorme eeliseid (näiteks tehnoloogiliste protsesside juhtimise kontekstis), mis on olulised reaalajas kunstliku intellekti ja masinõppe automatiseerimisel:

• Arendatud integreerimisvahendid igasuguste andmeallikate ja -tarbijate (DCS/SCADA, seadmed, hooldus ja remont, ERP jne) jaoks
• Sisseehitatud multimudeelne kahesüsteemne andmebaas kõrge jõudlusega tehingu- ja analüüsitöötluseks (HTAP) igasuguste tehnoloogiliste protsesside andmemahtude jaoks
• Arendusvahendid reaalajas AI/ML lahenduste pidevaks juurutamiseks, kasutades Pythonit, R-i, Juliat
• Kohandatavad äriprotsessid reaalajas AI/ML lahenduste pidevaks integreerimiseks ja (ise)õppimiseks
• Sisseehitatud Business Intelligence vahendid tehnoloogiliste protsesside andmete ja AI/ML lahenduste tulemuste visualiseerimiseks
• API haldus AI/ML lahenduste töötulemuste edastamiseks DCS/SCADA, teavet analüüsivatele süsteemidele, teavituste saatmiseks jne.

AI/ML lahendused InterSystems IRIS platvormil integreeruvad hõlpsasti olemasolevasse IT-infrastruktuuri. InterSystems IRIS platvorm tagab AI/ML lahenduste kõrge usaldusväärsuse, toetades talitlushäireteta ja katastroofikindlaid konfiguratsioone ning paindlikku juurutamist virtuaalsetes keskkondades, füüsilistel serveritel, privaatsetes ja avalikes pilvedes, Docker-konteinerites.

Seega on InterSystems IRIS reaalaja AI/ML arvutuste universaalne platvorm. Meie platvormi universaalsust kinnitab praktikas de-fakto piirangute puudumine rakendatavates arvutustes, samuti InterSystems IRIS võime kombineerida (reaalajas) erinevate valdkondade stsenaariumide töötlemist, ebatavaline kohanemisvõime mistahes funktsioonide ja mehhanismide osas vastavalt kasutajate konkreetsetele vajadustele.

Joonis 21 InterSystems IRIS — universaalne reaalaja AI/ML arvutuste platvorm

Kuna rohkem aktiivset suhtlemist meie lugejatega, keda huvitab siin esitletud materjal, soovitame mitte piirduda selle lugemisega ja jätkata dialooge "otsekohe". Oleme valmis toetama AI/ML reaalajas stsenaariume, kohandades seda teie ettevõtte spetsiifikat, teeme koos prototüüpimist InterSystems IRIS platvormil ning koostame ja viime ellu tehisintellekti ja masinõppe rakendamise teekaardi teie tootmis- ja juhtimisprotsessides. Meie AI/ML ekspertgrupi kontaktmeilisait on MLToolkit@intersystems.com.

Allikas: habr.com