InterSystems IRIS – universaalne reaalajas AI/ML platvorm

Autor: Sergey Luk'yanchikov, konsultant-engineer InterSystems

AI/ML reaalajaotuse väljakutsed

Alustame näidetega InterSystems Data Science praktikast:

• Kliendiportaal, mis on 'koormatud', on ühendatud veebipõhise soovitussüsteemiga. Oodata on reklaamikampaaniate ümberkorraldust jaekaubanduse ulatuses (eeldades, et 'lame' reklaamistrateegia asemel rakendatakse 'segment-taktika' matti). Mis juhtub soovitussüsteemidega? Mis juhtub andmete esitlemise ja ajakohastamisega soovitussüsteemis (sisse tulevate andmete maht on suurenenud 25000 korda)? Mis juhtub soovituste genereerimisega (tugeva vajaduse tõttu filtreerimisreeglite lävedest üheksatuhandekordseks vähendamiseks nende hulga ja 'sortimendi' ühekordse suurenemisega)?
• On olemas seadmete punktide defektide tõenäosuse jälgimise süsteem. Jälgimisse on ühendatud automaatika ja juhtimisprotsess, mis edastab tehnoloogilise protsessi tuhandeid parameetreid iga sekundi järel. Mis juhtub jälgimisse süsteemiga, mis varem töötas 'käsitsi proove' (kas see suudab tagada iga sekundi jälgimise tõenäosust)? Mis juhtub, kui sisendandmetesse tuleb uus plokk, kus on mitu sada veergu andurisensorite näitudega, mis on hiljuti lisatud automaatika ja juhtimisprotsessi (kas peab ja kui kaua jälgimisse süsteemi peatama, et kaasata uusandmete analüüsi)?
• On loodud AI/ML mehhanismide kompleks (soovitavad, jälgimis-, prognoosimismehhanismid), mis kasutavad üksteise töö tulemusi. Kui palju inimtunde on kuus vajalik, et kohandada selle kompleksi tööd sisendandmete muutustega? Mis on kompleksi toetatud juhtimisotsuste tegemise üldine 'aeglustumine' (uuenduste esinemissagedus võrreldes uute sisendandmete ilmumisest)?

Kokkuvõttes nende ja paljude teiste näidete põhjal jõudsime nende väljakutsedeni, mis tekivad üleminekul masinõppe ja tehisintellekti mehhanismide kasutamisele reaalajas:

• Kas oleme rahul AI/ML arenduste kiire loomise ja kohandamise (muutuvate olukordadega) võimalustega meie ettevõttes?
• Kuidas toetavad meie kasutatavad AI/ML-lahendused reaalajas ärijuhtimist?
• Kas meie kasutatavad AI/ML-lahendused suudavad andmete ja ärijuhtimise praktika muutustega iseseisvalt (ilma arendajateta) kohaneda?

Meie artikkel on põhjalik ülevaade InterSystems IRIS platvormi võimalustest AI/ML-mehhanismide rakendamise, AI/ML-lahenduste koostamise (integreerimise) ja AI/ML-lahenduste koolitamise (testimise) osas intensiivsete andmevoogude kaudu. Me käsitleme turu-uuringuid, praktilisi näiteid AI/ML-lahendustest ning kontseptsioonilisi aspekte, mida me selles artiklis nimetame reaalajas AI/ML platvormiks.

Kuidas käituvad reaalajas rakendused vastavalt uuringutele

tulemused näitasid ainult nelja ebaolulise koodibloki kattuvust, mis olid tingitud POSIX ja ANSI C nõuetest. uuringust, mille viis läbi 2019. aastal ettevõte Lightbend umbes 800 IT-professionaali seas, räägib enda eest:

Joonis 1 Reaalajas andmete juhtivad tarbijad

Toome välja meie tõlkes raporti sellele uuringule olulised lõigud:

„… Andmevoogude integreerimisvahendite populaarsuse ja samas konteiners arvutuste toetamise trendid annavad sünergia vastuse turu nõudmisele tõhusamate, ratsionaalsete ja dünaamiliste lahenduste kiirema pakkumise järele. Andmevood võimaldavad teavet edastada kiiremini kui traditsioonilised partiiandmed. Sellele lisandub arvutusmeetodite, nagu näiteks AI/ML-põhised soovitused, kiire rakendamise võimalus, luues konkurentsieeliseid klientide rahulolu tõusu kaudu. Kiiruserežiimi jälitamine mõjutab ka kõiki rolle DevOpsi paradigmas – suurendades rakenduste arendamise ja juurutamise efektiivsust. … Kaheksasaja nelja IT-spetsialisti osas, kes andsid andmeid andmevoogude kasutamise kohta oma organisatsioonides. Vastajad olid peamiselt lääneriikides (41% Euroopas ja 37% Põhja-Ameerikas) ja olid praktiliselt ühtlaselt jaotatud väikeste, keskmiste ja suurte ettevõtete vahel. …

Tehisintellekt ei ole moehullus. Viiskümmend kaheksa protsenti nendest, kes juba kasutavad andmevoogude töötlemist tootmises AI/ML-rakendustes, kinnitavad, et nende rakendamine AI/ML-is saavad järgmisel aastal suurima kasvu (võrreldes teiste rakendustega).

• Enamiku küsitletute arvates saavutab andmevoogude kasutamine AI/ML-scenaarides järgmisel aastal suurima kasvu.
• AI/ML kasutamine kasvab mitte ainult uute stsenaariumide tõttu, vaid ka traditsiooniliste stsenaariumide tõttu, kus reaalajas andmeid rakendatakse üha intensiivsemalt.
• Lisaks AI/ML-ile on kasutajate entusiasmi tase IoT-andmete tuubide osas muljetavaldav - 48% neist, kes on juba IoT-andmeid integreerinud, väidavad, et nende andmete põhjal stsenaariumide elluviimine saab lähitulevikus märkimisväärse kasvu. … »

Sellest üsna huvitavast küsitlusest nähtub, et masinõppe ja tehisintellekti stsenaariumide tajumine andmevoogude tarbimise liidritena on juba „uksel”. Kuid mitte vähem oluline tähelepanek on AI/ML reaalaja tajumine DevOpsi vaatenurgast: siin võib hakata rääkima domineeriva, siiani „ühekordse AI/ML”-kultuuri muutumisest, kus andmed on täielikult kättesaadavad.

AI/ML reaalaja platvormi kontseptsioon

Üks tüüpiline AI/ML reaalaja rakenduse valdkond on tootmisprotsesside juhtimine. Selle näite põhjal ja arvestades varasemaid mõtteid, formuleerime AI/ML reaalaja platvormi kontseptsiooni.
Tehisintellekti ja masinõppe kasutamisel tootmisprotsesside juhtimisel on mitmeid eripära:

• Teabe edastamine tootmisprotsessi olekust toimub intensiivselt: suure sageduse ja laia valiku parameetritega (kuni kümnete tuhandete parameetrite väärtusteni, mis edastatakse sekundis automatiseeritud juhtimisseadmest).
• Defektide tuvastamise andmed, rääkimata nende arenguga seotud andmetest, on seevastu nappide ja ebaregulaarsed ning iseloomustavad defektide tüübi ja nende ajalisuse puudulikkust (tihti on need esitatud paberkandjal).
• Praktilisest vaatepunktist on koolitamiseks ja mudelite rakendamiseks olemas vaid "relevantsi aken" algandmete osas, mis kajastab tehnoloogilise protsessi dünaamikat mõistliku libiseva intervalli jooksul, mis lõpeb viimati loetud protsessi parameetrite väärtustega.

Need omadused sunnivad meid mitte ainult vastu võtma ja töötlema reaalajas intensiivset "laiendab sisendsignaali" tehnoloogilisest protsessist, vaid ka paralleelselt rakendama, koolitama ja kontrollima AI/ML mudelite töö kvaliteeti – samuti reaalajas. See "kaader", mida meie mudelid näevad relevantsi aknas, muutub pidevalt – ja koos sellega muutub ka AI/ML mudelite töö kvaliteet, mis on koolitatud mingi "kaadri" peal minevikus. Kui AI/ML mudelite töö kvaliteet halveneb (näiteks: klassifitseerimise viga "häire-norm" ületab meie määratud piirid), tuleb mudelite täiendkoolitus automaatselt käivitada värskema "kaadri" peal – ja hetk, mil mudelite täiendkoolitus käivitub, peab arvestama nii koolituse kestvust kui ka praeguste mudelite töö kvaliteedi halvenemise dünaamikat (kuna praeguseid mudelite versioone jätkatakse rakendamas, kuni mudelid on koolitatud ja kuni nende "uuesti koolitatud" versioonid on välja töötatud).

InterSystems IRIS omab võtmeplatvormi võimalusi AI/ML lahenduste toetamiseks tehnoloogiliste protsesside haldamisel reaalajas. Need võimalused võib jagada kolme peamisse gruppi:

• Uute või kohandatud olemasolevate AI/ML mehhanismide pidev juurutamine (Continuous Deployment/Delivery, CD) tootmislahendusse, mis töötab reaalajas platvormil InterSystems IRIS.
• Pidev integratsioon (Continuous Integration, CI) terviktootmislahendusena tehnoloogilise protsessi andmevoogude, andmete järjekordade jaoks AI/ML mehhanismide rakendamise/koolitamise/kvaliteedi kontrollimiseks, samuti andmete/koodi/juhtivate mõjutuste vahetamiseks matemaatilise modelleerimise keskkondade vahel, mille sidusprotsesse haldab reaalajas platvorm InterSystems IRIS.
• Pidev tegevus (Continuous Training, CT) AI/ML mehhanismide jaoks toimub matemaatilise mudelimise keskkondades andmete, koodi ja juhtimisotsuste ('tehtud otsused') kasutamise kaudu, edastatuna InterSystems IRIS platvormi kaudu.

Platvormi võimaluste klassifitseerimine masinõppe ja tehisintellekti kontekstis ei ole juhuslik. Tsiteerime metodoloogiat avaldamist Google'i ettevõttest, mis seab selle klassifitseerimise aluse, meie tõlkes:

„… Tänapäeval laialt levinud DevOps kontseptsioon katab suurte info süsteemide arendamise ja haldamise. Selle kontseptsiooni rakendamise eelised on arenduse tsüklite kestuse lühenemine, arenduste juurutamise kiirendamine ja väljaandmise paindlikkuse parendamine. Nende eeliste saavutamiseks eeldab DevOps vähemalt kahe praktika rakendamist:

• Continuous Integration (CI)
• Continuous Delivery (CD)

Need praktid on kohaldatavad ka AI/ML platvormide puhul – tootlike AI/ML lahenduste usaldusväärse ja tõhusa koostamise tagamiseks.

AI/ML platvormid erinevad teistest infosüsteemidest järgmistes aspektides:

• Meeskonna pädevused: AI/ML lahenduse loomisel sisaldab meeskond tavaliselt andmete teadlasi või ‘akadeemilisi’ eksperte andmete uurimise valdkonnas, kes viivad läbi andmeanalüüse, mudelite arendamist ja katsetamist. Need meeskonna liikmed ei pruugi olla professionaalsed tootmisprogrammide arendajad.
• Arendus: AI/ML mehhanismid on oma loomult eksperimentaalsed. Probleemi lahendamiseks kõige tõhusamal viisil tuleb läbi katsetada erinevaid sisendite, algoritmide, modelleerimisviiside ja mudeli parameetrite kombinatsioone. Sellise katsetamise keerukus seisneb 'mis toimis/mis ei töötanud' jälgimises, juhtumite taasesituse tagamises ja arenduste generaliseerimises korduvate rakenduste jaoks.
• Testimine: AI/ML mehhanismide testimine nõuab rohkemate testide spektrit kui enamus teisi arendusi. Lisaks tüüpilistele moodul- ja integratsioonitestidele testitakse andmete kehtivust, mudeli rakendamise tulemuste kvaliteeti õppe- ja kontrollvalimitele.
• Rakendamine: AI/ML-lahenduste rakendamine ei piirdu ennustavate teenustega, mis kasutavad ühekordselt koolitatud mudelit. AI/ML-lahendused ehitatakse mitmeastmeliste torujuhtmete ümber, mis teostavad automatiseeritud mudelite treeningut ja rakendamist. Selliste torujuhtmete rakendamine eeldab keeruliste toimingute automatiseerimist, mida tavalised andeteadlased teevad käsitsi, et võimaldada mudelite treenimist ja testimist.
• Tootlikkus: AI/ML-mootoritel võib olla tootlikkuse puudus mitte ainult ebaefektiivse kodeerimise tõttu, vaid ka pidevalt muutuva sisendandmete iseloomu tõttu. Teisisõnu, AI/ML-mootorite tootlikkus võib halveneda laiemate põhjuste tõttu kui tavaliste arenduste tootlikkus. See toob kaasa vajaduse jälgida (reaalajas) meie AI/ML-mootorite tootlikkust ning saata teateid või kõrvaldada tulemusi, kui tootlikkuse näitajad ei vasta ootustele.

AI/ML-platvormid on sarnased teiste infosüsteemidega selles osas, et nii ühed kui teised vajavad pidevat koodi integreerimist versioonikontrolli, üksikute testimise, integreeritud testimise ja pideva arenduse jaoks. Siiski on AI/ML puhul mitmeid olulisi erinevusi:

• CI (Continuous Integration, pidev integreerimine) ei piirdu enam vaid arendatavate komponentide koodi testimise ja valideerimisega - see hõlmab nüüd ka andmete ja AI/ML-mudelite testimist ja valideerimist.
• CD (Continuous Delivery/Deployment, pidev väljastamine) ei piirdu vaid pakettide või teenuste kirjutamise ja väljastamisega, vaid see hõlmab platvormi AI/ML-lahenduste kokkupanekuks, koolitamiseks ja rakendamiseks.
• CT (Continuous Training, pidev koolitus) - uus element [autori märkus: uus element traditsioonilise DevOpsi kontseptsiooni suhtes, kus CT on tavaliselt pidev testimine], mis on omane AI/ML-platvormidele ja vastutab AI/ML-mudelite treenimise ja rakendamise mehhanismide autonoomse juhtimise eest. …

Saame kinnitada, et masinõpe ja tehisintellekt, töötades reaalajas andmetega, nõuavad laiemat tööriistade ja oskuste komplekti (koodide arendamisest kuni matemaatilise modelleerimise keskkondade orkestreerimiseni), tihedamat integreerimist kõigi funktsionaalsete ja valdkondlike alade vahel ning efektiivsemat inimeste ja masinate ressursside organiseerimist.

Reaalajas stsenaarium: defektide arengu tuvastamine toitepumpades

Jätkates tehnoloogiliste protsesside juhtimise valdkonna näidet, vaatleme konkreetset ülesannet (mida oleme juba alguses maininud): on vajalik tagada reaalajas defektide arengu jälgimine pumpades, tuginedes tehnoloogilise protsessi parameetrite väärtuste voogudele ja remondipersonali aruannetele tuvastatud defektide kohta.

Joonis 2 Ülesande sõnastamine defektide arengu jälgimiseks

Enamikul praktikas selliselt formuleeritud ülesannetest on see eripära, et andmete regulaarne ja kiire saabumine (automaatika- ja ohutussüsteem) peab toimuma defektide erinevate liikide esinemise (ja registreerimise) episoode ja ebaregulaarsust silmas pidades. Teisisõnu: andmed automaatika- ja ohutussüsteemist saabuvad sekundis õigete täpsustega, samas kui defektide kohta tehakse märkmeid keemilise pliiatsiga, märkides kuupäeva ühises köites (näiteks: "12.01 - leke 3. laagri küljest").

Seega saame täiendavalt sõnastada ülesande järgmise olulise piiranguga: "defekti" märge konkreetsest tüübist on meil ainult üks (st konkreetse tüübi defekti näide esindatakse automaatika- ja ohutussüsteemi andmetega kindla kuupäeva jooksul – ja rohkem selle particular tüübi defekte meil ei ole). See piirang viib meid kohe klassikalise masinõppe (juhendatud õppimise) piiridest, mille jaoks peab "märkmeid" olema palju.

Joonis 3 Ülesande täpsustamine defektide arengu jälgimiseks

Kas me saame kuidagi „kopeerida“ meie käsutuses oleval ainulisel „märgil“? Jah, saame. Praegune pumpade seisund on iseloomulik registreeritud defektide sarnasuse astme järgi. Isegi ilma kvantitatiivsete meetodite rakendamiseta, vaadates visuaalset tajumist ja jälgides andmete dünaamikat, mis saabub ASUTP-st, saab juba palju aru.

Joonis 4 Pumba seisundi dünaamika määratud tüüpi defekti „märgiga“

Kuid visuaalne tajumine (vähemalt praegu) ei ole meie kiiresti muutuvas stsenaariumis kõige sobivam „märgivalmistaja“. Me hindame pumpade praeguse seisundi sarnasust registreeritud defektidega statistilise testi abil.

Joonis 5 Statistilise testi rakendamine saabuvatele andmetele määratud tüüpi defekti „märgiga“

Statistiline test määrab tõenäosuse, et tehnoloogilise protsessi parameetrite väärtuste kirjed, mis saadakse ASUTP-st „voo-pakendis“, sarnanevad määratud tüüpi defekti „märgi“ kirjadega. Statistilise testi rakendamise tulemusena arvutatud tõenäosuse väärtus (statistilise sarnasuse indeks) muudetakse väärtuseks 0 või 1, mis muutub iga konkreetse kirje „märgiks“ masinõppe jaoks uuritavas pakendis. See tähendab, et pärast uue paketi pumpade seisundi kirje töötlemist statistilise testi abil saame võimaluse (a) lisada see paket AI/ML mudeli koolitamise õpikogusse ja (b) kontrollida senise mudeli kvaliteeti selle rakendamisel selle paketi suhtes.

Joonis 6 Masinõppemudeli rakendamine saabuvatele andmetele määratud tüüpi defekti „märgiga“

Ühes meie varasemates veebinaridest Me näitame ja selgitame, kuidas InterSystems IRIS platvorm võimaldab igasuguste AI/ML mehhanismide rakendamist pidevalt käivitatavate äriprotsesside kujul, mis kontrollivad modelleerimise tulemuste usaldusväärsust ja kohandavad mudelite parameetreid. Oma pumpade stsenaariumi prototüübi rakendamisel kasutame kogu veebinaris esitatud InterSystems IRIS funktsionaalsust – rakendades meie lahenduse protsessianalüsaatoris mitte klassikalist juhendatud õpet (supervised learning), vaid pigem tugevdusõpet (reinforcement learning), mis automaatselt juhib mudelite õppimise valikut. Õppimise valikusse lisatakse kirjed, mille puhul tekib "detekteerimise konsensus" pärast statistilise testi ja mudeli praeguse versiooni rakendamist – st nii statistiline test (pärast sarnasusindeksi transformatsiooni 0 või 1), kui ka mudel andsid sellistes kirjetes tulemuseks 1. Uue mudeli õppimise korral, selle valideerimisel (uuesti koolitatud mudel rakendatakse oma õppimisvalikule, eelnevalt rakendades sellele statistilist testi), eemaldatakse õppimisvalikust kirjed, mis pärast statistilise testi töötlemist ei andnud tulemust 1 (pideva kohaloleku tõttu õppimisvalikus algse "defekti" märgis esinevatest kirjete hulgast), ja uus mudeli versioon õpib defekti märgist plus nende kirjed, mis

Joonis 7 AI/ML arvutuste robotiseerimine InterSystems IRIS-s

Juhul, kui tekib vajadus nn "teise arvamuse" järele detekteerimise kvaliteedi osas, mida saadakse InterSystems IRIS kohalikes arvutustes, luuakse protsess-nõustaja mudelite õppimise-rakendamise jaoks kontrollkandjatest, kasutades pilveteenuseid (nt Microsoft Azure, Amazon Web Services, Google Cloud Platform jne):

Joonis 8 "Teine arvamus" Microsoft Azure'ist InterSystems IRIS-i orkestreerimise all

Meie stsenaariumi prototüüp InterSystems IRIS-s on välja töötatud analüüsiprotsesside agentide süsteemina, mis suhtlevad seadme objekti (pumba), matemaatilise modelleerimise keskkondade (Python, R ja Julia) ning tagavad kõigi osalevate AI/ML mehhanismide isetäiendamise – reaalajas andmevoogudes.

Joonis 9 Reaalajas AI/ML lahenduse põhifunktsioon InterSystems IRIS-s

Meie prototüübi tööst saadud praktiline tulemus:

• Mudeli tuvastatud defektinäide (12. jaanuar):

• Mudeli tuvastatud arenev defekt, mis ei kuulunud näidisse (11. september, defekt tuvastati remondimeeskonna poolt alles kahe päevaga – 13. septembril):

Reaalsetel andmetel põhinev simuleerimine, mis sisaldas mitmeid sama defekti episoode, näitas, et meie lahendus, mis on välja töötatud InterSystems IRIS platvormil, võimaldab avastada selliste defektide arengut mitmeid päevi enne, kui remondimeeskond neid tuvastab.

InterSystems IRIS – universaalne platvorm AI/ML reaalajas arvutustele

InterSystems IRIS platvorm lihtsustab reaalaja andmetel põhinevate lahenduste arendamist, juurutamist ja haldamist. InterSystems IRIS suudab samal ajal teostada andmete tehingu- ja analüüsiprotsesside töötlemist; toetada sünkroniseeritud andmevaateid mitmete mudelite kohaselt (sh relatiivsuse, hierarhilise, objekti- ja dokumentide puhul); toimida integreerimisplatvormina laia valiku andmeallikate ja rakenduste vahel; pakkuda arenenud analüüsi reaalajas struktureeritud ja struktuurita andmete põhjal. InterSystems IRIS pakub ka mehhanisme välist analüüsitarkvara kasutamiseks ning võimaldab paindlikku pilve- ja kohalike serverite kombinatsiooni.

InterSystems IRIS platvormil rajatud rakendused on kasutusele võetud erinevates valdkondades, aidates ettevõtetel saavutada märkimisväärset majanduslikku kasu strateegilises ja operatiivses plaanis, parandades otsuste tegemise teadlikkust ja kaotades „aukud“ sündmuse, analüüsi ja tegutsemise vahel.

Joonis 10 InterSystems IRIS arhitektuur AI/ML reaalajas kontekstis

Nagu eelmises diagrammis, ühendab alltoodud diagramm uue „koordinaatsüsteemi“ (CD/CI/CT) teabe voogude skeemiga platvormi tööelementide vahel. Visualiseerimine algab makromehhanismist CD ja jätkub makromehhanismidega CI ja CT.

Joonis 11 Teabe voogude skeem AI/ML elementide vahel InterSystems IRIS platvormil

CD mehhanismi olemus InterSystems IRIS-s: platvormi kasutajad (AI/ML-lahenduste arendajad) kohandavad juba olemasolevaid ja/või loovad uusi AI/ML arendusi, kasutades spetsialiseeritud AI/ML koodiredaktorit: Jupyter (täisnimetus: Jupyter Notebook; lühidalt nimetatakse mõnikord ka selle redaktori abil loodud dokumente). Jupyteris on arendajal võimalus kirjutada, testida ja veenduda, et konkreetne AI/ML arendus töötab (sh graafika kasutamise võimalus), enne kui see paigaldatakse („deploy“). Selge on, et sellisel viisil loodud uus arendus saab vaid baastasemel testimise (kuna Jupyter ei toeta reaalaegseid andmevooge) – see on tavaline, kuna Jupyteri arenduse peamine tulemus on konkreetse AI/ML mehhanismi toimivuse kinnitamine („näitab oodatud tulemust andmekogumil“). Samuti võib juba platvormile paigaldatud mehhanism (vt järgmisi makromehhanisme) enne debugeerimist Jupyteris vajada „tagasiviimist“ „platvormieelsesse“ olekusse (andmete lugemine failidest, andmetega töötamine xDBC kaudu, otsekontakt globaalidega – InterSystems IRIS hulgitabelitega andmete massiivid jne).

Oluline aspekt CD rakendamisel just InterSystems IRIS-s: platvormi ja Jupyteri vahel on rakendatud kahepoolne integreerimine, mis võimaldab platvormi importida (ja hiljem platvormis töödelda) sisu Python, R ja Julia keeltes (kõik kolm on programmeerimiskeeled vastavates juhtivates avatud lähtekoodiga matemaatilise modelleerimise keskkondades). Seega on AI/ML sisu arendajatel võimalus teostada selle sisu „katkestamatut rakendamist“ platvormil, töötades harjumuspärases Jupyteri redaktoris, koos harjumuspäraste raamistikudega, mis on saadaval Pythonis, R-is, Julian ja tehes baastasemel testimise (vajadusel) väljaspool platvormi.

Liigume edasi CI makromehanismi juurde InterSystems IRIS-is. Diagraamil on kujutatud reaalajas robotite makroprotsessi töö (andmestruktuuride, äri protsesside ja nende koordineeritud koodifragmente, mille keel on matemaatikakeskkonna ja ObjectScript - InterSystems IRIS-i natiivne arenduskeel). Selle makroprotsessi ülesanne on toetada AI/ML-mehhanismide tööks vajalikke andmevoogude järjekordi (põhinedes reaalajas platvormile edastatavale andmevoole), teha otsuseid AI/ML-mehhanismide (mida nimetatakse ka

CI rakendamise oluline aspekt just InterSystems IRIS-is: platvormi ja matemaatilise modelleerimise keskkondade vahel on loodud kahepoolne integratsioon, mis võimaldab täita platvormil asuva sisu koosnevatest keeltest Python, R ja Julia nende vastavates keskkondades, saades tagasi täitmise tulemused. See integratsioon on rakendatud nii 'terminalirežiimis' (st AI/ML-sisu formuleeritakse ObjectScript-koodina, mis kutsub esile matemaatiliste keskkondade funktsioone), kui ka 'äri protsessi režiimis' (st AI/ML-sisu formuleeritakse äri protsessina graafilise redaktori abil või mõnikord Jupyteri või IDE-de - IRIS Studio, Eclipse, Visual Studio Code - abil). Äri protsesside kättesaadavus redigeerimiseks Jupyteris on peegeldatud IRIS-i CI taseme ja Jupyteri CD taseme vahelise sideme kaudu. Üksikasjalikum ülevaade matemaatiliste modelleerimise keskkondade integreerimisest esitatakse hiljem. Praegu on meie arvates kõik põhjused, et fikseerida platvormil kõigi vajalike tööriistade olemasolu AI/ML lahenduste 'neutraalsete integreerimise' teostamiseks (mis tulenevad 'neutraalsetest rakendustest') reaalaja AI/ML lahendustesse.

Ja peamine makro-mehhanism: CT. Ilma selleta ei saa AI/ML platvorme luua (kuigi "reaalne aeg" rakendatakse läbi CD/CI). CT olemus on platvormi töö "masinõppe" ja "tehisintellekti" artefaktidega otse matemaatilise modelleerimise keskkondades: mudelite, jaotustabelite, vektormaatrikate, närvivõrkude kihtide jne. Loodud töö, enamikul juhtudel, seisneb mainitud artefaktide loomises keskkondades (näiteks mudelite puhul "loomine" koosneb mudeli spetsifikatsiooni määramisest ja järgnevast parameetrite väärtuste valimisest - nn mudeli "õpetamisest"), nende rakendamises (mudelite puhul: mudelipõhiste sihtmuutujate väärtuste arvutamine - ennustused, kategooriasse kuuluvus, sündmuse tõenäosus jne) ja juba loodud ja rakendatud artefaktide täiustamises (näiteks mudeli sisendmuutujate komplekti ümberdefineerimine rakendamise tulemuste põhjal - prognoosimise täpsuse suurendamise eesmärgil). CT rolli mõistmise peamine punkt on selle „abstraheeritus“ CD ja CI reaalsustest: CT rakendab kõik artefaktid, juhindudes AI/ML lahenduse arvutuslikest ja matemaatilistest spetsiifikatest vastavalt konkreetsete keskkondade pakutud võimalustele. Vastutuse "sisendite pakkumise" ja "tulemuste edastamise" eest kannavad CD ja CI.

CT rakendamise oluline aspekt InterSystems IRISIS: kasutades juba mainitud integreerimist matemaatilise modelleerimise keskkondadega, on platvormil võimalus tuua välja tööseanssidest, mis toimuvad selle halduses matsekkondades, need samad artefaktid ja (mis kõige tähtsam) muuta need platvormi andmeobjektideks. Näiteks, jaotustabel, mis just hetk tagasi loodi Pythonis töötavas seansis, saab (ilma seansi katkestamiseta Pythonis) tuua platvormile näiteks globaalses vormis (multidimensionaalne andmevorm InterSystems IRIS) – ja kasutada neid arvestustes teises AI/ML-mekhanismis (realiseeritud juba teise keskkonna keeles – näiteks R) – või virtuaaltabelina. Teine näide: paralleelselt mudeli „töörutiiniga“ (Pythonis töötavas seansis) toimub selle sisendandmetel „auto-ML”: automaatne optimaalse sisendmuutujate ja parameetrite väärtuste valik. Ja koos „tavalise” õppimisega saab tootlik mudel reaalajas ka „optimeerimisettepaneku” oma spetsifikatsiooni – milles muutub sisendmuutujate kogum, muutuvad parameetrite väärtused (juba mitte Pythonis õppimise tulemuse tulemusena, vaid „väärikuse” versiooni tulemuse tulemusena, näiteks H2O virnas), võimaldades üldisel AI/ML lahendusel iseseisvalt toime tulla ettenägematute muutustega sisendandmete ja modelleeritud nähtuste iseloomes.

Tutvume InterSystems IRIS platvormi AI/ML funktsionaalsusega lähemalt reaalselt olemasoleva prototüübiga.

Allpool esitatud diagrammil, slaidi vasakus osas – osa äriprotsessist, mis implementeerib skriptide töötlemist Pythonis ja R-is. Keskosas – visuaalsed logid nende skriptide täitmisest, vastavalt Pythonis ja R-is. kohe nende järel – sisu näited mõlemal keelel, mis on edastatud täitmiseks vastavatesse keskkondadesse. Paremas servas – visualiseerimised, mis põhinevad skriptide täitmise tulemustel. Ülemised visualiseerimised on tehtud IRIS Analytics'iga (andmed on võetud Pythonist andmeplatvormi InterSystems IRIS ja edastatud juhtpaneelile platvormi vahenditega), alumised – on loodud otse R-i tööseansis ja edastatud sealt graafikafailidena. Oluline aspekt: esitatud fragment prototüübis on vastutav mudeli õppimise (seadmestiku olekute klassifitseerimine) eest reaalajas andmetest, mis tulevad seadme simulaatori protsessist, kvaliteedi klassifitseerimise jälgimise protsessi käsu järgi, mida jälgitakse mudeli rakendamise käigus. AI/ML lahenduse implementeerimisest interaktiivsete protsesside ('agentide') komplektina räägitakse edaspidi.

Joonis 12 InterSystems IRIS-s Pythoniga, R-iga ja Juliaga suhtlemine

Platvormi protsessid (need on ka 'äri protsessid', 'analüütilised protsessid', 'torud' jne – olenevalt kontekstist) on peamiselt redigeeritavad platvormi äriprotsesside graafilises redigeerijas, nii et luuakse samaaegselt nii selle blokkskeem kui ka vastav AI/ML mehhanism (programmeerimiskood). Räägides sellest, et 'saame AI/ML mehhanismi', eeldame algselt hübriidsust (ühe protsessi raames): sisu matemaatilise modelleerimise keskkondade keeltes kooseksisteerib SQL (sh, laiendustega) IntegratedML), InterSystems ObjectScriptis, koos teiste toetatud keeltega. Veelgi enam, platvormi protsess pakub väga laia valikut võimalusi 'joonistamiseks' hierarhiliselt sisestatud fragmentidena (nagu on näha alloleval diagrammil), mis võimaldab tõhusalt korraldada isegi üsna keerulist sisu, mitte kunagi 'välja kukkuda' visuaalsest formaadist (näiteks 'mitte-visuaalsed' meetodid/klassid/protseduurid jne). See tähendab, et vajadusel (mida võidakse eeldada enamikus projektides) võib kõik AI/ML-lahendus täiesti rakenduda graafilises ise-dokumenteerivas formaadis. Pöörame tähelepanu sellele, et alloleva diagrammi keskosas, kus esitatakse kõrgem 'sisestamise tase', on nähtav, et peale mudeli koolitamise töö (Python ja R abil) lisandub nn ROC-kõverate analüüs koolitatud mudelist, mis võimaldab visuaalselt (ja ka arvutuslikult) hinnata koolituse kvaliteeti – ning see analüüs on teostatud Julia keeles (täidetakse vastavalt Julia matemaatilises keskkonnas).

Joonis 13 AI/ML-lahenduste visuaalne koostamise keskkond InterSystems IRIS-is

Nagu juba varem mainitud, toimub algne arendamine ja (teatud juhtudel) juba platvormil rakendatud AI/ML-mehhanismide kohandamine väljaspool platvormi Jupyteri redigeerijas. Alloleval diagrammil näeme olemasoleva platvormi protsessi kohandamise näidet (sama, mis ülaltoodud diagrammil) – nii näeb Jupyteris välja see fragment, mis vastutab mudeli koolitamise eest. Python keeles sisu on saadaval redigeerimiseks, tõrkeotsimiseks, graafika väljundiks otse Jupyteris. Vajadusel muudatused võivad toimuda kohese sünkroniseerimisega platvormi protsessis, sealhulgas selle tootmisversioonis. Sama kujul võib platvormi edastada ka uue sisu (automaatne uue platvormi protsessi loomine).

Joonis 14 Jupyter Notebooki rakendamine AI/ML-mehhanismi redigeerimiseks InterSystems IRIS platvormil

Platvormi protsessi kohandamine võib toimuda mitte ainult graafilises või sülearvutiversioonis, vaid ka ‘kogu’ IDE (Integreeritud Arenduskeskkond) vormingus. Sellisteks IDE-deks on IRIS Studio (natiivne IRIS stuudio), Visual Studio Code (InterSystems IRIS laiend VSCode'ile) ja Eclipse (Atelier pistikprogramm). Teatud juhtudel on võimalik, et arendajate meeskond kasutab samaaegselt kõiki kolme IDE-d. Alloleval diagrammil on näidatud näide sama protsessi redigeerimisest IRIS stuudios, Visual Studio Code'is ja Eclipse'is. Redigeerimiseks on saadaval kogu sisu: nii Python/R/Julia/SQL, ObjectScript kui ka äriprotsess.

Joonis 15 InterSystems IRIS äri protsessi arendamine erinevates IDE-des

Erilist tähelepanu väärivad InterSystems IRIS äri protsesside kirjeldamise ja täitmise vahendid Business Process Language (BPL) keeles. BPL võimaldab kasutada äri protsessides ‘valmis integratsioonikomponente’ (activities) – see annab täielikud põhjused väita, et InterSystems IRIS-is on rakendatud ‘katkestusteta integreerimist’. Äri protsessi valmis komponendid (aktiivsus ja nendevahelised seosed) on võimas akseleratsioon AI/ML lahenduste kogumise jaoks. Ja mitte ainult kogumise jaoks: tänu aktiivsusele ja nendevahelistele seostele tekib erinevate AI/ML arenduste ja mehhanismide üle ‘iseseisev juhtimislapik’, mis suudab teha otsuseid vastavalt olukorrale reaalajas.

Joonis 16 Valmis äri protsesside komponendid katkematuks integreerimiseks (CI) InterSystems IRIS platvormil

Agendi süsteemide kontseptsioon (niinimetatud ‘mitmeagendi süsteemid’) on tugevas positsioonis robotiseerimises ning InterSystems IRIS platvorm toetab seda orgaaniliselt läbi ‘toote-protsessi’ konstruktsiooni. Lisaks piiramatu võimalusega ‘täita’ iga protsessi vajaliku funktsionaalsusega üldise lahenduse jaoks, annab platvormi protsesside süsteemile ‘agentsuse’ omaduse loomine võimaluse luua tõhusad lahendused äärmiselt ebastabiilsete modelleeritud nähtuste jaoks (sotsiaalsete/bioloogiliste süsteemide käitumine, osaliselt jälgitavad tehnoloogilised protsessid jne).

Joonis 16 AI/ML lahenduse toimimine agendi süsteemi kujul äri protsessides InterSystems IRIS-is

Jätkame meie ülevaadet InterSystems IRIS'ist, rääkides platvormi rakenduslikest kasutusvõimalustest reaalaegsete probleemide lahendamiseks (üksikasjalik tutvustus mõningate parimate platvormi AI/ML praktikate kohta InterSystems IRIS'iga leidub ühes meie varasemas artiklis). veebinaridest).

Järgmine diagramm, mis järgneb eelmisele, esitleb täiendavat ülevaadet agentide süsteemist. Diagrammil on kujutatud sama prototüüpi, kus on nähtavad kõik neli agent-protsessi ning nendevahelised seosed: GENERATOR – genereerib andmeid seadmete kaudu, BUFFER – haldab andmete järjekordi, ANALYZER – teostab masinõpet, MONITOR – jälgib masinõppe kvaliteeti ja annab märku, kui mudeli uuendamine on vajalik.

Joonis 17 AI/ML lahenduse koostisosad agentide süsteemina äriprotsessides InterSystems IRIS'is.

Järgneval diagrammil on illustreeritud juba teise robotiseeritud prototüübi autonoomne töö (teksti emotsionaalse tooni tuvastamine) teatud aja jooksul. Ülal - mudeli õppe kvaliteedi arengu näitaja (kvaliteet tõuseb), all - mudeli kasutamise kvaliteedi dünaamika ning uuesti õppimise faktid (punased ribad). Nagu näha, on lahendus efektiivselt ja autonoomselt ise õppinud ning töötab ettenähtud kvaliteeditasemel (kvaliteedi näitaja väärtused ei lange alla 80%).

Joonis 18 Jätkuv (ise-)õppimine (CT) platvormil InterSystems IRIS

Meie oleme varem maininud ka "auto-ML"-i, kuid allpool esitatud diagrammil on selle funktsiooni rakendus detailides näidatud veel ühe prototüübi näitel. Graafikul on kujutatud äri protsessi fragment, mis käivitab modelleerimise H2O kogumis, samuti on toodud selle modelleerimise tulemused (saadud mudeli selge ülekaal "kunstlikest" mudelitest, vastavalt ROC-kõverate võrdludiagrammile, ja automatiseeritud "mõjusate muutujate" tuvastamine saadaval olevast andmestikust). Oluline on, et "auto-ML" abil saavutatakse ajakulu ja ekspertiisi ressursside kokkuhoid: see, mida meie platvormi protsess teeb poole minutiga (optimaalsete mudelite leidmine ja treenimine), võib ekspertidel võtta nädalast kuuni.

Joonis 19 "Auto-ML" integreerimine AI/ML lahendusse InterSystems IRIS platvormil

Allpool olev diagramm võib veidi "tipptaset segada", kuid see on hea lõppkokkuvõtte variant reaalajas lahendatavate ülesannete klasside kohta: me meenutame, et hoolimata InterSystems IRIS platvormi kõikidest võimalustest ei ole mudelite õpetamine selle juhtimise all kohustuslik. Platvorm võib saada väljastpoolt nii-öelda PMML-spetsifikatsiooni mudelist, mis on treenitud tööriistas, mis ei allu platvormile – ja rakendada seda mudelit reaalajas alates selle impordist. PMML-spetsifikatsioonid. Oluline on arvestada, et kõik AI/ML artefaktid ei pruugi olla vähendatud PMML-spetsifikatsioonile, isegi kui enamikul kõige levinumatest artefaktidest on see võimalik. Seega on InterSystems IRIS platvormil "avatud kontuur" ja see ei tähenda "platvormi orjuse" olemasolu kasutajatele.

Joonis 20 "Auto-ML" integreerimine AI/ML lahendusse InterSystems IRIS platvormil

Loetleme InterSystems IRIS täiendavad platvormi eelised (kuid mitte ainult), mis on olulised reaalajas tehisintellekti ja masinõppe automatiseerimisel:

• Küpsed integreerimisvahendid igasuguste andmeallikate ja -tarbijatega (ASUTP/SCADA, seadmed, hooldus ja remont, ERP jne)
• Sisseehitatud multimudelne andmebaasisüsteem kõrge jõudlusega tehingute-analüüsiga töötlemiseks (Hybrid Transaction/Analytical Processing, HTAP) mis tahes andmemahtude tehnoloogiliste protsesside jaoks
• Arendustooted AI/ML lahenduste pidevaks juurutamiseks reaalajas, põhinedes Pythonil, R-l, Julian
• Kohandatavad äri protsessid AI/ML lahenduste reaalajas pidevaks integreerimiseks ja (ise-)õppimiseks
• Sisseehitatud Business Intelligence vahendid tehnoloogiliste protsesside andmete visualiseerimiseks ja AI/ML lahenduste töö tulemuste kuvamiseks
• API haldamine AI/ML lahenduste tulemuste edastamine ASUTP/SCADA, teabeanalüüsi süsteemidesse, teavituste saatmisse jne.

AI/ML lahendused InterSystems IRIS platvormil sobivad hästi olemasolevasse IT-infrastruktuuri. InterSystems IRIS platvorm tagab AI/ML lahenduste kõrge usaldusväärsuse, toetades vigade taluvust ja katsetaluvust, ning paindlikku juurutamist virtuaalsetes keskkondades, füüsilistel serveritel, privaatsetes ja avalikes pilvedes, Docker konteinerites.

Seega on InterSystems IRIS universaalne reaalaja AI/ML arvutuste platvorm. Meie platvormi universaalsust kinnitab praktikas de facto piirangute puudumine juurutatavate arvutuste keerukusele, võimalus InterSystems IRIS-il koondada (reaalajas) erinevate valdkondade skriptide töötlemist, samuti erakordne kohandatavus kõigi platvormi funktsioonide ja mehhanismide osas vastavalt kasutajate spetsiifilistele vajadustele.

Joonis 21 InterSystems IRIS – universaalne reaalaja AI/ML arvutuste platvorm

Kuna oleme huvitatud meie lugejatest, kes said siinkohal esitatud materjali, soovitame mitte piirata end selle lugemisega ja jätkata dialooge "elu". Oleme valmis aitama koostada reaalaja AI/ML stsenaariumide määratlemisel, mis on kohandatud teie ettevõtte eripäradele, teostama koostööd prototüüpimisega InterSystems IRIS platvormil, koostama ja ellu viima tehisintellekti ja masinõppe rakendamise teekaarti teie tootmis- ja juhtimisprotsessides. Meie AI/ML ekspertide grupi kontaktmeiliaadress – MLToolkit@intersystems.com.

Allikas: habr.com