InterSystems IRIS on universaalne reaalajas AI/ML platvorm

Autor: Sergei Lukjantšikov, InterSystemsi nõustamisinsener

Reaalajas AI/ML-arvutuskõned

Alustame näidetega InterSystemsi andmeteaduse praktikast:

• Laaditud ostjaportaal on ühendatud veebipõhise soovitussüsteemiga. Jaemüügivõrgus toimuvad reklaamid ümberkorraldamisel (näiteks "lameda" reklaamirea asemel kasutatakse nüüd "segmendi-taktika" maatriksit). Mis juhtub soovitusmootoritega? Mis saab soovitusmootorisse andmete esitamisest ja uuendamisest (sisendandmete maht on kasvanud 25000 XNUMX korda)? Mis saab soovituste väljatöötamisest (vajadus vähendada soovitusreeglite filtreerimisläve tuhandekordselt nende arvu ja “vahemiku tuhandekordse suurenemise tõttu”)?
• Seadme komponentides defektide tekkimise tõenäosuse jälgimiseks on olemas süsteem. Seiresüsteemiga ühendati automatiseeritud protsessijuhtimissüsteem, mis edastas igas sekundis tuhandeid tehnoloogilise protsessi parameetreid. Mis saab seiresüsteemist, mis varem töötas "käsitsi proovide" peal (kas see on võimeline tagama sekund-sekundilise tõenäosusseire)? Mis juhtub, kui sisendandmetesse ilmub uus mitmesajast veerust koosnev plokk protsessijuhtimissüsteemi hiljuti lisatud andurite näitudega (kas ja kui kaua on vaja seiresüsteemi seisata uute andurite andmete analüüsi kaasamiseks )?
• Loodud on AI/ML mehhanismide komplekt (soovitamine, monitooring, prognoosimine), mis kasutavad üksteise töö tulemusi. Mitu töötundi kulub kuus selle kompleksi töö kohandamiseks sisendandmete muutustega? Mis on üldine "aeglustumine", kui seda toetab juhtimisotsuste tegemise kompleks (uue toetava teabe esinemissagedus selles võrreldes uute sisendandmete esinemise sagedusega)?

Neid ja paljusid teisi näiteid kokku võttes oleme jõudnud nende väljakutsete sõnastamiseni, mis tekivad masinõppe ja tehisintellekti mehhanismide reaalajas kasutamisele üleminekul:

• Kas oleme rahul AI/ML arenduste loomise ja (muutuva olukorraga) kohandamise kiirusega meie ettevõttes?
• Kui palju meie kasutatavad AI/ML-lahendused toetavad reaalajas ärijuhtimist?
• Kas meie kasutatavad AI/ML-lahendused suudavad iseseisvalt (ilma arendajateta) kohaneda andmete ja ärijuhtimise tavade muutustega?

Meie artikkel on põhjalik ülevaade InterSystems IRIS platvormi võimalustest seoses AI/ML mehhanismide juurutamise universaalse toega, AI/ML lahenduste kokkupanemisega (integreerimisega) ja AI/ML lahenduste treenimisega (testimisega) intensiivsel alal. andmevoogusid. Selles artiklis käsitleme turu-uuringuid, AI/ML-lahenduste juhtumiuuringuid ja kontseptuaalseid aspekte, mida me nimetame reaalajas AI/ML-platvormiks.

Mida me küsitlustest teame: reaalajas rakendused

Järeldused küsitlusLightbendi poolt 800. aastal ligi 2019 IT-spetsialisti seas läbi viidud, räägivad enda eest:

Joonis 1 Reaalajas andmete juhtivad tarbijad

Tsiteerigem meie tõlkes selle uuringu tulemusi käsitleva aruande olulisi fragmente:

"... Andmevoogude integreerimise tööriistade populaarsuse suundumused ja samal ajal konteinerites andmetöötluse toetamine annavad sünergilise vastuse turu nõudele reageerida paremini, ratsionaalsemalt ja dünaamilisemalt tõhusate lahenduste kohta. Voogandmeside edastab teavet kiiremini kui tavaline pakettandmeside. Sellele lisandub võimalus kiiresti rakendada arvutusmeetodeid, nagu näiteks AI/ML-põhised soovitused, luues konkurentsieelised läbi klientide suurenenud rahulolu. Võidujooks agility pärast mõjutab ka kõiki DevOpsi paradigma rolle – muudab rakenduste arendamise ja juurutamise tõhusamaks. … Kaheksasada neli IT-spetsialisti andsid teavet andmevoogude kasutamise kohta oma organisatsioonides. Vastajad asusid valdavalt lääneriikides (41% Euroopas ja 37% Põhja-Ameerikas) ning jagunesid peaaegu ühtlaselt väikeste, keskmiste ja suurte ettevõtete vahel. ...

... Tehisintellekt ei ole hype. XNUMX protsenti neist, kes juba kasutavad andmevootöötlust tootlikes AI/ML-i rakendustes, kinnitavad, et nende tehisintellekti/ML-i kasutamine kasvab järgmisel aastal (võrreldes teiste rakendustega).

• Enamiku vastanute arvates kasvab andmevoogude kasutamine AI/ML stsenaariumides järgmisel aastal suurimat kasvu.
• AI/ML-i rakendused ei kasva mitte ainult suhteliselt uut tüüpi stsenaariumide tõttu, vaid ka traditsiooniliste stsenaariumide tõttu, mille puhul kasutatakse üha enam reaalajas andmeid.
• Lisaks tehisintellektile/ML-ile on IoT andmetorude kasutajate entusiasmi tase muljetavaldav – 48% inimestest, kes on juba asjade interneti andmeid integreerinud, ütlevad, et stsenaariumide rakendamine nendel andmetel kasvab lähitulevikus märkimisväärselt. ..."

Sellest üsna huvitavast uuringust on selge, et masinõppe ja tehisintellekti stsenaariumide tajumine andmevoogude tarbimise liidritena on juba "teel". Kuid sama oluline tähelepanek on reaalajas tehisintellekti/ML-i tajumine läbi DevOpsi objektiivi: siin saame juba hakata rääkima endiselt domineeriva kultuuri „ühekordse kasutusega AI/ML täielikult ligipääsetava andmestikuga” muutumisest.

Reaalajas AI/ML platvormi kontseptsioon

Üks reaalajas tehisintellekti/ML-i tüüpiline rakendusvaldkond on protsessi juhtimine tootmises. Tema eeskujul ja eelnevaid mõtteid arvesse võttes sõnastame reaalajas tehisintellekti/ML-i platvormi kontseptsiooni.
Tehisintellekti ja masinõppe kasutamisel protsessi juhtimisel on mitmeid funktsioone:

• Andmeid tehnoloogilise protsessi oleku kohta võetakse vastu intensiivselt: kõrge sagedusega ja paljude parameetrite jaoks (protsessijuhtimissüsteemist edastatakse sekundis kuni kümneid tuhandeid parameetriväärtusi)
• Andmed defektide tuvastamise kohta, rääkimata andmetest nende arengu kohta, on vastupidi napid ja ebaregulaarsed, mida iseloomustab defektide ebapiisav tüpiseerimine ja nende ajaline lokaliseerimine (sageli esindatud paberkandjal)
• Praktilisest vaatenurgast on mudelite koolitamiseks ja rakendamiseks saadaval ainult lähteandmete "asjakohasuse aken", mis peegeldab tehnoloogilise protsessi dünaamikat mõistliku libiseva intervalli jooksul, mis lõpeb protsessi parameetrite viimaste lugemisväärtustega.

Need funktsioonid sunnivad meid lisaks tehnoloogilisest protsessist pärineva intensiivse "lairiba sisendsignaali" vastuvõtmisele ja põhitöötlemisele reaalajas teostama (paralleelselt) tehisintellekti tulemuste rakendamist, koolitust ja kvaliteedikontrolli. ML mudelid – ka reaalajas. “Kaader”, mida meie mudelid asjakohasuse libisevas aknas “näevad”, muutub pidevalt – koos sellega muutub ka varem ühel “kaadril” treenitud AI/ML mudelite töö tulemuste kvaliteet. . Kui AI/ML mudelite töö tulemuste kvaliteet halveneb (näiteks: häirenormi klassifitseerimisvea väärtus on väljunud meie poolt määratletud piiridest), tuleks automaatselt käivitada mudelite lisakoolitus ajakohasem "raam" - ja mudelite lisakoolituse käivitamise hetke valikul tuleks arvestada koolituse enda kestusega ja mudelite praeguse versiooni töökvaliteedi halvenemise dünaamikaga (alates mudelite praeguste versioonide kasutamist jätkatakse mudelite koolitamise ajal ja kuni nende "äsja koolitatud" versioonide moodustamiseni).

InterSystems IRIS-il on peamised platvormi võimalused, mis võimaldavad AI/ML-lahendusi reaalajas protsesside juhtimiseks. Need võimalused võib jagada kolme põhirühma:

• Uute või kohandatud olemasolevate AI/ML mehhanismide pidev juurutamine (pidev juurutamine/tarnimine, CD) tootlikuks lahenduseks, mis töötab reaalajas InterSystems IRIS platvormil
• Pidev integreerimine (CI) ühtseks produktiivseks lahenduseks sissetulevatest tehnoloogiliste protsesside andmevoogudest, andmejärjekordadest AI/ML mehhanismide rakendamiseks/koolitamiseks/kvaliteedikontrolliks ning andmete/koodi/juhtimistoimingute vahetamiseks matemaatiliste modelleerimiskeskkondadega, mis on reaalajas korraldatud platvorm InterSystems IRIS
• AI/ML mehhanismide pidev (enese)koolitus (Continuous Training, CT), mida teostatakse matemaatilise modelleerimise keskkondades, kasutades InterSystems IRIS platvormi poolt edastatud andmeid, koodi ja juhtimistoiminguid ("tehtud otsused").

Masinõppe ja tehisintellektiga seotud platvormi võimaluste liigitamine just nendesse rühmadesse ei ole juhuslik. Tsiteerime metoodikat väljaanne Google, mis annab selle klassifikatsiooni kontseptuaalse aluse, meie tõlkes:

“... Tänapäeval populaarne DevOpsi kontseptsioon hõlmab suuremahuliste infosüsteemide arendamist ja käitamist. Selle kontseptsiooni rakendamise eelisteks on arendustsüklite kestuse lühenemine, arenduste kiirem kasutuselevõtt ja paindlikkus väljalaske planeerimisel. Nende eeliste saavutamiseks hõlmab DevOps vähemalt kahe praktika rakendamist.

• Pidev integreerimine (CI)
• Pidev kohaletoimetamine (CD)

Need tavad kehtivad ka AI/ML platvormide puhul, et tagada tootlike AI/ML lahenduste usaldusväärne ja toimiv kokkupanek.

AI/ML platvormid erinevad teistest infosüsteemidest järgmiste aspektide poolest:

• Meeskonna pädevused: AI/ML lahenduse loomisel kuuluvad meeskonda tavaliselt andmeteadlased või andmeuuringute valdkonna “akadeemilised” eksperdid, kes viivad läbi andmeanalüüsi, arendavad ja testivad mudeleid. Need meeskonnaliikmed ei pruugi olla professionaalsed produktiivsed koodiarendajad.
• Arendus: AI/ML mootorid on oma olemuselt eksperimentaalsed. Probleemi kõige tõhusamaks lahendamiseks on vaja läbida erinevad sisendmuutujate, algoritmide, modelleerimismeetodite ja mudeli parameetrite kombinatsioonid. Sellise otsingu keerukus seisneb „mis toimis/mitte töötanud“ jälgimises, episoodide reprodutseeritavuse tagamises, arenduste üldistamises korduvate juurutuste jaoks.
• Testimine: AI/ML-mootorite testimine nõuab laiemat valikut teste kui enamik teisi arendusi. Lisaks standardsetele ühiku- ja integratsioonitestidele testitakse andmete kehtivust ning mudeli rakendamise tulemuste kvaliteeti koolitus- ja kontrollproovidele.
• Juurutamine: AI/ML-lahenduste juurutamine ei piirdu ennustamisteenustega, mis kasutavad kord väljaõppinud mudelit. AI/ML lahendused on üles ehitatud mitmeastmeliste torujuhtmete ümber, mis teostavad automatiseeritud mudelikoolitust ja -rakendust. Selliste torujuhtmete kasutuselevõtt hõlmab mittetriviaalsete toimingute automatiseerimist, mida andmeteadlased traditsiooniliselt käsitsi teevad, et mudeleid koolitada ja katsetada.
• Tootlikkus: AI/ML mootorite tootlikkus võib puududa mitte ainult ebaefektiivse programmeerimise, vaid ka sisendandmete pideva muutumise tõttu. Teisisõnu, AI/ML mehhanismide jõudlus võib halveneda mitmel erineval põhjusel kui tavapäraste arenduste toimivus. Mis toob kaasa vajaduse jälgida (veebis) meie AI/ML mootorite toimimist, samuti saata hoiatusi või tulemusi tagasi lükata, kui jõudlusnäitajad ei vasta ootustele.

AI/ML platvormid on sarnased teiste infosüsteemidega selle poolest, et mõlemad nõuavad pidevat koodi integreerimist versioonikontrolliga, üksuste testimist, integratsiooni testimist ja pidevat arenduste juurutamist. AI/ML puhul on aga mitmeid olulisi erinevusi:

• CI (Continuous Integration) ei piirdu enam juurutatud komponentide koodi testimise ja valideerimisega – see hõlmab ka andmete ja AI/ML mudelite testimist ja valideerimist.
• CD (Continuous Delivery/Deployment, pidev juurutamine) ei piirdu pakettide või teenuste kirjutamise ja vabastamisega, vaid eeldab platvormi AI/ML-lahenduste koostamiseks, koolitamiseks ja rakendamiseks.
• CT (Continuous Training, pidev treening) on ​​uus element [ca. artikli autor: uus element seoses traditsioonilise DevOpsi kontseptsiooniga, milles CT on reeglina pidev testimine], mis on omane AI/ML platvormidele ja vastutab AI treenimise ja rakendamise mehhanismide autonoomse juhtimise eest /ML mudelid. ..."

Võime väita, et reaalajas andmetel töötav masinõpe ja tehisintellekt nõuavad laiemat tööriistade ja pädevuste komplekti (alates koodiarendusest kuni matemaatiliste modelleerimiskeskkondade orkestreerimiseni), tihedamat integratsiooni kõigi funktsionaalsete ja ainevaldkondade vahel, inim- ja töökeskkonna tõhusamat organiseerimist. masinaressursse.

Reaalajas stsenaarium: toitepumpade defektide arengu äratundmine

Protsessi juhtimispiirkonna näitena kasutamist jätkates kaaluge konkreetset probleemi (meie alguses juba mainisime): peame tagama pumpade defektide arengu reaalajas jälgimise protsessiparameetrite väärtuste voolu põhjal. ja remonditöötajate aruanded tuvastatud defektide kohta.

Joonis 2 Probleemide sõnastus defektide arengu jälgimiseks

Enamiku praktikas sel viisil püstitatud ülesannete eripäraks on see, et andmete vastuvõtmise (APCS) regulaarsust ja tõhusust tuleb vaadelda erinevat tüüpi defektide episoodilise ja ebaregulaarse esinemise (ja registreerimise) taustal. Ehk siis: andmed protsessijuhtimissüsteemist saabuvad kord sekundis, õiged ja täpsed ning defektide kohta tehakse keemilise pliiatsiga märkmed kuupäeva näitamisega töökojas üldisesse vihikusse (näiteks: “12.01 – lekib kaanesse 3. laagri küljelt”).

Seega saame probleemi sõnastust täiendada järgmise olulise piiranguga: meil on ainult üks kindlat tüüpi defekti “silt” (st konkreetset tüüpi defekti näidet esindavad protsessi juhtimise andmed süsteem konkreetsel kuupäeval – ja meil pole rohkem näiteid seda tüüpi defektide kohta). See piirang viib meid kohe väljapoole klassikalise masinõppe (supervised learning) ulatust, mille jaoks peaks olema palju silte.

Joonis 3 Defektide arengu jälgimise ülesande täpsustus

Kas me saame kuidagi "korrutada" meie käsutuses olevat ainsat "silti"? Jah me saame. Pumba hetkeseisundit iseloomustab registreeritud defektidega sarnasus. Isegi ilma kvantitatiivseid meetodeid kasutamata saate visuaalse taju tasemel protsessijuhtimissüsteemist saabuvate andmeväärtuste dünaamikat jälgides juba palju õppida:

Joonis 4 Pumba seisukorra dünaamika antud tüüpi defekti "märgi" taustal

Kuid visuaalne taju (vähemalt praegu) pole meie kiiresti muutuvas stsenaariumis kõige sobivam "siltide" generaator. Hindame statistilise testi abil pumba praeguse seisukorra sarnasust teatatud defektidega.

Joonis 5 Statistilise testi rakendamine sissetulevatele andmetele defekti "sildi" taustal

Statistiline test määrab tõenäosuse, et protsessijuhtimissüsteemist saadud "voopaketis" olevad tehnoloogilise protsessi parameetrite väärtustega kirjed on sarnased teatud tüüpi defekti "sildi" kirjetega. Statistilise testi rakendamise tulemusena arvutatud tõenäosusväärtus (statistiline sarnasusindeks) teisendatakse väärtuseks 0 või 1, muutudes masinõppe "sildiks" igas konkreetses kirjes, mida uuritakse sarnasuse suhtes. See tähendab, et pärast äsja saadud pumba olekukirjete paketi töötlemist statistilise testiga on meil võimalus (a) lisada see pakett AI/ML mudeli treenimise koolituskomplekti ja (b) viia läbi seadmete kvaliteedikontroll. mudeli praegune versioon, kui kasutate seda selles paketis.

Joonis 6 Masinõppemudeli rakendamine sissetulevatele andmetele defekti "sildi" taustal

Ühes meie eelmises veebiseminarid Näitame ja selgitame, kuidas InterSystems IRIS platvorm võimaldab teil rakendada mis tahes AI/ML mehhanismi pidevalt täidetavate äriprotsesside näol, mis jälgivad modelleerimistulemuste usaldusväärsust ja kohandavad mudeli parameetreid. Meie stsenaariumi prototüübi pumpadega juurutamisel kasutame kõiki veebiseminaril esitletud InterSystems IRIS-e funktsionaalsust – rakendades oma lahenduse osana analüsaatoriprotsessis mitte klassikalist juhendatud õpet, vaid pigem tugevdusõpet, mis automaatselt haldab koolitusmudelite valikut. . Treeningvalim sisaldab kirjeid, mille puhul tekib „tuvastuskonsensus“ pärast nii statistilise testi kui ka mudeli praeguse versiooni rakendamist – st nii statistiline test (pärast sarnasusindeksi teisendamist 0-ks või 1-ks) kui ka mudel andis tulemuse sellistel kirjetel 1. Mudeli uue koolituse ajal selle valideerimise ajal (äsja koolitatud mudelit rakendatakse oma treeningvalimile, millele on eelnevalt rakendatud statistiline test) kirjed, mis pärast töötlemist ei säilitanud tulemust 1 statistilise testiga (kuna koolitusel on pideva esinemise tõttu defekti algse "sildi" kirjete valim), eemaldatakse koolituskomplektist ja mudeli uus versioon õpib seadme "sildist" defekt pluss voost "säilitatud" kirjed.

Joonis 7 AI/ML arvutuste robotiseerimine programmis InterSystems IRIS

Kui InterSystems IRIS-is lokaalsete arvutuste käigus saadud tuvastamise kvaliteedi kohta on vaja omamoodi “teist arvamust”, luuakse nõustamisprotsess, mis võimaldab pilveteenuseid (nt Microsofti) kasutades juhtimisandmestikule koolitust ja mudelite rakendamist. Azure, Amazon Web Services, Google Cloud Platform jne):

Joonis 8 Microsoft Azure'i teine ​​arvamus, mille on korraldanud InterSystems IRIS

Meie InterSystems IRIS-i stsenaariumi prototüüp on loodud agendipõhise analüütiliste protsesside süsteemina, mis suhtlevad seadmete objektiga (pumbaga), matemaatiliste modelleerimiskeskkondadega (Python, R ja Julia) ning tagavad kõigi kaasatud tehisintellektide iseõppimise. ML mehhanismid – reaalajas andmevoogudes.

Joonis 9 InterSystems IRIS reaalajas AI/ML lahenduse põhifunktsioonid

Meie prototüübi praktiline tulemus:

• Mudeli poolt tuvastatud näidisdefekt (12. jaanuar):

• Tekkiv defekt, mille tuvastas mudel, mis ei olnud näidises (11. september, defekt ise tuvastas remondimeeskond alles kaks päeva hiljem, 13. septembril):

Sama defekti mitut episoodi sisaldavate tegelike andmete simuleerimine näitas, et meie InterSystems IRIS platvormil rakendatud lahendus võimaldab meil tuvastada seda tüüpi defektide arengu mitu päeva enne, kui remondimeeskond need avastab.

InterSystems IRIS – universaalne reaalajas AI/ML arvutusplatvorm

InterSystems IRIS platvorm lihtsustab reaalajas andmelahenduste arendamist, juurutamist ja kasutamist. InterSystems IRIS on võimeline samaaegselt teostama tehingute ja analüütilist andmete töötlemist; toetada sünkroonitud andmevaateid vastavalt mitmele mudelile (sh relatsiooniline, hierarhiline, objekt ja dokument); toimib platvormina mitmesuguste andmeallikate ja üksikute rakenduste integreerimiseks; pakkuda täiustatud reaalajas analüüsi struktureeritud ja struktureerimata andmete kohta. InterSystems IRIS pakub ka mehhanisme väliste analüütiliste tööriistade kasutamiseks ja võimaldab paindlikult kombineerida paigutust pilves ja kohalikes serverites.

InterSystems IRIS platvormil üles ehitatud rakendusi kasutatakse erinevates tööstusharudes, aidates ettevõtetel saada strateegilisest ja operatiivsest vaatenurgast märkimisväärset majanduslikku kasu, suurendades teadlike otsuste tegemist ning ületades lünki sündmuste, analüüside ja tegevuste vahel.

Joonis 10 InterSystemsi IRIS-i arhitektuur reaalajas AI/ML kontekstis

Sarnaselt eelmisele diagrammile ühendab allolev diagramm uue “koordinaatide süsteemi” (CD/CI/CT) platvormi tööelementide vahelise teabevoo diagrammiga. Visualiseerimine algab makromehhanismi CD-ga ja jätkub makromehhanismidega CI ja CT.

Joonis 11 InterSystems IRIS platvormi AI/ML elementide vaheliste teabevoogude diagramm

CD mehhanismi olemus InterSystems IRISis: platvormi kasutajad (AI/ML lahenduste arendajad) kohandavad olemasolevaid ja/või loovad uusi AI/ML arendusi, kasutades AI/ML mehhanismide jaoks spetsiaalset koodiredaktorit: Jupyter (täisnimi: Jupyter Notebook; lühiduse huvides nimetatakse mõnikord ka selles redaktoris loodud dokumente). Jupyteris on arendajal võimalus kirjutada, siluda ja kontrollida konkreetse tehisintellekti/ML-i arenduse jõudlust (sealhulgas graafikat kasutades), enne kui see paigutatakse („juurutatakse”) InterSystems IRIS-i. On selge, et sel viisil loodud uusarendus saab ainult põhisilumise (kuna eriti Jupyter ei tööta reaalajas andmevoogudega) - see on asjade järjekorras, sest Jupyteri arenduse peamine tulemus on kinnitus eraldiseisva AI / ML mehhanismi põhimõttelise toimivuse kohta ("näitab oodatavat tulemust andmeproovil"). Samamoodi võib enne Jupyteris silumist platvormile juba paigutatud mehhanism (vt järgmisi makromehhanisme) nõuda platvormieelsele vormile tagasipööramist (andmete lugemine failidest, andmetega töötamine tabelite asemel xDBC kaudu, otsene suhtlus globaalidega – mitmemõõtmelised andmemassiivid InterSystems IRIS jne).

InterSystems IRIS-i CD juurutamise oluline aspekt: ​​platvormi ja Jupyteri vahel on rakendatud kahesuunaline integratsioon, mis võimaldab Pythonis, R-is ja Julias sisalduvat sisu platvormile üle kanda (ja seejärel platvormil töödelda) (kõik kolm on programmeerimine keeled vastavates juhtivates avatud lähtekoodiga keeltes). lähteteksti matemaatilise modelleerimise keskkonnad). Seega on AI/ML-i sisuarendajatel võimalus teostada selle sisu pidevat juurutamist platvormil, töötades oma tuttavas Jupyteri redaktoris, Pythonis, R-is, Julias saadaolevate tuttavate teekide abil ning teostades põhisilumist (vajadusel). väljaspool platvormi.

Liigume edasi CI-makromehhanismi juurde InterSystems IRIS-is. Diagramm näitab "reaalajas robotiseerija" makroprotsessi (andmestruktuuride, äriprotsesside ja koodifragmentide kompleks, mis on nende poolt korraldatud matemaatilistes keeltes ja ObjectScript - InterSystems IRIS-i emakeel). Selle makroprotsessi ülesandeks on hoida AI/ML mehhanismide tööks vajalikke andmejärjekordi (platvormile reaalajas edastatavate andmevoogude põhjal), teha otsuseid rakenduste järjestuse ja AI/ “sortimenti” kohta. ML mehhanismid (need on ka “matemaatilised algoritmid”, “mudelid” jne – võib sõltuvalt teostuse spetsiifikast ja terminoloogilistest eelistustest nimetada erinevalt), hoiavad andmestruktuurid ajakohasena AI töö tulemuste analüüsimiseks/ ML mehhanismid (kuubikud, tabelid, mitmemõõtmelised andmemassiivid jne) jne – aruannete, armatuurlaudade jms jaoks.

InterSystems IRIS-i CI juurutamise oluline aspekt: ​​platvormi ja matemaatilise modelleerimiskeskkondade vahel on rakendatud kahesuunaline integratsioon, mis võimaldab teil Pythonis, R-is ja Julias platvormis hostitud sisu nende vastavates keskkondades käivitada ja täitmistulemusi tagasi saada. Seda integreerimist rakendatakse nii "terminalirežiimis" (st AI/ML-i sisu formuleeritakse ObjectScript-koodina, mis teeb väljakutseid keskkonda) kui ka "äriprotsessirežiimis" (st AI/ML-i sisu formuleeritakse äriprotsessina kasutades graafilist redaktorit või mõnikord Jupyterit või IDE-d – IRIS Studio, Eclipse, Visual Studio Code). Äriprotsesside kättesaadavus Jupyteris redigeerimiseks kajastub ühenduses CI tasemel IRIS-i ja CD tasemel Jupyteri vahel. Täpsem ülevaade matemaatiliste modelleerimiskeskkondadega integreerimisest on toodud allpool. Praeguses etapis on meie hinnangul igati põhjust tagada, et platvormil on olemas kõik vajalikud tööriistad AI/ML arenduste (mis pärineb pidevast juurutamisest) reaalajas AI/ML lahendustesse “pideva integreerimise” rakendamiseks.

Ja peamine makromehhanism: CT. Ilma selleta pole AI/ML platvormi (kuigi “reaalajas” rakendatakse CD/CI kaudu). CT olemus on platvormi töö masinõppe ja tehisintellekti "artefaktidega" otse matemaatiliste modelleerimiskeskkondade tööseanssides: mudelid, jaotustabelid, maatriksvektorid, närvivõrkude kihid jne. See "töö" seisneb enamikul juhtudel nimetatud artefaktide loomisest keskkondades (näiteks mudelite puhul koosneb "loomine" mudeli spetsifikatsiooni määramisest ja selle parameetrite väärtuste hilisemast valimisest - mudeli nn “koolitus”, nende rakendamine (mudelite puhul: nende sihtmuutujate “mudelväärtuste” abil arvutamine - prognoosid, kategooriasse kuulumine, sündmuse tõenäosus jne) ja juba parendamine. loodud ja rakendatud artefaktid (näiteks mudeli sisendmuutujate komplekti uuesti määratlemine rakenduse tulemuste põhjal - prognoosimise täpsuse parandamiseks, valikuna). CT rolli mõistmise võtmepunkt on selle "abstraheerimine" CD ja CI tegelikkusest: CT rakendab kõiki artefakte, keskendudes tehisintellekti/ML-lahenduse arvutuslikele ja matemaatilistele eripäradele konkreetsete keskkondade pakutavate võimaluste piires. Vastutus "sisendite andmise" ja "väljundite edastamise" eest vastutavad CD ja CI.

CT juurutamise oluline aspekt konkreetselt InterSystems IRIS-is: kasutades integratsiooni ülalmainitud matemaatiliste modelleerimiskeskkondadega, on platvormil võime eraldada just need artefaktid tööseanssidest, mis jooksevad tema kontrolli all matemaatilistes keskkondades ja (mis kõige tähtsam) keerata. need platvormi andmeobjektideks. Näiteks saab äsja töötavas Pythoni seansis loodud jaotustabeli (Pythoni seanssi peatamata) platvormile üle kanda näiteks globaalse (mitmemõõtmelise InterSystems IRIS-i andmemassiivi) kujul – ja kasutada arvutuste tegemiseks teises AI/ML- mehhanismis (rakendatud mõnes teises keskkonnas - näiteks R-s) - või virtuaalses tabelis. Teine näide: paralleelselt mudeli töö "tavarežiimiga" (Pythoni tööseansis) teostatakse selle sisendandmetel "auto-ML": optimaalsete sisendmuutujate ja parameetrite väärtuste automaatne valimine. Ja koos "tavalise" koolitusega saab produktiivne mudel reaalajas ka oma spetsifikatsiooni "optimeerimise ettepaneku" - milles sisendmuutujate komplekt muutub, parameetrite väärtused muutuvad (mitte enam koolituse tulemusel). Pythonis, kuid enda „alternatiivse” versiooniga, näiteks H2O-pinuga treenimise tulemusena, võimaldades üldisel AI/ML-lahendusel iseseisvalt toime tulla ootamatute muutustega modelleeritavate sisendandmete ja nähtuste olemuses. .

Tutvume lähemalt InterSystems IRIS platvormi AI/ML funktsionaalsusega päriselu prototüübi näitel.

Alloleval diagrammil slaidi vasakus servas on äriprotsessi osa, mis rakendab Pythonis ja R-is skriptide täitmist. Keskosas on vastavalt mõne sellise skripti täitmise visuaalsed logid, Pythonis ja R-is. Kohe nende taga on näited sisust ühes ja teises keeles, mis edastatakse täitmiseks vastavatesse keskkondadesse. Paremal lõpus on visualiseeringud, mis põhinevad skripti täitmise tulemustel. Üleval olevad visualiseeringud tehti IRIS Analyticsis (andmed võeti Pythonist InterSystems IRIS andmeplatvormi ja kuvati platvormi kasutades armatuurlaual), allosas tehti otse R tööseansis ja väljastati sealt graafikafailidesse. . Oluline aspekt: ​​prototüübis esitatud fragment vastutab mudeli (seadmete olekute klassifikatsiooni) koolitamise eest reaalajas seadmete simulaatori protsessist saadud andmete põhjal, käsul mudeli rakendamisel täheldatud klassifikatsiooni kvaliteedi jälgimise protsessist. Edasi arutatakse AI/ML-lahenduse rakendamist interakteeruvate protsesside komplekti (“agendid”) kujul.

Joonis 12 InterSystems IRIS koostoime Pythoni, R ja Juliaga

Platvormiprotsesse (need on ka "äriprotsessid", "analüütilised protsessid", "konveierid" jne - olenevalt kontekstist) redigeeritakse esiteks platvormi enda graafilises äriprotsesside redaktoris ja sellises nii, et nii selle plokkskeem kui ka vastav AI/ML mehhanism (programmikood) luuakse samaaegselt. Kui me ütleme, et AI/ML mehhanism saadakse, siis me mõtleme algselt hübriidsust (ühe protsessi sees): matemaatiliste modelleerimiskeskkondade keeltes olev sisu külgneb SQL-i sisuga (kaasa arvatud laiendused Integreeritud ML), InterSystems ObjectScriptis koos teiste toetatud keeltega. Veelgi enam, platvormiprotsess pakub väga laialdasi võimalusi "renderdamiseks" hierarhiliselt pesastatud fragmentide kujul (nagu on näha alloleva diagrammi näitel), mis võimaldab teil tõhusalt korraldada isegi väga keerulist sisu, ilma et see kunagi "välja kukuks". graafilises vormingus (“mittegraafilisse” vormingusse). » meetodid/klassid/protseduurid jne). See tähendab, et vajadusel (ja see on enamikes projektides ette nähtud) saab absoluutselt kogu AI/ML lahenduse realiseerida graafilises isedokumenteerivas formaadis. Pange tähele, et alloleva diagrammi keskosas, mis kujutab endast kõrgemat “pesastumise taset”, on selgelt näha, et lisaks tegelikule mudeli treenimise tööle (kasutades Pythonit ja R-i) analüüsitakse nn. Lisatud on treenitud mudeli ROC-kõver, mis võimaldab visuaalselt (ja ka arvutuslikult) hinnata koolituse kvaliteeti – ja see analüüs on realiseeritud Julia keeles (vastavalt teostatakse Julia matemaatilises keskkonnas).

Joonis 13 Visuaalne keskkond AI/ML lahenduste koostamiseks InterSystems IRISis

Nagu varem mainitud, siis platvormis juba juurutatud AI/ML mehhanismide esialgne arendamine ja (mõnel juhul) kohandamine toimub/saab teha/saab teha väljaspool platvormi Jupyteri redaktoris. Alloleval diagrammil näeme näidet olemasoleva platvormi protsessi kohandamisest (sama, mis ülaltoodud skeemil) - nii näeb Jupyteris välja mudeli treenimise eest vastutav fragment. Pythoni sisu on saadaval redigeerimiseks, silumiseks ja graafika väljundiks otse Jupyteris. Muudatusi (vajadusel) saab teha kohese sünkroonimisega platvormi protsessi, sealhulgas selle produktiivsesse versiooni. Uut sisu saab platvormile üle kanda sarnaselt (uue platvormi protsess genereeritakse automaatselt).

Joonis 14 Jupyteri sülearvuti kasutamine AI/ML-mootori redigeerimiseks InterSystems IRIS-i platvormil

Platvormi protsessi saab kohandada mitte ainult graafilises või sülearvuti vormingus, vaid ka IDE (integreeritud arenduskeskkonna) vormingus. Need IDE-d on IRIS Studio (IRISe stuudio), Visual Studio Code (InterSystemsi IRIS-i laiendus VSCode'ile) ja Eclipse (Atelieri pistikprogramm). Mõnel juhul on arendusmeeskonnal võimalik kasutada kõiki kolme IDE-d korraga. Alloleval diagrammil on näide sama protsessi redigeerimisest IRIS-stuudios, Visual Studio Code'is ja Eclipse'is. Redigeerimiseks on saadaval absoluutselt kogu sisu: Python/R/Julia/SQL, ObjectScript ja äriprotsess.

Joonis 15 InterSystems IRIS äriprotsessi arendamine erinevates IDE-des

Eraldi äramärkimist väärivad tööriistad InterSystems IRIS äriprotsesside kirjeldamiseks ja täitmiseks äriprotsesside keeles (BPL). BPL võimaldab kasutada äriprotsessides "valmis integratsioonikomponente" (tegevusi), mis tegelikult annab igati põhjust väita, et InterSystems IRIS rakendab "pidevat integratsiooni". Valmis äriprotsesside komponendid (tegevused ja nendevahelised ühendused) on võimas kiirendi AI/ML lahenduse kokkupanemisel. Ja mitte ainult assambleed: tänu tegevustele ja nendevahelistele seostele erinevate AI/ML arenduste ja mehhanismide kaudu tekib “autonoomne halduskiht”, mis on võimeline tegema otsuseid vastavalt olukorrale ja reaalajas.

Joonis 16 Valmis äriprotsesside komponendid pidevaks integreerimiseks (CI) InterSystems IRIS platvormil

Agendisüsteemide kontseptsioonil (tuntud ka kui "mitmeagendisüsteemid") on robotiseerimises tugev positsioon ja InterSystemsi IRIS-platvorm toetab seda orgaaniliselt tooteprotsessi konstruktsiooni kaudu. Lisaks piiramatutele võimalustele iga protsessi üldlahenduse jaoks vajaliku funktsionaalsusega “toppida”, võimaldab platvormi protsesside süsteemile “agentuuri” omaduse andmine luua efektiivseid lahendusi äärmiselt ebastabiilsetele simuleeritud nähtustele (sotsiaalse/sotsiaalse käitumise käitumine). biosüsteemid, osaliselt jälgitavad tehnoloogilised protsessid jne).

Joonis 16 AI/ML lahenduse toimimine agendipõhise äriprotsessisüsteemina InterSystems IRISis

Jätkame InterSystems IRIS-i ülevaadet looga platvormi rakenduslikust kasutamisest tervete klasside reaalajas probleemide lahendamiseks (üsna üksikasjaliku sissejuhatuse mõne InterSystems IRIS-i platvormi AI/ML parimate tavade kohta leiate ühest meie eelmisest veebiseminarid).

Kuum eelmise diagrammi kannul, allpool on üksikasjalikum agendisüsteemi diagramm. Diagramm näitab sama prototüüpi, kõik neli agendiprotsessi on nähtavad, nendevahelised seosed on skemaatiliselt joonistatud: GENERATOR - töötleb seadmete andurite poolt andmete loomist, PUHVER - haldab andmejärjekordi, ANALÜÜSER - teostab masinõpet ise, MONITOR - jälgib masinõppe kvaliteeti ja annab signaali vajadusest mudelit ümber õpetada.

Joonis 17 AI/ML lahenduse koostis agentipõhise äriprotsessisüsteemi kujul InterSystems IRISis

Allolev diagramm illustreerib ühe teise roboti prototüübi autonoomset toimimist (tekstide emotsionaalse värvingu äratundmine) mõnda aega. Ülemises osas on mudelitreeningu kvaliteedinäitaja evolutsioon (kvaliteet kasvab), alumises osas mudeli rakendamise kvaliteedinäitaja dünaamika ja korduva treeningu faktid (punased triibud). Nagu näete, on lahendus ennast tõhusalt ja autonoomselt õppinud ning töötab etteantud kvaliteeditasemel (kvaliteediskoori väärtused ei lange alla 80%).

Joonis 18 Pidev (ise)treening (CT) InterSystems IRIS platvormil

Mainisime ka "auto-ML-i", kuid allolev diagramm näitab selle funktsiooni kasutamist üksikasjalikult teise prototüübi näitel. Äriprotsessi fragmendi graafiline diagramm näitab tegevust, mis käivitab modelleerimise H2O virnas, näitab selle modelleerimise tulemusi (saadud mudeli selget domineerimist inimtekkeliste mudelite ees, vastavalt võrdlusdiagrammile ROC-kõverad, samuti algses andmekogumis saadaolevate „kõige mõjukamate muutujate” automatiseeritud tuvastamine). Oluline punkt on siin aja ja ekspertressursi kokkuhoid, mis saavutatakse “auto-ML” abil: see, mida meie platvormi protsess teeb poole minutiga (optimaalse mudeli leidmine ja koolitamine), võib eksperdil aega võtta nädalast kuuni.

Joonis 19 Auto-ML-i integreerimine AI/ML-lahendusse InterSystems IRIS-i platvormil

Allolev diagramm jätab asjast pisut mööda, kuid see on hea viis lõpetada lugu lahendatavatest reaalajas probleemide klassidest: tuletame meelde, et InterSystems IRIS platvormi kõigi võimalustega on selle kontrolli all olevad koolitusmudelid ei ole kohustuslik. Platvorm saab väljastpoolt vastu võtta mudeli nn PMML-spetsifikatsiooni, mis on koolitatud tööriistaga, mis pole platvormi kontrolli all – ja rakendada seda mudelit reaalajas alates selle importimisest. PMML-i spetsifikatsioonid. Oluline on arvestada, et kõiki AI/ML artefakte ei saa taandada PMML-i spetsifikatsioonile, isegi kui enamik levinumaid artefakte seda võimaldab. Seega on InterSystems IRIS platvorm "avatud tsükkel" ega tähenda kasutajate jaoks "platvormi orjust".

Joonis 20 Auto-ML-i integreerimine AI/ML-lahendusse InterSystems IRIS-i platvormil

Loetleme InterSystems IRIS-i platvormi täiendavad eelised (selguse mõttes seoses protsessi juhtimisega), millel on suur tähtsus tehisintellekti ja reaalajas masinõppe automatiseerimisel:

• Välja töötatud integratsioonitööriistad mis tahes andmeallikate ja tarbijatega (protsessijuhtimissüsteem/SCADA, seadmed, MRO, ERP jne)
• Sisseehitatud mitme mudeli DBMS mis tahes mahu tehnoloogiliste protsessiandmete suure jõudlusega tehingu- ja analüütiliseks töötlemiseks (hübriidtehing/analüütiline töötlemine, HTAP)
• Arendustööriistad AI/ML mootorite pidevaks juurutamiseks Pythonil, R-il, Julial põhinevate reaalajas lahenduste jaoks
• Adaptiivsed äriprotsessid reaalajas AI/ML lahendusmootorite pidevaks integreerimiseks ja (ise)õppimiseks
• Sisseehitatud äriteabe tööriistad protsessiandmete ja AI/ML-lahenduse tulemuste visualiseerimiseks
• API haldus AI/ML lahenduse tulemuste edastamiseks protsesside juhtimissüsteemidesse/SCADA-sse, info- ja analüüsisüsteemidesse, hoiatuste saatmiseks jne.

InterSystems IRIS platvormil olevad AI/ML-lahendused sobituvad hõlpsasti olemasolevasse IT-infrastruktuuri. InterSystems IRIS platvorm tagab AI/ML-lahenduste kõrge töökindluse, toetades tõrke- ja katastroofikindlaid konfiguratsioone ning paindlikku juurutamist virtuaalses keskkonnas, füüsilistes serverites, privaat- ja avalikes pilvedes ning Dockeri konteinerites.

Seega on InterSystems IRIS universaalne reaalajas AI/ML andmetöötlusplatvorm. Meie platvormi universaalsust kinnitab praktikas faktiliste piirangute puudumine rakendatud arvutuste keerukusele, InterSystems IRIS-i võime kombineerida (reaalajas) mitmesuguste tööstusharude stsenaariumide töötlemist ja erakordne kohanemisvõime. mis tahes platvormi funktsioonid ja mehhanismid vastavalt kasutajate konkreetsetele vajadustele.

Joonis 21 InterSystems IRIS – universaalne reaalajas AI/ML arvutusplatvorm

Sisulisemaks suhtlemiseks meie lugejatega, kes on siin esitatud materjalist huvitatud, soovitame mitte piirduda selle lugemisega ja jätkata dialoogi otse-eetris. Pakume hea meelega tuge reaalajas AI/ML stsenaariumide sõnastamisel seoses Teie ettevõtte spetsiifikaga, teostame ühisprototüüpide loomist InterSystems IRIS platvormil, koostame ja rakendame praktikas teekaardi tehisintellekti ja masinõppe juurutamiseks. oma tootmis- ja juhtimisprotsessidesse. Meie AI/ML-i ekspertide meeskonna kontakte-post – [meiliga kaitstud].

Allikas: www.habr.com