InterSystems IRIS – sveobuhvatna AI/ML platforma u stvarnom vremenu

Autor: Sergey Luk'yančikov, inženjer-konzultant InterSystems

Izazovi AI/ML izračunavanja u stvarnom vremenu

Započnimo s primjerima iz iskustva Data Science prakse kompanije InterSystems:

• "Opterećeni" portal kupca povezan je s online preporučivačkim sustavom. Predstoji restrukturiranje promocija na razini maloprodajne mreže (recimo, umjesto "ravne" linije promocija sada će se primjenjivati matrica "segment-taktika"). Što se događa s preporučivačkim mehanizmima? Što se događa s predajom i ažuriranjem podataka u preporučivački mehanizam (obim ulaznih podataka povećao se 25000 puta)? Što se događa s generiranjem preporuka (potreba tisuću puta smanjiti prag filtracije preporučivačkih pravila u vezi s tisuću puta većim brojem i "asortimanom");
• Postoji sustav za praćenje vjerojatnosti razvoja nedostataka u čvorovima opreme. Sustavu praćenja povezana je automatizacija sustava upravljanja tehnološkim procesima koja prenosi tisuće parametara tehnološkog procesa svake sekunde. Što se događa sa sustavom praćenja koji je ranije radio na "ručnim uzorcima" (može li osigurati praćenje vjerojatnosti svake sekunde)? Što će se događati ako se u ulaznim podacima pojavi novi blok od nekoliko stotina kolona s očitanjima senzora, nedavno unesenih u automatizaciju sustava (hoće li i koliko dugo biti potrebno zaustaviti sustav praćenja kako bi se uključili podaci novih senzora u analizu)?
• Stvoren je kompleks AI/ML mehanizama (preporučivački, praćeni, prognostički) koji koriste rezultate rada jedni drugih. Koliko čovjek-sati je potrebno mjesečno za prilagodbu rada ovog kompleksa promjenama u ulaznim podacima? Koliko je ukupno "usporavanje" pri potpori kompleksa donošenju upravljačkih odluka (učestalost pojavljivanja novih potpornih informacija u odnosu na učestalost pojavljivanja novih ulaznih podataka)?

Sažimajući ove i mnoge druge primjere, došli smo do formulacija onih izazova koji se javljaju prilikom prelaska na korištenje mehanizama strojnog učenja i umjetne inteligencije u stvarnom vremenu:

• Da li nas zadovoljava brzina stvaranja i prilagodbe (promjenjivoj situaciji) AI/ML rješenja u našoj kompaniji?
• Kako naša AI/ML rješenja podržavaju upravljanje poslovanjem u stvarnom vremenu?
• Mogu li naša AI/ML rješenja samostalno (bez programera) prilagoditi promjenama u podacima i praksama upravljanja poslovanjem?

Naš članak je sveobuhvatan pregled mogućnosti platforme InterSystems IRIS u vezi s univerzalnom podrškom za implementaciju AI/ML mehanizama, integraciju AI/ML rješenja i obuku (testiranje) AI/ML rješenja na intenzivnim protokima podataka. Osvrnut ćemo se na istraživanja tržišta, praktične primjere AI/ML rješenja i konceptualne aspekte onoga što u ovom članku nazivamo AI/ML platformom u stvarnom vremenu.

Što je poznato iz anketa: aplikacije u stvarnom vremenu

Rezultati ankete, provedene među oko 800 IT stručnjaka 2019. godine od strane Lightbend, govore same za sebe:

Slika 1 Vodeći korisnici podataka u stvarnom vremenu

Citat ćemo važne dijelove izvještaja o rezultatima ove ankete u našem prijevodu:

„… Trendovi popularnosti alata za integraciju tokova podataka i istovremeno podržavanje računalnih operacija u kontejnerima pružaju sinergijski odgovor na zahtjev tržišta za bržim, racionalnijim i dinamičnijim ponudama učinkovitih rješenja. Tokovi podataka omogućuju brži prijenos informacija nego tradicionalni paketu podaci. Osim toga, tu je i mogućnost brze primjene računalnih metoda, poput AI/ML preporuka, stvarajući konkurentske prednosti putem povećanja zadovoljstva klijentske publike. Utrka za brzinom također utječe na sve uloge unutar DevOps paradigme – povećavajući učinkovitost razvoja i implementacije aplikacija. … Osamsto četiri IT stručnjaka pružila su informacije o korištenju tokova podataka u svojim organizacijama. Ispitanici su bili većinom iz zapadnih zemalja (41% u Europi i 37% u Sjevernoj Americi) i bili su gotovo ravnomjerno raspoređeni među malim, srednjim i velikim poduzećima. …

Umjetna inteligencija nije samo hype. Pedeset osam posto onih koji već primjenjuju obradu podataka u produktivnim AI/ML aplikacijama potvrđuje da će njihova primjena u AI/ML doživjeti najveći rast sljedeće godine (u usporedbi s drugim aplikacijama).

• Prema mišljenju većine ispitanika, primjena tokova podataka u AI/ML scenarijima doživjet će najveći rast sljedeće godine.
• Primjena u AI/ML će rasti ne samo zahvaljujući relativno novim vrstama scenarija, već i zbog tradicionalnih scenarija u kojima se podaci u stvarnom vremenu sve više koriste.
• Uz AI/ML, razina entuzijazma među korisnicima IoT pipelinea podatka je impresivna — 48% onih koji su već integrirali IoT podatke tvrdi da će realizacija scenarija na ovim podacima doživjeti značajan rast u bliskoj budućnosti. … »

Iz ovog prilično zanimljivog istraživanja može se vidjeti da se percepcija scenarija strojnog učenja i umjetne inteligencije kao lidera u potrošnji tokova podataka već 'približava'. No, jednako važno zapažanje postaje percepcija AI/ML u stvarnom vremenu kroz prizmu DevOps-a: ovdje se već može početi govoriti o transformaciji dominirajuće kulture 'jednokratnog AI/ML-a s potpuno dostupnim skupom podataka'.

Koncept AI/ML platforme u stvarnom vremenu

Jedno od tipičnih područja primjene AI/ML u stvarnom vremenu je upravljanje tehnološkim procesima u proizvodnji. Na ovom primjeru, i uzimajući u obzir prethodna razmišljanja, formulirat ćemo koncept AI/ML platforme u stvarnom vremenu.
Korištenje umjetne inteligencije i strojnog učenja u upravljanju tehnološkim procesima ima nekoliko specifičnosti:

• Podaci o stanju tehnološkog procesa dolaze intenzivno: s velikom frekvencijom i kroz širok spektar parametara (do stotina tisuća vrijednosti koje se prenose u sekundi iz SCADA sustava)
• Podaci o otkrivanju nedostataka, da ne govorimo o podacima o njihovom razvoju, naprotiv, su oskudni i neredoviti, karakterizirani su nedostatkom tipizacije nedostataka i njihove lokalizacije u vremenu (često su predstavljeni zapisima na papiru)
• S praktične strane, za obuku i primjenu modela dostupno je samo "okno relevantnosti" izvornih podataka, koje odražava dinamiku tehnološkog procesa tijekom razumnog kliznog intervala, završavajući posljednjim očitanim vrijednostima parametara procesa.

Ove karakteristike nas prisiljavaju da, pored prijema i osnovne obrade u stvarnom vremenu intenzivnog "širokopojasnog ulaznog signala" iz tehnološkog procesa, istovremeno provodimo primjenu, obuku i kontrolu kvalitete rezultata rada AI/ML modela - također u stvarnom vremenu. Taj "kadar" koji naši modeli "vide" u kliznom prozoru relevantnosti neprekidno se mijenja - a zajedno s njim mijenja se i kvaliteta rezultata rada AI/ML modela, obučenih na jednom od "kadrava" u prošlosti. Kada dođe do pogoršanja kvalitete rezultata rada AI/ML modela (na primjer, kada vrijednost pogreške klasifikacije "uzbuna-norma" premaši određene granice), mora se automatski pokrenuti ponovna obuka modela na ažuriranom "kadravu" - pri čemu odabir trenutka za pokretanje ponovne obuke modela mora uzeti u obzir kako trajanje same obuke, tako i dinamiku pogoršanja kvalitete rada trenutne verzije modela (budući da se trenutne verzije modela nastavljaju primjenjivati dok se modeli obučavaju, i dok se ne formiraju njihove "ponovno obučene" verzije).

InterSystems IRIS posjeduje ključne platformske mogućnosti za osiguranje rada AI/ML rješenja u upravljanju tehnološkim procesima u stvarnom vremenu. Ove mogućnosti se mogu podijeliti u tri osnovne grupe:

• Kontinuirana isporuka (Continuous Deployment/Delivery, CD) novih ili prilagođenih postojećih AI/ML mehanizama u produktivno rješenje, koje funkcioniše u stvarnom vremenu na platformi InterSystems IRIS.
• Kontinuirana integracija (Continuous Integration, CI) u jedinstveno produktivno rješenje ulaznih tokova podataka tehnološkog procesa, redova podataka za primjenu/obuku/kontrolu kvalitete rada AI/ML mehanizama i razmjene podataka/koda/upravljačkih utjecaja s okruženjima matematičkog modeliranja, čija se orkestracija obavlja u stvarnom vremenu na platformi InterSystems IRIS.
• Kontinuirano (samo-)učenje (Continuous Training, CT) AI/ML mehanizama koje se provodi u okruženjima matematičkog modeliranja s korištenjem podataka, koda i upravljačkih utjecaja («donijetih odluka»), prenesenih platformom InterSystems IRIS

Klasifikacija mogućnosti platformi u vezi s mašinskim učenjem i umjetnom inteligencijom nije slučajna. Citiramo metodološku publikaciju kompanije Google, koja pruža konceptualnu osnovu za ovu klasifikaciju, u našem prijevodu:

„… Popularna danas koncepta DevOps obuhvaća razvoj i operativnu upotrebu velikih informacijskih sustava. Prednosti implementacije ovog koncepta uključuju skraćivanje trajanja razvojnih ciklusa, ubrzanje implementacije razvijenih rješenja, fleksibilnost planiranja izdanja. Kako bi se postigle ove prednosti, DevOps podrazumijeva uvođenje, barem, dviju praksi:

• Kontinuirana integracija (Continuous Integration, CI)
• Kontinuirana isporuka (Continuous Delivery, CD)

Ove prakse su također primjenjive i na AI/ML platforme – s ciljem osiguravanja pouzdane i produktivne izrade produktivnih AI/ML rješenja.

AI/ML platforme razlikuju se od drugih informacijskih sustava u sljedećim aspektima:

• Kompetencije tima: prilikom stvaranja AI/ML rješenja, tim obično uključuje data scientist-e ili stručnjake-„akademike“ u području istraživanja podataka, koji provode analizu podataka, razvoj i testiranje modela. Ovi članovi tima mogu, ali i ne moraju biti profesionalni programeri produktivnog koda.
• Razvoj: AI/ML mehanizmi su po prirodi eksperimentalni. Kako bi se zadatak riješio na najučinkovitiji način, potrebno je isprobati različite kombinacije ulaznih varijabli, algoritama, metoda modeliranja i parametara modela. Složenost takvog pretraživanja leži u praćenju „što je uspjelo/ne uspjelo“, osiguravanju ponovljivosti epizoda, generalizaciji razvojnih rješenja za ponovnu implementaciju.
• Testiranje: testiranje AI/ML mehanizama zahtijeva širi spektar testova nego većina drugih razvojnih rješenja. Osim tipičnih modularnih i integracijskih testova, testiraju se validnost podataka, kvaliteta rezultata primjene modela na obučnim i kontrolnim uzorcima.
• Implementacija: implementacija AI/ML rješenja ne svodi se samo na prediktivne usluge koje koriste jednom obučeni model. AI/ML rješenja grade se oko višestepene pipeline-a, koji omogućavaju automatizirano učenje i primjenu modela. Implementacija takvih pipeline-a podrazumijeva automatizaciju složenih zadataka, koji su tradicionalno ručno obavljali data scientisti kako bi se omogućilo obučavanje i testiranje modela.
• Produktivnost: AI/ML mehanizmima može nedostajati performansi ne samo zbog neučinkovitog programiranja, već i zbog stalno promjenjive prirode ulaznih podataka. Drugim riječima, performanse AI/ML mehanizama mogu se degradirati zbog šireg spektra razloga nego što je to slučaj s uobičajenim razvojem. To zahtijeva praćenje (u realnom vremenu) performansi naših AI/ML mehanizama, kao i slanje upozorenja ili odbacivanje rezultata ako performanse ne zadovoljavaju očekivanja.

AI/ML platforme su slične drugim informacijskim sustavima po tome što trebaju neprekidnu integraciju koda s kontrolom verzija, modularno testiranje, integracijsko testiranje i neprekidno implementiranje rješenja. Ipak, u slučaju AI/ML-a postoje neka važna odstupanja:

• CI (Continuous Integration, neprekidna integracija) više nije ograničen na testiranje i validaciju koda implementiranih komponenata – obuhvaća i testiranje i validaciju podataka i AI/ML modela.
• CD (Continuous Delivery/Deployment, neprekidno isporučivanje/implementacija) ne svodi se samo na pisanje i objavljivanje paketa ili usluga, već podrazumijeva platformu za sastavljanje, učenje i primjenu AI/ML rješenja.
• CT (Continuous Training, neprekidno učenje) – novi element [napomena autora članka: novi element u odnosu na tradicionalnu DevOps koncepciju, gdje je CT obično Continuous Testing], svojstven AI/ML platformama, odgovoran za autonomno upravljanje mehanizmima učenja i primjene AI/ML modela. …

Možemo konstatirati da strojno učenje i umjetna inteligencija koja radi s podacima u stvarnom vremenu zahtijevaju širi spektar alata i kompetencija (od razvoja koda do orkestracije okruženja matematičkog modeliranja), užu integraciju između svih funkcionalnih i predmetnih područja te učinkovitiju organizaciju ljudskih i strojnih resursa.

Scenarij u stvarnom vremenu: prepoznavanje razvoja nedostataka u pumpama za hranjenje

Nastavljajući s primjerom područja upravljanja tehnološkim procesima, razmotrit ćemo konkretan zadatak (koji smo već spomenuli na početku): potrebno je osigurati u stvarnom vremenu praćenje razvoja nedostataka u pumpama na temelju toka vrijednosti parametara tehnološkog procesa i izvještaja servisnog osoblja o identificiranim nedostacima.

Slika 2 Definicija zadatka za praćenje razvoja nedostataka

Karakteristika većine ovakvih postavljenih zadataka u praksi je da se učestalost i pravovremenost dolaska podataka (ASUTP) moraju razmatrati u kontekstu epizodične i neredovite pojave (i registracije) nedostataka različitih tipova. Drugim riječima: podaci iz ASUTP dolaze svake sekunde tačni, dok se o nedostacima evidentiraju olovkom s oznakom datuma u zajedničkom bilježnici u radionici (na primjer: „12.01 – curenje na poklopcu s treće strane ležaja“).

Dakle, možemo dodatno definirati zadatak s ovim važnim ograničenjem: „oznaka“ nedostatka određenog tipa kod nas postoji samo jedna (tj. primjer nedostatka određenog tipa predstavljen je podacima iz ASUTP na određeni datum – i više primjera nedostatka tog tipa nemamo). Ovo ograničenje nas odmah izbacuje iz okvira klasičnog strojnog učenja (supervised learning), za koje je potrebno imati mnogo „oznaka“.

Slika 3 Pojašnjenje zadatka za praćenje razvoja nedostataka

Možemo li na neki način "razmnožiti" jedinu "oznake" koja je trenutno u našem posjedu? Da, možemo. Trenutno stanje pumpe karakteriziraju sličnosti s registriranim defektima. Čak i bez korištenja kvantitativnih metoda, već možemo puno naučiti na razini vizualnog percipiranja, promatrajući dinamiku vrijednosti podataka koji dolaze iz ADP sustava.

Slika 4 Dinamika stanja pumpe u odnosu na "oznake" defekta određenog tipa

Međutim, vizualno percipiranje (barem za sada) nije najprikladniji generator "oznake" u našem brzo mijenjajućem scenariju. Ocjenjivat ćemo sličnost trenutnog stanja pumpe s registriranim defektima pomoću statističkog testa.

Slika 5 Primjena statističkog testa na dolazne podatke u odnosu na "oznake" defekta

Statistički test definira vjerojatnost da su zapisi s vrijednostima parametara tehnološkog procesa u dobivenom "paketu-podataka" s ADP sustava slični zapisima "oznake" defekta određenog tipa. Izračunata vjerojatnost (indeks statističke sličnosti) se pretvara u vrijednost 0 ili 1, postajući "oznaka" za strojno učenje u svakom pojedinom zapisu u istraživanom paketu. To znači da, nakon obrade novo pristiglog paketa zapisa stanja pumpe putem statističkog testa, imamo mogućnost (a) dodati taj paket u skup podataka za učenje AI/ML modela i (b) provesti kontrolu kvalitete rada trenutne verzije modela kada se primijeni na taj paket.

Slika 6 Primjena modela strojnog učenja na dolazne podatke u odnosu na "oznake" defekta

Na jednom od naših prethodnih webinara Pružamo objašnjenje kako platforma InterSystems IRIS omogućuje implementaciju bilo kojeg AI/ML mehanizma u obliku kontinuiranih poslovnih procesa, koji provode kontrolu vjerodostojnosti rezultata modeliranja i prilagođavaju parametre modela. U prototipu našeg scenarija s pumpama koristimo sve funkcionalnosti predstavljene tijekom webinara InterSystems IRIS – implementirajući u analitičkom procesu našeg rješenja ne klasično nadzirano učenje, već obučavanje s poticajem (reinforcement learning), koje automatski upravlja uzorkom za učenje modela. U uzorak za učenje uključuju se zapisi na kojima dolazi do „konsenzusa detekcije“ nakon primjene i statističkog testa, kao i trenutne verzije modela – tj. i statistički test (nakon transformacije indeksa sličnosti na 0 ili 1), i model su dali rezultat 1 na takvim zapisima. Prilikom novog učenja modela, tijekom njezine validacije (ponovno učenog modela koji se primjenjuje na vlastiti uzorak učenja, uz prethodnu primjenu statističkog testa), zapisi koji „nisu zadržali“ rezultat 1 nakon obrade statističkim testom (zbog stalnog prisustva zapisa iz izvorne „oznake“ defekta u uzorku za učenje) se uklanjaju iz uzorka za učenje, a nova verzija modela uči na „oznaci“ defekta plus na „zadržanim“ zapisima iz toka.

Slika 7 Robotizacija AI/ML proračuna u InterSystems IRIS

U slučaju da nastane potreba za svojevrsnim „drugim mišljenjem“ o kvaliteti detekcije dobivene tijekom lokalnih proračuna u InterSystems IRIS, stvara se proces-savjetnik za izvođenje učenja-primjene modela na kontrolnom skupu podataka pomoću oblaka (npr. Microsoft Azure, Amazon Web Services, Google Cloud Platform i dr.):

Slika 8 „Drugo mišljenje“ iz Microsoft Azure pod orkestracijom InterSystems IRIS

Prototip našeg scenarija u InterSystems IRIS izveden je u obliku agencijskog sustava analitičkih procesa, koji ostvaruju interakcije s objektima opreme (pumpom), okruženjima matematičkog modeliranja (Python, R i Julia), i osiguravaju samoobučavanje svih uključenih AI/ML mehanizama – na podacima u stvarnom vremenu.

Slika 9 Glavna funkcionalnost AI/ML rješenja u stvarnom vremenu u InterSystems IRIS

Praktična rezultat rada našeg prototipa:

• Prepoznati uzorak defekta od strane modela (12. siječnja):

• Prepoznati uzorak razvijajućeg defekta od strane modela, koji nije bio uključen u uzorak (11. rujna, sam defekt bio je konstatiran od strane popravne ekipe tek nakon dva dana – 13. rujna):

Imitacija na stvarnim podacima, koja sadrži više epizoda istog defekta, pokazala je da naše rješenje, implementirano na platformi InterSystems IRIS, omogućava prepoznavanje razvoja defekata ovog tipa nekoliko dana prije nego što ih popravna ekipa otkrije.

InterSystems IRIS – univerzalna platforma za AI/ML računalne operacije u stvarnom vremenu

Platforma InterSystems IRIS pojednostavljuje razvoj, implementaciju i rad rješenja na podacima u stvarnom vremenu. InterSystems IRIS može istovremeno izvršavati transakcijsku i analitičku obradu podataka; podržava sinkronizirane prikaze podataka prema različitim modelima (uključujući relacijski, hijerarhijski, objektni i dokumentni); služi kao platforma za integraciju širokog spektra izvora podataka i pojedinih aplikacija; osigurava naprednu analitiku u stvarnom vremenu na strukturiranim i nestrukturiranim podacima. InterSystems IRIS također pruža mehanizme za korištenje vanjskih analitičkih alata, omogućavajući fleksibilno kombiniranje smještaja u oblaku i na lokalnim poslužiteljima.

Aplikacije koje su izgrađene na platformi InterSystems IRIS implementirane su u različitim industrijama, pomažući kompanijama da postignu značajne ekonomske efekte u strateškoj i operativnoj perspektivi, povećavajući informiranost prilikom donošenja odluka i uklanjajući "razlike" između događaja, analize i djelovanja.

Slika 10 Arhitektura InterSystems IRIS u kontekstu AI/ML u stvarnom vremenu

Kao i prethodna dijagram, donji dijagram kombinira novi "koordinatni sustav" (CD/CI/CT) sa shemom protoka informacija između radnih elemenata platforme. Vizualizacija počinje makromehanikom CD i nastavlja se makromehanikama CI i CT.

Slika 11 Shema protoka informacija između AI/ML elemenata platforme InterSystems IRIS

Suština mehanizma CD u InterSystems IRIS: korisnici platforme (razvijači AI/ML rešenja) prilagođavaju postojeće i/ili kreiraju nova AI/ML rešenja uz pomoć specijalizovanog editora programskog koda AI/ML mehanizama: Jupyter (puno ime: Jupyter Notebook; takođe, skraćeno se ponekad nazivaju i dokumenti kreirani u ovom editoru). U Jupyter-u, razvijač ima mogućnost da napiše, debaguje i uveri se u funkcionalnost (uključujući i upotrebu grafike) konkretne AI/ML aplikacije pre njenog postavljanja („implementacije”) u InterSystems IRIS. Razumljivo je da će nova aplikacija koja se tako stvara dobiti samo osnovne debagovanje (jer, između ostalog, Jupyter ne radi sa podacima u realnom vremenu) – to je u redu, jer je osnovni rezultat rada u Jupyter-u potvrda funkcionalnosti pojedinačnog AI/ML mehanizma („na uzorku podataka pokazuje očekivani rezultat”). Slično tome, već postavljeni mehanizam (vidi sledeće makromehanizme) pre debagovanja u Jupyter-u može zahtevati „povlačenje” u „doplatformeni” oblik (čitajući podatke iz datoteka, radeći sa podacima preko xDBC umesto tabela, neposredno komunicirajući sa globalnim - višedimenzionalnim nizovima podataka InterSystems IRIS - i slično).

Važan aspekt implementacije CD-a upravo u InterSystems IRIS: između platforme i Jupyter-a ostvarena je dvostrana integracija, koja omogućava prenos sadržaja na jezicima Python, R i Julia (sva tri su programski jezici u vodećim open-source sredinama matematičkog modelovanja). Tako, razvijači AI/ML sadržaja imaju mogućnost da ostvaruju „kontinuiranu implementaciju” ovog sadržaja na platformi, radeći u Jupyteru, koristeći poznate biblioteke dostupne u Pythonu, R, Juliji, i vršeći osnovno debagovanje (po potrebi) van platforme.

Prelazimo na makromehanizam CI u InterSystems IRIS. Na dijagramu je prikazan makroproces rada "robotizatora u stvarnom vremenu" (kompleks struktura podataka, poslovnih procesa i njima orkestriranih fragmenata koda na jezicima matsred i ObjectScript – izvorni jezik razvoja InterSystems IRIS). Zadatak ovog makroprocesa je održavanje potrebnih redova podataka za rad AI/ML mehanizama (na osnovu tokova podataka koji se platformi šalju u stvarnom vremenu), donošenje odluka o redoslijedu primjene i "asortimanu" mehanizama AI/ML (koji se također nazivaju "matematički algoritmi", "modeli" itd. – mogu se različito nazivati ovisno o specifičnostima implementacije i terminološkim preferencijama), održavanje struktura podataka ažurnima za analizu rezultata rada AI/ML mehanizama (kube, tablice, višedimenzionalni nizovi podataka itd. – za izvještaje, nadzorne ploče itd.).

Važan aspekt implementacije CI upravo u InterSystems IRIS-u: između platforme i okruženja za matematičko modeliranje realizirana je dvosmjerna integracija, koja omogućava izvršavanje sadržaja smještenog u platformi na jezicima Python, R i Julia u njihovim odgovarajućim okruženjima s povratkom rezultata izvršavanja. Ova integracija je realizirana kako u "terminalnom modu" (tj. AI/ML sadržaj se formulira kao kod na ObjectScript-u koji izvršava pozive matsred), tako i u "modu poslovnog procesa" (tj. AI/ML sadržaj se formulira kao poslovni proces pomoću grafičkog urednika, ili ponekad pomoću Jupyter-a, ili pomoću IDE-a – IRIS Studio, Eclipse, Visual Studio Code). Dostupnost poslovnih procesa za uređivanje u Jupyter-u odražena je putem veze između IRIS-a na razini CI i Jupyter-a na razini CD. Detaljniji pregled integracije s okruženjima za matematičko modeliranje bit će prikazan dalje. U ovom trenutku, smatramo da postoje svi razlozi da se zabilježi postojanje svih potrebnih alata u platformi za implementaciju "kontinuirane integracije" AI/ML razvojnih rješenja (koja dolaze iz "kontinuirane isporuke") u AI/ML rješenja u stvarnom vremenu.

I glavni makromehanizam: CT. Bez njega ne može doći do AI/ML platformi (iako će "stvarno vrijeme" biti implementirano putem CD/CI). Bit CT-a je rad platforme s "artefaktima" strojnog učenja i umjetne inteligencije izravno u radnim sesijama okruženja matematičkog modeliranja: modeli, tablice raspodjela, vektori-matrice, slojevi neuronskih mreža itd. Ova "radnja", u većini slučajeva, se sastoji od kreiranja spomenutih artefakata u okruženjima (u slučaju modela, na primjer, "kreiranje" se sastoji od postavljanja specifikacije modela i naknadnog odabira vrijednosti njegovih parametara – takozvano "učenje" modela), njihovu primjenu (za modele: izračunavanje "modelnih" vrijednosti ciljanih varijabli – prognoza, pripadnost kategoriji, vjerojatnost događaja itd.) i usavršavanje već stvorenih i primijenjenih artefakata (na primjer, redefiniranje skupa ulaznih varijabli modela na temelju rezultata primjene – radi poboljšanja točnosti prognoziranja, kao opcija). Ključni trenutak u razumijevanju uloge CT-a je njegova "apstraktnost" od stvarnosti CD-a i CI-a: CT će implementirati sve artefakte, usmjeravajući se na računalnu i matematičku specifičnost AI/ML rješenja unutar mogućnosti koje pružaju konkretna okruženja. Odgovornost za "opskrbu ulaznim podacima" i "isporuku rezultata" će snositi CD i CI.

Važan aspekt implementacije CT upravo u InterSystems IRIS: koristeći već spomenutu integraciju sa sredinama matematičkog modeliranja, platforma ima mogućnost извlačenja iz radnih sesija koje se odvijaju pod njenim upravljanjem u matematičkim sredinama, onih artefakata i (što je najvažnije) pretvaranja u objekte podataka platforme. Na primjer, tablica raspodjele koja je upravo stvorena u radnoj sesiji Python može biti (bez prekida sesije u Pythonu) prenesena u platformu u obliku, na primjer, globalne varijable (višedimenzionalne nizove podataka InterSystems IRIS) – i korištena za izračune u drugom AI/ML mehanizmu (realiziranom već na jeziku druge sredine – na primjer, na R) – ili virtualne tablice. Drugi primjer: paralelno sa „normalnim režimom“ rada modela (u radnoj sesiji Python), na njegovim ulaznim podacima provodi se „auto-ML“: automatsko usklađivanje optimalnih ulaznih varijabli i vrijednosti parametara. I zajedno sa „normalnim“ učenjem, produktivni model u stvarnom vremenu dobiva i „predlog za optimizaciju“ svoje specifikacije – u kojoj se mijenja skup ulaznih varijabli, mijenjaju se vrijednosti parametara (ne više kao rezultat učenja u Pythonu, već kao rezultat učenja „alternativne“ verzije nje same, na primjer, u stacku H2O), što omogućava ukupnom AI/ML rješenju autonomno da se nosi s neočekivanim promjenama u karakteru ulaznih podataka i modeliranih fenomena.

Upoznajmo se detaljnije s platformskim AI/ML funkcionalnostima InterSystems IRIS, na primjeru stvarnog prototipa.

Na donjoj dijagramu, na lijevoj strani slajda – dio poslovnog procesa koji implementira izvršavanje skripti na Pythonu i R-u. U središnjem dijelu – vizualni logovi izvođenja nekih od tih skripti, zapravo, na Pythonu i na R-u. Odmah iza njih – primjeri sadržaja na jednom i drugom jeziku, poslanih na izvršenje u odgovarajuća okruženja. Na kraju s desne strane – vizualizacije temeljene na rezultatima izvođenja skripti. Vizualizacije na vrhu – napravljene su u IRIS Analytics (podaci su preuzeti iz Pythona u platformu podataka InterSystems IRIS i prikazani na dashboardu pomoću alata platforme), a dolje – napravljene su izravno u radnoj sesiji R i izvođene odatle u grafičke datoteke. Važan aspekt: predstavljeni fragment u prototipu odgovara za obučavanje modela (klasifikacija stanja opreme) temeljenog na podacima koje u stvarnom vremenu dostavlja simulator opreme, po naredbi procesa-monitora kvalitete klasifikacije, uočenog tijekom primjene modela. O implementaciji AI/ML rješenja u obliku skupa interaktivnih procesa („agenta“) bit će riječi kasnije.

Slika 12 Interakcija s Pythonom, R-om i Juliom u InterSystems IRIS

Platformski procesi (poznati i kao „poslovni procesi“, „analitički procesi“, „pipeline-i“ itd. – ovisno o kontekstu), prije svega, uređuju se u grafičkom uređivaču poslovnih procesa unutar same platforme, pri čemu se istovremeno kreira njegova blok dijagram i odgovarajući AI/ML mehanizam (programski kod). Govoreći o tome da „nastaje AI/ML mehanizam“, prvotno podrazumijevamo hibridnost (unutar jednog procesa): sadržaj na jezicima matematičkog modeliranja susreće se sa sadržajem na SQL-u (uključujući proširenja od IntegratedML), na InterSystems ObjectScript, s drugim podržanim jezicima. Štoviše, platformski proces nudi vrlo široke mogućnosti za „crtež“ u obliku hijerarhijski ugniježdenih fragmenata (kao što je vidljivo u primjeru iz donje dijagram), što omogućava učinkovito organiziranje čak i vrlo složenog sadržaja, nikada ne „izlazeći“ iz grafičkog formata (u „negrafičke“ metode/klase/procedure itd.). Odnosno, ako je potrebno (a to se predviđa u većini projekata), apsolutno sva AI/ML rješenja mogu biti implementirana u grafičkom samodokumentirajućem formatu. Primjećujemo da je u središnjem dijelu donje dijagrame, koja prikazuje viši „razinu ugniježdenosti“, jasno da osim same obrade obuke modela (uz pomoć Pythona i R-a), dodaje se analiza tzv. ROC-krive obučene modela, koja omogućava vizualnu (i računski također) procjenu kvalitete obuke – a ova analiza je realizirana na jeziku Julia (izvršava se, sukladno tome, u matematičkom okruženju Julije).

Slika 13 Vizualno okruženje za kompoziciju AI/ML rješenja u InterSystems IRIS

Kao što je već spomenuto, početni razvoj i (u nekim slučajevima) prilagodba već implementiranih AI/ML mehanizama u platformi će/može se obavljati izvan platforme u Jupyter editoru. Na dijagramu ispod vidimo primjer prilagodbe postojećeg platformskog procesa (istog kao na dijagramu iznad) – ovako izgleda u Jupyteru taj njegov fragment koji odgovara za obuku modela. Sadržaj na jeziku Python dostupan je za uređivanje, debagiranje, ispis grafike izravno u Jupyteru. Izmjene (ako je potrebno) mogu se vršiti s trenutačnom sinkronizacijom u platformskom procesu, uključujući njegovu produkcijsku verziju. Na sličan način može se prenositi u platformu i novi sadržaj (automatski se formira novi platformski proces).

Slika 14 Primjena Jupyter Notebook-a za uređivanje AI/ML mehanizma u platformi InterSystems IRIS

Prilagodba platformskog procesa može se izvoditi ne samo u grafičkom ili prijenosnom formatu – već i u "totala" formatu IDE (Integrirano Razvojno Okruženje). Takvi IDE-ovi uključuju IRIS Studio (nativni studio IRIS), Visual Studio Code (proširenje InterSystems IRIS za VSCode) i Eclipse (plug-in Atelier). U određenim slučajevima moguće je simultano korištenje svih tri IDE-a od strane razvojnog tima. Na dijagramu ispod prikazan je primjer uređivanja istog procesa u IRIS studiju, Visual Studio Code-u i Eclipse-u. Za uređivanje je dostupan sav sadržaj: Python/R/Julia/SQL, ObjectScript i poslovni proces.

Slika 15 Razvoj poslovnog procesa InterSystems IRIS u različitim IDE-ima

Posebnu pažnju zaslužuju alati za opisivanje i izvršavanje poslovnih procesa InterSystems IRIS na jeziku Business Process Language (BPL). BPL omogućuje korištenje "gotovih integracijskih komponenti" (activities) u poslovnim procesima – što u suštini daje potpune osnove za tvrdnju da je u InterSystems IRIS implementirana "kontinuirana integracija". Gotove komponente poslovnog procesa (aktivnosti i veze između njih) predstavljaju snažan akcelerator za izgradnju AI/ML rješenja. I ne samo izgradnje: zahvaljujući aktivnostima i vezama između njih, nad fragmentiranim AI/ML razvojem i mehanizmima pojavljuje se "autonomni upravljački sloj" sposoban donositi odluke u stvarnom vremenu, prema situaciji.

Slika 16 Gotove komponente poslovnih procesa za kontinuitet integracije (CI) na platformi InterSystems IRIS

Koncept agentskih sustava (također poznatih kao "multagentski sustavi") ima snažne pozicije u robotizaciji, a platforma InterSystems IRIS organski ga podržava kroz konstrukciju "proizvod-proces". Osim neograničenih mogućnosti za "punjenje" svakog procesa potrebnom funkcionalnošću za opće rješenje, davanjem svojstva "agentnosti" sustavu platformskih procesa omogućuje se stvaranje učinkovitih rješenja za iznimno nestabilne modelirane pojave (ponašanje socijalnih/bioloških sustava, djelomično promatrani tehnološki procesi itd.).

Slika 16 Rad AI/ML rješenja kao agentskog sustava poslovnih procesa u InterSystems IRIS

Nastavljamo našu analizu InterSystems IRIS pričom o praktičnoj primeni platforme za rešavanje celih klasa realnometnih zadataka (prilično detaljno upoznavanje s nekim najboljim praksama platformskog AI/ML na InterSystems IRIS je obuhvaćeno u jednom od naših prethodnih) webinara).

Na "vrućim tragovima" prethodne dijagram, u nastavku je prikazan detaljniji dijagram agenta sistema. Na dijagramu je prikazan isti prototip, vidljiva su sva četiri procesa-agenta, grafički su prikazane veze između njih: GENERATOR – obrađuje stvaranje podataka senzorima opreme, BUFFER – upravlja redovima podataka, ANALYZER – sprovodi samo mašinsko učenje, MONITOR – kontroliše kvalitet mašinskog učenja i signalizira potrebu za ponovnim učenjem modela.

Slika 17 Kompozicija AI/ML rešenja u obliku agenatskog sistema poslovnih procesa u InterSystems IRIS

Na dijagramu ispod ilustrovano je autonomno funkcionisanje drugog robotizovanog prototipa (prepoznavanje emocionalnog sadržaja tekstova) tokom određenog vremena. Na vrhu – evolucija pokazatelja kvaliteta učenja modela (kvalitet raste), na dnu – dinamika pokazatelja kvaliteta primene modela i činjenice ponovnog učenja (crvene trake). Kao što se može videti, rešenje je efikasno i autonomno samoobučeno, i radi na zadatom nivou kvaliteta (vrednosti pokazatelja kvaliteta ne padaju ispod 80%).

Slika 18 Kontinuirano (samo) učenje (CT) na platformi InterSystems IRIS

O «auto-ML» smo takođe ranije govorili, ali je na donjoj dijagramu upotreba ove funkcionalnosti prikazana u detaljima na primeru još jednog prototipa. Na grafičkom dijagramu fragmenta poslovnog procesa prikazana je aktivnost koja pokreće modeliranje u H2O steku, prikazani su rezultati tog modeliranja (izrazito dominiranje dobijenog modela nad «ručno rađenim» modelima, prema uporednoj dijagramu ROC krivulja, kao i automatizovano otkrivanje «najuticajnijih varijabli» iz dostupnog skupa podataka). Važna tačka ovde je ta ušteda vremena i stručnih resursa koja se postiže zahvaljujući «auto-ML»: ono što naš platformski proces radi za pola minuta (pronalazak i obuka optimalnog modela) može da traje od nedelje do meseca za stručnjaka.

Slika 19 Integracija «auto-ML» u AI/ML rešenje na platformi InterSystems IRIS

Dijagram ispod malo «razbija kulminaciju», ali je ovo dobar način za završetak priče o klasama rešenih zadataka u realnom vremenu: podsećamo na to da, uprkos svim mogućnostima platforme InterSystems IRIS, obuka modela pod njenim upravljanjem nije obavezna. Platforma može primiti spolja zvanu PMML specifikaciju modela, obučenu u alatu koji nije pod upravljanjem platforme – i primeniti ovaj model u realnom vremenu od trenutka njegovog uvoza. PMML specifikacije. Pri tome je važno napomenuti da nisu svi AI/ML artefakti sprovedeni u PMML specifikaciju, čak i kada većina najčešćih artefakata to omogućava. Dakle, platforma InterSystems IRIS ima «otvorenu strukturu» i ne znači «platformsku robiju» za korisnike.

Slika 20 Integracija «auto-ML» u AI/ML rešenje na platformi InterSystems IRIS

Nabrojaćemo dodatne platforme prednosti InterSystems IRIS (za jasnoću, primenjujući na upravljanje tehnološkim procesima), koji imaju veliku važnost pri automatizaciji veštačke inteligencije i mašinskog učenja u realnom vremenu:

• Razvijeni alati za integraciju sa svim izvorima i potrošačima podataka (AUTP/SCADA, oprema, Održavanje i popravka, ERP itd.)
• Ugrađeni multimodalna DBMS za visoko-performantnu transakcijsko-analitičku obradu (Hybrid Transaction/Analytical Processing, HTAP) bilo kojeg volumena podataka tehnoloških procesa
• Razvojni alati za neprekidno implementiranje AI/ML mehanizama rješenja u stvarnom vremenu temeljeni na Pythonu, R-u, Juliji
• Adaptivni poslovni procesi za neprekidnu integraciju i (auto-)učenje mehanizama AI/ML rješenja u stvarnom vremenu
• Ugrađeni alati Business Intelligence za vizualizaciju podataka tehnoloških procesa i rezultata rada AI/ML rješenja
• Upravljanje API-jem za isporuku rezultata rada AI/ML rješenja u SCADA/PCS, informacijsko-analitičke sustave, obavijesne servise itd.

AI/ML rješenja na platformi InterSystems IRIS lako se uklapaju u postojeću IT infrastrukturu. Platforma InterSystems IRIS osigurava visoku pouzdanost AI/ML rješenja podrškom redundantnim i katastrofalnim konfiguracijama te fleksibilnim implementacijama u virtualnim okruženjima, na fizičkim poslužiteljima, u privatnim i javnim oblakama, Docker kontejnerima.

Dakle, InterSystems IRIS je univerzalna platforma za AI/ML računanja u stvarnom vremenu. Univerzalnost naše platforme potvrđuje u praksi odsustvo de facto ograničenja po složenosti implementiranih proračuna, sposobnost InterSystems IRIS-a da spaja (u stvarnom vremenu) obradu scenarija iz najrazličitijih industrija, iznimna prilagodljivost svih funkcija i mehanizama platforme specifičnim potrebama korisnika.

Slika 21 InterSystems IRIS — univerzalna platforma za AI/ML računanja u stvarnom vremenu

Za konkretno angažiranje s onima od naših čitatelja koje je zainteresirao ovdje prikazani materijal, preporučujemo da se ne ograničite na njegovo čitanje i nastavite dijalog "uživo". Rado ćemo pružiti podršku u oblikovanju scenarija AI/ML u stvarnom vremenu primjenjivoj na specifičnosti vaše tvrtke, izvršiti zajedničko prototipiranje na platformi InterSystems IRIS, formirati i provesti praktičnu putanju implementacije umjetne inteligencije i strojnog učenja u vaše proizvodne i upravljačke procese. Kontaktna adresa e-pošte naše stručne grupe za AI/ML – MLToolkit@intersystems.com.

Izvor: habr.com