InterSystems IRIS – universali realaus laiko AI/ML platforma

Autorius: Sergejus Lukjančikovas, „InterSystems“ inžinierius konsultantas

Realaus laiko AI/ML skaičiavimo skambučiai

Pradėkime nuo pavyzdžių iš duomenų mokslo praktikos InterSystems:

• Įkeltas pirkėjų portalas yra prijungtas prie internetinės rekomendacijų sistemos. Bus pertvarkytos reklamos visame mažmeninės prekybos tinkle (pavyzdžiui, vietoj „plokščios“ akcijų linijos dabar bus naudojama „segmento-taktikos“ matrica). Kas atsitiks su rekomendaciniais varikliais? Kas atsitiks su duomenų pateikimu ir atnaujinimu į rekomendacijų variklį (įvesties duomenų apimtis padidėjo 25000 XNUMX kartų)? Kas atsitiks su rekomendacijų kūrimu (reikia tūkstantį kartų sumažinti rekomendacijų taisyklių filtravimo slenkstį, nes tūkstančiai kartų padidėja jų skaičius ir „diapazonas“)?
• Yra sistema, skirta stebėti įrangos komponentų defektų atsiradimo tikimybę. Prie stebėjimo sistemos buvo prijungta automatizuota procesų valdymo sistema, kas sekundę perduodanti tūkstančius technologinio proceso parametrų. Kas atsitiks su stebėjimo sistema, kuri anksčiau dirbo su „rankiniais mėginiais“ (ar ji gali teikti tikimybių stebėjimą kas sekundę)? Kas bus, jei įvesties duomenyse atsiras naujas kelių šimtų stulpelių blokas su neseniai į proceso valdymo sistemą pridėtų jutiklių rodmenimis (ar reikės ir kiek laiko reikės stabdyti stebėjimo sistemą, kad į analizę būtų įtraukti duomenys iš naujų jutiklių )?
• Sukurtas AI/ML mechanizmų rinkinys (rekomendavimas, stebėjimas, prognozavimas), kurie naudoja vienas kito darbo rezultatus. Kiek darbo valandų reikia kiekvieną mėnesį, kad šio komplekso veikla būtų pritaikyta prie įvesties duomenų pokyčių? Kas yra bendras „lėtėjimas“, kai jį palaiko valdymo sprendimų priėmimo kompleksas (naujos pagalbinės informacijos atsiradimo jame dažnis, palyginti su naujų įvesties duomenų atsiradimo dažniu)?

Apibendrindami šiuos ir daugelį kitų pavyzdžių, priėjome prie iššūkių, kurie kyla pereinant prie mašininio mokymosi ir dirbtinio intelekto mechanizmų naudojimo realiuoju laiku, formulavimo:

• Ar mus tenkina AI/ML plėtros kūrimo ir pritaikymo (prie besikeičiančios situacijos) greitis mūsų įmonėje?
• Kiek mūsų naudojami AI/ML sprendimai palaiko verslo valdymą realiuoju laiku?
• Ar mūsų naudojami AI/ML sprendimai gali savarankiškai (be kūrėjų) prisitaikyti prie duomenų ir verslo valdymo praktikos pokyčių?

Mūsų straipsnyje išsamiai apžvelgiamos InterSystems IRIS platformos galimybės, susijusios su universaliu AI/ML mechanizmų diegimo, AI/ML sprendimų surinkimo (integravimo) ir AI/ML sprendimų mokymu (testavimo) intensyviu palaikymu. duomenų srautus. Šiame straipsnyje apžvelgsime rinkos tyrimus, AI/ML sprendimų atvejų tyrimus ir konceptualius aspektus to, ką vadiname realaus laiko AI/ML platforma.

Ką žinome iš apklausų: programos realiuoju laiku

rezultatai apklausa„Lightbend“ 800 m. atliko beveik 2019 IT profesionalų, kalba patys už save:

1 pav. Pirmaujantys realaus laiko duomenų vartotojai

Pacituosime svarbius šios apklausos rezultatų ataskaitos fragmentus mūsų vertime:

„... Duomenų srautų integravimo įrankių populiarumo tendencijos, o kartu ir skaičiavimo konteineriuose palaikymas yra sinergetinis atsakas į rinkos prašymą pateikti labiau reaguojantį, racionalesnį, dinamiškesnį efektyvių sprendimų pasiūlymą. Srautinis duomenų perdavimas perduoda informaciją greičiau nei tradiciniai paketiniai duomenys. Prie to pridedama galimybė greitai pritaikyti skaičiavimo metodus, tokius kaip, pavyzdžiui, AI/ML pagrįstos rekomendacijos, sukuriant konkurencinį pranašumą padidinus klientų pasitenkinimą. Lenktynės dėl judrumo taip pat turi įtakos visiems DevOps paradigmos vaidmenims – taikomųjų programų kūrimas ir diegimas tampa veiksmingesni. … Aštuoni šimtai keturi IT specialistai pateikė informaciją apie duomenų srautų naudojimą savo organizacijose. Respondentai daugiausia buvo įsikūrę Vakarų šalyse (41 % Europoje ir 37 % Šiaurės Amerikoje) ir beveik tolygiai pasiskirstė tarp mažų, vidutinių ir didelių įmonių. ...

... Dirbtinis intelektas nėra ažiotažas. Penkiasdešimt aštuoni procentai tų, kurie jau naudoja duomenų srautų apdorojimą produktyviose AI / ML programose, patvirtina, kad kitais metais jų AI / ML naudojimas išaugs labiausiai (palyginti su kitomis programomis).

• Daugumos respondentų nuomone, duomenų srautų naudojimas AI/ML scenarijuose kitais metais išaugs labiausiai.
• AI/ML taikomosios programos augs ne tik dėl palyginti naujų scenarijų tipų, bet ir dėl tradicinių scenarijų, kuriuose vis dažniau naudojami realaus laiko duomenys.
• Be AI/ML, IoT duomenų vamzdynų naudotojų entuziazmo lygis yra įspūdingas – 48 % jau integravusių daiktų interneto duomenis teigia, kad scenarijaus įgyvendinimas šiems duomenims artimiausiu metu gerokai padidės. ..."

Iš šios gana įdomios apklausos aišku, kad mašininio mokymosi ir dirbtinio intelekto scenarijų, kaip duomenų srautų vartojimo lyderių, suvokimas jau yra „pakeliui“. Tačiau ne mažiau svarbus pastebėjimas yra realaus laiko AI/ML suvokimas per DevOps objektyvą: čia jau galime pradėti kalbėti apie vis dar dominuojančios „vienkartinio AI/ML su visiškai prieinamu duomenų rinkiniu“ kultūros transformaciją.

Realaus laiko AI/ML platformos koncepcija

Viena tipiška realaus laiko AI/ML taikymo sritis yra procesų valdymas gamyboje. Remdamiesi jos pavyzdžiu ir atsižvelgdami į ankstesnes mintis, suformuluosime realaus laiko AI/ML platformos koncepciją.
Dirbtinio intelekto ir mašininio mokymosi naudojimas valdant procesus turi keletą savybių:

• Duomenys apie technologinio proceso būklę gaunami intensyviai: dideliu dažniu ir įvairiems parametrams (iki dešimčių tūkstančių parametrų reikšmių per sekundę perduodama iš proceso valdymo sistemos)
• Duomenų apie defektų nustatymą, jau nekalbant apie jų raidą, yra mažai ir nereguliarus, jiems būdingas nepakankamas defektų tipizavimas ir jų lokalizavimas laiku (dažnai vaizduojami popieriniais įrašais).
• Praktiniu požiūriu, mokymui ir modelių taikymui yra prieinamas tik šaltinių duomenų „aktualumo langas“, atspindintis technologinio proceso dinamiką per pagrįstą slenkantį intervalą, kuris baigiasi paskutinėmis nuskaitytomis proceso parametrų reikšmėmis.

Šios savybės verčia mus, be intensyvaus technologinio proceso „plačiajuosčio ryšio įvesties signalo“ priėmimo ir pagrindinio apdorojimo realiuoju laiku, atlikti (lygiagrečiai) AI / rezultatų pritaikymą, mokymą ir kokybės kontrolę. ML modeliai – taip pat realiu laiku. „rėmas“, kurį mūsų modeliai „mato“ slankiojančiame aktualumo lange, nuolat kinta – kartu keičiasi ir AI/ML modelių, anksčiau treniruotų viename iš „rėmų“, darbo rezultatų kokybė. . Pablogėjus AI/ML modelių darbo rezultatų kokybei (pavyzdžiui: „pavojaus normos“ klasifikacijos paklaidos reikšmė peržengė mūsų nustatytas ribas), turėtų būti automatiškai pradėti papildomi modelių mokymai. aktualesnis „rėmas“ - ir pasirenkant momentą pradėti papildomą modelių mokymą, reikėtų atsižvelgti į paties mokymo trukmę ir dabartinės modelių versijos darbo kokybės pablogėjimo dinamiką (nuo dabartinės modelių versijos ir toliau naudojamos, kol modeliai yra mokomi, ir kol bus suformuotos jų „naujai apmokytos“ versijos).

„InterSystems IRIS“ turi pagrindines platformos galimybes, leidžiančias AI/ML sprendimus valdyti procesus realiuoju laiku. Šios galimybės gali būti suskirstytos į tris pagrindines grupes:

• Nuolatinis naujų arba pritaikytų esamų AI/ML mechanizmų diegimas (nuolatinis diegimas/pristatymas, CD) į produktyvų sprendimą, veikiantį realiu laiku InterSystems IRIS platformoje
• Nuolatinis integravimas (CI) į vieną produktyvų įeinančių technologinių procesų duomenų srautų, duomenų eilių, skirtų AI/ML mechanizmų taikymui/mokymui/kokybės kontrolei ir duomenų/kodų/valdymo veiksmų mainams su matematinio modeliavimo aplinkomis, sprendimą, suderintą realiuoju laiku. platforma InterSystems IRIS
• AI/ML mechanizmų tęstinis (savaiminis) mokymas (Continuous Training, CT), atliekamas matematinio modeliavimo aplinkose naudojant InterSystems IRIS platformos perduodamus duomenis, kodą ir valdymo veiksmus ("priimtus sprendimus").

Platformos galimybių, susijusių su mašininiu mokymusi ir dirbtiniu intelektu, klasifikavimas būtent į šias grupes nėra atsitiktinis. Pacituosime metodiką leidinys „Google“, kuri suteikia konceptualų šios klasifikacijos pagrindą, mūsų vertime:

„... Šiais laikais populiari DevOps koncepcija apima didelio masto informacinių sistemų kūrimą ir eksploatavimą. Šios koncepcijos įgyvendinimo pranašumai yra sutrumpėjusi kūrimo ciklų trukmė, greitesnis patobulinimų diegimas ir lankstumas planuojant leidimus. Norint pasiekti šiuos privalumus, „DevOps“ apima bent dviejų praktikų įgyvendinimą:

• Nuolatinis integravimas (CI)
• Nepertraukiamas pristatymas (CD)

Ši praktika taip pat taikoma AI/ML platformoms, siekiant užtikrinti patikimą ir našų produktyvių AI/ML sprendimų surinkimą.

AI/ML platformos skiriasi nuo kitų informacinių sistemų šiais aspektais:

• Komandos kompetencijos: Kuriant AI/ML sprendimą, į komandą dažniausiai įeina duomenų mokslininkai arba „akademiniai“ duomenų tyrimo srities ekspertai, kurie atlieka duomenų analizę, kuria ir testuoja modelius. Šie komandos nariai gali būti ne profesionalūs produktyvūs kodų kūrėjai.
• Kūrimas: AI/ML varikliai yra eksperimentinio pobūdžio. Norint efektyviausiai išspręsti problemą, reikia pereiti įvairias įvesties kintamųjų, algoritmų, modeliavimo metodų ir modelio parametrų kombinacijas. Tokios paieškos sudėtingumas slypi atsekant, „kas veikė / neveikė“, užtikrinant epizodų atkuriamumą, apibendrinant pakartotinio diegimo pokyčius.
• Testavimas: norint išbandyti AI/ML variklius, reikia atlikti platesnį testų spektrą nei daugeliui kitų naujovių. Be standartinių vienetų ir integravimo testų, tikrinamas duomenų pagrįstumas ir modelio taikymo mokymo ir kontroliniams mėginiams rezultatų kokybė.
• Diegimas: AI/ML sprendimų diegimas neapsiriboja nuspėjamomis paslaugomis, naudojančiomis vieną kartą išmokytą modelį. AI/ML sprendimai yra sukurti aplink kelių etapų vamzdynus, kurie atlieka automatizuotą modelių mokymą ir pritaikymą. Diegiant tokius vamzdynus reikia automatizuoti nereikšmingus veiksmus, kuriuos tradiciškai atlieka duomenų mokslininkai, kad būtų galima apmokyti ir išbandyti modelius.
• Produktyvumas: AI/ML varikliams gali trūkti produktyvumo ne tik dėl neefektyvaus programavimo, bet ir dėl nuolat kintančio įvesties duomenų pobūdžio. Kitaip tariant, AI/ML mechanizmų veikimas gali pablogėti dėl įvairesnių priežasčių nei įprastinių patobulinimų. Dėl to reikia stebėti (internete) mūsų AI/ML variklių veikimą, taip pat siųsti įspėjimus arba atmesti rezultatus, jei veiklos rodikliai neatitinka lūkesčių.

AI/ML platformos yra panašios į kitas informacines sistemas tuo, kad abiem reikia nuolatinio kodo integravimo su versijų valdymu, vienetų testavimu, integracijos testavimu ir nuolatinio tobulinimo diegimu. Tačiau AI/ML atveju yra keletas svarbių skirtumų:

• CI (Continuous Integration) nebeapsiriboja tik įdiegtų komponentų kodo testavimu ir patvirtinimu – ji taip pat apima duomenų ir AI/ML modelių testavimą ir patvirtinimą.
• CD (nuolatinis pristatymas / diegimas, nuolatinis diegimas) neapsiriboja paketų ar paslaugų rašymu ir išleidimu, bet reiškia AI / ML sprendimų sudarymo, mokymo ir taikymo platformą.
• CT (Continuous Training, tęstinis mokymas) yra naujas elementas [apytiksliai. straipsnio autorius: naujas elementas, susijęs su tradicine DevOps koncepcija, kurioje CT, kaip taisyklė, yra Continuous Testing], būdingas AI/ML platformoms, atsakingas už savarankišką AI mokymo ir taikymo mechanizmų valdymą. /ML modeliai. ..."

Galime teigti, kad mašininiam mokymuisi ir dirbtiniam intelektui, dirbančiam su realaus laiko duomenimis, reikalingas platesnis įrankių ir kompetencijų rinkinys (nuo kodo kūrimo iki matematinio modeliavimo aplinkų orkestravimo), glaudesnės integracijos tarp visų funkcinių ir dalykinių sričių, efektyvesnio žmogaus ir mašinų išteklių.

Realaus laiko scenarijus: tiekimo siurblių defektų atsiradimo atpažinimas

Toliau naudodami proceso valdymo sritį kaip pavyzdį, apsvarstykite konkrečią problemą (jau minėjome pačioje pradžioje): turime užtikrinti siurblių defektų atsiradimo stebėjimą realiuoju laiku, remiantis proceso parametrų verčių srautu. ir remonto personalo pranešimai apie nustatytus defektus.

2 pav. Problemos formuluotė, skirta stebėti defektų vystymąsi

Daugumos tokiu būdu praktikoje keliamų užduočių ypatybė yra ta, kad duomenų gavimo (APKS) reguliarumas ir efektyvumas turi būti vertinamas epizodiškai ir nereguliariai atsirandančių (ir registruojamų) įvairaus pobūdžio defektų fone. Kitaip tariant: duomenys iš procesų valdymo sistemos atkeliauja kartą per sekundę, teisingi ir tikslūs, o apie defektus užrašomi cheminiu pieštuku nurodant datą bendrame cecho sąsiuvinyje (pvz.: „12.01 – nutekėjimas į dangtelį iš 3-iojo guolio pusės“).

Taigi problemos formuluotę galime papildyti tokiu svarbiu apribojimu: turime tik vieną konkretaus tipo defekto „etiketę“ (t. y. konkretaus tipo defekto pavyzdys pateikiamas proceso valdymo duomenimis. sistema konkrečią datą – ir daugiau tokio konkretaus tipo defekto pavyzdžių neturime). Šis apribojimas iš karto perkelia mus už klasikinio mašininio mokymosi (prižiūrimo mokymosi), kuriam turėtų būti daug „žymų“, ribų.

3 pav. Defektų vystymosi stebėjimo užduoties paaiškinimas

Ar galime kaip nors „padauginti“ vienintelę mūsų turimą „žymą“? Taip, mes galime. Dabartinė siurblio būklė apibūdinama panašumo į registruotus defektus laipsniu. Net nenaudojant kiekybinių metodų, vizualinio suvokimo lygmenyje, stebėdami duomenų reikšmių, gaunamų iš proceso valdymo sistemos, dinamiką, jau galite daug išmokti:

4 pav. Siurblio būklės dinamika tam tikro tipo defekto „ženklo“ fone

Tačiau vizualinis suvokimas (bent jau kol kas) nėra pats tinkamiausias „žymų“ generatorius mūsų greitai besikeičiančiame scenarijuje. Mes įvertinsime esamos siurblio būklės panašumą į praneštus defektus, naudodami statistinį testą.

5 pav. Statistinio bandymo taikymas gaunamiems duomenims defekto „etiketės“ ​​fone

Statistinis testas nustato tikimybę, kad iš proceso valdymo sistemos gautame „srauto pakete“ esantys įrašai su technologinio proceso parametrų reikšmėmis yra panašūs į tam tikro tipo defekto „žymos“ įrašus. Tikimybės reikšmė (statistinio panašumo indeksas), apskaičiuota taikant statistinį testą, paverčiama į 0 arba 1 reikšmę ir tampa mašininio mokymosi „etiketė“ kiekviename konkrečiame paketo, kurio panašumas tiriamas, įraše. Tai yra, apdorojus naujai gautą siurblio būsenos įrašų paketą su statistiniu testu, mes turime galimybę (a) įtraukti šį paketą į mokymo rinkinį, skirtą AI/ML modelio mokymui, ir (b) atlikti kokybės kontrolę. dabartinę modelio versiją, kai naudojate ją šiame pakete.

6 pav. Mašininio mokymosi modelio taikymas gaunamiems duomenims defekto „etiketės“ ​​fone

Viename iš mūsų ankstesnių internetiniai seminarai Mes parodome ir paaiškiname, kaip InterSystems IRIS platforma leidžia įdiegti bet kokį AI/ML mechanizmą nuolat vykdomų verslo procesų pavidalu, kurie stebi modeliavimo rezultatų patikimumą ir pritaiko modelio parametrus. Diegdami savo scenarijaus prototipą su siurbliais, naudojame visas internetinio seminaro metu pristatytas InterSystems IRIS funkcijas – analizatoriaus procese kaip savo sprendimo dalį įdiegiame ne klasikinį prižiūrimą mokymąsi, o pastiprinimo mokymąsi, kuris automatiškai valdo mokymo modelių pasirinkimą. . Mokymo pavyzdyje yra įrašų, dėl kurių „aptikimo konsensusas“ atsiranda pritaikius statistinį testą ir dabartinę modelio versiją, t. y. ir statistinis testas (pakeitus panašumo indeksą į 0 arba 1), ir modelis davė rezultatą. apie tokius įrašus 1. Naujo modelio mokymo metu, jo patvirtinimo metu (naujai parengtas modelis taikomas savo mokymo pavyzdžiui, iš anksto taikant statistinį testą), įrašai, kurie po apdorojimo „neišlaikė“ 1 rezultato atliekant statistinį testą (dėl nuolatinio mokymosi įrašų pavyzdžio iš pirminės defekto „etiketės“), pašalinami iš mokymo rinkinio, o nauja modelio versija mokosi iš „etiketės“ defektas ir „išsaugoti“ įrašai iš srauto.

7 pav. AI/ML skaičiavimų robotizavimas InterSystems IRIS

Jei reikia savotiškos „antrosios nuomonės“ apie aptikimo kokybę, gautą atliekant vietinius skaičiavimus „InterSystems IRIS“, sukuriamas patarėjo procesas, skirtas atlikti mokymą ir modelių pritaikymą valdymo duomenų rinkinyje naudojant debesies paslaugas (pvz., „Microsoft“). Azure, Amazon Web Services , Google Cloud Platform ir kt.):

8 pav. Antroji „Microsoft Azure“ nuomonė, kurią surengė „InterSystems IRIS“.

Mūsų scenarijaus prototipas „InterSystems IRIS“ sukurtas kaip agentu pagrįsta analitinių procesų sistema, sąveikaujanti su įrangos objektu (siurblys), matematinio modeliavimo aplinkomis (Python, R ir Julia) ir užtikrinanti visų dalyvaujančių AI savarankišką mokymąsi. ML mechanizmai – realaus laiko duomenų srautuose.

9 pav. Pagrindinės realiojo laiko AI/ML sprendimo funkcijos InterSystems IRIS

Praktinis mūsų prototipo rezultatas:

• Pavyzdžio defektas, kurį atpažino modelis (sausio 12 d.):

• Besivystantis defektas, kurį atpažino modelis, kuris nebuvo įtrauktas į pavyzdį (rugsėjo 11 d., patį defektą remonto komanda nustatė tik po dviejų dienų, rugsėjo 13 d.):

Modeliavimas realiais duomenimis, kuriuose yra keli to paties defekto epizodai, parodė, kad mūsų sprendimas, įdiegtas InterSystems IRIS platformoje, leidžia nustatyti tokio tipo defektų atsiradimą likus kelioms dienoms iki juos aptinkant remonto komandai.

InterSystems IRIS – universali realaus laiko AI/ML skaičiavimo platforma

InterSystems IRIS platforma supaprastina realaus laiko duomenų sprendimų kūrimą, diegimą ir veikimą. „InterSystems IRIS“ gali vienu metu apdoroti operacijų ir analitinius duomenis; palaiko sinchronizuotus duomenų rodinius pagal kelis modelius (įskaitant reliacinius, hierarchinius, objektų ir dokumentų); veikti kaip platforma, skirta integruoti įvairius duomenų šaltinius ir atskiras programas; teikti pažangią struktūrinių ir nestruktūruotų duomenų analizę realiuoju laiku. „InterSystems IRIS“ taip pat teikia išorinių analizės įrankių naudojimo mechanizmus ir leidžia lanksčiai derinti prieglobą debesyje ir vietiniuose serveriuose.

„InterSystems IRIS“ platformoje sukurtos taikomosios programos yra diegiamos įvairiose pramonės šakose, padedančios įmonėms gauti didelę ekonominę naudą strateginiu ir veiklos požiūriu, didinant pagrįstų sprendimų priėmimą ir mažinant atotrūkį tarp įvykių, analizės ir veiksmų.

10 pav. InterSystems IRIS architektūra realiojo laiko AI/ML kontekste

Kaip ir ankstesnėje diagramoje, toliau pateiktoje diagramoje nauja „koordinačių sistema“ (CD/CI/CT) sujungiama su informacijos srauto tarp platformos darbo elementų diagrama. Vizualizacija prasideda makromechanizmo CD ir tęsiama makromechanizmais CI ir CT.

11 pav. Informacijos srautų tarp InterSystems IRIS platformos AI/ML elementų diagrama

Kompaktinio disko mechanizmo esmė InterSystems IRIS: platformos vartotojai (AI/ML sprendimų kūrėjai) pritaiko esamus ir/arba kuria naujus AI/ML kūrimus naudodami specializuotą AI/ML mechanizmų kodų rengyklę: Jupyter (pilnas pavadinimas: Jupyter Notebook; dėl trumpumo kartais taip pat vadinami šiame redaktoriuje sukurti dokumentai). „Jupyter“ programoje kūrėjas turi galimybę rašyti, derinti ir patikrinti konkretaus AI/ML kūrimo našumą (įskaitant grafikos naudojimą), prieš jį įtraukdamas („diegdamas“) į InterSystems IRIS. Akivaizdu, kad tokiu būdu sukurta nauja plėtra gaus tik pagrindinį derinimą (kadangi Jupyter neveikia su realaus laiko duomenų srautais) - tai yra dalykų tvarka, nes pagrindinis Jupyter kūrimo rezultatas yra atskiro AI / ML mechanizmo pagrindinio veikimo patvirtinimas („parodo laukiamą rezultatą duomenų pavyzdyje“). Panašiai, mechanizmas, jau įtrauktas į platformą (žr. šiuos makromechanizmus) prieš derinant Jupyter, gali reikalauti "grįžimo" į "pre-platform" formą (skaitant duomenis iš failų, dirbant su duomenimis per xDBC, o ne lenteles, tiesioginė sąveika su globaliais – daugiamačiais duomenų masyvais InterSystems IRIS – ir kt.).

Svarbus kompaktinių diskų diegimo InterSystems IRIS aspektas: tarp platformos ir Jupyter įdiegta dvikryptė integracija, leidžianti Python, R ir Julia turinį perkelti į platformą (o vėliau apdoroti platformoje) (visi trys yra programuojami). kalbomis atitinkamomis pirmaujančiomis atvirojo kodo kalbomis). šaltinio matematinio modeliavimo aplinkos). Taigi AI/ML turinio kūrėjai turi galimybę „nuolat diegti“ šį turinį platformoje, dirbdami su pažįstamu „Jupyter“ redaktoriumi, su žinomomis bibliotekomis, pasiekiamomis Python, R, Julia, ir atlikdami pagrindinį derinimą (jei reikia). už platformos ribų.

Pereikime prie CI makrokomandos mechanizmo „InterSystems IRIS“. Diagramoje parodytas „realiojo laiko robotizatoriaus“ makroprocesas (duomenų struktūrų, verslo procesų ir kodo fragmentų kompleksas, organizuotas jų matematinėmis kalbomis ir „ObjectScript“ - gimtoji „InterSystems IRIS“ kūrimo kalba). Šio makroproceso užduotis – palaikyti duomenų eiles, reikalingas AI/ML mechanizmų veikimui (remiantis duomenų srautais, perduodamais į platformą realiu laiku), priimti sprendimus dėl taikymo sekos ir AI/ „asortimento“. ML mechanizmai (jie taip pat yra „matematiniai algoritmai“, „modeliai“ ir kt. – gali būti vadinami skirtingai, priklausomai nuo įgyvendinimo specifikos ir terminologinių nuostatų), nuolat atnaujina duomenų struktūras AI darbo rezultatams analizuoti/ ML mechanizmai (kubai, lentelės, daugiamačiai duomenų masyvai ir kt.) ir kt. – ataskaitoms, prietaisų skydeliams ir pan.).

Svarbus CI diegimo „InterSystems IRIS“ aspektas: tarp platformos ir matematinio modeliavimo aplinkų įdiegta dvikryptė integracija, leidžianti vykdyti „Python“, „R“ ir „Julia“ platformoje esantį turinį atitinkamose jų aplinkose ir gauti vykdymo rezultatus. Ši integracija įgyvendinama ir „terminalo režimu“ (t. y. AI/ML turinys suformuluotas kaip ObjectScript kodas, kuris iškviečia aplinką), ir „verslo proceso režimu“ (t. y. AI/ML turinys suformuluotas kaip verslo procesas naudojant grafinį redaktorių arba kartais naudojant Jupyter, arba naudojant IDE – IRIS Studio, Eclipse, Visual Studio Code). Verslo procesų prieinamumą redaguoti „Jupyter“ rodo ryšys tarp IRIS CI lygiu ir „Jupyter“ kompaktinio disko lygiu. Išsamesnė integravimo su matematinio modeliavimo aplinkomis apžvalga pateikiama toliau. Šiame etape, mūsų nuomone, yra visos priežastys užtikrinti, kad platforma turėtų visus reikalingus įrankius, kad būtų galima įgyvendinti „nuolatinę AI/ML integraciją“ (nuo „nuolatinio diegimo“) į realaus laiko AI/ML sprendimus.

Ir pagrindinis makro mechanizmas: CT. Be jos nebus AI/ML platformos (nors „realiu laiku“ bus įdiegta per CD/CI). CT esmė – platformos darbas su mašininio mokymosi ir dirbtinio intelekto „artefaktais“ tiesiogiai matematinio modeliavimo aplinkų darbo sesijose: modeliais, paskirstymo lentelėmis, matricų vektoriais, neuronų tinklų sluoksniais ir kt. Šis „darbas“ daugeliu atvejų susideda iš minėtų artefaktų kūrimo aplinkoje (pavyzdžiui, modelių atveju „kūrimas“ susideda iš modelio specifikacijos nustatymo ir vėlesnio jo parametrų reikšmių parinkimo - vadinamasis modelio „mokymas“, jų taikymas (modeliams: skaičiavimas naudojant jų tikslinių kintamųjų „modelio“ reikšmes - prognozes, priklausymą kategorijai, įvykio tikimybę ir kt.) ir jau tobulinimą. sukurti ir pritaikyti artefaktai (pavyzdžiui, iš naujo apibrėžiant modelio įvesties kintamųjų rinkinį, remiantis taikymo rezultatais – siekiant pagerinti prognozavimo tikslumą, kaip pasirinktis). Svarbiausias dalykas norint suprasti CT vaidmenį yra jo „abstrakcija“ nuo CD ir CI realybės: CT įgyvendins visus artefaktus, sutelkiant dėmesį į AI/ML sprendimo skaičiavimo ir matematines specifikas, atsižvelgiant į konkrečios aplinkos teikiamas galimybes. Atsakomybė už „įvesties teikimą“ ir „išvesties pateikimą“ bus CD ir CI atsakomybė.

Svarbus CT diegimo būtent InterSystems IRIS aspektas: naudojant jau aukščiau paminėtą integraciją su matematinio modeliavimo aplinkomis, platforma turi galimybę išskirti tuos pačius artefaktus iš darbo seansų, kuriuos ji kontroliuoja matematinėje aplinkoje, ir (svarbiausia) pasukti. juos į platformos duomenų objektus. Pavyzdžiui, paskirstymo lentelė, kuri ką tik buvo sukurta veikiančioje Python sesijoje, gali būti (nestabdant Python seanso) perkelta į platformą, pavyzdžiui, globaliu (daugiamatis InterSystems IRIS duomenų masyvu) ir naudojama. skaičiavimams kitame AI/ML- mechanizme (įdiegta kitos aplinkos kalba - pavyzdžiui, R) - arba virtualioje lentelėje. Kitas pavyzdys: lygiagrečiai su modelio veikimo „normaliu režimu“ (Python darbo sesijoje) jo įvesties duomenims atliekamas „auto-ML“: automatinis optimalių įvesties kintamųjų ir parametrų reikšmių pasirinkimas. Ir kartu su „įprastu“ mokymu, produktyvus modelis realiu laiku taip pat gauna jo specifikacijos „optimizavimo pasiūlymą“ - kuriame keičiasi įvesties kintamųjų rinkinys, keičiasi parametrų reikšmės (nebe mokymosi rezultatas). Python, bet dėl ​​mokymosi naudojant „alternatyvią“ versiją, pvz., H2O steką), leidžiantį bendram AI/ML sprendimui savarankiškai susidoroti su netikėtais modeliuojamų įvesties duomenų ir reiškinių pobūdžio pokyčiais. .

Išsamiau susipažinkime su InterSystems IRIS platformos AI/ML funkcionalumu, pasitelkę realaus prototipo pavyzdį.

Žemiau esančioje diagramoje kairėje skaidrės pusėje yra verslo proceso dalis, kuri įgyvendina scenarijų vykdymą Python ir R. Centrinėje dalyje atitinkamai yra vizualiniai kai kurių šių scenarijų vykdymo žurnalai, Python ir R. Iškart už jų yra turinio pavyzdžiai viena ir kita kalba, perkeliami vykdyti į atitinkamas aplinkas. Pabaigoje dešinėje yra vizualizacijos, pagrįstos scenarijaus vykdymo rezultatais. Vizualizacijos viršuje buvo padarytos naudojant IRIS Analytics (duomenys buvo paimti iš Python į InterSystems IRIS duomenų platformą ir rodomi prietaisų skydelyje naudojant platformą), apačioje buvo padarytos tiesiogiai R darbo sesijoje ir iš ten išvesta į grafinius failus. . Svarbus aspektas: pateiktas fragmentas prototipe yra atsakingas už modelio mokymą (įrangos būsenų klasifikaciją) pagal duomenis, gautus realiu laiku iš įrangos simuliatoriaus proceso, gavus komandą iš klasifikavimo kokybės stebėjimo proceso, stebimo modelio taikymo metu. Toliau bus aptariamas AI/ML sprendimo įgyvendinimas sąveikaujančių procesų („agentų“) pavidalu.

12 pav. Sąveika su Python, R ir Julia InterSystems IRIS

Platforminiai procesai (tai taip pat yra „verslo procesai“, „analitiniai procesai“, „konvejeriai“ ir kt. - priklausomai nuo konteksto) pirmiausia yra redaguojami pačioje platformoje esančiame grafiniame verslo procesų redaktoriuje, o tokioje taip, kad ir jo blokinė schema, ir atitinkamas AI/ML mechanizmas (programos kodas) būtų kuriami vienu metu. Kai sakome, kad „gautas AI/ML mechanizmas“, iš pradžių turime omenyje hibridiškumą (vieno proceso metu): turinys matematinio modeliavimo aplinkų kalbomis yra greta turinio SQL (įskaitant plėtinius iš Integruotas ML), InterSystems ObjectScript, su kitomis palaikomomis kalbomis. Be to, platformos procesas suteikia labai plačias „perteikimo“ galimybes hierarchiškai įdėtų fragmentų pavidalu (kaip matyti toliau pateiktoje diagramoje esančiame pavyzdyje), o tai leidžia efektyviai tvarkyti net labai sudėtingą turinį niekada „neiškritus“. grafinio formato (į „negrafinius“ formatus). » metodai/klasės/procedūros ir pan.). Tai yra, esant poreikiui (ir tai yra numatyta daugumoje projektų), absoliučiai visas AI/ML sprendimas gali būti įgyvendintas grafiniu savidokumentacijos formatu. Atkreipkite dėmesį, kad žemiau esančios diagramos centrinėje dalyje, kuri vaizduoja aukštesnį „susidėvėjimo lygį“, aiškiai matyti, kad be faktinio modelio mokymo darbo (naudojant Python ir R), taip pat analizuojama ir vadinamoji. Pridedama apmokyto modelio ROC kreivė, leidžianti vizualiai (ir skaičiuojant) įvertinti mokymo kokybę – ši analizė įgyvendinama Julia kalba (atitinkamai atliekama Julia matematinėje aplinkoje).

13 pav. Vaizdinė AI/ML sprendimų sudėties aplinka InterSystems IRIS

Kaip minėta anksčiau, platformoje jau įdiegtų AI/ML mechanizmų pirminis kūrimas ir (kai kuriais atvejais) pritaikymas bus/gali būti atliktas už platformos ribų Jupyter redaktoriuje. Žemiau esančioje diagramoje matome esamos platformos proceso pritaikymo pavyzdį (toks pat kaip ir aukščiau esančioje diagramoje) – taip Jupyteryje atrodo fragmentas, atsakingas už modelio mokymą. „Python“ turinį galima redaguoti, derinti ir grafikos išvestis tiesiogiai „Jupyter“. Pakeitimai (jei reikia) gali būti atliekami akimirksniu sinchronizuojant platformos procesą, įskaitant jos produktyvią versiją. Naujas turinys gali būti perkeltas į platformą panašiu būdu (automatiškai generuojamas naujas platformos procesas).

14 pav. Jupyter Notebook naudojimas AI/ML varikliui redaguoti InterSystems IRIS platformoje

Platformos proceso pritaikymas gali būti atliekamas ne tik grafiniu ar nešiojamojo kompiuterio formatu, bet ir „viso“ IDE (Integruotos kūrimo aplinkos) formatu. Šios IDE yra IRIS Studio (gimtoji IRIS studija), Visual Studio Code (InterSystems IRIS plėtinys, skirtas VSCode) ir Eclipse (Atelier papildinys). Kai kuriais atvejais kūrimo komanda gali naudoti visus tris IDE vienu metu. Toliau pateiktoje diagramoje parodytas to paties proceso redagavimo IRIS studijoje, Visual Studio Code ir Eclipse pavyzdys. Redaguoti galima absoliučiai visą turinį: Python/R/Julia/SQL, ObjectScript ir verslo procesus.

15 pav. InterSystems IRIS verslo proceso kūrimas įvairiose IDE

Atskiro paminėjimo nusipelno įrankiai, skirti „InterSystems IRIS“ verslo procesams aprašyti ir vykdyti verslo procesų kalba (BPL). BPL suteikia galimybę verslo procesuose naudoti „paruoštus integracijos komponentus“ (veiklą), o tai iš tikrųjų suteikia pagrindo teigti, kad „InterSystems IRIS“ įdiegta „nuolatinė integracija“. Paruošti verslo procesų komponentai (veikla ir ryšiai tarp jų) yra galingas AI/ML sprendimo surinkimo greitintuvas. Ir ne tik asamblėjos: dėl veiklų ir ryšių tarp jų dėl skirtingų AI/ML raidų ir mechanizmų atsiranda „autonominis valdymo sluoksnis“, galintis priimti sprendimus pagal situaciją realiu laiku.

16 pav. Paruošti verslo procesų komponentai nuolatiniam integravimui (CI) InterSystems IRIS platformoje

Agentų sistemų koncepcija (taip pat žinoma kaip „kelių agentų sistemos“) turi tvirtą poziciją robotizavimo srityje, o „InterSystems IRIS“ platforma organiškai palaiko ją per „produkto proceso“ konstrukciją. Be neribotų galimybių kiekvieną procesą „prikimšti“ bendram sprendimui būtinu funkcionalumu, platformos procesų sistemos suteikimas „agentūros“ savybe leidžia sukurti efektyvius sprendimus itin nestabiliems imituojamiesiems reiškiniams (socialinio/socialinio elgesio elgesiui). biosistemos, iš dalies stebimi technologiniai procesai ir kt.).

16 pav. AI/ML sprendimo kaip agentu pagrįstos verslo procesų sistemos veikimas InterSystems IRIS

Tęsiame InterSystems IRIS apžvalgą pasakojimu apie taikomąjį platformos naudojimą sprendžiant ištisoms realaus laiko problemų klasėms (gana išsamų įvadą į kai kurias geriausias platformos AI/ML praktikas InterSystems IRIS galima rasti vienoje mūsų ankstesnio internetiniai seminarai).

Pagal ankstesnę diagramą, žemiau yra detalesnė agentų sistemos schema. Diagramoje parodytas tas pats prototipas, matomi visi keturi agentų procesai, schematiškai nubraižyti ryšiai tarp jų: ​​GENERATOR - apdoroja duomenų kūrimą įrangos jutikliais, BUFERIS - tvarko duomenų eiles, ANALIZATORIUS - pats atlieka mašininį mokymąsi, MONITOR - stebi mašininio mokymosi kokybę ir pateikia signalą apie būtinybę perkvalifikuoti modelį.

17 pav. AI/ML sprendimo sudarymas agentais pagrįstos verslo procesų sistemos pavidalu InterSystems IRIS

Žemiau pateikta diagrama iliustruoja autonominį kito roboto prototipo veikimą (emocinio tekstų kolorito atpažinimą) kurį laiką. Viršutinėje dalyje – modelio mokymo kokybės rodiklio raida (kokybė auga), apatinėje – modelio taikymo kokybės rodiklio dinamika ir pakartotinio mokymo faktai (raudonos juostelės). Kaip matote, sprendimas išmoko pats efektyviai ir savarankiškai ir veikia tam tikru kokybės lygiu (kokybės balo reikšmės nenukrenta žemiau 80%).

18 pav. Nepertraukiamas (savarankiškas) mokymas (CT) InterSystems IRIS platformoje

Taip pat anksčiau minėjome „auto-ML“, tačiau toliau pateiktoje diagramoje išsamiai parodytas šios funkcijos naudojimas naudojant kito prototipo pavyzdį. Verslo proceso fragmento grafinėje diagramoje parodyta veikla, suaktyvinanti modeliavimą H2O krūvoje, parodyti šio modeliavimo rezultatai (aiškus gauto modelio dominavimas prieš „žmogaus sukurtus“ modelius pagal lyginamąją schemą). ROC kreivės, taip pat automatinis „įtakingiausių kintamųjų“, turimų pradiniame duomenų rinkinyje, identifikavimas). Svarbus momentas yra laiko ir ekspertų išteklių taupymas, kuris pasiekiamas naudojant „auto-ML“: tai, ką mūsų platformos procesas padaro per pusę minutės (optimalaus modelio suradimas ir apmokymas), ekspertui gali užtrukti nuo savaitės iki mėnesio.

19 pav. „Auto-ML“ integravimas į AI/ML sprendimą InterSystems IRIS platformoje

Žemiau pateikta diagrama šiek tiek praleidžia esmę, tačiau tai yra geras būdas užbaigti pasakojimą apie sprendžiamas realaus laiko problemų klases: primename, kad naudojant visas InterSystems IRIS platformos galimybes, jos valdomi mokymo modeliai yra nera privalomas. Platforma iš išorės gali gauti vadinamąją PMML modelio specifikaciją, išmokytą naudoti platformos nekontroliuojamą įrankį – ir taikyti šį modelį realiuoju laiku nuo jo importavimo momento. PMML specifikacijos. Svarbu atsižvelgti į tai, kad ne visi AI/ML artefaktai gali būti sumažinti iki PMML specifikacijos, net jei dauguma dažniausiai pasitaikančių artefaktų tai leidžia. Taigi „InterSystems IRIS“ platforma yra „atviroji kilpa“ ir nereiškia „platformos vergijos“ vartotojams.

20 pav. „Auto-ML“ integravimas į AI/ML sprendimą InterSystems IRIS platformoje

Išvardinkime papildomus InterSystems IRIS platformos pranašumus (aiškumo dėlei, susijusių su procesų valdymu), kurie yra labai svarbūs automatizuojant dirbtinį intelektą ir mašinų mokymąsi realiuoju laiku:

• Sukurti integravimo įrankiai su bet kokiais duomenų šaltiniais ir vartotojais (procesų valdymo sistema/SCADA, įranga, MRO, ERP ir kt.)
• Įmontuotas kelių modelių DBVS didelio našumo operacijų ir analitiniam bet kokio technologinio proceso duomenų kiekio apdorojimui (hibridinis sandoris / analitinis apdorojimas, HTAP)
• Kūrimo įrankiai, skirti nuolatiniam AI / ML variklių diegimui realaus laiko sprendimams, pagrįstiems Python, R, Julia
• Prisitaikantys verslo procesai, skirti nuolatiniam AI/ML sprendimų variklių realiuoju laiku integravimui ir (savarankiniam) mokymuisi
• Integruoti verslo žvalgybos įrankiai, skirti vizualizuoti proceso duomenis ir AI/ML sprendimo rezultatus
• API valdymas AI/ML sprendimo rezultatams pristatyti į procesų valdymo sistemas/SCADA, informacines ir analitines sistemas, siųsti įspėjimus ir kt.

AI/ML sprendimai InterSystems IRIS platformoje lengvai pritaikomi prie esamos IT infrastruktūros. „InterSystems IRIS“ platforma užtikrina aukštą AI/ML sprendimų patikimumą, palaikydama gedimams ir nelaimėms atsparias konfigūracijas ir lankstų diegimą virtualioje aplinkoje, fiziniuose serveriuose, privačiuose ir viešuosiuose debesyse bei „Docker“ konteineriuose.

Taigi, InterSystems IRIS yra universali realaus laiko AI/ML skaičiavimo platforma. Mūsų platformos universalumą praktikoje patvirtina tai, kad nėra de facto taikomų skaičiavimų sudėtingumo apribojimų, InterSystems IRIS galimybė derinti (realiu laiku) įvairių pramonės šakų scenarijų apdorojimą ir išskirtinis bet kokios platformos funkcijos ir mechanizmai pagal konkrečius vartotojų poreikius.

21 pav. InterSystems IRIS – universali realaus laiko AI/ML skaičiavimo platforma

Norėdami iš esmės bendrauti su mūsų skaitytojais, kurie domisi čia pateikta medžiaga, rekomenduojame neapsiriboti jos skaitymu ir tęsti dialogą „gyvai“. Su malonumu suteiksime pagalbą kuriant realaus laiko AI/ML scenarijus, atsižvelgiant į jūsų įmonės specifiką, atliksime bendrus prototipus InterSystems IRIS platformoje, suformuluosime ir praktiškai įgyvendinsime dirbtinio intelekto ir mašininio mokymosi diegimo planą. į savo gamybos ir valdymo procesus. Mūsų AI/ML ekspertų komandos kontaktinis el. paštas – [apsaugotas el. paštu].

Šaltinis: www.habr.com