InterSystems IRIS - denbora errealeko AI/ML plataforma unibertsala

Egilea: Sergey Lukyanchikov, InterSystems-eko aholkularitza ingeniaria

Denbora errealeko AI/ML informatika-deiak

Has gaitezen InterSystems-en Data Science praktikaren esperientziatik jasotako adibideekin:

• Kargatutako erosleen ataria lineako gomendio sistema batera konektatuta dago. Txikizkako sarean sustapenen berregituraketa bat egingo da (adibidez, sustapen-lerro "lau" baten ordez, "segmentu-taktika" matrizea erabiliko da orain). Zer gertatzen da gomendio-motorrekin? Zer gertatzen da datuak gomendio-motorra bidaltzean eta eguneratzean (sarrerako datuen bolumena 25000 aldiz handitu da)? Zer gertatzen da gomendioen garapenarekin (gomendioen arauen iragazketa-atalasea mila aldiz murriztu beharra, haien kopurua eta "barrutia" mila aldiz handitu delako)?
• Ekipoen osagaietan akatsak garatzeko probabilitatea kontrolatzeko sistema bat dago. Prozesuen kontrol sistema automatizatu bat konektatu zen monitorizazio sistemara, segundoro milaka prozesu parametro teknologiko transmitituz. Zer gertatzen da aurretik “eskuzko laginetan” lan egiten zuen monitorizazio sistemarekin (gai al da segundoz segundoko probabilitatearen jarraipena egiteko)? Zer gertatuko da sarrerako datuetan ehunka zutabeko bloke berri bat agertzen bada prozesuaren kontrol-sisteman berriki gehitutako sentsoreen irakurketekin (beharrezkoa al da eta zenbat denboraz gelditzea monitorizazio-sistema sentsore berrien datuak analisian sartzeko? )?
• AI/ML mekanismo multzo bat sortu da (gomendioa, jarraipena, aurreikuspena), bakoitzaren lanaren emaitzak erabiltzen dituztenak. Zenbat gizon-ordu behar dira hilero konplexu honen funtzionamendua sarrerako datuen aldaketetara egokitzeko? Zein da "moteltze" orokorra kudeaketa-erabakiak hartzeko konplexuak onartzen duenean (euskarri-informazio berriaren agerpenaren maiztasuna sarrerako datu berrien maiztasunaren aldean)?

Adibide hauek eta beste asko laburbilduz, ikaskuntza automatikoaren eta adimen artifizialaren mekanismoak denbora errealean erabiltzean sortzen diren erronken formulatzera iritsi gara:

• Pozik al gaude gure enpresan AI/ML garapenak sortzeko eta egokitzeko (egoera aldakorrari) abiadurarekin?
• Erabiltzen ditugun AI/ML soluzioek zenbateraino onartzen dute denbora errealeko negozioen kudeaketa?
• Erabiltzen ditugun AI/ML irtenbideak modu independentean (garatzailerik gabe) datuen eta negozioen kudeaketa-praktiken aldaketetara egokitzeko gai al dira?

Gure artikulua InterSystems IRIS plataformaren gaitasunen ikuspegi sakona da AI/ML mekanismoak hedatzeko laguntza unibertsalari dagokionez, AI/ML soluzioen muntaketa (integrazioa) eta AI/ML irtenbideen prestakuntza (probak) intentsiboetan. datu-korronteak. Artikulu honetan merkatu-ikerketak, AI/ML irtenbideen kasu-azterketak eta denbora errealeko AI/ML plataforma deitzen dugunaren alderdi kontzeptualak aztertuko ditugu.

Inkestetatik dakiguna: denbora errealeko aplikazioak

Findings inkesta800an Lightbend-ek ia 2019 informatikako profesionalen artean egindakoak, bere kabuz hitz egiten dute:

1. Irudia denbora errealeko datuen kontsumitzaile nagusiak

Aipa ditzagun inkesta honen emaitzei buruzko txostenaren zati garrantzitsuak gure itzulpenean:

“... Datu-korronteak integratzeko tresnen ospearen joerak eta, aldi berean, edukiontzietan informatikaren euskarriek erantzun sinergiko bat ematen diote merkatuaren eskaerari, irtenbide eraginkorretako proposamen sentikorrago, arrazional eta dinamikoagoa izateko. Datuak erreproduzitzeak paketeen datu tradizionalek baino azkarrago transferitzen du informazioa. Horri gehitzen zaio konputazio-metodoak azkar aplikatzeko gaitasuna, adibidez, AI/ML-n oinarritutako gomendioak, abantaila lehiakorrak sortuz bezeroen gogobetetze handiagoaren bidez. Arintasunaren lasterketak DevOps paradigmako rol guztietan ere eragina du - aplikazioen garapena eta hedapena eraginkorragoak bihurtuz. … Zortzirehun eta lau IT profesionalek beren erakundeetan datu-fluxuen erabilerari buruzko informazioa eman zuten. Inkestatuak Mendebaldeko herrialdeetan kokatu ziren nagusiki (% 41 Europan eta % 37 Ipar Amerikan) eta ia berdin banatuta zeuden enpresa txiki, ertain eta handien artean. ...

... Adimen artifiziala ez da hype. Produktibitateko AI/ML aplikazioetan datu-korronteak prozesatzea dagoeneko erabiltzen dutenen ehuneko XNUMXk baieztatzen dute AI/MLren erabilerak hazkunde handiena izango duela hurrengo urtean (beste aplikazioekin alderatuta).

• Inkestatu gehienen arabera, datu-korronteak AI/ML agertokietan erabiltzeak hazkunde handiena izango du hurrengo urtean.
• AI/ML-ko aplikazioak haziko dira agertoki mota nahiko berriengatik ez ezik, denbora errealeko datuak gero eta gehiago erabiltzen diren agertoki tradizionalen ondorioz ere.
• AI/MLaz gain, IoT datu-bideen erabiltzaileen ilusio-maila ikusgarria da - dagoeneko IoT datuak integratu dituztenen % 48k esan dute datu horien agertokiaren ezarpenak etorkizun hurbilean hazkunde handia izango duela. ..."

Inkesta nahiko interesgarri honetatik, argi dago jada "bidean" dagoela ikaskuntza automatikoaren eta adimen artifizialaren agertokien pertzepzioa datu-korronteen kontsumoaren lider gisa. Baina berdin garrantzitsua den behaketa bat denbora errealeko AI/ML-aren pertzepzioa da DevOps-en lentearen bidez: hemen jadanik oraindik nagusi den kulturaren eraldaketari buruz hitz egiten has gaitezke "bota daitekeen AI/ML datu multzo guztiz eskuragarri batekin".

Denbora errealeko AI/ML plataforma kontzeptua

Denbora errealeko AI/MLrako aplikazio eremu tipiko bat fabrikazioko prozesuen kontrola da. Bere adibidea erabiliz eta aurreko pentsamenduak kontuan hartuta, denbora errealeko AI/ML plataforma baten kontzeptua formulatuko dugu.
Inteligentzia artifiziala eta ikaskuntza automatikoa prozesuen kontrolan erabiltzeak hainbat ezaugarri ditu:

• Prozesu teknologikoaren egoerari buruzko datuak modu intentsiboan jasotzen dira: maiztasun handiz eta parametro sorta zabalerako (prozesuaren kontrol sistematik segunduko hamarnaka mila parametro-balio igortzen dira).
• Akatsen identifikazioari buruzko datuak, eta horien garapenari buruzko datuak aipatzearren, aitzitik, urriak eta irregularrak dira, akatsen tipifikazio nahikorik eza eta denboran lokalizazioa (askotan paperezko erregistroek irudikatuta) ezaugarriak.
• Ikuspegi praktikotik, iturri-datuen "garrantziaren leihoa" baino ez dago eskuragarri ereduak trebatzeko eta aplikatzeko, prozesu teknologikoaren dinamika prozesuko parametroen azken irakurketa-balioekin amaitzen den arrazoizko tarte labainkor batean islatuz.

Ezaugarri hauek prozesu teknologikotik datorren "banda zabaleko sarrerako seinalea" intentsiboa denbora errealean jasotzeaz eta oinarrizko prozesatzeaz gain, AI/en emaitzen aplikazioa, prestakuntza eta kalitate-kontrola (paraleloki) egitera behartzen gaituzte. ML ereduak - denbora errealean ere. Gure ereduek garrantziaren leiho lerragarrian "ikusten" duten "markoa" etengabe aldatzen ari da, eta horrekin batera, iraganean "markoetako" batean trebatutako AI/ML ereduen lanaren emaitzen kalitatea ere aldatzen da. . AI/ML ereduen lanaren emaitzen kalitatea okertzen bada (adibidez: "alarma-araua" sailkapen-errorearen balioa guk definitu ditugun mugetatik haratago joan da), ereduen prestakuntza osagarria automatikoki abiarazi beharko litzateke. Egungo "markoa" - eta ereduen prestakuntza osagarria abiarazteko unea aukeratzerakoan kontuan izan beharko litzateke nola prestakuntzaren iraupena bera, eta ereduen egungo bertsioaren lan-kalitatea hondatzeko dinamika (ez geroztik ereduen egungo bertsioak erabiltzen jarraitzen dute ereduak entrenatzen diren bitartean, eta haien bertsio “trebatu berriak” osatu arte).

InterSystems IRISek plataforma-gaitasun nagusiak ditu AI/ML soluzioak gaitzeko denbora errealean prozesuak kontrolatzeko. Gaitasun hauek hiru talde nagusitan bana daitezke:

• InterSystems IRIS plataforman denbora errealean funtzionatzen duen soluzio produktibo batean lehendik dauden AI/ML mekanismo berriak edo egokituak etengabe hedatzea (Continuous Deployment/Delivery, CD)
• Etengabeko integrazioa (CI) sarrerako prozesu teknologikoko datu-korronteen soluzio produktibo bakar batean, AI/ML mekanismoen aplikazio/prestakuntza/kalitate kontrolatzeko datu-ilarak eta datu/kode/kontrol-ekintzen trukeak modelizazio matematikoko inguruneekin, denbora errealean orkestratuta. InterSystems IRIS plataforma
• AI/ML mekanismoen etengabeko (auto-)prestakuntza (Continuous Training, CT) InterSystems IRIS plataformak igorritako datu, kode eta kontrol ekintzak (“hartutako erabakiak”) erabiliz modelizazio matematikoko inguruneetan egindakoa.

Plataformen gaitasunak ikaskuntza automatikoari eta adimen artifizialari dagokionez talde horietan zehatz-mehatz sailkatzea ez da ustekabekoa. Aipa dezagun metodologikoa argitalpena Sailkapen honen oinarri kontzeptual bat eskaintzen duen Googlek gure itzulpenean:

“... DevOps kontzeptuak, gaur egun ezaguna, eskala handiko informazio sistemen garapena eta funtzionamendua hartzen ditu. Kontzeptu hau ezartzearen abantailak garapen-zikloen iraupena murriztea, garapenak azkarrago hedatzea eta kaleratze-plangintzan malgutasuna dira. Onura horiek lortzeko, DevOps-ek gutxienez bi praktika ezartzea dakar:

• Etengabeko Integrazioa (CI)
• Etengabeko entrega (CD)

Praktika hauek AI/ML plataformetan ere aplikatzen dira, AI/ML soluzio produktiboen muntaketa fidagarria eta eraginkorra bermatzeko.

AI/ML plataformak beste informazio sistemetatik bereizten dira alderdi hauetan:

• Taldearen gaitasunak: AI/ML irtenbide bat sortzerakoan, taldeak normalean datu-zientzilariak edo datuen ikerketaren alorreko aditu "akademikoak" biltzen ditu, datuen analisia, ereduak garatu eta probatzen dituztenak. Baliteke taldekide hauek ez izatea kode produktiboen garatzaile profesionalak.
• Garapena: AI/ML motorrak izaera esperimentala dute. Problema bat modu eraginkorrenean konpontzeko, sarrera-aldagaien, algoritmoen, modelizazio-metodoen eta eredu-parametroen hainbat konbinaziotan ibili behar da. Bilaketa horren konplexutasuna "funtzionatu zena/funtzionatu ez zuena" trazatzean datza, pasarteen erreproduzigarritasuna bermatuz, garapenak behin eta berriz inplementazioetarako orokortzea.
• Probak: AI/ML motorrak probatzeak beste garapen gehienek baino proba sorta zabalagoa behar dute. Unitate- eta integrazio-proba estandarrez gain, datuen baliozkotasuna eta eredua prestakuntza- eta kontrol-laginei aplikatzearen emaitzen kalitatea aztertzen dira.
• Inplementazioa: AI/ML soluzioen hedapena ez da behin trebatutako eredua erabiltzen duten zerbitzu iragarleetara mugatzen. AI/ML irtenbideak ereduen prestakuntza eta aplikazio automatizatuak egiten dituzten etapa anitzeko kanalizazioen inguruan eraikitzen dira. Horrelako kanalizazioak zabaltzeak datu-zientzialariek eskuz egin ohi dituzten ekintza ez-hutsak automatizatzea dakar, ereduak entrenatu eta probatu ahal izateko.
• Produktibitatea: AI/ML motorrek produktibitate falta izan dezakete ez bakarrik programazio eraginkorraren ondorioz, baita sarrerako datuen etengabeko aldaketaren izaeragatik ere. Beste era batera esanda, AI/ML mekanismoen errendimendua degradatu daiteke ohiko garapenen errendimendua baino arrazoi sorta zabalagoagatik. Horrek gure AI/ML motoreen errendimendua kontrolatu (linean) beharra dakar, baita alertak bidali edo emaitzak baztertu ere, errendimendu-adierazleek itxaropenak betetzen ez badituzte.

AI/ML plataformak beste informazio-sistemen antzekoak dira, biek etengabeko kode-integrazioa behar baitute bertsio-kontrolarekin, unitate-probekin, integrazio-probarekin eta garapen etengabeko hedapenarekin. Hala ere, AI/ML-ren kasuan, hainbat desberdintasun garrantzitsu daude:

• CI (Etengabeko Integrazioa) jada ez da inplementatutako osagaien kodea probatzera eta balioztatzera mugatzen; datuak eta AI/ML ereduak probatu eta baliozkotzea ere barne hartzen du.
• CDa (Continuous Delivery/Deployment, continuous deployment) ez da paketeak edo zerbitzuak idaztera eta kaleratzera mugatzen, baizik eta AI/ML soluzioen konposizio, prestakuntza eta aplikaziorako plataforma bat dakar.
• CT (Etengabeko Prestakuntza, etengabeko prestakuntza) elementu berri bat da [gutxi gorabehera. artikuluaren egilea: elementu berri bat DevOps kontzeptu tradizionalari dagokionez, zeinetan CT, oro har, Etengabeko Testing], AI/ML plataformetan berezkoa dena, AI trebatzeko eta aplikatzeko mekanismoen kudeaketa autonomoaz arduratzen dena. /ML ereduak. ..."

Esan dezakegu ikaskuntza automatikoa eta adimen artifiziala denbora errealeko datuekin lan egiten duten tresna eta gaitasun multzo zabalagoa behar dutela (kodearen garapenetik modelizazio matematikoko inguruneen orkestrazioraino), arlo funtzional eta irakasgai guztien arteko integrazio estuagoa, giza eta gizakien antolaketa eraginkorragoa. makinen baliabideak.

Denbora errealeko eszenatokia: elikadura-ponpetan akatsen garapena ezagutzea

Prozesuaren kontrol-eremua adibide gisa erabiltzen jarraituz, kontuan hartu arazo zehatz bat (hasieran lehen aipatu duguna): ponpetan akatsen garapenaren denbora errealean kontrolatu behar dugu prozesu-parametroen balioen fluxuan oinarrituta. eta konponketa-langileen txostenak identifikatutako akatsei buruz.

2. irudia Arazoen formulazioa akatsen garapena kontrolatzeko

Praktikan horrela planteatzen diren zeregin gehienen ezaugarri bat da datuen jasotzearen erregulartasuna eta eraginkortasuna (APCS) kontuan hartu behar direla hainbat motatako akatsen agerpen (eta erregistro) episodiko eta irregularraren atzealdean. Hau da: prozesua kontrolatzeko sistemaren datuak segundoan behin iristen dira, zuzenak eta zehatzak, eta akatsei buruzko oharrak arkatz kimiko batekin egiten dira tailerreko koaderno orokor batean data adieraziz (adibidez: “12.01 – estalkian isurtzea 3. errodamenduaren albotik”).

Horrela, arazoaren formulazioa muga garrantzitsu honekin osa dezakegu: mota zehatz bateko akats baten "etiketa" bakarra dugu (hau da, mota zehatz bateko akats baten adibidea prozesu-kontroleko datuek adierazten dute. sistema data zehatz batean - eta ez dugu mota zehatz honetako akats baten adibide gehiago). Muga honek berehala garamatza ikasketa automatikoaren (ikaskuntza gainbegiratua) klasikoaren esparrutik haratago, eta horretarako “etiketa” asko egon beharko luke.

3. irudia Akatsen garapena kontrolatzeko zeregina argitzea

Nolabait "biderkatu" al dezakegu gure esku dagoen "etiketa" bakarra? Bai, ahal dugu. Ponparen egungo egoera erregistratutako akatsen antzekotasun mailaren ezaugarria da. Metodo kuantitatiboak erabili gabe ere, ikus-pertzepzio mailan, prozesuen kontrol-sistematik datozen datu-balioen dinamika behatuz, asko ikasi dezakezu:

4. Irudia Ponparen egoeraren dinamika mota jakin bateko akats baten "marka" baten atzealdean

Baina pertzepzio bisuala (oraingoz behintzat) ez da "etiketen" sortzailerik egokiena azkar aldatzen ari den gure eszenatokian. Gaur egungo ponparen egoerak jakinarazitako akatsekin duen antzekotasuna ebaluatuko dugu proba estatistiko baten bidez.

5. Irudia Sarrerako datuei proba estatistiko bat aplikatzea akatsen "etiketa" baten atzeko planoan

Proba estatistiko batek prozesu kontrol-sistematik jasotako "fluxu-paketean" prozesu teknologikoko parametroen balioak dituzten erregistroak mota jakin bateko akats baten "etiketaren" erregistroen antzekoak izateko probabilitatea zehazten du. Proba estatistiko bat aplikatzearen ondorioz kalkulatutako probabilitate-balioa (antzekotasun estatistikoaren indizea) 0 edo 1 balio batean bihurtzen da, antzekotasuna aztertzen ari den paketeko erregistro zehatz bakoitzean ikaskuntza automatikoaren "etiketa" bihurtuz. Hau da, ponparen egoera-erregistroen pakete berri bat proba estatistiko batekin prozesatu ondoren, aukera dugu (a) pakete hau AI/ML eredua entrenatzeko prestakuntza multzora gehitzeko eta (b) kalitate-kontrola egiteko. ereduaren egungo bertsioa pakete honetan erabiltzean.

6. Irudia Ikaskuntza automatikoko eredua sarrerako datuei aplikatzea akatsen "etiketa" baten atzeko planoan

Gure aurreko batean webinarioak InterSystems IRIS plataformak nola edozein AI/ML mekanismo inplementatzeko aukera ematen dizun erakusten eta azaltzen dugu, modelizazioaren emaitzen fidagarritasuna kontrolatzen duten eta ereduaren parametroak egokitzen dituzten negozio-prozesuak etengabe exekutatzeko moduan. Ponpekin gure agertokiaren prototipo bat inplementatzen denean, webinategian aurkeztutako InterSystems IRIS funtzionaltasun guztiak erabiltzen ditugu - analizatzaile-prozesuan inplementatzen dugu gure soluzioaren zati gisa, ez gainbegiratutako ikaskuntza klasikoa, baizik eta indartze-ikaskuntza, zeinak automatikoki kudeatzen duen prestakuntza-ereduen hautaketa. . Prestakuntza-laginak proba estatistikoa eta ereduaren egungo bertsioa aplikatu ondoren "detektatzeko adostasuna" sortzen duten erregistroak ditu, hau da, proba estatistikoak (antzekotasun indizea 0 edo 1era eraldatu ondoren) eta ereduak emaitza eman zuen. Erregistro horien gainean 1. Ereduaren prestakuntza berrian, balioztatzean (trebatu berria den eredua bere prestakuntza-laginari aplikatzen zaio, proba estatistiko bat aldez aurretik aplikatuz), prozesatu ondoren 1. emaitza "erresitu ez" duten erregistroak. proba estatistikoaren bidez (prestakuntzan etengabeko presentzia dela eta akatsaren jatorrizko "etiketa"ko erregistroen lagin bat), prestakuntza-multzotik kentzen dira eta ereduaren bertsio berri batek "etiketa"tik ikasten du. akatsa gehi korrontetik "atxikitako" erregistroak.

7. Irudia AI/ML kalkuluen robotizazioa InterSystems IRIS-en

InterSystems IRIS-en tokiko kalkuluetan lortutako detekzio-kalitateari buruzko "bigarren iritzia" moduko baten beharra badago, aholkulari-prozesu bat sortzen da hodeiko zerbitzuak erabiliz kontrol-datu multzo batean ereduak trebatzeko eta aplikatzeko (adibidez, Microsoft-ek). Azure, Amazon Web Services, Google Cloud Platform, etab.):

8. irudia Microsoft Azure-ren bigarren iritzia InterSystems IRISek orkestratua

InterSystems IRIS-en gure eszenatokiaren prototipoa ekipamendu-objektu batekin (ponpa), modelizazio-ingurune matematikoekin (Python, R eta Julia) elkarreraginean dauden prozesu analitikoen agenteetan oinarritutako sistema gisa diseinatu da, eta inplikatutako AI/ guztiak autoikaskuntza bermatzen duten. ML mekanismoak - denbora errealeko datu-korronteetan.

9. Irudia InterSystems IRISen denbora errealeko AI/ML irtenbidearen funtzionalitate nagusia

Gure prototipoaren emaitza praktikoa:

• Modeloak aitortutako akats lagina (urtarrilak 12):

• Laginean sartu ez zen ereduak aitortutako garapen-akatsa (irailaren 11n, akatsa bera identifikatu zuen konponketa taldeak bi egun beranduago, irailaren 13an):

Akats bereko hainbat pasarte dituzten datu errealetan egindako simulazioak erakutsi zuen InterSystems IRIS plataforman inplementatutako gure soluzioak mota honetako akatsen garapena identifikatzea ahalbidetzen duela konponketa-taldeak detektatu baino egun batzuk lehenago.

InterSystems IRIS - denbora errealeko AI/ML informatika plataforma unibertsala

InterSystems IRIS plataformak denbora errealeko datuen soluzioen garapena, hedapena eta funtzionamendua errazten ditu. InterSystems IRIS aldi berean datu transakzionalak eta analitikoak prozesatzeko gai da; datu-ikuspegi sinkronizatuak onartzen ditu hainbat ereduren arabera (erlazionalak, hierarkikoak, objektuak eta dokumentuak barne); Datu-iturri eta aplikazio indibidual ugari integratzeko plataforma gisa jardutea; Egituratu eta egituratu gabeko datuei buruzko denbora errealeko analisi aurreratuak eskaintzea. InterSystems IRISek kanpoko tresna analitikoak erabiltzeko mekanismoak ere eskaintzen ditu eta hodeian eta tokiko zerbitzarietan ostalaritza konbinazio malgua ahalbidetzen du.

InterSystems IRIS plataforman eraikitako aplikazioak hainbat industriatan zabaltzen dira, eta enpresei onura ekonomiko garrantzitsuak lortzen laguntzen die ikuspegi estrategiko eta operatibotik, erabaki informatuak hartzea areagotuz eta gertaeren, analisiaren eta ekintzen arteko zubiak.

10. Irudia InterSystems IRIS arkitektura denbora errealeko AI/MLaren testuinguruan

Aurreko diagraman bezala, beheko diagraman "koordenatu-sistema" berria (CD/CI/CT) plataformako lan-elementuen arteko informazio-fluxuaren diagrama batekin konbinatzen da. Bistaratzea makromekanismoaren CDarekin hasten da eta makromekanismoak CI eta CTrekin jarraitzen du.

11. Irudia InterSystems IRIS plataformako AI/ML elementuen arteko informazio-fluxuen diagrama

InterSystems IRISen CD mekanismoaren funtsa: plataformako erabiltzaileek (AI/ML soluzioen garatzaileak) lehendik dauden AI/ML garapenak egokitzen eta/edo berriak sortzen dituzte AI/ML mekanismoetarako kode editore espezializatu bat erabiliz: Jupyter (izen osoa: Jupyter Notebook; laburtzeko, editore honetan sortutako dokumentuak ere deitzen dira batzuetan). Jupyter-en, garatzaile batek aukera du AI/ML garapen espezifiko baten errendimendua idazteko, arazketa eta egiaztatzeko (grafikoak erabiltzea barne) InterSystems IRIS-en jarri aurretik ("zabaldu"). Argi dago modu honetan sortutako garapen berri batek oinarrizko arazketa soilik jasoko duela (bereziki, Jupyterrek ez baitu denbora errealeko datu-korronteekin funtzionatzen) - hori ordenan dago, Jupyter-en garapenaren emaitza nagusia delako. AI / ML mekanismo bereizi baten oinarrizko funtzionagarritasunaren berrespena da ("espero den emaitza datu lagin batean erakusten du"). Era berean, plataforman dagoeneko jarrita dagoen mekanismo batek (ikusi hurrengo makro-mekanismoak) Jupyter-en arazketa aurretik "aurre-plataforma" inprimaki batera "itzultzea" eska dezake (fitxategietako datuak irakurtzea, datuak xDBC bidez lan egitea taulen ordez, interakzio zuzena globalekin - dimentsio anitzeko datu-matrizeak InterSystems IRIS - etab.).

InterSystems IRISen CDaren ezarpenaren alderdi garrantzitsu bat: plataformaren eta Jupyterren artean bi norabideko integrazioa ezarri da, Python, R eta Julian edukia plataformara transferitzeko (eta, ondoren, plataforman prozesatzeko) (hirurak programatzen ari dira). hizkuntzak dagozkien kode irekiko hizkuntza nagusietan). iturburuko eredu matematikoko inguruneak). Horrela, AI/ML edukien garatzaileek eduki horien "etengabeko hedapena" egiteko aukera dute plataforman, Jupyter editore ezagunean lan eginez, Python, R, Julian eskuragarri dauden liburutegi ezagunekin eta oinarrizko arazketa eginez (beharrezkoa bada). plataformatik kanpo.

Goazen InterSystems IRISeko CI makro mekanismora. Diagramak "denbora errealeko robotizatzailearen" makro-prozesua erakusten du (haiek hizkuntza matematikoetan eta ObjectScript - InterSystems IRIS-en jatorrizko garapen-lengoaia) orkestratutako datu-egituren, negozio-prozesuen eta kode zatien konplexua. Makro-prozesu honen zeregina AI/ML mekanismoen funtzionamendurako beharrezkoak diren datu-ilarak mantentzea da (plataformara denbora errealean helarazitako datu-korronteetan oinarrituta), aplikazio-sekuentziari eta AI/en "sorta"ari buruzko erabakiak hartzea. ML mekanismoak («algoritmo matematikoak», «ereduak» eta abar ere badira – inplementazioaren zehaztasunen eta lehentasun terminologikoen arabera) ezberdin deitu daitezke), datu-egiturak eguneratuta mantentzen dituzte AI/ren lanaren emaitzak aztertzeko. ML mekanismoak (kuboak, taulak, dimentsio anitzeko datu-matrizeak, etab.) etab. – txostenetarako, aginte-paneletarako, etab.).

InterSystems IRIS-en CI inplementazioaren alderdi garrantzitsu bat: plataformaren eta modelizazio matematikoko inguruneen artean bi norabideko integrazioa ezarri da, plataforman ostatatutako edukia Python, R eta Julian dagozkien inguruneetan exekutatzeko eta exekuzio emaitzak itzultzeko aukera emanez. Integrazio hau bai "terminal moduan" (hau da, AI/ML edukia inguruneari deiak egiten dizkion ObjectScript kode gisa formulatzen da) eta "negozio prozesuen moduan" (hau da, AI/ML edukia negozio prozesu gisa formulatzen da). editore grafiko bat erabiliz, edo batzuetan Jupyter erabiliz, edo IDE bat erabiliz - IRIS Studio, Eclipse, Visual Studio Code). Jupyter-en editatzeko negozio-prozesuen erabilgarritasuna CI mailan IRISen eta CD mailan Jupyterren arteko konexioaren bidez islatzen da. Behean eredu matematikoko inguruneekin integrazioaren ikuspegi zehatzagoa eskaintzen da. Etapa honetan, gure ustez, arrazoi guztiak daude plataformak beharrezko tresna guztiak dituela ziurtatzeko AI/ML garapenen "etengabeko integrazioa" ("etengabeko inplementaziotik datozenak") denbora errealeko AI/ML soluzioetan ezartzeko.

Eta makro mekanismo nagusia: CT. Hori gabe, ez da AI/ML plataformarik egongo (nahiz eta "denbora errealean" CD/CI bidez ezarriko den). CTren funtsa plataformak ikaskuntza automatikoaren eta adimen artifizialaren "artefaktuekin" lan egitea da zuzenean modelizazio matematikoko inguruneetako lan-saioetan: ereduak, banaketa-taulak, matrize-bektoreak, neurona-sareen geruzak, etab. "Lan" hau, kasu gehienetan, aipatutako artefaktuak inguruneetan sortzean datza (ereduen kasuan, adibidez, "sorkuntza" ereduaren zehaztapena eta ondorengo bere parametroen balioak hautatzean datza - ereduaren "prestakuntza" deritzona), haien aplikazioa (ereduetarako: xede-aldagaien "ereduzko" balioen laguntzarekin kalkulatzea - ​​aurreikuspenak, kategoriako kidetasuna, gertaera baten probabilitatea, etab.) eta dagoeneko hobetzea. sortu eta aplikatutako artefaktuak (adibidez, aplikazioaren emaitzetan oinarritutako ereduaren sarrera-aldagaien multzo bat birdefinitzea, aurreikuspenen zehaztasuna hobetzeko, aukera gisa). CTren rola ulertzeko funtsezko puntua CD eta CIren errealitateetatik "abstrakzioa" da: CTk artefaktu guztiak ezarriko ditu, AI/ML irtenbidearen zehaztasun konputazional eta matematikoetan arreta jarriz ingurune zehatzek eskaintzen dituzten gaitasunen barruan. "Inputs ematea" eta "irteerak ematea" CD eta CIren ardura izango da.

InterSystems IRIS-en CT-ren ezarpenaren alderdi garrantzitsu bat: lehen aipatutako eredu matematikoko inguruneekin integrazioa erabiliz, plataformak gaitasuna du artefaktu horiek bere kontrolpean egiten diren ingurune matematikoetan exekutatzen diren lan-saioetatik ateratzeko eta (garrantzitsuena) biratzeko. plataformako datu-objektuetan. Adibidez, Python laneko saio batean sortu berri den banaketa-taula bat (Python saioa gelditu gabe) plataformara transferitu daiteke, adibidez, global baten moduan (dimentsio anitzeko InterSystems IRIS datu-matrizea) eta erabili. beste AI/ML- mekanismo batean kalkuluak egiteko (beste ingurune bateko hizkuntzan inplementatuta -adibidez, R-n)- edo taula birtual batean. Beste adibide bat: ereduaren funtzionamenduaren "modu normalarekin" paraleloan (Python lan saioan), "auto-ML" egiten da bere sarrerako datuetan: sarrerako aldagai optimoen eta parametroen balioen hautaketa automatikoa. Eta "ohiko" prestakuntzarekin batera, denbora errealeko eredu produktibo batek bere zehaztapenaren "optimizaziorako proposamena" ere jasotzen du - eta bertan sarrerako aldagaien multzoa aldatzen da, parametroen balioak aldatzen dira (jada ez prestakuntzaren ondorioz). Python-en, baina beraren bertsio "alternatibo" batekin entrenatzearen ondorioz, H2O pila adibidez), AI/ML irtenbide orokorrak modu autonomoan aurre egiteko aukera ematen dio sarrerako datuen eta fenomenoen izaeran ustekabeko aldaketei. .

Ezagutu dezagun xehetasun gehiago InterSystems IRIS-en AI/ML plataformaren funtzionaltasuna, bizitza errealeko prototipo baten adibidea erabiliz.

Beheko diagraman, diapositibaren ezkerreko aldean, Python-en eta R-n scripten exekuzioa inplementatzen duen negozio-prozesuaren zati bat dago. Erdiko zatian script horietako batzuen exekuzioaren erregistro bisualak daude, hurrenez hurren, Python-en eta R-en. Berehala atzean hizkuntza bateko eta besteko edukien adibideak daude, ingurune egokietara exekutatzeko transferituta. Eskuineko amaieran script exekuzioaren emaitzetan oinarritutako bistaratzeak daude. Goiko bistaratzeak IRIS Analytics-en egin ziren (datuak Python-etik InterSystems IRIS datu-plataformara eraman eta arbel batean bistaratzen ziren plataforma erabiliz), behealdean zuzenean R lan saioan egin ziren eta hortik fitxategi grafikoetara atera ziren. . Alderdi garrantzitsu bat: prototipoan aurkezten den zatia eredua (ekipoen egoeren sailkapena) trebatzeaz arduratzen da ekipoen simulagailuaren prozesutik denbora errealean jasotako datuen gainean, eredua aplikatzean ikusitako sailkapenaren kalitate-monitorearen prozesuaren aginduz. Gehiago eztabaidatuko da AI/ML irtenbide baten ezarpena elkarreraginean dauden prozesuen ("agenteak") moduan.

12. irudia Python, R eta Julia-rekin elkarrekintza InterSystems IRIS-en

Plataforma-prozesuak ("negozio-prozesuak", "prozesu analitikoak", "tubideak" eta abar ere badira -testuinguruaren arabera), lehenik eta behin, plataforman bertan dagoen negozio-prozesuen editore grafikoan editatzen dira, eta halako batean. bere bloke-diagrama eta dagokion AI/ML mekanismoa (programa-kodea) aldi berean sortzeko modua. "AI/ML mekanismo bat lortzen dela" esaten dugunean, hasieran hibridotasuna esan nahi dugu (prozesu baten barruan): eredu matematikoko inguruneetako lengoaietako edukia SQL-ko edukiaren ondoan dago (hedapenak barne. IntegratedML), InterSystems ObjectScript-en, onartzen diren beste hizkuntza batzuekin. Gainera, plataforma-prozesuak "errendatzeko" aukera oso zabalak eskaintzen ditu hierarkikoki habiaraturiko zatien moduan (beheko diagramako adibidean ikus daitekeen bezala), eta horrek eduki oso konplexuak ere eraginkortasunez antolatzeko aukera ematen du inoiz "erortu" gabe. formatu grafikoaren (formatu “ez grafikoetan”). » metodoak/klaseak/prozedurak, etab.). Hau da, beharrezkoa bada (eta proiektu gehienetan aurreikusten da), erabat AI/ML soluzio osoa inplementatu daiteke autodokumentazio grafikoko formatu batean. Kontuan izan beheko diagramaren erdiko zatian, "habiatze-maila" handiagoa adierazten duena, eredua entrenatzeko benetako lanaz gain (Python eta R erabiliz), deritzonaren azterketa bat dela. Prestatutako ereduaren ROC kurba gehitzen da, ikusmenez (eta konputazionalki ere) entrenamenduaren kalitatea ebaluatzeko aukera emanez, eta analisi hau Julia hizkuntzan gauzatzen da (horrelaz, Julia ingurune matematikoan gauzatzen da).

13. Irudia AI/ML soluzioen konposiziorako ikusizko ingurunea InterSystems IRIS-en

Lehen esan bezala, plataforman jada inplementatutako AI/ML mekanismoen hasierako garapena eta (zenbait kasutan) egokitzapena plataformatik kanpo egin daiteke/egin daiteke Jupyter editorean. Beheko diagraman lehendik dagoen plataforma-prozesu bat egokitzeko adibide bat ikusten dugu (goiko diagraman bezalaxe) - hau da Jupyter-en eredua entrenatzeaz arduratzen den zatia. Python edukia zuzenean editatzeko, arazketarako eta grafikoak ateratzeko erabilgarri dago Jupyter-en. Aldaketak (beharrezkoa izanez gero) plataformaren prozesuan berehalako sinkronizazioarekin egin daitezke, bere bertsio produktiboa barne. Eduki berria plataformara era berean transferi daiteke (plataforma prozesu berri bat automatikoki sortzen da).

14. Irudia Jupyter Notebook erabiltzea InterSystems IRIS plataforman AI/ML motorra editatzeko

Plataforma-prozesu baten egokitzapena grafiko edo ordenagailu eramangarri formatuan ez ezik, IDE (Integrated Development Environment) formatuan ere egin daiteke. IDE hauek IRIS Studio (jatorrizko IRIS estudioa), Visual Studio Code (InterSystems IRIS luzapena VSCoderako) eta Eclipse (Atelier plugina) dira. Zenbait kasutan, posible da garapen-talde batek hiru IDEak aldi berean erabiltzea. Beheko diagramak prozesu bera editatzeko adibide bat erakusten du IRIS estudioan, Visual Studio Coden eta Eclipse-n. Eduki guztia dago erabilgarri editatzeko: Python/R/Julia/SQL, ObjectScript eta negozio-prozesua.

15. Irudia InterSystems IRIS negozio-prozesuaren garapena hainbat IDEtan

Aipamen berezia merezi dute InterSystems IRIS negozio-prozesuak Business Process Language (BPL) deskribatzeko eta exekutatzeko tresnak. BPL-k negozio-prozesuetan "prest egindako integrazio-osagaiak" (jarduerak) erabiltzea ahalbidetzen du, eta horrek, hain zuzen ere, arrazoi osoa ematen du InterSystems IRISen "etengabeko integrazioa" ezartzen dela esateko. Prest egindako negozio-prozesuen osagaiak (jarduerak eta haien arteko konexioak) AI/ML irtenbide bat muntatzeko azeleragailu indartsua dira. Eta ez batzarrak bakarrik: haien arteko jarduerei eta AI/ML garapen eta mekanismo ezberdinen gainean dauden loturei esker, “kudeaketa geruza autonomoa” sortzen da, egoeraren arabera erabakiak hartzeko gai dena, denbora errealean.

16. Irudia Prestatutako negozio-prozesuko osagaiak etengabeko integraziorako (CI) InterSystems IRIS plataforman

Agente-sistemen kontzeptuak («agente anitzeko sistema» izenez ere ezagunak) posizio sendoa du robotizazioan, eta InterSystems IRIS plataformak organikoki onartzen du «produktu-prozesua» konstrukzioaren bidez. Prozesu bakoitza konponbide orokorrerako beharrezkoak diren funtzionaltasunekin "betetzeko" aukera mugagabeez gain, plataformako prozesuen sistema "agentzia" propietatearekin hornitzeak aukera ematen du simulazio oso ezegonkorrak diren fenomenoetarako soluzio eraginkorrak sortzeko (gizarte/jokaera. biosistemak, partzialki beha daitezkeen prozesu teknologikoak, etab.).

16. Irudia AI/ML irtenbide baten funtzionamendua agenteetan oinarritutako negozio-prozesu-sistema gisa InterSystems IRIS-en

InterSystems IRIS-en berrikuspenarekin jarraitzen dugu plataformaren erabilera aplikatuari buruzko istorio batekin, denbora errealeko arazoen klase osoak konpontzeko (InterSystems IRIS-en AI/ML plataformaren praktika onen sarrera nahiko zehatza aurki daiteke batean. gure aurrekoa webinarioak).

Aurreko diagramaren ondoan, azpian agente sistemaren diagrama zehatzagoa dago. Diagramak prototipo bera erakusten du, lau agente-prozesuak ikusgai daude, haien arteko erlazioak eskematikoki marraztuta daude: GENERATOR - ekipo-sentsoreen bidez datuak sortzea prozesatzen du, BUFFER - datu-ilarak kudeatzen ditu, ANALYZER - ikasketa automatikoa egiten du, MONITOR - monitorizatzen du. ikaskuntza automatikoaren kalitatea eta eredua birziklatzeko beharrari buruzko seinale bat bidaltzen du.

17. Irudia AI/ML irtenbide baten osaera agenteetan oinarritutako negozio-prozesu-sistema baten moduan InterSystems IRIS-en

Beheko eskemak beste robot-prototipo baten funtzionamendu autonomoa (testuen kolore emozionalaren aitorpena) erakusten du denbora batez. Goiko aldean ereduaren prestakuntzaren kalitate-adierazlearen bilakaera (kalitatea hazten ari da), beheko aldean ereduaren aplikazioaren kalitate-adierazlearen dinamika eta errepikatutako prestakuntzaren gertakariak (marra gorriak). Ikus dezakezunez, irtenbideak modu eraginkorrean eta autonomoan ikasi du, eta kalitate maila jakin batean funtzionatzen du (kalitate puntuazioen balioak ez dira %80tik behera jaisten).

18. Irudia Etengabeko (auto)prestakuntza (CT) InterSystems IRIS plataforman

"Auto-ML" ere aipatu dugu lehenago, baina beheko diagraman funtzionalitate honen erabilera zehatz-mehatz erakusten du beste prototipo baten adibidea erabiliz. Negozio-prozesu baten zati baten eskema grafikoak H2O pilan modelizazioa abiarazten duen jarduera erakusten du, modelizazio horren emaitzak erakusten ditu (emaztutako ereduak “gizakiak” ereduen aurrean duen nagusitasun argia, diagrama konparatiboaren arabera. ROC kurbak, baita jatorrizko datu multzoan eskuragarri dauden "eragin gehien duten aldagaien" identifikazio automatizatua ere). Puntu garrantzitsu bat hemen "auto-ML" bidez lortzen den denbora eta adituen baliabideak aurreztea da: gure plataformako prozesuak minutu erdian egiten duena (eredu optimoa aurkitu eta entrenatzea) aditu bat aste batetik hilabetera eraman dezake.

19. Irudia "auto-ML" InterSystems IRIS plataformako AI/ML soluzio batean integratzea

Beheko diagramak zertxobait huts egiten du, baina konpontzen ari diren denbora errealeko arazoen klaseei buruzko istorioa amaitzeko modu ona da: gogorarazten dizugu InterSystems IRIS plataformaren gaitasun guztiekin, bere kontrolpean dauden prestakuntza ereduak direla. ez derrigorrezkoa. Plataformak kanpotik jaso dezake ereduaren PMML izeneko zehaztapena, plataformaren kontrolpean ez dagoen tresna batean trebatuta, eta eredu hori denbora errealean aplikatu inportatzen den unetik. PMML zehaztapenak. Garrantzitsua da kontuan hartzea AI/ML artefaktu guztiak ezin direla PMML zehaztapen batera murriztu, artefaktu ohikoenetako gehienek hori ahalbidetzen badute ere. Horrela, InterSystems IRIS plataforma "begizta irekia" da eta ez du esan nahi erabiltzaileentzat "plataformaren esklabutza".

20. Irudia "auto-ML" InterSystems IRIS plataformako AI/ML soluzio batean integratzea

Zerrenda ditzagun InterSystems IRIS-en plataformaren abantaila gehigarriak (argitasuna lortzeko, prozesuen kontrolari dagokionez), adimen artifizialaren automatizazioan eta denbora errealeko ikaskuntza automatikoan garrantzi handia dutenak:

• Integrazio tresnak garatu ditu edozein datu-iturri eta kontsumitzaileekin (prozesuak kontrolatzeko sistema/SCADA, ekipoak, MRO, ERP, etab.)
• Sartua eredu anitzeko DBMS errendimendu handiko transakzio- eta prozesaketa analitikorako (Transakzio hibridoa/Prozesamendu analitikoa, HTAP) prozesu teknologikoko datuen edozein bolumenerako
• Python, R, Julian oinarritutako denbora errealeko soluzioetarako AI/ML motoreak etengabe hedatzeko garapen tresnak
• Negozio-prozesu moldagarriak denbora errealeko AI/ML irtenbide-motorren etengabeko integraziorako eta (auto-)ikaskuntzarako
• Prozesuaren datuak eta AI/ML irtenbide baten emaitzak ikusteko Business Intelligence tresnak integratuak
• API kudeaketa AI/ML irtenbidearen emaitzak prozesatzeko kontrol sistemei/SCADA, informazio eta analitiko sistemetara, alertak bidaltzeagatik, etab.

InterSystems IRIS plataformako AI/ML soluzioak erraz sartzen dira lehendik dagoen IT azpiegituran. InterSystems IRIS plataformak AI/ML soluzioen fidagarritasun handia bermatzen du akatsekiko eta hondamendiekiko tolerantziazko konfigurazioak eta hedapen malgua ingurune birtualetan, zerbitzari fisikoetan, hodei pribatu eta publikoetan eta Docker edukiontzietan onartzen duelako.

Beraz, InterSystems IRIS denbora errealeko AI/ML informatika plataforma unibertsala da. Gure plataformaren unibertsaltasuna praktikan berresten da inplementatutako kalkuluen konplexutasunaren de facto murrizketarik ez izateak, InterSystems IRISek hainbat industriatako agertokien prozesaketa (denbora errealean) konbinatzeko duen gaitasunak eta egokitzeko aparteko gaitasunak. edozein plataforma-funtzio eta mekanismo erabiltzaileen behar zehatzetara.

21. Irudia InterSystems IRIS - denbora errealeko AI/ML informatika plataforma unibertsala

Hemen aurkezten den materiala interesatzen zaien irakurleekin elkarreragin sakonagoa izateko, irakurtzera ez mugatzea eta elkarrizketa "zuzenean" jarraitzea gomendatzen dugu. Pozik egongo gara zure enpresaren berezitasunei dagokienez denbora errealeko AI/ML agertokiak formulatzeko laguntza emango, InterSystems IRIS plataforman prototipo bateratuak egingo ditugu, adimen artifiziala eta ikaskuntza automatikoa sartzeko bide-orri bat formulatu eta praktikan ezarriko dugu. zure ekoizpen eta kudeaketa prozesuetan. Gure AI/ML Adituen Taldea Harremanetarako Posta elektronikoa - [posta elektroniko bidez babestua].

Iturria: www.habr.com