Aŭtoro: Sergey Lukyanchikov, konsilanta inĝeniero ĉe InterSystems
Realtempaj AI/ML-komputikovokoj
Ni komencu per ekzemploj el la sperto pri datumscienco-praktiko ĉe InterSystems:
- La ŝarĝita aĉetanta portalo estas konektita al interreta rekomendsistemo. Okazos restrukturado de promocioj tra la podetala reto (ekzemple, anstataŭ "ebena" linio de promocioj, nun estos uzata matrico de "segmento-taktika"). Kio okazas al rekomendaj motoroj? Kio okazas al la submetado kaj ĝisdatigo de datumoj al la rekomendmotoro (la volumo de eniga datumoj pliiĝis je 25000 XNUMX fojojn)? Kio okazas al la disvolviĝo de rekomendoj (la bezono redukti la filtran sojlon de rekomendaj reguloj je miloble pro milobla pliiĝo de ilia nombro kaj "intervalo")?
- Ekzistas sistemo por monitorado de la verŝajneco de difektoj evoluantaj en ekipaĵkomponentoj. Aŭtomatigita procezkontrolsistemo estis konektita al la monitora sistemo, elsendante milojn da teknologiaj procezparametroj ĉiun sekundon. Kio okazas al la monitora sistemo, kiu antaŭe funkciis pri "manaj specimenoj" (ĉu ĝi kapablas provizi duan-post-sekundan probablan monitoradon)? Kio okazos, se nova bloko de kelkcent kolumnoj aperos en la enigo-datumoj kun legaĵoj de sensiloj lastatempe aldonitaj al la proceza kontrolsistemo (ĉu estos necese kaj dum kiom da tempo haltigi la monitoran sistemon por inkluzivi datumojn de novaj sensiloj en la analizo? )?
- Aro de AI/ML-mekanismoj (rekomendo, monitorado, prognozo) estis kreita, kiuj uzas la rezultojn de ĉiu alies laboro. Kiom da homhoroj estas bezonataj ĉiumonate por adapti la funkciadon de ĉi tiu komplekso al ŝanĝoj en enigo-datumoj? Kio estas la ĝenerala "malrapidiĝo" kiam subtenata de la administraddecida komplekso (la ofteco de apero de novaj subtenaj informoj en ĝi relative al la ofteco de apero de novaj enigdatenoj)?
Resumante ĉi tiujn kaj multajn aliajn ekzemplojn, ni venis al la formuliĝo de la defioj kiuj aperas kiam oni transiras al la uzo de maŝinlernado kaj mekanismoj de artefarita inteligenteco en reala tempo:
- Ĉu ni kontentas pri la rapideco de kreado kaj adapto (al la ŝanĝiĝanta situacio) de evoluoj de AI/ML en nia kompanio?
- Kiom la AI/ML-solvoj, kiujn ni uzas, subtenas realtempan komercan administradon?
- Ĉu la AI/ML-solvoj, kiujn ni uzas, kapablas sendepende (sen programistoj) adaptiĝi al ŝanĝoj en datumoj kaj komercaj administradpraktikoj?
Nia artikolo estas ĝisfunda superrigardo de la kapabloj de la InterSystems IRIS-platformo laŭ universala subteno por la disfaldiĝo de AI/ML-mekanismoj, kunigo (integriĝo) de AI/ML-solvoj, kaj trejnado (testado) de AI/ML-solvoj pri intensaj solvoj. datumfluoj. Ni rigardos merkatan esploron, kazesplorojn de AI/ML-solvoj kaj koncipajn aspektojn de tio, kion ni nomas realtempa AI/ML-platformo en ĉi tiu artikolo.
Kion ni scias el enketoj: realtempaj aplikoj
Результаты farita inter preskaŭ 800 IT-profesiuloj en 2019 fare de Lightbend, parolas por si mem:
Figuro 1 Ĉefaj konsumantoj de realtempaj datumoj
Ni citu gravajn fragmentojn de la raporto pri la rezultoj de ĉi tiu enketo en nia traduko:
"... Tendencoj en la populareco de iloj por integri datumfluojn kaj, samtempe, subteni komputadon en ujoj disponigas sinergian respondon al la peto de la merkato por pli respondema, racia, dinamika propono de efikaj solvoj. Flui datumoj transigas informojn pli rapide ol tradiciaj pakaj datumoj. Aldonita al ĉi tio estas la kapablo rapide apliki komputilajn metodojn, kiel ekzemple AI/ML-bazitaj rekomendoj, kreante konkurencivajn avantaĝojn per pliigita klientkontento. La vetkuro por facilmoveco ankaŭ influas ĉiujn rolojn en la paradigmo DevOps - farante aplikaĵan disvolviĝon kaj deplojon pli efikaj. … Okcent kvar IT-profesiuloj provizis informojn pri la uzo de datumfluoj en siaj organizoj. Respondantoj estis ĉefe situantaj en okcidentaj landoj (41% en Eŭropo kaj 37% en Nordameriko) kaj estis preskaŭ egale distribuitaj inter malgrandaj, mezaj kaj grandaj kompanioj. ...
... Artefarita inteligenteco ne estas ekzaktado. Kvindek ok procentoj de tiuj jam uzantaj datumfluan prilaboradon en produktivecaj AI/ML-aplikoj konfirmas, ke ilia uzo de AI/ML vidos la plej grandan kreskon en la venonta jaro (kompare kun aliaj aplikoj).
- Laŭ la plimulto de respondantoj, la uzo de datumfluoj en AI/ML-scenaroj vidos la plej grandan kreskon en la venonta jaro.
- Aplikoj en AI/ML kreskos ne nur pro relative novaj specoj de scenaroj, sed ankaŭ pro tradiciaj scenaroj en kiuj realtempaj datumoj estas ĉiam pli uzataj.
- Krom AI/ML, la nivelo de entuziasmo inter uzantoj de IoT-datumoj estas impresa - 48% de tiuj, kiuj jam integris IoT-datumojn, diras, ke scenaro efektivigo sur ĉi tiuj datumoj vidos signifan pliiĝon en proksima estonteco. ..."
El ĉi tiu sufiĉe interesa enketo, estas klare, ke la percepto de maŝinlernado kaj artefarita inteligenteco scenaroj kiel gvidantoj en la konsumo de datumfluoj jam estas "survoje". Sed same grava observado estas la percepto de realtempa AI/ML per la lenso de DevOps: ĉi tie ni jam povas komenci paroli pri la transformo de la ankoraŭ domina kulturo de "forĵetebla AI/ML kun plene alirebla datumaro."
Realtempa koncepto de platformo AI/ML
Unu tipa aplika areo por realtempa AI/ML estas proceza kontrolo en fabrikado. Uzante ŝian ekzemplon kaj konsiderante antaŭajn pensojn, ni formulos la koncepton de realtempa AI/ML-platformo.
La uzo de artefarita inteligenteco kaj maŝinlernado en proceza kontrolo havas kelkajn funkciojn:
- Datumoj pri la stato de la teknologia procezo estas intense ricevitaj: kun alta frekvenco kaj por ampleksa gamo da parametroj (ĝis dekoj da miloj da parametraj valoroj transdonitaj sekundo de la proceza kontrolsistemo)
- Datumoj pri identigo de difektoj, sen mencii datumojn pri ilia evoluo, male, estas malabundaj kaj neregulaj, karakterizitaj de nesufiĉa tipado de difektoj kaj ilia lokalizo en tempo (ofte reprezentitaj per paperaj registroj)
- De praktika vidpunkto, nur "fenestro de graveco" de la fontaj datumoj disponeblas por trejnado kaj aplikado de modeloj, reflektante la dinamikon de la teknologia procezo dum akceptebla glita intervalo finiĝanta kun la lastaj legitaj valoroj de la procezaj parametroj.
Ĉi tiuj funkcioj devigas nin, krom ricevi kaj baza prilaborado en reala tempo de la intensa "larĝbenda eniga signalo" de la teknologia procezo, plenumi (paralele) la aplikon, trejnadon kaj kvalitan kontrolon de la rezultoj de la AI / ML-modeloj - ankaŭ en reala tempo. La "kadro", kiun niaj modeloj "vidas" en la glita fenestro de graveco, konstante ŝanĝiĝas - kaj kun ĝi, ankaŭ la kvalito de la rezultoj de la laboro de AI/ML-modeloj trejnitaj sur unu el la "kadroj" en la pasinteco ankaŭ ŝanĝiĝas. . Se la kvalito de la rezultoj de la laboro de AI/ML-modeloj plimalboniĝas (ekzemple: la valoro de la klasifika eraro "alarm-norma" preterpasis la limojn, kiujn ni difinis), plia trejnado de la modeloj devus esti aŭtomate lanĉita sur pli aktuala "kadro" - kaj la elekto de la momento por lanĉi plian trejnadon de la modeloj devus konsideri kiel la daŭron de la trejnado mem, kaj la dinamikon de difekto en la kvalito de laboro de la nuna versio de la modeloj (ekde la nunaj versioj de la modeloj daŭre estas uzitaj dum la modeloj estas trejnitaj, kaj ĝis iliaj "novedukitaj" versioj estas formitaj).
InterSystems IRIS havas ŝlosilajn platformkapablojn por ebligi AI/ML-solvojn por realtempa proceza kontrolo. Ĉi tiuj kapabloj povas esti dividitaj en tri ĉefajn grupojn:
- Kontinua deplojo (Kontinua Deplojo/Liveraĵo, KD) de novaj aŭ adaptitaj ekzistantaj AI/ML-mekanismoj en produktivan solvon funkciantan en reala tempo sur la InterSystems IRIS-platformo
- Kontinua Integriĝo (CI) en ununuran produktivan solvon de envenantaj teknologiaj procezaj datumfluoj, datumvicoj por aplikaĵo/trejnado/kvalita kontrolo de AI/ML-mekanismoj kaj interŝanĝoj de datumoj/kodo/kontrolaj agoj kun matematikaj modelaj medioj, reĝisorita en reala tempo. platformo InterSystems IRIS
- Kontinua (mem-)trejnado (Kontinua Trejnado, CT) de AI/ML-mekanismoj, farita en matematikaj modelaj medioj uzantaj datenojn, kodojn kaj kontrolajn agojn ("decidoj faritaj") elsenditaj de la InterSystems IRIS-platformo
La klasifiko de platformaj kapabloj rilate al maŝinlernado kaj artefarita inteligenteco en ĝuste ĉi tiujn grupojn ne estas hazarda. Ni citu la metodikan Guglo, kiu provizas koncipan bazon por ĉi tiu klasifiko, en nia traduko:
“... La koncepto DevOps, populara nuntempe, kovras la disvolviĝon kaj funkciadon de grandskalaj informsistemoj. La avantaĝoj de efektivigado de tiu koncepto estas redukto en la tempodaŭro de evolucikloj, pli rapida deplojo de evoluoj, kaj fleksebleco en eldonplanado. Por atingi ĉi tiujn avantaĝojn, DevOps implikas la efektivigon de almenaŭ du praktikoj:
- Kontinua Integriĝo (CI)
- Kontinua Livero (KD)
Ĉi tiuj praktikoj ankaŭ validas por AI/ML-platformoj por certigi fidindan kaj efikan kunigon de produktivaj AI/ML-solvoj.
AI/ML-platformoj devias de aliaj informsistemoj en la sekvaj aspektoj:
- Teamaj kompetentecoj: Kreante AI/ML-solvon, la teamo kutime inkluzivas datumajn sciencistojn aŭ "akademiajn" spertulojn en la kampo de datumesplorado, kiuj faras datumajn analizojn, disvolvas kaj testas modelojn. Ĉi tiuj grupanoj eble ne estas profesiaj produktivaj kodprogramistoj.
- Evoluo: AI/ML-motoroj estas eksperimentaj en naturo. Por solvi problemon en la plej efika maniero, necesas trairi diversajn kombinaĵojn de eniga variabloj, algoritmoj, modelaj metodoj kaj modelaj parametroj. La komplekseco de tia serĉo kuŝas en spurado "kio funkciis/ne funkciis", certigante reprodukteblecon de epizodoj, ĝeneraligo de evoluoj por ripetaj efektivigoj.
- Testado: Testado de AI/ML-motoroj postulas pli larĝan gamon da testoj ol la plej multaj aliaj evoluoj. Aldone al normaj unuo kaj integriĝtestoj, datenvalideco kaj la kvalito de la rezultoj de aplikado de la modelo al trejnado kaj kontrolaj specimenoj estas testitaj.
- Deplojo: Deplojo de AI/ML-solvoj ne estas limigita al prognozaj servoj, kiuj uzas iam trejnitan modelon. AI/ML-solvoj estas konstruitaj ĉirkaŭ plurfazaj duktoj, kiuj plenumas aŭtomatigitan modeltrejnadon kaj aplikadon. Deploji tiajn duktojn implikas aŭtomatigi ne-trivialajn agojn tradicie faritajn permane fare de datumsciencistoj por povi trejni kaj testi modelojn.
- Produktiveco: AI/ML-motoroj povas malhavi produktivecon ne nur pro malefika programado, sed ankaŭ pro la konstante ŝanĝiĝanta naturo de la enirdatenoj. Alivorte, la agado de AI/ML-mekanismoj povas degradi pro pli larĝa gamo da kialoj ol la agado de konvenciaj evoluoj. Kio kondukas al la bezono monitori (rete) la agadon de niaj AI/ML-motoroj, kaj ankaŭ sendi atentigojn aŭ malakcepti rezultojn se agado-indikiloj ne plenumas atendojn.
AI/ML-platformoj estas similaj al aliaj informsistemoj en tio ke ambaŭ postulas kontinuan kodan integriĝon kun versiokontrolo, unutestadon, integrigantestadon kaj kontinuan evoluan deplojon. Tamen, en la kazo de AI/ML, ekzistas pluraj gravaj diferencoj:
- CI (Kontinua Integriĝo) ne plu estas limigita al testado kaj validigado de la kodo de deplojitaj komponantoj - ĝi ankaŭ inkluzivas testadon kaj validigon de datumoj kaj AI/ML-modeloj.
- KD (Kontinua Livero/Deplojo, kontinua deplojo) ne estas limigita al verkado kaj liberigo de pakaĵoj aŭ servoj, sed implicas platformon por komponado, trejnado kaj apliko de AI/ML-solvoj.
- CT (Kontinua Trejnado, daŭra trejnado) estas nova elemento [ĉ. aŭtoro de la artikolo: nova elemento rilate al la tradicia koncepto de DevOps, en kiu CT estas, kiel regulo, Kontinua Testado], eneca en AI/ML-platformoj, respondeca por la aŭtonoma administrado de la mekanismoj por trejnado kaj aplikado de AI. /ML-modeloj. ..."
Ni povas konstati, ke maŝinlernado kaj artefarita inteligenteco laboranta pri realtempaj datumoj postulas pli larĝan aron de iloj kaj kompetentecoj (de koda evoluo ĝis reĝisorado de matematikaj modelaj medioj), pli proksiman integriĝon inter ĉiuj funkciaj kaj fakaj fakoj, pli efikan organizon de homaj kaj fakoj. maŝinaj rimedoj.
Realtempa scenaro: rekonante la evoluon de difektoj en furaĝpumpiloj
Daŭrigante uzi la procezkontrolareon kiel ekzemplon, konsideru specifan problemon (ni jam menciis ĉe la komenco): ni devas provizi realtempan monitoradon de la disvolviĝo de difektoj en pumpiloj bazita sur la fluo de procezaj parametrovaloroj kaj raportoj de riparpersonaro pri identigitaj difektoj.
Figuro 2 Problemformulo por monitorado de la evoluo de difektoj
Karakterizaĵo de la plej multaj taskoj prezentitaj tiamaniere en praktiko estas ke la reguleco kaj efikeco de datenricevo (APCS) devas esti pripensitaj kontraŭ la fono de la epizoda kaj neregula okazo (kaj registrado) de difektoj de diversaj specoj. Alivorte: datumoj de la proceza kontrolsistemo alvenas unufoje sekundo, ĝustaj kaj precizaj, kaj notoj pri difektoj estas faritaj per kemia krajono indikante la daton en ĝenerala kajero en la laborejo (ekzemple: “12.01 – liko en la kovrilon. de la flanko de la 3-a lagro”).
Tiel, ni povas kompletigi la formulon de la problemo kun la sekva grava limigo: ni havas nur unu "etikedon" de difekto de specifa tipo (t.e., ekzemplo de difekto de specifa tipo estas reprezentita per datenoj de la proceza kontrolo. sistemo en specifa dato - kaj ni ne havas pliajn ekzemplojn de difekto de tiu ĉi speciala tipo). Ĉi tiu limigo tuj kondukas nin preter la amplekso de klasika maŝinlernado (kontrolita lernado), por kiu devus ekzisti multaj "etikedoj".
Figuro 3 Klarigo de la tasko de monitorado de la disvolviĝo de difektoj
Ĉu ni povas iel "multobligi" la solan "etikedon" je nia dispono? Jes ni povas. La nuna kondiĉo de la pumpilo estas karakterizita per la grado de simileco al registritaj difektoj. Eĉ sen uzo de kvantaj metodoj, je la nivelo de vida percepto, observante la dinamikon de datumvaloroj alvenantaj de la proceza kontrolsistemo, vi jam povas lerni multon:
Figuro 4 Dinamiko de la pumpilkondiĉo kontraŭ la fono de "marko" de difekto de antaŭfiksita tipo
Sed vida percepto (almenaŭ nuntempe) ne estas la plej taŭga generatoro de "etikedoj" en nia rapide ŝanĝiĝanta scenaro. Ni taksos la similecon de la nuna pumpilkondiĉo al la raportitaj difektoj uzante statistikan teston.
Figuro 5 Aplikado de statistika testo al envenantaj datumoj sur la fono de difekta "etikedo"
Statistika testo determinas la probablon, ke la registroj kun la valoroj de la teknologiaj procezaj parametroj en la "flupako" ricevita de la proceza kontrola sistemo estas similaj al la registroj de la "etikedo" de certa tipo. La probabla valoro (statistika simileca indekso) kalkulita kiel rezulto de aplikado de statistika testo estas konvertita al valoro de 0 aŭ 1, iĝante "etikedo" por maŝinlernado en ĉiu specifa rekordo en la pakaĵeto estanta ekzamenita por simileco. Tio estas, post procesado de lastatempe ricevita pakaĵo de pumpaj stato-rekordoj kun statistika testo, ni havas la ŝancon (a) aldoni ĉi tiun pakaĵon al la trejnadaro por trejni la modelon AI/ML kaj (b) efektivigi kvalitan kontrolon de la aktuala versio de la modelo kiam oni uzas ĝin al ĉi tiu pako.
Figuro 6 Aplikado de maŝinlernada modelo al envenantaj datumoj sur la fono de difekta "etikedo"
En unu el niaj antaŭaj Ni montras kaj klarigas kiel la InterSystems IRIS-platformo permesas al vi efektivigi ajnan AI/ML-mekanismon en la formo de kontinue ekzekuti komercajn procezojn, kiuj kontrolas la fidindecon de modelaj rezultoj kaj adaptas modelajn parametrojn. Dum efektivigo de prototipo de nia scenaro per pumpiloj, ni uzas la tutan funkciecon de InterSystems IRIS prezentitan dum la retseminario - efektivigante en la analizprocezo kiel parto de nia solvo ne klasikan kontrolitan lernadon, sed prefere plifortigan lernadon, kiu aŭtomate administras la elekton por trejnado-modeloj. . La trejna specimeno enhavas rekordojn, sur kiuj ekestas "detekta konsento" post aplikado de kaj la statistika testo kaj la nuna versio de la modelo - t.e., kaj la statistika testo (post transformado de la simileca indekso al 0 aŭ 1) kaj la modelo produktis la rezulton. pri tiaj rekordoj 1. Dum nova trejnado de la modelo, dum ĝia validigo (la nove trejnita modelo estas aplikata al sia propra trejna specimeno, kun antaŭa aplikado de statistika testo al ĝi), rekordoj, kiuj "ne konservis" rezulton 1 post prilaborado. per la statistika testo (pro la konstanta ĉeesto en la trejnado specimeno de rekordoj de la originala "etikedo" de la difekto), estas forigitaj de la trejnado, kaj nova versio de la modelo lernas de la "etikedo" de la difekto plus la "retenitaj" rekordoj de la rivereto.
Figuro 7 Robotigo de AI/ML-kalkuloj en InterSystems IRIS
Se estas bezono de speco de "dua opinio" pri la kvalito de detekto akirita dum lokaj kalkuloj en InterSystems IRIS, konsila procezo estas kreita por plenumi trejnadon kaj aplikon de modeloj sur kontroldatumaro uzante nubajn servojn (ekzemple, Microsoft. Azure, Amazon Web Services, Google Cloud Platform, ktp.):
Figuro 8 Dua Opinio de Microsoft Azure reĝisorita de InterSystems IRIS
La prototipo de nia scenaro en InterSystems IRIS estas desegnita kiel agent-bazita sistemo de analizaj procezoj, kiuj interagas kun ekipaĵa objekto (pumpilo), matematikaj modelaj medioj (Python, R kaj Julia), kaj certigas memlernadon de ĉiuj implikitaj AI/ ML-mekanismoj - pri realtempaj datumfluoj.
Figuro 9 Ĉefa funkcieco de la realtempa AI/ML-solvo en InterSystems IRIS
La praktika rezulto de nia prototipo:
- Specimena difekto rekonita de la modelo (la 12-an de januaro):
- Evoluiga difekto rekonita de la modelo, kiu ne estis inkludita en la specimeno (la 11-an de septembro, la difekto mem estis identigita fare de la riparteamo nur du tagojn poste, la 13-an de septembro):
Simulado pri realaj datumoj enhavantaj plurajn epizodojn de la sama difekto montris, ke nia solvo, efektivigita sur la platformo InterSystems IRIS, permesas al ni identigi la disvolviĝon de ĉi tiu tipo de difektoj plurajn tagojn antaŭ ol ili estas detektitaj de la ripara teamo.
InterSystems IRIS - universala realtempa AI/ML komputikplatformo
La InterSystems IRIS-platformo simpligas la evoluon, deplojon kaj operacion de realtempaj datumsolvoj. InterSystems IRIS kapablas samtempe plenumi transakcian kaj analizan datumtraktadon; subtenu sinkronigitajn datumvidojn laŭ multoblaj modeloj (inkluzive de interrilata, hierarkia, objekto kaj dokumento); funkcii kiel platformo por integri larĝan gamon de datumfontoj kaj individuaj aplikoj; provizi altnivelan realtempan analizon pri strukturitaj kaj nestrukturitaj datumoj. InterSystems IRIS ankaŭ disponigas mekanismojn por uzi eksterajn analizajn ilojn kaj permesas flekseblan kombinaĵon de gastigado en la nubo kaj sur lokaj serviloj.
Aplikoj konstruitaj sur la InterSystems IRIS-platformo estis deplojitaj tra diversaj industrioj, helpante al kompanioj realigi signifajn ekonomiajn avantaĝojn de strategia kaj funkcia perspektivo, pliigante informitan decidon kaj transpontante la interspacojn inter evento, analizo kaj ago.
Figuro 10 InterSystems IRIS-arkitekturo en la kunteksto de realtempa AI/ML
Kiel la antaŭa diagramo, la diagramo malsupre kombinas la novan "koordinatsistemon" (KD/CI/CT) kun diagramo de la fluo de informoj inter la laborelementoj de la platformo. La bildigo komenciĝas per la makromekanismo KD kaj daŭras kun la makromekanismoj CI kaj CT.
Figuro 11 Diagramo de informfluoj inter AI/ML-elementoj de la InterSystems IRIS-platformo
La esenco de la KD-mekanismo en InterSystems IRIS: platformuzantoj (programistoj de AI/ML-solvoj) adaptas ekzistantajn kaj/aŭ kreas novajn AI/ML-evoluojn uzante specialecan kodredaktilon por AI/ML-mekanismoj: Jupyter (plena nomo: Jupyter Notebook; por koncizeco, dokumentoj kreitaj en ĉi tiu redaktilo ankaŭ estas foje nomitaj). En Jupyter, programisto havas la ŝancon skribi, sencimi kaj kontroli la agadon (inkluzive de uzado de grafikoj) de specifa AI/ML-disvolviĝo antaŭ ol ĝi estas metita ("deplojita") en InterSystems IRIS. Estas klare, ke nova evoluo kreita tiamaniere ricevos nur bazan sencimigon (ĉar, precipe, Jupyter ne funkcias kun realtempaj datumfluoj) - ĉi tio estas en la ordo de aferoj, ĉar la ĉefa rezulto de evoluo en Jupyter. estas konfirmo de la fundamenta funkciigo de aparta AI / ML-mekanismo ("montras la atendatan rezulton sur datumprovaĵo"). Simile, mekanismo jam metita en la platformon (vidu la sekvajn makro-mekanismojn) antaŭ senararigado en Jupyter povas postuli "revenon" al "antaŭplatforma" formo (legante datumojn de dosieroj, laborante kun datumoj per xDBC anstataŭ tabeloj, rekta interago kun globaloj - plurdimensiaj datumtabloj InterSystems IRIS – ktp.).
Grava aspekto de KD-efektivigo en InterSystems IRIS: dudirekta integriĝo estis efektivigita inter la platformo kaj Jupyter, permesante al enhavo en Python, R kaj Julia esti transdonita al la platformo (kaj, poste, prilaborita en la platformo) (ĉiuj tri estas programado). lingvoj en la respondaj gvidaj malfermfontaj lingvoj). fontaj matematikaj modelaj medioj). Tiel, AI/ML-enhavprogramistoj havas la ŝancon efektivigi "kontinuan deplojon" de ĉi tiu enhavo en la platformo, laborante en sia konata Jupyter-redaktilo, kun konataj bibliotekoj haveblaj en Python, R, Julia, kaj farante bazan sencimigon (se necese) ekster la platformo.
Ni pluiru al la CI-makromekanismo en InterSystems IRIS. La diagramo montras la makroprocezon de la "realtempa robotigilo" (komplekso de datumstrukturoj, komercaj procezoj kaj kodfragmentoj orquestitaj de ili en matematikaj lingvoj kaj ObjectScript - la denaska evolulingvo de InterSystems IRIS). La tasko de ĉi tiu makroprocezo estas konservi la datumvicojn necesajn por la funkciado de AI/ML-mekanismoj (bazitaj sur datumfluoj transdonitaj al la platformo en reala tempo), fari decidojn pri la sekvenco de apliko kaj la "sortimento" de AI/. ML-mekanismoj (ili ankaŭ estas "matematikaj algoritmoj", "modeloj", ktp. - povas esti nomitaj malsame depende de la specifaĵoj de la efektivigo kaj terminologiaj preferoj), konservas datumstrukturojn ĝisdatigitaj por analizi la rezultojn de la laboro de AI/ ML-mekanismoj (kuboj, tabeloj, plurdimensiaj datumaj tabeloj, ktp.) ktp. - por raportoj, instrumentpaneloj, ktp.).
Grava aspekto de CI-efektivigo en InterSystems IRIS: dudirekta integriĝo estis efektivigita inter la platformo kaj matematikaj modelaj medioj, permesante al vi ekzekuti enhavon gastigitan en la platformo en Python, R kaj Julia en siaj respektivaj medioj kaj ricevi reen la ekzekutrezultojn. Ĉi tiu integriĝo estas efektivigita kaj en "fina reĝimo" (t.e., AI/ML-enhavo estas formulita kiel ObjectScript-kodo kiu faras vokojn al la medio) kaj en "komercproceza reĝimo" (t.e., AI/ML-enhavo estas formulita kiel komerca procezo. uzante grafikan redaktilon, aŭ foje uzante Jupyter, aŭ uzante IDE - IRIS Studio, Eclipse, Visual Studio Code). La havebleco de komercprocezoj por redaktado en Jupyter estas reflektita tra la ligo inter IRIS sur la CI-nivelo kaj Jupyter sur la KD-nivelo. Pli detala superrigardo de integriĝo kun matematikaj modelaj medioj estas disponigita malsupre. En ĉi tiu etapo, laŭ nia opinio, ekzistas ĉiuj kialoj por certigi, ke la platformo havas ĉiujn necesajn ilojn por efektivigi "kontinuan integriĝon" de AI/ML-disvolviĝoj (venantaj de "kontinua disfaldo") en realtempajn AI/ML-solvojn.
Kaj la ĉefa makromekanismo: CT. Sen ĝi, ne ekzistos AI/ML-platformo (kvankam "reala tempo" estos efektivigita per KD/CI). La esenco de CT estas la laboro de la platformo kun "artefaktoj" de maŝinlernado kaj artefarita inteligenteco rekte en laborsesioj de matematikaj modelaj medioj: modeloj, distribuaj tabeloj, matricaj vektoroj, tavoloj de neŭralaj retoj, ktp. Ĉi tiu "laboro", plejofte, konsistas en krei la menciitajn artefaktojn en medioj (en la kazo de modeloj, ekzemple, "kreado" konsistas el fiksado de la specifo de la modelo kaj posta elekto de la valoroj de ĝiaj parametroj - la tiel nomata "trejnado" de la modelo), ilia aplikado (por modeloj: kalkulo per ilia helpo de "modelaj" valoroj de celvariabloj - prognozoj, kategorio-membreco, probablo de evento, ktp.) kaj plibonigo de jam kreitaj kaj aplikataj artefaktoj (ekzemple, redifini aron de modelaj enigvariabloj bazitaj sur la rezultoj de aplikaĵo - por plibonigi prognozan precizecon, kiel opcio). La ŝlosila punkto por kompreni la rolon de CT estas ĝia "abstraktado" de la realaĵoj de KD kaj CI: CT efektivigos ĉiujn artefaktojn, temigante la komputilajn kaj matematikajn specifaĵojn de la AI/ML-solvo ene de la kapabloj provizitaj de specifaj medioj. La respondeco pri "provizado de enigaĵoj" kaj "liverado de produktaĵoj" estos la respondeco de KD kaj CI.
Grava aspekto de la efektivigo de CT specife en InterSystems IRIS: uzante la integriĝon kun matematikaj modelaj medioj jam menciita supre, la platformo havas la kapablon ĉerpi tiujn tre artefaktojn de laborsesioj kurantaj sub sia kontrolo en matematikaj medioj kaj (plej grave) turni. ilin en platformajn datumajn objektojn. Ekzemple, distributabelo, kiu ĵus estis kreita en funkcianta Python-sesio, povas esti (sen haltigi la Python-sesion) transdonita al la platformo en la formo de, ekzemple, tutmonda (multdimensia InterSystems IRIS-datumtabelo) - kaj uzata. por kalkuloj en alia AI/ML- mekanismo (efektivigita en la lingvo de alia medio - ekzemple, en R) - aŭ virtuala tabelo. Alia ekzemplo: paralele kun la "normala reĝimo" de la funkciado de la modelo (en la laborsesio de Python), "aŭtomata-ML" estas efektivigita sur ĝiaj eniga datumoj: aŭtomata elekto de optimumaj eniga variabloj kaj parametrovaloroj. Kaj kune kun la "regula" trejnado, produktiva modelo en reala tempo ankaŭ ricevas "proponon por optimumigo" de sia specifo - en kiu la aro de eniga variabloj ŝanĝiĝas, la parametraj valoroj ŝanĝiĝas (ne plu kiel rezulto de trejnado. en Python, sed kiel rezulto de trejnado kun "alternativa" "versio de si mem, kiel ekzemple la H2O-stako), permesante al la totala AI/ML-solvo aŭtonome trakti neatenditajn ŝanĝojn en la naturo de la enirdatumoj kaj fenomenoj modeligitaj. .
Ni konatiĝu pli detale kun la platforma AI/ML-funkcio de InterSystems IRIS, uzante la ekzemplon de realviva prototipo.
En la suba diagramo, sur la maldekstra flanko de la glito estas parto de la komerca procezo, kiu efektivigas la ekzekuton de skriptoj en Python kaj R. En la centra parto estas vidaj protokoloj de la ekzekuto de iuj el ĉi tiuj skriptoj, respektive, en Python kaj R. Tuj malantaŭ ili estas ekzemploj de enhavo pri unu kaj alia lingvo, transdonitaj por ekzekuto al la taŭgaj medioj. Ĉe la fino dekstre estas bildigoj bazitaj sur la rezultoj de skripto-ekzekuto. La bildigoj supre estis faritaj sur IRIS Analytics (datenoj estis prenitaj de Python en la InterSystems IRIS-datumplatformon kaj montritaj sur panelo uzante la platformon), ĉe la malsupro estis faritaj rekte en la R-laborsesio kaj eligo de tie al grafikaj dosieroj. . Grava aspekto: la prezentita fragmento en la prototipo respondecas pri trejnado de la modelo (klasifiko de ekipaĵŝtatoj) pri datumoj ricevitaj en reala tempo de la ekipaĵa simulilprocezo, laŭ komando de la klasifika kvalito-monitorprocezo observita dum la aplikado de la modelo. La efektivigo de AI/ML-solvo en la formo de aro de interagaj procezoj ("agentoj") estos diskutita plu.
Figuro 12 Interagado kun Python, R kaj Julia en InterSystems IRIS
Platformprocezoj (ili estas ankaŭ "komercaj procezoj", "analizaj procezoj", "duktoj", ktp. - depende de la kunteksto), antaŭ ĉio, estas redaktitaj en la grafika komerca procezo-redaktilo en la platformo mem, kaj en tia maniero ke kaj ĝia blokdiagramo kaj la ekvivalenta AI/ML-mekanismo (programkodo) estas kreitaj samtempe. Kiam ni diras, ke "mekanismo AI/ML estas akirita", ni komence signifas hibridecon (ene de unu procezo): enhavo en la lingvoj de matematikaj modelaj medioj estas najbara al enhavo en SQL (inkluzive de etendaĵoj de ), en InterSystems ObjectScript, kun aliaj subtenataj lingvoj. Krome, la platforma procezo disponigas tre larĝajn ŝancojn por "prezentado" en la formo de hierarkie nestitaj fragmentoj (kiel videblas en la ekzemplo en la suba diagramo), kio ebligas al vi efike organizi eĉ tre kompleksan enhavon sen iam "fali" de la grafika formato (en “ne-grafikaj” formatoj). » metodoj/klasoj/proceduroj, ktp.). Tio estas, se necese (kaj ĝi estas antaŭvidita en la plej multaj projektoj), absolute la tuta AI/ML-solvo povas esti efektivigita en grafika memdokumenta formato. Bonvolu noti, ke en la centra parto de la malsupra diagramo, kiu reprezentas pli altan "nivelon de nestado", estas klare, ke krom la efektiva laboro de trejnado de la modelo (uzante Python kaj R), analizo de la t.n. ROC-kurbo de la trejnita modelo estas aldonita, permesante vide (kaj kompute ankaŭ) taksi la kvaliton de trejnado - kaj ĉi tiu analizo estas efektivigita en la Julia lingvo (efektivigita, laŭe, en la Julia matematika medio).
Figuro 13 Vida medio por la kunmetaĵo de AI/ML-solvoj en InterSystems IRIS
Kiel menciite antaŭe, la komenca evoluo kaj (en iuj kazoj) adapto de AI/ML-mekanismoj jam efektivigitaj en la platformo estos/povas esti farita ekster la platformo en la Jupyter-redaktilo. En la suba diagramo ni vidas ekzemplon pri adapto de ekzistanta platforma procezo (la sama kiel en la supra diagramo) - jen kiel la fragmento, kiu respondecas pri trejnado de la modelo, aspektas kiel en Jupyter. Python-enhavo disponeblas por redaktado, senararigado kaj grafika eligo rekte en Jupyter. Ŝanĝoj (se necese) povas esti faritaj per tuja sinkronigo en la platformprocezon, inkluzive de ĝia produktiva versio. Nova enhavo povas esti transdonita al la platformo en simila maniero (nova platforma procezo estas aŭtomate generita).
Figuro 14 Uzante Jupyter Notebook por redakti la AI/ML-motoron en la InterSystems IRIS-platformo
Adapto de platforma procezo povas esti farita ne nur en grafika aŭ tekkomputila formato - sed ankaŭ en la "totala" formato IDE (Integrated Development Environment). Ĉi tiuj IDEoj estas IRIS Studio (denaska IRIS-studio), Visual Studio Code (InterSystems IRIS-etendo por VSCode) kaj Eclipse (Atelier-kromaĵo). En kelkaj kazoj, estas eble ke evolua teamo uzu ĉiujn tri IDEojn samtempe. La diagramo malsupre montras ekzemplon de redaktado de la sama procezo en IRIS-studio, en Visual Studio Code kaj en Eclipse. Absolute ĉiu enhavo disponeblas por redaktado: Python/R/Julia/SQL, ObjectScript kaj komerca procezo.
Figuro 15 Evoluo de la InterSystems IRIS komercprocezo en diversaj IDEoj
Specialan mencion meritas la iloj por priskribi kaj efektivigi komercajn procezojn de InterSystems IRIS en la Business Process Language (BPL). BPL ebligas uzi "pretajn integrigajn komponentojn" (aktivecojn) en komercaj procezoj - kio, fakte, donas ĉiun kialon por diri, ke "kontinua integriĝo" estas efektivigita en InterSystems IRIS. Pretaj komercprocezaj komponantoj (aktivecoj kaj ligoj inter ili) estas potenca akcelilo por kunmeti solvon de AI/ML. Kaj ne nur asembleoj: danke al la agadoj kaj ligoj inter ili super malsimilaj evoluoj kaj mekanismoj de AI/ML, ekestas "aŭtonoma administra tavolo", kapabla fari decidojn laŭ la situacio, en reala tempo.
Figuro 16 Pretaj komercprocezaj komponentoj por kontinua integriĝo (CI) sur la InterSystems IRIS-platformo
La koncepto de agentsistemoj (ankaŭ konata kiel "multi-agentsistemoj") havas fortan pozicion en robotigo, kaj la InterSystems IRIS-platformo organike apogas ĝin tra la "produkt-procezo-" konstruo. Krom la senlimaj eblecoj por "plenigi" ĉiun procezon per la funkcieco necesa por la ĝenerala solvo, doti la sistemon de platformaj procezoj per la posedaĵo de "agentejo" permesas krei efikajn solvojn por ekstreme malstabilaj simulitaj fenomenoj (konduto de sociaj/ biosistemoj, parte observeblaj teknologiaj procezoj, ktp.).
Figuro 16 Funkciado de AI/ML-solvo kiel agent-bazita komercprocezsistemo en InterSystems IRIS
Ni daŭrigas nian revizion de InterSystems IRIS kun rakonto pri la aplikata uzo de la platformo por solvi tutajn klasojn de realtempaj problemoj (sufiĉe detala enkonduko al kelkaj el la plej bonaj praktikoj de platformo AI/ML sur InterSystems IRIS troveblas en unu de niaj antaŭaj ).
Varma sur la kalkanoj de la antaŭa diagramo, malsupre estas pli detala diagramo de la agentsistemo. La diagramo montras la saman prototipon, ĉiuj kvar agentaj procezoj estas videblaj, la rilatoj inter ili estas skeme desegnitaj: GENERATOR - prilaboras la kreadon de datumoj per ekipaĵaj sensiloj, BUFFER - administras datumvicojn, ANALYZER - mem plenumas maŝinlernadon, MONITOR - monitoras la kvalito de maŝinlernado kaj sendas signalon pri la bezono retrejni la modelon.
Figuro 17 Kunmetaĵo de AI/ML-solvo en la formo de agent-bazita komercprocezsistemo en InterSystems IRIS
La ĉi-suba diagramo ilustras la aŭtonoman funkciadon de alia robota prototipo (rekono de la emocia kolorigo de tekstoj) dum iom da tempo. En la supra parto estas la evoluo de la kvalita indikilo de modela trejnado (kvalito kreskas), en la malsupra parto estas la dinamiko de la kvalita indikilo de modela aplikado kaj la faktoj de ripeta trejnado (ruĝaj strioj). Kiel vi povas vidi, la solvo lernis sin efike kaj aŭtonomie, kaj funkcias je difinita kvalita nivelo (kvalitpoentaraj valoroj ne falas sub 80%).
Figuro 18 Kontinua (mem-)trejnado (CT) sur la InterSystems IRIS-platformo
Ni ankaŭ menciis "aŭto-ML" pli frue, sed la diagramo sube montras la uzon de ĉi tiu funkcio detale uzante la ekzemplon de alia prototipo. La grafika diagramo de fragmento de komerca procezo montras la agadon, kiu ekigas la modeladon en la H2O-stako, montras la rezultojn de ĉi tiu modeligado (la klara dominado de la rezulta modelo super "homfaritaj" modeloj, laŭ la kompara diagramo de ROC-kurboj, same kiel la aŭtomatigitan identigon de la "plej influaj variabloj" haveblaj en origina datumaro). Grava punkto ĉi tie estas la ŝparado de tempo kaj spertaj rimedoj, kiuj estas atingitaj per "aŭto-ML": kion nia platforma procezo faras en duonminuto (trovi kaj trejni la optimuman modelon) povas preni spertulon de semajno ĝis monato.
Figuro 19 Integriĝo de "aŭto-ML" en AI/ML-solvon sur la InterSystems IRIS-platformo
La suba diagramo iomete maltrafas la aferon, sed ĝi estas bona maniero fini la rakonton pri la klasoj de realtempaj problemoj solvitaj: ni memorigas vin, ke kun ĉiuj kapabloj de la InterSystems IRIS-platformo, trejnado de modeloj sub ĝia kontrolo estas. ne deviga. La platformo povas ricevi de ekstere la tiel nomatan PMML-specifon de la modelo, trejnita en ilo ne sub la kontrolo de la platformo - kaj apliki ĉi tiun modelon en reala tempo ekde la momento, kiam ĝi estas importita. . Gravas konsideri, ke ne ĉiuj AI/ML-artefaktoj povas esti reduktitaj al PMML-specifo, eĉ se la plej multaj el la plej oftaj artefaktoj permesas tion. Tiel, la InterSystems IRIS-platformo estas "malferma buklo" kaj ne signifas "platformsklaveco" por uzantoj.
Figuro 20 Integriĝo de "aŭto-ML" en AI/ML-solvon sur la InterSystems IRIS-platformo
Ni listigu la kromajn platformajn avantaĝojn de InterSystems IRIS (por klareco, rilate al procezkontrolo), kiuj estas de granda graveco en la aŭtomatigo de artefarita inteligenteco kaj realtempa maŝinlernado:
- Evoluintaj integrigaj iloj kun iuj datumfontoj kaj konsumantoj (proceza kontrolsistemo/SCADA, ekipaĵo, MRO, ERP, ktp.)
- Enkonstruita por alt-efikeca transakcia kaj analiza pretigo (Hibrida Transakcio/Analitika Pretigo, HTAP) de iu ajn volumeno de teknologiaj procezaj datumoj
- Disvolvaj iloj por kontinua deplojo de AI/ML-motoroj por realtempaj solvoj bazitaj sur Python, R, Julia
- Adaptaj komercaj procezoj por kontinua integriĝo kaj (mem) lernado de realtempaj AI/ML-solvomotoroj
- Enkonstruitaj Komercaj Inteligentaj iloj por bildigi procezajn datumojn kaj la rezultojn de AI/ML-solvo
- por liverado de la rezultoj de la AI/ML-solvo por prilabori kontrolsistemojn/SCADA, informojn kaj analizajn sistemojn, sendado de atentigoj ktp.
AI/ML-solvoj sur la InterSystems IRIS-platformo facile konvenas en la ekzistantan IT-infrastrukturon. La InterSystems IRIS-platformo certigas altan fidindecon de AI/ML-solvoj per subtenado de misfunkciaj kaj katastrof-toleremaj agordoj kaj fleksebla deplojo en virtualaj medioj, sur fizikaj serviloj, en privataj kaj publikaj nuboj, kaj Docker-ujoj.
Tiel, InterSystems IRIS estas universala realtempa AI/ML-komputila platformo. La universaleco de nia platformo estas konfirmita en la praktiko per la foresto de faktaj limigoj sur la komplekseco de efektivigitaj kalkuloj, la kapablo de InterSystems IRIS kombini (en reala tempo) prilaborado de scenaroj de ampleksa vario de industrioj, kaj la escepta adaptebleco de ajna platformo funkcioj kaj mekanismoj al la specifaj bezonoj de uzantoj.
Figuro 21 InterSystems IRIS - universala realtempa AI/ML-komputila platformo
Por pli substantiva interago kun tiuj el niaj legantoj, kiuj interesiĝas pri la ĉi tie prezentita materialo, ni rekomendas ne limigi vin legi ĝin kaj daŭrigi la dialogon "vive". Ni ĝojos provizi subtenon kun la formuliĝo de realtempaj AI/ML-scenaroj rilate al la specifaĵoj de via firmao, plenumi komunan prototipadon sur la InterSystems IRIS-platformo, formuli kaj efektivigi praktike vojmapon por enkonduki artefaritan inteligentecon kaj maŝinlernadon. en viajn produktadajn kaj administrajn procezojn. Nia Kontakta Retpoŝto de AI/ML Expert Team - .
fonto: www.habr.com