InterSystems IRIS - një platformë universale AI/ML në kohë reale

Autor: Sergey Lukyanchikov, inxhinier konsulent në InterSystems

Thirrjet informatike AI/ML në kohë reale

Le të fillojmë me shembuj nga përvoja e praktikës së Shkencës së të Dhënave në InterSystems:

• Portali i ngarkuar i blerësve është i lidhur me një sistem rekomandimi në internet. Do të ketë një ristrukturim të promocioneve në të gjithë rrjetin e shitjes me pakicë (për shembull, në vend të një linje "të sheshtë" promovimesh, tani do të përdoret një matricë "taktika e segmentit"). Çfarë ndodh me motorët rekomandues? Çfarë ndodh me paraqitjen dhe përditësimin e të dhënave në motorin e rekomandimeve (vëllimi i të dhënave hyrëse është rritur me 25000 herë)? Çfarë ndodh me zhvillimin e rekomandimeve (nevoja për të zvogëluar pragun e filtrimit të rregullave të rekomandimit me një mijë herë për shkak të një mijëfishimi të numrit dhe "gamës" së tyre)?
• Ekziston një sistem për monitorimin e mundësisë së zhvillimit të defekteve në komponentët e pajisjeve. Një sistem i automatizuar i kontrollit të procesit u lidh me sistemin e monitorimit, duke transmetuar mijëra parametra të procesit teknologjik çdo sekondë. Çfarë ndodh me sistemin e monitorimit që ka punuar më parë në "mostra manuale" (a është në gjendje të sigurojë monitorim të probabilitetit sekondë pas sekondës)? Çfarë do të ndodhë nëse një bllok i ri prej disa qindra kolonash shfaqet në të dhënat hyrëse me lexime nga sensorë të shtuar së fundi në sistemin e kontrollit të procesit (a do të jetë e nevojshme dhe për sa kohë të ndalet sistemi i monitorimit për të përfshirë të dhënat nga sensorët e rinj në analizë )?
• Është krijuar një grup mekanizmash AI/ML (rekomandim, monitorim, parashikim) që përdorin rezultatet e punës së njëri-tjetrit. Sa orë pune kërkohen çdo muaj për të përshtatur funksionimin e këtij kompleksi me ndryshimet në të dhënat hyrëse? Cili është "ngadalësimi" i përgjithshëm kur mbështetet nga kompleksi vendimmarrës i menaxhimit (frekuenca e shfaqjes së informacionit të ri mbështetës në të në raport me frekuencën e shfaqjes së të dhënave të reja hyrëse)?

Duke përmbledhur këta dhe shumë shembuj të tjerë, kemi ardhur në formulimin e sfidave që lindin kur kalojmë në përdorimin e mekanizmave të mësimit të makinerive dhe inteligjencës artificiale në kohë reale:

• A jemi të kënaqur me shpejtësinë e krijimit dhe përshtatjes (me situatën në ndryshim) të zhvillimeve të AI/ML në kompaninë tonë?
• Sa e mbështesin menaxhimin e biznesit në kohë reale zgjidhjet AI/ML që përdorim?
• A janë zgjidhjet AI/ML që përdorim në gjendje të përshtaten në mënyrë të pavarur (pa zhvillues) ndaj ndryshimeve në të dhënat dhe praktikat e menaxhimit të biznesit?

Artikulli ynë është një pasqyrë e plotë e aftësive të platformës InterSystems IRIS në drejtim të mbështetjes universale për vendosjen e mekanizmave AI/ML, montimin (integrimin) e zgjidhjeve AI/ML dhe trajnimin (testimin) e zgjidhjeve AI/ML në mënyrë intensive. rrjedhat e të dhënave. Ne do të shikojmë kërkimin e tregut, studimet e rasteve të zgjidhjeve AI/ML dhe aspektet konceptuale të asaj që ne e quajmë platformë AI/ML në kohë reale në këtë artikull.

Çfarë dimë nga sondazhet: aplikacionet në kohë reale

Gjetjet sondazhirealizuar mes afro 800 profesionistëve të IT-së në 2019 nga Lightbend, flasin vetë:

Figura 1 Konsumatorët kryesorë të të dhënave në kohë reale

Le të citojmë fragmente të rëndësishme të raportit mbi rezultatet e këtij sondazhi në përkthimin tonë:

“... Tendencat në popullaritetin e mjeteve për integrimin e rrjedhave të të dhënave dhe, në të njëjtën kohë, mbështetja e llogaritjes në kontejnerë, ofrojnë një përgjigje sinergjike ndaj kërkesës së tregut për një propozim më të përgjegjshëm, racional dhe dinamik të zgjidhjeve efektive. Transmetimi i të dhënave transferon informacionin më shpejt se të dhënat tradicionale të paketave. Kësaj i shtohet aftësia për të aplikuar me shpejtësi metodat llogaritëse, të tilla si, për shembull, rekomandimet e bazuara në AI/ML, duke krijuar avantazhe konkurruese përmes rritjes së kënaqësisë së klientit. Gara për shkathtësinë ndikon gjithashtu në të gjitha rolet në paradigmën DevOps - duke e bërë zhvillimin dhe vendosjen e aplikacioneve më efikase. … Tetëqind e katër profesionistë të TI-së dhanë informacion mbi përdorimin e rrjedhave të të dhënave në organizatat e tyre. Të anketuarit ishin të vendosur kryesisht në vendet perëndimore (41% në Evropë dhe 37% në Amerikën e Veriut) dhe u shpërndanë pothuajse në mënyrë të barabartë midis kompanive të vogla, të mesme dhe të mëdha. ...

... Inteligjenca artificiale nuk është hype. Pesëdhjetë e tetë përqind e atyre që tashmë përdorin përpunimin e rrjedhës së të dhënave në aplikacionet e produktivitetit AI/ML konfirmojnë se përdorimi i tyre i AI/ML do të ketë rritjen më të madhe në vitin e ardhshëm (krahasuar me aplikacionet e tjera).

• Sipas shumicës së të anketuarve, përdorimi i rrjedhave të të dhënave në skenarët AI/ML do të ketë rritjen më të madhe në vitin e ardhshëm.
• Aplikimet në AI/ML do të rriten jo vetëm për shkak të llojeve relativisht të reja të skenarëve, por edhe për shkak të skenarëve tradicionalë në të cilët të dhënat në kohë reale përdoren gjithnjë e më shumë.
• Përveç AI/ML, niveli i entuziazmit midis përdoruesve të tubacioneve të të dhënave IoT është mbresëlënës - 48% e atyre që kanë integruar tashmë të dhënat e IoT thonë se zbatimi i skenarit mbi këto të dhëna do të shohë një rritje të konsiderueshme në të ardhmen e afërt. ..."

Nga ky sondazh mjaft interesant, është e qartë se perceptimi i skenarëve të mësimit të makinerive dhe inteligjencës artificiale si liderë në konsumin e rrjedhave të të dhënave është tashmë "në rrugë". Por një vëzhgim po aq i rëndësishëm është perceptimi i AI/ML në kohë reale përmes lenteve të DevOps: këtu tashmë mund të fillojmë të flasim për transformimin e kulturës ende dominuese të "AI/ML e disponueshme me një grup të dhënash plotësisht të aksesueshme".

Koncepti i platformës AI/ML në kohë reale

Një fushë tipike aplikimi për AI/ML në kohë reale është kontrolli i procesit në prodhim. Duke përdorur shembullin e saj dhe duke marrë parasysh mendimet e mëparshme, ne do të formulojmë konceptin e një platforme AI/ML në kohë reale.
Përdorimi i inteligjencës artificiale dhe mësimit të makinerive në kontrollin e procesit ka një sërë veçorish:

• Të dhënat për gjendjen e procesit teknologjik merren intensivisht: me frekuencë të lartë dhe për një gamë të gjerë parametrash (deri në dhjetëra mijëra vlera parametrash të transmetuara në sekondë nga sistemi i kontrollit të procesit)
• Të dhënat për identifikimin e defekteve, për të mos përmendur të dhënat për zhvillimin e tyre, përkundrazi, janë të pakta dhe të parregullta, të karakterizuara nga tipizimi i pamjaftueshëm i defekteve dhe lokalizimi i tyre në kohë (shpesh i përfaqësuar nga regjistrimet në letër).
• Nga pikëpamja praktike, vetëm një "dritare e rëndësisë" e të dhënave burimore është e disponueshme për trajnimin dhe aplikimin e modeleve, duke reflektuar dinamikën e procesit teknologjik në një interval të arsyeshëm rrëshqitës që përfundon me vlerat e fundit të leximit të parametrave të procesit.

Këto veçori na detyrojnë, përveç marrjes dhe përpunimit bazë në kohë reale të “sinjalit hyrës me brez të gjerë” intensiv nga procesi teknologjik, të kryejmë (paralelisht) aplikimin, trajnimin dhe kontrollin e cilësisë së rezultateve të AI/ Modelet ML - gjithashtu në kohë reale. "Korniza" që modelet tona "shohin" në dritaren rrëshqitëse të rëndësisë po ndryshon vazhdimisht - dhe bashkë me të, ndryshon edhe cilësia e rezultateve të punës së modeleve AI/ML të trajnuar në një nga "kornizat" në të kaluarën. . Nëse cilësia e rezultateve të punës së modeleve AI/ML përkeqësohet (për shembull: vlera e gabimit të klasifikimit "alarm-norm" ka shkuar përtej kufijve që kemi përcaktuar), trajnimi shtesë i modeleve duhet të nisë automatikisht në një "kornizë" më aktuale - dhe zgjedhja e momentit për të nisur trajnimin shtesë të modeleve duhet të marrë parasysh se si kohëzgjatja e vetë trajnimit dhe dinamika e përkeqësimit të cilësisë së punës së versionit aktual të modeleve (pasi versionet aktuale të modeleve vazhdojnë të përdoren gjatë trajnimit të modeleve dhe derisa të formohen versionet e tyre të "trajnuara rishtas").

InterSystems IRIS ka aftësi kyçe të platformës për të mundësuar zgjidhjet AI/ML për kontrollin e procesit në kohë reale. Këto aftësi mund të ndahen në tre grupe kryesore:

• Vendosja e vazhdueshme (Vendosja/Dorëzimi i vazhdueshëm, CD) i mekanizmave ekzistues të rinj ose të përshtatur AI/ML në një zgjidhje produktive që funksionon në kohë reale në platformën InterSystems IRIS
• Integrimi i vazhdueshëm (CI) në një zgjidhje të vetme produktive të rrjedhave hyrëse të të dhënave të procesit teknologjik, radhët e të dhënave për aplikimin/trajnimin/kontrollin e cilësisë së mekanizmave AI/ML dhe shkëmbimet e të dhënave/kodit/veprimeve të kontrollit me mjediset e modelimit matematikor, të orkestruara në kohë reale platforma InterSystems IRIS
• Trajnim i vazhdueshëm (vetë) (Trajnim i vazhdueshëm, CT) i mekanizmave AI/ML, i kryer në mjedise të modelimit matematik duke përdorur të dhëna, kode dhe veprime kontrolli (“vendime të marra”) të transmetuara nga platforma InterSystems IRIS

Klasifikimi i aftësive të platformës në lidhje me mësimin e makinerive dhe inteligjencën artificiale pikërisht në këto grupe nuk është i rastësishëm. Le të citojmë metodologjike botimi Google, i cili ofron një bazë konceptuale për këtë klasifikim, në përkthimin tonë:

“... Koncepti DevOps, i njohur këto ditë, mbulon zhvillimin dhe funksionimin e sistemeve të informacionit në shkallë të gjerë. Përparësitë e zbatimit të këtij koncepti janë reduktimi i kohëzgjatjes së cikleve të zhvillimit, vendosja më e shpejtë e zhvillimeve dhe fleksibiliteti në planifikimin e lëshimit. Për të arritur këto përfitime, DevOps përfshin zbatimin e të paktën dy praktikave:

• Integrimi i vazhdueshëm (CI)
• Dorëzimi i vazhdueshëm (CD)

Këto praktika zbatohen gjithashtu për platformat AI/ML për të siguruar montim të besueshëm dhe efektiv të zgjidhjeve produktive AI/ML.

Platformat AI/ML ndryshojnë nga sistemet e tjera të informacionit në aspektet e mëposhtme:

• Kompetencat e ekipit: Kur krijoni një zgjidhje AI/ML, ekipi zakonisht përfshin shkencëtarë të të dhënave ose ekspertë "akademikë" në fushën e kërkimit të të dhënave, të cilët kryejnë analiza të të dhënave, zhvillojnë dhe testojnë modele. Këta anëtarë të ekipit mund të mos jenë zhvillues profesionistë të kodit.
• Zhvillimi: Motorët AI/ML janë natyrë eksperimentale. Për të zgjidhur një problem në mënyrën më efikase, është e nevojshme të kalojmë nëpër kombinime të ndryshme të variablave hyrëse, algoritmeve, metodave të modelimit dhe parametrave të modelit. Kompleksiteti i një kërkimi të tillë qëndron në gjurmimin e "çfarë funksionoi/nuk funksionoi", duke siguruar riprodhueshmërinë e episodeve, përgjithësimin e zhvillimeve për zbatime të përsëritura.
• Testimi: Testimi i motorëve AI/ML kërkon një gamë më të gjerë testesh sesa shumica e zhvillimeve të tjera. Përveç testeve standarde të njësisë dhe integrimit, testohet vlefshmëria e të dhënave dhe cilësia e rezultateve të aplikimit të modelit në mostrat e trajnimit dhe kontrollit.
• Vendosja: Vendosja e zgjidhjeve AI/ML nuk kufizohet në shërbimet parashikuese që përdorin një model të trajnuar dikur. Zgjidhjet AI/ML janë ndërtuar rreth tubacioneve me shumë faza që kryejnë trajnime dhe aplikime të automatizuara të modeleve. Vendosja e tubacioneve të tilla përfshin automatizimin e veprimeve jo të parëndësishme të kryera tradicionalisht me dorë nga shkencëtarët e të dhënave në mënyrë që të jenë në gjendje të trajnojnë dhe testojnë modele.
• Produktiviteti: Motorëve AI/ML mund të mungojnë produktiviteti jo vetëm për shkak të programimit joefikas, por edhe për shkak të natyrës së ndryshimit të vazhdueshëm të të dhënave hyrëse. Me fjalë të tjera, performanca e mekanizmave AI/ML mund të degradojë për shkak të një game më të gjerë arsyesh sesa performanca e zhvillimeve konvencionale. Kjo çon në nevojën për të monitoruar (online) performancën e motorëve tanë AI/ML, si dhe dërgimin e sinjalizimeve ose refuzimin e rezultateve nëse treguesit e performancës nuk përmbushin pritshmëritë.

Platformat AI/ML janë të ngjashme me sistemet e tjera të informacionit në atë që të dyja kërkojnë integrim të vazhdueshëm të kodit me kontrollin e versionit, testimin e njësisë, testimin e integrimit dhe vendosjen e vazhdueshme të zhvillimit. Megjithatë, në rastin e AI/ML, ka disa dallime të rëndësishme:

• CI (Integrimi i vazhdueshëm) nuk është më i kufizuar në testimin dhe vërtetimin e kodit të komponentëve të vendosur - ai gjithashtu përfshin testimin dhe vërtetimin e të dhënave dhe modeleve AI/ML.
• CD (Continuous Delivery/Deployment, Continuous Deployment) nuk kufizohet në shkrimin dhe lëshimin e paketave ose shërbimeve, por nënkupton një platformë për përbërjen, trajnimin dhe aplikimin e zgjidhjeve AI/ML.
• CT (Trajnim i vazhdueshëm, trajnim i vazhdueshëm) është një element i ri [përafërsisht. autori i artikullit: një element i ri në lidhje me konceptin tradicional të DevOps, në të cilin CT është, si rregull, Testimi i Vazhdueshëm], i natyrshëm në platformat AI/ML, përgjegjës për menaxhimin autonom të mekanizmave për trajnimin dhe aplikimin e AI /Modelet ML. ..."

Mund të themi se mësimi i makinerisë dhe inteligjenca artificiale që punojnë në të dhëna në kohë reale kërkojnë një grup më të gjerë mjetesh dhe kompetencash (nga zhvillimi i kodit deri te orkestrimi i mjediseve të modelimit matematik), integrim më i ngushtë midis të gjitha fushave funksionale dhe lëndore, organizim më efikas të njerëzve dhe burimet e makinerive.

Skenari në kohë reale: njohja e zhvillimit të defekteve në pompat e furnizimit

Duke vazhduar të përdorni zonën e kontrollit të procesit si shembull, merrni parasysh një problem specifik (e kemi përmendur tashmë në fillim): duhet të sigurojmë monitorim në kohë reale të zhvillimit të defekteve në pompa bazuar në rrjedhën e vlerave të parametrave të procesit. dhe raportet nga personeli i riparimit për defektet e identifikuara.

Figura 2 Formulimi i problemit për monitorimin e zhvillimit të defekteve

Një tipar i shumicës së detyrave të paraqitura në këtë mënyrë në praktikë është se rregullsia dhe efikasiteti i marrjes së të dhënave (APCS) duhet të merret parasysh në sfondin e shfaqjes (dhe regjistrimit) episodike dhe të parregullt të defekteve të llojeve të ndryshme. Me fjalë të tjera: të dhënat nga sistemi i kontrollit të procesit mbërrijnë një herë në sekondë, të sakta dhe të sakta, dhe shënimet për defektet bëhen me një laps kimik që tregon datën në një fletore të përgjithshme në punishte (për shembull: "12.01 - rrjedhje në kapak nga ana e kushinetës së 3-të”).

Kështu, ne mund të plotësojmë formulimin e problemit me kufizimin e mëposhtëm të rëndësishëm: kemi vetëm një "etiketë" të një defekti të një lloji specifik (d.m.th., një shembull i një defekti të një lloji specifik përfaqësohet nga të dhënat nga kontrolli i procesit sistemi në një datë specifike - dhe ne nuk kemi më shumë shembuj të një defekti të këtij lloji të veçantë). Ky kufizim na çon menjëherë përtej fushëveprimit të mësimit klasik të makinerive (të mësuarit e mbikëqyrur), për të cilin duhet të ketë shumë "etiketa".

Figura 3 Sqarimi i detyrës së monitorimit të zhvillimit të defekteve

A mund ta "shumëzojmë" disi të vetmen "etiketë" që kemi në dispozicion? Po ne mundemi. Gjendja aktuale e pompës karakterizohet nga shkalla e ngjashmërisë me defektet e regjistruara. Edhe pa përdorimin e metodave sasiore, në nivelin e perceptimit vizual, duke vëzhguar dinamikën e vlerave të të dhënave që vijnë nga sistemi i kontrollit të procesit, tashmë mund të mësoni shumë:

Figura 4 Dinamika e gjendjes së pompës në sfondin e një "shenje" të një defekti të një lloji të caktuar

Por perceptimi vizual (të paktën tani për tani) nuk është gjeneruesi më i përshtatshëm i "etiketave" në skenarin tonë që ndryshon me shpejtësi. Ne do të vlerësojmë ngjashmërinë e gjendjes aktuale të pompës me defektet e raportuara duke përdorur një test statistikor.

Figura 5 Zbatimi i një testi statistikor për të dhënat hyrëse në sfondin e një "etikete" defekti

Një test statistikor përcakton probabilitetin që të dhënat me vlerat e parametrave të procesit teknologjik në "paketën e rrjedhës" të marrë nga sistemi i kontrollit të procesit të jenë të ngjashme me regjistrimet e "etiketës" së një defekti të një lloji të caktuar. Vlera e probabilitetit (indeksi statistikor i ngjashmërisë) i llogaritur si rezultat i aplikimit të një testi statistikor konvertohet në një vlerë prej 0 ose 1, duke u bërë një "etiketë" për mësimin e makinerive në çdo rekord specifik në paketën që ekzaminohet për ngjashmëri. Kjo do të thotë, pas përpunimit të një pakete të sapo pranuar të të dhënave të gjendjes së pompës me një test statistikor, ne kemi mundësinë që (a) ta shtojmë këtë paketë në grupin e trajnimit për trajnimin e modelit AI/ML dhe (b) të kryejmë kontrollin e cilësisë së versioni aktual i modelit kur e përdorni atë në këtë paketë.

Figura 6 Zbatimi i një modeli të mësimit të makinerive për të dhënat hyrëse në sfondin e një "etikete" defekti

Në një nga të mëparshmet tona webinare Ne tregojmë dhe shpjegojmë se si platforma InterSystems IRIS ju lejon të zbatoni çdo mekanizëm AI/ML në formën e proceseve të biznesit që ekzekutohen vazhdimisht që monitorojnë besueshmërinë e rezultateve të modelimit dhe përshtatin parametrat e modelit. Kur zbatojmë një prototip të skenarit tonë me pompa, ne përdorim të gjithë funksionalitetin InterSystems IRIS të paraqitur gjatë webinar-it - duke zbatuar në procesin e analizuesit si pjesë e zgjidhjes sonë, jo mësimin klasik të mbikëqyrur, por mësimin përforcues, i cili automatikisht menaxhon përzgjedhjen për modelet e trajnimit. . Mostra e trajnimit përmban të dhëna mbi të cilat lind një "konsensus zbulimi" pas aplikimit të testit statistikor dhe versionit aktual të modelit - d.m.th., si testin statistikor (pas transformimit të indeksit të ngjashmërisë në 0 ose 1) dhe modeli që prodhoi rezultatin. mbi të dhënat e tilla 1. Gjatë trajnimit të ri të modelit, gjatë vlefshmërisë së tij (modeli i sapo trajnuar aplikohet në kampionin e tij të trajnimit, me aplikimin paraprak të një testi statistikor për të), të dhënat që "nuk e ruajtën" rezultatin 1 pas përpunimit. me anë të testit statistikor (për shkak të pranisë së vazhdueshme në trajnim, një mostër të dhënash nga "etiketa" origjinale e defektit), hiqen nga grupi i trajnimit dhe një version i ri i modelit mëson nga "etiketa" e defekt plus të dhënat "të ruajtura" nga rryma.

Figura 7 Robotizimi i llogaritjes AI/ML në InterSystems IRIS

Nëse ka nevojë për një lloj "mendimi të dytë" mbi cilësinë e zbulimit të marrë gjatë llogaritjeve lokale në InterSystems IRIS, krijohet një proces këshillues për të kryer trajnimin dhe aplikimin e modeleve në një grup të dhënash kontrolli duke përdorur shërbimet cloud (për shembull, Microsoft Azure, Shërbimet e Uebit të Amazon, Platforma Google Cloud, etj.):

Figura 8 Opinion i dytë nga Microsoft Azure i orkestruar nga InterSystems IRIS

Prototipi i skenarit tonë në InterSystems IRIS është projektuar si një sistem i bazuar në agjentë i proceseve analitike që ndërveprojnë me një objekt pajisjeje (pompë), mjediset e modelimit matematikor (Python, R dhe Julia) dhe sigurojnë vetë-mësim të të gjithë AI/të përfshirë. Mekanizmat ML - në rrjedhat e të dhënave në kohë reale.

Figura 9 Funksionaliteti kryesor i zgjidhjes AI/ML në kohë reale në InterSystems IRIS

Rezultati praktik i prototipit tonë:

• Defekti i mostrës i njohur nga modeli (12 janar):

• Një defekt në zhvillim i njohur nga modeli që nuk ishte përfshirë në mostër (11 shtator, vetë defekti u identifikua nga ekipi i riparimit vetëm dy ditë më vonë, më 13 shtator):

Simulimi i të dhënave reale që përmbajnë disa episode të të njëjtit defekt tregoi se zgjidhja jonë, e implementuar në platformën InterSystems IRIS, na lejon të identifikojmë zhvillimin e defekteve të këtij lloji disa ditë përpara se ato të zbulohen nga ekipi i riparimit.

InterSystems IRIS - një platformë universale kompjuterike AI/ML në kohë reale

Platforma InterSystems IRIS thjeshton zhvillimin, vendosjen dhe funksionimin e zgjidhjeve të të dhënave në kohë reale. InterSystems IRIS është në gjendje të kryejë njëkohësisht përpunimin e të dhënave transaksionale dhe analitike; mbështesin pamjet e sinkronizuara të të dhënave sipas modeleve të shumta (duke përfshirë relacionale, hierarkike, objekte dhe dokumente); të veprojë si një platformë për integrimin e një game të gjerë burimesh të dhënash dhe aplikacionesh individuale; ofrojnë analiza të avancuara në kohë reale mbi të dhënat e strukturuara dhe të pastrukturuara. InterSystems IRIS gjithashtu ofron mekanizma për përdorimin e mjeteve të jashtme analitike dhe lejon kombinim fleksibël të pritjes në cloud dhe në serverët lokalë.

Aplikacionet e ndërtuara në platformën InterSystems IRIS shpërndahen në një sërë industrish, duke ndihmuar kompanitë të realizojnë përfitime të rëndësishme ekonomike nga një perspektivë strategjike dhe operacionale, duke rritur vendimmarrjen e informuar dhe duke kapërcyer boshllëqet midis ngjarjeve, analizave dhe veprimeve.

Figura 10 Arkitektura InterSystems IRIS në kontekstin e AI/ML në kohë reale

Ashtu si diagrami i mëparshëm, diagrami i mëposhtëm kombinon "sistemin e ri të koordinatave" (CD/CI/CT) me një diagramë të rrjedhës së informacionit midis elementëve të punës të platformës. Vizualizimi fillon me makromekanizmin CD dhe vazhdon me makromekanizmat CI dhe CT.

Figura 11 Diagrami i rrjedhave të informacionit ndërmjet elementeve AI/ML të platformës InterSystems IRIS

Thelbi i mekanizmit CD në InterSystems IRIS: përdoruesit e platformës (zhvilluesit e zgjidhjeve AI/ML) përshtatin zhvillimet ekzistuese dhe/ose krijojnë zhvillime të reja AI/ML duke përdorur një redaktues kodi të specializuar për mekanizmat AI/ML: Jupyter (emri i plotë: Jupyter Notebook; për shkurtësi, dokumentet e krijuara në këtë redaktues quhen gjithashtu ndonjëherë). Në Jupyter, një zhvillues ka mundësinë të shkruajë, korrigjojë dhe verifikojë performancën (duke përfshirë përdorimin e grafikëve) të një zhvillimi specifik AI/ML përpara se ai të vendoset ("vendoset") në InterSystems IRIS. Është e qartë se një zhvillim i ri i krijuar në këtë mënyrë do të marrë vetëm korrigjimin bazë (pasi, në veçanti, Jupyter nuk funksionon me rrjedhat e të dhënave në kohë reale) - kjo është në rendin e gjërave, sepse rezultati kryesor i zhvillimit në Jupyter është konfirmimi i funksionimit themelor të një mekanizmi të veçantë AI / ML ("tregon rezultatin e pritur në një mostër të dhënash"). Në mënyrë të ngjashme, një mekanizëm i vendosur tashmë në platformë (shih makro-mekanizmat e mëposhtëm) përpara se të korrigjojë gabimet në Jupyter mund të kërkojë një "kthim" në një formë "para-platformë" (leximi i të dhënave nga skedarët, puna me të dhënat përmes xDBC në vend të tabelave, ndërveprimi i drejtpërdrejtë me globalët - vargje të dhënash shumëdimensionale InterSystems IRIS – etj.).

Një aspekt i rëndësishëm i zbatimit të CD-së në InterSystems IRIS: integrimi dydrejtimësh është zbatuar midis platformës dhe Jupyter, duke lejuar që përmbajtja në Python, R dhe Julia të transferohet në platformë (dhe, më pas, të përpunohet në platformë) (të treja janë programuese gjuhët në gjuhët përkatëse kryesore me burim të hapur). mjediset e modelimit matematik burimor). Kështu, zhvilluesit e përmbajtjes së AI/ML kanë mundësinë të kryejnë "vendosje të vazhdueshme" të kësaj përmbajtjeje në platformë, duke punuar në redaktorin e tyre të njohur Jupyter, me bibliotekat e njohura të disponueshme në Python, R, Julia dhe duke kryer korrigjimin bazë (nëse është e nevojshme) jashtë platformës.

Le të kalojmë te mekanizmi makro CI në InterSystems IRIS. Diagrami tregon procesin makro të "robotizuesit në kohë reale" (një kompleks strukturash të dhënash, procesesh biznesi dhe fragmente kodi të orkestruara prej tyre në gjuhët matematikore dhe ObjectScript - gjuha amtare e zhvillimit të InterSystems IRIS). Detyra e këtij procesi makro është të mbajë radhët e të dhënave të nevojshme për funksionimin e mekanizmave AI/ML (bazuar në rrjedhat e të dhënave të transmetuara në platformë në kohë reale), të marrë vendime për sekuencën e aplikimit dhe "asortimentin" e AI/ Mekanizmat ML (ato janë gjithashtu "algoritme matematikore", "modele", etj. - mund të quhen ndryshe në varësi të specifikave të zbatimit dhe preferencave terminologjike), mbajnë strukturat e të dhënave të përditësuara për të analizuar rezultatet e punës së AI/ Mekanizmat ML (kube, tabela, grupe të dhënash shumëdimensionale, etj.) etj. – për raporte, tabela, etj.).

Një aspekt i rëndësishëm i zbatimit të CI në mënyrë specifike në InterSystems IRIS: integrimi dydrejtimësh është zbatuar midis platformës dhe mjediseve të modelimit matematik, duke ju lejuar të ekzekutoni përmbajtjen e pritur në platformë në Python, R dhe Julia në mjediset e tyre përkatëse dhe të merrni përsëri ekzekutimin rezultatet. Ky integrim zbatohet si në "modalitetin terminal" (d.m.th., përmbajtja AI/ML formulohet si kod ObjectScript që bën thirrje në mjedis) dhe në "modalitetin e procesit të biznesit" (d.m.th., përmbajtja AI/ML formulohet si një proces biznesi duke përdorur një redaktues grafik, ose ndonjëherë duke përdorur Jupyter, ose duke përdorur një IDE - IRIS Studio, Eclipse, Visual Studio Code). Disponueshmëria e proceseve të biznesit për redaktim në Jupyter reflektohet përmes lidhjes midis IRIS në nivel CI dhe Jupyter në nivel CD. Një përmbledhje më e detajuar e integrimit me mjediset e modelimit matematik është dhënë më poshtë. Në këtë fazë, sipas mendimit tonë, ka çdo arsye për të siguruar që platforma të ketë të gjitha mjetet e nevojshme për zbatimin e "integrimit të vazhdueshëm" të zhvillimeve AI/ML (që vijnë nga "vendosja e vazhdueshme") në zgjidhjet AI/ML në kohë reale.

Dhe mekanizmi kryesor makro: CT. Pa të, nuk do të ketë platformë AI/ML (megjithëse “koha reale” do të zbatohet përmes CD/CI). Thelbi i CT është puna e platformës me “artefakte” të mësimit të makinerive dhe inteligjencës artificiale direkt në seancat e punës të mjediseve të modelimit matematik: modele, tabela shpërndarjeje, vektorë matricë, shtresa të rrjeteve nervore, etj. Kjo "punë", në shumicën e rasteve, konsiston në krijimin e objekteve të përmendura në mjedise (në rastin e modeleve, për shembull, "krijimi" konsiston në vendosjen e specifikimit të modelit dhe zgjedhjen e mëvonshme të vlerave të parametrave të tij - i ashtuquajturi "trajnim" i modelit), aplikimi i tyre (për modelet: llogaritja me ndihmën e tyre të vlerave "model" të variablave të synuar - parashikimet, anëtarësimi në kategori, probabiliteti i një ngjarjeje, etj.) dhe përmirësimi i tashmë artefakte të krijuara dhe të aplikuara (për shembull, ripërcaktimi i një grupi variablash hyrëse të modelit bazuar në rezultatet e aplikimit - në mënyrë që të përmirësohet saktësia e parashikimit, si opsion). Pika kyçe për të kuptuar rolin e CT është "abstragimi" i tij nga realitetet e CD dhe CI: CT do të zbatojë të gjitha artefaktet, duke u fokusuar në specifikat llogaritëse dhe matematikore të zgjidhjes AI/ML brenda aftësive të ofruara nga mjedise specifike. Përgjegjësia për "dhënien e inputeve" dhe "dhënien e rezultateve" do të jetë përgjegjësi e CD dhe CI.

Një aspekt i rëndësishëm i zbatimit të CT në mënyrë specifike në InterSystems IRIS: duke përdorur integrimin me mjediset e modelimit matematik të përmendur tashmë më lart, platforma ka aftësinë të nxjerrë pikërisht ato artefakte nga seancat e punës që zhvillohen nën kontrollin e saj në mjediset matematikore dhe (më e rëndësishmja) të kthejë ato në objektet e të dhënave të platformës. Për shembull, një tabelë shpërndarjeje që sapo është krijuar në një sesion Python funksional mund të transferohet (pa ndalur seancën Python) në platformë në formën e, për shembull, një globale (një grup të dhënash shumëdimensionale InterSystems IRIS) - dhe përdoret për llogaritjet në një mekanizëm tjetër AI/ML- (i zbatuar në gjuhën e një mjedisi tjetër - për shembull, në R) - ose një tabelë virtuale. Një shembull tjetër: paralelisht me "modalitetin normal" të funksionimit të modelit (në seancën e punës Python), "auto-ML" kryhet në të dhënat e tij hyrëse: përzgjedhja automatike e variablave optimale të hyrjes dhe vlerave të parametrave. Dhe së bashku me trajnimin "të rregullt", një model produktiv në kohë reale merr gjithashtu një "propozim për optimizim" të specifikimit të tij - në të cilin grupi i variablave hyrëse ndryshon, vlerat e parametrave ndryshojnë (jo më si rezultat i trajnimit në Python, por si rezultat i trajnimit me një version “alternativ”” të vetvetes, siç është rafti H2O), duke lejuar zgjidhjen e përgjithshme AI/ML të përballet në mënyrë autonome me ndryshimet e papritura në natyrën e të dhënave hyrëse dhe fenomeneve që modelohen. .

Le të njihemi më në detaje me funksionalitetin e platformës AI/ML të InterSystems IRIS, duke përdorur shembullin e një prototipi të jetës reale.

Në diagramin e mëposhtëm, në anën e majtë të sllajdit është një pjesë e procesit të biznesit që zbaton ekzekutimin e skripteve në Python dhe R. Në pjesën qendrore ka regjistrat vizualë të ekzekutimit të disa prej këtyre skripteve, përkatësisht, në Python dhe R. Menjëherë pas tyre janë shembuj të përmbajtjes në një dhe një gjuhë tjetër, të transferuara për ekzekutim në mjediset e duhura. Në fund në të djathtë janë vizualizimet e bazuara në rezultatet e ekzekutimit të skenarit. Vizualizimet në krye u bënë në IRIS Analytics (të dhënat u morën nga Python në platformën e të dhënave InterSystems IRIS dhe u shfaqën në një panel duke përdorur platformën), në fund u bënë direkt në sesionin e punës R dhe nxirren prej andej në skedarët grafikë. . Një aspekt i rëndësishëm: fragmenti i paraqitur në prototip është përgjegjës për trajnimin e modelit (klasifikimi i gjendjeve të pajisjeve) mbi të dhënat e marra në kohë reale nga procesi i simulatorit të pajisjeve, me urdhër nga procesi i monitorimit të cilësisë së klasifikimit të vëzhguar gjatë aplikimit të modelit. Zbatimi i një zgjidhjeje AI/ML në formën e një grupi procesesh ndërvepruese ("agjentë") do të diskutohet më tej.

Figura 12 Ndërveprimi me Python, R dhe Julia në InterSystems IRIS

Proceset e platformës (ato janë gjithashtu "proceset e biznesit", "proceset analitike", "tubacionet", etj. - në varësi të kontekstit), para së gjithash, redaktohen në redaktuesin grafik të procesit të biznesit në vetë platformën, dhe në një mënyrë të tillë mënyra se si bllok diagrami i tij dhe mekanizmi përkatës AI/ML (kodi i programit) krijohen njëkohësisht. Kur themi se "përftohet një mekanizëm AI/ML", fillimisht nënkuptojmë hibriditetin (brenda një procesi): përmbajtja në gjuhët e mjediseve të modelimit matematikor është ngjitur me përmbajtjen në SQL (duke përfshirë zgjerimet nga ML e integruar), në InterSystems ObjectScript, me gjuhë të tjera të mbështetura. Për më tepër, procesi i platformës ofron mundësi shumë të gjera për "përkthim" në formën e fragmenteve të mbivendosur në mënyrë hierarkike (siç mund të shihet në shembullin në diagramin më poshtë), gjë që ju lejon të organizoni në mënyrë efektive përmbajtje edhe shumë komplekse pa "dështuar" kurrë. të formatit grafik (në formate “jografike”). » metoda/klasa/procedura etj.). Kjo do të thotë, nëse është e nevojshme (dhe kjo është parashikuar në shumicën e projekteve), absolutisht e gjithë zgjidhja AI/ML mund të zbatohet në një format grafik vetë-dokumentues. Ju lutemi vini re se në pjesën qendrore të diagramit më poshtë, i cili përfaqëson një "nivel më të lartë të foleve", është e qartë se përveç punës aktuale të trajnimit të modelit (duke përdorur Python dhe R), një analizë e të ashtuquajturit Shtohet kurba ROC e modelit të trajnuar, duke lejuar vizualisht (dhe llogaritëse) vlerësimin e cilësisë së trajnimit - dhe kjo analizë zbatohet në gjuhën Julia (ekzekutuar, në përputhje me rrethanat, në mjedisin matematikor Julia).

Figura 13 Mjedisi vizual për përbërjen e zgjidhjeve AI/ML në InterSystems IRIS

Siç u përmend më herët, zhvillimi fillestar dhe (në disa raste) përshtatja e mekanizmave AI/ML të implementuara tashmë në platformë do/mund të bëhet jashtë platformës në redaktorin Jupyter. Në diagramin më poshtë shohim një shembull të përshtatjes së një procesi platformë ekzistuese (njëlloj si në diagramin e mësipërm) - kështu duket në Jupyter fragmenti që është përgjegjës për trajnimin e modelit. Përmbajtja e Python është e disponueshme për redaktimin, korrigjimin dhe daljen grafike direkt në Jupyter. Ndryshimet (nëse është e nevojshme) mund të bëhen me sinkronizimin e menjëhershëm në procesin e platformës, duke përfshirë versionin e saj produktiv. Përmbajtja e re mund të transferohet në platformë në një mënyrë të ngjashme (një proces i ri i platformës gjenerohet automatikisht).

Figura 14 Përdorimi i Jupyter Notebook për të modifikuar motorin AI/ML në platformën InterSystems IRIS

Përshtatja e një procesi platformë mund të kryhet jo vetëm në një format grafik ose laptop - por edhe në formatin "total" IDE (Integrated Development Environment). Këto IDE janë IRIS Studio (studioja vendase IRIS), Kodi i Visual Studio (zgjatja InterSystems IRIS për VSCode) dhe Eclipse (shtojca Atelier). Në disa raste, është e mundur që një ekip zhvillimi të përdorë të tre IDE-të njëkohësisht. Diagrami më poshtë tregon një shembull të redaktimit të të njëjtit proces në studion IRIS, në Visual Studio Code dhe në Eclipse. Absolutisht e gjithë përmbajtja është e disponueshme për redaktim: Python/R/Julia/SQL, ObjectScript dhe procesi i biznesit.

Figura 15 Zhvillimi i procesit të biznesit InterSystems IRIS në IDE të ndryshme

Mjetet për përshkrimin dhe ekzekutimin e proceseve të biznesit të InterSystems IRIS në gjuhën e procesit të biznesit (BPL) meritojnë përmendje të veçantë. BPL bën të mundur përdorimin e "komponentëve të gatshëm të integrimit" (aktivitetet) në proceset e biznesit - gjë që, në fakt, jep çdo arsye për të thënë se "integrimi i vazhdueshëm" zbatohet në InterSystems IRIS. Komponentët e gatshëm të procesit të biznesit (aktivitetet dhe lidhjet ndërmjet tyre) janë një përshpejtues i fuqishëm për montimin e një zgjidhjeje AI/ML. Dhe jo vetëm asambletë: falë aktiviteteve dhe lidhjeve mes tyre mbi zhvillimet dhe mekanizmat e ndryshëm të AI/ML, lind një “shtresë autonome menaxhimi”, e aftë për të marrë vendime sipas situatës, në kohë reale.

Figura 16 Komponentët e gatshëm të procesit të biznesit për integrim të vazhdueshëm (CI) në platformën InterSystems IRIS

Koncepti i sistemeve të agjentëve (të njohur edhe si "sistemet me shumë agjentë") ka një pozicion të fortë në robotizim dhe platforma InterSystems IRIS e mbështet atë në mënyrë organike përmes konstruksionit "produkt-proces". Përveç mundësive të pakufizuara për "mbushjen" e çdo procesi me funksionalitetin e nevojshëm për zgjidhjen e përgjithshme, pajisja e sistemit të proceseve të platformës me vetinë e "agjencisë" ju lejon të krijoni zgjidhje efektive për fenomene të simuluara jashtëzakonisht të paqëndrueshme (sjellja sociale/ biosisteme, procese teknologjike pjesërisht të vëzhgueshme, etj.).

Figura 16 Funksionimi i një zgjidhjeje AI/ML si një sistem procesi biznesi i bazuar në agjentë në InterSystems IRIS

Ne vazhdojmë rishikimin tonë të InterSystems IRIS me një histori rreth përdorimit të aplikuar të platformës për zgjidhjen e klasave të tëra të problemeve në kohë reale (një hyrje mjaft e detajuar për disa nga praktikat më të mira të platformës AI/ML në InterSystems IRIS mund të gjendet në një e të mëparshmes sonë webinare).

Hot në thembra të diagramit të mëparshëm, më poshtë është një diagram më i detajuar i sistemit të agjentëve. Diagrami tregon të njëjtin prototip, të katër proceset e agjentëve janë të dukshëm, marrëdhëniet ndërmjet tyre vizatohen në mënyrë skematike: GENERATOR - përpunon krijimin e të dhënave nga sensorët e pajisjeve, BUFFER - menaxhon radhët e të dhënave, ANALYZER - kryen vetë mësimin e makinerisë, MONITOR - monitoron cilësinë e mësimit të makinerive dhe paraqet një sinjal për nevojën për të rikualifikuar modelin.

Figura 17 Përbërja e një zgjidhjeje AI/ML në formën e një sistemi procesi biznesi të bazuar në agjentë në InterSystems IRIS

Diagrami më poshtë ilustron funksionimin autonom të një prototipi tjetër robotik (njohja e ngjyrosjes emocionale të teksteve) për disa kohë. Në pjesën e sipërme është evolucioni i treguesit të cilësisë së trajnimit të modelit (cilësia po rritet), në pjesën e poshtme është dinamika e treguesit të cilësisë së aplikimit të modelit dhe faktet e trajnimit të përsëritur (vija të kuqe). Siç mund ta shihni, zgjidhja është mësuar në mënyrë efikase dhe autonome dhe funksionon në një nivel të caktuar cilësie (vlerat e rezultatit të cilësisë nuk bien nën 80%).

Figura 18 Trajnim (vetë) i vazhdueshëm (CT) në platformën InterSystems IRIS

Ne përmendëm gjithashtu "auto-ML" më herët, por diagrami më poshtë tregon përdorimin e këtij funksioni në detaje duke përdorur shembullin e një prototipi tjetër. Diagrami grafik i një fragmenti të një procesi biznesi tregon aktivitetin që shkakton modelimin në stivën H2O, tregon rezultatet e këtij modelimi (dominimi i qartë i modelit që rezulton mbi modelet "të krijuara nga njeriu", sipas diagramit krahasues të Kurbat ROC, si dhe identifikimi i automatizuar i "ndryshoreve më me ndikim" të disponueshëm në grupin e të dhënave origjinale). Një pikë e rëndësishme këtu është kursimi i kohës dhe burimeve të ekspertëve që arrihet përmes "auto-ML": ajo që procesi ynë i platformës bën në gjysmë minutë (gjetja dhe trajnimi i modelit optimal) mund t'i marrë një eksperti nga një javë në një muaj.

Figura 19 Integrimi i "auto-ML" në një zgjidhje AI/ML në platformën InterSystems IRIS

Diagrami i mëposhtëm e humb pak pikën, por është një mënyrë e mirë për t'i dhënë fund historisë për klasat e problemeve në kohë reale që zgjidhen: ju kujtojmë se me të gjitha aftësitë e platformës InterSystems IRIS, modelet e trajnimit nën kontrollin e saj janë jo e detyrueshme. Platforma mund të marrë nga jashtë të ashtuquajturin specifikim PMML të modelit, të trajnuar në një mjet që nuk është nën kontrollin e platformës - dhe ta zbatojë këtë model në kohë reale që nga momenti i importimit. Specifikimet PMML. Është e rëndësishme të merret parasysh se jo të gjitha artefaktet AI/ML mund të reduktohen në një specifikim PMML, edhe nëse shumica e artefakteve më të zakonshme e lejojnë këtë. Kështu, platforma InterSystems IRIS është "loop i hapur" dhe nuk do të thotë "skllavëri platformë" për përdoruesit.

Figura 20 Integrimi i "auto-ML" në një zgjidhje AI/ML në platformën InterSystems IRIS

Le të rendisim avantazhet shtesë të platformës së InterSystems IRIS (për qartësi, në lidhje me kontrollin e procesit), të cilat kanë një rëndësi të madhe në automatizimin e inteligjencës artificiale dhe mësimin e makinerive në kohë reale:

• Mjete të zhvilluara të integrimit me çdo burim të dhënash dhe konsumator (sistemi i kontrollit të procesit/SCADA, pajisjet, MRO, ERP, etj.)
• Të integruara DBMS me shumë modele për përpunim transaksional dhe analitik me performancë të lartë (Transaksion Hibrid/Përpunim Analitik, HTAP) i çdo vëllimi të të dhënave të procesit teknologjik
• Mjete zhvillimi për vendosjen e vazhdueshme të motorëve AI/ML për zgjidhje në kohë reale bazuar në Python, R, Julia
• Proceset adaptive të biznesit për integrimin e vazhdueshëm dhe (vetë-)mësimin e motorëve të zgjidhjeve AI/ML në kohë reale
• Mjete të integruara të inteligjencës së biznesit për vizualizimin e të dhënave të procesit dhe rezultatet e një zgjidhjeje AI/ML
• Menaxhimi i API për dërgimin e rezultateve të zgjidhjes AI/ML në sistemet e kontrollit të procesit/SCADA, sistemet e informacionit dhe analitike, dërgimi i sinjalizimeve, etj.

Zgjidhjet AI/ML në platformën InterSystems IRIS përshtaten lehtësisht në infrastrukturën ekzistuese të IT. Platforma InterSystems IRIS siguron besueshmëri të lartë të zgjidhjeve AI/ML duke mbështetur konfigurime tolerante ndaj gabimeve dhe fatkeqësive dhe vendosje fleksibël në mjedise virtuale, në serverë fizikë, në retë private dhe publike dhe kontejnerë Docker.

Kështu, InterSystems IRIS është një platformë universale kompjuterike AI/ML në kohë reale. Universaliteti i platformës sonë konfirmohet në praktikë nga mungesa e kufizimeve de fakto në kompleksitetin e llogaritjeve të zbatuara, aftësia e InterSystems IRIS për të kombinuar (në kohë reale) përpunimin e skenarëve nga një shumëllojshmëri e gjerë industrish dhe përshtatshmëria e jashtëzakonshme e çdo funksion dhe mekanizëm platforme për nevojat specifike të përdoruesve.

Figura 21 InterSystems IRIS - një platformë universale kompjuterike AI/ML në kohë reale

Për një ndërveprim më thelbësor me ata nga lexuesit tanë që janë të interesuar për materialin e paraqitur këtu, ju rekomandojmë të mos kufizoheni në leximin e tij dhe të vazhdoni dialogun "live". Ne do të jemi të lumtur të ofrojmë mbështetje me formulimin e skenarëve AI/ML në kohë reale në lidhje me specifikat e kompanisë suaj, të kryejmë prototipimin e përbashkët në platformën InterSystems IRIS, të formulojmë dhe zbatojmë në praktikë një udhërrëfyes për futjen e inteligjencës artificiale dhe mësimit të makinerive në proceset tuaja të prodhimit dhe menaxhimit. Email kontakti i ekipit tonë të ekspertëve të AI/ML - [email mbrojtur].

Burimi: www.habr.com