InterSystems IRIS är en universell AI/ML-plattform i realtid

Författare: Sergey Lukyanchikov, konsultingenjör på InterSystems

Realtidsanrop för AI/ML-datorer

Låt oss börja med exempel från erfarenheten av Data Science praxis på InterSystems:

• Den laddade köparportalen är kopplad till ett onlinerekommendationssystem. Det kommer att ske en omstrukturering av kampanjer i detaljhandelsnätverket (till exempel, istället för en "plat" linje med kampanjer, kommer nu en "segment-taktik"-matris att användas). Vad händer med rekommendationsmotorer? Vad händer med inlämningen och uppdateringen av data till rekommendationsmotorn (mängden indata har ökat med 25000 XNUMX gånger)? Vad händer med utvecklingen av rekommendationer (behovet av att sänka filtreringströskeln för rekommendationsregler tusen gånger på grund av en tusenfaldig ökning av deras antal och "räckvidd")?
• Det finns ett system för att övervaka sannolikheten för att defekter uppstår i utrustningskomponenter. Ett automatiserat processtyrningssystem kopplades till övervakningssystemet, som överförde tusentals tekniska processparametrar varje sekund. Vad händer med övervakningssystemet som tidigare arbetade med "manuella prover" (kan det tillhandahålla sannolikhetsövervakning sekund för sekund)? Vad händer om ett nytt block med flera hundra kolumner dyker upp i indata med avläsningar från sensorer som nyligen lagts till i processtyrningssystemet (kommer det att behövas och hur länge ska man stoppa övervakningssystemet för att inkludera data från nya sensorer i analysen )?
• En uppsättning AI/ML-mekanismer (rekommendation, övervakning, prognoser) har skapats som använder resultaten av varandras arbete. Hur många mantimmar krävs varje månad för att anpassa driften av detta komplex till förändringar i indata? Vilken är den allmänna "avmattningen" när den stöds av ledningens beslutsfattande komplex (frekvensen av förekomsten av ny stödjande information i den i förhållande till frekvensen av förekomsten av ny indata)?

Genom att sammanfatta dessa och många andra exempel har vi kommit till formuleringen av de utmaningar som uppstår när man går över till användningen av maskininlärning och artificiell intelligensmekanismer i realtid:

• Är vi nöjda med den snabba skapandet och anpassningen (till den förändrade situationen) av AI/ML-utvecklingen i vårt företag?
• Hur mycket stödjer AI/ML-lösningarna vi använder affärshantering i realtid?
• Kan AI/ML-lösningarna vi använder oberoende (utan utvecklare) anpassa sig till förändringar i data och verksamhetshantering?

Vår artikel är en grundlig översikt över funktionerna hos InterSystems IRIS-plattformen när det gäller universellt stöd för distribution av AI/ML-mekanismer, montering (integration) av AI/ML-lösningar och utbildning (testning) av AI/ML-lösningar på intensiv dataströmmar. Vi kommer att titta på marknadsundersökningar, fallstudier av AI/ML-lösningar och konceptuella aspekter av vad vi kallar en AI/ML-plattform i realtid i den här artikeln.

Vad vi vet från undersökningar: realtidsapplikationer

Resultat undersökninggenomförd bland nästan 800 IT-proffs under 2019 av Lightbend, talar för sig själva:

Figur 1 Ledande konsumenter av realtidsdata

Låt oss citera viktiga fragment av rapporten om resultaten av denna undersökning i vår översättning:

"... Trender i populariteten för verktyg för att integrera dataströmmar och samtidigt stödja datoranvändning i behållare ger ett synergistiskt svar på marknadens begäran om ett mer lyhört, rationellt, dynamiskt förslag på effektiva lösningar. Strömmande data överför information snabbare än traditionella paketdata. Till detta kommer möjligheten att snabbt tillämpa beräkningsmetoder, som till exempel AI/ML-baserade rekommendationer, skapa konkurrensfördelar genom ökad kundnöjdhet. Kapplöpet om smidighet påverkar också alla roller i DevOps-paradigmet – vilket gör applikationsutveckling och implementering mer effektiv. … Åttahundrafyra IT-proffs gav information om användningen av dataflöden i sina organisationer. Respondenterna var till övervägande del lokaliserade i västländer (41 % i Europa och 37 % i Nordamerika) och var nästan jämnt fördelade mellan små, medelstora och stora företag. ...

... Artificiell intelligens är ingen hype. Femtioåtta procent av de som redan använder dataströmsbehandling i produktivitets-AI/ML-applikationer bekräftar att deras användning av AI/ML kommer att se den största tillväxten under nästa år (jämfört med andra applikationer).

• Enligt majoriteten av de tillfrågade kommer användningen av dataströmmar i AI/ML-scenarier att se den största tillväxten under nästa år.
• Tillämpningar inom AI/ML kommer att växa inte bara på grund av relativt nya typer av scenarier, utan också på grund av traditionella scenarier där realtidsdata används alltmer.
• Förutom AI/ML är nivån av entusiasm bland användare av IoT-datapipelines imponerande - 48 % av de som redan har integrerat IoT-data säger att scenarioimplementering på denna data kommer att se en betydande ökning inom en snar framtid. ..."

Från denna ganska intressanta undersökning är det tydligt att uppfattningen om scenarier för maskininlärning och artificiell intelligens som ledare i konsumtionen av dataströmmar redan är "på väg." Men en lika viktig observation är uppfattningen av realtids-AI/ML genom DevOps-linsen: här kan vi redan börja prata om transformationen av den fortfarande dominerande kulturen av "engångs-AI/ML med en fullt tillgänglig datauppsättning."

AI/ML-plattformskoncept i realtid

Ett typiskt applikationsområde för AI/ML i realtid är processkontroll inom tillverkning. Med hjälp av hennes exempel och med hänsyn till tidigare tankar kommer vi att formulera konceptet med en AI/ML-plattform i realtid.
Användningen av artificiell intelligens och maskininlärning i processkontroll har ett antal funktioner:

• Data om tillståndet för den tekniska processen tas emot intensivt: med hög frekvens och för ett brett spektrum av parametrar (upp till tiotusentals parametervärden som överförs per sekund från processtyrningssystemet)
• Data om identifiering av defekter, för att inte tala om data om deras utveckling, tvärtom, är knappa och oregelbundna, kännetecknade av otillräcklig typifiering av defekter och deras lokalisering i tid (ofta representerad av pappersdokument)
• Ur praktisk synvinkel är endast ett "relevansfönster" för källdata tillgängligt för utbildning och tillämpning av modeller, vilket återspeglar dynamiken i den tekniska processen över ett rimligt glidintervall som slutar med de senaste avlästa värdena för processparametrarna

Dessa funktioner tvingar oss, förutom att ta emot och grundläggande bearbetning i realtid av den intensiva "bredbandsingångssignalen" från den tekniska processen, att utföra (parallellt) tillämpningen, utbildningen och kvalitetskontrollen av resultaten av AI/ ML-modeller - även i realtid. Den "ram" som våra modeller "ser" i det skjutbara fönstret av relevans förändras ständigt - och med den förändras också kvaliteten på resultaten av arbetet med AI/ML-modeller som tränats på en av "frames" tidigare . Om kvaliteten på resultaten av arbetet med AI/ML-modeller försämras (till exempel: värdet på klassificeringsfelet "larmnorm" har överskridit de gränser vi har definierat), bör ytterligare utbildning av modellerna startas automatiskt på en mer aktuell "ram" - och valet av ögonblick för att lansera ytterligare utbildning av modellerna bör ta hänsyn till hur varaktigheten av själva utbildningen och dynamiken i försämringen av kvaliteten på arbetet för den nuvarande versionen av modellerna (eftersom de nuvarande versionerna av modellerna fortsätter att användas medan modellerna är utbildade och tills deras "nyutbildade" versioner bildas).

InterSystems IRIS har nyckelplattformsmöjligheter för att möjliggöra AI/ML-lösningar för processkontroll i realtid. Dessa förmågor kan delas in i tre huvudgrupper:

• Kontinuerlig distribution (Continuous Deployment/Delivery, CD) av nya eller anpassade befintliga AI/ML-mekanismer till en produktiv lösning som fungerar i realtid på InterSystems IRIS-plattform
• Kontinuerlig integration (CI) i en enda produktiv lösning av inkommande tekniska processdataströmmar, dataköer för tillämpning/utbildning/kvalitetskontroll av AI/ML-mekanismer och utbyte av data/kod/kontrollåtgärder med matematiska modelleringsmiljöer, orkestrerade i realtid plattform InterSystems IRIS
• Kontinuerlig (själv)träning (Continuous Training, CT) av AI/ML-mekanismer, utförd i matematiska modelleringsmiljöer med hjälp av data, kod och kontrollåtgärder ("beslut fattade") som överförs av InterSystems IRIS-plattform

Klassificeringen av plattformskapacitet i förhållande till maskininlärning och artificiell intelligens i just dessa grupper är inte tillfällig. Låt oss citera metodiken offentliggörande Google, som ger en konceptuell grund för denna klassificering, i vår översättning:

"... DevOps-konceptet, som är populärt i dag, täcker utvecklingen och driften av storskaliga informationssystem. Fördelarna med att implementera detta koncept är en minskning av utvecklingscyklernas varaktighet, snabbare distribution av utvecklingar och flexibilitet i releaseplanering. För att uppnå dessa fördelar involverar DevOps implementering av minst två metoder:

• Kontinuerlig integration (CI)
• Kontinuerlig leverans (CD)

Dessa metoder gäller även för AI/ML-plattformar för att säkerställa tillförlitlig och prestanda sammansättning av produktiva AI/ML-lösningar.

AI/ML-plattformar skiljer sig från andra informationssystem i följande aspekter:

• Teamkompetenser: När man skapar en AI/ML-lösning innehåller teamet vanligtvis datavetare eller ”akademiska” experter inom området dataforskning som utför dataanalys, utvecklar och testar modeller. Dessa gruppmedlemmar kanske inte är professionella produktiva kodutvecklare.
• Utveckling: AI/ML-motorer är experimentella till sin natur. För att lösa ett problem på det mest effektiva sättet är det nödvändigt att gå igenom olika kombinationer av indatavariabler, algoritmer, modelleringsmetoder och modellparametrar. Komplexiteten i en sådan sökning ligger i att spåra "vad som fungerade/inte fungerade", säkerställa reproducerbarhet av episoder, generalisering av utvecklingen för upprepade implementeringar.
• Testning: Att testa AI/ML-motorer kräver ett bredare urval av tester än de flesta andra utvecklingar. Förutom standardenhets- och integrationstester, testas datavaliditet och kvaliteten på resultaten av att tillämpa modellen på tränings- och kontrollprover.
• Implementering: Implementering av AI/ML-lösningar är inte begränsad till prediktiva tjänster som använder en gång utbildad modell. AI/ML-lösningar är byggda kring flerstegspipelines som utför automatiserad modellträning och tillämpning. Att distribuera sådana pipelines innebär att automatisera icke-triviala åtgärder som traditionellt utförs manuellt av datavetare för att kunna träna och testa modeller.
• Produktivitet: AI/ML-motorer kan sakna produktivitet, inte bara på grund av ineffektiv programmering, utan också på grund av den ständigt föränderliga karaktären hos indata. Med andra ord kan prestandan hos AI/ML-mekanismer försämras på grund av ett större antal orsaker än prestandan hos konventionella utvecklingar. Vilket leder till behovet av att övervaka (online) prestandan för våra AI/ML-motorer, samt skicka varningar eller avvisa resultat om prestandaindikatorer inte motsvarar förväntningarna.

AI/ML-plattformar liknar andra informationssystem genom att båda kräver kontinuerlig kodintegration med versionskontroll, enhetstestning, integrationstestning och kontinuerlig utvecklingsinstallation. Men när det gäller AI/ML finns det flera viktiga skillnader:

• CI (Continuous Integration) är inte längre begränsad till att testa och validera koden för distribuerade komponenter – det inkluderar även testning och validering av data och AI/ML-modeller.
• CD (Continuous Delivery/Deployment, continuous deployment) är inte begränsad till att skriva och släppa paket eller tjänster, utan innebär en plattform för sammansättning, utbildning och tillämpning av AI/ML-lösningar.
• CT (Continuous Training, continuous training) är ett nytt inslag [ca. artikelförfattare: ett nytt element i förhållande till det traditionella konceptet DevOps, där CT som regel är Continuous Testing], inneboende i AI/ML-plattformar, ansvarig för den autonoma hanteringen av mekanismerna för utbildning och tillämpning av AI /ML-modeller. ..."

Vi kan konstatera att maskininlärning och artificiell intelligens som arbetar med realtidsdata kräver en bredare uppsättning verktyg och kompetenser (från kodutveckling till orkestrering av matematiska modelleringsmiljöer), närmare integration mellan alla funktions- och ämnesområden, effektivare organisation av mänskliga och maskinresurser.

Realtidsscenario: erkännande av utvecklingen av defekter i matarpumpar

Fortsätt att använda processkontrollområdet som ett exempel, överväg ett specifikt problem (vi nämnde redan i början): vi måste tillhandahålla realtidsövervakning av utvecklingen av defekter i pumpar baserat på flödet av processparametervärden och rapporter från reparationspersonal om identifierade defekter.

Figur 2 Problemformulering för att följa utvecklingen av defekter

Ett kännetecken för de flesta uppgifter som ställs på detta sätt i praktiken är att regelbundenhet och effektivitet av datamottagning (APCS) måste beaktas mot bakgrund av den episodiska och oregelbundna förekomsten (och registreringen) av defekter av olika slag. Med andra ord: data från processtyrningssystemet kommer en gång i sekunden, korrekt och korrekt, och anteckningar om defekter görs med en kemikaliepenna som anger datum i en allmän anteckningsbok i verkstaden (till exempel: "12.01 – läcka in i omslaget" från sidan av det 3:e lagret").

Således kan vi komplettera formuleringen av problemet med följande viktiga begränsning: vi har bara en "etikett" för en defekt av en specifik typ (dvs ett exempel på en defekt av en specifik typ representeras av data från processkontrollen system på ett specifikt datum - och vi har inte fler exempel på en defekt av just denna typ). Denna begränsning tar oss omedelbart bortom räckvidden för klassisk maskininlärning (övervakad inlärning), för vilken det borde finnas många "taggar".

Figur 3 Förtydligande av uppgiften att följa utvecklingen av defekter

Kan vi på något sätt "multiplicera" den enda "taggen" som står till vårt förfogande? Ja det kan vi. Pumpens nuvarande tillstånd kännetecknas av graden av likhet med registrerade defekter. Även utan användning av kvantitativa metoder, på nivån för visuell perception, genom att observera dynamiken i datavärden som kommer från processtyrningssystemet, kan du redan lära dig mycket:

Figur 4 Dynamik för pumpens tillstånd mot bakgrund av ett "märke" av en defekt av en given typ

Men visuell perception (åtminstone för nu) är inte den mest lämpliga generatorn av "taggar" i vårt snabbt föränderliga scenario. Vi kommer att utvärdera likheten mellan det aktuella pumptillståndet och de rapporterade defekterna med hjälp av ett statistiskt test.

Figur 5 Tillämpa ett statistiskt test på inkommande data mot bakgrund av en defekt "etikett"

Ett statistiskt test bestämmer sannolikheten för att posterna med värdena för de tekniska processparametrarna i "flödespaketet" som tas emot från processkontrollsystemet liknar posterna för "taggen" för en defekt av en viss typ. Sannolikhetsvärdet (statistiskt likhetsindex) som beräknas som ett resultat av att tillämpa ett statistiskt test omvandlas till ett värde på 0 eller 1, och blir en "etikett" för maskininlärning i varje specifik post i paketet som undersöks för likhet. Det vill säga, efter att ha bearbetat ett nyligen mottaget paket med pumpstatusposter med ett statistiskt test, har vi möjlighet att (a) lägga till detta paket till utbildningssetet för att träna AI/ML-modellen och (b) utföra kvalitetskontroll av aktuell version av modellen när du använder den till detta paket.

Figur 6 Tillämpa en maskininlärningsmodell på inkommande data mot bakgrund av en defekt "etikett"

I en av våra tidigare webbseminarier Vi visar och förklarar hur InterSystems IRIS-plattform låter dig implementera vilken AI/ML-mekanism som helst i form av att kontinuerligt exekvera affärsprocesser som övervakar tillförlitligheten av modelleringsresultat och anpassar modellparametrar. När vi implementerar en prototyp av vårt scenario med pumpar använder vi alla InterSystems IRIS-funktioner som presenterades under webbinariet - implementerar i analysprocessen som en del av vår lösning, inte klassisk övervakad inlärning, utan snarare förstärkningsinlärning, som automatiskt hanterar valet av träningsmodeller . Utbildningsprovet innehåller poster där en "detektionskonsensus" uppstår efter att ha tillämpat både det statistiska testet och den aktuella versionen av modellen - det vill säga både det statistiska testet (efter omvandling av likhetsindexet till 0 eller 1) och modellen gav resultatet på sådana register 1. Under ny utbildning av modellen, under dess validering (den nyutbildade modellen tillämpas på sitt eget träningsprov, med preliminär tillämpning av ett statistiskt test på det), poster som "inte behöll" resultat 1 efter bearbetning genom det statistiska testet (på grund av den ständiga närvaron i träningen ett urval av poster från den ursprungliga "etiketten" av defekten), tas bort från träningsuppsättningen, och en ny version av modellen lär sig från "etiketten" av defekt plus de "behållna" posterna från strömmen.

Figur 7 Robotisering av AI/ML-beräkningar i InterSystems IRIS

Om det finns ett behov av ett slags "second opinion" om kvaliteten på detektionen som erhålls vid lokala beräkningar i InterSystems IRIS, skapas en rådgivareprocess för att utföra utbildning och tillämpning av modeller på en styrdatauppsättning med hjälp av molntjänster (till exempel Microsoft Azure, Amazon Web Services , Google Cloud Platform, etc.):

Figur 8 Second Opinion från Microsoft Azure orkestrerad av InterSystems IRIS

Prototypen av vårt scenario i InterSystems IRIS är designat som ett agentbaserat system av analytiska processer som interagerar med ett utrustningsobjekt (pump), matematiska modelleringsmiljöer (Python, R och Julia), och säkerställer självinlärning av alla inblandade AI/ ML-mekanismer - på realtidsdataströmmar .

Figur 9 Huvudfunktionalitet för realtidslösningen för AI/ML i InterSystems IRIS

Det praktiska resultatet av vår prototyp:

• Provdefekt som identifieras av modellen (12 januari):

• En utvecklingsdefekt som identifierades av modellen och som inte ingick i provet (11 september, själva defekten identifierades av reparationsteamet bara två dagar senare, den 13 september):

Simulering av verkliga data som innehåller flera episoder av samma defekt visade att vår lösning, implementerad på InterSystems IRIS-plattform, tillåter oss att identifiera utvecklingen av defekter av denna typ flera dagar innan de upptäcks av reparationsteamet.

InterSystems IRIS - en universell AI/ML-dataplattform i realtid

InterSystems IRIS-plattform förenklar utveckling, driftsättning och drift av realtidsdatalösningar. InterSystems IRIS kan samtidigt utföra transaktions- och analytisk databehandling; stödja synkroniserade datavyer enligt flera modeller (inklusive relationella, hierarkiska, objekt och dokument); fungera som en plattform för att integrera ett brett utbud av datakällor och individuella applikationer; tillhandahålla avancerad realtidsanalys av strukturerad och ostrukturerad data. InterSystems IRIS tillhandahåller också mekanismer för att använda externa analysverktyg och tillåter flexibel kombination av hosting i molnet och på lokala servrar.

Applikationer byggda på InterSystems IRIS-plattform har distribuerats i en mängd olika branscher, vilket hjälper företag att realisera betydande ekonomiska fördelar ur ett strategiskt och operativt perspektiv, vilket ökar välgrundat beslutsfattande och överbryggar klyftorna mellan händelse, analys och handling.

Figur 10 InterSystems IRIS-arkitektur i samband med realtids-AI/ML

Liksom föregående diagram kombinerar diagrammet nedan det nya "koordinatsystemet" (CD/CI/CT) med ett diagram över informationsflödet mellan plattformens arbetselement. Visualiseringen börjar med makromekanismen CD och fortsätter med makromekanismerna CI och CT.

Figur 11 Diagram över informationsflöden mellan AI/ML-element i InterSystems IRIS-plattform

Kärnan i CD-mekanismen i InterSystems IRIS: plattformsanvändare (utvecklare av AI/ML-lösningar) anpassar befintliga och/eller skapar nya AI/ML-utvecklingar med hjälp av en specialiserad kodredigerare för AI/ML-mekanismer: Jupyter (fullständigt namn: Jupyter Notebook; för korthetens skull kallas dokument som skapats i denna editor ibland också). I Jupyter har en utvecklare möjlighet att skriva, felsöka och verifiera prestandan (inklusive med hjälp av grafik) för en specifik AI/ML-utveckling innan den placeras (”distribueras”) i InterSystems IRIS. Det är tydligt att en ny utveckling som skapas på detta sätt bara kommer att få grundläggande felsökning (eftersom Jupyter inte fungerar med dataströmmar i realtid) - detta är i rätt ordning, eftersom huvudresultatet av utvecklingen i Jupyter är en bekräftelse på den grundläggande funktionaliteten för en separat AI/ML-mekanism ("visar det förväntade resultatet på ett dataprov"). På liknande sätt kan en mekanism som redan är placerad i plattformen (se följande makromekanismer) före felsökning i Jupyter kräva en "återställning" till en "förplattform"-form (läsa data från filer, arbeta med data genom xDBC istället för tabeller, direkt interaktion med globaler - flerdimensionella datamatriser InterSystems IRIS – etc.).

En viktig aspekt av CD-implementering i InterSystems IRIS: dubbelriktad integration har implementerats mellan plattformen och Jupyter, vilket gör att innehåll i Python, R och Julia kan överföras till plattformen (och därefter bearbetas i plattformen) (alla tre programmerar språk i motsvarande ledande öppen källkodsspråk). matematiska källmodelleringsmiljöer). Således har AI/ML-innehållsutvecklare möjlighet att utföra "kontinuerlig distribution" av detta innehåll i plattformen, arbeta i sin välbekanta Jupyter-redigerare, med välbekanta bibliotek tillgängliga i Python, R, Julia, och utföra grundläggande felsökning (om nödvändigt) utanför plattformen.

Låt oss gå vidare till CI-makromekanismen i InterSystems IRIS. Diagrammet visar makroprocessen för "realtidsrobotiseraren" (ett komplex av datastrukturer, affärsprocesser och kodfragment orkestrerade av dem på matematiska språk och ObjectScript - det inhemska utvecklingsspråket för InterSystems IRIS). Uppgiften för denna makroprocess är att upprätthålla de dataköer som krävs för driften av AI/ML-mekanismer (baserat på dataströmmar som överförs till plattformen i realtid), fatta beslut om applikationssekvensen och "sortimentet" av AI/ ML-mekanismer (de är också "matematiska algoritmer", "modeller", etc. – kan kallas olika beroende på detaljerna i implementeringen och terminologiska preferenser), håller datastrukturer uppdaterade för att analysera resultaten av arbetet med AI/ ML-mekanismer (kuber, tabeller, flerdimensionella datamatriser, etc.) etc. – för rapporter, instrumentpaneler, etc.).

En viktig aspekt av CI-implementering i InterSystems IRIS: dubbelriktad integration har implementerats mellan plattformen och matematiska modelleringsmiljöer, vilket gör att du kan exekvera innehåll som finns på plattformen i Python, R och Julia i sina respektive miljöer och få tillbaka körresultaten. Denna integration implementeras både i "terminalläge" (dvs. AI/ML-innehåll är formulerat som ObjectScript-kod som gör anrop till miljön) och i "affärsprocessläge" (dvs. AI/ML-innehåll är formulerat som en affärsprocess med en grafisk redigerare, eller ibland med Jupyter, eller med en IDE - IRIS Studio, Eclipse, Visual Studio Code). Tillgängligheten av affärsprocesser för redigering i Jupyter återspeglas genom kopplingen mellan IRIS på CI-nivå och Jupyter på CD-nivå. En mer detaljerad översikt över integration med matematiska modelleringsmiljöer ges nedan. I det här skedet finns det enligt vår uppfattning all anledning att säkerställa att plattformen har alla nödvändiga verktyg för att implementera "kontinuerlig integration" av AI/ML-utvecklingen (som kommer från "kontinuerlig deployment") till AI/ML-lösningar i realtid.

Och den huvudsakliga makromekanismen: CT. Utan den kommer det inte att finnas någon AI/ML-plattform (även om "realtid" kommer att implementeras via CD/CI). Kärnan i CT är plattformens arbete med "artefakter" av maskininlärning och artificiell intelligens direkt i arbetssessioner i matematiska modelleringsmiljöer: modeller, distributionstabeller, matrisvektorer, lager av neurala nätverk, etc. Detta "arbete" består i de flesta fall av att skapa de nämnda artefakterna i miljöer (i fallet med modeller, till exempel, "skapande" består av att ställa in specifikationen för modellen och efterföljande val av värdena för dess parametrar - den så kallade "utbildningen" av modellen), deras tillämpning (för modeller: beräkning med hjälp av "modell"-värden av målvariabler - prognoser, kategorimedlemskap, sannolikhet för en händelse, etc.) och förbättring av redan skapade och tillämpade artefakter (till exempel omdefiniering av en uppsättning modellindatavariabler baserat på resultaten av tillämpningen - för att förbättra prognosnoggrannheten, som ett alternativ). Nyckelpunkten för att förstå CT:s roll är dess "abstraktion" från verkligheten för CD och CI: CT kommer att implementera alla artefakter, med fokus på de beräkningsmässiga och matematiska specifikationerna för AI/ML-lösningen inom de möjligheter som tillhandahålls av specifika miljöer. Ansvaret för att "tillhandahålla input" och "leverera utdata" kommer att vara CD:s och CI:s ansvar.

En viktig aspekt av implementeringen av CT specifikt i InterSystems IRIS: genom att använda integrationen med matematiska modelleringsmiljöer som redan nämnts ovan, har plattformen förmågan att extrahera just dessa artefakter från arbetssessioner som körs under dess kontroll i matematiska miljöer och (viktigast) vända dem till plattformsdataobjekt. Till exempel kan en distributionstabell som just har skapats i en fungerande Python-session (utan att stoppa Python-sessionen) överföras till plattformen i form av till exempel en global (en multidimensionell InterSystems IRIS-datamatris) - och användas för beräkningar i en annan AI/ML-mekanism (implementerad på språket i en annan miljö - till exempel i R) - eller en virtuell tabell. Ett annat exempel: parallellt med modellens "normala läge" (i Python-arbetssessionen) utförs "auto-ML" på dess indata: automatiskt val av optimala indatavariabler och parametervärden. Och tillsammans med den "vanliga" träningen får en produktiv modell i realtid också ett "förslag till optimering" av sin specifikation - där uppsättningen indatavariabler ändras, parametervärdena ändras (inte längre som ett resultat av träning i Python, men som ett resultat av träning med en "alternativ" " version av sig själv, såsom H2O-stacken), vilket gör det möjligt för den övergripande AI/ML-lösningen att självständigt hantera oväntade förändringar i naturen hos indata och fenomen som modelleras .

Låt oss bekanta oss mer i detalj med plattformens AI/ML-funktionalitet hos InterSystems IRIS, med hjälp av exemplet på en verklig prototyp.

I diagrammet nedan finns på vänster sida av bilden en del av affärsprocessen som implementerar exekveringen av skript i Python och R. I den centrala delen finns visuella loggar över exekveringen av några av dessa skript, respektive, i Python och R. Omedelbart bakom dem finns exempel på innehåll på ett och ett annat språk, överfört för exekvering till lämpliga miljöer. I slutet till höger finns visualiseringar baserade på resultatet av skriptkörning. Visualiseringarna överst gjordes på IRIS Analytics (data togs från Python till InterSystems IRIS-dataplattform och visades på en instrumentpanel med plattformen), längst ner gjordes direkt i R-arbetssessionen och matades ut därifrån till grafiska filer . En viktig aspekt: ​​det presenterade fragmentet i prototypen är ansvarigt för att träna modellen (klassificering av utrustningstillstånd) på data som tas emot i realtid från utrustningssimulatorprocessen, på kommando från klassificeringskvalitetsövervakningsprocessen som observerats under tillämpningen av modellen. Implementeringen av en AI/ML-lösning i form av en uppsättning interagerande processer ("agenter") kommer att diskuteras vidare.

Figur 12 Interaktion med Python, R och Julia i InterSystems IRIS

Plattformsprocesser (de är också "affärsprocesser", "analytiska processer", "pipelines" etc. - beroende på sammanhanget) redigeras först och främst i den grafiska affärsprocessredigeraren i själva plattformen, och i en sådan sätt att både dess blockschema och motsvarande AI/ML-mekanism (programkod) skapas samtidigt. När vi säger att "en AI/ML-mekanism erhålls" menar vi initialt hybriditet (inom en process): innehåll på språken i matematiska modelleringsmiljöer gränsar till innehåll i SQL (inklusive tillägg från IntegratedML), i InterSystems ObjectScript, med andra språk som stöds. Dessutom ger plattformsprocessen mycket breda möjligheter till "rendering" i form av hierarkiskt kapslade fragment (som kan ses i exemplet i diagrammet nedan), vilket gör att du effektivt kan organisera även mycket komplext innehåll utan att någonsin "falla ut" av det grafiska formatet (till "icke-grafiska" format). » metoder/klasser/procedurer, etc.). Det vill säga, vid behov (och det är förutsett i de flesta projekt) kan absolut hela AI/ML-lösningen implementeras i ett grafiskt självdokumenterande format. Observera att i den centrala delen av diagrammet nedan, som representerar en högre ”häckningsnivå”, framgår att det utöver själva arbetet med att träna modellen (med Python och R) en analys av s.k. ROC-kurvan för den tränade modellen läggs till, vilket gör det möjligt att visuellt (och även beräkningsmässigt) utvärdera utbildningens kvalitet - och denna analys implementeras på Julia-språket (följt av detta i Julia matematiska miljö).

Figur 13 Visuell miljö för sammansättningen av AI/ML-lösningar i InterSystems IRIS

Som tidigare nämnts kommer/kan den initiala utvecklingen och (i vissa fall) anpassningen av AI/ML-mekanismer som redan är implementerade i plattformen göras utanför plattformen i Jupyter-editorn. I diagrammet nedan ser vi ett exempel på anpassning av en befintlig plattformsprocess (samma som i diagrammet ovan) – så här ser fragmentet ut som ansvarar för att träna modellen i Jupyter. Python-innehåll är tillgängligt för redigering, felsökning och grafikutmatning direkt i Jupyter. Ändringar (om nödvändigt) kan göras med omedelbar synkronisering i plattformsprocessen, inklusive dess produktiva version. Nytt innehåll kan överföras till plattformen på liknande sätt (en ny plattformsprocess genereras automatiskt).

Figur 14 Använda Jupyter Notebook för att redigera AI/ML-motorn i InterSystems IRIS-plattformen

Anpassning av en plattformsprocess kan utföras inte bara i ett grafiskt eller bärbart format - utan också i det "totala" IDE-formatet (Integrated Development Environment). Dessa IDE är IRIS Studio (inbyggd IRIS-studio), Visual Studio Code (InterSystems IRIS-tillägg för VSCode) och Eclipse (Atelier-plugin). I vissa fall är det möjligt för ett utvecklingsteam att använda alla tre IDE samtidigt. Diagrammet nedan visar ett exempel på redigering av samma process i IRIS studio, i Visual Studio Code och i Eclipse. Absolut allt innehåll är tillgängligt för redigering: Python/R/Julia/SQL, ObjectScript och affärsprocess.

Figur 15 Utveckling av InterSystems IRIS affärsprocess i olika IDE

Verktygen för att beskriva och exekvera InterSystems IRIS affärsprocesser i Business Process Language (BPL) förtjänar särskilt omnämnande. BPL gör det möjligt att använda "färdiga integrationskomponenter" (aktiviteter) i affärsprocesser - vilket faktiskt ger all anledning att säga att "kontinuerlig integration" är implementerad i InterSystems IRIS. Färdiga affärsprocesskomponenter (aktiviteter och kopplingar mellan dem) är en kraftfull accelerator för att montera en AI/ML-lösning. Och inte bara sammansättningar: tack vare aktiviteterna och kopplingarna mellan dem över olika AI/ML-utvecklingar och mekanismer, uppstår ett "autonomt ledningsskikt" som kan fatta beslut utifrån situationen i realtid.

Figur 16 Färdiga affärsprocesskomponenter för kontinuerlig integration (CI) på InterSystems IRIS-plattform

Konceptet med agentsystem (även känt som "multi-agent system") har en stark position inom robotisering, och InterSystems IRIS-plattform stödjer det organiskt genom "produkt-process"-konstruktionen. Förutom de obegränsade möjligheterna att "fylla" varje process med den funktionalitet som krävs för den övergripande lösningen, ger systemet med plattformsprocesser egenskapen "byrå" dig möjlighet att skapa effektiva lösningar för extremt instabila simulerade fenomen (beteende av sociala/ biosystem, delvis observerbara tekniska processer, etc.).

Figur 16 Drift av en AI/ML-lösning som ett agentbaserat affärsprocesssystem i InterSystems IRIS

Vi fortsätter vår granskning av InterSystems IRIS med en berättelse om den tillämpade användningen av plattformen för att lösa hela klasser av realtidsproblem (en ganska detaljerad introduktion till några av de bästa metoderna för plattform AI/ML på InterSystems IRIS finns i en av våra tidigare webbseminarier).

Hot i hälarna på föregående diagram, nedan är ett mer detaljerat diagram över agentsystemet. Diagrammet visar samma prototyp, alla fyra agentprocesser är synliga, relationerna mellan dem är schematiskt ritade: GENERATOR - bearbetar skapandet av data av utrustningssensorer, BUFFER - hanterar dataköer, ANALYSER - utför maskininlärning själv, MONITOR - övervakar kvalitet på maskininlärning och ger en signal om behovet av att omskola modellen.

Figur 17 Sammansättning av en AI/ML-lösning i form av ett agentbaserat affärsprocesssystem i InterSystems IRIS

Diagrammet nedan illustrerar den autonoma funktionen hos en annan robotprototyp (igenkänning av den känslomässiga färgningen av texter) under en tid. I den övre delen är utvecklingen av kvalitetsindikatorn för modellträning (kvaliteten växer), i den nedre delen är dynamiken i kvalitetsindikatorn för modellanvändning och fakta om upprepad träning (röda ränder). Som du kan se har lösningen lärt sig effektivt och självständigt och fungerar på en given kvalitetsnivå (kvalitetspoängvärdena faller inte under 80%).

Figur 18 Kontinuerlig (själv)träning (CT) på InterSystems IRIS-plattform

Vi nämnde också "auto-ML" tidigare, men diagrammet nedan visar användningen av denna funktionalitet i detalj med exemplet på en annan prototyp. Det grafiska diagrammet av ett fragment av en affärsprocess visar aktiviteten som utlöser modelleringen i H2O-stacken, visar resultaten av denna modellering (den klara dominansen av den resulterande modellen över "man-made" modeller, enligt det jämförande diagrammet av ROC-kurvor, såväl som den automatiska identifieringen av de "mest inflytelserika variablerna" som finns tillgängliga i den ursprungliga datamängden). En viktig punkt här är besparingen av tid och expertresurser som uppnås genom "auto-ML": vad vår plattformsprocess gör på en halv minut (att hitta och träna den optimala modellen) kan ta en expert från en vecka till en månad.

Figur 19 Integrering av "auto-ML" i en AI/ML-lösning på InterSystems IRIS-plattform

Diagrammet nedan missar poängen lite, men det är ett bra sätt att avsluta berättelsen om klasserna av realtidsproblem som löses: vi påminner dig om att med alla funktionerna hos InterSystems IRIS-plattform är träningsmodeller under dess kontroll. inte obligatoriskt. Plattformen kan utifrån den så kallade PMML-specifikationen av modellen, tränad i ett verktyg som inte kontrolleras av plattformen - och tillämpa denna modell i realtid från det ögonblick den importeras PMML-specifikationer. Det är viktigt att ta hänsyn till att inte alla AI/ML-artefakter kan reduceras till en PMML-specifikation, även om de flesta av de vanligaste artefakterna tillåter detta. Således är InterSystems IRIS-plattform "open loop" och betyder inte "plattformsslaveri" för användare.

Figur 20 Integrering av "auto-ML" i en AI/ML-lösning på InterSystems IRIS-plattform

Låt oss lista de ytterligare plattformsfördelarna med InterSystems IRIS (för tydlighetens skull, i förhållande till processkontroll), som är av stor betydelse för automatisering av artificiell intelligens och maskininlärning i realtid:

• Utvecklade integrationsverktyg med alla datakällor och konsumenter (processkontrollsystem/SCADA, utrustning, MRO, ERP, etc.)
• Inbyggt multi-modell DBMS för högpresterande transaktions- och analytisk bearbetning (Hybrid Transaction/Analytical Processing, HTAP) av alla volymer av teknisk processdata
• Utvecklingsverktyg för kontinuerlig driftsättning av AI/ML-motorer för realtidslösningar baserade på Python, R, Julia
• Adaptiva affärsprocesser för kontinuerlig integration och (själv)inlärning av AI/ML-lösningsmotorer i realtid
• Inbyggda Business Intelligence-verktyg för att visualisera processdata och resultaten av en AI/ML-lösning
• API-hantering för att leverera resultaten av AI/ML-lösningen till processkontrollsystem/SCADA, informations- och analyssystem, skicka varningar m.m.

AI/ML-lösningar på InterSystems IRIS-plattform passar lätt in i den befintliga IT-infrastrukturen. InterSystems IRIS-plattform säkerställer hög tillförlitlighet för AI/ML-lösningar genom att stödja feltoleranta och katastroftoleranta konfigurationer och flexibel distribution i virtuella miljöer, på fysiska servrar, i privata och offentliga moln och Docker-containrar.

Således är InterSystems IRIS en universell AI/ML-dataplattform i realtid. Vår plattforms universalitet bekräftas i praktiken av frånvaron av de facto-restriktioner för komplexiteten hos implementerade beräkningar, förmågan hos InterSystems IRIS att kombinera (i realtid) bearbetning av scenarier från en mängd olika branscher, och den exceptionella anpassningsförmågan hos vår plattform. alla plattformsfunktioner och mekanismer till användarnas specifika behov.

Figur 21 InterSystems IRIS - en universell AI/ML-dataplattform i realtid

För en mer innehållsrik interaktion med de av våra läsare som är intresserade av materialet som presenteras här, rekommenderar vi att du inte begränsar dig till att läsa det och fortsätta dialogen "live". Vi ger gärna stöd med formuleringen av realtids-AI/ML-scenarier i relation till ditt företags särdrag, utför gemensam prototyping på InterSystems IRIS-plattform, formulerar och implementerar i praktiken en färdplan för att introducera artificiell intelligens och maskininlärning i dina produktions- och ledningsprocesser. Vårt AI/ML-expertteam Kontakt E-post – [e-postskyddad].

Källa: will.com