InterSystems IRIS - universele real-time AI/ML platform

Skrywer: Sergey Lukyanchikov, raadgewende ingenieur by InterSystems

Intydse AI/ML-rekenaaroproepe

Kom ons begin met voorbeelde uit die ervaring van Data Science-praktyk by InterSystems:

• Die gelaaide koperportaal is gekoppel aan 'n aanlyn aanbevelingstelsel. Daar sal 'n herstrukturering van promosies oor die kleinhandelnetwerk wees (byvoorbeeld, in plaas van 'n "plat" lyn van promosies, sal 'n "segment-taktiek"-matriks nou gebruik word). Wat gebeur met aanbevelingenjins? Wat gebeur met die indiening en opdatering van data na die aanbevelingsenjin (die volume insetdata het met 25000 XNUMX keer toegeneem)? Wat gebeur met die ontwikkeling van aanbevelings (die behoefte om die filterdrempel van aanbevelingsreëls met duisendvoudig te verminder as gevolg van 'n duisendvoudige toename in hul getal en "reeks")?
• Daar is 'n stelsel vir die monitering van die waarskynlikheid dat defekte in toerustingkomponente ontwikkel. ’n Geoutomatiseerde prosesbeheerstelsel is aan die moniteringstelsel gekoppel, wat elke sekonde duisende tegnologiese prosesparameters versend. Wat gebeur met die moniteringstelsel wat voorheen aan “handmonsters” gewerk het (is dit in staat om sekonde-vir-sekonde waarskynlikheidsmonitering te verskaf)? Wat sal gebeur as 'n nuwe blok van etlike honderde kolomme in die insetdata verskyn met lesings van sensors wat onlangs by die prosesbeheerstelsel gevoeg is (sal dit nodig wees en vir hoe lank om die moniteringstelsel te stop om data van nuwe sensors in die ontleding in te sluit )?
• ’n Stel KI/ML-meganismes (aanbeveling, monitering, vooruitskatting) is geskep wat die resultate van mekaar se werk gebruik. Hoeveel man-ure word elke maand benodig om die werking van hierdie kompleks aan te pas by veranderinge in insetdata? Wat is die algemene "vertraging" wanneer dit ondersteun word deur die bestuursbesluitnemingskompleks (die frekwensie van voorkoms van nuwe ondersteunende inligting daarin relatief tot die frekwensie van voorkoms van nuwe insetdata)?

Deur hierdie en baie ander voorbeelde op te som, het ons gekom by die formulering van die uitdagings wat ontstaan ​​wanneer daar na die gebruik van masjienleer en kunsmatige intelligensie-meganismes in reële tyd beweeg word:

• Is ons tevrede met die spoed van skepping en aanpassing (by die veranderende situasie) van KI/ML-ontwikkelings in ons maatskappy?
• Hoeveel ondersteun die KI/ML-oplossings wat ons gebruik intydse besigheidsbestuur?
• Is die KI/ML-oplossings wat ons gebruik in staat om onafhanklik (sonder ontwikkelaars) aan te pas by veranderinge in data en sakebestuurspraktyke?

Ons artikel is 'n deeglike oorsig van die vermoëns van die InterSystems IRIS-platform in terme van universele ondersteuning vir die ontplooiing van AI/ML-meganismes, samestelling (integrasie) van AI/ML-oplossings, en opleiding (toetsing) van AI/ML-oplossings op intensiewe datastrome. Ons sal in hierdie artikel kyk na marknavorsing, gevallestudies van KI/ML-oplossings en konseptuele aspekte van wat ons 'n intydse KI/ML-platform noem.

Wat ons van opnames weet: intydse toepassings

Bevindinge opnamewat in 800 deur Lightbend onder byna 2019 IT-professionals uitgevoer is, spreek vanself:

Figuur 1 Voorste verbruikers van intydse data

Kom ons haal belangrike fragmente van die verslag oor die resultate van hierdie opname in ons vertaling aan:

“... Tendense in die gewildheid van gereedskap vir die integrasie van datastrome en terselfdertyd die ondersteuning van rekenaars in houers verskaf ’n sinergistiese reaksie op die mark se versoek vir ’n meer responsiewe, rasionele, dinamiese voorstel van effektiewe oplossings. Stroomdata dra inligting vinniger oor as tradisionele pakkiedata. Daarby is die vermoë om vinnig rekenaarmetodes toe te pas, soos byvoorbeeld KI/ML-gebaseerde aanbevelings, wat mededingende voordele skep deur verhoogde klanttevredenheid. Die wedloop vir behendigheid beïnvloed ook alle rolle in die DevOps-paradigma - wat toepassingsontwikkeling en -ontplooiing doeltreffender maak. … Aghonderd-en-vier IT-professionals het inligting verskaf oor die gebruik van datavloei in hul organisasies. Respondente was oorwegend in Westerse lande geleë (41% in Europa en 37% in Noord-Amerika) en was byna eweredig tussen klein, medium en groot maatskappye versprei. ...

... Kunsmatige intelligensie is nie hype nie. Agt-en-vyftig persent van diegene wat reeds datastroomverwerking in produktiwiteit KI/ML-toepassings gebruik, bevestig dat hul gebruik van KI/ML die grootste groei in die volgende jaar sal sien (in vergelyking met ander toepassings).

• Volgens die meerderheid respondente sal die gebruik van datastrome in KI/ML-scenario's die grootste groei in die volgende jaar sien.
• Toepassings in KI/ML sal nie net groei as gevolg van relatief nuwe tipe scenario's nie, maar ook as gevolg van tradisionele scenario's waarin intydse data toenemend gebruik word.
• Benewens KI/ML, is die vlak van entoesiasme onder gebruikers van IoT-datapypleidings indrukwekkend - 48% van diegene wat reeds IoT-data geïntegreer het, sê dat scenario-implementering op hierdie data 'n aansienlike toename in die nabye toekoms sal sien. ..."

Uit hierdie nogal interessante opname is dit duidelik dat die persepsie van masjienleer en kunsmatige intelligensie-scenario's as leiers in die verbruik van datastrome reeds "op pad is." Maar 'n ewe belangrike waarneming is die persepsie van intydse AI/ML deur die lens van DevOps: hier kan ons reeds begin praat oor die transformasie van die steeds dominante kultuur van "weggooibare KI/ML met 'n volledig toeganklike datastel."

Intydse KI/ML-platformkonsep

Een tipiese toepassingsarea vir intydse KI/ML is prosesbeheer in vervaardiging. Deur haar voorbeeld te gebruik en vorige gedagtes in ag te neem, sal ons die konsep van 'n intydse KI/ML-platform formuleer.
Die gebruik van kunsmatige intelligensie en masjienleer in prosesbeheer het 'n aantal kenmerke:

• Data oor die stand van die tegnologiese proses word intensief ontvang: met hoë frekwensie en vir 'n wye reeks parameters (tot tienduisende parameterwaardes wat per sekonde vanaf die prosesbeheerstelsel oorgedra word)
• Data oor die identifikasie van defekte, om nie te praat van data oor hul ontwikkeling nie, inteendeel, is skaars en onreëlmatig, gekenmerk deur onvoldoende tipering van defekte en hul lokalisering in tyd (dikwels verteenwoordig deur papierrekords)
• Uit 'n praktiese oogpunt is slegs 'n "venster van relevansie" van die brondata beskikbaar vir opleiding en toepassing van modelle, wat die dinamika van die tegnologiese proses weerspieël oor 'n redelike gly-interval wat eindig met die laaste geleeswaardes van die prosesparameters

Hierdie kenmerke dwing ons om, benewens die ontvangs en basiese verwerking in reële tyd van die intensiewe "breëband-insetsein" van die tegnologiese proses, die toepassing, opleiding en kwaliteitsbeheer van die resultate van die KI uit te voer (in parallel) ML-modelle - ook in reële tyd. Die "raam" wat ons modelle "sien" in die skuifvenster van relevansie is voortdurend aan die verander - en daarmee saam verander die kwaliteit van die resultate van die werk van KI/ML-modelle wat in die verlede op een van die "rame" opgelei is. . As die gehalte van die resultate van die werk van KI/ML-modelle verswak (byvoorbeeld: die waarde van die “alarm-norm” klassifikasiefout het verder gegaan as die perke wat ons gedefinieer het), moet bykomende opleiding van die modelle outomaties van stapel gestuur word op 'n meer huidige "raam" - en die keuse van die oomblik om addisionele opleiding van die modelle te begin, moet in ag neem hoe die duur van die opleiding self, en die dinamika van agteruitgang in die kwaliteit van werk van die huidige weergawe van die modelle (sedert die huidige weergawes van die modelle word steeds gebruik terwyl die modelle opgelei word, en totdat hul "nuut opgeleide" weergawes gevorm is).

InterSystems IRIS het sleutelplatformvermoëns om KI/ML-oplossings vir intydse prosesbeheer moontlik te maak. Hierdie vermoëns kan in drie hoofgroepe verdeel word:

• Deurlopende ontplooiing (Deurlopende Ontplooiing/Aflewering, CD) van nuwe of aangepaste bestaande KI/ML-meganismes in 'n produktiewe oplossing wat intyds op die InterSystems IRIS-platform werk.
• Deurlopende integrasie (CI) in 'n enkele produktiewe oplossing van inkomende tegnologiese prosesdatastrome, datarye vir toepassing/opleiding/kwaliteitbeheer van KI/ML-meganismes en uitruil van data/kode/beheeraksies met wiskundige modelleringsomgewings, intyds georkestreer platform InterSystems IRIS
• Deurlopende (self) opleiding (Deurlopende opleiding, CT) van KI/ML-meganismes, uitgevoer in wiskundige modelleringsomgewings deur gebruik te maak van data, kode en beheeraksies ("besluite geneem") wat deur die InterSystems IRIS-platform oorgedra word

Die klassifikasie van platformvermoëns met betrekking tot masjienleer en kunsmatige intelligensie in presies hierdie groepe is nie toevallig nie. Kom ons haal die metodologiese aan publikasie Google, wat 'n konseptuele basis vir hierdie klassifikasie verskaf, in ons vertaling:

“... Die DevOps-konsep, wat deesdae gewild is, dek die ontwikkeling en bedryf van grootskaalse inligtingstelsels. Die voordele van die implementering van hierdie konsep is 'n vermindering in die duur van ontwikkelingsiklusse, vinniger ontplooiing van ontwikkelings en buigsaamheid in vrystellingsbeplanning. Om hierdie voordele te bereik, behels DevOps die implementering van ten minste twee praktyke:

• Deurlopende integrasie (CI)
• Deurlopende aflewering (CD)

Hierdie praktyke is ook van toepassing op KI/ML-platforms om betroubare en werkende samestelling van produktiewe KI/ML-oplossings te verseker.

KI/ML-platforms verskil van ander inligtingstelsels in die volgende aspekte:

• Spanbevoegdhede: Wanneer 'n KI/ML-oplossing geskep word, sluit die span gewoonlik datawetenskaplikes of "akademiese" kundiges op die gebied van datanavorsing in wat data-analise uitvoer, modelle ontwikkel en toets. Hierdie spanlede is dalk nie professionele produktiewe kode-ontwikkelaars nie.
• Ontwikkeling: KI/ML-enjins is eksperimenteel van aard. Om 'n probleem op die mees doeltreffende manier op te los, is dit nodig om deur verskeie kombinasies van insetveranderlikes, algoritmes, modelleringsmetodes en modelparameters te gaan. Die kompleksiteit van so 'n soektog lê in die opsporing van "wat gewerk het/nie gewerk het nie", die versekering van reproduseerbaarheid van episodes, veralgemening van ontwikkelings vir herhaalde implementering.
• Toets: Om KI/ML-enjins te toets, vereis 'n wyer reeks toetse as die meeste ander ontwikkelings. Benewens standaardeenheid- en integrasietoetse, word datageldigheid en die kwaliteit van die resultate van die toepassing van die model op opleidings- en kontrolemonsters getoets.
• Ontplooiing: Ontplooiing van KI/ML-oplossings is nie beperk tot voorspellende dienste wat 'n eenmalige opgeleide model gebruik nie. KI/ML-oplossings is gebou rondom multi-stadium pypleidings wat outomatiese model opleiding en toepassing uitvoer. Die ontplooiing van sulke pyplyne behels die outomatisering van nie-onbelangrike aksies wat tradisioneel met die hand deur datawetenskaplikes uitgevoer word om modelle te kan oplei en toets.
• Produktiwiteit: KI/ML-enjins kan produktiwiteit kortkom, nie net as gevolg van ondoeltreffende programmering nie, maar ook as gevolg van die voortdurend veranderende aard van die insetdata. Met ander woorde, die werkverrigting van KI/ML-meganismes kan weens 'n wyer verskeidenheid redes verswak as die werkverrigting van konvensionele ontwikkelings. Wat lei tot die behoefte om (aanlyn) die werkverrigting van ons KI/ML-enjins te monitor, asook waarskuwings te stuur of resultate te verwerp as prestasie-aanwysers nie aan verwagtinge voldoen nie.

KI/ML-platforms is soortgelyk aan ander inligtingstelsels deurdat beide deurlopende kode-integrasie met weergawebeheer, eenheidstoetsing, integrasietoetsing en deurlopende ontwikkelingontplooiing vereis. In die geval van KI/ML is daar egter verskeie belangrike verskille:

• CI (Continuous Integration) is nie meer beperk tot die toets en validering van die kode van ontplooide komponente nie - dit sluit ook die toets en validering van data en AI/ML-modelle in.
• CD (Continuous Delivery/Deployment, continuous deployment) is nie beperk tot die skryf en vrystelling van pakkette of dienste nie, maar impliseer 'n platform vir samestelling, opleiding en toepassing van KI/ML-oplossings.
• CT (Continuous Training, continuous training) is 'n nuwe element [ongeveer. skrywer van die artikel: 'n nuwe element met betrekking tot die tradisionele konsep van DevOps, waarin CT, as 'n reël, voortdurende toetsing is], inherent aan KI/ML-platforms, verantwoordelik vir die outonome bestuur van die meganismes vir opleiding en toepassing van KI /ML modelle. ..."

Ons kan stel dat masjienleer en kunsmatige intelligensie wat op intydse data werk, 'n breër stel gereedskap en bevoegdhede vereis (van kode-ontwikkeling tot orkestrasie van wiskundige modelleringsomgewings), nouer integrasie tussen alle funksionele en vakgebiede, meer doeltreffende organisasie van menslike en masjien hulpbronne.

Intydse scenario: herkenning van die ontwikkeling van defekte in voerpompe

Gaan voort om die prosesbeheerarea as 'n voorbeeld te gebruik, oorweeg 'n spesifieke probleem (ons het reeds aan die begin genoem): ons moet intydse monitering verskaf van die ontwikkeling van defekte in pompe gebaseer op die vloei van prosesparameterwaardes en verslae van herstelpersoneel oor geïdentifiseerde defekte.

Figuur 2 Probleemformulering vir die monitering van die ontwikkeling van defekte

'n Kenmerk van die meeste take wat in die praktyk op hierdie manier gestel word, is dat die reëlmaat en doeltreffendheid van data-ontvangs (APCS) oorweeg moet word teen die agtergrond van die episodiese en onreëlmatige voorkoms (en registrasie) van defekte van verskeie tipes. Met ander woorde: data van die prosesbeheerstelsel kom een ​​keer per sekonde, korrek en akkuraat, en aantekeninge oor defekte word gemaak met 'n chemiese potlood wat die datum in 'n algemene notaboek in die werkswinkel aandui (byvoorbeeld: “12.01 – lek in die omslag vanaf die kant van die 3de laer").

Ons kan dus die formulering van die probleem aanvul met die volgende belangrike beperking: ons het slegs een "etiket" van 'n defek van 'n spesifieke tipe (m.a.w. 'n voorbeeld van 'n defek van 'n spesifieke tipe word voorgestel deur data van die prosesbeheer stelsel op 'n spesifieke datum - en ons het nie meer voorbeelde van 'n defek van hierdie spesifieke tipe nie). Hierdie beperking neem ons dadelik buite die bestek van klassieke masjienleer (onder toesig leer), waarvoor daar baie "tags" behoort te wees.

Figuur 3 Verduideliking van die taak om die ontwikkeling van defekte te monitor

Kan ons op een of ander manier die enigste "tag" tot ons beskikking "vermenigvuldig"? Ja ons kan. Die huidige toestand van die pomp word gekenmerk deur die mate van ooreenkoms met geregistreerde defekte. Selfs sonder die gebruik van kwantitatiewe metodes, op die vlak van visuele persepsie, deur die dinamika van datawaardes wat uit die prosesbeheerstelsel kom, waar te neem, kan u reeds baie leer:

Figuur 4 Dinamika van die pomptoestand teen die agtergrond van 'n "merk" van 'n defek van 'n gegewe tipe

Maar visuele persepsie (ten minste vir nou) is nie die mees geskikte genereerder van "etikette" in ons vinnig veranderende scenario nie. Ons sal die ooreenkoms van die huidige pomptoestand met die gerapporteerde defekte evalueer deur 'n statistiese toets te gebruik.

Figuur 5 Toepassing van 'n statistiese toets op inkomende data teen die agtergrond van 'n gebrekkige "etiket"

'n Statistiese toets bepaal die waarskynlikheid dat die rekords met die waardes van die tegnologiese prosesparameters in die "vloeipakkie" wat van die prosesbeheerstelsel ontvang word, soortgelyk is aan die rekords van die "tag" van 'n defek van 'n sekere soort. Die waarskynlikheidswaarde (statistiese ooreenkoms-indeks) wat bereken word as gevolg van die toepassing van 'n statistiese toets, word omgeskakel na 'n waarde van 0 of 1, en word 'n "etiket" vir masjienleer in elke spesifieke rekord in die pakkie wat vir ooreenkoms ondersoek word. Dit wil sê, na verwerking van 'n nuut-ontvangte pakket van pomptoestandrekords met 'n statistiese toets, het ons die geleentheid om (a) hierdie pakket by die opleidingstel vir die opleiding van die KI/ML-model te voeg en (b) gehaltebeheer van die huidige weergawe van die model wanneer dit in hierdie pakket gebruik word.

Figuur 6 Toepassing van 'n masjienleermodel op inkomende data teen die agtergrond van 'n gebrekkige "etiket"

In een van ons vorige webinars Ons wys en verduidelik hoe die InterSystems IRIS-platform jou toelaat om enige KI/ML-meganisme te implementeer in die vorm van voortdurende uitvoering van besigheidsprosesse wat die betroubaarheid van modelleringsresultate monitor en modelparameters aanpas. Wanneer 'n prototipe van ons scenario met pompe geïmplementeer word, gebruik ons ​​al die InterSystems IRIS-funksionaliteit wat tydens die webinar aangebied word - implementeer in die ontlederproses as deel van ons oplossing, nie klassieke leer onder toesig nie, maar eerder versterkingsleer, wat outomaties die keuse vir opleidingsmodelle bestuur . Die opleidingsteekproef bevat rekords waaroor 'n "opsporingskonsensus" ontstaan ​​nadat beide die statistiese toets en die huidige weergawe van die model toegepas is - dit wil sê beide die statistiese toets (nadat die ooreenkoms-indeks na 0 of 1 getransformeer is) en die model het die resultaat opgelewer op sulke rekords 1. Tydens nuwe opleiding van die model, tydens die validering daarvan (die nuut opgeleide model word toegepas op sy eie opleidingsteekproef, met voorlopige toepassing van 'n statistiese toets daarop), rekords wat resultaat 1 "nie behou" het na verwerking deur die statistiese toets (as gevolg van die konstante teenwoordigheid in die opleiding 'n monster van rekords van die oorspronklike "etiket" van die defek), verwyder word uit die opleiding stel, en 'n nuwe weergawe van die model leer uit die "etiket" van die defek plus die "behoue" rekords van die stroom.

Figuur 7 Robotisering van KI/ML-berekeninge in InterSystems IRIS

As daar 'n behoefte is aan 'n soort "tweede opinie" oor die kwaliteit van opsporing wat tydens plaaslike berekeninge in InterSystems IRIS verkry is, word 'n adviseursproses geskep om opleiding en toepassing van modelle op 'n beheerdatastel uit te voer deur gebruik te maak van wolkdienste (byvoorbeeld Microsoft Azure, Amazon Web Services, Google Cloud Platform, ens.):

Figuur 8 Tweede opinie van Microsoft Azure georkestreer deur InterSystems IRIS

Die prototipe van ons scenario in InterSystems IRIS is ontwerp as 'n agent-gebaseerde stelsel van analitiese prosesse wat in wisselwerking is met 'n toerustingobjek (pomp), wiskundige modelleringsomgewings (Python, R en Julia), en verseker selfleer van alle betrokke KI/ ML-meganismes - op intydse datastrome .

Figuur 9 Hooffunksionaliteit van die intydse KI/ML-oplossing in InterSystems IRIS

Die praktiese resultaat van ons prototipe:

• Voorbeeld defek wat deur die model herken word (12 Januarie):

• 'n Ontwikkelende defek wat deur die model erken word wat nie by die monster ingesluit is nie (11 September, die defek self is slegs twee dae later, op 13 September, deur die herstelspan geïdentifiseer):

Simulasie op werklike data wat verskeie episodes van dieselfde defek bevat, het getoon dat ons oplossing, geïmplementeer op die InterSystems IRIS-platform, ons in staat stel om die ontwikkeling van defekte van hierdie tipe 'n paar dae te identifiseer voordat dit deur die herstelspan opgespoor word.

InterSystems IRIS - 'n universele intydse AI/ML-rekenaarplatform

Die InterSystems IRIS-platform vereenvoudig die ontwikkeling, ontplooiing en bedryf van intydse data-oplossings. InterSystems IRIS is in staat om terselfdertyd transaksionele en analitiese dataverwerking uit te voer; ondersteun gesinchroniseerde data-aansigte volgens verskeie modelle (insluitend relasionele, hiërargiese, objek en dokument); op te tree as 'n platform vir die integrasie van 'n wye reeks databronne en individuele toepassings; verskaf gevorderde intydse analise op gestruktureerde en ongestruktureerde data. InterSystems IRIS bied ook meganismes vir die gebruik van eksterne analitiese gereedskap en laat buigsame kombinasie van hosting in die wolk en op plaaslike bedieners toe.

Toepassings wat op die InterSystems IRIS-platform gebou is, word oor 'n verskeidenheid industrieë ontplooi, wat maatskappye help om beduidende ekonomiese voordele vanuit 'n strategiese en operasionele perspektief te realiseer, ingeligte besluitneming te verhoog en die gapings tussen gebeurtenis, ontleding en aksie te oorbrug.

Figuur 10 InterSystems IRIS-argitektuur in die konteks van intydse KI/ML

Soos die vorige diagram, kombineer die diagram hieronder die nuwe "koördinaatstelsel" (CD/CI/CT) met 'n diagram van die vloei van inligting tussen die werkende elemente van die platform. Die visualisering begin met die makromeganisme-CD en gaan voort met die makromeganismes CI en CT.

Figuur 11 Diagram van inligtingvloei tussen KI/ML-elemente van die InterSystems IRIS-platform

Die essensie van die CD-meganisme in InterSystems IRIS: platformgebruikers (ontwikkelaars van AI/ML-oplossings) pas bestaande aan en/of skep nuwe AI/ML-ontwikkelings deur 'n gespesialiseerde koderedigeerder vir AI/ML-meganismes te gebruik: Jupyter (volle naam: Jupyter Notebook; vir beknoptheid word dokumente wat in hierdie redigeerder geskep is, ook soms genoem). In Jupyter het 'n ontwikkelaar die geleentheid om die werkverrigting (insluitend die gebruik van grafika) van 'n spesifieke KI/ML-ontwikkeling te skryf, te ontfout en te verifieer voordat dit in InterSystems IRIS geplaas word (“ontplooi”). Dit is duidelik dat 'n nuwe ontwikkeling wat op hierdie manier geskep word slegs basiese ontfouting sal ontvang (aangesien Jupyter veral nie met intydse datastrome werk nie) - dit is in die volgorde van dinge, want die hoofresultaat van ontwikkeling in Jupyter is bevestiging van die fundamentele werkbaarheid van 'n aparte KI / ML-meganisme ("toon die verwagte resultaat op 'n datamonster"). Net so kan 'n meganisme wat reeds in die platform geplaas is (sien die volgende makro-meganismes) voor ontfouting in Jupyter 'n "terugrol" na 'n "pre-platform" vorm vereis (lees data van lêers, werk met data deur xDBC in plaas van tabelle, direkte interaksie met globale - multidimensionele data skikkings InterSystems IRIS - ens.).

'n Belangrike aspek van CD-implementering in InterSystems IRIS: tweerigting-integrasie is tussen die platform en Jupyter geïmplementeer, waardeur inhoud in Python, R en Julia na die platform oorgedra kan word (en daarna in die platform verwerk kan word) (al drie programmeer tale in die ooreenstemmende toonaangewende oopbrontale). bron wiskundige modelleringsomgewings). AI/ML-inhoudontwikkelaars het dus die geleentheid om hierdie inhoud deurlopend op die platform te ontplooi, deur in hul bekende Jupyter-redigeerder te werk, met bekende biblioteke beskikbaar in Python, R, Julia, en basiese ontfouting uit te voer (indien nodig). buite die platform.

Kom ons gaan aan na die CI-makromeganisme in InterSystems IRIS. Die diagram toon die makroproses van die "intydse robotiseerder" ('n kompleks van datastrukture, besigheidsprosesse en kodefragmente wat deur hulle georkestreer is in wiskundige tale en ObjectScript - die inheemse ontwikkelingstaal van InterSystems IRIS). Die taak van hierdie makro-proses is om die data-rye te onderhou wat nodig is vir die werking van KI/ML-meganismes (gebaseer op datastrome wat intyds na die platform oorgedra word), besluite te neem oor die volgorde van toepassing en die "assortiment" van KI/ ML-meganismes (dit is ook "wiskundige algoritmes", "modelle", ens. – kan anders genoem word, afhangende van die spesifikasies van die implementering en terminologiese voorkeure), hou datastrukture op datum vir die ontleding van die resultate van die werk van KI/ ML-meganismes (kubusse, tabelle, multidimensionele data-skikkings, ens.) ens. – vir verslae, dashboards, ens.).

’n Belangrike aspek van CI-implementering in InterSystems IRIS: tweerigting-integrasie is geïmplementeer tussen die platform- en wiskundige modelleringsomgewings, wat jou in staat stel om inhoud wat in die platform in Python, R en Julia gehuisves word in hul onderskeie omgewings uit te voer en die uitvoeringsresultate terug te ontvang. Hierdie integrasie word beide in "terminale modus" geïmplementeer (d.w.s. AI/ML-inhoud word geformuleer as ObjectScript-kode wat oproepe na die omgewing maak) en in "besigheidsprosesmodus" (d.w.s. KI/ML-inhoud word as 'n besigheidsproses geformuleer met behulp van 'n grafiese redigeerder, of soms met behulp van Jupyter, of met behulp van 'n IDE - IRIS Studio, Eclipse, Visual Studio Code). Die beskikbaarheid van besigheidsprosesse vir redigering in Jupyter word weerspieël deur die verband tussen IRIS op die CI-vlak en Jupyter op die CD-vlak. 'n Meer gedetailleerde oorsig van integrasie met wiskundige modelleringsomgewings word hieronder verskaf. Op hierdie stadium, na ons mening, is daar alle rede om te verseker dat die platform al die nodige gereedskap het vir die implementering van "voortdurende integrasie" van KI/ML-ontwikkelings (kom van "deurlopende ontplooiing") in intydse KI/ML-oplossings.

En die belangrikste makro-meganisme: CT. Daarsonder sal daar geen KI/ML-platform wees nie (hoewel “intydse” deur CD/CI geïmplementeer sal word). Die kern van CT is die platform se werk met "artefakte" van masjienleer en kunsmatige intelligensie direk in werksessies van wiskundige modelleringsomgewings: modelle, verspreidingstabelle, matriksvektore, lae neurale netwerke, ens. Hierdie "werk", in die meeste gevalle, bestaan ​​uit die skep van die genoemde artefakte in omgewings (in die geval van modelle, byvoorbeeld, "skepping" bestaan ​​uit die opstel van die spesifikasie van die model en die daaropvolgende seleksie van die waardes van sy parameters - die sogenaamde “opleiding” van die model), hul toepassing (vir modelle: berekening met hul hulp van “model” waardes van teikenveranderlikes - voorspellings, kategorie-lidmaatskap, waarskynlikheid van 'n gebeurtenis, ens.) en verbetering van reeds geskep en toegepas artefakte (byvoorbeeld, herdefiniëring van 'n stel model-insetveranderlikes gebaseer op die resultate van toepassing - ten einde voorspelling akkuraatheid te verbeter, as 'n opsie). Die sleutelpunt om die rol van CT te verstaan, is die "abstraksie" daarvan uit die realiteite van CD en CI: CT sal alle artefakte implementeer, en fokus op die berekenings- en wiskundige spesifikasies van die KI/ML-oplossing binne die vermoëns wat deur spesifieke omgewings verskaf word. Die verantwoordelikheid om “insette te verskaf” en “uitsette te lewer” sal die verantwoordelikheid van CD en CI wees.

'n Belangrike aspek van die implementering van CT spesifiek in InterSystems IRIS: deur gebruik te maak van die integrasie met wiskundige modelleringsomgewings wat reeds hierbo genoem is, het die platform die vermoë om daardie einste artefakte te onttrek uit werksessies wat onder sy beheer in wiskundige omgewings loop en (belangriker nog) draai hulle in platformdata-objekte. Byvoorbeeld, 'n verspreidingstabel wat pas in 'n werkende Python-sessie geskep is, kan (sonder om die Python-sessie te stop) na die platform oorgedra word in die vorm van byvoorbeeld 'n globale ('n multidimensionele InterSystems IRIS-dataskikking) - en gebruik word vir berekeninge in 'n ander AI/ML-meganisme (geïmplementeer in die taal van 'n ander omgewing - byvoorbeeld in R) - of 'n virtuele tabel. Nog 'n voorbeeld: parallel met die "normale modus" van die model se werking (in die Python-werksessie), word "outo-ML" op sy insetdata uitgevoer: outomatiese keuse van optimale insetveranderlikes en parameterwaardes. En saam met die "gereelde" opleiding, ontvang 'n produktiewe model in reële tyd ook 'n "voorstel vir optimering" van sy spesifikasie - waarin die stel insetveranderlikes verander, die parameterwaardes verander (nie meer as gevolg van opleiding nie) in Python, maar as gevolg van opleiding met 'n "alternatiewe" "weergawe van homself, soos die H2O-stapel), wat die algehele AI/ML-oplossing toelaat om outonoom onverwagte veranderinge in die aard van die insetdata en -verskynsels wat gemodelleer word die hoof te bied. .

Kom ons maak kennis met die platform AI/ML-funksionaliteit van InterSystems IRIS, deur die voorbeeld van 'n werklike prototipe te gebruik.

In die diagram hieronder, aan die linkerkant van die skyfie is daar 'n deel van die besigheidsproses wat die uitvoering van skrifte in Python en R implementeer. In die sentrale deel is daar visuele logs van die uitvoering van sommige van hierdie skrifte, onderskeidelik, in Python en R. Onmiddellik daaragter is voorbeelde van inhoud op een en ander taal, oorgedra vir uitvoering na die toepaslike omgewings. Aan die einde aan die regterkant is visualisasies gebaseer op die resultate van skrifuitvoering. Die visualiserings aan die bokant is op IRIS Analytics gemaak (data is van Python na die InterSystems IRIS-dataplatform geneem en op 'n dashboard vertoon met behulp van die platform), aan die onderkant is direk in die R-werksessie gemaak en van daar af na grafiese lêers uitgevoer. . 'n Belangrike aspek: die aangebied fragment in die prototipe is verantwoordelik vir die opleiding van die model (klassifikasie van toerustingtoestande) op data wat intyds van die toerustingsimulatorproses ontvang word, op bevel van die klassifikasiekwaliteitmonitorproses wat tydens die toepassing van die model waargeneem is. Die implementering van 'n KI/ML-oplossing in die vorm van 'n stel interaksieprosesse (“agente”) sal verder bespreek word.

Figuur 12 Interaksie met Python, R en Julia in InterSystems IRIS

Platformprosesse (dit is ook "besigheidsprosesse", "analitiese prosesse", "pyplyne", ens. - afhangende van die konteks), word eerstens in die grafiese besigheidsprosesredigeerder in die platform self geredigeer, en in so 'n manier waarop beide sy blokdiagram en die ooreenstemmende AI/ML-meganisme (programkode) gelyktydig geskep word. Wanneer ons sê dat "'n AI/ML-meganisme verkry word," bedoel ons aanvanklik hibriditeit (binne een proses): inhoud in die tale van wiskundige modelleringsomgewings is aangrensend aan inhoud in SQL (insluitend uitbreidings van Geïntegreerde ML), in InterSystems ObjectScript, met ander ondersteunde tale. Boonop bied die platformproses baie breë geleenthede vir "weergawe" in die vorm van hiërargies geneste fragmente (soos gesien kan word in die voorbeeld in die diagram hieronder), wat jou toelaat om selfs baie komplekse inhoud effektief te organiseer sonder om ooit "uit te val" van die grafiese formaat (in “nie-grafiese” formate). » metodes/klasse/prosedures, ens.). Dit wil sê, indien nodig (en dit word in die meeste projekte voorsien), kan absoluut die hele KI/ML-oplossing in 'n grafiese selfdokumenterende formaat geïmplementeer word. Neem asseblief kennis dat dit in die sentrale deel van die diagram hieronder, wat 'n hoër "vlak van nes" verteenwoordig, duidelik is dat bykomend tot die werklike werk om die model op te lei (met Python en R), 'n ontleding van die sg. ROC-kromme van die opgeleide model word bygevoeg, wat die kwaliteit van opleiding visueel (en ook rekenaarmatig) toelaat om die gehalte van opleiding te evalueer - en hierdie analise word in die Julia-taal geïmplementeer (wat gevolglik in die Julia-wiskundige omgewing uitgevoer word).

Figuur 13 Visuele omgewing vir die samestelling van KI/ML-oplossings in InterSystems IRIS

Soos vroeër genoem, sal/kan die aanvanklike ontwikkeling en (in sommige gevalle) aanpassing van KI/ML-meganismes wat reeds in die platform geïmplementeer is, buite die platform in die Jupyter-redigeerder gedoen word. In die diagram hieronder sien ons 'n voorbeeld van die aanpassing van 'n bestaande platformproses (dieselfde as in die diagram hierbo) - dit is hoe die fragment wat verantwoordelik is vir die opleiding van die model in Jupyter lyk. Python-inhoud is beskikbaar vir redigering, ontfouting en grafiese uitvoer direk in Jupyter. Veranderinge (indien nodig) kan gemaak word met onmiddellike sinchronisasie in die platformproses, insluitend die produktiewe weergawe daarvan. Nuwe inhoud kan op 'n soortgelyke manier na die platform oorgedra word ('n nuwe platformproses word outomaties gegenereer).

Figuur 14 Gebruik Jupyter Notebook om die AI/ML-enjin in die InterSystems IRIS-platform te wysig

Aanpassing van 'n platformproses kan nie net in 'n grafiese of skootrekenaarformaat uitgevoer word nie - maar ook in die "totale" IDE (Integrated Development Environment) formaat. Hierdie IDE's is IRIS Studio (inheemse IRIS-ateljee), Visual Studio Code (InterSystems IRIS-uitbreiding vir VSCode) en Eclipse (Atelier-inprop). In sommige gevalle is dit moontlik vir 'n ontwikkelingspan om al drie IDE's gelyktydig te gebruik. Die diagram hieronder toon 'n voorbeeld van die redigering van dieselfde proses in IRIS studio, in Visual Studio Code en in Eclipse. Absoluut alle inhoud is beskikbaar vir redigering: Python/R/Julia/SQL, ObjectScript en besigheidsproses.

Figuur 15 Ontwikkeling van die InterSystems IRIS-besigheidsproses in verskeie IDE's

Die gereedskap vir die beskrywing en uitvoering van InterSystems IRIS-besigheidsprosesse in die Business Process Language (BPL) verdien spesiale vermelding. BPL maak dit moontlik om "klaargemaakte integrasiekomponente" (aktiwiteite) in besigheidsprosesse te gebruik - wat in werklikheid alle rede gee om te sê dat "deurlopende integrasie" in InterSystems IRIS geïmplementeer word. Klaargemaakte sakeproseskomponente (aktiwiteite en verbande tussen hulle) is 'n kragtige versneller vir die samestelling van 'n KI/ML-oplossing. En nie net gemeentes nie: danksy die aktiwiteite en verbande tussen hulle oor uiteenlopende KI/ML-ontwikkelings en -meganismes, ontstaan ​​'n "outonome bestuurslaag" wat in staat is om besluite volgens die situasie in reële tyd te neem.

Figuur 16 Klaargemaakte besigheidsproseskomponente vir deurlopende integrasie (CI) op die InterSystems IRIS-platform

Die konsep van agentstelsels (ook bekend as "multi-agentstelsels") het 'n sterk posisie in robotisering, en die InterSystems IRIS-platform ondersteun dit organies deur die "produk-proses"-konstruksie. Benewens die onbeperkte moontlikhede om elke proses te "vul" met die funksionaliteit wat nodig is vir die algehele oplossing, deur die stelsel van platformprosesse met die eienskap van "agentskap" te gee, kan u effektiewe oplossings skep vir uiters onstabiele gesimuleerde verskynsels (gedrag van sosiale/ biosisteme, gedeeltelik waarneembare tegnologiese prosesse, ens.).

Figuur 16 Werking van 'n KI/ML-oplossing as 'n agent-gebaseerde besigheidsprosesstelsel in InterSystems IRIS

Ons gaan voort met ons hersiening van InterSystems IRIS met 'n storie oor die toegepaste gebruik van die platform vir die oplossing van hele klasse intydse probleme ('n taamlik gedetailleerde inleiding tot sommige van die beste praktyke van platform AI/ML op InterSystems IRIS kan gevind word in een van ons vorige webinars).

Op die hakke van die vorige diagram, hieronder is 'n meer gedetailleerde diagram van die agentstelsel. Die diagram toon dieselfde prototipe, al vier agentprosesse is sigbaar, die verwantskappe tussen hulle is skematies geteken: GENERATOR - verwerk die skepping van data deur toerustingsensors, BUFFER - bestuur datarye, ANALISEERDER - voer masjienleer self uit, MONITOR - monitor die kwaliteit van masjienleer en gee 'n sein oor die behoefte om die model te heroplei.

Figuur 17 Samestelling van 'n KI/ML-oplossing in die vorm van 'n agent-gebaseerde besigheidsprosesstelsel in InterSystems IRIS

Die diagram hieronder illustreer die outonome funksionering van 'n ander robotiese prototipe (herkenning van die emosionele kleur van tekste) vir 'n geruime tyd. In die boonste deel is die evolusie van die kwaliteitsaanwyser van modelopleiding (kwaliteit groei), in die onderste deel is die dinamika van die kwaliteitsaanwyser van modeltoepassing en die feite van herhaalde opleiding (rooi strepe). Soos u kan sien, het die oplossing homself doeltreffend en outonoom aangeleer en werk dit op 'n gegewe kwaliteitsvlak (waardes vir kwaliteittelling val nie onder 80%).

Figuur 18 Deurlopende (self-)opleiding (CT) op die InterSystems IRIS-platform

Ons het ook vroeër "outo-ML" genoem, maar die diagram hieronder toon die gebruik van hierdie funksionaliteit in detail deur die voorbeeld van 'n ander prototipe te gebruik. Die grafiese diagram van 'n fragment van 'n besigheidsproses toon die aktiwiteit wat die modellering in die H2O-stapel veroorsaak, toon die resultate van hierdie modellering (die duidelike oorheersing van die resulterende model oor "mensgemaakte" modelle, volgens die vergelykende diagram van ROC-kurwes, sowel as die outomatiese identifikasie van die "mees invloedryke veranderlikes" wat in oorspronklike datastel beskikbaar is). ’n Belangrike punt hier is die besparing van tyd en kundige hulpbronne wat deur “outo-ML” bewerkstellig word: wat ons platformproses in ’n halwe minuut doen (om die optimale model te vind en op te lei), kan ’n kenner van ’n week tot ’n maand neem.

Figuur 19 Integrasie van "outo-ML" in 'n KI/ML-oplossing op die InterSystems IRIS-platform

Die diagram hieronder mis die punt 'n bietjie, maar dit is 'n goeie manier om die storie te beëindig oor die klasse van intydse probleme wat opgelos word: ons herinner jou dat met al die vermoëns van die InterSystems IRIS-platform, opleidingsmodelle onder sy beheer is nie verpligtend nie. Die platform kan van buite die sogenaamde PMML-spesifikasie van die model ontvang, opgelei in 'n instrument wat nie onder die beheer van die platform is nie - en hierdie model intyds toepas vanaf die oomblik dat dit ingevoer word PMML spesifikasies. Dit is belangrik om in ag te neem dat nie alle KI/ML artefakte tot 'n PMML-spesifikasie gereduseer kan word nie, selfs al laat die meeste van die mees algemene artefakte dit toe. Die InterSystems IRIS-platform is dus "oop lus" en beteken nie "platformslawerny" vir gebruikers nie.

Figuur 20 Integrasie van "outo-ML" in 'n KI/ML-oplossing op die InterSystems IRIS-platform

Kom ons lys die bykomende platformvoordele van InterSystems IRIS (vir duidelikheid, met betrekking tot prosesbeheer), wat van groot belang is in die outomatisering van kunsmatige intelligensie en intydse masjienleer:

• Ontwikkelde integrasie-instrumente met enige databronne en verbruikers (prosesbeheerstelsel/SCADA, toerusting, MRO, ERP, ens.)
• Ingebou multi-model DBMS vir hoëprestasie transaksionele en analitiese verwerking (Hybrid Transaction/Analitical Processing, HTAP) van enige volume tegnologiese prosesdata
• Ontwikkelingsinstrumente vir deurlopende ontplooiing van AI/ML-enjins vir intydse oplossings gebaseer op Python, R, Julia
• Aanpasbare besigheidsprosesse vir deurlopende integrasie en (self-)leer van intydse AI/ML oplossingsenjins
• Ingeboude Business Intelligence-nutsgoed vir die visualisering van prosesdata en die resultate van 'n KI/ML-oplossing
• API Bestuur vir die lewering van die resultate van die KI/ML-oplossing aan prosesbeheerstelsels/SCADA, inligting- en analitiese stelsels, die stuur van waarskuwings, ens.

KI/ML-oplossings op die InterSystems IRIS-platform pas maklik by die bestaande IT-infrastruktuur in. Die InterSystems IRIS-platform verseker hoë betroubaarheid van AI/ML-oplossings deur foutverdraagsame en rampverdraagsame konfigurasies en buigsame ontplooiing in virtuele omgewings, op fisiese bedieners, in private en publieke wolke, en Docker-houers te ondersteun.

InterSystems IRIS is dus 'n universele intydse AI/ML-rekenaarplatform. Die universaliteit van ons platform word in die praktyk bevestig deur die afwesigheid van de facto beperkings op die kompleksiteit van geïmplementeerde berekeninge, die vermoë van InterSystems IRIS om (in reële tyd) verwerking van scenario's van 'n wye verskeidenheid van nywerhede te kombineer, en die buitengewone aanpasbaarheid van enige platformfunksies en -meganismes volgens die spesifieke behoeftes van gebruikers.

Figuur 21 InterSystems IRIS - 'n universele intydse KI/ML-rekenaarplatform

Vir 'n meer substantiewe interaksie met diegene van ons lesers wat belangstel in die materiaal wat hier aangebied word, beveel ons aan dat u uself nie beperk tot die lees daarvan en die dialoog "regstreeks" voortgaan nie. Ons sal graag ondersteuning bied met die formulering van intydse KI/ML-scenario's met betrekking tot die besonderhede van u onderneming, gesamentlike prototipering op die InterSystems IRIS-platform uit te voer, 'n padkaart te formuleer en in die praktyk te implementeer vir die bekendstelling van kunsmatige intelligensie en masjienleer in jou produksie- en bestuursprosesse. Ons KI/ML-kundige span Kontak-e-pos – [e-pos beskerm].

Bron: will.com