InterSystems IRIS - yleinen reaaliaikainen AI/ML-alusta

Kirjoittaja: Sergey Lukyanchikov, InterSystemsin konsultti-insinööri

Reaaliaikaiset AI/ML-laskentapuhelut

Aloitetaan esimerkeillä InterSystemsin tietotieteen käytännön kokemuksista:

• Ladattu ostajaportaali on yhdistetty online-suositusjärjestelmään. Kampanjat rakennetaan uudelleen koko vähittäismyyntiverkostossa (esimerkiksi "tasaisen" tarjousrivin sijasta käytetään nyt "segmenttitaktiikka" -matriisia). Mitä suositusmoottoreille tapahtuu? Mitä tapahtuu tietojen lähettämiselle ja päivittämiselle suositusmoottoriin (syötetietojen määrä on kasvanut 25000 XNUMX-kertaiseksi)? Mitä tapahtuu suositusten kehittämiselle (tarve alentaa suositussääntöjen suodatuskynnystä tuhatkertaisesti niiden lukumäärän ja ”alueen tuhansinkertaisen kasvun vuoksi”)?
• Laitteiston osissa esiintyvien vikojen todennäköisyyttä valvoo järjestelmä. Valvontajärjestelmään liitettiin automaattinen prosessinohjausjärjestelmä, joka lähettää tuhansia teknisiä prosessiparametreja sekunnissa. Mitä tapahtuu valvontajärjestelmälle, joka on aiemmin työskennellyt "manuaalisilla näytteillä" (pystyykö se tarjoamaan sekunti kerrallaan todennäköisyysseurantaa)? Mitä tapahtuu, jos syöttötietoihin ilmestyy uusi usean sadan sarakkeen lohko, jossa on lukemat prosessinohjausjärjestelmään äskettäin lisätyistä antureista (onko tarpeen ja kuinka kauan valvontajärjestelmää pysäyttää, jotta uusien antureiden tiedot sisällytetään analyysiin )?
• On luotu joukko AI/ML-mekanismeja (suositus, seuranta, ennustaminen), jotka hyödyntävät toistensa työn tuloksia. Kuinka monta työtuntia tarvitaan kuukaudessa tämän kompleksin toiminnan mukauttamiseksi syöttötietojen muutoksiin? Mikä on yleinen "hidastuminen", kun sitä tukee johdon päätöksentekokompleksi (uusien tukitietojen esiintymistiheys siinä suhteessa uuden syöttödatan esiintymistiheyteen)?

Yhteenvetona näistä ja monista muista esimerkeistä olemme päässeet niiden haasteiden muotoiluun, joita syntyy siirryttäessä reaaliaikaiseen koneoppimisen ja tekoälymekanismien käyttöön:

• Olemmeko tyytyväisiä AI/ML-kehityksen luomisnopeuteen ja mukauttamiseen (muuttuvaan tilanteeseen) yrityksessämme?
• Kuinka paljon käyttämämme AI/ML-ratkaisut tukevat reaaliaikaista liiketoiminnan hallintaa?
• Pystyvätkö käyttämämme AI/ML-ratkaisut itsenäisesti (ilman kehittäjiä) mukautumaan datan ja liiketoiminnan johtamiskäytäntöjen muutoksiin?

Artikkelimme on perusteellinen katsaus InterSystems IRIS -alustan ominaisuuksiin, jotka liittyvät yleiseen tukeen AI/ML-mekanismien käyttöönotolle, AI/ML-ratkaisujen kokoamiseen (integrointiin) ja AI/ML-ratkaisujen koulutukseen (testaukseen) intensiivisillä aloilla. datavirtoja. Tässä artikkelissa tarkastellaan markkinatutkimusta, AI/ML-ratkaisujen tapaustutkimuksia ja käsitteellisiä näkökohtia siitä, mitä kutsumme reaaliaikaiseksi AI/ML-alustaksi.

Mitä tiedämme kyselyistä: reaaliaikaiset sovellukset

Tulokset tutkimusLightbend suoritti vuonna 800 lähes 2019 IT-ammattilaisen kesken, puhuvat puolestaan:

Kuva 1 Reaaliaikaisen tiedon johtavat kuluttajat

Lainataan käännöksessämme tärkeitä osia tämän kyselyn tuloksia koskevasta raportista:

"...Trendit tietovirtojen integrointityökalujen suosiossa ja samaan aikaan säiliöissä tapahtuvan tietojenkäsittelyn tukemisessa tarjoavat synergistisen vastauksen markkinoiden pyyntöön saada reagoivampi, järkevämpi ja dynaamisempi ehdotus tehokkaista ratkaisuista. Suoratoistodata siirtää tietoa nopeammin kuin perinteinen pakettidata. Tähän lisätään kyky soveltaa nopeasti laskennallisia menetelmiä, kuten esimerkiksi AI/ML-pohjaisia ​​suosituksia, mikä luo kilpailuetua asiakastyytyväisyyden kasvun kautta. Kilpa ketteryydestä vaikuttaa myös kaikkiin rooleihin DevOps-paradigmassa – tehostaen sovellusten kehittämistä ja käyttöönottoa. … Kahdeksasataaneljä IT-ammattilaista antoi tietoa tietovirtojen käytöstä organisaatioissaan. Vastaajat sijaitsivat pääosin länsimaissa (41 % Euroopassa ja 37 % Pohjois-Amerikassa) ja jakautuivat lähes tasaisesti pienten, keskisuurten ja suurten yritysten kesken. ...

... Tekoäly ei ole hype. Viisikymmentäkahdeksan prosenttia niistä, jotka jo käyttävät tietovirtaprosessointia tuottavuuden AI/ML-sovelluksissa, vahvistavat, että heidän AI/ML-käytönsä kasvavat eniten ensi vuonna (verrattuna muihin sovelluksiin).

• Suurimman osan vastaajista mukaan tietovirtojen käyttö AI/ML-skenaarioissa kasvaa eniten ensi vuonna.
• AI/ML:n sovellukset kasvavat paitsi suhteellisen uudentyyppisten skenaarioiden, myös perinteisten skenaarioiden vuoksi, joissa reaaliaikaista dataa käytetään yhä enemmän.
• Tekoälyn/ML:n lisäksi IoT-dataputkien käyttäjien innostus on vaikuttava – 48 % IoT-datan jo integroineista sanoo, että skenaarioiden toteutus tälle datalle tulee lähitulevaisuudessa lisääntymään merkittävästi. ..."

Tästä melko mielenkiintoisesta tutkimuksesta käy selvästi ilmi, että koneoppimisen ja tekoälyn skenaarioiden käsitys tietovirtojen kulutuksen johtajista on jo "matkalla". Mutta yhtä tärkeä havainto on reaaliaikaisen tekoälyn/ML:n havainto DevOpsin linssin kautta: tässä voimme jo alkaa puhua yhä hallitsevan "kertakäyttöisen AI/ML:n täysin saatavilla olevalla datajoukolla" -kulttuurin muutoksesta.

Reaaliaikainen AI/ML-alustakonsepti

Yksi tyypillinen reaaliaikaisen AI/ML:n sovellusalue on valmistuksen prosessinohjaus. Hänen esimerkkiään käyttäen ja aiemmat ajatukset huomioon ottaen muotoilemme konseptin reaaliaikaisesta AI/ML-alustasta.
Tekoälyn ja koneoppimisen käytöllä prosessin ohjauksessa on useita ominaisuuksia:

• Tietoa teknologisen prosessin tilasta vastaanotetaan intensiivisesti: suurella taajuudella ja laajalla parametrialueella (jopa kymmeniä tuhansia parametriarvoja lähetetään sekunnissa prosessinohjausjärjestelmästä)
• Tiedot vikojen tunnistamisesta, puhumattakaan tiedoista niiden kehittymisestä, päinvastoin ovat niukkoja ja epäsäännöllisiä, joille on ominaista puutteiden riittämätön tyypitys ja niiden ajallinen paikantaminen (usein paperilla)
• Käytännön näkökulmasta lähdetiedon "relevanssiikkuna" on käytettävissä mallien harjoittelua ja soveltamista varten, mikä heijastaa teknologisen prosessin dynamiikkaa kohtuullisen liukujakson aikana, joka päättyy prosessiparametrien viimeisiin lukuarvoihin.

Nämä ominaisuudet pakottavat meidät teknologisen prosessin intensiivisen "laajakaistatulosignaalin" reaaliaikaisen vastaanoton ja peruskäsittelyn lisäksi suorittamaan (rinnakkain) tekoälyn tulosten soveltamista, koulutusta ja laadunvalvontaa. ML-mallit - myös reaaliajassa. Se "kehys", jonka mallimme "näkevät" relevanssin liukuvassa ikkunassa, muuttuu jatkuvasti – ja sen mukana muuttuu myös aiemmin jollain "kehyksellä" koulutettujen AI/ML-mallien työn tulosten laatu. . Jos AI/ML-mallien työn tulosten laatu heikkenee (esim. "hälytysnormin" luokitteluvirheen arvo on ylittänyt määrittelemämme rajat), mallien lisäkoulutus tulisi käynnistää automaattisesti ajankohtaisempi "kehys" - ja mallien lisäkoulutuksen käynnistämishetken valinnassa tulisi ottaa huomioon, kuinka itse koulutuksen kesto ja mallien nykyisen version työn laadun heikkenemisen dynamiikka (koska mallien nykyisten versioiden käyttöä jatketaan niin kauan kuin malleja koulutetaan ja kunnes niiden "äskettäin koulutetut" versiot on muodostettu).

InterSystems IRIS:llä on keskeiset alustaominaisuudet mahdollistavat AI/ML-ratkaisut reaaliaikaiseen prosessinhallintaan. Nämä ominaisuudet voidaan jakaa kolmeen pääryhmään:

• Uusien tai mukautettujen olemassa olevien AI/ML-mekanismien jatkuva käyttöönotto (Continuous Deployment/Delivery, CD) tuottavaksi ratkaisuksi, joka toimii reaaliajassa InterSystems IRIS -alustalla
• Jatkuva integrointi (CI) yhdeksi tuottavaksi ratkaisuksi saapuvista teknologisista prosessitietovirroista, tietojonoista AI/ML-mekanismien sovellusta/koulutusta/laadunvalvontaa varten ja datan/koodin/ohjaustoimintojen vaihtoa matemaattisten mallinnusympäristöjen kanssa reaaliajassa organisoituna alusta InterSystems IRIS
• AI/ML-mekanismien jatkuva (itse)koulutus (Continuous Training, CT), joka suoritetaan matemaattisissa mallinnusympäristöissä käyttäen InterSystems IRIS -alustan välittämiä tietoja, koodia ja ohjaustoimintoja ("tehdyt päätökset").

Koneoppimiseen ja tekoälyyn liittyvien alustaominaisuuksien luokittelu juuri näihin ryhmiin ei ole sattumaa. Lainataanpa metodologiaa julkaisu Google, joka tarjoaa käsitteellisen perustan tälle luokitukselle, käännöksessämme:

”... Nykyään suosittu DevOps-konsepti kattaa suurien tietojärjestelmien kehittämisen ja käytön. Tämän konseptin toteutuksen etuja ovat kehityssyklien keston lyhentyminen, kehitystyön nopeampi käyttöönotto ja joustavuus julkaisusuunnittelussa. Näiden etujen saavuttamiseksi DevOps edellyttää vähintään kahden käytännön toteuttamista:

• Jatkuva integraatio (CI)
• Jatkuva toimitus (CD)

Nämä käytännöt koskevat myös AI/ML-alustoja, jotta voidaan varmistaa tuottavien AI/ML-ratkaisujen luotettava ja tehokas kokoonpano.

AI/ML-alustat eroavat muista tietojärjestelmistä seuraavilta osin:

• Tiimin kompetenssit: Tekoäly/ML-ratkaisua luotaessa tiimiin kuuluu yleensä datatieteilijöitä tai datatutkimuksen alan "akateemisia" asiantuntijoita, jotka suorittavat datan analysointia, kehittävät ja testaavat malleja. Nämä tiimin jäsenet eivät välttämättä ole ammattimaisia ​​tuottavia koodikehittäjiä.
• Kehitys: AI/ML-moottorit ovat luonteeltaan kokeellisia. Ongelman ratkaisemiseksi tehokkaimmalla tavalla on tarpeen käydä läpi erilaisia ​​syötemuuttujien, algoritmien, mallinnusmenetelmien ja malliparametrien yhdistelmiä. Tällaisen haun monimutkaisuus piilee "mikä toimi/ei toiminut" jäljittämisessä, jaksojen toistettavuuden varmistamisessa ja kehityksen yleistämisessä toistuvia toteutuksia varten.
• Testaus: AI/ML-moottorien testaus vaatii laajemman valikoiman testejä kuin useimmat muut kehitystyöt. Vakioyksikkö- ja integrointitestien lisäksi testataan tietojen validiteetti ja mallin soveltamisen tulosten laatu koulutus- ja kontrollinäytteisiin.
• Käyttöönotto: AI/ML-ratkaisujen käyttöönotto ei rajoitu ennakoiviin palveluihin, jotka käyttävät kerran koulutettua mallia. AI/ML-ratkaisut on rakennettu monivaiheisten putkien ympärille, jotka suorittavat automaattisen mallikoulutuksen ja -sovelluksen. Tällaisten putkien käyttöönottoon kuuluu ei-triviaalien toimintojen automatisointi, jotka datatieteilijät ovat perinteisesti suorittaneet manuaalisesti voidakseen kouluttaa ja testata malleja.
• Tuottavuus: AI/ML-moottoreilta voi puuttua tuottavuus ei pelkästään tehottoman ohjelmoinnin vuoksi, vaan myös syötetietojen jatkuvasti muuttuvan luonteen vuoksi. Toisin sanoen AI/ML-mekanismien suorituskyky voi heikentyä useammista syistä kuin tavanomaisten kehitysten suorituskyky. Tämä johtaa tarpeeseen seurata (online) AI/ML-moottoreidemme suorituskykyä sekä lähettää hälytyksiä tai hylätä tuloksia, jos suorituskykyindikaattorit eivät täytä odotuksia.

AI/ML-alustat ovat samankaltaisia ​​kuin muut tietojärjestelmät siinä mielessä, että molemmat edellyttävät jatkuvaa koodiintegraatiota versionhallinnan, yksikkötestauksen, integraatiotestauksen ja jatkuvan kehityksen käyttöönoton kanssa. AI/ML:n tapauksessa on kuitenkin useita tärkeitä eroja:

• CI (Continuous Integration) ei enää rajoitu käytettyjen komponenttien koodin testaamiseen ja validointiin – se sisältää myös datan ja AI/ML-mallien testaamisen ja validoinnin.
• CD (Continuous Delivery/Deployment, jatkuva käyttöönotto) ei rajoitu pakettien tai palvelujen kirjoittamiseen ja julkaisemiseen, vaan se sisältää alustan AI/ML-ratkaisujen kokoamiseen, koulutukseen ja soveltamiseen.
• CT (Continuous Training, jatkuva koulutus) on uusi elementti [n. artikkelin kirjoittaja: uusi elementti verrattuna perinteiseen DevOps-konseptiin, jossa CT on pääsääntöisesti jatkuva testaus], joka on luontainen AI/ML-alustoille ja joka vastaa koulutuksen ja tekoälyn soveltamisen mekanismien itsenäisestä hallinnasta /ML mallit. ..."

Voimme todeta, että reaaliaikaista dataa käsittelevä koneoppiminen ja tekoäly edellyttävät laajempaa työkalu- ja osaamisvalikoimaa (koodikehityksestä matemaattisten mallinnusympäristöjen orkestrointiin), tiiviimpää integraatiota kaikkien toiminnallisten ja ainealueiden välillä, tehokkaampaa ihmisen ja koneresurssit.

Reaaliaikainen skenaario: syöttöpumppujen vikojen kehittymisen tunnistaminen

Jatkamalla prosessin ohjausalueen käyttöä esimerkkinä, harkitse tiettyä ongelmaa (mainitsimme jo aivan alussa): meidän on tarjottava reaaliaikainen seuranta pumppujen vikojen kehittymisestä prosessiparametrien arvojen virtauksen perusteella. ja korjaushenkilöstön raportit havaituista vioista.

Kuva 2 Ongelman muotoilu vikojen kehittymisen seurantaan

Useimpien näin käytännössä asetettavien tehtävien piirre on se, että tiedon vastaanoton (APCS) säännöllisyys ja tehokkuus on tarkasteltava erilaisten vikojen jaksoittaisen ja epäsäännöllisen esiintymisen (ja rekisteröinnin) taustalla. Toisin sanoen: tiedot prosessinohjausjärjestelmästä saapuvat kerran sekunnissa, oikein ja tarkkoja ja puutteista tehdään muistiinpanot kemiallisella lyijykynällä osoittaen päivämäärän yleiseen vihkoon konepajassa (esim: "12.01 - vuotaa kanteen" 3. laakerin puolelta").

Siten voimme täydentää ongelman muotoilua seuraavalla tärkeällä rajoituksella: meillä on vain yksi "etiketti" tietyn tyyppisestä viasta (eli esimerkkiä tietyn tyyppisestä viasta edustaa prosessiohjauksen data järjestelmä tiettynä päivänä - eikä meillä ole enempää esimerkkejä tämän tyyppisestä viasta). Tämä rajoitus vie meidät välittömästi klassisen koneoppimisen (ohjatun oppimisen) ulkopuolelle, jolle pitäisi olla paljon "tageja".

Kuva 3 Vikojen kehittymisen seurantatehtävän selvennys

Voimmeko jotenkin "moninkertaistaa" ainoan käytössämme olevan "tunnisteen"? Kyllä me voimme. Pumpun nykyiselle kunnosta on ominaista samankaltaisuus rekisteröityjen vikojen kanssa. Jopa ilman kvantitatiivisten menetelmien käyttöä visuaalisen havainnon tasolla, tarkkailemalla prosessinohjausjärjestelmästä tulevien tietoarvojen dynamiikkaa, voit jo oppia paljon:

Kuva 4 Pumpun kunnon dynamiikka tietyn tyyppisen vian "merkin" taustalla

Mutta visuaalinen havainto (ainakin toistaiseksi) ei ole sopivin "tunnisteiden" generaattori nopeasti muuttuvassa skenaariossamme. Arvioimme pumpun nykyisen kunnon samankaltaisuuden raportoitujen vikojen kanssa tilastollisen testin avulla.

Kuva 5 Tilastollisen testin soveltaminen saapuviin tietoihin viallisen "etiketin" taustalla

Tilastollinen testi määrittää todennäköisyyden, että prosessinohjausjärjestelmästä vastaanotetun "virtauspaketin" teknisten prosessiparametrien arvot sisältävät tietueet ovat samanlaisia ​​​​kuin tietyn tyyppisen vian "tunnisteen" tietueet. Tilastollisen testin soveltamisen tuloksena laskettu todennäköisyysarvo (tilastollinen samankaltaisuusindeksi) muunnetaan arvoksi 0 tai 1, jolloin siitä tulee koneoppimisen "etiketti" jokaisessa samankaltaisuuden tarkastelun kohteena olevan paketin tietueessa. Toisin sanoen, kun olemme käsitelleet äskettäin vastaanotetun pumpun tilatietueiden paketin tilastollisella testillä, meillä on mahdollisuus (a) lisätä tämä paketti AI/ML-mallin koulutukseen tarkoitettuun koulutussarjaan ja (b) suorittaa järjestelmän laadunvalvonta. mallin nykyinen versio, kun käytät sitä tässä paketissa.

Kuva 6 Koneoppimismallin soveltaminen saapuvaan dataan viallisen "tunnisteen" taustalla

Yhdessä edellisessämme verkkoseminaarit Näytämme ja selitämme, kuinka InterSystems IRIS -alustan avulla voit toteuttaa minkä tahansa AI/ML-mekanismin jatkuvasti suoritettavien liiketoimintaprosessien muodossa, jotka valvovat mallinnuksen tulosten luotettavuutta ja mukauttavat malliparametreja. Toteutettaessa skenaariomme prototyyppiä pumpuilla käytämme kaikkia webinaarin aikana esiteltyjä InterSystems IRIS -toimintoja - toteuttaen analysaattoriprosessissa osana ratkaisuamme ei klassista ohjattua oppimista, vaan vahvistusoppimista, joka ohjaa automaattisesti koulutusmallien valintaa. . Harjoittelunäyte sisältää tietueita, joista syntyy "havaitsemiskonsensus" sekä tilastollisen testin että mallin nykyisen version soveltamisen jälkeen - eli sekä tilastollinen testi (kun samankaltaisuusindeksi on muunnettu arvoksi 0 tai 1) että malli tuotti tuloksen sellaisissa tietueissa 1. Mallin uuden koulutuksen aikana, sen validoinnin aikana (äskettäin koulutettua mallia sovelletaan omaan harjoitusotokseensa, siihen sovelletaan alustavasti tilastollista testiä) tallenteet, jotka "ei säilyttäneet" tulosta 1 käsittelyn jälkeen tilastollisella testillä (johtuen koulutuksessa jatkuvasta läsnäolosta virheen alkuperäisen "etiketin" tietueiden näyte), poistetaan koulutusjoukosta ja mallin uusi versio oppii virheen "etiketistä". vika sekä "säilytetyt" tietueet streamista.

Kuva 7 AI/ML-laskelmien robotisointi InterSystems IRIS:ssä

Jos InterSystems IRIS:ssä paikallisten laskelmien yhteydessä saadun havainnoinnin laadusta tarvitaan jonkinlainen "toinen mielipide", luodaan neuvonantajaprosessi, joka suorittaa koulutusta ja mallien soveltamista ohjaustietojoukolle pilvipalveluiden avulla (esim. Microsoft). Azure, Amazon Web Services , Google Cloud Platform jne.):

Kuva 8 Toinen lausunto Microsoft Azurelta InterSystems IRIS:n järjestämä

Skenaariomme prototyyppi InterSystems IRISissä on suunniteltu agenttipohjaiseksi järjestelmäksi analyyttisille prosesseille, jotka ovat vuorovaikutuksessa laiteobjektin (pumpun), matemaattisten mallinnusympäristöjen (Python, R ja Julia) kanssa ja varmistavat kaikkien mukana olevien tekoälyn itseoppimisen/ ML-mekanismit - reaaliaikaisissa tietovirroissa.

Kuva 9 InterSystems IRIS:n reaaliaikaisen AI/ML-ratkaisun päätoiminnot

Prototyyppimme käytännön tulos:

• Mallin tunnistama näytevika (12. tammikuuta):

• Mallin tunnistama kehittyvä vika, joka ei sisältynyt näytteeseen (11. syyskuuta korjaustiimi havaitsi itse vian vasta kaksi päivää myöhemmin, 13. syyskuuta):

Simulaatio todellisilla tiedoilla, jotka sisältävät useita jaksoja samasta viasta, osoitti, että InterSystems IRIS -alustalle toteutettu ratkaisumme antaa meille mahdollisuuden tunnistaa tämäntyyppisten vikojen kehittyminen useita päiviä ennen kuin korjaustiimi havaitsee ne.

InterSystems IRIS - yleinen reaaliaikainen AI/ML-laskentaalusta

InterSystems IRIS -alusta yksinkertaistaa reaaliaikaisten dataratkaisujen kehittämistä, käyttöönottoa ja käyttöä. InterSystems IRIS pystyy suorittamaan samanaikaisesti tapahtumien ja analyyttisten tietojen käsittelyä; tukee synkronoituja tietonäkymiä useiden mallien mukaan (mukaan lukien relaatio-, hierarkkinen, objekti- ja asiakirja); toimii alustana useiden tietolähteiden ja yksittäisten sovellusten integrointiin; tarjota kehittynyttä reaaliaikaista analytiikkaa strukturoidulle ja jäsentämättömälle tiedolle. InterSystems IRIS tarjoaa myös mekanismeja ulkoisten analyyttisten työkalujen käyttämiseen ja mahdollistaa joustavan isännöinnin yhdistämisen pilvessä ja paikallisilla palvelimilla.

InterSystems IRIS -alustalle rakennettuja sovelluksia käytetään useilla toimialoilla, ja ne auttavat yrityksiä saavuttamaan merkittäviä taloudellisia etuja strategisesta ja toiminnallisesta näkökulmasta, lisäävät tietoon perustuvaa päätöksentekoa ja kurovat umpeen tapahtumien, analyysien ja toiminnan välisiä kuiluja.

Kuva 10 InterSystems IRIS -arkkitehtuuri reaaliaikaisen AI/ML:n kontekstissa

Kuten edellinen kaavio, alla oleva kaavio yhdistää uuden "koordinaattijärjestelmän" (CD/CI/CT) kaavioon tiedonkulusta alustan työelementtien välillä. Visualisointi alkaa makromekanismi CD:llä ja jatkuu makromekanismeilla CI ja CT.

Kuva 11 Kaavio tietovirroista InterSystems IRIS -alustan AI/ML-elementtien välillä

CD-mekanismin ydin InterSystems IRIS:ssä: alustan käyttäjät (AI/ML-ratkaisujen kehittäjät) mukauttavat olemassa olevia ja/tai luovat uusia AI/ML-kehityksiä käyttämällä erikoistunutta koodieditoria AI/ML-mekanismeihin: Jupyter (koko nimi: Jupyter Notebook; lyhyyden vuoksi tällä editorilla luotuja asiakirjoja kutsutaan joskus myös nimellä). Jupyterissa kehittäjällä on mahdollisuus kirjoittaa, korjata ja tarkistaa tietyn AI/ML-kehityksen suorituskyky (mukaan lukien grafiikan käyttö), ennen kuin se asetetaan ("käyttöön") InterSystems IRIS:iin. On selvää, että tällä tavalla luotu uusi kehitys saa vain perusvirheenkorjauksen (koska erityisesti Jupyter ei toimi reaaliaikaisten tietovirtojen kanssa) - tämä on asioiden järjestyksessä, koska Jupyterin kehityksen päätulos on vahvistus erillisen AI/ML-mekanismin perustavanlaatuisesta toimivuudesta ("näyttää odotetun tuloksen datanäytteessä"). Samoin alustalle jo asetettu mekanismi (katso seuraavat makromekanismit) ennen Jupyterin virheenkorjausta voi vaatia "palautuksen" "alustaa edeltävään" muotoon (tietojen lukeminen tiedostoista, tietojen käsittely xDBC:n kautta taulukoiden sijaan, suora vuorovaikutus globaalien kanssa - moniulotteiset tietotaulukot InterSystems IRIS jne.).

Tärkeä näkökohta CD-toteutuksessa InterSystems IRIS:ssä: alustan ja Jupyterin välillä on toteutettu kaksisuuntainen integraatio, joka mahdollistaa Pythonin, R:n ja Julian sisällön siirtämisen alustalle (ja sen jälkeen käsittelyn alustalla) (kaikki kolme ovat ohjelmointia kielillä vastaavilla johtavilla avoimen lähdekoodin kielillä). Siten AI/ML-sisällönkehittäjillä on mahdollisuus toteuttaa tämän sisällön "jatkuva käyttöönotto" alustalla työskentelemällä tutussa Jupyter-editorissaan tuttujen Python-, R-, Julia-kirjastojen kanssa ja suorittamalla perusvirheenkorjauksen (tarvittaessa). alustan ulkopuolella.

Siirrytään InterSystems IRIS:n CI-makromekanismiin. Kaavio näyttää "reaaliaikaisen robotisaattorin" makroprosessin (kokonaisuus tietorakenteita, liiketoimintaprosesseja ja koodifragmentteja, jotka ne organisoivat matemaattisilla kielillä ja ObjectScriptillä - InterSystems IRIS:n alkuperäisellä kehityskielellä). Tämän makroprosessin tehtävänä on ylläpitää AI/ML-mekanismien toiminnan kannalta tarpeellisia datajonoja (perustuu alustalle reaaliajassa välittyviin tietovirtoihin), tehdä päätöksiä sovellusjärjestyksestä ja AI/:n ”lajitelmasta”. ML-mekanismit (ne ovat myös "matemaattisia algoritmeja", "malleja" jne. - voidaan kutsua eri tavalla toteutuksen erityispiirteistä ja terminologisista mieltymyksistä riippuen), pitävät tietorakenteet ajan tasalla tekoälyn työn tulosten analysointia varten/ ML-mekanismit (kuutiot, taulukot, moniulotteiset tietotaulukot jne.) jne. – raportteja, kojetauluja jne. varten.

Tärkeä näkökohta CI:n toteutuksessa erityisesti InterSystems IRISissä: alustan ja matemaattisten mallinnusympäristöjen välillä on toteutettu kaksisuuntainen integraatio, jonka avulla voit suorittaa alustalla isännöityä sisältöä Pythonissa, R:ssä ja Juliassa niiden vastaavissa ympäristöissä ja saada suorituksen takaisin. tuloksia. Tämä integrointi toteutetaan sekä "päätetilassa" (eli AI/ML-sisältö muotoillaan ObjectScript-koodiksi, joka soittaa ympäristöön) ja "liiketoimintaprosessitilassa" (eli AI/ML-sisältö muotoillaan liiketoimintaprosessiksi) käyttämällä graafista editoria tai joskus Jupyteria tai IDE:tä (IRIS Studio, Eclipse, Visual Studio Code). Liiketoimintaprosessien saatavuus muokkausta varten Jupyterissa näkyy CI-tason IRIS:n ja CD-tason Jupyterin välisen yhteyden kautta. Alla on tarkempi katsaus integraatioon matemaattisten mallinnusympäristöjen kanssa. Tässä vaiheessa on mielestämme kaikki syyt varmistaa, että alustalla on kaikki tarvittavat työkalut AI/ML-kehityksen "jatkuvan integroinnin" toteuttamiseen (jotka tulevat "jatkuvasta käyttöönotosta") reaaliaikaisiin AI/ML-ratkaisuihin.

Ja tärkein makromekanismi: CT. Ilman sitä ei ole AI/ML-alustaa (vaikka "reaaliaikainen" toteutetaan CD/CI:n kautta). CT:n ydin on alustan työskentely koneoppimisen ja tekoälyn "artefaktien" kanssa suoraan matemaattisten mallinnusympäristöjen työistunnoissa: mallit, jakotaulukot, matriisivektorit, hermoverkkojen kerrokset jne. Tämä "työ" koostuu useimmissa tapauksissa mainittujen artefaktien luomisesta ympäristöissä (esimerkiksi mallien tapauksessa "luominen" koostuu mallin määrittelyn asettamisesta ja sen parametrien arvojen myöhemmästä valinnasta - mallin ns. "koulutus", niiden soveltaminen (malleille: laskeminen niiden avulla kohdemuuttujien "malli"arvot - ennusteet, luokkaan kuuluminen, tapahtuman todennäköisyys jne.) ja jo parantaminen luotuja ja sovellettuja artefakteja (esimerkiksi mallin syöttömuuttujien joukon uudelleenmäärittely soveltamisen tulosten perusteella - ennusteen tarkkuuden parantamiseksi, vaihtoehtona). Avainkohta CT:n roolin ymmärtämisessä on sen "abstraktio" CD:n ja CI:n todellisuudesta: CT toteuttaa kaikki artefaktit keskittyen AI/ML-ratkaisun laskennallisiin ja matemaattisiin erityispiirteisiin tiettyjen ympäristöjen tarjoamien ominaisuuksien puitteissa. Vastuu "syötteiden toimittamisesta" ja "tulosteiden toimittamisesta" on CD:n ja CI:n vastuulla.

Tärkeä näkökohta CT:n toteutuksessa nimenomaan InterSystems IRIS:ssä: käyttämällä integraatiota jo edellä mainittujen matemaattisten mallinnusympäristöjen kanssa, alustalla on kyky poimia juuri kyseiset artefaktit sen hallinnassa olevista työistunnoista matemaattisissa ympäristöissä ja (joka tärkein) kääntää ne alustatietoobjekteiksi. Esimerkiksi toimivassa Python-istunnossa juuri luotu jakelutaulukko voidaan siirtää (python-istuntoa pysäyttämättä) alustalle esimerkiksi globaalina (moniulotteinen InterSystems IRIS -tietotaulukko) - ja käyttää laskelmiin toisessa AI/ML-mekanismissa (toteutettu toisen ympäristön kielellä - esim. R:ssä) - tai virtuaalitaulukossa. Toinen esimerkki: mallin toiminnan "normaalitilan" rinnalla (Python-työistunnossa) sen syöttötiedoille suoritetaan "auto-ML": optimaalisten syöttömuuttujien ja parametriarvojen automaattinen valinta. Ja "säännöllisen" koulutuksen ohella tuottava malli reaaliajassa saa myös spesifikaatioiden "optimointiehdotuksen" - jossa syöttömuuttujien joukko muuttuu, parametrien arvot muuttuvat (ei enää koulutuksen seurauksena Pythonissa, mutta harjoittelun tuloksena "vaihtoehtoisella" "versiolla itsestään, kuten H2O-pinolla), jolloin AI/ML-ratkaisu pystyy itsenäisesti selviytymään odottamattomista muutoksista mallinnettavien syöttötietojen ja ilmiöiden luonteessa. .

Tutustutaanpa tarkemmin InterSystems IRIS:n alustan AI/ML-toimintoihin tosielämän prototyypin esimerkillä.

Alla olevassa kaaviossa dian vasemmalla puolella on osa liiketoimintaprosessia, joka toteuttaa skriptien suorittamisen Pythonissa ja R:ssä. Keskiosassa on visuaaliset lokit joidenkin näiden komentosarjojen suorittamisesta, vastaavasti, Pythonissa ja R:ssä. Heti niiden takana on esimerkkejä sisällöstä yhdellä ja toisella kielellä, jotka on siirretty suoritettaviksi sopiviin ympäristöihin. Lopussa oikealla ovat visualisoinnit, jotka perustuvat komentosarjan suorituksen tuloksiin. Ylhäällä olevat visualisoinnit tehtiin IRIS Analyticsilla (tiedot vietiin Pythonista InterSystems IRIS -tietoalustaan ​​ja näytettiin alustan avulla kojelautaan), alareunassa tehtiin suoraan R-työistunnossa ja tulostettiin sieltä grafiikkatiedostoihin. . Tärkeä näkökohta: prototyypissä esitetty fragmentti vastaa mallin kouluttamisesta (laitteiden tilojen luokittelu) laitesimulaattoriprosessista reaaliajassa vastaanotetulle tiedolle mallin soveltamisen aikana havaitun luokituksen laadunvalvontaprosessin käskystä. AI/ML-ratkaisun toteuttamista vuorovaikutteisten prosessien ("agenttien") muodossa käsitellään edelleen.

Kuva 12 Vuorovaikutus Pythonin, R:n ja Julian kanssa InterSystems IRIS:ssä

Alustan prosesseja (ne ovat myös "liiketoimintaprosesseja", "analyyttisiä prosesseja", "putkilinjoja" jne. - kontekstista riippuen) muokataan ensinnäkin itse alustan graafisessa liiketoimintaprosessieditorissa ja sellaisessa siten, että sekä sen lohkokaavio että vastaava AI/ML-mekanismi (ohjelmakoodi) luodaan samanaikaisesti. Kun sanomme, että "AI/ML-mekanismi saadaan", tarkoitamme alun perin hybridisyyttä (yhden prosessin sisällä): matemaattisten mallinnusympäristöjen kielillä oleva sisältö on SQL:n sisällön vieressä (mukaan lukien laajennukset IntegratedML), InterSystems ObjectScriptissä, muilla tuetuilla kielillä. Lisäksi alustaprosessi tarjoaa erittäin laajat mahdollisuudet "renderöimiseen" hierarkkisesti sisäkkäisten fragmenttien muodossa (kuten alla olevan kaavion esimerkissä näkyy), mikä mahdollistaa erittäin monimutkaisen sisällön tehokkaan järjestämisen ilman, että se koskaan "putoaa" ulos. graafisessa muodossa ("ei-graafiseen" muotoon). » menetelmät/luokat/menettelyt jne.). Eli tarvittaessa (ja se on ennakoitu useimmissa projekteissa) täysin koko AI/ML-ratkaisu voidaan toteuttaa graafisessa itsedokumentoivassa muodossa. Huomaa, että alla olevan kaavion keskiosassa, joka edustaa korkeampaa "pesäytymistasoa", on selvää, että mallin varsinaisen koulutustyön (Pythonilla ja R:llä) lisäksi on analysoitu ns. Koulutetun mallin ROC-käyrä on lisätty, jolloin visuaalisesti (ja myös laskennallisesti) voidaan arvioida koulutuksen laatua - ja tämä analyysi on toteutettu Julia-kielellä (suoritetaan vastaavasti Julia-matemaattisessa ympäristössä).

Kuva 13 Visuaalinen ympäristö AI/ML-ratkaisujen koostumukselle InterSystems IRIS:ssä

Kuten aiemmin mainittiin, alustassa jo toteutettujen AI/ML-mekanismien ensimmäinen kehittäminen ja (joissakin tapauksissa) mukauttaminen tehdään/voidaan tehdä alustan ulkopuolella Jupyter-editorissa. Alla olevassa kaaviossa näemme esimerkin olemassa olevan alustaprosessin mukauttamisesta (sama kuin yllä olevassa kaaviossa) - tältä mallin harjoittamisesta vastaava fragmentti näyttää Jupyterissa. Python-sisältö on käytettävissä muokkausta, virheenkorjausta ja grafiikkaa varten suoraan Jupyterissa. Muutoksia (tarvittaessa) voidaan tehdä välittömällä synkronoinnilla alustaprosessiin, mukaan lukien sen tuottava versio. Uutta sisältöä voidaan siirtää alustalle samalla tavalla (uusi alustaprosessi luodaan automaattisesti).

Kuva 14 Jupyter Notebookin käyttäminen AI/ML-moottorin muokkaamiseen InterSystems IRIS -alustalla

Alustaprosessin mukauttaminen voidaan suorittaa paitsi graafisessa tai kannettavassa muodossa - myös "totaalisessa" IDE-muodossa (Integrated Development Environment). Nämä IDE:t ovat IRIS Studio (natiivi IRIS-studio), Visual Studio Code (InterSystemsin IRIS-laajennus VSCodelle) ja Eclipse (Atelier-laajennus). Joissakin tapauksissa kehitystiimin on mahdollista käyttää kaikkia kolmea IDE:tä samanaikaisesti. Alla olevassa kaaviossa on esimerkki saman prosessin muokkaamisesta IRIS-studiossa, Visual Studio Codessa ja Eclipsessä. Ehdottomasti kaikki sisältö on muokattavissa: Python/R/Julia/SQL, ObjectScript ja liiketoimintaprosessit.

Kuva 15 InterSystems IRIS -liiketoimintaprosessin kehitys eri IDE:issä

Erityisen maininnan ansaitsevat työkalut InterSystems IRIS -liiketoimintaprosessien kuvaamiseen ja suorittamiseen Business Process Language (BPL) -kielellä. BPL mahdollistaa "valmiiden integraatiokomponenttien" (toimintojen) käytön liiketoimintaprosesseissa - mikä itse asiassa antaa kaiken syyn väittää, että InterSystems IRIS:ssä on toteutettu "jatkuva integraatio". Valmiit liiketoimintaprosessikomponentit (toiminnot ja niiden väliset yhteydet) ovat tehokas kiihdytin AI/ML-ratkaisun kokoamiseen. Eikä vain kokoonpanoja: erilaisten AI/ML-kehitysten ja -mekanismien välisten toimintojen ja yhteyksien ansiosta syntyy "autonominen hallintakerros", joka pystyy tekemään päätöksiä tilanteen mukaan, reaaliajassa.

Kuva 16 Valmiit liiketoimintaprosessikomponentit jatkuvaan integrointiin (CI) InterSystems IRIS -alustalla

Agenttijärjestelmien konseptilla (tunnetaan myös nimellä "multi-agent systems") on vahva asema robotisaatiossa, ja InterSystems IRIS -alusta tukee sitä orgaanisesti "tuoteprosessi" -rakenteen kautta. Rajattomien mahdollisuuksien lisäksi "täyttää" jokainen prosessi kokonaisratkaisun edellyttämällä toiminnallisuudella, alustaprosessien järjestelmän antaminen "viraston" ominaisuudella mahdollistaa tehokkaiden ratkaisujen luomisen erittäin epävakaille simuloiduille ilmiöille (sosiaalisen/ biosysteemit, osittain havaittavat teknologiset prosessit jne.).

Kuva 16 AI/ML-ratkaisun toiminta agenttipohjaisena liiketoimintaprosessijärjestelmänä InterSystems IRIS:ssä

Jatkamme InterSystems IRIS -katsausta tarinalla alustan sovelletusta käytöstä kokonaisten reaaliaikaisten ongelmien ratkaisemiseen (melko yksityiskohtainen johdatus joihinkin InterSystems IRIS:n alustan AI/ML:n parhaista käytännöistä löytyy yhdestä edellisestämme verkkoseminaarit).

Edellisen kaavion pohjalla, alla on tarkempi kaavio agenttijärjestelmästä. Kaavio esittää samaa prototyyppiä, kaikki neljä agenttiprosessia ovat näkyvissä, niiden väliset suhteet on piirretty kaavamaisesti: GENERAATTORI - käsittelee laitteiden antureiden luomaa dataa, BUFFER - hallitsee datajonoja, ANALYZER - suorittaa koneoppimisen itse, MONITOR - valvoo koneoppimisen laatua ja antaa signaalin tarpeesta kouluttaa malli uudelleen.

Kuva 17 AI/ML-ratkaisun kokoonpano agenttipohjaisen liiketoimintaprosessijärjestelmän muodossa InterSystems IRISissä

Alla oleva kaavio havainnollistaa toisen robottiprototyypin autonomista toimintaa (tekstien emotionaalisen värityksen tunnistaminen) jonkin aikaa. Yläosassa on mallikoulutuksen laatuindikaattorin kehitys (laatu kasvaa), alaosassa mallin soveltamisen laatuindikaattorin dynamiikka ja toistuvan koulutuksen tosiasiat (punaiset raidat). Kuten näette, ratkaisu on oppinut itsensä tehokkaasti ja itsenäisesti ja toimii tietyllä laatutasolla (laatupisteet eivät laske alle 80%).

Kuva 18 Jatkuva (itse)harjoittelu (CT) InterSystems IRIS -alustalla

Mainitsimme myös "auto-ML:n" aiemmin, mutta alla oleva kaavio näyttää tämän toiminnon käytön yksityiskohtaisesti toisen prototyypin esimerkin avulla. Liiketoimintaprosessin fragmentin graafinen kaavio näyttää toiminnan, joka laukaisee mallinnuksen H2O-pinossa, näyttää tämän mallintamisen tulokset (tuloksena olevan mallin selvä ylivoima "ihmisen tekemiin" malleihin verrattuna, vertailukaavion mukaan. ROC-käyrät sekä alkuperäisessä tietojoukossa saatavilla olevien "vaikuttavimpien muuttujien" automaattinen tunnistaminen). Tärkeä asia tässä on "auto-ML:n" avulla saavutettava ajan ja asiantuntijaresurssien säästö: se, mitä alustaprosessimme tekee puolessa minuutissa (optimaalisen mallin löytäminen ja kouluttaminen), voi viedä asiantuntijalta viikosta kuukauteen.

Kuva 19 Auto-ML:n integrointi AI/ML-ratkaisuun InterSystems IRIS -alustalla

Alla olevasta kaaviosta puuttuu hieman pointti, mutta se on hyvä tapa lopettaa tarina ratkaistujen reaaliaikaisten ongelmien luokista: muistutamme, että InterSystems IRIS -alustan kaikilla ominaisuuksilla sen hallinnassa olevat koulutusmallit ovat ei pakollinen. Alusta voi vastaanottaa ulkopuolelta mallin niin sanotun PMML-spesifikaation, joka on koulutettu työkaluun, joka ei ole alustan hallinnassa - ja soveltaa tätä mallia reaaliajassa sen tuontihetkestä lähtien. PMML-määritykset. On tärkeää ottaa huomioon, että kaikkia AI/ML-artefakteja ei voida pelkistää PMML-spesifikaatioon, vaikka useimmat yleisimmät artefaktit sen sallivat. Siten InterSystems IRIS -alusta on "avoin silmukka" eikä tarkoita "alustaorjuutta" käyttäjille.

Kuva 20 Auto-ML:n integrointi AI/ML-ratkaisuun InterSystems IRIS -alustalla

Listataan InterSystems IRIS:n alustan lisäedut (selvyyden vuoksi prosessiohjaukseen liittyen), jotka ovat erittäin tärkeitä tekoälyn ja reaaliaikaisen koneoppimisen automatisoinnissa:

• Kehitetty integrointityökalut kaikkiin tietolähteisiin ja kuluttajiin (prosessinohjausjärjestelmä/SCADA, laitteet, MRO, ERP jne.)
• Sisäänrakennettu monimalli DBMS minkä tahansa teknologisen prosessidatan tehokkaaseen transaktio- ja analyyttiseen käsittelyyn (Hybrid Transaction/Analytical Processing, HTAP)
• Kehitystyökalut AI/ML-koneiden jatkuvaan käyttöönottoon reaaliaikaisiin Python-, R-, Julia-pohjaisiin ratkaisuihin
• Mukautuvat liiketoimintaprosessit reaaliaikaisten AI/ML-ratkaisumoottoreiden jatkuvaan integrointiin ja (itse)oppimiseen
• Sisäänrakennetut Business Intelligence -työkalut prosessitietojen ja AI/ML-ratkaisun tulosten visualisointiin
• API-hallinta AI/ML-ratkaisun tulosten toimittamiseen prosessinohjausjärjestelmiin/SCADA-järjestelmiin, tieto- ja analyyttisiin järjestelmiin, hälytysten lähettämiseen jne.

InterSystems IRIS -alustan AI/ML-ratkaisut sopivat helposti olemassa olevaan IT-infrastruktuuriin. InterSystems IRIS -alusta varmistaa AI/ML-ratkaisujen korkean luotettavuuden tukemalla vikasietoisia ja katastrofisietoisia kokoonpanoja ja joustavaa käyttöönottoa virtuaaliympäristöissä, fyysisillä palvelimilla, yksityisissä ja julkisissa pilvissä sekä Docker-konteissa.

Siten InterSystems IRIS on yleinen reaaliaikainen AI/ML-laskentaalusta. Alustamme universaalisuuden vahvistavat käytännössä se, että toteutettujen laskelmien monimutkaisuutta ei ole rajoitettu, InterSystems IRIS:n kyky yhdistää (reaaliaikaisesti) useiden eri toimialojen skenaarioiden käsittelyä ja poikkeuksellinen sopeutumiskyky kaikki alustatoiminnot ja mekanismit käyttäjien erityistarpeisiin.

Kuva 21 InterSystems IRIS – yleinen reaaliaikainen AI/ML-laskentaalusta

Jotta voisimme olla tiiviimmin vuorovaikutuksessa niiden lukijoidemme kanssa, jotka ovat kiinnostuneita tässä esitetystä materiaalista, suosittelemme, että et rajoitu lukemiseen vaan jatkat dialogia "livenä". Autamme mielellämme yrityksesi erityispiirteisiin liittyvien reaaliaikaisten AI/ML-skenaarioiden muotoilussa, teemme yhteisiä prototyyppejä InterSystems IRIS -alustalla, muotoilemme ja toteutamme käytännössä tiekartan tekoälyn ja koneoppimisen käyttöönottamiseksi. tuotanto- ja hallintaprosesseihisi. AI/ML-asiantuntijatiimimme yhteyssähköpostiosoite – [sähköposti suojattu].

Lähde: will.com