InterSystems IRIS - alhliða AI/ML vettvangur í rauntíma

Höfundur: Sergey Lukyanchikov, ráðgjafaverkfræðingur hjá InterSystems

Rauntíma AI/ML tölvusímtöl

Byrjum á dæmum úr reynslunni af gagnavísindum hjá InterSystems:

• Hlaðna kaupendagáttin er tengd við meðmælakerfi á netinu. Það verður endurskipulagning á kynningum á verslunarnetinu (til dæmis, í stað „flatrar“ línu af kynningum, verður nú notað „hlutatækni“ fylki). Hvað verður um meðmælisvélar? Hvað verður um innsendingu og uppfærslu gagna í meðmælavélina (magn inntaksgagna hefur aukist um 25000 sinnum)? Hvað verður um þróun tilmæla (þörf á að lækka síuþröskuld meðmælareglna um þúsundfalt vegna þúsundfaldrar fjölgunar þeirra og „sviðs“)?
• Til er kerfi til að fylgjast með líkum á að gallar komi upp í íhlutum búnaðar. Sjálfvirkt ferlistýringarkerfi var tengt við eftirlitskerfið sem sendir þúsundir tæknilegra ferlibreyta á hverri sekúndu. Hvað verður um eftirlitskerfið sem áður vann að „handvirkum sýnum“ (er það fær um að veita líkindavöktun sekúndu fyrir sekúndu)? Hvað gerist ef ný blokk upp á nokkur hundruð dálka birtist í inntaksgögnum með álestri frá skynjurum sem nýlega var bætt við ferlistýringarkerfið (mun það vera nauðsynlegt og hversu lengi á að stöðva eftirlitskerfið til að taka gögn frá nýjum skynjurum inn í greininguna )?
• Búið hefur verið til safn gervigreindar/ML aðferða (ráðleggingar, eftirlit, spár) sem nýta niðurstöður vinnu hvers annars. Hversu margar vinnustundir þarf í hverjum mánuði til að laga rekstur þessarar flóknar að breytingum á inntaksgögnum? Hver er almennt „höggið“ þegar það er stutt af ákvarðanatöku stjórnenda (tíðni nýrra stuðningsupplýsinga í henni miðað við tíðni nýrra inntaksgagna)?

Með því að draga saman þessi og mörg önnur dæmi, höfum við komist að mótun þeirra áskorana sem koma upp þegar farið er yfir í notkun vélanáms og gervigreindaraðferða í rauntíma:

• Erum við ánægð með hraða sköpunar og aðlögunar (að breyttum aðstæðum) AI/ML þróunar í fyrirtækinu okkar?
• Hversu mikið styðja gervigreind/ML lausnirnar sem við notum viðskiptastjórnun í rauntíma?
• Eru gervigreind/ML lausnirnar sem við notum færar um að laga sig sjálfstætt (án þróunaraðila) að breytingum á gagna- og viðskiptastjórnunarháttum?

Greinin okkar er ítarlegt yfirlit yfir getu InterSystems IRIS vettvangsins hvað varðar alhliða stuðning við uppsetningu AI/ML kerfis, samsetningu (samþættingu) AI/ML lausna og þjálfun (prófun) á AI/ML lausnum á öflugum gagnastraumar. Við munum skoða markaðsrannsóknir, dæmisögur um AI/ML lausnir og hugmyndafræðilega þætti þess sem við köllum rauntíma AI/ML vettvang í þessari grein.

Það sem við vitum úr könnunum: rauntímaforrit

Niðurstöður könnunframkvæmd meðal næstum 800 upplýsingatæknifræðinga árið 2019 af Lightbend, tala sínu máli:

Mynd 1 Leiðandi neytendur rauntímagagna

Við skulum vitna í mikilvæg brot úr skýrslunni um niðurstöður þessarar könnunar í þýðingu okkar:

„... Þróun í vinsældum tækja til að samþætta gagnastrauma og á sama tíma styðja tölvuvinnslu í gámum veita samverkandi svar við beiðni markaðarins um móttækilegri, skynsamlegri, kraftmeiri tillögu um árangursríkar lausnir. Gagnastraumur flytur upplýsingar hraðar en hefðbundin pakkagögn. Við þetta bætist hæfileikinn til að fljótt beita reikniaðferðum, eins og til dæmis ráðleggingum sem byggjast á gervigreind/ML, skapa samkeppnisforskot með aukinni ánægju viðskiptavina. Kapphlaupið um lipurð hefur einnig áhrif á öll hlutverk í DevOps hugmyndafræðinni - sem gerir þróun og uppsetningu forrita skilvirkari. … Átta hundruð og fjórir sérfræðingar í upplýsingatækni veittu upplýsingar um notkun gagnaflæðis í stofnunum sínum. Svarendur voru aðallega staðsettir í vestrænum löndum (41% í Evrópu og 37% í Norður-Ameríku) og dreifðust nánast jafnt á milli lítilla, meðalstórra og stórra fyrirtækja. ...

... Gervigreind er ekki efla. Fimmtíu og átta prósent þeirra sem þegar nota gagnastraumsvinnslu í framleiðni AI/ML forritum staðfesta að notkun þeirra á AI/ML muni sjá hvað mestan vöxt á næsta ári (miðað við önnur forrit).

• Samkvæmt meirihluta svarenda mun notkun gagnastrauma í gervigreind/ML sviðsmyndum aukast mest á næsta ári.
• Forrit í gervigreind/ml munu stækka ekki aðeins vegna tiltölulega nýrra tegunda atburðarásar, heldur einnig vegna hefðbundinna atburðarása þar sem rauntímagögn eru notuð í auknum mæli.
• Auk gervigreindar/ML er áhuginn meðal notenda IoT gagnaleiðslna áhrifamikill - 48% þeirra sem hafa þegar samþætt IoT gögn segja að innleiðing atburðarásar á þessum gögnum muni sjá verulega aukningu í náinni framtíð. ..."

Af þessari frekar áhugaverðu könnun er ljóst að skynjun á atburðarás vélanáms og gervigreindar sem leiðandi í neyslu gagnastrauma er þegar „á leiðinni“. En jafn mikilvæg athugun er skynjun AI/ML í rauntíma í gegnum linsu DevOps: hér getum við nú þegar byrjað að tala um umbreytingu á enn ríkjandi menningu „einnota gervigreindar/ML með fullkomlega aðgengilegu gagnasafni.

Rauntíma AI/ML vettvangshugmynd

Eitt dæmigert notkunarsvæði fyrir gervigreind/ml í rauntíma er ferlistýring í framleiðslu. Með fordæmi hennar og með hliðsjón af fyrri hugsunum munum við móta hugmyndina um rauntíma AI/ML vettvang.
Notkun gervigreindar og vélanáms í ferlistýringu hefur fjölda eiginleika:

• Gögn um stöðu tækniferlisins eru móttekin ákaft: með mikilli tíðni og fyrir fjölbreytt úrval af breytum (allt að tugþúsundir færibreytugilda send á sekúndu frá ferlistýringarkerfinu)
• Gögn um auðkenningu galla, svo ekki sé minnst á gögn um þróun þeirra, þvert á móti, eru af skornum skammti og óregluleg, einkennist af ófullnægjandi gerð galla og staðsetning þeirra í tíma (oft táknuð með pappírsgögnum)
• Frá hagnýtu sjónarhorni er aðeins „gildisgluggi“ upprunagagna tiltækur til að þjálfa og beita líkönum, sem endurspeglar gangverki tækniferlisins á hæfilegu rennabili sem endar með síðustu lesnu gildum ferlibreytanna.

Þessir eiginleikar neyða okkur, auk þess að taka á móti og grunnvinnslu í rauntíma á ákafa „breiðbandsinntaksmerki“ frá tækniferlinu, til að framkvæma (samhliða) beitingu, þjálfun og gæðaeftirlit með niðurstöðum gervigreindar/ ML módel - líka í rauntíma. „Ramminn“ sem módelin okkar „sjá“ í rennandi glugganum sem skiptir máli er stöðugt að breytast – og með honum breytast gæði afraksturs vinnu gervigreindar/ML módela sem þjálfaðir voru á einum af „römmunum“ í fortíðinni. . Ef gæði niðurstaðna af vinnu gervigreindar/ML líkana versna (til dæmis: gildi „alarm-norm“ flokkunarvillunnar hefur farið út fyrir þau mörk sem við höfum skilgreint), ætti að hefja viðbótarþjálfun líkananna sjálfkrafa á núverandi „ramma“ - og val á augnabliki til að hefja viðbótarþjálfun líkananna ætti að taka mið af því hvernig lengd þjálfunarinnar sjálfrar og gangverki rýrnunar á gæðum vinnu núverandi útgáfu líkananna (þar sem núverandi útgáfur módelanna halda áfram að vera notaðar á meðan módelin eru þjálfuð og þar til „nýþjálfaðar“ útgáfur þeirra hafa myndast).

InterSystems IRIS hefur lykilmöguleika til að gera gervigreind/ML lausnir kleift fyrir rauntíma ferlistýringu. Þessum hæfileikum má skipta í þrjá meginhópa:

• Stöðug dreifing (sífelld dreifing/afhending, geisladisk) nýrra eða aðlagaðra gervigreindar/ML tækja sem fyrir eru í afkastamikla lausn sem starfar í rauntíma á InterSystems IRIS vettvangi
• Stöðug samþætting (CI) í eina afkastamikla lausn á komandi tækniferlisgagnastraumum, gagnaraðir fyrir beitingu/þjálfun/gæðaeftirlit með gervigreind/ML kerfi og skiptast á gögnum/kóða/stýringaraðgerðum við stærðfræðilegt líkanaumhverfi, skipulagt í rauntíma vettvangur InterSystems IRIS
• Stöðug (sjálfs)þjálfun (sífelld þjálfun, CT) á gervigreind/ML aðferðum, framkvæmd í stærðfræðilegu líkanaumhverfi með því að nota gögn, kóða og stjórnunaraðgerðir („ákvarðanir teknar“) sendar af InterSystems IRIS pallinum

Flokkun vettvangsgetu í tengslum við vélanám og gervigreind í nákvæmlega þessa hópa er ekki tilviljun. Við skulum vitna í aðferðafræðina útgáfu Google, sem gefur hugmyndagrundvöll fyrir þessa flokkun, í þýðingu okkar:

„... DevOps hugtakið, sem er vinsælt þessa dagana, nær yfir þróun og rekstur stórra upplýsingakerfa. Kostir þess að innleiða þessa hugmynd eru stytting á lengd þróunarlota, hraðari dreifing þróunar og sveigjanleiki í útgáfuáætlun. Til að ná þessum ávinningi felur DevOps í sér innleiðingu á að minnsta kosti tveimur aðferðum:

• Stöðug samþætting (CI)
• Stöðug sending (CD)

Þessar venjur eiga einnig við um gervigreind/ML vettvang til að tryggja áreiðanlega og árangursríka samsetningu afkastamikilla gervigreindar/ML lausna.

AI/ML pallar eru frábrugðnir öðrum upplýsingakerfum í eftirfarandi þáttum:

• Hæfni teymis: Þegar gervigreind/ML lausn er búin til eru í teyminu venjulega gagnafræðingar eða „akademískir“ sérfræðingar á sviði gagnarannsókna sem framkvæma gagnagreiningu, þróa og prófa líkön. Þessir liðsmenn mega ekki vera fagmenn afkastamikill kóðahönnuður.
• Þróun: AI/ML vélar eru tilraunastarfsemi í eðli sínu. Til að leysa vandamál á sem hagkvæmastan hátt er nauðsynlegt að fara í gegnum ýmsar samsetningar inntaksbreyta, reiknirit, líkanaaðferðir og líkanfæribreytur. Flækjustig slíkrar leitar felst í því að rekja „hvað virkaði/virkaði ekki“, tryggja endurgerðanleika þátta, alhæfingu á þróun fyrir endurteknar útfærslur.
• Próf: Prófanir á gervigreindar/ML vélum krefjast breiðari prófunarsviðs en flest önnur þróun. Auk staðlaðra eininga- og samþættingarprófa er réttmæti gagna og gæði niðurstaðna við beitingu líkansins prófuð á þjálfunar- og eftirlitssýni.
• Dreifing: Dreifing gervigreindar/ML lausna er ekki takmörkuð við forspárþjónustur sem nota einu sinni þjálfað líkan. AI/ML lausnir eru byggðar í kringum fjölþrepa leiðslur sem framkvæma sjálfvirka líkanaþjálfun og notkun. Að dreifa slíkum leiðslum felur í sér að gera sjálfvirkar aðgerðir sem ekki eru léttvægar, sem venjulega eru framkvæmdar handvirkt af gagnafræðingum til að geta þjálfað og prófað líkön.
• Framleiðni: AI/ML vélar geta skort framleiðni, ekki aðeins vegna óhagkvæmrar forritunar, heldur einnig vegna síbreytilegs eðlis inntaksgagnanna. Með öðrum orðum, frammistaða gervigreindar/ML aðferða getur versnað af víðtækari ástæðum en afköst hefðbundinnar þróunar. Sem leiðir til þess að þurfa að fylgjast með (á netinu) frammistöðu gervigreindar/ML vélanna okkar, auk þess að senda áminningar eða hafna niðurstöðum ef árangursvísar standast ekki væntingar.

AI/ML pallar eru svipaðir öðrum upplýsingakerfum að því leyti að báðir krefjast stöðugrar kóðasamþættingar við útgáfustýringu, einingaprófun, samþættingarprófun og stöðugri þróunaruppfærslu. Hins vegar, þegar um AI / ML er að ræða, eru nokkrir mikilvægir munir:

• CI (Continuous Integration) er ekki lengur takmörkuð við að prófa og staðfesta kóðann á uppfærðum íhlutum - það felur einnig í sér prófun og staðfestingu á gögnum og AI/ML líkönum.
• CD (Continuous Delivery/Deployment, continuous deployment) takmarkast ekki við að skrifa og gefa út pakka eða þjónustu, heldur felur í sér vettvang fyrir samsetningu, þjálfun og beitingu gervigreindar/ML lausna.
• CT (Continuous Training, continuous training) er nýr þáttur [u.þ.b. höfundur greinarinnar: nýr þáttur í tengslum við hefðbundið hugtak DevOps, þar sem CT er að jafnaði Continuous Testing], sem felst í AI/ML kerfum, ábyrgur fyrir sjálfstæðri stjórnun aðferða til að þjálfa og beita gervigreind. /ML módel. ..."

Við getum fullyrt að vélanám og gervigreind sem vinna að rauntímagögnum krefjast breiðari verkfæra og færni (frá kóðaþróun til skipulagningar stærðfræðilegrar líkanaumhverfis), nánari samþættingu allra virkni- og námssviða, skilvirkara skipulag manna og vélaauðlindir.

Rauntíma atburðarás: viðurkenna þróun galla í fóðurdælum

Haltu áfram að nota vinnslustýringarsvæðið sem dæmi, skoðaðu ákveðið vandamál (við nefndum þegar í upphafi): við þurfum að veita rauntíma eftirlit með þróun galla í dælum byggt á flæði breytugilda ferlisins og skýrslur frá viðgerðarmönnum um greindar galla.

Mynd 2 Vandamálasamsetning til að fylgjast með þróun galla

Einkenni flestra verkefna sem sett eru fram á þennan hátt í reynd er að reglusemi og skilvirkni gagnamóttöku (APCS) verður að skoða með hliðsjón af reglubundnum og óreglulegum uppákomum (og skráningu) á göllum af ýmsum toga. Með öðrum orðum: gögn úr vinnslustýringarkerfinu berast einu sinni á sekúndu, réttar og nákvæmar, og athugasemdir um galla eru gerðar með efnablýanti sem gefur til kynna dagsetninguna í almennri minnisbók á verkstæðinu (til dæmis: „12.01 – lekur í kápunni frá hlið 3. legunnar“).

Þannig getum við bætt við mótun vandamálsins með eftirfarandi mikilvægu takmörkun: við höfum aðeins eitt „merki“ um galla af tiltekinni gerð (þ.e. dæmi um galla af tiltekinni gerð er táknað með gögnum frá ferlistýringunni kerfi á ákveðnum degi - og við höfum ekki fleiri dæmi um galla af þessari tilteknu gerð). Þessi takmörkun tekur okkur strax út fyrir svið klassísks vélanáms (náms undir eftirliti), sem það ætti að vera mikið af „merkjum“ fyrir.

Mynd 3 Skýring á því verkefni að fylgjast með þróun galla

Getum við einhvern veginn „margað“ eina „merkið“ sem við höfum yfir að ráða? Já við getum. Núverandi ástand dælunnar einkennist af því hversu líkt er við skráða galla. Jafnvel án þess að nota megindlegar aðferðir, á stigi sjónskynjunar, með því að fylgjast með gangverki gagnagilda sem koma frá ferlistýringarkerfinu, geturðu nú þegar lært mikið:

Mynd 4 Virkni dælunnar gegn bakgrunni „merkis“ um galla af tiltekinni gerð

En sjónskynjun (að minnsta kosti í bili) er ekki heppilegasti framleiðandinn af „merkjum“ í atburðarás okkar sem breytist hratt. Við munum meta líkt núverandi dæluástands við tilkynnta galla með tölfræðilegu prófi.

Mynd 5 Að beita tölfræðilegu prófi á innkomin gögn gegn bakgrunni gallans „merki“

Tölfræðipróf ákvarðar líkurnar á því að færslurnar með gildum tæknilegra ferlibreyta í „flæðispakkanum“ sem berast frá vinnslustýringarkerfinu séu svipaðar færslum „merkisins“ um galla af ákveðinni gerð. Líkindagildi (tölfræðileg líkindavísitala) sem reiknað er út vegna notkunar á tölfræðilegu prófi er umreiknað í gildið 0 eða 1 og verður „merki“ fyrir vélanám í hverri tiltekinni skrá í pakkanum sem verið er að skoða með tilliti til líkinda. Það er, eftir að hafa unnið úr nýlega mótteknum pakka af dæluástandsskrám með tölfræðilegu prófi, höfum við tækifæri til að (a) bæta þessum pakka við þjálfunarsettið fyrir þjálfun AI/ML líkansins og (b) framkvæma gæðaeftirlit með núverandi útgáfa af líkaninu þegar það er notað í þennan pakka.

Mynd 6 Notkun vélanámslíkans á innkomin gögn gegn bakgrunni gallaðs „merkis“

Í einu af okkar fyrri vefnámskeið Við sýnum og útskýrum hvernig InterSystems IRIS vettvangurinn gerir þér kleift að innleiða hvaða gervigreind/ML kerfi sem er í formi stöðugrar framkvæmdar viðskiptaferla sem fylgjast með áreiðanleika líkananiðurstaðna og aðlaga líkanbreytur. Þegar við innleiðum frumgerð af atburðarás okkar með dælum notum við alla InterSystems IRIS virkni sem kynnt var á vefnámskeiðinu - innleiðing í greiningarferlinu sem hluti af lausn okkar, ekki klassískt eftirlitsnám, heldur styrkingarnám, sem stjórnar vali fyrir þjálfunarlíkön sjálfkrafa. . Þjálfunarúrtakið inniheldur skrár þar sem „samstaða um uppgötvun“ myndast eftir að hafa beitt bæði tölfræðiprófinu og núverandi útgáfu líkansins - þ.e.a.s. bæði tölfræðiprófið (eftir að líkindastuðullinn hefur verið breytt í 0 eða 1) og líkanið gaf niðurstöðuna á slíkum skrám 1. Meðan á nýrri þjálfun líkansins stendur, meðan á löggildingu þess stendur (nýþjálfaða líkanið er notað á eigin þjálfunarúrtak, með bráðabirgðatölu tölfræðilegs prófs á það), skrár sem „geymdu“ ekki niðurstöðu 1 eftir vinnslu með tölfræðiprófinu (vegna stöðugrar viðveru í þjálfuninni sýnishorn af skrám frá upprunalega „merkinu“ gallans), eru fjarlægðar úr þjálfunarsettinu og ný útgáfa af líkaninu lærir af „merkinu“ á galla auk „geymdu“ gagna frá straumnum.

Mynd 7 Vélfæravæðing gervigreindar/ML útreikninga í InterSystems IRIS

Ef þörf er á eins konar „second opinion“ á gæðum uppgötvunar sem fæst við staðbundna útreikninga í InterSystems IRIS, er búið til ráðgjafaferli til að framkvæma þjálfun og beitingu líkana á stýrigagnagrunni með skýjaþjónustu (td Microsoft Azure, Amazon Web Services, Google Cloud Platform, osfrv.):

Mynd 8 Second Opinion frá Microsoft Azure skipulögð af InterSystems IRIS

Frumgerð atburðarásar okkar í InterSystems IRIS er hönnuð sem umboðsmannabundið kerfi greiningarferla sem hafa samskipti við búnaðarhlut (dælu), stærðfræðilegt líkanaumhverfi (Python, R og Julia) og tryggja sjálfsnám allra hlutaðeigandi gervigreindar/ ML kerfi - á rauntíma gagnastraumum.

Mynd 9 Helstu virkni rauntíma AI/ML lausnarinnar í InterSystems IRIS

Hagnýt niðurstaða frumgerðarinnar okkar:

• Dæmi um galla sem fyrirmyndin þekkir (12. janúar):

• Þróunargalli sem var þekktur af líkaninu og var ekki með í sýninu (11. september, gallinn sjálfur var auðkenndur af viðgerðarteyminu aðeins tveimur dögum síðar, 13. september):

Eftirlíking á raunverulegum gögnum sem innihalda nokkra þætti af sama galla sýndi að lausn okkar, útfærð á InterSystems IRIS pallinum, gerir okkur kleift að bera kennsl á þróun galla af þessari gerð nokkrum dögum áður en viðgerðarteymi greinir þá.

InterSystems IRIS - alhliða rauntíma gervigreind/ML tölvuvettvangur

InterSystems IRIS vettvangurinn einfaldar þróun, dreifingu og rekstur rauntíma gagnalausna. InterSystems IRIS er fær um að framkvæma samtímis viðskipta- og greiningargagnavinnslu; styðja samstillt gagnaskoðanir samkvæmt mörgum gerðum (þar á meðal tengsl, stigveldi, hlut og skjal); starfa sem vettvangur til að samþætta fjölbreytt úrval gagnagjafa og einstakra forrita; veita háþróaða rauntíma greiningu á skipulögðum og óskipulögðum gögnum. InterSystems IRIS veitir einnig kerfi til að nota ytri greiningartæki og gerir sveigjanlega samsetningu hýsingar í skýinu og á staðbundnum netþjónum kleift.

Forrit sem eru byggð á InterSystems IRIS vettvangnum eru notuð í ýmsum atvinnugreinum, hjálpa fyrirtækjum að átta sig á umtalsverðum efnahagslegum ávinningi frá stefnumótandi og rekstrarlegu sjónarhorni, auka upplýsta ákvarðanatöku og brúa bilið milli atburðar, greiningar og aðgerða.

Mynd 10 InterSystems IRIS arkitektúr í samhengi við rauntíma AI/ML

Eins og fyrri skýringarmyndin sameinar skýringarmyndin hér að neðan nýja „hnitakerfið“ (CD/CI/CT) með skýringarmynd af upplýsingaflæði milli vinnuþátta pallsins. Sjónmyndin byrjar með stórvirkjum CD og heldur áfram með stórvirkjum CI og CT.

Mynd 11 Skýringarmynd upplýsingaflæðis milli gervigreindar/ML þátta InterSystems IRIS vettvangsins

Kjarni geisladiskakerfisins í InterSystems IRIS: vettvangsnotendur (hönnuðir AI/ML lausna) aðlaga núverandi og/eða búa til nýja AI/ML þróun með því að nota sérhæfðan kóðaritara fyrir AI/ML kerfi: Jupyter (fullt nafn: Jupyter Notebook; til að vera stutt, skjöl sem búin eru til í þessum ritli eru stundum kölluð). Í Jupyter hefur verktaki tækifæri til að skrifa, kemba og sannreyna frammistöðu (þar á meðal með því að nota grafík) tiltekinnar gervigreindar/ML þróunar áður en hún er sett („dreift“) í InterSystems IRIS. Það er ljóst að ný þróun sem er búin til á þennan hátt fær aðeins grunnkembiforrit (þar sem Jupyter vinnur sérstaklega ekki með rauntíma gagnastraumum) - þetta er í röð hlutanna, því meginniðurstaða þróunar í Jupyter er staðfesting á grundvallarvirkni sérstakrar gervigreindar/ML vélbúnaðar („sýnir væntanlega niðurstöðu á gagnasýni“). Að sama skapi gæti vélbúnaður sem þegar hefur verið settur á pallinn (sjá eftirfarandi stórvirki) fyrir villuleit í Jupyter krafist „afturköllunar“ á „forvettvang“ form (lestur gagna úr skrám, unnið með gögn í gegnum xDBC í stað töflur, bein samskipti við hnattræna aðila - fjölvíddar gagnafylki InterSystems IRIS – osfrv.).

Mikilvægur þáttur í innleiðingu geisladiska í InterSystems IRIS: tvíátta samþætting hefur verið innleidd á milli vettvangsins og Jupyter, sem gerir kleift að flytja efni í Python, R og Julia yfir á vettvanginn (og í kjölfarið vinna úr vettvangnum) (allir þrír eru forritun tungumál á samsvarandi leiðandi opnum uppspretta tungumálum). Stærðfræðilegt líkanaumhverfi upprunalega). Þannig hafa gervigreind/ML efnisframleiðendur tækifæri til að framkvæma „samfellda dreifingu“ á þessu efni á pallinum, vinna í kunnuglega Jupyter ritlinum sínum, með kunnuglegum bókasöfnum sem eru fáanleg í Python, R, Julia, og framkvæma grunn villuleit (ef nauðsyn krefur) fyrir utan pallinn.

Við skulum halda áfram að CI macro vélbúnaðinum í InterSystems IRIS. Skýringarmyndin sýnir þjóðhagsferli „rauntíma vélfæragerðarmannsins“ (samstæðu gagnaskipulags, viðskiptaferla og kóðabúta sem þeir skipuleggja á stærðfræðilegum tungumálum og ObjectScript - móðurmáli þróunartungumáls InterSystems IRIS). Verkefni þessa þjóðhagsferlis er að viðhalda gagnaröðunum sem nauðsynlegar eru fyrir rekstur gervigreindar/ML kerfis (byggt á gagnastraumum sem sendir eru til vettvangsins í rauntíma), taka ákvarðanir um notkunarröðina og „úrvalið“ gervigreindar/ ML kerfi (þeir eru líka „stærðfræðilegir reiknirit“, „líkön“ o.s.frv. - hægt að kalla á mismunandi eiginleika eftir sérstöðu innleiðingar og hugtakavals), halda gagnaskipulagi uppfærðum til að greina niðurstöður vinnu gervigreindar/ ML kerfi (kubbar, töflur, fjölvíddar gagnafylki osfrv.) osfrv. – fyrir skýrslur, mælaborð osfrv.).

Mikilvægur þáttur í CI innleiðingu í InterSystems IRIS: tvíátta samþætting hefur verið innleidd á milli vettvangsins og stærðfræðilegrar líkanaumhverfis, sem gerir þér kleift að framkvæma efni sem hýst er á vettvangnum í Python, R og Julia í viðkomandi umhverfi og fá til baka framkvæmdarniðurstöðurnar. Þessi samþætting er útfærð bæði í „útstöðvaham“ (þ.e. AI/ML efni er samsett sem ObjectScript kóða sem hringir í umhverfið) og í „Business Process Mode“ (þ.e. AI/ML efni er sett fram sem viðskiptaferli með því að nota grafískan ritstjóra, eða stundum með Jupyter, eða með því að nota IDE - IRIS Studio, Eclipse, Visual Studio Code). Aðgengi viðskiptaferla til klippingar í Jupyter endurspeglast með tengingu milli IRIS á CI stigi og Jupyter á CD stigi. Nánara yfirlit yfir samþættingu við stærðfræðilegt líkanaumhverfi er að finna hér að neðan. Á þessu stigi, að okkar mati, er full ástæða til að tryggja að vettvangurinn hafi öll nauðsynleg verkfæri til að innleiða „stöðug samþættingu“ AI/ML þróunar (sem kemur frá „samfelldri dreifingu“) í rauntíma AI/ML lausnir.

Og aðal þjóðhagskerfið: CT. Án þess verður enginn AI/ML vettvangur (þó „rauntími“ verði útfærður í gegnum CD/CI). Kjarninn í CT er vinna vettvangsins með „gripi“ vélanáms og gervigreindar beint í vinnulotum í stærðfræðilegu líkanaumhverfi: líkön, dreifingartöflur, fylkisvigrar, lög af tauganetum osfrv. Þetta „verk“, í flestum tilfellum, samanstendur af því að búa til nefnda gripi í umhverfi (í tilfelli módel, til dæmis, „sköpun“ samanstendur af því að stilla forskrift líkansins og síðari vali á gildum breytu þess - svokölluð „þjálfun“ líkansins), beiting þeirra (fyrir líkön: útreikningur með hjálp þeirra „líkan“ gildum markbreyta - spár, flokksaðild, líkur á atburði osfrv.) og endurbætur á þegar búnir til og notaðir gripir (til dæmis endurskilgreina safn af inntaksbreytum líkana byggt á niðurstöðum beitingar - til að bæta nákvæmni spár, sem valkostur). Lykilatriðið í skilningi á hlutverki CT er „frádráttur“ þess frá raunveruleika CD og CI: CT mun útfæra alla gripi, með áherslu á útreikninga og stærðfræðilega sérstöðu AI/ML lausnarinnar innan þeirra getu sem tiltekið umhverfi býður upp á. Ábyrgðin á því að „veita inntak“ og „afhenda úttak“ verður á ábyrgð CD og CI.

Mikilvægur þáttur í innleiðingu CT sérstaklega í InterSystems IRIS: með því að nota samþættingu við stærðfræðilegt líkanaumhverfi sem þegar hefur verið nefnt hér að ofan, hefur pallurinn getu til að draga þessa gripi úr vinnulotum sem keyra undir stjórn hans í stærðfræðilegu umhverfi og (sem mikilvægast er) snúa þeim í gagnahluti á vettvang. Til dæmis er hægt að flytja dreifingartöflu sem nýbúið er að búa til í virka Python lotu (án þess að stöðva Python lotuna) yfir á pallinn í formi til dæmis alþjóðlegrar (fjölvíddar InterSystems IRIS gagnafylki) - og nota fyrir útreikninga í öðru AI/ML-kerfi (útfært á tungumáli annars umhverfis - til dæmis í R) - eða sýndartöflu. Annað dæmi: samhliða „venjulegri stillingu“ líkansins (í Python vinnulotunni), er „sjálfvirkt ML“ framkvæmt á inntaksgögnum þess: sjálfvirkt val á bestu inntaksbreytum og breytugildum. Og ásamt „venjulegri“ þjálfun fær afkastamikill líkan í rauntíma einnig „tillögu um hagræðingu“ á forskrift sinni - þar sem mengið af inntaksbreytum breytist, breytugildin breytast (ekki lengur vegna þjálfunar) í Python, en sem afleiðing af þjálfun með „val““ útgáfu af sjálfu sér, eins og H2O stafla), sem gerir heildar AI/ML lausninni kleift að takast á við óvæntar breytingar á eðli inntaksgagna og fyrirbæra sem verið er að móta. .

Við skulum kynnast nánar AI/ML virkni pallsins í InterSystems IRIS, með því að nota dæmi um raunverulega frumgerð.

Á skýringarmyndinni hér að neðan, vinstra megin á glærunni, er hluti af viðskiptaferlinu sem útfærir framkvæmd skrifta í Python og R. Í miðhlutanum eru sjónrænar logs yfir framkvæmd sumra þessara skrifta, í sömu röð, í Python og R. Strax á eftir þeim eru dæmi um efni á einu og öðru tungumáli, flutt til framkvæmdar í viðeigandi umhverfi. Í lokin til hægri eru sjónmyndir byggðar á niðurstöðum handritsframkvæmdar. Sjónmyndirnar efst voru gerðar á IRIS Analytics (gögn voru tekin úr Python inn á InterSystems IRIS gagnapallinn og birt á mælaborði með því að nota pallinn), neðst voru gerðar beint í R vinnulotunni og afhent þaðan í grafískar skrár . Mikilvægur þáttur: framsett brot í frumgerðinni er ábyrgt fyrir því að þjálfa líkanið (flokkun búnaðarástanda) á gögnum sem berast í rauntíma frá búnaðarhermiferlinu, eftir skipun frá flokkunargæðaeftirlitsferlinu sem sést við beitingu líkansins. Fjallað verður frekar um innleiðingu gervigreindar/ML lausnar í formi safns víxlverkandi ferla ("umboðsmanna").

Mynd 12 Samskipti við Python, R og Julia í InterSystems IRIS

Pallferlar (þeir eru líka „viðskiptaferli“, „greiningarferli“, „pípulínur“ o.s.frv. - allt eftir samhengi), fyrst og fremst er þeim breytt í myndræna viðskiptaferlisritlinum á vettvangnum sjálfum og í slíkum þannig að bæði blokkarmynd þess og samsvarandi AI/ML vélbúnaður (forritakóði) eru búnar til samtímis. Þegar við segjum að „gervigreind/ML vélbúnaður sé fenginn,“ er upphaflega átt við blendingur (innan eins ferlis): efni á tungumálum stærðfræðilegrar líkanaumhverfis er við hliðina á efni í SQL (þar á meðal viðbætur frá Innbyggt ML), í InterSystems ObjectScript, með öðrum studdum tungumálum. Þar að auki veitir vettvangsferlið mjög víðtæk tækifæri til að „gera“ í formi stigveldis hreiðra brota (eins og sjá má í dæminu á skýringarmyndinni hér að neðan), sem gerir þér kleift að skipuleggja jafnvel mjög flókið efni á áhrifaríkan hátt án þess að „falla út“ af myndrænu sniði (í „ógrafísk“ snið). » aðferðir/flokkar/aðferðir o.s.frv.). Það er, ef nauðsyn krefur (og það er gert ráð fyrir í flestum verkefnum), er hægt að útfæra alla gervigreind/ML lausnina á myndrænu sjálfsskjalasniði. Vinsamlegast athugið að í miðhluta skýringarmyndarinnar hér að neðan, sem táknar hærra „hreiðurstig“, er ljóst að auk hinnar raunverulegu vinnu við að þjálfa líkanið (með Python og R), er greining á sk. ROC ferill þjálfaðs líkans er bætt við, sem gerir sjónrænt (og reiknifræðilega líka) kleift að meta gæði þjálfunar - og þessi greining er útfærð á Julia tungumálinu (framkvæmt, í samræmi við það, í Julia stærðfræðiumhverfi).

Mynd 13 Sjónrænt umhverfi fyrir samsetningu AI/ML lausna í InterSystems IRIS

Eins og áður hefur komið fram, mun/er hægt að framkvæma fyrstu þróun og (í sumum tilfellum) aðlögun gervigreindar/ML aðferða sem þegar eru innleiddar á pallinum utan pallsins í Jupyter ritlinum. Í skýringarmyndinni hér að neðan sjáum við dæmi um aðlögun núverandi vettvangsferlis (sama og á skýringarmyndinni hér að ofan) - svona lítur brotið út sem ber ábyrgð á þjálfun líkansins í Jupyter. Python efni er fáanlegt fyrir klippingu, kembiforrit og grafíkúttak beint í Jupyter. Breytingar (ef nauðsyn krefur) er hægt að gera með tafarlausri samstillingu inn á vettvangsferlið, þar með talið afkastamikil útgáfu þess. Hægt er að flytja nýtt efni yfir á vettvang á svipaðan hátt (nýtt vettvangsferli er sjálfkrafa búið til).

Mynd 14 Notkun Jupyter Notebook til að breyta gervigreindarvélinni í InterSystems IRIS pallinum

Aðlögun vettvangsferlis er ekki aðeins hægt að framkvæma á myndrænu eða fartölvusniði - heldur einnig á „heildar“ IDE (Integrated Development Environment) sniði. Þessar IDE eru IRIS Studio (innfæddur IRIS stúdíó), Visual Studio Code (InterSystems IRIS viðbót fyrir VSCode) og Eclipse (Atelier viðbót). Í sumum tilfellum er mögulegt fyrir þróunarteymi að nota allar þrjár IDE samtímis. Skýringarmyndin hér að neðan sýnir dæmi um að breyta sama ferli í IRIS studio, í Visual Studio Code og í Eclipse. Algerlega allt efni er tiltækt til klippingar: Python/R/Julia/SQL, ObjectScript og viðskiptaferli.

Mynd 15 Þróun á InterSystems IRIS viðskiptaferli í ýmsum IDE

Verkfærin til að lýsa og framkvæma InterSystems IRIS viðskiptaferla á Business Process Language (BPL) verðskulda sérstakt umtal. BPL gerir það mögulegt að nota „tilbúna samþættingarhluta“ (virkni) í viðskiptaferlum - sem gefur í raun fulla ástæðu til að segja að „samfelld samþætting“ sé innleidd í InterSystems IRIS. Tilbúnir viðskiptaferlishlutar (virkni og tengingar þar á milli) eru öflugur hraðall til að setja saman gervigreind/ML lausn. Og ekki aðeins samkomur: þökk sé starfseminni og tengingunum á milli þeirra yfir ólíka AI/ML þróun og kerfi, myndast „sjálfstætt stjórnunarlag“, sem getur tekið ákvarðanir í samræmi við aðstæður, í rauntíma.

Mynd 16 Tilbúnir viðskiptaferlisíhlutir fyrir stöðuga samþættingu (CI) á InterSystems IRIS vettvang

Hugmyndin um umboðsmannakerfi (einnig þekkt sem „fjölumboðskerfi“) hefur sterka stöðu í vélfæravæðingu og InterSystems IRIS vettvangurinn styður það lífrænt í gegnum „vöruferli“ smíðina. Til viðbótar við ótakmarkaða möguleika á að „fylla“ hvert ferli með þeirri virkni sem nauðsynleg er fyrir heildarlausnina, gerir kerfi vettvangsferla eignina „umboðsskrifstofu“ þér kleift að búa til árangursríkar lausnir fyrir afar óstöðug herm fyrirbæri (hegðun félagslegra/ lífkerfi, að hluta til sjáanleg tæknileg ferli o.s.frv.).

Mynd 16 Rekstur gervigreindar/ML lausnar sem umboðsmannabundið viðskiptaferliskerfi í InterSystems IRIS

Við höldum áfram endurskoðun okkar á InterSystems IRIS með sögu um beitt notkun vettvangsins til að leysa heila flokka rauntímavandamála (nokkuð nákvæma kynningu á sumum af bestu starfsvenjum AI/ML vettvangs á InterSystems IRIS er að finna í einum okkar fyrri vefnámskeið).

Heitt á hæla fyrri skýringarmyndarinnar, hér að neðan er ítarlegri skýringarmynd af umboðsmannakerfinu. Skýringarmyndin sýnir sömu frumgerðina, öll fjögur umboðsferlarnir eru sýnilegir, tengslin á milli þeirra eru teiknuð á skýringarmynd: RAÐALARI - vinnur úr gagnasöfnun með skynjara búnaðar, BUFFER - stjórnar gagnaröðum, GREININGAR - framkvæmir vélanám sjálft, MONITOR - fylgist með gæði vélanáms og gefur merki um nauðsyn þess að endurþjálfa líkanið.

Mynd 17 Samsetning gervigreindar/ML lausnar í formi umboðsmiðaðs viðskiptaferliskerfis í InterSystems IRIS

Skýringarmyndin hér að neðan sýnir sjálfvirka virkni annarrar vélfærafræði frumgerð (viðurkenning á tilfinningalegri litun texta) í nokkurn tíma. Í efri hlutanum er þróun gæðavísis líkanaþjálfunar (gæðin aukast), í neðri hlutanum er gangverki gæðavísis líkanabeitingar og staðreyndir endurtekinnar þjálfunar (rauðar rendur). Eins og þú sérð hefur lausnin lært sjálfa sig á skilvirkan og sjálfvirkan hátt og starfar á tilteknu gæðastigi (gildi gæðastigs fara ekki niður fyrir 80%).

Mynd 18 Stöðug (sjálfs)þjálfun (CT) á InterSystems IRIS pallinum

Við nefndum líka „sjálfvirkt ML“ áðan, en skýringarmyndin hér að neðan sýnir notkun þessarar virkni í smáatriðum með því að nota dæmi um aðra frumgerð. Myndræna skýringarmyndin af broti af viðskiptaferli sýnir virknina sem kallar fram líkanagerðina í H2O staflanum, sýnir niðurstöður þessarar líkanagerðar (skýr yfirburðir líkansins sem myndast yfir „manngerðum“ líkönum, samkvæmt samanburðarmynd af ROC ferlar, svo og sjálfvirk auðkenning á „áhrifamestu breytunum“ sem til eru í upprunalegu gagnasetti). Mikilvægur punktur hér er sparnaður tíma og sérfræðiauðlinda sem næst með „sjálfvirkri ML“: það sem vettvangsferlið okkar gerir á hálfri mínútu (að finna og þjálfa ákjósanlega líkanið) getur tekið sérfræðing frá viku upp í mánuð.

Mynd 19 Samþætting „auto-ML“ í gervigreind/ML lausn á InterSystems IRIS pallinum

Skýringarmyndin hér að neðan missir aðeins tilganginn, en hún er góð leið til að enda söguna um flokka rauntímavandamála sem verið er að leysa: við minnum á að með öllum möguleikum InterSystems IRIS vettvangsins eru þjálfunarlíkön undir stjórn hans. ekki skylda. Pallurinn getur tekið á móti svokölluðu PMML forskrift líkansins að utan, þjálfað í tæki sem er ekki undir stjórn pallsins - og beitt þessu líkani í rauntíma frá því augnabliki sem það er flutt inn PMML forskriftir. Það er mikilvægt að taka með í reikninginn að ekki er hægt að minnka alla gervigreind/ML gripi í PMML forskrift, jafnvel þó að flestir algengustu gripirnir leyfi það. Þannig er InterSystems IRIS vettvangurinn „opinn lykkja“ og þýðir ekki „vettvangsþrælkun“ fyrir notendur.

Mynd 20 Samþætting „auto-ML“ í gervigreind/ML lausn á InterSystems IRIS pallinum

Við skulum telja upp viðbótarkosti InterSystems IRIS (til glöggvunar, í tengslum við ferlistýringu), sem skipta miklu máli við sjálfvirkni gervigreindar og rauntíma vélanám:

• Þróað samþættingartæki við hvaða gagnagjafa og neytendur sem er (ferlaeftirlitskerfi/SCADA, búnaður, MRO, ERP, osfrv.)
• Innbyggð multi-módel DBMS fyrir afkastamikla viðskipta- og greiningarvinnslu (Hybrid Transaction/Analytical Processing, HTAP) hvers konar magns af tæknilegum vinnslugögnum
• Þróunartæki fyrir stöðuga dreifingu gervigreindar/ML véla fyrir rauntímalausnir byggðar á Python, R, Julia
• Aðlagandi viðskiptaferli fyrir stöðuga samþættingu og (sjálfs)nám á rauntíma AI/ML lausnavélum
• Innbyggt viðskiptagreindarverkfæri til að sjá ferlisgögn og niðurstöður gervigreindar/ML lausnar
• API stjórnun til að koma niðurstöðum gervigreindar/ML lausnarinnar til skila á ferlistýringarkerfi/SCADA, upplýsinga- og greiningarkerfi, senda áminningar o.fl.

AI/ML lausnir á InterSystems IRIS pallinum passa auðveldlega inn í núverandi upplýsingatækniinnviði. InterSystems IRIS vettvangurinn tryggir mikla áreiðanleika AI/ML lausna með því að styðja við bilanaþolnar og hamfaraþolnar stillingar og sveigjanlega uppsetningu í sýndarumhverfi, á líkamlegum netþjónum, í einkaskýjum og opinberum skýjum og Docker gámum.

Þannig er InterSystems IRIS alhliða rauntíma gervigreind/ML tölvuvettvangur. Algildi vettvangsins okkar er staðfest í reynd af því að í raun eru ekki takmarkanir á margbreytileika útfærðra útreikninga, getu InterSystems IRIS til að sameina (í rauntíma) vinnslu sviðsmynda úr fjölmörgum atvinnugreinum og einstakri aðlögunarhæfni hvaða vettvangsaðgerðir og kerfi sem er í samræmi við sérstakar þarfir notenda.

Mynd 21 InterSystems IRIS - alhliða rauntíma gervigreind/ML tölvuvettvangur

Fyrir efnislegri samskipti við þá lesendur okkar sem hafa áhuga á efninu sem hér er kynnt, mælum við með því að takmarka þig ekki við að lesa það og halda áfram umræðunni „í beinni“. Við munum vera fús til að veita stuðning við mótun rauntíma gervigreindar/ML atburðarás í tengslum við sérstöðu fyrirtækis þíns, framkvæma sameiginlega frumgerð á InterSystems IRIS pallinum, móta og innleiða í reynd vegvísi til að kynna gervigreind og vélanám inn í framleiðslu- og stjórnunarferla þína. AI/ML sérfræðiteymi okkar tengiliðapóstur – [netvarið].

Heimild: www.habr.com