Az InterSystems IRIS egy univerzális valós idejű AI/ML platform

Szerző: Szergej Lukjancsikov, az InterSystems tanácsadó mérnöke

Valós idejű AI/ML számítástechnikai hívások

Kezdjük az InterSystems adattudományi gyakorlatának tapasztalataiból származó példákkal:

• A betöltött vásárlói portál egy online ajánlórendszerhez kapcsolódik. A kiskereskedelmi hálózatban átstrukturálják a promóciókat (például a promóciók „lapos” sora helyett mostantól „szegmens-taktika” mátrix kerül alkalmazásra). Mi történik az ajánlómotorokkal? Mi történik az adatok ajánlómotorba való beküldésével és frissítésével (a bemeneti adatok mennyisége 25000 XNUMX-szeresére nőtt)? Mi történik az ajánlások kidolgozásával (az ajánlási szabályok szűrési küszöbének ezerszeresére csökkentése a számuk és a „tartományuk ezerszeres növekedése miatt”)?
• Létezik egy rendszer a berendezés alkatrészeinek meghibásodásának valószínűségére. A felügyeleti rendszerhez automatizált folyamatirányító rendszer csatlakozott, amely másodpercenként több ezer technológiai folyamatparamétert továbbított. Mi történik azzal a megfigyelő rendszerrel, amely korábban „kézi mintákon” dolgozott (képes-e másodpercről másodpercre való valószínűségi monitorozást biztosítani)? Mi történik, ha a bemeneti adatokban egy új, több száz oszlopból álló blokk jelenik meg a folyamatvezérlő rendszerhez nemrég hozzáadott érzékelők leolvasásával (szükséges-e és meddig kell leállítani a felügyeleti rendszert, hogy új érzékelők adatai is szerepeljenek az elemzésben )?
• Létrejött egy olyan AI/ML mechanizmus (ajánlás, figyelés, előrejelzés) készlete, amely felhasználja egymás munkájának eredményeit. Hány munkaórára van szükség havonta ahhoz, hogy a komplexum működését a bemeneti adatok változásaihoz igazítsák? Mi az általános „lassulás”, ha azt a vezetői döntéshozatali komplexum támogatja (az új támogató információk előfordulásának gyakorisága benne az új input adatok előfordulási gyakoriságához viszonyítva)?

Ezeket és sok más példát összefoglalva eljutottunk a gépi tanulás és a mesterséges intelligencia mechanizmusainak valós idejű használatára való átállás során felmerülő kihívások megfogalmazásához:

• Elégedettek vagyunk-e cégünknél az AI/ML fejlesztések létrehozásának és (a változó helyzethez való) adaptációjának sebességével?
• Mennyire támogatják az általunk használt AI/ML megoldások a valós idejű üzletvezetést?
• Az általunk használt AI/ML megoldások képesek-e önállóan (fejlesztők nélkül) alkalmazkodni az adat- és üzletvezetési gyakorlatok változásaihoz?

Cikkünk alapos áttekintést ad az InterSystems IRIS platform képességeiről az AI/ML mechanizmusok kiépítésének univerzális támogatása, az AI/ML megoldások összeállítása (integrációja), valamint az AI/ML megoldások intenzív oktatása (tesztelése) terén. adatfolyamok. Ebben a cikkben megvizsgáljuk a piackutatást, az AI/ML-megoldások esettanulmányait, valamint a valós idejű AI/ML platform fogalmi vonatkozásait.

Amit felmérésekből tudunk: valós idejű alkalmazások

Álláspontja felmérés800-ben a Lightbend közel 2019 IT-szakember körében végzett, önmagukért beszélnek:

1. ábra A valós idejű adatok vezető fogyasztói

Idézzünk a felmérés eredményeiről készült jelentés fontos töredékeit fordításunkban:

„... Az adatfolyamok integrálására szolgáló eszközök népszerűségének trendjei, és ezzel egyidejűleg a konténerekben történő számítástechnika támogatása szinergikus választ adnak a piac azon kérésére, hogy érzékenyebb, racionálisabb, dinamikusabb megoldásokat javasoljanak. Az adatfolyam gyorsabban továbbítja az információkat, mint a hagyományos csomagkapcsolt adatátvitel. Ehhez járul a számítási módszerek, például az AI/ML alapú ajánlások gyors alkalmazásának képessége, ami versenyelőnyt teremt a megnövekedett ügyfél-elégedettség révén. Az agilitásért folyó verseny a DevOps paradigmában betöltött valamennyi szerepre kihat – hatékonyabbá téve az alkalmazásfejlesztést és a telepítést. … Nyolcszáznégy informatikus adott tájékoztatást az adatáramlások felhasználásáról szervezetében. A válaszadók túlnyomórészt nyugati országokban helyezkedtek el (41% Európában és 37% Észak-Amerikában), és szinte egyenletesen oszlottak meg a kis-, közép- és nagyvállalatok között. ...

... A mesterséges intelligencia nem hype. A termelékenységi AI/ML alkalmazásokban már adatfolyam-feldolgozást használók XNUMX százaléka megerősíti, hogy az AI/ML használatában lesz a legnagyobb növekedés a következő évben (más alkalmazásokhoz képest).

• A válaszadók többsége szerint a következő évben az adatfolyamok AI/ML forgatókönyvekben való használata fog a legnagyobb növekedést elérni.
• Az AI/ML alkalmazások nem csak a viszonylag új típusú forgatókönyvek miatt fognak növekedni, hanem a hagyományos forgatókönyvek miatt is, amelyekben egyre gyakrabban használnak valós idejű adatokat.
• Az AI/ML mellett az IoT adatfolyamokat használók lelkesedési szintje is lenyűgöző – az IoT-adatokat már integrálók 48%-a szerint a forgatókönyvek megvalósítása ezen adatokon a közeljövőben jelentős növekedést fog tapasztalni. ..."

Ebből a meglehetősen érdekes felmérésből világosan látszik, hogy a gépi tanulás és a mesterséges intelligencia forgatókönyveinek az adatfolyamok fogyasztásában vezető szerepet betöltő forgatókönyvek felfogása már „úton van”. De ugyanilyen fontos megfigyelés a valós idejű AI/ML észlelése a DevOps lencséjén keresztül: itt már elkezdhetünk beszélni a még mindig domináns „eldobható AI/ML teljes mértékben hozzáférhető adatkészlettel” kultúrájának átalakulásáról.

Valós idejű AI/ML platform koncepció

A valós idejű AI/ML egyik tipikus alkalmazási területe a gyártási folyamatirányítás. Az ő példáját követve és az eddigi gondolatokat figyelembe véve megfogalmazzuk a valós idejű AI/ML platform koncepcióját.
A mesterséges intelligencia és a gépi tanulás folyamatirányításban való felhasználása számos tulajdonsággal rendelkezik:

• A technológiai folyamat állapotára vonatkozó adatokat intenzíven fogadják: nagy frekvenciával és a paraméterek széles skálájára vonatkozóan (akár több tízezer paraméterértéket továbbít másodpercenként a folyamatvezérlő rendszerből)
• A hibák azonosítására vonatkozó adatok, nem is beszélve a fejlődésükről, éppen ellenkezőleg, szűkösek és szabálytalanok, amelyeket a hibák elégtelen tipizálása és időbeni lokalizációja jellemez (gyakran papíralapú feljegyzések).
• Gyakorlati szempontból a forrásadatoknak csak egy „relevanciaablakja” áll rendelkezésre a betanításhoz és modellek alkalmazásához, amely tükrözi a technológiai folyamat dinamikáját egy ésszerű csúszó intervallumon keresztül, amely a folyamatparaméterek utolsó olvasott értékeivel végződik.

Ezek a tulajdonságok arra kényszerítenek bennünket, hogy a technológiai folyamatból származó intenzív „szélessávú bemeneti jel” valós idejű vétele és alapvető feldolgozása mellett (párhuzamosan) végezzük az AI eredményeinek alkalmazását, betanítását és minőségellenőrzését. ML modellek – valós időben is. Folyamatosan változik az a „keret”, amelyet modelljeink a relevancia csúszó ablakában „látnak” – és ezzel együtt a múltban az egyik „kereten” betanított AI/ML modellek munkájának minősége is változik. . Ha az AI/ML modellek munkájának minősége romlik (például: a „riasztás-norma” besorolási hiba értéke túllépte az általunk meghatározott határokat), akkor automatikusan el kell indítani a modellek kiegészítő képzését egy aktuálisabb „keret” - és a modellek kiegészítő képzésének indításának időpontjának megválasztásánál figyelembe kell venni, hogy maga a képzés időtartama, valamint a modellek jelenlegi verziójának munkaminőség-romlás dinamikája (mivel a modellek jelenlegi verziói továbbra is használatban vannak a modellek betanítása alatt, illetve addig, amíg az „újonnan betanított” változatuk meg nem alakul).

Az InterSystems IRIS kulcsfontosságú platformképességekkel rendelkezik, amelyek lehetővé teszik az AI/ML megoldásokat a valós idejű folyamatvezérléshez. Ezek a képességek három fő csoportra oszthatók:

• Új vagy adaptált meglévő AI/ML mechanizmusok folyamatos telepítése (folyamatos telepítés/szállítás, CD) egy produktív, valós időben működő megoldássá az InterSystems IRIS platformon
• Folyamatos integráció (CI) egyetlen produktív megoldásba bejövő technológiai folyamatadatfolyamokba, adatsorokba az AI/ML-mechanizmusok alkalmazásához/képzéséhez/minőség-ellenőrzéséhez, valamint adat-/kód-/vezérlő műveletek cseréjéhez matematikai modellező környezetekkel, valós időben hangszerelve. platform InterSystems IRIS
• AI/ML mechanizmusok folyamatos (ön-)képzése (Continuous Training, CT), matematikai modellezési környezetben végrehajtva az InterSystems IRIS platform által továbbított adatok, kód és vezérlőműveletek ("hozott döntések") felhasználásával

A gépi tanulással és a mesterséges intelligenciával kapcsolatos platformképességek besorolása pontosan ezekbe a csoportokba nem véletlen. Idézzük a módszertani kiadvány A Google, amely ennek az osztályozásnak a fogalmi alapját adja, fordításunkban:

„... A napjainkban népszerű DevOps koncepció nagyszabású információs rendszerek fejlesztését és üzemeltetését takarja. A koncepció megvalósításának előnyei a fejlesztési ciklusok időtartamának csökkenése, a fejlesztések gyorsabb telepítése és a kiadástervezés rugalmassága. Ezen előnyök elérése érdekében a DevOps legalább két gyakorlat végrehajtását foglalja magában:

• Folyamatos integráció (CI)
• Folyamatos kézbesítés (CD)

Ezek a gyakorlatok az AI/ML platformokra is érvényesek, hogy biztosítsák a hatékony AI/ML megoldások megbízható és hatékony összeállítását.

Az AI/ML platformok a következő szempontokban különböznek a többi információs rendszertől:

• Csapatkompetenciák: Az AI/ML megoldás megalkotásakor a csapatban általában adattudósok vagy az adatkutatás területén „akadémiai” szakértők vesznek részt, akik adatelemzést végeznek, modelleket fejlesztenek és tesztelnek. Előfordulhat, hogy ezek a csapattagok nem professzionális, hatékony kódfejlesztők.
• Fejlesztés: Az AI/ML motorok kísérleti jellegűek. Egy probléma leghatékonyabb megoldása érdekében a bemeneti változók, algoritmusok, modellezési módszerek és modellparaméterek különféle kombinációit kell végigvinni. Az ilyen keresés összetettsége abban rejlik, hogy nyomon követi, „mi működött/nem működött”, biztosítja az epizódok reprodukálhatóságát, és általánosítja a fejlesztéseket az ismételt megvalósításokhoz.
• Tesztelés: Az AI/ML motorok tesztelése szélesebb körű teszteket igényel, mint a legtöbb egyéb fejlesztés. A szabványos egység- és integrációs tesztek mellett az adatok érvényességét, valamint a modell betanítási és kontrollmintákra történő alkalmazásának eredményeinek minőségét is tesztelik.
• Üzembe helyezés: Az AI/ML megoldások bevezetése nem korlátozódik az egyszer betanított modellt használó prediktív szolgáltatásokra. Az AI/ML megoldások többlépcsős folyamatok köré épülnek, amelyek automatizált modellképzést és alkalmazást hajtanak végre. Az ilyen folyamatok telepítése magában foglalja a nem triviális műveletek automatizálását, amelyeket az adatkutatók hagyományosan manuálisan hajtanak végre a modellek betanítása és tesztelése érdekében.
• Termelékenység: Az AI/ML motorok nem csak a nem hatékony programozás, hanem a bemeneti adatok folyamatosan változó jellege miatt is hiányozhatnak a termelékenységből. Más szóval, az AI/ML mechanizmusok teljesítménye több ok miatt romolhat, mint a hagyományos fejlesztések teljesítménye. Ez azt jelenti, hogy szükség van AI/ML motorjaink teljesítményének (online) monitorozására, valamint riasztások küldésére vagy eredmények elutasítására, ha a teljesítménymutatók nem felelnek meg az elvárásoknak.

Az AI/ML platformok hasonlóak a többi információs rendszerhez, mivel mindkettő folyamatos kódintegrációt igényel a verziókezeléssel, az egységteszttel, az integrációs teszteléssel és a folyamatos fejlesztési telepítéssel. Az AI/ML esetében azonban számos fontos különbség van:

• A CI (Continuous Integration) már nem korlátozódik a telepített komponensek kódjának tesztelésére és érvényesítésére – magában foglalja az adatok és az AI/ML modellek tesztelését és érvényesítését is.
• A CD (Continuous Delivery/Deployment, folyamatos telepítés) nem korlátozódik a csomagok vagy szolgáltatások írására és kiadására, hanem egy platformot jelent az AI/ML megoldások összeállításához, képzéséhez és alkalmazásához.
• Új elem a CT (Continuous Training, folyamatos képzés) [kb. a cikk szerzője: egy új elem a DevOps hagyományos koncepciójához, amelyben a CT főszabály szerint a Continuous Testing], amely az AI/ML platformok velejárója, és felelős az AI képzési és alkalmazási mechanizmusainak autonóm kezeléséért /ML modellek. ..."

Kijelenthetjük, hogy a gépi tanulás és a valós idejű adatokon dolgozó mesterséges intelligencia szélesebb eszköz- és kompetenciakészletet igényel (a kódfejlesztéstől a matematikai modellezési környezetek hangszereléséig), minden funkcionális és tantárgyi terület szorosabb integrációját, az emberi, ill. gépi erőforrások.

Valós idejű forgatókönyv: a tápszivattyúk hibáinak kialakulásának felismerése

Folytatva a folyamatvezérlési terület példakénti használatát, vegyünk egy konkrét problémát (a legelején már említettük): biztosítanunk kell a szivattyúk hibáinak kialakulásának valós idejű nyomon követését a folyamatparaméterek értékeinek áramlása alapján. és a javító személyzet jelentései az azonosított hibákról.

2. ábra Probléma megfogalmazása a hibák kialakulásának nyomon követésére

A gyakorlatban a legtöbb így feltett feladat sajátossága, hogy az adatfogadás (APCS) rendszerességét és hatékonyságát a különféle típusú hibák epizodikus és szabálytalan előfordulása (és nyilvántartása) hátterében kell mérlegelni. Más szóval: a folyamatirányító rendszerből másodpercenként érkeznek meg az adatok, helyesek és pontosak, a hibákról vegyi ceruzával, a műhelyben található általános jegyzetfüzetben dátumot jelölve jegyzik fel (pl.: „12.01 – szivárog a borítóba a 3. csapágy oldaláról”).

Így a probléma megfogalmazását a következő fontos megkötéssel egészíthetjük ki: egy adott típusú hibának csak egy „címkéje” van (azaz egy adott típusú hibára egy példát a folyamatvezérlésből származó adatok ábrázolnak) rendszer egy adott időpontban – és nincs több példánk ilyen típusú hibára). Ez a korlátozás azonnal túlmutat a klasszikus gépi tanulás (supervised learning) keretein, amelyhez sok „tag” kellene.

3. ábra A hibák kialakulásának nyomon követésének feladatának tisztázása

Meg tudjuk-e valahogy „sokszorozni” a rendelkezésünkre álló egyetlen „címkét”? Igen. A szivattyú jelenlegi állapotát a regisztrált hibákhoz való hasonlóság mértéke jellemzi. Kvantitatív módszerek alkalmazása nélkül is, a vizuális észlelés szintjén, a folyamatvezérlő rendszerből érkező adatértékek dinamikájának megfigyelésével már sokat tanulhatunk:

4. ábra A szivattyú állapotának dinamikája egy adott típusú hiba „jelének” hátterében

De a vizuális észlelés (legalábbis egyelőre) nem a legmegfelelőbb „jelzések” generátora gyorsan változó forgatókönyvünkben. Statisztikai teszt segítségével értékeljük a szivattyú aktuális állapotának hasonlóságát a bejelentett hibákhoz.

5. ábra Statisztikai teszt alkalmazása bejövő adatokra a hiba „címke” hátterében

A statisztikai teszt meghatározza annak valószínűségét, hogy a folyamatirányító rendszertől kapott „folyamatcsomagban” a technológiai folyamatparaméterek értékeit tartalmazó rekordok hasonlóak egy bizonyos típusú hiba „címkéjének” rekordjaihoz. A statisztikai teszt alkalmazása eredményeként kiszámított valószínűségi érték (statisztikai hasonlósági index) 0 vagy 1 értékre alakul, így a hasonlóság szempontjából vizsgált csomag minden egyes rekordjában a gépi tanulás „címkéje” lesz. Azaz egy újonnan kapott szivattyú állapotrekordok csomagjának statisztikai teszttel történő feldolgozását követően lehetőségünk van (a) hozzáadni ezt a csomagot az AI/ML modell betanítására szolgáló képzési készlethez, és (b) elvégezni a a modell aktuális verziója, amikor ehhez a csomaghoz használja.

6. ábra Gépi tanulási modell alkalmazása bejövő adatokra egy hiba „címke” hátterében

Az egyik korábbi webináriumok Megmutatjuk és elmagyarázzuk, hogy az InterSystems IRIS platform hogyan teszi lehetővé bármely AI/ML mechanizmus megvalósítását olyan folyamatosan futó üzleti folyamatok formájában, amelyek figyelik a modellezési eredmények megbízhatóságát és adaptálják a modellparamétereket. A forgatókönyvünk szivattyúkkal való prototípusának implementálásakor a webináriumon bemutatott InterSystems IRIS összes funkcióját használjuk – megoldásunk részeként az elemző folyamatban valósítjuk meg nem a klasszikus felügyelt tanulást, hanem a megerősítéses tanulást, amely automatikusan kezeli a képzési modellek kiválasztását. . A betanítási minta olyan rekordokat tartalmaz, amelyekben „észlelési konszenzus” keletkezik mind a statisztikai teszt, mind a modell aktuális verziójának alkalmazása után – azaz mind a statisztikai teszt (a hasonlósági index 0-ra vagy 1-re való transzformálása után), mind a modell meghozta az eredményt az ilyen rekordokon 1. A modell új betanítása során, annak validálása során (az újonnan betanított modellt a saját betanítási mintájára alkalmazzuk, előzetes statisztikai teszt alkalmazásával) rögzíti azokat, amelyek feldolgozás után „nem őrizték meg” az 1-es eredményt a statisztikai teszttel (a képzésben való állandó jelenlét miatt a hiba eredeti „címkéjéből” származó rekordok mintája) eltávolítjuk a betanítási halmazból, és a modell új verziója tanul a hiba eredeti „címkéjéből”. hiba plusz a „megőrzött” rekordok az adatfolyamból.

7. ábra AI/ML számítások robotizálása az InterSystems IRIS-ben

Ha szükség van egyfajta „második véleményre” az InterSystems IRIS-ben végzett helyi számítások során kapott észlelés minőségével kapcsolatban, akkor egy tanácsadói folyamat jön létre, amely felhőszolgáltatások (például Microsoft) segítségével egy vezérlőadatkészleten betanítja és modelleket alkalmaz. Azure, Amazon Web Services , Google Cloud Platform stb.):

8. ábra Második vélemény a Microsoft Azure-tól, az InterSystems IRIS szervezésében

Az InterSystems IRIS forgatókönyvünk prototípusa egy ügynök-alapú analitikai folyamatok rendszere, amely kölcsönhatásba lép egy berendezés objektummal (szivattyúval), matematikai modellező környezetekkel (Python, R és Julia), és biztosítja az összes érintett mesterséges intelligencia öntanulását. ML mechanizmusok – valós idejű adatfolyamokon.

9. ábra A valós idejű AI/ML megoldás fő funkciói az InterSystems IRIS-ben

Prototípusunk gyakorlati eredménye:

• A modell által felismert mintahiba (január 12.):

• A mintában nem szereplő modell által felismert fejlődő hiba (szeptember 11-én magát a hibát a javítócsapat csak két nappal később, szeptember 13-án azonosította):

Ugyanazon hiba több epizódját tartalmazó valós adatokon végzett szimuláció azt mutatta, hogy az InterSystems IRIS platformon megvalósított megoldásunk lehetővé teszi, hogy az ilyen típusú hibák kialakulását néhány nappal azelőtt azonosítsuk, hogy a javítócsapat észlelné azokat.

InterSystems IRIS – univerzális valós idejű AI/ML számítási platform

Az InterSystems IRIS platform leegyszerűsíti a valós idejű adatmegoldások fejlesztését, telepítését és üzemeltetését. Az InterSystems IRIS egyidejűleg képes tranzakciós és analitikai adatfeldolgozást végezni; támogatja a szinkronizált adatnézeteket több modell szerint (beleértve a relációs, hierarchikus, objektum- és dokumentumnézeteket); platformként működik az adatforrások és az egyedi alkalmazások széles körének integrálásához; fejlett valós idejű elemzést biztosít a strukturált és strukturálatlan adatokon. Az InterSystems IRIS mechanizmusokat is biztosít a külső elemző eszközök használatához, és lehetővé teszi a felhőben és a helyi szervereken történő hosting rugalmas kombinációját.

Az InterSystems IRIS platformra épülő alkalmazásokat számos iparágban alkalmazzák, segítve a vállalatokat abban, hogy stratégiai és működési szempontból jelentős gazdasági előnyöket realizáljanak, növelve a tájékozott döntéshozatalt, és áthidalva az események, elemzések és cselekvések közötti szakadékot.

10. ábra InterSystems IRIS architektúra a valós idejű AI/ML kontextusában

Az előző diagramhoz hasonlóan az alábbi diagram az új „koordinátarendszert” (CD/CI/CT) kombinálja a platform munkaelemei közötti információáramlás diagramjával. A vizualizáció a makromechanizmus CD-vel kezdődik, és a CI és CT makromechanizmusokkal folytatódik.

11. ábra Az InterSystems IRIS platform AI/ML elemei közötti információáramlás diagramja

A CD-mechanizmus lényege az InterSystems IRIS-ben: a platformfelhasználók (AI/ML-megoldások fejlesztői) a meglévő és/vagy új AI/ML-fejlesztéseket adaptálják az AI/ML-mechanizmusokhoz speciális kódszerkesztő segítségével: Jupyter (teljes név: Jupyter Notebook; a rövidség kedvéért az ebben a szerkesztőben létrehozott dokumentumokat néha nevezik). A Jupyterben a fejlesztőnek lehetősége van egy adott AI/ML fejlesztés megírására, hibakeresésére és teljesítményének ellenőrzésére (beleértve a grafika használatát is), mielőtt azt az InterSystems IRIS rendszerbe helyezi („telepítésre”). Nyilvánvaló, hogy egy ilyen módon létrehozott új fejlesztés csak alapvető hibakeresést kap (mivel különösen a Jupyter nem működik valós idejű adatfolyamokkal) - ez a dolgok sorrendje, mert a fejlesztés fő eredménye a Jupyterben egy különálló AI / ML mechanizmus alapvető működőképességének megerősítése („adatmintán mutatja a várt eredményt”). Hasonlóképpen, a platformon már elhelyezett mechanizmus (lásd a következő makrómechanizmusokat) a Jupyterben végzett hibakeresés előtt „visszaállítást” igényelhet a „platform előtti” űrlapra (adatok beolvasása fájlokból, adatok kezelése xDBC-n keresztül táblák helyett, közvetlen interakció globalokkal – többdimenziós adattömbök InterSystems IRIS – stb.).

Az InterSystems IRIS CD-megvalósításának egyik fontos aspektusa: a platform és a Jupyter között kétirányú integrációt valósítottak meg, amely lehetővé teszi Python, R és Julia tartalom átvitelét a platformra (és ezt követően a platformon való feldolgozást) (mindhárom programozás nyelvek a megfelelő vezető nyílt forráskódú nyelveken). forrás matematikai modellező környezetek). Így az AI/ML tartalomfejlesztőknek lehetőségük van e tartalom „folyamatos telepítését” a platformon végrehajtani, az ismert Jupyter szerkesztőjükben, a Python, R, Julia nyelveken elérhető ismerős könyvtárakkal, és elvégezni az alapvető hibakeresést (ha szükséges). a peronon kívül.

Térjünk át az InterSystems IRIS CI makró mechanizmusára. Az ábra a „valós idejű robotizáló” makrófolyamatát mutatja (adatstruktúrák, üzleti folyamatok és kódrészletek komplexuma, amelyeket matematikai nyelveken és ObjectScript-en - az InterSystems IRIS natív fejlesztési nyelvén) rendeztek. Ennek a makrófolyamatnak az a feladata, hogy fenntartsa az AI/ML mechanizmusok működéséhez szükséges adatsorokat (a platformra valós időben továbbított adatfolyamok alapján), döntéseket hozzon az alkalmazási sorrendről és az AI/ „választékáról”. ML-mechanizmusok (egyben „matematikai algoritmusok”, „modellek” stb. – a megvalósítás sajátosságaitól és a terminológiai preferenciáktól függően másként is nevezhetők), naprakészen tartják az adatstruktúrákat az AI munkájának eredményeinek elemzéséhez/ ML mechanizmusok (kockák, táblák, többdimenziós adattömbök, stb.) stb. – riportokhoz, műszerfalakhoz stb.).

Az InterSystems IRIS CI-megvalósításának egyik fontos szempontja: a platform és a matematikai modellezési környezetek között kétirányú integrációt valósítottak meg, amely lehetővé teszi a platformon tárolt tartalom Python, R és Julia nyelven a megfelelő környezetükben történő végrehajtását, és a végrehajtási eredmények visszavételét. Ez az integráció mind „terminál módban” (azaz az AI/ML tartalom ObjectScript kódként van megfogalmazva, amely hívásokat küld a környezetnek) és „üzleti folyamat módban” (azaz az AI/ML tartalom üzleti folyamatként van megfogalmazva) egyaránt megvalósul. grafikus szerkesztő vagy néha Jupyter vagy IDE - IRIS Studio, Eclipse, Visual Studio Code használatával). Az üzleti folyamatok elérhetősége a szerkesztéshez a Jupyterben a CI-szintű IRIS és a CD-szintű Jupyter közötti kapcsolaton keresztül tükröződik. Az alábbiakban részletesebb áttekintést adunk a matematikai modellezési környezetekkel való integrációról. Ebben a szakaszban véleményünk szerint minden okunk megvan annak biztosítására, hogy a platform rendelkezzen minden szükséges eszközzel az AI/ML fejlesztések (a „folyamatos telepítésből származó”) „folyamatos integrációjához” a valós idejű AI/ML megoldásokba.

És a fő makromechanizmus: CT. Enélkül nem lesz AI/ML platform (bár a „valós időben” a CD/CI-n keresztül valósul meg). A CT lényege, hogy a platform a gépi tanulás és a mesterséges intelligencia „termékeivel” közvetlenül a matematikai modellezési környezetek munkameneteiben dolgozik: modellek, eloszlási táblák, mátrixvektorok, neurális hálózatok rétegei stb. Ez a „munka” a legtöbb esetben az említett műtermékek környezetekben történő létrehozásából áll (például modellek esetében a „létrehozás” a modell specifikációjának beállításából és paraméterei értékeinek későbbi kiválasztásából áll - a modell ún. „kiképzése”, alkalmazása (modelleknél: számítás a célváltozók „modell” értékeinek segítségével - előrejelzések, kategóriatagság, esemény valószínűsége stb.) és a már meglévő javítása létrehozott és alkalmazott műtermékek (például modell bemeneti változók készletének újradefiniálása az alkalmazás eredményei alapján - az előrejelzés pontosságának javítása érdekében, mint opció). A CT szerepének megértésében a kulcsfontosságú pont a CD és CI valóságától való „absztrakciója”: a CT megvalósítja az összes műterméket, az AI/ML megoldás számítási és matematikai sajátosságaira összpontosítva az adott környezetek által biztosított lehetőségeken belül. A „bemenetek biztosítása” és a „kimenetek továbbítása” a CD és a CI felelőssége lesz.

A CT megvalósításának egyik fontos szempontja kifejezetten az InterSystems IRIS-ben: a fentebb már említett matematikai modellezési környezetekkel való integrációt használva a platform képes kivonni azokat a műtermékeket a matematikai környezetekben az irányítása alatt futó munkamenetekből, és (ami a legfontosabb) fordítani. platform adatobjektumokká. Például egy működő Python-munkamenetben éppen létrehozott terjesztési tábla (a Python-munkamenet leállítása nélkül) átvihető a platformra például globális (többdimenziós InterSystems IRIS adattömb) formájában - és felhasználható. számításokhoz egy másik AI/ML-mechanizmusban (más környezet nyelvén - például R-ben implementálva) - vagy egy virtuális táblában. Egy másik példa: a modell működésének „normál üzemmódjával” párhuzamosan (a Python munkamenetben) az „auto-ML” végrehajtása történik a bemeneti adatain: az optimális bemeneti változók és paraméterértékek automatikus kiválasztása. És a „rendes” képzéssel együtt egy produktív modell valós időben megkapja a specifikációjának „optimalizálási javaslatát” is - amelyben a bemeneti változók halmaza megváltozik, a paraméterértékek megváltoznak (már nem a képzés eredményeként) Pythonban, de a saját egy „alternatív” verziójával, például a H2O-veremekkel való képzés eredményeként, lehetővé téve az átfogó AI/ML-megoldás számára, hogy autonóm módon megbirkózzon a modellezett bemeneti adatok és jelenségek természetében bekövetkező váratlan változásokkal. .

Ismerkedjünk meg részletesebben az InterSystems IRIS platform AI/ML funkcionalitásával, egy valós prototípus példáján.

Az alábbi diagramon, a dia bal oldalán található az üzleti folyamat egy része, amely a Python és az R szkriptek végrehajtását valósítja meg. A központi részben ezeknek a szkripteknek a végrehajtásáról látható vizuális naplók, ill. A Pythonban és az R-ben. Közvetlenül mögöttük vannak példák az egyik vagy másik nyelven, végrehajtásra átvitt tartalomra a megfelelő környezetbe. A jobb oldalon a szkript végrehajtásának eredményein alapuló vizualizációk találhatók. A felül látható vizualizációk az IRIS Analytics segítségével készültek (az adatok Pythonból az InterSystems IRIS adatplatformba kerültek, és a platform segítségével egy műszerfalon jelenítették meg), alul közvetlenül az R munkamenetben készültek, és onnan kerültek ki a grafikus fájlokba. . Fontos szempont: a prototípusban bemutatott töredék felelős a modell betanításáért (a berendezés állapotok osztályozása) a berendezés szimulátor folyamatából valós időben kapott adatokra, a modell alkalmazása során megfigyelt osztályozási minőségfigyelő folyamat parancsára. Az AI/ML megoldás interakciós folyamatok ("ügynökök") halmaza formájában történő megvalósítását a továbbiakban tárgyaljuk.

12. ábra Kölcsönhatás a Python, R és Julia programokkal az InterSystems IRIS-ben

A platformfolyamatok (ezek is „üzleti folyamatok”, „analitikai folyamatok”, „csővezetékek” stb. - kontextustól függően) mindenekelőtt a grafikus üzleti folyamatszerkesztőben, magában a platformban szerkeszthetők, és egy ilyen úgy, hogy a blokkdiagramja és a megfelelő AI/ML mechanizmus (programkód) egyidejűleg jön létre. Amikor azt mondjuk, hogy „egy AI/ML mechanizmust kapunk”, kezdetben hibriditást értünk (egy folyamaton belül): a matematikai modellezési környezetek nyelvein lévő tartalom szomszédos az SQL-ben található tartalommal (beleértve a kiterjesztéseket is IntegratedML), az InterSystems ObjectScriptben, más támogatott nyelvekkel. Sőt, a platformfolyamat nagyon széles lehetőségeket kínál a hierarchikusan egymásba ágyazott töredékek formájában történő „megjelenítésre” (amint az az alábbi ábrán látható példán is látható), ami lehetővé teszi a nagyon összetett tartalom hatékony rendszerezését anélkül, hogy „kiesne”. a grafikus formátum ("nem grafikus" formátumokba). » módszerek/osztályok/eljárások stb.). Vagyis szükség esetén (és ez a legtöbb projektben előre látható) abszolút a teljes AI/ML megoldás grafikus öndokumentáló formátumban megvalósítható. Felhívjuk figyelmét, hogy az alábbi diagram középső részén, amely egy magasabb „beágyazási szintet” jelent, jól látható, hogy a modell betanításának tényleges munkája mellett (Python és R felhasználásával) az ún. A betanított modell ROC görbéje hozzáadásra kerül, amely lehetővé teszi a képzés minőségének vizuális (és számítási) értékelését is - és ez az elemzés Julia nyelven valósul meg (megfelelően Julia matematikai környezetben).

13. ábra Vizuális környezet az AI/ML megoldások összeállításához az InterSystems IRIS-ben

Mint korábban említettük, a platformon már megvalósított AI/ML mechanizmusok kezdeti fejlesztése és (egyes esetekben) adaptálása a platformon kívül, a Jupyter szerkesztőben történik/lehet meg. Az alábbi ábrán egy létező platformfolyamat adaptálására látunk példát (ugyanaz, mint a fenti ábrán) - így néz ki a Jupyterben a modell betanításáért felelős töredék. A Python-tartalom közvetlenül a Jupyterben érhető el szerkesztéshez, hibakereséshez és grafikus kimenethez. A változtatások (ha szükséges) azonnali szinkronizálással hajthatók végre a platformfolyamatba, beleértve a produktív verziót is. Az új tartalom hasonló módon vihető át a platformra (a rendszer automatikusan generál egy új platformfolyamatot).

14. ábra A Jupyter Notebook használata az AI/ML motor szerkesztéséhez az InterSystems IRIS platformon

A platformfolyamatok adaptálása nem csak grafikus vagy laptop formátumban, hanem „teljes” IDE (Integrated Development Environment) formátumban is elvégezhető. Ezek az IDE-k az IRIS Studio (natív IRIS stúdió), a Visual Studio Code (InterSystems IRIS kiterjesztés a VSCode-hoz) és az Eclipse (Atelier beépülő modul). Egyes esetekben előfordulhat, hogy egy fejlesztőcsapat egyszerre használja mindhárom IDE-t. Az alábbi diagram egy példát mutat be ugyanazon folyamat szerkesztésére az IRIS stúdióban, a Visual Studio Code-ban és az Eclipse-ben. Abszolút minden tartalom szerkeszthető: Python/R/Julia/SQL, ObjectScript és üzleti folyamat.

15. ábra Az InterSystems IRIS üzleti folyamatának fejlesztése különböző IDE-kben

Külön említést érdemelnek az InterSystems IRIS üzleti folyamatok Business Process Language (BPL) nyelven történő leírására és végrehajtására szolgáló eszközök. A BPL lehetővé teszi a „kész integrációs komponensek” (tevékenységek) használatát az üzleti folyamatokban – ami valójában minden okot ad arra, hogy az InterSystems IRIS-ben a „folyamatos integráció” valósul meg. A kész üzleti folyamatelemek (tevékenységek és a köztük lévő kapcsolatok) hatékony gyorsítót jelentenek az AI/ML megoldás összeállításához. És nem csak szerelvények: az egymástól eltérő AI/ML fejlesztéseken és mechanizmusokon átívelő tevékenységeknek és kapcsolatoknak köszönhetően kialakul egy „autonóm menedzsment réteg”, amely képes a helyzetnek megfelelő döntéseket hozni, valós időben.

16. ábra Kész üzleti folyamat-összetevők folyamatos integrációhoz (CI) az InterSystems IRIS platformon

Az ügynökrendszerek (más néven „multi-agent systems”) koncepciója erős pozíciót foglal el a robotizálásban, és az InterSystems IRIS platformja szervesen támogatja ezt a „termék-folyamat” konstrukción keresztül. Amellett, hogy korlátlan lehetőség van az egyes folyamatok „megtöltésére” az átfogó megoldáshoz szükséges funkcionalitással, a platformfolyamatok rendszerének az „ügynökség” tulajdonsággal való felruházása lehetővé teszi a rendkívül instabil szimulált jelenségek (társadalmi/társadalmi viselkedés) hatékony megoldását. biorendszerek, részben megfigyelhető technológiai folyamatok stb.).

16. ábra: AI/ML megoldás működése ügynök alapú üzleti folyamatrendszerként az InterSystems IRIS-ben

Folytatjuk az InterSystems IRIS áttekintését egy történettel a platform alkalmazott használatáról a valós idejű problémák teljes osztályainak megoldására (egy meglehetősen részletes bevezető az InterSystems IRIS platform AI/ML néhány legjobb gyakorlatába az előzőünkből webináriumok).

Az előző diagram nyomán az alábbiakban az ügynökrendszer részletesebb diagramja látható. Az ábra ugyanazt a prototípust mutatja, mind a négy ügynökfolyamat látható, a köztük lévő kapcsolatok sematikusan megrajzolhatók: GENERATOR - feldolgozza az adatok létrehozását a berendezés szenzorai által, BUFFER - kezeli az adatsorokat, ANALÍZER - maga hajtja végre a gépi tanulást, MONITOR - figyeli a gépi tanulás minőségét, és jelzést ad a modell átképzésének szükségességéről.

17. ábra: AI/ML megoldás összetétele ügynök alapú üzleti folyamatrendszer formájában az InterSystems IRIS-ben

Az alábbi diagram egy másik robot prototípus autonóm működését (a szövegek érzelmi színezésének felismerését) szemlélteti egy ideje. A felső részben a modellképzés minőségi mutatójának alakulása (a minőség növekszik), alsó részen a modellalkalmazás minőségi mutatójának dinamikája és az ismételt képzés tényei (piros csíkok). Mint látható, a megoldás hatékonyan és önállóan tanulta meg magát, és adott minőségi szinten működik (a minőségi pontszámok nem esnek 80% alá).

18. ábra Folyamatos (ön)képzés (CT) az InterSystems IRIS platformon

Korábban említettük az „auto-ML”-t is, de az alábbi diagram egy másik prototípus példáján részletesen bemutatja ennek a funkciónak a használatát. Az üzleti folyamat egy töredékének grafikus diagramja bemutatja a H2O-veremben a modellezést kiváltó tevékenységet, bemutatja ennek a modellezésnek az eredményeit (az eredményül kapott modell egyértelmű dominanciáját az „ember alkotta” modellekkel szemben, az összehasonlító diagram szerint ROC görbék, valamint az eredeti adatkészletben elérhető „legbefolyásosabb változók” automatikus azonosítása). Itt fontos szempont az „auto-ML”-el elérhető idő- és szakértői erőforrások megtakarítása: amit a platformfolyamatunk fél perc alatt megcsinál (az optimális modell megtalálása és betanítása), egy szakértőnek egy héttől egy hónapig tart.

19. ábra Az „auto-ML” integrálása AI/ML megoldásba az InterSystems IRIS platformon

Az alábbi ábrán egy kicsit hiányzik a lényeg, de ez egy jó módja annak, hogy befejezzük a valós idejű problémák megoldandó osztályairól szóló történetet: emlékeztetünk arra, hogy az InterSystems IRIS platform összes lehetőségével az irányítása alatt lévő képzési modellek nem kötelező. A platform képes kívülről fogadni a modell úgynevezett PMML specifikációját, amely egy olyan eszközre van betanítva, amely nem a platform irányítása alatt áll - és ezt a modellt valós időben alkalmazhatja az importálás pillanatától kezdve. PMML specifikációk. Fontos figyelembe venni, hogy nem minden AI/ML műtermék redukálható PMML specifikációra, még akkor sem, ha a legtöbb leggyakoribb műtermék ezt lehetővé teszi. Így az InterSystems IRIS platform „nyílt hurkú”, és nem jelent „platformszolgaságot” a felhasználók számára.

20. ábra Az „auto-ML” integrálása AI/ML megoldásba az InterSystems IRIS platformon

Soroljuk fel az InterSystems IRIS további platformelőnyeit (az áttekinthetőség kedvéért a folyamatvezérléssel kapcsolatban), amelyek nagy jelentőséggel bírnak a mesterséges intelligencia és a valós idejű gépi tanulás automatizálásában:

• Kifejlesztett integrációs eszközök bármilyen adatforrással és fogyasztóval (folyamatvezérlő rendszer/SCADA, berendezések, MRO, ERP stb.)
• Beépített többmodell DBMS bármilyen mennyiségű technológiai folyamatadat nagyteljesítményű tranzakciós és elemzési feldolgozásához (hibrid tranzakció/analitikai feldolgozás, HTAP)
• Fejlesztési eszközök AI/ML motorok folyamatos telepítéséhez valós idejű megoldásokhoz Python, R, Julia alapú
• Adaptív üzleti folyamatok a valós idejű AI/ML megoldásmotorok folyamatos integrációjához és (ön)tanulásához
• Beépített üzleti intelligencia eszközök a folyamatadatok és az AI/ML megoldások eredményeinek megjelenítéséhez
• API-kezelés az AI/ML megoldás eredményeinek továbbítására folyamatirányító rendszerekbe/SCADA, információs és elemző rendszerekbe, riasztások küldésére stb.

Az InterSystems IRIS platform AI/ML megoldásai könnyen illeszkednek a meglévő IT infrastruktúrába. Az InterSystems IRIS platform biztosítja az AI/ML megoldások nagy megbízhatóságát azáltal, hogy támogatja a hiba- és katasztrófa-tűrő konfigurációkat, valamint a rugalmas telepítést virtuális környezetekben, fizikai szervereken, privát és nyilvános felhőkön, valamint Docker konténereken.

Így az InterSystems IRIS egy univerzális valós idejű AI/ML számítási platform. Platformunk egyetemességét a gyakorlatban megerősíti a végrehajtott számítások bonyolultságát érintő de facto korlátozások hiánya, az InterSystems IRIS azon képessége, hogy a legkülönbözőbb iparágak forgatókönyveinek (valós idejű) feldolgozását kombinálja, valamint a számítások kivételes alkalmazkodóképessége. a platform bármely funkciója és mechanizmusa a felhasználók egyedi igényei szerint.

21. ábra InterSystems IRIS – egy univerzális valós idejű AI/ML számítási platform

Az itt bemutatott anyag iránt érdeklődő olvasóinkkal való érdemi interakció érdekében azt javasoljuk, hogy ne korlátozódjon annak elolvasására és a párbeszéd „élő” folytatására. Szívesen nyújtunk támogatást az Ön cégének sajátosságaihoz kapcsolódó valós idejű AI/ML forgatókönyvek megfogalmazásában, közös prototípus-készítést végzünk az InterSystems IRIS platformon, elkészítjük és a gyakorlatban is megvalósítjuk a mesterséges intelligencia és a gépi tanulás bevezetésének ütemtervét. termelési és irányítási folyamataiba. AI/ML szakértői csapatunk kapcsolatfelvételi e-mail-címe – [e-mail védett].

Forrás: will.com