InterSystems IRIS - universal real-time AI / platform ML

Panulis: Sergey Lukyanchikov, insinyur konsultan di InterSystems

Telepon komputasi AI/ML sacara real-time

Hayu urang mimitian ku conto tina pangalaman prakték Data Science di InterSystems:

• Portal pembeli anu dimuat disambungkeun ka sistem rekomendasi online. Bakal aya restructuring promosi sakuliah jaringan ritel (contona, tinimbang hiji "datar" garis promosi, a "segmén-taktik" matrix ayeuna bakal dipaké). Naon anu lumangsung ka mesin rekomendasi? Naon anu lumangsung kana kiriman sareng ngamutahirkeun data kana mesin rekomendasi (volume data input parantos ningkat ku 25000 kali)? Naon anu lumangsung dina ngembangkeun saran (kabutuhan pikeun ngurangan bangbarung nyaring aturan rekomendasi ku sarébu kali alatan kanaékan sarébu kali dina jumlah maranéhanana sarta "rentang")?
• Aya sistem pikeun ngawaskeun kamungkinan cacad dina komponén alat. Sistem kontrol prosés otomatis disambungkeun ka sistem monitoring, ngirimkeun rébuan parameter prosés téhnologis unggal detik. Naon anu lumangsung dina sistem ngawaskeun anu saméméhna digawé dina "sampel manual" (naha éta sanggup nyadiakeun pangawas probabiliti kadua-demi-detik)? Naon anu bakal kajadian upami blok anyar sababaraha ratus kolom némbongan dina data input kalayan bacaan tina sensor anu nembé ditambah kana sistem kontrol prosés (naha peryogi sareng sabaraha lami ngeureunkeun sistem ngawaskeun kalebet data tina sénsor énggal dina analisa )?
• Sakumpulan mékanisme AI / ML (rekomendasi, ngawaskeun, ramalan) parantos diciptakeun anu ngagunakeun hasil padamelan masing-masing. Sabaraha man-jam anu diperlukeun unggal bulan pikeun adaptasi operasi kompléks ieu parobahan data input? Naon "slowdown" umum lamun dirojong ku manajemén kaputusan-nyieun kompléks (frékuénsi lumangsungna informasi ngarojong anyar di dinya relatif ka frékuénsi lumangsungna data input anyar)?

Nyimpulkeun ieu sareng seueur conto sanésna, kami parantos ngarumuskeun tangtangan anu timbul nalika ngalih kana panggunaan mesin learning sareng mékanisme intelijen buatan sacara real waktos:

• Naha urang sugema ku laju nyiptakeun sareng adaptasi (kana kaayaan anu robih) tina kamajuan AI / ML di perusahaan urang?
• Sakumaha seueur solusi AI/ML anu kami anggo ngadukung manajemén bisnis sacara real-time?
• Naha solusi AI / ML anu kami anggo tiasa mandiri (tanpa pamekar) adaptasi kana parobahan data sareng prakték manajemén bisnis?

Tulisan kami mangrupikeun gambaran lengkep ngeunaan kamampuan platform InterSystems IRIS dina hal pangrojong universal pikeun panyebaran mékanisme AI / ML, rakitan (integrasi) solusi AI / ML, sareng latihan (uji coba) solusi AI / ML dina intensif. aliran data. Urang bakal ningali panalungtikan pasar, studi kasus solusi AI / ML, sareng aspék konseptual ngeunaan naon anu kami sebut platform AI / ML sacara real-time dina tulisan ieu.

Anu kami terang tina survey: aplikasi sacara real-time

Hasil surveydilakukeun di antara ampir 800 profésional IT di 2019 ku Lightbend, nyarios sorangan:

Gambar 1 Anjog konsumén data real-time

Hayu urang cutat fragmen penting laporan ngeunaan hasil survéy ieu dina tarjamah urang:

"... Tren popularitas alat pikeun ngahijikeun aliran data sareng, dina waktos anu sami, ngadukung komputasi dina wadah nyayogikeun réspon sinergis pikeun paménta pasar pikeun usulan anu langkung responsif, rasional, dinamis pikeun solusi anu épéktip. Data streaming mindahkeun inpormasi langkung gancang tibatan data pakét tradisional. Katambah kana ieu kamampuhan pikeun gancang nerapkeun métode komputasi, kayaning, contona, AI / saran basis ML, nyieun kaunggulan kalapa ngaliwatan ngaronjat kapuasan customer. Perlombaan pikeun kelincahan ogé mangaruhan sadaya peran dina paradigma DevOps - ngajantenkeun pangembangan aplikasi sareng panyebaran langkung éfisién. ... Dalapan ratus opat profésional IT nyayogikeun inpormasi ngeunaan pamakean aliran data dina organisasina. Réspondén umumna aya di nagara Kulon (41% di Éropa sareng 37% di Amérika Kalér) sareng disebarkeun ampir rata antara perusahaan leutik, sedeng sareng ageung. ...

... kecerdasan jieunan teu hype. Lima puluh dalapan persén jalma anu geus ngagunakeun ngolah data stream dina produktivitas aplikasi AI / ML mastikeun yén pamakéan maranéhna AI / ML bakal ningali tumuwuhna greatest dina taun hareup (dibandingkeun jeung aplikasi sejenna).

• Numutkeun seuseueurna réspondén, panggunaan aliran data dina skénario AI / ML bakal ningali kamekaran pangageungna dina taun payun.
• Aplikasi dina AI / ML bakal tumuwuh teu ngan alatan tipe rélatif anyar skenario, tapi ogé alatan skenario tradisional nu data real-time beuki dipaké.
• Salian AI / ML, tingkat antusiasme di kalangan pamaké tina pipelines data IoT impressive - 48% jalma anu geus terpadu data IoT nyebutkeun yén palaksanaan skenario on data ieu bakal ningali kanaékan signifikan dina mangsa nu bakal datang. ..."

Tina survey anu rada pikaresepeun ieu, écés yén persépsi pembelajaran mesin sareng skénario intelijen buatan salaku pamimpin dina konsumsi aliran data parantos "dina jalan." Tapi pengamatan anu sami pentingna nyaéta persepsi AI / ML sacara real-time ngaliwatan lensa DevOps: di dieu urang parantos tiasa ngawitan ngobrol ngeunaan transformasi budaya anu masih dominan tina "AI / ML anu tiasa dibuang kalayan set data anu tiasa diaksés pinuh."

Konsep platform AI / ML sacara real-time

Hiji wewengkon aplikasi has pikeun real-time AI / ML nyaéta kontrol prosés dina manufaktur. Ngagunakeun conto nya jeung nyokot akun pikiran saméméhna, urang bakal ngarumuskeun konsép platform AI / ML real-time.
Pamakéan intelijen jieunan sareng pembelajaran mesin dina kontrol prosés ngagaduhan sababaraha fitur:

• Data ngeunaan kaayaan prosés téknologi ditampi sacara intensif: kalayan frékuénsi luhur sareng pikeun sajumlah parameter (dugi ka puluhan rébu nilai parameter dikirimkeun per detik tina sistem kontrol prosés)
• Data ngeunaan idéntifikasi defects, teu nyebut data ngeunaan ngembangkeun maranéhanana, sabalikna, langka tur henteu teratur, dicirikeun ku typification cukup defects jeung lokalisasi maranéhanana dina waktu (sering digambarkeun ku catetan kertas)
• Tina sudut pandang praktis, ngan ukur "jandela relevansi" data sumber anu sayogi pikeun latihan sareng nerapkeun modél, ngagambarkeun dinamika prosés téknologi dina interval ngageser anu wajar ditungtungan ku nilai dibaca terakhir tina parameter prosés.

Fitur ieu maksakeun kami, salian nampi sareng ngolah dasar sacara real waktos tina "sinyal input broadband" intensif tina prosés téknologi, pikeun ngalaksanakeun (sajajar) aplikasi, latihan sareng kontrol kualitas hasil AI / Modél ML - ogé sacara real waktos. "Pigura" anu model urang "tingali" dina jandela geser tina relevansi terus robah - sarta kalawan éta, kualitas hasil karya model AI / ML dilatih dina salah sahiji "pigura" nu geus kaliwat ogé robah. . Upami kualitas hasil karya model AI / ML mudun (contona: nilai kasalahan klasifikasi "alarm-norma" parantos ngalangkungan wates anu kami parantos ditetepkeun), latihan tambahan pikeun modél kedah diluncurkeun sacara otomatis dina "pigura" anu langkung ayeuna - sareng pilihan waktos pikeun ngaluncurkeun latihan tambahan tina modél kedah tumut kana kumaha durasi latihan éta sorangan, sareng dinamika deterioration dina kualitas karya versi ayeuna model (saprak versi ayeuna model terus dipaké bari model anu dilatih, sarta nepi ka "karek dilatih" versi maranéhanana kabentuk).

InterSystems IRIS gaduh kamampuan platform konci pikeun ngaktipkeun solusi AI/ML pikeun kontrol prosés sacara real-time. Kamampuhan ieu tiasa dibagi kana tilu kelompok utama:

• Panyebaran kontinyu (Continuous Deployment/Delivery, CD) mékanisme AI/ML anu anyar atanapi diadaptasi kana solusi produktif anu beroperasi sacara real waktos dina platform InterSystems IRIS
• Integrasi Kontinyu (CI) kana solusi produktif tunggal aliran data prosés téhnologis asup, antrian data pikeun aplikasi / palatihan / kontrol kualitas mékanisme AI / ML jeung bursa data / kode / lampah kontrol jeung lingkungan modeling matematik, orchestrated sacara real-time platform InterSystems IRIS
• Kontinyu (diri) latihan (Continuous Training, CT) mékanisme AI / ML, dipigawé dina lingkungan modeling matematik ngagunakeun data, kode jeung tindakan kontrol ("kaputusan dijieun") dikirimkeun ku platform InterSystems IRIS.

Klasifikasi kamampuan platform anu aya hubunganana sareng pembelajaran mesin sareng intelijen buatan kana grup-grup ieu henteu kahaja. Hayu urang cutatan metodologis terbitan Google, anu nyayogikeun dasar konseptual pikeun klasifikasi ieu, dina tarjamahan urang:

"... Konsep DevOps, populér kiwari, ngawengku ngembangkeun sarta operasi sistem informasi skala badag. Kaunggulan tina nerapkeun konsép ieu nyaéta pangurangan dina durasi siklus pangwangunan, panyebaran pamekaran anu langkung gancang, sareng kalenturan dina perencanaan pelepasan. Pikeun ngahontal kauntungan ieu, DevOps ngalibatkeun palaksanaan sahenteuna dua prakték:

• Integrasi Kontinyu (CI)
• Pangiriman Terus-terusan (CD)

Prakték ieu ogé dilarapkeun ka platform AI / ML pikeun mastikeun pangumpulan solusi AI / ML anu tiasa dipercaya sareng berprestasi.

Platform AI/ML béda ti sistem inpormasi anu sanés dina aspék ieu:

• Kompeténsi tim: Nalika nyieun solusi AI / ML, tim biasana ngawengku élmuwan data atawa ahli "akademik" dina widang panalungtikan data anu ngalaksanakeun analisis data, ngamekarkeun jeung nguji model. Anggota tim ieu tiasa janten pamekar kode produktif profésional.
• Kamekaran: mesin AI / ML anu ékspériméntal di alam. Pikeun ngabéréskeun masalah ku cara anu paling éfisién, anjeun kedah ngaliwat sababaraha kombinasi variabel input, algoritma, metode modél sareng parameter modél. Pajeulitna pilarian sapertos perenahna di tracing "naon digawé / teu dianggo", mastikeun reproducibility sahiji episode, generalisasi tina kamajuan pikeun implementations ngulang.
• Nguji: Nguji mesin AI/ML merlukeun rentang tes anu langkung lega tibatan kalolobaan pamekaran anu sanés. Salian tés unit standar sareng integrasi, validitas data sareng kualitas hasil ngalarapkeun modél kana conto latihan sareng kontrol diuji.
• Deployment: Deployment of AI/ML solutions is not limited to predictive services that use a once-training model. Solusi AI / ML diwangun dina saluran pipa multi-tahap anu ngalaksanakeun latihan sareng aplikasi modél otomatis. Deploying pipelines sapertos ngalibatkeun automating lampah non-trivial tradisional dipigawé sacara manual ku élmuwan data dina urutan bisa ngalatih sarta nguji model.
• Produktivitas: Mesin AI / ML tiasa kakurangan produktivitas henteu ngan ukur kusabab program anu teu cekap, tapi ogé kusabab sifat data input anu terus-terusan robih. Dina basa sejen, kinerja mékanisme AI / ML bisa degradasi alatan rentang lega alesan ti kinerja kamajuan konvensional. Anu ngabalukarkeun kabutuhan pikeun ngawas (online) kinerja mesin AI/ML urang, ogé ngirim panggeuing atawa nolak hasil lamun indikator kinerja teu minuhan ekspektasi.

Platform AI/ML sami sareng sistem inpormasi anu sanés anu peryogi integrasi kode kontinyu sareng kontrol vérsi, uji unit, uji integrasi, sareng panyebaran pangembangan kontinyu. Nanging, dina kasus AI/ML, aya sababaraha béda anu penting:

• CI (Continuous Integration) henteu deui dugi ka nguji sareng validasi kodeu komponén anu disebarkeun - éta ogé kalebet uji coba sareng validasi data sareng modél AI/ML.
• CD (Pangiriman Kontinyu / Deployment, deployment kontinyu) henteu dugi ka nulis sareng ngaleupaskeun bungkusan atanapi jasa, tapi nunjukkeun platform pikeun komposisi, pelatihan sareng aplikasi solusi AI / ML.
• CT (Latihan Kontinyu, latihan kontinyu) mangrupikeun unsur énggal [approx. panulis artikel: unsur anyar dina hubungan jeung konsép tradisional DevOps, nu CT, sakumaha aturan, Tés Kontinyu], alamiah dina platform AI / ML, jawab manajemén otonom sahiji mékanisme latihan jeung nerapkeun AI. / modél ML. ..."

Urang tiasa nyatakeun yén pembelajaran mesin sareng intelijen buatan damel dina data sacara real-time ngabutuhkeun set alat sareng kompeténsi anu langkung lega (tina pamekaran kode ka orkestrasi lingkungan modeling matematika), integrasi anu langkung caket antara sadaya daérah fungsional sareng subjek, organisasi anu langkung éfisién pikeun manusa sareng. sumberdaya mesin.

Skenario real-time: ngakuan pamekaran cacad dina pompa feed

Neruskeun ngagunakeun wewengkon kontrol prosés sabagé conto, mertimbangkeun masalah husus (urang geus disebutkeun di awal pisan): urang kudu nyadiakeun real-time ngawaskeun ngembangkeun defects di pompa dumasar kana aliran nilai parameter prosés. jeung laporan ti tanaga perbaikan ngeunaan defects dicirikeun.

Gambar 2 Rumusan masalah pikeun ngawaskeun kamekaran cacad

Fitur tina kalolobaan pancén anu dilakukeun ku cara ieu dina prakték nyaéta yén kateraturan sareng efisiensi resi data (APCS) kedah dipertimbangkeun ngalawan latar tukang kajadian episodik sareng henteu teratur (sareng pendaptaran) cacad tina sababaraha jinis. Dina basa sejen: data tina sistem kontrol prosés datang sakali sadetik, bener tur akurat, sarta catetan ngeunaan defects dijieun ku pensil kimiawi nunjukkeun tanggal dina notebook umum di bengkel (contona: "12.01 - bocor kana panutup. ti sisi bearing ka-3 ").

Ku kituna, urang bisa suplement rumusan masalah jeung watesan penting handap: urang boga ngan hiji "label" tina cacad tina tipe husus (ie, conto cacad tina tipe husus digambarkeun ku data ti kontrol prosés. Sistim dina tanggal husus - sarta kami teu boga deui conto cacad tina tipe husus ieu). Watesan ieu langsung nyandak urang saluareun ruang lingkup pembelajaran mesin klasik (diawasan diajar), anu kedahna seueur "tag".

Gambar 3 Klarifikasi tugas ngawaskeun kamekaran cacad

Naha urang tiasa kumaha waé "kalikeun" hiji-hijina "tag" anu aya dina pembuangan urang? Sumuhun urang tiasa. Kaayaan pompa ayeuna dicirikeun ku darajat kasaruaan sareng cacad anu kadaptar. Sanaos henteu nganggo metode kuantitatif, dina tingkat persépsi visual, ku niténan dinamika nilai data anu sumping tina sistem kontrol prosés, anjeun parantos tiasa diajar seueur:

Gambar 4 Dinamika kaayaan pompa ngalawan latar tukang "tanda" tina cacad tina jinis anu ditangtukeun

Tapi persépsi visual (sahenteuna pikeun ayeuna) sanes generator "tag" anu paling cocog dina skenario urang anu robih gancang. Urang bakal evaluate kasaruaan tina kaayaan pompa ayeuna jeung defects dilaporkeun ngagunakeun test statistik.

Gambar 5 Nerapkeun uji statistik kana data anu datang ngalawan latar tukang "label" cacad.

Tés statistik nangtukeun kamungkinan yén rékaman sareng nilai parameter prosés téknologi dina "pakét aliran" anu ditampi tina sistem kontrol prosés sami sareng rékaman tina "tag" tina cacad tina jinis anu tangtu. Nilai probabiliti (indéks kamiripan statistik) diitung salaku hasil tina nerapkeun tes statistik dirobah jadi nilai 0 atawa 1, jadi "label" pikeun mesin learning dina unggal catetan husus dina pakét keur nalungtik keur kamiripan. Nyaéta, saatos ngolah pakét catetan kaayaan pompa anu nembe nampi kalayan uji statistik, urang ngagaduhan kasempetan pikeun (a) nambihan pakét ieu kana set pelatihan pikeun ngalatih modél AI / ML sareng (b) ngalaksanakeun kadali kualitas versi ayeuna model lamun make ka pakét ieu.

Gambar 6 Nerapkeun modél pembelajaran mesin kana data anu datang ngalawan latar tukang cacad "label"

Dina salah sahiji urang saméméhna webinars Kami nunjukkeun sareng ngajelaskeun kumaha platform InterSystems IRIS ngamungkinkeun anjeun pikeun nerapkeun mékanisme AI / ML dina bentuk prosés bisnis anu terus-terusan anu ngawaskeun réliabilitas hasil modél sareng adaptasi parameter modél. Nalika ngalaksanakeun prototipe skenario kami nganggo pompa, kami nganggo sadaya fungsionalitas InterSystems IRIS anu dipidangkeun salami webinar - ngalaksanakeun dina prosés analisa salaku bagian tina solusi kami sanés diajar diawasan klasik, tapi diajar penguatan, anu sacara otomatis ngatur seleksi pikeun modél pelatihan. . Sampel latihan ngandung rékaman dimana "konsensus deteksi" timbul saatos nerapkeun tés statistik sareng versi modél ayeuna - nyaéta, boh tés statistik (sanggeus ngarobih indéks kasaruaan ka 0 atanapi 1) sareng modél ngahasilkeun hasilna. dina rékaman sapertos 1. Salila latihan anyar model, salila validasi na (modél karek dilatih diterapkeun kana sampel latihan sorangan, kalawan aplikasi awal tina uji statistik ka dinya), catetan anu "teu nahan" hasil 1 sanggeus ngolah. ku uji statistik (kusabab ayana konstan dina latihan sampel rékaman tina "labél" aslina tina cacad nu), dipiceun tina set latihan, sarta versi anyar model diajar tina "label" tina cacad ditambah rékaman "dipikagaduh" ti aliran.

Gambar 7 Robotisasi komputasi AI / ML dina InterSystems IRIS

Upami aya peryogi jinis "pendapat kadua" ngeunaan kualitas deteksi anu dicandak nalika itungan lokal di InterSystems IRIS, prosés panaséhat didamel pikeun ngalaksanakeun latihan sareng aplikasi modél dina set data kontrol nganggo jasa awan (contona, Microsoft. Azure, Amazon Web Services, Google Cloud Platform, jsb):

angka 8 Pamadegan kadua ti Microsoft Azure orchestrated ku InterSystems IRIS

Prototipe skenario urang di InterSystems IRIS dirancang salaku hiji sistem dumasar-agén prosés analitik nu berinteraksi sareng hiji obyék parabot (pompa), lingkungan modeling matematik (Python, R jeung Julia), sarta mastikeun timer learning sadaya aub AI / Mékanisme ML - dina aliran data sacara real-time.

Angka 9 Fungsi utama solusi AI/ML sacara real-time dina InterSystems IRIS

Hasil praktis tina prototipe urang:

• cacad sampel dipikawanoh ku modél (12 Januari):

• A cacad ngembang dipikawanoh ku model nu teu kaasup dina sampel (September 11, cacad sorangan diidentipikasi ku tim perbaikan ngan dua poé sanggeusna, on September 13):

Simulasi data nyata anu ngandung sababaraha épisode cacad anu sami nunjukkeun yén solusi kami, dilaksanakeun dina platform InterSystems IRIS, ngamungkinkeun urang pikeun ngaidentipikasi pamekaran cacad tina jinis ieu sababaraha dinten sateuacan dideteksi ku tim perbaikan.

InterSystems IRIS - platform komputasi AI/ML real-time universal

Platform InterSystems IRIS nyederhanakeun pamekaran, panyebaran sareng operasi solusi data sacara real-time. InterSystems IRIS sanggup sakaligus ngalaksanakeun pamrosésan data transaksional sareng analitik; ngarojong pintonan data nyingkronkeun nurutkeun sababaraha model (kaasup relational, hirarkis, objék jeung dokumén); meta salaku platform pikeun ngahijikeun rupa-rupa sumber data jeung aplikasi individu; nyadiakeun analytics real-time canggih dina data terstruktur jeung teu terstruktur. InterSystems IRIS ogé nyadiakeun mékanisme pikeun ngagunakeun parabot analitik éksternal sarta ngidinan kombinasi fléksibel tina hosting di awan na on server lokal.

Aplikasi anu diwangun dina platform InterSystems IRIS disebarkeun dina rupa-rupa industri, ngabantosan perusahaan ngawujudkeun kauntungan ékonomi anu signifikan tina sudut pandang strategis sareng operasional, ningkatkeun pembuatan kaputusan anu dimaklumkeun sareng ngahubungkeun jurang antara acara, analisa sareng tindakan.

angka 10 InterSystems arsitéktur IRIS dina konteks real-time AI / ML

Kawas diagram saméméhna, diagram di handap ngagabungkeun nu anyar "sistem koordinat" (CD / CI / CT) jeung diagram aliran informasi antara elemen kerja platform nu. Visualisasi dimimitian ku CD macromechanism terus jeung macromechanisms CI jeung CT.

Angka 11 Diagram inpormasi ngalir antara elemen AI / ML tina platform InterSystems IRIS

Intina mékanisme CD dina InterSystems IRIS: pamaké platform (pamekar AI / solusi ML) adaptasi aya jeung / atawa nyieun AI anyar / kamajuan ML ngagunakeun redaktur kode husus pikeun mékanisme AI / ML: Jupyter (ngaran lengkep: Jupyter Notebook; pikeun singgetan, dokumén anu didamel dina éditor ieu ogé sok disebut). Dina Jupyter, pamekar boga kasempetan pikeun nulis, debug jeung pariksa kinerja (kaasup ngagunakeun grafik) ngembangkeun AI / ML husus saméméh éta disimpen ("deployed") dina InterSystems IRIS. Jelas yén pamekaran anyar anu diciptakeun ku cara ieu ngan ukur nampi debugging dasar (sabab, khususna, Jupyter henteu tiasa dianggo sareng aliran data real-time) - ieu dina urutan hal, sabab hasil utama pangwangunan di Jupyter nyaéta konfirmasi tina operability dasar mékanisme AI / ML anu misah ("némbongkeun hasil anu dipiharep dina sampel data"). Nya kitu, mékanisme geus disimpen dina platform nu (tingali makro-mékanisme handap) saméméh debugging di Jupyter bisa merlukeun "rollback" kana formulir "pre-platform" (maca data tina file, gawé bareng data ngaliwatan xDBC tinimbang tabel, interaksi langsung sareng globals - arrays data multidimensional InterSystems IRIS - jsb).

Aspék penting tina palaksanaan CD di InterSystems IRIS: integrasi dua arah geus dilaksanakeun antara platform jeung Jupyter, sahingga eusi dina Python, R jeung Julia bisa dipindahkeun ka platform (jeung, salajengna, diolah dina platform nu) (tilu aya programming). basa dina basa open-source ngarah pakait). lingkungan modeling matematik sumber). Janten, pamekar eusi AI / ML ngagaduhan kasempetan pikeun ngalaksanakeun "penyebaran kontinyu" tina kontén ieu dina platform, damel di pangropéa Jupyter akrabna, kalayan perpustakaan akrab anu aya dina Python, R, Julia, sareng ngalaksanakeun debugging dasar (upami diperyogikeun) luar platform.

Hayu urang ngaléngkah ka mékanisme makro CI di InterSystems IRIS. Diagram nunjukkeun prosés makro tina "robotizer real-time" (kompléks struktur data, prosés bisnis sareng fragmen kode anu diatur ku aranjeunna dina basa matematika sareng ObjectScript - basa pangembangan asli InterSystems IRIS). Tugas prosés makro ieu nyaéta pikeun ngajaga antrian data anu dipikabutuh pikeun operasi mékanisme AI / ML (dumasar kana aliran data anu dikirimkeun ka platform sacara real waktos), nyandak kaputusan ngeunaan sekuen aplikasi sareng "campuran" AI / Mékanisme ML (aranjeunna ogé "algoritma matematika", "model", jsb. - tiasa disebat béda-béda gumantung kana spésifik palaksanaan sareng kahoyong terminologi), ngajaga struktur data dugi ka ayeuna pikeun nganalisa hasil karya AI / mékanisme ML (kubus, tabel, arrays data multidimensional, jsb) jeung sajabana - pikeun laporan, dashboards, jsb).

Aspék penting tina palaksanaan CI di InterSystems IRIS: integrasi bidirectional geus dilaksanakeun antara platform jeung lingkungan modeling matematik, ngamungkinkeun Anjeun pikeun ngaéksekusi eusi hosted dina platform di Python, Sunda jeung Julia di lingkungan masing-masing jeung narima deui hasil palaksanaan. Integrasi ieu dilaksanakeun boh dina "mode terminal" (nyaéta, eusi AI / ML dirumuskeun salaku kode ObjectScript anu nelepon ka lingkungan) sareng dina "mode prosés bisnis" (nyaéta, eusi AI / ML dirumuskeun salaku prosés bisnis. ngagunakeun éditor grafis, atawa sakapeung maké Jupyter, atawa maké IDE - IRIS Studio, Eclipse, Visual Studio Code). Ketersediaan prosés bisnis pikeun ngédit dina Jupyter digambarkeun ngaliwatan sambungan antara IRIS di tingkat CI jeung Jupyter di tingkat CD. Tinjauan anu langkung lengkep ngeunaan integrasi sareng lingkungan modeling matematika disayogikeun di handap. Dina tahap ieu, dina pamadegan urang, aya unggal alesan pikeun mastikeun yén platform nu boga sagala parabot diperlukeun pikeun ngalaksanakeun "integrasi kontinyu" kamajuan AI / ML (datang ti "deployment kontinyu") kana real-time AI / solusi ML.

Jeung mékanisme makro utama: CT. Tanpa éta, moal aya platform AI / ML (sanaos "nyata waktos" bakal dilaksanakeun ngaliwatan CD / CI). Intina CT nyaéta karya platform sareng "artefak" pembelajaran mesin sareng intelijen buatan langsung dina sési kerja lingkungan modél matematika: modél, tabel distribusi, vektor matriks, lapisan jaringan saraf, jsb. "Karya" ieu, dina kalolobaan kasus, diwangun ku nyiptakeun artefak anu disebatkeun dina lingkungan (dina kasus modél, contona, "nyiptakeun" diwangun ku netepkeun spésifikasi modél sareng pilihan salajengna tina nilai parameterna - nu disebut "latihan" modél), aplikasina (pikeun modél: itungan kalayan bantosan nilai "modél" variabel target - ramalan, kaanggotaan kategori, kamungkinan kajadian, jsb.) dijieun jeung diterapkeun artefak (contona, redefining susunan variabel input model dumasar kana hasil aplikasi - guna ngaronjatkeun akurasi forecasting, salaku hiji pilihan). Titik konci dina pamahaman peran CT nyaeta "abstraksi" na tina realitas CD jeung CI: CT bakal nerapkeun sagala artefak, fokus kana spésifik komputasi jeung matematik tina solusi AI / ML dina kamampuhan disadiakeun ku lingkungan husus. Tanggung jawab pikeun "nyadiakeun input" sareng "nganteurkeun kaluaran" bakal janten tanggung jawab CD sareng CI.

Aspék penting tina palaksanaan CT husus dina InterSystems IRIS: ngagunakeun integrasi jeung lingkungan modeling matematik geus disebutkeun di luhur, platform nu mibanda kamampuhan pikeun nimba artefak maranéhanana ti sesi gawé dijalankeun dina kontrol na di lingkungan matematik jeung (paling importantly) giliran. aranjeunna kana objék data platform. Contona, hiji méja distribusi nu kakarék dijieun dina sési Python gawé bisa jadi (tanpa eureun sési Python) ditransfer ka platform dina bentuk, contona, global (a multidimensional InterSystems IRIS data Asép Sunandar Sunarya) - sarta dipaké. pikeun itungan dina AI sejen / ML- mékanisme (dilaksanakeun dina basa lingkungan sejen - contona, dina basa Sunda) - atawa tabel virtual. Conto anu sanés: paralel sareng "mode normal" operasi modél (dina sési kerja Python), "Auto-ML" dilaksanakeun dina data inputna: pilihan otomatis variabel input optimal sareng nilai parameter. Sareng sareng latihan "biasa", modél produktif sacara real waktos ogé nampi "usul optimasi" spésifikasina - dimana set variabel input robih, nilai parameter robih (henteu deui salaku hasil tina latihan. dina Python, tapi salaku hasil tina latihan kalawan "alternatif" "versi sorangan, kayaning tumpukan H2O), sahingga sakabéh AI / solusi ML otonom Cope jeung parobahan teu kaduga dina alam data input sarta fenomena keur dimodelkeun. .

Hayu urang kenal langkung rinci sareng platform AI / ML fungsionalitas InterSystems IRIS, nganggo conto prototipe kahirupan nyata.

Dina diagram di handap, di sisi kénca slide aya bagian tina prosés bisnis anu ngalaksanakeun palaksanaan skrip dina Python sareng R. Dina bagian tengah aya log visual ngeunaan palaksanaan sababaraha naskah ieu, masing-masing. dina Python jeung R. Langsung balik aranjeunna conto eusi dina hiji jeung basa sejen, ditransfer pikeun palaksanaan ka lingkungan luyu. Di tungtung beulah katuhu aya visualisasi dumasar kana hasil palaksanaan naskah. Visualisasi di luhur dilakukeun dina IRIS Analytics (data dicandak tina Python kana platform data InterSystems IRIS sareng ditampilkeun dina dasbor nganggo platform), di handapna dilakukeun langsung dina sési damel sareng kaluaran ti dinya ka file grafis. . Aspék penting: sempalan anu dibere dina prototipe tanggung jawab pikeun ngalatih modél (klasifikasi nagara-nagara peralatan) dina data anu ditampi sacara real waktos tina prosés simulator alat, dumasar kana paréntah tina prosés monitor kualitas klasifikasi anu dititénan nalika nerapkeun modél. Palaksanaan solusi AI / ML dina bentuk sakumpulan prosés interaksi ("agén") bakal dibahas salajengna.

angka 12 Interaksi jeung Python, Sunda jeung Julia di InterSystems IRIS

Prosés platform (aranjeunna ogé "prosés bisnis", "prosés analitik", "pipelines", jsb - gumantung kana konteks), mimitina, diédit dina pangropéa prosés bisnis grafis dina platform sorangan, sarta dina misalna hiji. cara nu duanana diagram blok na jeung mékanisme AI / ML pakait (kode program) dijieun sakaligus. Nalika urang nyarios yén "mékanisme AI / ML dicandak," urang mimitina hartosna hibriditas (dina hiji prosés): eusi dina basa lingkungan modeling matematika padeukeut sareng eusi dina SQL (kalebet ekstensi ti IntegratedML), dina InterSystems ObjectScript, sareng basa anu dirojong sanés. Leuwih ti éta, prosés platform nyadiakeun kasempetan pisan lega pikeun "rendering" dina bentuk fragmen hirarki nested (sakumaha bisa ditempo dina conto dina diagram di handap), nu ngidinan Anjeun pikeun éféktif ngatur eusi malah pisan kompléks tanpa pernah "ragrag kaluar" tina format grafis (kana "non-grafis" format). » métode/kelas/prosedur, jsb). Nyaéta, upami diperyogikeun (sareng diramalkeun dina kalolobaan proyék), leres pisan sadayana solusi AI / ML tiasa dilaksanakeun dina format ngadokumentasikeun diri grafis. Punten dicatet yén dina bagian tengah diagram di handap ieu, anu ngagambarkeun "tingkat nyarang" anu langkung luhur, écés yén salian karya sabenerna ngalatih modél (ngagunakeun Python sareng R), analisa anu disebut. Kurva ROC model dilatih ditambahkeun, sahingga visually (jeung komputasi teuing) evaluate kualitas latihan - sarta analisis ieu dilaksanakeun dina basa Julia (dieksekusi, sasuai, dina lingkungan matematik Julia).

Angka 13 Lingkungan visual pikeun komposisi solusi AI / ML dina InterSystems IRIS

Salaku disebutkeun tadi, ngembangkeun awal jeung (dina sababaraha kasus) adaptasi mékanisme AI / ML geus dilaksanakeun dina platform bakal / bisa dipigawé di luar platform dina editor Jupyter. Dina diagram di handap ieu kami ningali conto adaptasi prosés platform anu aya (sarua sareng dina diagram di luhur) - ieu mangrupikeun sempalan anu tanggung jawab pikeun ngalatih modél sapertos di Jupyter. Eusi Python sayogi pikeun ngédit, debugging, sareng kaluaran grafik langsung di Jupyter. Parobihan (upami diperyogikeun) tiasa dilakukeun kalayan sinkronisasi instan kana prosés platform, kalebet versi produktifna. Eusi anyar tiasa ditransfer kana platform ku cara anu sami (prosés platform énggal sacara otomatis dibangkitkeun).

Gambar 14 Ngagunakeun Jupyter Notebook pikeun ngédit mesin AI/ML dina platform InterSystems IRIS

Adaptasi prosés platform tiasa dilakukeun henteu ngan ukur dina format grafis atanapi laptop - tapi ogé dina format "total" IDE (Integrated Development Environment). IDE ieu nyaéta IRIS Studio (studio IRIS asli), Visual Studio Code (InterSystems IRIS extension pikeun VSCode) sareng Eclipse (Atelier plugin). Dina sababaraha kasus, kasebut nyaéta dimungkinkeun pikeun tim ngembangkeun ngagunakeun sakabeh tilu IDEs sakaligus. Diagram di handap ieu nunjukkeun conto ngedit prosés anu sami di studio IRIS, dina Visual Studio Code sareng di Eclipse. Leres pisan sadaya eusi sayogi pikeun ngédit: Python/R/Julia/SQL, ObjectScript, sareng prosés bisnis.

Angka 15 Ngembangkeun prosés bisnis InterSystems IRIS dina sagala rupa IDE

Alat pikeun ngajelaskeun sareng ngalaksanakeun prosés bisnis InterSystems IRIS dina Business Process Language (BPL) pantes disebatkeun khusus. BPL ngamungkinkeun ngagunakeun "komponén integrasi siap-dijieun" (aktivitas) dina prosés bisnis - anu, dina kanyataanana, masihan unggal alesan pikeun nyebutkeun yén "integrasi kontinyu" dilaksanakeun dina InterSystems IRIS. Komponén prosés bisnis anu siap (kagiatan sareng sambungan antara aranjeunna) mangrupikeun akselerator anu kuat pikeun ngarakit solusi AI / ML. Sareng henteu ngan ukur majelis: hatur nuhun kana kagiatan sareng sambungan antara aranjeunna dina pamekaran sareng mékanisme AI / ML anu béda, timbul "lapisan manajemén otonom", anu tiasa nyandak kaputusan dumasar kana kaayaan, sacara real waktos.

Gambar 16 Komponén prosés bisnis siap pikeun integrasi kontinyu (CI) dina platform InterSystems IRIS

Konsep sistem agén (ogé katelah "sistem multi-agén") boga posisi kuat dina robotization, sarta platform InterSystems IRIS organically ngarojong eta ngaliwatan "produk-prosés" ngawangun. Salian kamungkinan anu henteu terbatas pikeun "isi" unggal prosés kalayan pungsionalitas anu dipikabutuh pikeun solusi umum, nyayogikeun sistem prosés platform kalayan hak milik "agénsi" ngamungkinkeun anjeun nyiptakeun solusi anu épéktip pikeun fenomena simulasi anu teu stabil (perilaku sosial / sosial). biosistem, prosés téhnologis sawaréh bisa diobservasi, jsb).

Gambar 16 Operasi solusi AI/ML salaku sistem prosés bisnis dumasar-agén dina InterSystems IRIS

Kami neraskeun ulasan ngeunaan InterSystems IRIS kalayan carita ngeunaan panggunaan platform anu diterapkeun pikeun ngarengsekeun sakumna kelas masalah sacara real-time (perkenalan anu cukup lengkep pikeun sababaraha prakték pangsaéna tina platform AI / ML dina InterSystems IRIS tiasa dipendakan dina hiji. ti baheula urang webinars).

Panas dina heels tina diagram saméméhna, handap mangrupa diagram leuwih detil rupa sistem agén. Diagram nunjukkeun prototipe anu sami, sadayana opat prosés agén katingali, hubungan antara aranjeunna digambar sacara skématik: GENERATOR - prosés nyiptakeun data ku sénsor peralatan, BUFFER - ngatur antrian data, ANALYZER - ngalaksanakeun pembelajaran mesin sorangan, MONITOR - ngawaskeun kualitas pembelajaran mesin sareng ngirimkeun sinyal ngeunaan kabutuhan pikeun ngalatih deui modél.

Gambar 17 Komposisi solusi AI/ML dina wangun sistem prosés bisnis dumasar-agén dina InterSystems IRIS

Diagram di handap ieu ngagambarkeun fungsi otonom tina prototipe robotic sejen (pangakuan ngawarnaan émosional téks) pikeun sawatara waktu. Di bagean luhur nyaéta évolusi indikator kualitas latihan modél (kualitas ngembang), di bagian handap nyaéta dinamika indikator kualitas aplikasi modél jeung fakta latihan ulang (belang beureum). Sakumaha anjeun tiasa tingali, leyuran geus diajar sorangan éfisién tur otonom, sarta beroperasi dina tingkat kualitas nu tangtu (nilai skor kualitas teu turun handap 80%).

Gambar 18 Continuous (self-) training (CT) on the InterSystems IRIS platform

Urang ogé disebutkeun "otomatis-ML" saméméhna, tapi diagram di handap nembongkeun pamakéan pungsi ieu di jéntré ngagunakeun conto prototipe sejen. Diagram grafis tina fragmen prosés bisnis nunjukkeun kagiatan anu memicu modeling dina tumpukan H2O, nunjukkeun hasil modél ieu (dominasi anu jelas tina modél anu dihasilkeun tina modél "jieunan manusa", dumasar kana diagram komparatif tina kurva ROC, kitu ogé idéntifikasi otomatis tina "variabel paling boga pangaruh" sadia dina set data aslina). Titik penting di dieu nyaéta ngahemat waktos sareng sumber daya ahli anu dihontal ku "otomatis-ML": naon anu dilakukeun ku prosés platform kami dina satengah menit (manggihan sareng ngalatih modél optimal) tiasa nyandak ahli ti saminggu ka sabulan.

Gambar 19 Integrasi "auto-ML" kana solusi AI/ML dina platform InterSystems IRIS

Diagram di handap ieu rada sono kana titik, tapi éta cara anu saé pikeun ngeureunkeun carita ngeunaan kelas-kelas masalah real-time anu direngsekeun: kami ngingetkeun yén kalayan sagala kamampuan platform InterSystems IRIS, modél latihan anu dikadalikeun nyaéta teu wajib. Platform tiasa nampi ti luar anu disebut spésifikasi modél PMML, dilatih dina alat anu henteu dikadalikeun platform - sareng nerapkeun modél ieu sacara real waktos ti mimiti diimpor. spésifikasi PMML. Kadé tumut kana akun nu teu kabeh AI / artefak ML bisa diréduksi jadi hiji spésifikasi PMML, sanajan lolobana artefak paling umum ngidinan ieu. Ku kituna, platform InterSystems IRIS nyaéta "loop kabuka" sareng henteu hartosna "perbudakan platform" pikeun pangguna.

Gambar 20 Integrasi "auto-ML" kana solusi AI/ML dina platform InterSystems IRIS

Hayu urang daptar kaunggulan platform tambahan tina InterSystems IRIS (pikeun kajelasan, dina hubungan kontrol prosés), anu penting pisan dina otomatisasi kecerdasan jieunan sareng pembelajaran mesin sacara real-time:

• Alat integrasi anu dikembangkeun sareng sumber data sareng konsumen (sistem kontrol prosés / SCADA, peralatan, MRO, ERP, jsb.)
• Diwangun multi-model DBMS pikeun pamrosésan transaksional sareng analitik berprestasi tinggi (Transaksi Hibrid/Pamrosesan Analitik, HTAP) tina volume naon waé data prosés téknologi
• Alat pamekaran pikeun panyebaran kontinyu mesin AI / ML pikeun solusi waktos nyata dumasar kana Python, R, Julia
• Prosés bisnis adaptif pikeun integrasi kontinyu sareng (self-) diajar mesin solusi AI/ML sacara real-time
• Alat Intelijen Bisnis anu diwangun pikeun ngabayangkeun data prosés sareng hasil tina solusi AI / ML
• Manajemén API pikeun ngirimkeun hasil solusi AI / ML pikeun ngolah sistem kontrol / SCADA, inpormasi sareng sistem analitik, ngirim béwara, jsb.

Solusi AI/ML dina platform InterSystems IRIS gampang pas kana infrastruktur IT anu aya. Platform InterSystems IRIS mastikeun réliabilitas luhur solusi AI / ML ku ngadukung konfigurasi toleran sareng bencana sareng panyebaran anu fleksibel dina lingkungan virtual, dina server fisik, dina awan pribadi sareng umum, sareng wadah Docker.

Janten, InterSystems IRIS mangrupikeun platform komputasi AI/ML sacara real-time universal. Universalitas platform kami dikonfirmasi dina prakna ku henteuna larangan de facto dina pajeulitna itungan anu dilaksanakeun, kamampuan InterSystems IRIS pikeun ngagabungkeun (real time) ngolah skénario tina rupa-rupa industri, sareng adaptasi luar biasa tina sagala fungsi platform jeung mékanisme pikeun kaperluan husus pamaké.

Gambar 21 InterSystems IRIS - platform komputasi AI/ML sacara real-time universal

Pikeun interaksi anu langkung substantif sareng pamiarsa urang anu resep kana bahan anu disayogikeun di dieu, kami nyarankeun yén anjeun henteu ngabatesan diri maca sareng neraskeun dialog "hirup". Kami bakal bagja nyayogikeun pangrojong pikeun nyusun skenario AI / ML sacara real-time anu aya hubunganana sareng spésifik perusahaan anjeun, ngalaksanakeun prototipe gabungan dina platform InterSystems IRIS, ngarumuskeun sareng nerapkeun dina prakték peta jalan pikeun ngenalkeun intelijen buatan sareng pembelajaran mesin. kana prosés produksi sareng manajemén anjeun. Email Kontak Tim Ahli AI/ML kami - [email dijaga].

sumber: www.habr.com