InterSystems IRIS - platform AI/ML wektu nyata universal

Pengarang: Sergey Lukyanchikov, insinyur konsultan ing InterSystems

Panggilan komputasi AI/ML wektu nyata

Ayo diwiwiti kanthi conto saka pengalaman praktik Ilmu Data ing InterSystems:

• Portal panuku sing dimuat disambungake menyang sistem rekomendasi online. Bakal ana restrukturisasi promosi ing jaringan ritel (contone, tinimbang baris promosi "flat", matriks "taktik segmen" saiki bakal digunakake). Apa sing kedadeyan karo mesin rekomendasi? Apa sing kedadeyan nalika ngirim lan nganyari data menyang mesin rekomendasi (volume data input wis tambah kaping 25000)? Apa sing kedadeyan karo pangembangan rekomendasi (kebutuhan kanggo nyuda ambang panyaring aturan rekomendasi kanthi sewu amarga tambah sewu ing jumlah lan "rentang")?
• Ana sistem kanggo ngawasi kemungkinan cacat berkembang ing komponen peralatan. Sistem kontrol proses otomatis disambungake menyang sistem pemantauan, ngirimake ribuan parameter proses teknologi saben detik. Apa sing kedadeyan ing sistem ngawasi sing sadurunge nggarap "sampel manual" (apa bisa nyedhiyakake pemantauan kemungkinan kaping pindho)? Apa sing bakal kedadeyan yen blok anyar sawetara atus kolom katon ing data input kanthi maca saka sensor sing bubar ditambahake menyang sistem kontrol proses (apa perlu lan suwene kanggo mungkasi sistem ngawasi kanggo nyakup data saka sensor anyar ing analisis )?
• Sakumpulan mekanisme AI / ML (rekomendasi, pemantauan, prakiraan) wis digawe sing nggunakake asil karya saben liyane. Pira jam kerja sing dibutuhake saben wulan kanggo ngganti operasi kompleks iki kanggo owah-owahan data input? Apa "slowdown" umum nalika didhukung dening kompleks pengambilan keputusan manajemen (frekuensi kedadeyan informasi pendukung anyar ing babagan frekuensi kedadeyan data input anyar)?

Ngringkes iki lan akeh conto liyane, kita wis teka ing rumusan tantangan sing muncul nalika pindhah menyang nggunakake machine learning lan mekanisme intelijen buatan ing wektu nyata:

• Apa kita puas karo kacepetan nggawe lan adaptasi (kanggo kahanan sing owah) saka perkembangan AI / ML ing perusahaan kita?
• Pira solusi AI/ML sing digunakake ndhukung manajemen bisnis wektu nyata?
• Apa solusi AI/ML sing digunakake bisa adaptasi kanthi mandiri (tanpa pangembang) karo owah-owahan ing data lan praktik manajemen bisnis?

Artikel kita minangka ringkesan lengkap babagan kemampuan platform InterSystems IRIS babagan dhukungan universal kanggo panyebaran mekanisme AI/ML, perakitan (integrasi) solusi AI/ML, lan latihan (uji coba) solusi AI/ML babagan intensif. aliran data. Kita bakal nliti riset pasar, studi kasus solusi AI/ML, lan aspek konseptual sing diarani platform AI/ML wektu nyata ing artikel iki.

Apa sing kita ngerti saka survey: aplikasi wektu nyata

Результаты surveysing ditindakake ing antarane meh 800 profesional IT ing taun 2019 dening Lightbend, ngomong dhewe:

Gambar 1 Konsumen utama data wektu nyata

Ayo kita ngutip fragmen penting saka laporan babagan asil survey iki ing terjemahan kita:

"... Tren popularitas alat kanggo nggabungake aliran data lan, ing wektu sing padha, ndhukung komputasi ing wadhah nyedhiyakake respon sinergis kanggo panjaluk pasar kanggo proposal sing luwih responsif, rasional, dinamis kanggo solusi efektif. Data streaming ngirim informasi luwih cepet tinimbang data paket tradisional. Ditambahake iki yaiku kemampuan kanggo ngetrapake metode komputasi kanthi cepet, kayata, contone, rekomendasi berbasis AI / ML, nggawe kaluwihan kompetitif liwat kepuasan pelanggan sing tambah. Lomba kanggo ketangkasan uga mengaruhi kabeh peran ing paradigma DevOps - nggawe pangembangan lan panyebaran aplikasi luwih efisien. … Wolung atus papat profesional IT nyedhiyakake informasi babagan panggunaan aliran data ing organisasi. Responden umume dumunung ing negara-negara Kulon (41% ing Eropah lan 37% ing Amerika Utara) lan meh padha disebarake antarane perusahaan cilik, medium lan gedhe. ...

... Artificial intelligence ora hype. Sèket wolu persen sing wis nggunakake pangolahan stream data ing produktivitas aplikasi AI / ML negesake manawa panggunaan AI / ML bakal tuwuh paling gedhe ing taun ngarep (dibandhingake karo aplikasi liyane).

• Miturut mayoritas responden, panggunaan aliran data ing skenario AI / ML bakal tuwuh paling gedhe ing taun ngarep.
• Aplikasi ing AI / ML bakal tuwuh ora mung amarga jinis skenario sing relatif anyar, nanging uga amarga skenario tradisional sing data wektu nyata tambah akeh digunakake.
• Saliyane AI / ML, tingkat antusiasme ing antarane pangguna pipa data IoT nyengsemaken - 48% saka wong-wong sing wis nggabungake data IoT ujar manawa implementasi skenario ing data iki bakal nambah signifikan ing mangsa ngarep. ... "

Saka survey sing rada menarik iki, jelas yen pemahaman babagan mesin sinau lan skenario intelijen buatan minangka pimpinan ing konsumsi aliran data wis "ing dalan." Nanging pengamatan sing padha penting yaiku persepsi AI / ML wektu nyata liwat lensa DevOps: ing kene kita wis bisa miwiti ngomong babagan transformasi budaya "AI / ML sing bisa digunakke kanthi set data sing bisa diakses kanthi lengkap."

Konsep platform AI/ML wektu nyata

Salah sawijining area aplikasi khas kanggo AI / ML wektu nyata yaiku kontrol proses ing manufaktur. Nggunakake conto dheweke lan nimbang pikirane sadurunge, kita bakal ngrumusake konsep platform AI / ML nyata-wektu.
Panggunaan intelijen buatan lan pembelajaran mesin ing kontrol proses nduweni sawetara fitur:

• Data babagan kahanan proses teknologi ditampa kanthi intensif: kanthi frekuensi dhuwur lan kanggo macem-macem parameter (nganti puluhan ewu nilai parameter sing dikirim saben detik saka sistem kontrol proses)
• Data babagan identifikasi cacat, ora kanggo sebutno data babagan pangembangane, sebaliknya, langka lan ora teratur, ditondoi kanthi typification cacat sing ora cukup lan lokalisasi ing wektu (asring diwakili dening cathetan kertas)
• Saka sudut pandang praktis, mung "jendhela relevansi" data sumber sing kasedhiya kanggo latihan lan nglamar model, nggambarake dinamika proses teknologi sajrone interval geser sing cukup sing diakhiri karo nilai maca pungkasan paramèter proses.

Fitur kasebut meksa kita, saliyane nampa lan pangolahan dhasar ing wektu nyata "sinyal input broadband" intensif saka proses teknologi, kanggo nindakake (sejajar) aplikasi, latihan lan kontrol kualitas asil AI / Model ML - uga ing wektu nyata. "Pigura" sing model kita "ndeleng" ing jendela geser relevansi terus saya ganti - lan kanthi mangkono, kualitas asil karya model AI / ML sing dilatih ing salah sawijining "bingkai" ing jaman kepungkur uga owah. . Yen kualitas asil karya model AI / ML saya rusak (contone: nilai kesalahan klasifikasi "alarm-norma" wis ngluwihi watesan sing wis ditemtokake), latihan tambahan model kudu diluncurake kanthi otomatis ing "pigura" sing luwih saiki - lan pilihan wektu kanggo miwiti latihan tambahan model kudu nganggep kepiye durasi latihan kasebut, lan dinamika rusak ing kualitas karya model saiki (wiwit versi model saiki terus digunakake nalika model dilatih, lan nganti versi "mentas dilatih" dibentuk).

InterSystems IRIS nduweni kemampuan platform utama kanggo ngaktifake solusi AI/ML kanggo kontrol proses wektu nyata. Kapabilitas kasebut bisa dipérang dadi telung klompok utama:

• Penyebaran terus (Continuous Deployment/Delivery, CD) saka mekanisme AI/ML sing anyar utawa diadaptasi dadi solusi produktif sing beroperasi ing wektu nyata ing platform InterSystems IRIS
• Integrasi Terus (CI) dadi solusi produktif siji aliran data proses teknologi sing mlebu, antrian data kanggo aplikasi / pelatihan / kontrol kualitas mekanisme AI / ML lan ijol-ijolan data / kode / tumindak kontrol karo lingkungan modeling matematika, diatur ing wektu nyata. platform InterSystems IRIS
• Latihan terus (self-) (Continuous Training, CT) mekanisme AI/ML, dileksanakake ing lingkungan modeling matematika nggunakake data, kode lan tumindak kontrol ("keputusan digawe") sing dikirim dening platform InterSystems IRIS

Klasifikasi kapabilitas platform sing ana hubungane karo pembelajaran mesin lan intelijen buatan dadi klompok kasebut ora sengaja. Ayo kita ngutip metodologis publikasi Google, sing nyedhiyakake basis konsep kanggo klasifikasi iki, ing terjemahan kita:

"... Konsep DevOps, sing populer saiki, kalebu pangembangan lan operasi sistem informasi skala gedhe. Kauntungan saka ngleksanakake konsep iki yaiku nyuda durasi siklus pangembangan, panyebaran pangembangan sing luwih cepet, lan keluwesan ing perencanaan rilis. Kanggo entuk keuntungan kasebut, DevOps melu implementasine paling ora rong praktik:

• Integrasi Kontinu (CI)
• Pangiriman Terus-terusan (CD)

Praktek kasebut uga ditrapake kanggo platform AI/ML kanggo mesthekake perakitan solusi AI/ML sing produktif lan dipercaya.

Platform AI/ML beda karo sistem informasi liyane ing aspek ing ngisor iki:

• Kompetensi tim: Nalika nggawe solusi AI / ML, tim biasane kalebu ilmuwan data utawa ahli "akademik" ing bidang riset data sing nganakake analisis data, ngembangake lan nguji model. Anggota tim kasebut bisa uga ora dadi pangembang kode produktif profesional.
• Pangembangan: Mesin AI / ML sifate eksperimen. Kanggo ngatasi masalah kanthi cara sing paling efisien, perlu ngliwati macem-macem kombinasi variabel input, algoritma, metode pemodelan lan paramèter model. Kerumitan telusuran kasebut ana ing nelusuri "apa sing kerjane / ora bisa", njamin reproduksibilitas episode, generalisasi pangembangan kanggo implementasine bola-bali.
• Tes: Tes mesin AI/ML mbutuhake tes sing luwih akeh tinimbang pangembangan liyane. Saliyane tes unit standar lan integrasi, validitas data lan kualitas asil aplikasi model kanggo conto latihan lan kontrol diuji.
• Panyebaran: Panyebaran solusi AI/ML ora diwatesi kanggo layanan prediktif sing nggunakake model sing wis dilatih. Solusi AI/ML dibangun ing sekitar pipa multi-tataran sing nindakake latihan lan aplikasi model otomatis. Nyebarake saluran pipa kasebut kalebu ngotomatisasi tumindak sing ora pati penting sing biasane ditindakake kanthi manual dening ilmuwan data supaya bisa nglatih lan nguji model.
• Produktivitas: Mesin AI/ML bisa kekurangan produktivitas ora mung amarga pemrograman sing ora efisien, nanging uga amarga data input sing terus-terusan ganti. Ing tembung liyane, kinerja mekanisme AI / ML bisa mudhun amarga sawetara alasan sing luwih akeh tinimbang kinerja pembangunan konvensional. Sing ndadékaké perlu kanggo ngawasi (online) kinerja mesin AI/ML kita, uga ngirim tandha utawa nolak asil yen indikator kinerja ora cocog karo pangarepan.

Platform AI/ML padha karo sistem informasi liyane amarga mbutuhake integrasi kode sing terus-terusan karo kontrol versi, testing unit, testing integrasi, lan panyebaran pembangunan sing terus-terusan. Nanging, ing kasus AI / ML, ana sawetara beda penting:

• CI (Integrasi Terus-terusan) ora diwatesi maneh kanggo nguji lan validasi kode komponen sing disebarake - uga kalebu tes lan validasi data lan model AI/ML.
• CD (Pangiriman / Penyebaran Terus-terusan, penyebaran terus-terusan) ora diwatesi kanggo nulis lan ngeculake paket utawa layanan, nanging nuduhake platform kanggo komposisi, latihan lan aplikasi solusi AI / ML.
• CT (Continuous Training, continuous training) minangka unsur anyar [approx. penulis artikel: unsur anyar sing ana hubungane karo konsep tradisional DevOps, ing ngendi CT, minangka aturan, Pengujian Terus-terusan], sing ana ing platform AI / ML, tanggung jawab kanggo manajemen otonomi mekanisme kanggo latihan lan nglamar AI /Model ML. ... "

Kita bisa nyatakake yen pembelajaran mesin lan intelijen buatan sing digunakake ing data wektu nyata mbutuhake alat lan kompetensi sing luwih akeh (saka pangembangan kode nganti orkestrasi lingkungan modeling matematika), integrasi sing luwih cedhak antarane kabeh wilayah fungsional lan subyek, organisasi manungsa lan manungsa sing luwih efisien. sumber daya mesin.

Skenario nyata-wektu: ngenali pangembangan cacat ing pompa feed

Terus nggunakake area kontrol proses minangka conto, nimbang masalah tartamtu (kita wis kasebut ing wiwitan banget): kita kudu nyedhiyakake pemantauan nyata-wektu pangembangan cacat ing pompa adhedhasar aliran nilai parameter proses. lan laporan saka personel ndandani babagan cacat sing diidentifikasi.

Gambar 2 Rumusan masalah kanggo ngawasi perkembangan cacat

Fitur paling akeh tugas sing ditindakake kanthi cara iki ing praktik yaiku keteraturan lan efisiensi panrimo data (APCS) kudu dianggep kanthi latar mburi kedadeyan episodik lan ora teratur (lan registrasi) saka cacat saka macem-macem jinis. Ing tembung liyane: data saka sistem kontrol proses teka sapisan detik, bener lan akurat, lan cathetan bab cacat digawe karo potlot kimia sing nuduhake tanggal ing notebook umum ing bengkel (contone: "12.01 - bocor menyang tutup. saka sisih bantalan kaping 3 ").

Mangkono, kita bisa nambah rumusan masalah karo watesan penting ing ngisor iki: kita duwe mung siji "label" saka cacat saka jinis tartamtu (ie, conto saka cacat saka jinis tartamtu dituduhake dening data saka kontrol proses. sistem ing tanggal tartamtu - lan kita ora duwe conto liyane saka cacat saka jinis tartamtu). Watesan iki langsung nggawa kita ngluwihi ruang lingkup pembelajaran mesin klasik (pembelajaran sing diawasi), sing kudu ana akeh "tag".

Gambar 3 Klarifikasi tugas ngawasi perkembangan cacat

Apa kita bisa "multiply" mung "tag" ing pembuangan kita? Ya kita bisa. Kondisi pompa saiki ditondoi kanthi tingkat mirip karo cacat sing didaftar. Sanajan tanpa nggunakake metode kuantitatif, ing tingkat persepsi visual, kanthi mirsani dinamika nilai data sing teka saka sistem kontrol proses, sampeyan wis bisa sinau akeh:

Gambar 4 Dinamika kondisi pompa ing latar mburi "tandha" saka cacat saka jinis tartamtu

Nanging persepsi visual (paling ora saiki) dudu generator "tag" sing paling cocok ing skenario kita kanthi cepet. Kita bakal ngevaluasi kamiripan kondisi pompa saiki karo cacat sing dilaporake nggunakake tes statistik.

Gambar 5 Nerapake tes statistik kanggo data sing mlebu ing latar mburi "label" cacat

Tes statistik nemtokake kemungkinan yen cathetan kanthi nilai parameter proses teknologi ing "paket aliran" sing ditampa saka sistem kontrol proses padha karo cathetan "tag" saka cacat saka jinis tartamtu. Nilai probabilitas (indeks mirip statistik) sing diwilang minangka asil saka aplikasi tes statistik diowahi dadi nilai 0 utawa 1, dadi "label" kanggo machine learning ing saben rekaman tartamtu ing paket sing ditliti kanggo mirip. Yaiku, sawise ngolah paket rekaman negara pompa sing mentas ditampa kanthi tes statistik, kita duwe kesempatan kanggo (a) nambah paket iki menyang set latihan kanggo latihan model AI / ML lan (b) nindakake kontrol kualitas versi model saiki nalika digunakake kanggo paket iki.

Gambar 6 Nerapake model pembelajaran mesin menyang data sing mlebu ing latar mburi "label" cacat

Ing salah siji saka kita sadurunge webinars Kita nuduhake lan nerangake carane platform InterSystems IRIS ngidini sampeyan ngleksanakake mekanisme AI / ML ing wangun terus-terusan nglakokake proses bisnis sing ngawasi linuwih saka asil modeling lan ngganti parameter model. Nalika ngetrapake prototipe skenario kita nganggo pompa, kita nggunakake kabeh fungsi InterSystems IRIS sing disajikake sajrone webinar - dileksanakake ing proses analisa minangka bagian saka solusi kita ora sinau sing diawasi klasik, nanging sinau penguatan, sing kanthi otomatis ngatur pilihan kanggo model latihan. . Sampel latihan ngemot cathetan sing ana "konsensus deteksi" sawise ngetrapake uji statistik lan versi model saiki - yaiku, tes statistik (sawise ngowahi indeks kamiripan dadi 0 utawa 1) lan model ngasilake asil. ing cathetan kasebut 1. Sajrone latihan model anyar, sajrone validasi (model sing mentas dilatih ditrapake kanggo sampel latihan dhewe, kanthi aplikasi awal saka tes statistik kasebut), cathetan sing "ora nahan" asil 1 sawise diproses kanthi tes statistik (amarga anané pancet ing latihan sampel rekaman saka "label" asli saka cacat), dibusak saka set latihan, lan versi anyar model sinau saka "label" saka cacat plus cathetan "ditahan" saka stream.

Gambar 7 Robotisasi petungan AI/ML ing InterSystems IRIS

Yen ana perlu kanggo jinis "panemu kapindho" babagan kualitas deteksi sing dipikolehi sajrone petungan lokal ing InterSystems IRIS, proses penasihat digawe kanggo nindakake latihan lan aplikasi model ing dataset kontrol nggunakake layanan maya (contone, Microsoft Azure, Layanan Web Amazon, Google Cloud Platform, lsp):

Gambar 8 Panemu Kapindho saka Microsoft Azure diatur dening InterSystems IRIS

Prototipe skenario kita ing InterSystems IRIS dirancang minangka sistem proses analitis adhedhasar agen sing sesambungan karo obyek peralatan (pompa), lingkungan pemodelan matematika (Python, R lan Julia), lan njamin sinau mandiri kabeh AI / Mekanisme ML - ing aliran data wektu nyata.

Gambar 9 Fungsi utama solusi AI/ML wektu nyata ing InterSystems IRIS

Asil praktis saka prototipe kita:

• Cacat conto sing diakoni dening model (12 Januari):

• Cacat berkembang sing diakoni dening model sing ora kalebu ing sampel (11 September, cacat kasebut diidentifikasi dening tim perbaikan mung rong dina sabanjure, ing 13 September):

Simulasi data nyata sing ngemot sawetara episode saka cacat sing padha nuduhake yen solusi kita, sing ditindakake ing platform InterSystems IRIS, ngidini kita ngenali pangembangan cacat jinis iki sawetara dina sadurunge dideteksi dening tim perbaikan.

InterSystems IRIS - platform komputasi AI/ML wektu nyata universal

Platform InterSystems IRIS nyederhanakake pangembangan, panyebaran lan operasi solusi data wektu nyata. InterSystems IRIS bisa nindakake pangolahan data transaksional lan analitis kanthi bebarengan; ndhukung tampilan data sing disinkronake miturut macem-macem model (kalebu relasional, hirarkis, obyek lan dokumen); tumindak minangka platform kanggo nggabungake macem-macem sumber data lan aplikasi individu; nyedhiyakake analytics wektu nyata sing canggih babagan data terstruktur lan ora terstruktur. InterSystems IRIS uga nyedhiyakake mekanisme kanggo nggunakake alat analitik eksternal lan ngidini kombinasi hosting sing fleksibel ing awan lan ing server lokal.

Aplikasi sing dibangun ing platform InterSystems IRIS disebarake ing macem-macem industri, ngewangi perusahaan mujudake keuntungan ekonomi sing signifikan saka perspektif strategis lan operasional, nambah nggawe keputusan sing ngerti lan nyepetake kesenjangan ing antarane acara, analisis lan tumindak.

Gambar 10 InterSystems arsitektur IRIS ing konteks AI/ML wektu nyata

Kaya diagram sadurunge, diagram ing ngisor iki nggabungake "sistem koordinat" anyar (CD / CI / CT) kanthi diagram aliran informasi antarane unsur kerja ing platform. Visualisasi kasebut diwiwiti kanthi CD makromekanisme lan terus karo makromekanisme CI lan CT.

Gambar 11 Diagram informasi mili antarane unsur AI/ML saka platform InterSystems IRIS

Inti saka mekanisme CD ing InterSystems IRIS: pangguna platform (pangembang solusi AI / ML) adaptasi sing wis ana lan / utawa nggawe pangembangan AI / ML anyar nggunakake editor kode khusus kanggo mekanisme AI / ML: Jupyter (jeneng lengkap: Jupyter Notebook; kanggo ringkesan, dokumen sing digawe ing editor iki uga kadhangkala disebut). Ing Jupyter, pangembang duwe kesempatan kanggo nulis, debug lan verifikasi kinerja (kalebu nggunakake grafis) pangembangan AI / ML tartamtu sadurunge diselehake ("disebarake") ing InterSystems IRIS. Cetha yen pangembangan anyar sing digawe kanthi cara iki mung bakal nampa debugging dhasar (amarga, utamane, Jupyter ora bisa digunakake karo aliran data wektu nyata) - iki ana ing urutan, amarga asil utama pangembangan ing Jupyter yaiku konfirmasi operabilitas dhasar saka mekanisme AI / ML sing kapisah ("nuduhake asil sing dikarepake ing sampel data"). Kajaba iku, mekanisme sing wis diselehake ing platform (ndeleng mekanisme makro ing ngisor iki) sadurunge debugging ing Jupyter bisa uga mbutuhake "mundur" menyang formulir "pra-platform" (maca data saka file, nggarap data liwat xDBC tinimbang tabel, interaksi langsung karo global - array data multidimensi InterSystems IRIS - etc.).

Aspek penting saka implementasi CD ing InterSystems IRIS: integrasi bidirectional wis dileksanakake antarane platform lan Jupyter, saéngga isi ing Python, R lan Julia bisa ditransfer menyang platform (lan, salajengipun, diproses ing platform) (telu iku program basa ing basa open-source anjog sing cocog). lingkungan modeling matématika sumber). Mangkono, pangembang konten AI / ML duwe kesempatan kanggo nindakake "penyebaran terus-terusan" konten iki ing platform, nggarap editor Jupyter sing akrab, kanthi perpustakaan akrab sing kasedhiya ing Python, R, Julia, lan nindakake debugging dhasar (yen perlu) njaba platform.

Ayo pindhah menyang mekanisme makro CI ing InterSystems IRIS. Diagram kasebut nuduhake proses makro "robotizer wektu nyata" (kompleks struktur data, proses bisnis lan fragmen kode sing diatur ing basa matematika lan ObjectScript - basa pangembangan asli InterSystems IRIS). Tugas proses makro iki yaiku njaga antrian data sing dibutuhake kanggo operasi mekanisme AI / ML (adhedhasar aliran data sing dikirim menyang platform kanthi wektu nyata), nggawe keputusan babagan urutan aplikasi lan "macem-macem" AI / Mekanisme ML (uga "algoritma matematika", "model", lan liya-liyane - bisa diarani beda-beda gumantung saka spesifik implementasine lan preferensi terminologi), supaya struktur data tetep anyar kanggo nganalisa asil karya AI / Mekanisme ML (kubus, tabel, susunan data multidimensi, lsp.) lsp - kanggo laporan, dashboard, lsp).

Aspek penting saka implementasine CI khusus ing InterSystems IRIS: integrasi bidirectional wis dileksanakake antarane platform lan lingkungan modeling matématika, ngijini sampeyan kanggo nglakokaké isi tuan rumah ing platform ing Python, R lan Julia ing lingkungan pamilike lan nampa maneh eksekusi. asil. Integrasi iki dileksanakake ing "mode terminal" (yaiku, konten AI / ML dirumusake minangka kode ObjectScript sing nggawe panggilan menyang lingkungan) lan ing "mode proses bisnis" (yaiku, konten AI / ML dirumusake minangka proses bisnis. nggunakake editor grafis, utawa kadhangkala nggunakake Jupyter, utawa nggunakake IDE - IRIS Studio, Eclipse, Visual Studio Code). Kasedhiyan proses bisnis kanggo nyunting ing Jupyter dibayangke liwat sambungan antarane IRIS ing tingkat CI lan Jupyter ing tingkat CD. Ringkesan sing luwih rinci babagan integrasi karo lingkungan modeling matematika kasedhiya ing ngisor iki. Ing tahap iki, miturut pendapat kita, ana alesan kanggo mesthekake yen platform duwe kabeh alat sing dibutuhake kanggo ngetrapake "integrasi terus-terusan" pangembangan AI / ML (teka saka "penyebaran terus-terusan") menyang solusi AI / ML wektu nyata.

Lan mekanisme makro utama: CT. Tanpa iku, ora bakal ana platform AI / ML (sanajan "wektu nyata" bakal dileksanakake liwat CD / CI). Inti saka CT yaiku karya platform kanthi "artefak" pembelajaran mesin lan intelijen buatan langsung ing sesi kerja lingkungan pemodelan matematika: model, tabel distribusi, vektor matriks, lapisan jaringan saraf, lsp. Iki "karya", ing sawetara kasus, kalebu nggawe artefak kasebut ing lingkungan (ing kasus model, contone, "nitahaken" kasusun saka nyetel specification saka model lan pilihan sakteruse saka nilai paramèter - sing disebut "latihan" model), aplikasi (kanggo model: pitungan kanthi bantuan "model" nilai variabel target - ramalan, anggota kategori, kemungkinan acara, lan liya-liyane) lan perbaikan sing wis ana. digawe lan diterapake artefak (contone, redefining pesawat saka variabel input model adhedhasar asil aplikasi - kanggo nambah akurasi prakiraan, minangka pilihan). Titik kunci kanggo mangerteni peran CT yaiku "abstraksi" saka kasunyatan CD lan CI: CT bakal ngetrapake kabeh artefak, fokus ing spesifik komputasi lan matematika solusi AI / ML ing kemampuan sing diwenehake dening lingkungan tartamtu. Tanggung jawab kanggo "nyedhiyakake input" lan "ngirim output" bakal dadi tanggung jawab CD lan CI.

Aspek penting saka implementasi CT khusus ing InterSystems IRIS: nggunakake integrasi karo lingkungan modeling matematika sing wis kasebut ing ndhuwur, platform kasebut nduweni kemampuan kanggo ngekstrak artefak kasebut saka sesi kerja sing dikontrol ing lingkungan matematika lan (paling penting) nguripake. menyang obyek data platform. Contone, tabel distribusi sing lagi wae digawe ing sesi Python kerja bisa (tanpa mungkasi sesi Python) ditransfer menyang platform ing wangun, contone, global (multidimensi InterSystems IRIS data array) - lan digunakake. kanggo petungan ing AI liyane / ML- mekanisme (dileksanakake ing basa lingkungan liyane - contone, ing R) - utawa meja virtual. Conto liyane: sejajar karo "mode normal" operasi model (ing sesi kerja Python), "ML otomatis" ditindakake ing data input: pilihan otomatis variabel input optimal lan nilai parameter. Lan bebarengan karo latihan "biasa", model produktif ing wektu nyata uga nampa "proposal optimasi" saka spesifikasi - ing ngendi set variabel input diganti, nilai parameter diganti (ora ana maneh minangka asil latihan. ing Python, nanging minangka asil saka latihan karo versi "alternatif" " dhewe, kayata tumpukan H2O), saéngga solusi AI / ML sakabèhé kanggo autonomously ngrampungake karo owah-owahan sing ora dikarepke ing alam saka data input lan fénoména kang modhèl. .

Ayo kenalan luwih rinci babagan fungsi platform AI/ML InterSystems IRIS, nggunakake conto prototipe urip nyata.

Ing diagram ing ngisor iki, ing sisih kiwa slide ana bagean saka proses bisnis sing ngleksanakake eksekusi skrip ing Python lan R. Ing sisih tengah ana log visual saka eksekusi sawetara skrip kasebut, masing-masing, ing Python lan R. Langsung konco wong conto isi ing siji lan basa liyane, ditransfer kanggo eksekusi kanggo lingkungan cocok. Ing pungkasan ing sisih tengen ana visualisasi adhedhasar asil eksekusi skrip. Visualisasi ing ndhuwur digawe ing IRIS Analytics (data dijupuk saka Python menyang platform data InterSystems IRIS lan ditampilake ing dashboard nggunakake platform), ing sisih ngisor digawe langsung ing sesi kerja R lan output saka ing kana menyang file grafis . Aspek penting: fragmen sing diwenehi ing prototipe tanggung jawab kanggo latihan model (klasifikasi negara peralatan) ing data sing ditampa ing wektu nyata saka proses simulator peralatan, miturut perintah saka proses monitor kualitas klasifikasi sing diamati sajrone aplikasi model kasebut. Implementasi solusi AI / ML ing wangun sakumpulan proses interaksi ("agen") bakal dibahas luwih lanjut.

Gambar 12 Interaksi karo Python, R lan Julia ing InterSystems IRIS

Proses platform (uga "proses bisnis", "proses analitis", "pipeline", lan liya-liyane - gumantung ing konteks), pisanan, diowahi ing editor proses bisnis grafis ing platform kasebut, lan kaya ngono. cara sing loro diagram blok lan mekanisme AI / ML sing cocog (kode program) digawe bebarengan. Nalika kita ujar manawa "mekanisme AI / ML dipikolehi," mula kita tegese hibrida (ing siji proses): isi ing basa lingkungan pemodelan matematika jejer karo konten ing SQL (kalebu ekstensi saka IntegratedML), ing InterSystems ObjectScript, karo basa liyane sing didhukung. Kajaba iku, proses platform menehi kesempatan sing wiyar banget kanggo "rendering" ing bentuk fragmen bersarang hirarkis (kaya sing bisa dideleng ing conto ing diagram ing ngisor iki), sing ngidini sampeyan ngatur kanthi efektif konten sing rumit banget tanpa "mudhun" saka format grafis (menyang format "non-grafis"). » metode/kelas/prosedur, lsp). Yaiku, yen perlu (lan diramalake ing umume proyek), pancen kabeh solusi AI / ML bisa diimplementasikake ing format dokumentasi dhiri grafis. Wigati dimangerteni manawa ing bagean tengah diagram ing ngisor iki, sing nuduhake "tingkat nesting" sing luwih dhuwur, jelas yen saliyane karya nyata latihan model kasebut (nggunakake Python lan R), analisa babagan sing diarani. Kurva ROC saka model sing dilatih ditambahake, ngidini visual (lan komputasi uga) ngevaluasi kualitas latihan - lan analisis iki dileksanakake ing basa Julia (dilaksanakake, miturut, ing lingkungan matematika Julia).

Gambar 13 Lingkungan visual kanggo komposisi solusi AI/ML ing InterSystems IRIS

Kaya sing kasebut sadurunge, pangembangan awal lan (ing sawetara kasus) adaptasi mekanisme AI / ML sing wis ditindakake ing platform bakal / bisa ditindakake ing njaba platform ing editor Jupyter. Ing diagram ing ngisor iki, kita ndeleng conto adaptasi proses platform sing wis ana (padha ing diagram ing ndhuwur) - kaya ngono pecahan sing tanggung jawab kanggo latihan model katon ing Jupyter. Konten Python kasedhiya kanggo nyunting, debugging, lan output grafis langsung ing Jupyter. Owah-owahan (yen perlu) bisa digawe kanthi sinkronisasi cepet menyang proses platform, kalebu versi produktif. Konten anyar bisa ditransfer menyang platform kanthi cara sing padha (proses platform anyar digawe kanthi otomatis).

Gambar 14 Nggunakake Jupyter Notebook kanggo nyunting mesin AI/ML ing platform InterSystems IRIS

Adaptasi proses platform bisa ditindakake ora mung ing format grafis utawa laptop - nanging uga ing format "total" IDE (Integrated Development Environment). IDE iki yaiku IRIS Studio (studio IRIS asli), Visual Studio Code (ekstensi InterSystems IRIS kanggo VSCode) lan Eclipse (plugin Atelier). Ing sawetara kasus, tim pangembangan bisa nggunakake kabeh telung IDE bebarengan. Diagram ing ngisor iki nuduhake conto nyunting proses sing padha ing studio IRIS, ing Visual Studio Code lan ing Eclipse. Pancen kabeh isi kasedhiya kanggo nyunting: Python/R/Julia/SQL, ObjectScript, lan proses bisnis.

Gambar 15 Pangembangan proses bisnis InterSystems IRIS ing macem-macem IDE

Piranti kanggo njlentrehake lan nglakokake proses bisnis InterSystems IRIS ing Business Process Language (BPL) pantes disebutake khusus. BPL ndadekake bisa nggunakake "komponen integrasi sing wis siap" (kegiatan) ing proses bisnis - sing, nyatane, menehi alesan kanggo ujar manawa "integrasi terus-terusan" ditindakake ing InterSystems IRIS. Komponen proses bisnis sing wis siap (kegiatan lan sambungan ing antarane) minangka akselerator sing kuat kanggo ngumpulake solusi AI / ML. Lan ora mung majelis: thanks kanggo aktivitas lan sambungan antarane wong-wong mau liwat pembangunan lan mekanisme AI / ML sing beda-beda, "lapisan manajemen otonom" muncul, bisa nggawe keputusan miturut kahanan, ing wektu nyata.

Gambar 16 Komponen proses bisnis siap kanggo integrasi terus-terusan (CI) ing platform InterSystems IRIS

Konsep sistem agen (uga dikenal minangka "sistem multi-agen") nduweni posisi sing kuat ing robotisasi, lan platform InterSystems IRIS ndhukung sacara organik liwat konstruksi "produk-proses". Saliyane kemungkinan tanpa watesan kanggo "isi" saben proses kanthi fungsi sing dibutuhake kanggo solusi sakabèhé, menehi sistem proses platform kanthi properti "agensi" ngidini sampeyan nggawe solusi sing efektif kanggo fenomena simulasi sing ora stabil (prilaku sosial / sosial). biosistem, proses teknologi sing bisa diamati sebagian, lsp).

Gambar 16 Operasi solusi AI/ML minangka sistem proses bisnis adhedhasar agen ing InterSystems IRIS

Kita nerusake review InterSystems IRIS kanthi crita babagan panggunaan platform sing ditrapake kanggo ngrampungake kabeh kelas masalah wektu nyata (introduksi sing cukup rinci babagan sawetara praktik paling apik saka platform AI / ML ing InterSystems IRIS bisa ditemokake ing siji. saka kita sadurunge webinars).

Panas ing tumit saka diagram sadurunge, ing ngisor iki minangka diagram sing luwih rinci babagan sistem agen. Diagram kasebut nuduhake prototipe sing padha, kabeh proses agen papat katon, hubungan ing antarane dheweke digambar kanthi skematis: GENERATOR - ngolah data kanthi sensor peralatan, BUFFER - ngatur antrian data, ANALYZER - nindakake learning machine dhewe, MONITOR - ngawasi kualitas learning machine lan ngirim sinyal bab perlu kanggo nglatih maneh model.

Gambar 17 Komposisi solusi AI/ML arupa sistem proses bisnis berbasis agen ing InterSystems IRIS

Diagram ing ngisor iki nggambarake fungsi otonom saka prototipe robot liyane (pangenalan pewarnaan emosional teks) kanggo sawetara wektu. Ing sisih ndhuwur yaiku evolusi indikator kualitas latihan model (kualitas berkembang), ing sisih ngisor yaiku dinamika indikator kualitas aplikasi model lan fakta latihan bola-bali (belang abang). Kaya sing sampeyan ngerteni, solusi kasebut wis sinau kanthi efisien lan mandiri, lan beroperasi ing level kualitas tartamtu (nilai skor kualitas ora mudhun ing ngisor 80%).

Gambar 18 Continuous (self-) training (CT) on the InterSystems IRIS platform

Kita uga kasebut "otomatis ML" sadurunge, nanging diagram ing ngisor iki nuduhake panggunaan fungsi iki kanthi rinci nggunakake conto prototipe liyane. Diagram grafis saka pecahan saka proses bisnis nuduhake aktivitas sing micu modeling ing tumpukan H2O, nuduhake asil modeling iki (dominasi cetha saka model asil liwat model "man-made", miturut diagram komparatif saka Kurva ROC, uga identifikasi otomatis "variabel paling berpengaruh" sing kasedhiya ing set data asli). Titik penting ing kene yaiku ngirit wektu lan sumber daya ahli sing digayuh liwat "ML otomatis": apa sing ditindakake proses platform kita sajrone setengah menit (nemokake lan nglatih model optimal) bisa njupuk pakar saka seminggu nganti sasi.

Gambar 19 Integrasi "ML otomatis" menyang solusi AI/ML ing platform InterSystems IRIS

Diagram ing ngisor iki rada luput, nanging minangka cara sing apik kanggo mungkasi crita babagan kelas masalah nyata-wektu sing ditanggulangi: kita ngelingake sampeyan kanthi kabeh kemampuan platform InterSystems IRIS, model latihan sing dikontrol yaiku ora wajib. Platform kasebut bisa nampa spesifikasi model PMML saka njaba, dilatih ing alat sing ora ana ing kontrol platform - lan aplikasi model iki ing wektu nyata wiwit diimpor. Spesifikasi PMML. Iku penting kanggo njupuk menyang akun sing ora kabeh AI / artefak ML bisa suda kanggo specification PMML, malah yen paling artefak paling umum ngidini iki. Mangkono, platform InterSystems IRIS minangka "loop mbukak" lan ora ateges "perbudakan platform" kanggo pangguna.

Gambar 20 Integrasi "ML otomatis" menyang solusi AI/ML ing platform InterSystems IRIS

Ayo kita dhaptar kaluwihan platform tambahan InterSystems IRIS (kanggo kajelasan, gegayutan karo kontrol proses), sing penting banget kanggo otomatisasi intelijen buatan lan pembelajaran mesin wektu nyata:

• Alat integrasi sing dikembangake karo sumber data lan konsumen (sistem kontrol proses/SCADA, peralatan, MRO, ERP, lsp.)
• Built-in multi-model DBMS kanggo pangolahan transaksional lan analitis kanthi kinerja dhuwur (Transaksi Hibrid/Pengolahan Analitik, HTAP) saka volume data proses teknologi
• Piranti pangembangan kanggo panyebaran terus-terusan mesin AI / ML kanggo solusi wektu nyata adhedhasar Python, R, Julia
• Proses bisnis adaptif kanggo integrasi terus-terusan lan sinau (mandiri) mesin solusi AI/ML wektu nyata
• Piranti Business Intelligence sing dibangun kanggo nggambarake data proses lan asil saka solusi AI/ML
• Manajemen API kanggo ngirim asil saka solusi AI / ML kanggo proses sistem kontrol / SCADA, informasi lan sistem analitis, ngirim tandha, etc.

Solusi AI/ML ing platform InterSystems IRIS gampang pas karo infrastruktur IT sing ana. Platform InterSystems IRIS njamin keandalan solusi AI / ML kanthi ndhukung konfigurasi toleran lan tahan bencana lan panyebaran fleksibel ing lingkungan virtual, ing server fisik, ing awan pribadi lan umum, lan wadhah Docker.

Dadi, InterSystems IRIS minangka platform komputasi AI/ML wektu-nyata universal. Universalitas platform kita dikonfirmasi ing praktik kanthi ora ana watesan de facto babagan kerumitan petungan sing ditindakake, kemampuan InterSystems IRIS kanggo nggabungake (ing wektu nyata) ngolah skenario saka macem-macem industri, lan kemampuan adaptasi sing luar biasa saka fungsi lan mekanisme platform apa wae kanggo kabutuhan tartamtu pangguna.

Gambar 21 InterSystems IRIS - platform komputasi AI/ML real-time universal

Kanggo interaksi sing luwih penting karo para pamaca sing kasengsem karo materi sing diwenehake ing kene, disaranake supaya ora mbatesi maca lan nerusake dialog "urip". Kita bakal seneng menehi dhukungan karo formulasi skenario AI / ML wektu nyata sing ana hubungane karo spesifik perusahaan sampeyan, nindakake prototipe bareng ing platform InterSystems IRIS, ngrumusake lan ngetrapake peta dalan kanggo ngenalake intelijen buatan lan pembelajaran mesin. menyang proses produksi lan manajemen sampeyan. Email Kontak Tim Ahli AI/ML - [email dilindhungi].

Source: www.habr.com