InterSystems IRIS - platform AI/ML real-time universal

Penulis: Sergey Lukyanchikov, insinyur konsultan di InterSystems

Panggilan komputasi AI/ML waktu nyata

Mari kita mulai dengan contoh dari pengalaman praktik Ilmu Data di InterSystems:

• Portal pembeli yang dimuat terhubung ke sistem rekomendasi online. Akan ada restrukturisasi promosi di seluruh jaringan ritel (misalnya, matriks “taktik segmen” sekarang akan digunakan sebagai pengganti jalur promosi “datar”). Apa yang terjadi pada mesin rekomendasi? Apa yang terjadi dengan penyerahan dan pemutakhiran data ke mesin rekomendasi (volume data masukan meningkat 25000 kali lipat)? Apa yang terjadi dengan pengembangan rekomendasi (kebutuhan untuk mengurangi ambang batas penyaringan aturan rekomendasi sebanyak seribu kali lipat karena peningkatan jumlah dan “jangkauan” ribuan kali lipat)?
• Terdapat sistem untuk memantau kemungkinan berkembangnya cacat pada komponen peralatan. Sistem kontrol proses otomatis terhubung ke sistem pemantauan, mengirimkan ribuan parameter proses teknologi setiap detik. Apa yang terjadi pada sistem pemantauan yang sebelumnya bekerja pada “sampel manual” (apakah sistem tersebut mampu menyediakan pemantauan probabilitas detik demi detik)? Apa yang akan terjadi jika blok baru yang terdiri dari beberapa ratus kolom muncul di data masukan dengan pembacaan dari sensor yang baru saja ditambahkan ke sistem kontrol proses (apakah perlu dan untuk berapa lama menghentikan sistem pemantauan untuk memasukkan data dari sensor baru ke dalam analisis? )?
• Seperangkat mekanisme AI/ML (rekomendasi, pemantauan, perkiraan) telah dibuat yang menggunakan hasil kerja masing-masing. Berapa jam kerja yang diperlukan setiap bulan untuk menyesuaikan pengoperasian kompleks ini dengan perubahan input data? Apa yang dimaksud dengan “perlambatan” umum jika didukung oleh kompleks pengambilan keputusan manajemen (frekuensi kemunculan informasi pendukung baru di dalamnya relatif terhadap frekuensi kemunculan data masukan baru)?

Meringkas hal ini dan banyak contoh lainnya, kami sampai pada rumusan tantangan yang muncul ketika beralih ke penggunaan mekanisme pembelajaran mesin dan kecerdasan buatan secara real time:

• Apakah kami puas dengan kecepatan penciptaan dan adaptasi (terhadap perubahan situasi) pengembangan AI/ML di perusahaan kami?
• Seberapa besar solusi AI/ML yang kami gunakan mendukung manajemen bisnis real-time?
• Apakah solusi AI/ML yang kami gunakan mampu beradaptasi secara mandiri (tanpa pengembang) terhadap perubahan praktik manajemen data dan bisnis?

Artikel kami adalah ikhtisar menyeluruh tentang kemampuan platform InterSystems IRIS dalam hal dukungan universal untuk penerapan mekanisme AI/ML, perakitan (integrasi) solusi AI/ML, dan pelatihan (pengujian) solusi AI/ML secara intensif aliran data. Kami akan melihat riset pasar, studi kasus solusi AI/ML, dan aspek konseptual dari apa yang kami sebut platform AI/ML real-time dalam artikel ini.

Apa yang kami ketahui dari survei: aplikasi real-time

Temuan surveiyang dilakukan di antara hampir 800 profesional TI pada tahun 2019 oleh Lightbend, menyatakan hal berikut:

Gambar 1 Konsumen utama data real-time

Mari kita kutip penggalan penting laporan hasil survei ini dalam terjemahan kami:

“... Tren popularitas alat untuk mengintegrasikan aliran data dan, pada saat yang sama, mendukung komputasi dalam container memberikan respons sinergis terhadap permintaan pasar akan proposal solusi efektif yang lebih responsif, rasional, dan dinamis. Data streaming mentransfer informasi lebih cepat daripada data paket tradisional. Selain itu, kemampuan untuk menerapkan metode komputasi dengan cepat, misalnya, rekomendasi berbasis AI/ML, menciptakan keunggulan kompetitif melalui peningkatan kepuasan pelanggan. Perlombaan untuk mendapatkan ketangkasan juga berdampak pada semua peran dalam paradigma DevOps - membuat pengembangan dan penerapan aplikasi menjadi lebih efisien. … Delapan ratus empat profesional TI memberikan informasi tentang penggunaan aliran data di organisasi mereka. Responden sebagian besar berlokasi di negara-negara Barat (41% di Eropa dan 37% di Amerika Utara) dan tersebar hampir merata antara perusahaan kecil, menengah, dan besar. ...

... Kecerdasan buatan bukanlah hype. Lima puluh delapan persen dari mereka yang sudah menggunakan pemrosesan aliran data dalam aplikasi produktivitas AI/ML mengonfirmasi bahwa penggunaan AI/ML mereka akan mengalami pertumbuhan terbesar di tahun depan (dibandingkan dengan aplikasi lain).

• Menurut mayoritas responden, penggunaan aliran data dalam skenario AI/ML akan mengalami pertumbuhan terbesar di tahun depan.
• Penerapan AI/ML akan berkembang tidak hanya karena jenis skenario yang relatif baru, namun juga karena skenario tradisional yang semakin banyak menggunakan data real-time.
• Selain AI/ML, tingkat antusiasme di antara pengguna jalur data IoT sangat mengesankan - 48% dari mereka yang telah mengintegrasikan data IoT mengatakan bahwa implementasi skenario pada data ini akan mengalami peningkatan yang signifikan dalam waktu dekat. ... "

Dari survei yang cukup menarik ini, jelas bahwa persepsi skenario pembelajaran mesin dan kecerdasan buatan sebagai pemimpin dalam konsumsi aliran data sudah “sedang dalam proses.” Namun pengamatan yang sama pentingnya adalah persepsi AI/ML real-time melalui lensa DevOps: di sini kita sudah dapat mulai berbicara tentang transformasi budaya “AI/ML sekali pakai dengan kumpulan data yang dapat diakses sepenuhnya” yang masih dominan.

Konsep platform AI/ML waktu nyata

Salah satu area aplikasi umum untuk AI/ML real-time adalah kontrol proses di bidang manufaktur. Dengan menggunakan contohnya dan mempertimbangkan pemikiran sebelumnya, kami akan merumuskan konsep platform AI/ML waktu nyata.
Penggunaan kecerdasan buatan dan pembelajaran mesin dalam pengendalian proses memiliki sejumlah fitur:

• Data tentang keadaan proses teknologi diterima secara intensif: dengan frekuensi tinggi dan untuk berbagai parameter (hingga puluhan ribu nilai parameter dikirimkan per detik dari sistem kontrol proses)
• Data tentang identifikasi cacat, apalagi data perkembangannya, sebaliknya langka dan tidak teratur, ditandai dengan tidak memadainya tipifikasi cacat dan lokalisasinya dalam waktu (sering diwakili oleh catatan kertas)
• Dari sudut pandang praktis, hanya “jendela relevansi” dari data awal yang tersedia untuk pelatihan dan penerapan model, yang mencerminkan dinamika proses teknologi selama interval geser yang wajar yang diakhiri dengan nilai pembacaan terakhir dari parameter proses.

Fitur-fitur ini memaksa kami, selain menerima dan memproses dasar secara real-time dari “sinyal input broadband” intensif dari proses teknologi, untuk melakukan (secara paralel) penerapan, pelatihan, dan kontrol kualitas hasil AI / Model ML - juga dalam waktu nyata. “Frame” yang “dilihat” oleh model kami di jendela geser relevansi terus berubah – dan dengan itu, kualitas hasil kerja model AI/ML yang dilatih pada salah satu “frame” di masa lalu juga berubah. . Jika kualitas hasil kerja model AI/ML menurun (misalnya: nilai kesalahan klasifikasi “norma alarm” telah melampaui batas yang telah kami tetapkan), pelatihan tambahan untuk model tersebut harus diluncurkan secara otomatis pada “kerangka” yang lebih terkini - dan pilihan momen untuk meluncurkan pelatihan tambahan model harus mempertimbangkan durasi pelatihan itu sendiri, dan dinamika penurunan kualitas kerja model versi saat ini (sejak versi model saat ini terus digunakan selama model dilatih, dan hingga versi “yang baru dilatih” terbentuk).

InterSystems IRIS memiliki kemampuan platform utama yang memungkinkan solusi AI/ML untuk kontrol proses waktu nyata. Kemampuan-kemampuan ini dapat dibagi menjadi tiga kelompok utama:

• Penerapan berkelanjutan (Continuous Deployment/Delivery, CD) dari mekanisme AI/ML yang baru atau yang diadaptasi menjadi solusi produktif yang beroperasi secara real-time pada platform InterSystems IRIS
• Integrasi Berkelanjutan (CI) ke dalam satu solusi produktif dari aliran data proses teknologi yang masuk, antrian data untuk aplikasi/pelatihan/kontrol kualitas mekanisme AI/ML dan pertukaran data/kode/tindakan kontrol dengan lingkungan pemodelan matematika, diatur secara real-time platform InterSistem IRIS
• Pelatihan berkelanjutan (mandiri) (Pelatihan Berkelanjutan, CT) mekanisme AI/ML, dilakukan dalam lingkungan pemodelan matematika menggunakan data, kode, dan tindakan kontrol (“keputusan dibuat”) yang dikirimkan oleh platform InterSystems IRIS

Klasifikasi kemampuan platform dalam kaitannya dengan pembelajaran mesin dan kecerdasan buatan ke dalam kelompok-kelompok ini bukanlah suatu kebetulan. Mari kita kutip metodologinya publikasi Google, yang memberikan dasar konseptual untuk klasifikasi ini, dalam terjemahan kami:

“...Konsep DevOps yang populer saat ini mencakup pengembangan dan pengoperasian sistem informasi berskala besar. Keuntungan penerapan konsep ini adalah pengurangan durasi siklus pengembangan, penerapan pengembangan yang lebih cepat, dan fleksibilitas dalam perencanaan rilis. Untuk mencapai manfaat ini, DevOps melibatkan penerapan setidaknya dua praktik:

• Integrasi Berkelanjutan (CI)
• Pengiriman Berkelanjutan (CD)

Praktik ini juga berlaku pada platform AI/ML untuk memastikan perakitan solusi AI/ML yang produktif dan andal.

Platform AI/ML berbeda dari sistem informasi lainnya dalam aspek berikut:

• Kompetensi tim: Saat membuat solusi AI/ML, tim biasanya terdiri dari ilmuwan data atau pakar “akademik” di bidang penelitian data yang melakukan analisis data, mengembangkan, dan menguji model. Anggota tim ini mungkin bukan pengembang kode produktif profesional.
• Pengembangan: Mesin AI/ML bersifat eksperimental. Untuk menyelesaikan suatu masalah dengan cara yang paling efisien, perlu dilakukan berbagai kombinasi variabel masukan, algoritma, metode pemodelan, dan parameter model. Kompleksitas pencarian tersebut terletak pada penelusuran “apa yang berhasil/tidak berhasil”, memastikan reproduktifitas episode, generalisasi perkembangan untuk implementasi berulang.
• Pengujian: Menguji mesin AI/ML memerlukan pengujian yang lebih luas dibandingkan kebanyakan pengembangan lainnya. Selain pengujian unit standar dan integrasi, validitas data dan kualitas hasil penerapan model pada sampel pelatihan dan kontrol juga diuji.
• Penerapan: Penerapan solusi AI/ML tidak terbatas pada layanan prediktif yang menggunakan model yang telah dilatih sebelumnya. Solusi AI/ML dibangun berdasarkan pipeline multi-tahap yang melakukan pelatihan dan aplikasi model otomatis. Penerapan pipeline semacam itu melibatkan otomatisasi tindakan non-sepele yang biasanya dilakukan secara manual oleh data scientist agar dapat melatih dan menguji model.
• Produktivitas: Mesin AI/ML dapat mengalami penurunan produktivitas bukan hanya karena pemrograman yang tidak efisien, namun juga karena sifat input data yang terus berubah. Dengan kata lain, performa mekanisme AI/ML dapat menurun karena berbagai alasan dibandingkan performa pengembangan konvensional. Hal ini menyebabkan perlunya memantau (online) kinerja mesin AI/ML kami, serta mengirimkan peringatan atau menolak hasil jika indikator kinerja tidak memenuhi harapan.

Platform AI/ML serupa dengan sistem informasi lainnya yang keduanya memerlukan integrasi kode berkelanjutan dengan kontrol versi, pengujian unit, pengujian integrasi, dan penerapan pengembangan berkelanjutan. Namun, dalam kasus AI/ML, terdapat beberapa perbedaan penting:

• CI (Continuous Integration) tidak lagi terbatas pada pengujian dan validasi kode komponen yang diterapkan - CI juga mencakup pengujian dan validasi data dan model AI/ML.
• CD (Pengiriman/Penerapan Berkelanjutan, penerapan berkelanjutan) tidak terbatas pada penulisan dan peluncuran paket atau layanan, namun menyiratkan platform untuk komposisi, pelatihan, dan penerapan solusi AI/ML.
• CT (Pelatihan Berkelanjutan, pelatihan berkelanjutan) adalah elemen baru [kira-kira. penulis artikel: elemen baru dalam kaitannya dengan konsep tradisional DevOps, di mana CT, sebagai suatu peraturan, adalah Pengujian Berkelanjutan], yang melekat pada platform AI/ML, bertanggung jawab atas manajemen otonom dari mekanisme pelatihan dan penerapan AI /model ML. ... "

Kita dapat menyatakan bahwa pembelajaran mesin dan kecerdasan buatan yang bekerja pada data real-time memerlukan seperangkat alat dan kompetensi yang lebih luas (mulai dari pengembangan kode hingga orkestrasi lingkungan pemodelan matematika), integrasi yang lebih erat antara semua bidang fungsional dan subjek, organisasi manusia dan manusia yang lebih efisien. sumber daya mesin.

Skenario real-time: mengenali perkembangan kerusakan pada pompa umpan

Terus menggunakan area kontrol proses sebagai contoh, pertimbangkan masalah spesifik (kami telah menyebutkannya di awal): kita perlu menyediakan pemantauan real-time terhadap perkembangan cacat pada pompa berdasarkan aliran nilai parameter proses ​​dan laporan dari personel perbaikan tentang cacat yang teridentifikasi.

Gambar 2 Rumusan masalah untuk memantau perkembangan cacat

Ciri dari sebagian besar tugas yang ditetapkan dengan cara ini dalam praktiknya adalah bahwa keteraturan dan efisiensi penerimaan data (APCS) harus dipertimbangkan dengan latar belakang kejadian (dan pencatatan) berbagai jenis cacat yang episodik dan tidak teratur. Dengan kata lain: data dari sistem kendali proses tiba satu kali dalam satu detik, benar dan akurat, dan catatan tentang cacat dibuat dengan pensil kimia yang menunjukkan tanggal dalam buku catatan umum di bengkel (misalnya: “12.01 – bocor ke sampul dari sisi bantalan ke-3”).

Dengan demikian, kita dapat melengkapi rumusan masalah dengan batasan penting berikut: kita hanya memiliki satu "label" untuk jenis cacat tertentu (yaitu, contoh cacat jenis tertentu diwakili oleh data dari kontrol proses sistem pada tanggal tertentu - dan kami tidak memiliki lebih banyak contoh cacat jenis khusus ini). Keterbatasan ini segera membawa kita melampaui cakupan pembelajaran mesin klasik (pembelajaran yang diawasi), yang harus memiliki banyak “tag”.

Gambar 3 Klarifikasi tugas memantau perkembangan cacat

Bisakah kita “menggandakan” satu-satunya “tag” yang kita miliki? Ya kita bisa. Kondisi pompa saat ini ditandai dengan tingkat kemiripan dengan cacat yang tercatat. Bahkan tanpa menggunakan metode kuantitatif, pada tataran persepsi visual, dengan mengamati dinamika nilai data yang berasal dari sistem kendali proses, Anda sudah dapat belajar banyak:

Gambar 4 Dinamika kondisi pompa dengan latar belakang “tanda” cacat jenis tertentu

Namun persepsi visual (setidaknya untuk saat ini) bukanlah penghasil “tanda” yang paling cocok dalam skenario kita yang berubah dengan cepat. Kami akan mengevaluasi kemiripan kondisi pompa saat ini dengan kerusakan yang dilaporkan menggunakan uji statistik.

Gambar 5 Menerapkan uji statistik pada data yang masuk dengan latar belakang “label” cacat

Uji statistik menentukan kemungkinan bahwa catatan dengan nilai parameter proses teknologi dalam "paket aliran" yang diterima dari sistem kontrol proses serupa dengan catatan "tag" dari jenis cacat tertentu. Nilai probabilitas (indeks kesamaan statistik) yang dihitung sebagai hasil penerapan uji statistik diubah menjadi nilai 0 atau 1, menjadi “label” untuk pembelajaran mesin di setiap catatan spesifik dalam paket yang diperiksa kesamaannya. Artinya, setelah memproses paket catatan status pompa yang baru diterima dengan uji statistik, kita memiliki kesempatan untuk (a) menambahkan paket ini ke set pelatihan untuk melatih model AI/ML dan (b) melakukan kontrol kualitas terhadap versi model saat ini saat menggunakannya pada paket ini.

Gambar 6 Menerapkan model pembelajaran mesin pada data masuk dengan latar belakang “label” cacat

Di salah satu dari kami sebelumnya webinar Kami menunjukkan dan menjelaskan bagaimana platform InterSystems IRIS memungkinkan Anda menerapkan mekanisme AI/ML apa pun dalam bentuk menjalankan proses bisnis secara terus-menerus yang memantau keandalan hasil pemodelan dan mengadaptasi parameter model. Saat mengimplementasikan prototipe skenario kami dengan pompa, kami menggunakan semua fungsi InterSystems IRIS yang disajikan selama webinar - menerapkan proses penganalisis sebagai bagian dari solusi kami bukan pembelajaran terawasi klasik, melainkan pembelajaran penguatan, yang secara otomatis mengelola pemilihan model pelatihan . Sampel pelatihan berisi catatan di mana “konsensus deteksi” muncul setelah menerapkan uji statistik dan versi model saat ini - yaitu, uji statistik (setelah mengubah indeks kesamaan menjadi 0 atau 1) dan model menghasilkan hasil pada catatan tersebut 1. Selama pelatihan baru model, selama validasinya (model yang baru dilatih diterapkan ke sampel pelatihannya sendiri, dengan penerapan awal uji statistik), catatan yang “tidak mempertahankan” hasil 1 setelah pemrosesan oleh uji statistik (karena kehadiran konstan dalam pelatihan, sampel catatan dari “label” cacat asli), dikeluarkan dari set pelatihan, dan versi baru model belajar dari “label” cacat. cacat ditambah catatan "disimpan" dari aliran.

Gambar 7 Robotisasi penghitungan AI/ML di InterSystems IRIS

Jika ada kebutuhan untuk semacam "pendapat kedua" tentang kualitas deteksi yang diperoleh selama penghitungan lokal di InterSystems IRIS, proses penasihat dibuat untuk melakukan pelatihan dan penerapan model pada kumpulan data kontrol menggunakan layanan cloud (misalnya, Microsoft Azure, Amazon Web Services, Google Cloud Platform, dll.):

Gambar 8 Second Opinion dari Microsoft Azure yang diatur oleh InterSystems IRIS

Prototipe skenario kami di InterSystems IRIS dirancang sebagai sistem proses analitis berbasis agen yang berinteraksi dengan objek peralatan (pompa), lingkungan pemodelan matematika (Python, R dan Julia), dan memastikan pembelajaran mandiri dari semua AI/ yang terlibat. Mekanisme ML - pada aliran data waktu nyata.

Gambar 9 Fungsi utama solusi AI/ML real-time di InterSystems IRIS

Hasil praktis dari prototipe kami:

• Contoh cacat yang dikenali oleh model (12 Januari):

• Cacat yang berkembang dikenali oleh model yang tidak disertakan dalam sampel (11 September, cacat itu sendiri diidentifikasi oleh tim perbaikan hanya dua hari kemudian, pada 13 September):

Simulasi pada data nyata yang berisi beberapa episode cacat yang sama menunjukkan bahwa solusi kami, yang diterapkan pada platform InterSystems IRIS, memungkinkan kami mengidentifikasi perkembangan cacat jenis ini beberapa hari sebelum terdeteksi oleh tim perbaikan.

InterSystems IRIS - platform komputasi AI/ML real-time universal

Platform InterSystems IRIS menyederhanakan pengembangan, penerapan, dan pengoperasian solusi data waktu nyata. InterSystems IRIS mampu melakukan pemrosesan data transaksional dan analitis secara bersamaan; mendukung tampilan data yang disinkronkan menurut berbagai model (termasuk relasional, hierarki, objek, dan dokumen); bertindak sebagai platform untuk mengintegrasikan berbagai sumber data dan aplikasi individual; menyediakan analisis real-time tingkat lanjut pada data terstruktur dan tidak terstruktur. InterSystems IRIS juga menyediakan mekanisme untuk menggunakan alat analisis eksternal dan memungkinkan kombinasi hosting yang fleksibel di cloud dan di server lokal.

Aplikasi yang dibangun pada platform InterSystems IRIS diterapkan di berbagai industri, membantu perusahaan mewujudkan manfaat ekonomi yang signifikan dari perspektif strategis dan operasional, meningkatkan pengambilan keputusan dan menjembatani kesenjangan antara peristiwa, analisis, dan tindakan.

Gambar 10 Arsitektur InterSystems IRIS dalam konteks AI/ML real-time

Seperti diagram sebelumnya, diagram di bawah ini menggabungkan “sistem koordinat” baru (CD/CI/CT) dengan diagram aliran informasi antar elemen kerja platform. Visualisasi dimulai dengan makromekanisme CD dan dilanjutkan dengan makromekanisme CI dan CT.

Gambar 11 Diagram arus informasi antara elemen AI/ML pada platform InterSystems IRIS

Inti dari mekanisme CD di InterSystems IRIS: pengguna platform (pengembang solusi AI/ML) mengadaptasi yang sudah ada dan/atau membuat pengembangan AI/ML baru menggunakan editor kode khusus untuk mekanisme AI/ML: Jupyter (nama lengkap: Jupyter Notebook; untuk singkatnya, dokumen yang dibuat di editor ini terkadang juga disebut). Di Jupyter, pengembang memiliki kesempatan untuk menulis, men-debug, dan memverifikasi kinerja (termasuk menggunakan grafik) pengembangan AI/ML tertentu sebelum ditempatkan (“diterapkan”) di InterSystems IRIS. Jelas bahwa pengembangan baru yang dibuat dengan cara ini hanya akan menerima debugging dasar (karena, khususnya, Jupyter tidak bekerja dengan aliran data waktu nyata) - ini sesuai urutannya, karena hasil utama pengembangan di Jupyter adalah konfirmasi atas pengoperasian mendasar dari mekanisme AI/ML yang terpisah (“menunjukkan hasil yang diharapkan pada sampel data”). Demikian pula, mekanisme yang sudah ditempatkan di platform (lihat mekanisme makro berikut) sebelum melakukan debug di Jupyter mungkin memerlukan "rollback" ke formulir "pra-platform" (membaca data dari file, bekerja dengan data melalui xDBC, bukan tabel, interaksi langsung dengan global - susunan data multidimensi InterSystems IRIS – dll.).

Aspek penting dari implementasi CD di InterSystems IRIS: integrasi dua arah telah diterapkan antara platform dan Jupyter, memungkinkan konten dalam Python, R dan Julia untuk ditransfer ke platform (dan, selanjutnya, diproses di platform) (ketiganya adalah pemrograman bahasa dalam bahasa sumber terbuka terkemuka yang sesuai).sumber lingkungan pemodelan matematika). Dengan demikian, pengembang konten AI/ML memiliki peluang untuk melakukan “penyebaran berkelanjutan” konten ini di platform, bekerja di editor Jupyter yang sudah dikenal, dengan pustaka yang sudah dikenal tersedia dalam Python, R, Julia, dan melakukan debugging dasar (jika perlu) di luar peron.

Mari beralih ke mekanisme makro CI di InterSystems IRIS. Diagram menunjukkan proses makro dari "robotizer waktu nyata" (kompleks struktur data, proses bisnis, dan fragmen kode yang diatur olehnya dalam bahasa matematika dan ObjectScript - bahasa pengembangan asli InterSystems IRIS). Tugas proses makro ini adalah menjaga antrian data yang diperlukan untuk pengoperasian mekanisme AI/ML (berdasarkan aliran data yang dikirimkan ke platform secara real time), membuat keputusan tentang urutan aplikasi dan “berbagai macam” AI/ Mekanisme ML (mereka juga merupakan “algoritme matematika”, “ model”, dll. – dapat disebut berbeda tergantung pada spesifikasi implementasi dan preferensi terminologis), selalu memperbarui struktur data untuk menganalisis hasil kerja AI/ Mekanisme ML (kubus, tabel, susunan data multidimensi, dll.) dll. – untuk laporan, dasbor, dll.).

Aspek penting dari implementasi CI di InterSystems IRIS: integrasi dua arah telah diterapkan antara platform dan lingkungan pemodelan matematika, memungkinkan Anda untuk mengeksekusi konten yang dihosting di platform dengan Python, R dan Julia di lingkungan masing-masing dan menerima kembali hasil eksekusi. Integrasi ini diterapkan baik dalam “mode terminal” (yaitu, konten AI/ML dirumuskan sebagai kode ObjectScript yang melakukan panggilan ke lingkungan) dan dalam “mode proses bisnis” (yaitu, konten AI/ML diformulasikan sebagai proses bisnis menggunakan editor grafis, atau terkadang menggunakan Jupyter, atau menggunakan IDE - IRIS Studio, Eclipse, Visual Studio Code). Ketersediaan proses bisnis untuk pengeditan di Jupyter tercermin melalui koneksi antara IRIS di level CI dan Jupyter di level CD. Gambaran lebih rinci tentang integrasi dengan lingkungan pemodelan matematika disediakan di bawah. Pada tahap ini, menurut pendapat kami, terdapat banyak alasan untuk memastikan bahwa platform memiliki semua alat yang diperlukan untuk menerapkan “integrasi berkelanjutan” pengembangan AI/ML (yang berasal dari “penerapan berkelanjutan”) ke dalam solusi AI/ML waktu nyata.

Dan mekanisme makro utama: CT. Tanpanya, tidak akan ada platform AI/ML (walaupun “real time” akan diimplementasikan melalui CD/CI). Inti dari CT adalah kerja platform dengan “artefak” pembelajaran mesin dan kecerdasan buatan secara langsung dalam sesi kerja lingkungan pemodelan matematika: model, tabel distribusi, vektor matriks, lapisan jaringan saraf, dll. "Pekerjaan" ini, dalam banyak kasus, terdiri dari pembuatan artefak yang disebutkan di lingkungan (dalam kasus model, misalnya, "penciptaan" terdiri dari pengaturan spesifikasi model dan pemilihan nilai parameternya selanjutnya - apa yang disebut "pelatihan" model), penerapannya (untuk model: perhitungan dengan bantuan nilai "model" dari variabel target - perkiraan, keanggotaan kategori, probabilitas suatu peristiwa, dll.) dan peningkatan yang sudah ada artefak yang dibuat dan diterapkan (misalnya, mendefinisikan ulang sekumpulan variabel masukan model berdasarkan hasil penerapan - untuk meningkatkan akurasi perkiraan, sebagai opsi). Poin kunci dalam memahami peran CT adalah “abstraksinya” dari realitas CD dan CI: CT akan mengimplementasikan semua artefak, dengan fokus pada spesifikasi komputasi dan matematis dari solusi AI/ML dalam kemampuan yang disediakan oleh lingkungan tertentu. Tanggung jawab untuk “memberikan masukan” dan “menyampaikan keluaran” akan menjadi tanggung jawab CD dan CI.

Aspek penting dari implementasi CT khususnya di InterSystems IRIS: menggunakan integrasi dengan lingkungan pemodelan matematika yang telah disebutkan di atas, platform memiliki kemampuan untuk mengekstrak artefak tersebut dari sesi kerja yang berjalan di bawah kendalinya dalam lingkungan matematika dan (yang paling penting) mengubah mereka menjadi objek data platform. Misalnya, tabel distribusi yang baru saja dibuat dalam sesi Python yang berfungsi dapat (tanpa menghentikan sesi Python) ditransfer ke platform dalam bentuk, misalnya, global (array data IRIS InterSystems multidimensi) - dan digunakan untuk perhitungan dalam mekanisme AI/ML- lain (diimplementasikan dalam bahasa lingkungan lain - misalnya, dalam R) - atau tabel virtual. Contoh lain: bersamaan dengan "mode normal" operasi model (dalam sesi kerja Python), "ML otomatis" dilakukan pada data masukannya: pemilihan otomatis variabel masukan dan nilai parameter yang optimal. Dan seiring dengan pelatihan "reguler", model produktif secara real-time juga menerima "proposal untuk pengoptimalan" spesifikasinya - di mana kumpulan variabel masukan berubah, nilai parameter berubah (bukan lagi sebagai hasil dari pelatihan dengan Python, tetapi sebagai hasil pelatihan dengan versi “alternatif” itu sendiri, seperti tumpukan H2O), memungkinkan keseluruhan solusi AI/ML untuk secara mandiri mengatasi perubahan tak terduga dalam sifat data masukan dan fenomena yang dimodelkan .

Mari mengenal lebih detail fungsionalitas platform AI/ML InterSystems IRIS, menggunakan contoh prototipe kehidupan nyata.

Pada diagram di bawah, di sisi kiri slide terdapat bagian proses bisnis yang mengimplementasikan eksekusi skrip dengan Python dan R. Di bagian tengah terdapat log visual dari eksekusi beberapa skrip tersebut, masing-masing, dengan Python dan R. Tepat di belakangnya adalah contoh konten dalam satu bahasa dan bahasa lain, ditransfer untuk dieksekusi ke lingkungan yang sesuai. Di bagian akhir sebelah kanan terdapat visualisasi berdasarkan hasil eksekusi script. Visualisasi di atas dibuat di IRIS Analytics (data diambil dari Python ke platform data InterSystems IRIS dan ditampilkan di dashboard menggunakan platform), di bawah dibuat langsung di sesi kerja R dan dikeluarkan dari sana ke file grafik . Aspek penting: fragmen yang disajikan dalam prototipe bertanggung jawab untuk melatih model (klasifikasi status peralatan) berdasarkan data yang diterima secara real-time dari proses simulator peralatan, atas perintah dari proses monitor kualitas klasifikasi yang diamati selama penerapan model. Implementasi solusi AI/ML dalam bentuk serangkaian proses yang saling berinteraksi (“agen”) akan dibahas lebih lanjut.

Gambar 12 Interaksi dengan Python, R dan Julia di InterSystems IRIS

Proses platform (mereka juga merupakan "proses bisnis", "proses analitis", "saluran pipa", dll. - tergantung pada konteksnya), pertama-tama, diedit dalam editor proses bisnis grafis di platform itu sendiri, dan sedemikian rupa sedemikian rupa sehingga diagram blok dan mekanisme AI/ML (kode program) yang terkait dibuat secara bersamaan. Ketika kami mengatakan bahwa "mekanisme AI/ML diperoleh", yang kami maksud awalnya adalah hibriditas (dalam satu proses): konten dalam bahasa lingkungan pemodelan matematika berdekatan dengan konten dalam SQL (termasuk ekstensi dari ML Terintegrasi), dalam InterSystems ObjectScript, dengan bahasa lain yang didukung. Selain itu, proses platform memberikan peluang yang sangat luas untuk “rendering” dalam bentuk fragmen yang bertumpuk secara hierarkis (seperti dapat dilihat pada contoh diagram di bawah), yang memungkinkan Anda mengatur secara efektif bahkan konten yang sangat kompleks tanpa pernah “jatuh” dari format grafis (ke dalam format “non-grafis”). » metode/kelas/prosedur, dll.). Artinya, jika perlu (dan hal ini diperkirakan terjadi di sebagian besar proyek), seluruh solusi AI/ML dapat diimplementasikan dalam format dokumentasi mandiri grafis. Harap dicatat bahwa di bagian tengah diagram di bawah ini, yang mewakili “tingkat sarang” yang lebih tinggi, jelas bahwa selain pekerjaan sebenarnya dalam melatih model (menggunakan Python dan R), analisis dari apa yang disebut Kurva ROC dari model yang dilatih ditambahkan, memungkinkan secara visual (dan juga secara komputasi) mengevaluasi kualitas pelatihan - dan analisis ini diimplementasikan dalam bahasa Julia (masing-masing dijalankan dalam lingkungan matematika Julia).

Gambar 13 Lingkungan visual untuk komposisi solusi AI/ML di InterSystems IRIS

Seperti disebutkan sebelumnya, pengembangan awal dan (dalam beberapa kasus) adaptasi mekanisme AI/ML yang sudah diterapkan di platform akan/dapat dilakukan di luar platform di editor Jupyter. Pada diagram di bawah ini kita melihat contoh mengadaptasi proses platform yang ada (sama seperti diagram di atas) - seperti inilah tampilan fragmen yang bertanggung jawab untuk melatih model di Jupyter. Konten Python tersedia untuk pengeditan, debugging, dan output grafis langsung di Jupyter. Perubahan (jika perlu) dapat dilakukan dengan sinkronisasi instan ke dalam proses platform, termasuk versi produktifnya. Konten baru dapat ditransfer ke platform dengan cara yang sama (proses platform baru dibuat secara otomatis).

Gambar 14 Menggunakan Jupyter Notebook untuk mengedit mesin AI/ML di platform InterSystems IRIS

Adaptasi proses platform dapat dilakukan tidak hanya dalam format grafis atau laptop - tetapi juga dalam format “total” IDE (Integrated Development Environment). IDE ini adalah IRIS Studio (studio IRIS asli), Visual Studio Code (ekstensi InterSystems IRIS untuk VSCode) dan Eclipse (plugin Atelier). Dalam beberapa kasus, tim pengembangan dapat menggunakan ketiga IDE secara bersamaan. Diagram di bawah menunjukkan contoh pengeditan proses yang sama di studio IRIS, di Visual Studio Code, dan di Eclipse. Benar-benar semua konten tersedia untuk diedit: Python/R/Julia/SQL, ObjectScript, dan proses bisnis.

Gambar 15 Perkembangan proses bisnis InterSystems IRIS di berbagai IDE

Alat untuk mendeskripsikan dan menjalankan proses bisnis InterSystems IRIS dalam Business Process Language (BPL) patut mendapat perhatian khusus. BPL memungkinkan untuk menggunakan "komponen integrasi siap pakai" (aktivitas) dalam proses bisnis - yang, pada kenyataannya, memberikan banyak alasan untuk mengatakan bahwa "integrasi berkelanjutan" diterapkan di InterSystems IRIS. Komponen proses bisnis yang sudah jadi (aktivitas dan koneksi di antara keduanya) adalah akselerator yang kuat untuk menyusun solusi AI/ML. Dan tidak hanya majelis: berkat aktivitas dan koneksi di antara mereka melalui pengembangan dan mekanisme AI/ML yang berbeda, sebuah “lapisan manajemen otonom” muncul, yang mampu mengambil keputusan sesuai situasi, secara real time.

Gambar 16 Komponen proses bisnis siap pakai untuk integrasi berkelanjutan (CI) pada platform InterSystems IRIS

Konsep sistem agen (juga dikenal sebagai “sistem multi-agen”) memiliki posisi yang kuat dalam robotisasi, dan platform InterSystems IRIS secara organik mendukungnya melalui konstruksi “proses produk”. Selain kemungkinan tak terbatas untuk "mengisi" setiap proses dengan fungsionalitas yang diperlukan untuk solusi keseluruhan, memberkahi sistem proses platform dengan properti "agensi" memungkinkan Anda membuat solusi efektif untuk fenomena simulasi yang sangat tidak stabil (perilaku sosial/ biosistem, proses teknologi yang dapat diamati sebagian, dll.).

Gambar 16 Pengoperasian solusi AI/ML sebagai sistem proses bisnis berbasis agen di InterSystems IRIS

Kami melanjutkan tinjauan kami terhadap InterSystems IRIS dengan cerita tentang penerapan penggunaan platform untuk menyelesaikan seluruh kelas masalah real-time (pengenalan yang cukup mendetail tentang beberapa praktik terbaik platform AI/ML pada InterSystems IRIS dapat ditemukan di salah satu dari kita sebelumnya webinar).

Mengikuti diagram sebelumnya, di bawah ini adalah diagram sistem agen yang lebih rinci. Diagram menunjukkan prototipe yang sama, keempat proses agen terlihat, hubungan di antara mereka digambar secara skematis: GENERATOR - memproses pembuatan data dengan sensor peralatan, BUFFER - mengelola antrian data, ANALYZER - melakukan pembelajaran mesin itu sendiri, MONITOR - memantau proses kualitas pembelajaran mesin dan menyampaikan sinyal tentang perlunya melatih ulang model.

Gambar 17 Komposisi solusi AI/ML berupa sistem proses bisnis berbasis agen di InterSystems IRIS

Diagram di bawah mengilustrasikan fungsi otonom dari prototipe robot lain (pengenalan pewarnaan emosional teks) selama beberapa waktu. Di bagian atas adalah evolusi indikator kualitas pelatihan model (kualitas meningkat), di bagian bawah adalah dinamika indikator kualitas penerapan model dan fakta pelatihan berulang (garis merah). Seperti yang Anda lihat, solusi tersebut telah belajar sendiri secara efisien dan mandiri, dan beroperasi pada tingkat kualitas tertentu (nilai skor kualitas tidak turun di bawah 80%).

Gambar 18 Pelatihan (mandiri) berkelanjutan (CT) pada platform InterSystems IRIS

Kami juga menyebutkan “auto-ML” sebelumnya, tetapi diagram di bawah menunjukkan penggunaan fungsi ini secara detail menggunakan contoh prototipe lain. Diagram grafis dari sebuah fragmen proses bisnis menunjukkan aktivitas yang memicu pemodelan dalam tumpukan H2O, menunjukkan hasil pemodelan ini (dominasi yang jelas dari model yang dihasilkan dibandingkan model “buatan manusia”, menurut diagram komparatif dari Kurva ROC, serta identifikasi otomatis “variabel paling berpengaruh” yang tersedia dalam kumpulan data asli). Poin penting di sini adalah penghematan waktu dan sumber daya pakar yang dicapai melalui “ML otomatis”: apa yang dilakukan proses platform kami dalam waktu setengah menit (menemukan dan melatih model optimal) dapat memerlukan waktu satu minggu hingga satu bulan bagi seorang pakar.

Gambar 19 Integrasi “auto-ML” ke dalam solusi AI/ML pada platform InterSystems IRIS

Diagram di bawah ini sedikit melenceng, namun merupakan cara yang baik untuk mengakhiri cerita tentang kelas-kelas masalah real-time yang sedang dipecahkan: kami mengingatkan Anda bahwa dengan semua kemampuan platform InterSystems IRIS, model pelatihan yang berada di bawah kendalinya adalah tidak wajib. Platform dapat menerima dari luar apa yang disebut spesifikasi model PMML, dilatih dalam alat yang tidak berada di bawah kendali platform - dan menerapkan model ini secara real time sejak diimpor spesifikasi PMML. Penting untuk diingat bahwa tidak semua artefak AI/ML dapat direduksi menjadi spesifikasi PMML, meskipun sebagian besar artefak paling umum mengizinkan hal ini. Dengan demikian, platform InterSystems IRIS adalah “loop terbuka” dan tidak berarti “perbudakan platform” bagi pengguna.

Gambar 20 Integrasi “auto-ML” ke dalam solusi AI/ML pada platform InterSystems IRIS

Mari kita daftar keunggulan platform tambahan InterSystems IRIS (untuk kejelasan, sehubungan dengan kontrol proses), yang sangat penting dalam otomatisasi kecerdasan buatan dan pembelajaran mesin waktu nyata:

• Alat integrasi yang dikembangkan dengan sumber data dan konsumen apa pun (sistem kontrol proses/SCADA, peralatan, MRO, ERP, dll.)
• Bawaan DBMS multi-model untuk pemrosesan transaksional dan analitis berkinerja tinggi (Hybrid Transaction/Analytical Processing, HTAP) dari volume data proses teknologi apa pun
• Alat pengembangan untuk penerapan berkelanjutan mesin AI/ML untuk solusi real-time berdasarkan Python, R, Julia
• Proses bisnis adaptif untuk integrasi berkelanjutan dan pembelajaran (mandiri) mesin solusi AI/ML secara real-time
• Alat Business Intelligence bawaan untuk memvisualisasikan data proses dan hasil solusi AI/ML
• Manajemen API untuk menyampaikan hasil solusi AI/ML ke sistem kontrol proses/SCADA, sistem informasi dan analitik, pengiriman peringatan, dll.

Solusi AI/ML pada platform InterSystems IRIS dengan mudah disesuaikan dengan infrastruktur TI yang ada. Platform InterSystems IRIS memastikan keandalan solusi AI/ML yang tinggi dengan mendukung konfigurasi yang toleran terhadap kesalahan dan toleran terhadap bencana serta penerapan yang fleksibel di lingkungan virtual, di server fisik, di cloud privat dan publik, serta container Docker.

Oleh karena itu, InterSystems IRIS adalah platform komputasi AI/ML real-time universal. Universalitas platform kami dikonfirmasi dalam praktiknya dengan tidak adanya pembatasan de facto pada kompleksitas penghitungan yang diterapkan, kemampuan InterSystems IRIS untuk menggabungkan pemrosesan skenario (dalam waktu nyata) dari berbagai industri, dan kemampuan beradaptasi yang luar biasa dari platform kami. fungsi dan mekanisme platform apa pun untuk kebutuhan spesifik pengguna.

Gambar 21 InterSystems IRIS - platform komputasi AI/ML real-time universal

Untuk interaksi yang lebih substantif dengan para pembaca kami yang tertarik dengan materi yang disajikan di sini, kami menyarankan untuk tidak membatasi diri Anda hanya dengan membacanya dan melanjutkan dialog “langsung”. Kami akan dengan senang hati memberikan dukungan dengan perumusan skenario AI/ML real-time sehubungan dengan spesifik perusahaan Anda, melakukan pembuatan prototipe bersama pada platform InterSystems IRIS, merumuskan dan menerapkan dalam praktik peta jalan untuk memperkenalkan kecerdasan buatan dan pembelajaran mesin ke dalam proses produksi dan manajemen Anda. Email Kontak Tim Pakar AI/ML kami – [email dilindungi].

Sumber: www.habr.com