InterSystems IRIS - platform AI/ML masa nyata universal

Pengarang: Sergey Lukyanchikov, Jurutera Perunding InterSystems

Cabaran Pengkomputeran AI/ML masa nyata

Mari kita mulakan dengan contoh daripada pengalaman amalan Sains Data di InterSystems:

• Portal pembeli "dimuatkan" disambungkan ke sistem pengesyor dalam talian. Penstrukturan semula promosi pada skala rangkaian runcit akan datang (contohnya, bukannya barisan promosi "rata", matriks "taktik segmen" kini akan digunakan). Apa yang berlaku kepada pengesyor? Apakah yang berlaku dengan penyerahan dan pengemaskinian data kepada mekanisme pengesyor (jumlah data input telah meningkat sebanyak 25000 kali ganda)? Apakah yang berlaku kepada pembangunan pengesyoran (keperluan untuk penurunan seribu kali ganda dalam ambang penapisan peraturan pengesyoran disebabkan peningkatan seribu kali ganda dalam bilangan dan "julat")?
• Terdapat sistem untuk memantau kebarangkalian perkembangan kecacatan dalam nod peralatan. Sistem kawalan proses telah disambungkan kepada sistem pemantauan, menghantar beribu-ribu parameter proses setiap saat. Apakah yang berlaku kepada sistem pemantauan yang sebelum ini bekerja pada "sampel manual" (adakah ia mampu menyediakan pemantauan kebarangkalian kedua-ke-saat)? Apakah yang akan berlaku jika blok baharu dengan beberapa ratus lajur muncul dalam data input dengan bacaan penderia baru-baru ini ditambahkan pada sistem kawalan proses (sama ada dan berapa lama masa yang diperlukan untuk menghentikan sistem pemantauan untuk memasukkan data daripada penderia baharu dalam analisis)?
• Satu set mekanisme AI/ML (pengesyoran, pemantauan, ramalan) telah dibuat, menggunakan hasil kerja masing-masing. Berapa banyak jam kerja diperlukan setiap bulan untuk menyesuaikan operasi kompleks ini kepada perubahan dalam data input? Apakah "kelembapan" keseluruhan yang disokong oleh kompleks membuat keputusan (kekerapan kejadian maklumat sokongan baharu di dalamnya berbanding kekerapan berlakunya data input baharu)?

Merumuskan ini dan banyak contoh lain, kami sampai kepada perumusan cabaran yang timbul apabila beralih kepada penggunaan pembelajaran mesin dan mekanisme kecerdasan buatan masa nyata:

• Adakah kami berpuas hati dengan kepantasan penciptaan dan penyesuaian (kepada perubahan situasi) perkembangan AI / ML dalam syarikat kami?
• Sejauh manakah penyelesaian AI/ML yang kami gunakan menyokong pengurusan perniagaan masa nyata?
• Adakah penyelesaian AI/ML yang kami gunakan dapat menyesuaikan diri secara bebas (tanpa pembangun) kepada perubahan dalam data dan amalan pengurusan perniagaan?

Artikel kami ialah gambaran keseluruhan terperinci tentang keupayaan platform InterSystems IRIS dari segi sokongan sejagat untuk penggunaan mekanisme AI / ML, pemasangan (integrasi) penyelesaian AI / ML dan latihan (pengujian) penyelesaian AI / ML pada data intensif mengalir. Kami akan beralih kepada penyelidikan pasaran, kajian kes penyelesaian AI/ML dan aspek konseptual tentang perkara yang kami rujuk sebagai platform AI/ML masa nyata dalam artikel ini.

Apa yang kami ketahui daripada tinjauan: aplikasi masa nyata

Penemuan soal siasatdijalankan di kalangan kira-kira 800 profesional IT pada 2019 oleh Lightbend bercakap untuk diri mereka sendiri:

Rajah 1 Pengguna utama data masa nyata

Marilah kami memetik serpihan laporan mengenai hasil tinjauan ini yang penting bagi kami dalam terjemahan kami:

“…Arah aliran dalam populariti alatan penyepaduan aliran data dan, pada masa yang sama, sokongan untuk pengkomputeran kontena memberikan tindak balas sinergistik kepada permintaan pasaran untuk cadangan penyelesaian berkesan yang lebih cekap, rasional dan dinamik. Aliran data membolehkan maklumat dipindahkan lebih cepat daripada data paket tradisional. Ditambah dengan ini ialah keupayaan untuk menggunakan kaedah pengiraan dengan cepat, seperti pengesyoran berasaskan AI/ML, untuk mencipta kelebihan daya saing melalui peningkatan kepuasan pelanggan. Perlumbaan untuk ketangkasan juga memberi kesan kepada semua peranan dalam paradigma DevOps - menjadikan pembangunan dan penggunaan aplikasi lebih cekap. … Lapan ratus empat profesional IT memberikan maklumat tentang penggunaan aliran data dalam organisasi mereka. Responden kebanyakannya terletak di negara Barat (41% di Eropah dan 37% di Amerika Utara) dan diagihkan hampir sama rata di kalangan syarikat kecil, sederhana dan besar. …

… Kecerdasan buatan bukan gembar-gembur. Lima puluh lapan peratus daripada mereka yang sudah menggunakan pemprosesan aliran data dalam aplikasi AI/ML yang produktif mengesahkan bahawa penggunaan mereka dalam AI/ML akan menyaksikan keuntungan terbesar tahun depan (berbanding dengan aplikasi lain).

• Menurut majoriti responden, penggunaan aliran data dalam senario AI / ML akan menerima peningkatan terbesar pada tahun hadapan.
• Aplikasi dalam AI/ML akan berkembang bukan sahaja melalui jenis senario yang agak baharu, tetapi juga melalui senario tradisional, di mana data masa nyata semakin digunakan.
• Selain AI/ML, tahap keghairahan dalam kalangan pengguna saluran paip data IoT adalah mengagumkan - 48% daripada mereka yang telah menyepadukan data IoT mengatakan bahawa pelaksanaan senario pada data ini akan menerima peningkatan yang ketara dalam masa terdekat. … »

Daripada tinjauan yang agak menarik ini, dapat dilihat bahawa persepsi pembelajaran mesin dan senario kecerdasan buatan sebagai peneraju dalam penggunaan aliran data sudah "dalam perjalanan". Tetapi persepsi AI / ML masa nyata melalui optik DevOps menjadi pemerhatian yang sama penting: di sini kita sudah boleh mula bercakap tentang transformasi budaya yang masih dominan "AI / ML sekali dengan set data yang boleh diakses sepenuhnya".

Konsep platform AI/ML masa nyata

Satu aplikasi biasa untuk AI/ML masa nyata adalah dalam kawalan proses pembuatan. Mengenai contoh dan mengambil kira refleksi sebelumnya, kami akan merumuskan konsep platform AI / ML masa nyata.
Penggunaan kecerdasan buatan dan pembelajaran mesin dalam kawalan proses mempunyai beberapa ciri:

• Data mengenai keadaan proses teknologi diterima secara intensif: dengan frekuensi tinggi dan dalam pelbagai parameter (sehingga puluhan ribu nilai parameter dihantar sesaat dari sistem kawalan proses)
• Data mengenai pengesanan kecacatan, apatah lagi data mengenai perkembangannya, sebaliknya, adalah terhad dan tidak teratur, dicirikan oleh penaipan kecacatan yang tidak mencukupi dan penyetempatan mereka dalam masa (sering diwakili oleh rekod di atas kertas)
• Dari sudut pandangan praktikal, hanya "tetingkap perkaitan" data awal tersedia untuk latihan dan penggunaan model, mencerminkan dinamik proses teknologi untuk selang gelongsor yang munasabah, berakhir dengan nilai bacaan terakhir parameter proses.

Ciri-ciri ini memaksa kami, sebagai tambahan kepada menerima dan pemprosesan masa nyata asas "input jalur lebar" yang sengit daripada proses itu, untuk melaksanakan (sejajar) aplikasi, latihan dan kawalan kualiti hasil kerja model AI / ML - juga dalam masa nyata. "Bingkai" yang model kami "lihat" dalam tetingkap gelongsor perkaitan sentiasa berubah – dan dengan itu, kualiti hasil kerja model AI / ML yang dilatih pada salah satu "bingkai" pada masa lalu juga berubah . Jika kualiti hasil kerja model AI / ML merosot (contohnya: nilai ralat pengelasan "penggera-norma" telah melampaui sempadan yang telah kami tetapkan), latihan semula model harus dimulakan secara automatik pada lebih "bingkai" yang berkaitan - dan pilihan masa untuk memulakan latihan semula model harus mengambil kira bagaimana tempoh latihan itu sendiri, serta dinamik kemerosotan dalam kualiti versi semasa model (sejak versi semasa daripada model terus digunakan semasa model sedang dilatih, dan sehingga versi "dilatih semula" mereka dijana).

InterSystems IRIS mempunyai keupayaan platform utama untuk membolehkan penyelesaian AI/ML masa nyata untuk kawalan proses. Kemungkinan ini boleh dibahagikan kepada tiga kumpulan utama:

• Penggunaan berterusan (Pengedaran Berterusan / Penghantaran, CD) mekanisme AI / ML sedia ada baharu atau disesuaikan ke dalam penyelesaian produktif yang beroperasi dalam masa nyata pada platform InterSystems IRIS
• Integrasi Berterusan (CI) ke dalam satu penyelesaian produktif aliran data proses masuk, baris gilir data untuk aplikasi / latihan / kawalan kualiti mekanisme AI / ML dan pertukaran data / kod / kawalan dengan persekitaran pemodelan matematik, yang diatur dalam masa nyata Platform InterSystems IRIS
• Pembelajaran berterusan (kendiri) (Latihan Berterusan, CT) mekanisme AI / ML dilakukan dalam persekitaran pemodelan matematik menggunakan data, kod dan tindakan kawalan (“keputusan dibuat”) yang dihantar oleh platform InterSystems IRIS

Klasifikasi keupayaan platform yang berkaitan dengan pembelajaran mesin dan kecerdasan buatan dalam kumpulan sebegitu bukan secara kebetulan. Mari kita petik metodologi penerbitan Google, yang menyediakan asas konsep untuk klasifikasi ini, dalam terjemahan kami:

“… Konsep DevOps, yang popular hari ini, meliputi pembangunan dan pengendalian sistem maklumat berskala besar. Kelebihan melaksanakan konsep ini ialah pengurangan dalam tempoh kitaran pembangunan, pecutan penggunaan pembangunan, fleksibiliti perancangan pelepasan. Untuk mencapai faedah ini, DevOps melibatkan pelaksanaan sekurang-kurangnya dua amalan:

• Integrasi Berterusan (CI)
• Penghantaran Berterusan (CD)

Amalan ini juga digunakan pada platform AI/ML untuk memastikan binaan penyelesaian AI/ML yang produktif dan mantap dan berprestasi.

Platform AI/ML berbeza daripada sistem maklumat lain dalam aspek berikut:

• Kecekapan Pasukan: Apabila membina penyelesaian AI/ML, pasukan biasanya termasuk saintis data atau saintis data yang menjalankan analisis data, pembangunan model dan pengesahan. Ahli pasukan ini mungkin bukan pembangun profesional kod produktif.
• Pembangunan: Mekanisme AI/ML bersifat eksperimen. Untuk menyelesaikan masalah dengan cara yang paling cekap, ia dikehendaki mengisih pelbagai kombinasi pembolehubah input, algoritma, kaedah pemodelan dan parameter model. Kerumitan carian sedemikian terletak pada mengesan "apa yang berjaya / tidak berfungsi", memastikan kebolehulangan episod, dan menggeneralisasikan perkembangan untuk pelaksanaan berulang.
• Pengujian: Menguji mekanisme AI/ML memerlukan rangkaian ujian yang lebih besar daripada kebanyakan perkembangan lain. Sebagai tambahan kepada ujian unit dan integrasi biasa, kesahihan data dan kualiti keputusan menggunakan model untuk latihan dan sampel kawalan diuji.
• Penerapan: Penerapan penyelesaian AI/ML tidak terhad kepada perkhidmatan ramalan yang menggunakan model yang pernah terlatih. Penyelesaian AI / ML dibina di sekitar saluran paip berbilang peringkat yang melaksanakan latihan automatik dan aplikasi model. Menggunakan saluran paip sedemikian melibatkan mengautomasikan langkah bukan remeh yang biasanya dilakukan secara manual oleh saintis data agar dapat melatih dan menguji model.
• Produktif: Enjin AI/ML boleh kekurangan prestasi bukan sahaja disebabkan pengaturcaraan yang tidak cekap, tetapi juga disebabkan sifat data input yang sentiasa berubah. Dalam erti kata lain, prestasi mekanisme AI/ML boleh merosot disebabkan oleh pelbagai sebab yang lebih luas daripada prestasi perkembangan konvensional. Ini menyebabkan keperluan untuk memantau (dalam talian) prestasi enjin AI/ML kami, dan menghantar makluman atau menolak keputusan jika prestasi tidak mengikut jangkaan.

Platform AI/ML adalah serupa dengan sistem maklumat lain kerana kedua-duanya memerlukan penyepaduan kod berterusan dengan kawalan versi, ujian unit, ujian penyepaduan, penggunaan pembangunan berterusan. Walau bagaimanapun, dalam kes AI/ML, terdapat beberapa perbezaan penting:

• CI (Integrasi Berterusan) tidak lagi terhad kepada menguji dan mengesahkan kod komponen yang digunakan - ia juga termasuk menguji dan mengesahkan data dan model AI/ML.
• CD (Penghantaran Berterusan / Deployment, penggunaan berterusan) tidak terhad kepada menulis dan mengeluarkan pakej atau perkhidmatan, tetapi membayangkan platform untuk mengarang, mempelajari dan menggunakan penyelesaian AI / ML.
• CT (Latihan Berterusan, pembelajaran berterusan) - elemen baharu [lebih kurang. oleh pengarang artikel: elemen baharu berhubung dengan konsep tradisional DevOps, di mana CT biasanya Ujian Berterusan], wujud dalam platform AI / ML, bertanggungjawab untuk mengurus secara autonomi mekanisme untuk mempelajari dan menggunakan model AI / ML. ... "

Kami boleh menyatakan bahawa pembelajaran mesin dan kecerdasan buatan yang bekerja pada data masa nyata memerlukan set alat dan kecekapan yang lebih luas (daripada pembangunan kod kepada orkestrasi persekitaran pemodelan matematik), penyepaduan yang lebih rapat antara semua bidang fungsi dan subjek, organisasi manusia yang lebih cekap dan sumber mesin.

Senario Masa Nyata: Mengiktiraf Perkembangan Kecacatan dalam Pam Suapan

Meneruskan menggunakan bidang kawalan proses sebagai contoh, pertimbangkan tugas khusus (telah kami sebutkan pada awalnya): ia diperlukan untuk menyediakan pemantauan masa nyata perkembangan kecacatan dalam pam berdasarkan aliran parameter proses dan laporan kakitangan penyelenggaraan mengenai kecacatan yang dikesan.

Rajah 2 Rumusan tugas memantau perkembangan kecacatan

Keistimewaan majoriti tugas yang ditetapkan dalam cara ini dalam amalan ialah ketetapan dan kecekapan penerimaan data (APCS) harus dipertimbangkan dengan latar belakang kejadian episodik dan tidak teratur (dan pendaftaran) pelbagai jenis kecacatan. Dalam erti kata lain: data daripada sistem kawalan proses datang sekali sesaat betul-tepat, dan kecacatan direkodkan dengan pensel kekal dengan tarikh dalam buku nota umum di bengkel (contohnya: “12.01 - bocor ke dalam penutup dari sisi galas ke-3”).

Oleh itu, adalah mungkin untuk menambah perumusan masalah dengan had penting berikut: kita hanya mempunyai satu "label" kecacatan jenis tertentu (iaitu, contoh kecacatan jenis tertentu diwakili oleh data daripada sistem kawalan proses untuk tarikh tertentu - dan kami tidak mempunyai lebih banyak contoh kecacatan jenis tertentu ini). Sekatan ini serta-merta membawa kami melampaui skop pembelajaran mesin klasik (pembelajaran diselia), yang sepatutnya terdapat banyak "label".

Rajah 3 Penambahbaikan tugas memantau perkembangan kecacatan

Bolehkah kita "menggandakan" satu-satunya "label" yang ada pada kita? Ya kita boleh. Keadaan semasa pam dicirikan oleh tahap persamaan dengan kecacatan yang didaftarkan. Walaupun tanpa menggunakan kaedah kuantitatif, pada tahap persepsi visual, memerhatikan dinamik nilai data yang datang dari sistem kawalan proses, anda sudah boleh belajar banyak:

Rajah 4 Dinamik keadaan pam terhadap latar belakang "tanda" kecacatan jenis tertentu

Tetapi persepsi visual (sekurang-kurangnya buat masa ini) bukanlah penjana "tag" yang paling sesuai dalam senario kami yang berubah dengan pantas. Kami akan menilai persamaan keadaan semasa pam dengan kecacatan yang dilaporkan menggunakan ujian statistik.

Rajah 5 Menggunakan ujian statistik pada data masuk dengan latar belakang "label" kecacatan

Ujian statistik menentukan kebarangkalian bahawa rekod dengan nilai parameter proses teknologi dalam "paket aliran" yang diterima daripada sistem kawalan proses adalah serupa dengan rekod "label" bagi jenis kecacatan tertentu. Nilai kebarangkalian yang dikira sebagai hasil daripada menggunakan ujian statistik (indeks kesamaan statistik) ditukar kepada nilai 0 atau 1, menjadi "label" untuk pembelajaran mesin dalam setiap rekod khusus dalam pakej kesamaan. Iaitu, selepas memproses pakej rekod keadaan pam yang baru diterima dengan ujian statistik, kami berpeluang untuk (a) menambah pakej ini kepada sampel latihan untuk melatih model AI / ML dan (b) memantau kualiti versi semasa model apabila ia digunakan pada pakej ini.

Rajah 6 Menggunakan model pembelajaran mesin pada data masuk dengan latar belakang "label" kecacatan

Dalam salah satu daripada kami sebelum ini webinar kami menunjukkan dan menerangkan bagaimana platform InterSystems IRIS membolehkan anda melaksanakan sebarang mekanisme AI / ML dalam bentuk melaksanakan proses perniagaan secara berterusan yang mengawal kebolehpercayaan hasil simulasi dan menyesuaikan parameter model. Apabila melaksanakan prototaip senario kami dengan pam, kami menggunakan semua kefungsian InterSystems IRIS yang dibentangkan semasa webinar - melaksanakan dalam proses penganalisis sebagai sebahagian daripada penyelesaian kami, bukan pembelajaran diselia klasik, sebaliknya pembelajaran pengukuhan, yang mengawal sampel secara automatik untuk latihan model. Rekod diletakkan dalam sampel latihan di mana "konsensus pengesanan" berlaku selepas menggunakan kedua-dua ujian statistik dan versi semasa model - iaitu kedua-dua ujian statistik (selepas transformasi indeks persamaan kepada 0 atau 1), dan model menghasilkan keputusan pada rekod sedemikian 1. Dengan latihan baharu model, semasa pengesahannya (model yang baru dilatih digunakan pada sampel latihannya sendiri, dengan aplikasi awal ujian statistik kepadanya), rekod yang "melakukan tidak tahan” keputusan 1 selepas diproses oleh ujian statistik (disebabkan kehadiran berterusan dalam latihan sampel rekod daripada "label" asal kecacatan) dialih keluar daripada sampel latihan, dan versi baharu model belajar daripada "label" kecacatan serta rekod "dipegang" daripada strim.

Rajah 7 Robotisasi pengiraan AI/ML dalam InterSystems IRIS

Jika terdapat keperluan untuk jenis "pendapat kedua" tentang kualiti pengesanan yang diperoleh oleh pengkomputeran tempatan dalam InterSystems IRIS, proses penasihat dibuat untuk melaksanakan model penerapan latihan pada set data kawalan menggunakan perkhidmatan awan (contohnya, Microsoft Azure , Perkhidmatan Web Amazon , Platform Awan Google, dsb.):

Rajah 8 Pendapat Kedua daripada Microsoft Azure didalangi oleh InterSystems IRIS

Prototaip senario kami dalam InterSystems IRIS dibuat dalam bentuk sistem berasaskan agen proses analisis yang berinteraksi dengan objek peralatan (pam), persekitaran pemodelan matematik (Python, R dan Julia), dan menyediakan pembelajaran kendiri semua melibatkan mekanisme AI / ML - pada aliran data masa nyata .

Rajah 9 Kefungsian utama penyelesaian AI/ML masa nyata dalam InterSystems IRIS

Hasil praktikal prototaip kami:

• Corak kecacatan yang diiktiraf oleh model (12 Januari):

• Kecacatan berkembang yang diiktiraf oleh model, yang tidak termasuk dalam sampel (11 September, kecacatan itu sendiri telah dipastikan oleh pasukan pembaikan hanya dua hari kemudian - 13 September):

Simulasi pada data sebenar yang mengandungi beberapa episod kecacatan yang sama menunjukkan bahawa penyelesaian kami, yang dilaksanakan pada platform InterSystems IRIS, membolehkan kami mengesan perkembangan kecacatan jenis ini beberapa hari sebelum ia dikesan oleh pasukan pembaikan.

InterSystems IRIS - platform pengkomputeran AI/ML masa nyata universal

Platform InterSystems IRIS memudahkan pembangunan, penggunaan dan pengendalian penyelesaian data masa nyata. InterSystems IRIS dapat melakukan pemprosesan data transaksi dan analitik secara serentak; mengekalkan pandangan data yang disegerakkan mengikut beberapa model (termasuk hubungan, hierarki, objek dan dokumen); bertindak sebagai platform penyepaduan untuk pelbagai sumber data dan aplikasi individu; menyediakan analisis masa nyata lanjutan pada data berstruktur dan tidak berstruktur. InterSystems IRIS juga menyediakan mekanisme untuk penggunaan alat analisis luaran, membolehkan fleksibiliti untuk menggabungkan pengehosan dalam awan dan pada pelayan tempatan.

Aplikasi yang dibina di atas platform InterSystems IRIS telah digunakan merentasi industri, membantu syarikat mencapai nilai ekonomi yang ketara dari perspektif strategik dan operasi, meningkatkan pembuatan keputusan dan menutup jurang antara peristiwa, analisis dan tindakan.

Rajah 10 Seni bina IRIS InterSystems dalam konteks AI/ML masa nyata

Seperti rajah sebelumnya, rajah di bawah menggabungkan "sistem koordinat" (CD/CI/CT) baharu dengan aliran maklumat antara item kerja platform. Visualisasi bermula dengan mekanisme makro CD dan diteruskan dengan mekanisme makro CI dan CT.

Rajah 11 Skim aliran maklumat antara elemen AI/ML platform InterSystems IRIS

Intipati mekanisme CD dalam InterSystems IRIS: pengguna platform (pembangun penyelesaian AI / ML) menyesuaikan sedia ada dan / atau mencipta pembangunan AI / ML baharu menggunakan editor kod mekanisme AI / ML khusus: Jupyter (nama penuh: Jupyter Notebook; juga, untuk ringkasnya, dokumen yang dibuat dalam editor ini kadangkala dipanggil). Dalam Jupyter, pembangun berpeluang untuk menulis, nyahpepijat dan mengesahkan prestasi (termasuk menggunakan grafik) pembangunan AI / ML tertentu sebelum ia dihoskan ("dikerahkan") dalam InterSystems IRIS. Adalah jelas bahawa pembangunan baharu yang dibuat dengan cara ini hanya akan menerima penyahpepijatan asas (kerana, khususnya, Jupyter tidak berfungsi dengan aliran data masa nyata) - ini adalah mengikut urutan perkara, kerana hasil utama pembangunan di Jupyter ialah pengesahan kebolehkendalian asas mekanisme AI / ML yang berasingan ("menunjukkan hasil yang dijangkakan pada sampel data"). Begitu juga, mekanisme yang telah diletakkan dalam platform (lihat mekanisme makro berikut) sebelum nyahpepijat dalam Jupyter mungkin memerlukan "putar balik" ke borang "pra-platform" (membaca data daripada fail, bekerja dengan data melalui xDBC dan bukannya jadual, interaksi langsung dengan global - tatasusunan data berbilang dimensi InterSystems IRIS - dll.).

Aspek penting pelaksanaan CD dalam InterSystems IRIS ialah penyepaduan dua arah dilaksanakan antara platform dan Jupyter, yang membolehkan anda memindahkan ke platform (dan, seterusnya, memproses dalam platform) kandungan dalam Python, R dan Julia (ketiganya adalah bahasa pengaturcaraan dalam persekitaran sumber terbuka terkemuka yang sepadan bagi pemodelan matematik). Oleh itu, pembangun kandungan AI/ML mempunyai keupayaan untuk "mengerahkan secara berterusan" kandungan ini ke platform, bekerja dalam editor Jupyter mereka yang biasa, dengan perpustakaan biasa tersedia dalam Python, R, Julia, dan melakukan penyahpepijatan asas (jika perlu) di luar platform .

Mari kita beralih kepada mekanisme makro CI dalam InterSystems IRIS. Rajah menunjukkan proses makro "robot masa nyata" (kompleks struktur data, proses perniagaan dan serpihan kod yang diatur oleh mereka dalam bahasa tikar dan bahasa ObjectScript - bahasa pembangunan asli InterSystems IRIS). Tugas proses makro ini adalah untuk mengekalkan baris gilir data yang diperlukan untuk operasi mekanisme AI / ML (berdasarkan aliran data yang dihantar ke platform dalam masa nyata), membuat keputusan tentang urutan aplikasi dan "julat" AI / Mekanisme ML (ia juga "algoritma matematik", " model", dll. - boleh dipanggil secara berbeza bergantung pada spesifikasi pelaksanaan dan keutamaan istilah), memastikan struktur data dikemas kini untuk menganalisis hasil kerja mekanisme AI / ML (kiub, jadual, tatasusunan data berbilang dimensi, dsb.). dsb. - untuk laporan, papan pemuka, dsb.).

Aspek penting pelaksanaan CI dalam InterSystems IRIS ialah penyepaduan dua hala dilaksanakan antara platform dan persekitaran pemodelan matematik, yang membolehkan pelaksanaan kandungan yang dihoskan dalam platform dalam Python, R dan Julia dalam persekitaran masing-masing dengan pulangan hasil pelaksanaan . Penyepaduan ini dilaksanakan dalam kedua-dua "mod terminal" (iaitu kandungan AI/ML dirumus sebagai kod ObjectScript yang membuat panggilan ke tikar) dan "mod proses perniagaan" (iaitu kandungan AI/ML dirumus sebagai sebagai proses perniagaan menggunakan editor grafik, atau kadangkala menggunakan Jupyter, atau menggunakan IDE - IRIS Studio, Eclipse, Visual Studio Code). Kebolehsuntingan proses perniagaan dalam Jupyter dicerminkan oleh hubungan antara IRIS pada peringkat CI dan Jupyter pada peringkat CD. Gambaran keseluruhan yang lebih terperinci tentang penyepaduan dengan persekitaran pemodelan matematik diberikan di bawah. Pada peringkat ini, pada pendapat kami, terdapat segala-galanya untuk menetapkan kehadiran dalam platform semua alatan yang diperlukan untuk melaksanakan "integrasi berterusan" pembangunan AI / ML (yang datang daripada "pengerahan berterusan") ke dalam AI / masa nyata. Penyelesaian ML.

Dan mekanisme makro utama: CT. Tanpanya, tidak akan ada platform AI / ML (walaupun "masa nyata" akan dilaksanakan melalui CD / CI). Intipati CT ialah kerja platform dengan "artifak" pembelajaran mesin dan kecerdasan buatan secara langsung dalam sesi kerja persekitaran pemodelan matematik: model, jadual pengedaran, vektor matriks, lapisan rangkaian saraf, dsb. "Kerja" ini dalam kebanyakan kes, terdiri daripada mencipta artifak yang disebutkan dalam persekitaran (dalam kes model, sebagai contoh, "penciptaan" terdiri daripada menetapkan spesifikasi model dan pemilihan nilai parameternya yang berikutnya - apa yang dipanggil "latihan" model), aplikasinya (untuk model: menggunakannya untuk mengira nilai "model" pembolehubah sasaran - ramalan, tergolong dalam kategori, kebarangkalian sesuatu peristiwa berlaku, dll.) dan menambah baik artifak yang telah dibuat dan digunakan (contohnya, mentakrifkan semula set pembolehubah input model berdasarkan hasil aplikasi – untuk meningkatkan ketepatan ramalan, sebagai pilihan). Perkara utama dalam memahami peranan CT ialah "abstraksi"nya daripada realiti CD dan CI: CT akan melaksanakan semua artifak, memfokuskan pada spesifik pengiraan dan matematik penyelesaian AI / ML dalam keupayaan yang disediakan oleh persekitaran tertentu . Tanggungjawab untuk "menyediakan data input" dan "menyampaikan hasil" akan menjadi tanggungjawab CD dan CI.

Aspek penting pelaksanaan CT dalam InterSystems IRIS: menggunakan penyepaduan dengan persekitaran pemodelan matematik yang telah disebutkan di atas, platform mempunyai keupayaan untuk mengekstrak artifak yang sama daripada sesi kerja yang dijalankan di bawah kawalannya dalam persekitaran dan (paling penting) mengubahnya menjadi platform objek data. Sebagai contoh, jadual pengedaran yang baru dibuat dalam sesi Python yang berfungsi boleh (tanpa menghentikan sesi dalam Python) dipindahkan ke platform dalam bentuk, sebagai contoh, global (tatasusunan data InterSystems IRIS multidimensi) - dan digunakan untuk pengiraan dalam mekanisme AI / ML- yang lain (sudah dilaksanakan dalam bahasa persekitaran lain - sebagai contoh, dalam R) - atau jadual maya. Contoh lain: selari dengan "mod biasa" operasi model (dalam sesi kerja Python), "auto-ML" dijalankan pada data inputnya: pemilihan automatik pembolehubah input optimum dan nilai parameter. Dan bersama-sama dengan latihan "biasa", model produktif dalam masa nyata juga menerima "cadangan pengoptimuman" untuk spesifikasinya - di mana set pembolehubah input berubah, nilai parameter berubah (bukan hasil latihan dalam Python , tetapi sebagai hasil daripada latihan "versi alternatif itu sendiri, seperti dalam timbunan H2O), membenarkan keseluruhan penyelesaian AI/ML untuk secara autonomi menangani perubahan yang tidak dijangka dalam sifat data input dan fenomena yang dimodelkan.

Mari kita berkenalan dengan lebih terperinci dengan platform AI / ML fungsi InterSystems IRIS, menggunakan contoh prototaip kehidupan sebenar.

Dalam rajah di bawah, di sebelah kiri slaid, terdapat sebahagian daripada proses perniagaan yang melaksanakan pemprosesan skrip dalam Python dan R. Di bahagian tengah, terdapat log visual untuk pelaksanaan beberapa skrip ini, masing-masing, dalam Python dan R. Di belakangnya terdapat contoh kandungan pada satu dan bahasa lain, diserahkan untuk dilaksanakan dalam persekitaran yang sesuai. Di hujung sebelah kanan adalah visualisasi berdasarkan hasil pelaksanaan skrip. Visualisasi di bahagian atas dibuat pada Analitis IRIS (data diambil dari Python ke platform data InterSystems IRIS dan dipaparkan pada papan pemuka menggunakan platform), di bahagian bawah ia dibuat tepat dalam sesi kerja R dan output dari sana ke fail grafik. Aspek penting: serpihan yang dibentangkan dalam prototaip bertanggungjawab untuk melatih model (pengkelasan keadaan peralatan) pada data yang datang dalam masa nyata dari proses-simulator peralatan, atas arahan daripada proses-monitor kualiti klasifikasi diperhatikan semasa penggunaan model. Pelaksanaan penyelesaian AI/ML sebagai satu set proses berinteraksi (“agen”) akan dibincangkan dengan lebih lanjut.

Rajah 12 Interaksi dengan Python, R dan Julia dalam InterSystems IRIS

Proses platform (ia juga merupakan "proses perniagaan", "proses analisis", "talian paip", dsb. - bergantung pada konteks), disunting terutamanya dalam editor proses perniagaan grafik dalam platform itu sendiri, dan dengan cara yang kedua-duanya rajah bloknya dan mekanisme AI/ML yang sepadan (kod program) dicipta serentak. Bercakap tentang fakta bahawa "mekanisme AI / ML diperoleh", kami pada mulanya bermaksud hibriditi (dalam proses yang sama): kandungan dalam bahasa persekitaran pemodelan matematik bersebelahan dengan kandungan dalam SQL (termasuk sambungan daripada IntegratedML), dalam InterSystems ObjectScript, dengan bahasa lain yang disokong. Selain itu, proses platform menyediakan kemungkinan yang sangat luas untuk "melukis" dalam bentuk serpihan bersarang secara hierarki (seperti yang boleh dilihat dalam contoh dalam rajah di bawah), yang membolehkan anda mengatur kandungan yang sangat kompleks dengan berkesan tanpa "jatuh" daripada format grafik di mana-mana sahaja (ke dalam kaedah/kelas/prosedur “bukan grafik », dsb.). Iaitu, jika perlu (dan ia dijangka dalam kebanyakan projek), benar-benar semua penyelesaian AI / ML boleh dilaksanakan dalam format mengulas sendiri grafik. Sila ambil perhatian bahawa di bahagian tengah rajah di bawah, yang menunjukkan "tahap bersarang" yang lebih tinggi, anda boleh melihat bahawa sebagai tambahan kepada kerja sebenar melatih model (menggunakan Python dan R), analisis yang dipanggil ROC lengkung model terlatih ditambah, yang membolehkan secara visual (dan pengiraan juga) menilai kualiti latihan - dan analisis ini dilaksanakan dalam bahasa Julia (ia dilaksanakan, masing-masing, dalam persekitaran Julia).

Rajah 13 Persekitaran visual untuk mengarang penyelesaian AI/ML dalam InterSystems IRIS

Seperti yang dinyatakan sebelum ini, pembangunan awal dan (dalam beberapa kes) penyesuaian mekanisme AI / ML yang telah dilaksanakan dalam platform akan / boleh dilakukan di luar platform dalam editor Jupyter. Dalam rajah di bawah, kita melihat contoh menyesuaikan proses platform sedia ada (sama seperti dalam rajah di atas) - ini adalah bagaimana serpihan yang bertanggungjawab untuk melatih model kelihatan dalam Jupyter. Kandungan Python tersedia untuk menyunting, menyahpepijat, output grafik secara langsung dalam Jupyter. Perubahan (jika perlu) boleh dibuat dengan penyegerakan segera kepada proses platform, termasuk versi pengeluarannya. Begitu juga, kandungan baharu boleh dipindahkan ke platform (proses platform baharu dijana secara automatik).

Rajah 14 Menggunakan Buku Nota Jupyter untuk Mengedit Enjin AI/ML dalam Platform IRIS InterSystems

Penyesuaian proses platform boleh dilakukan bukan sahaja dalam format grafik atau buku nota, tetapi juga dalam format IDE (Persekitaran Pembangunan Bersepadu) "jumlah". IDE ini ialah IRIS Studio (studio IRIS asli), Visual Studio Code (sambungan IRIS InterSystems untuk VSCode) dan Eclipse (pemalam Atelier). Dalam sesetengah kes, adalah mungkin untuk pasukan pembangunan menggunakan ketiga-tiga IDE pada masa yang sama. Rajah di bawah menunjukkan contoh menyunting proses yang sama dalam studio IRIS, dalam Kod Visual Studio dan dalam Eclipse. Benar-benar semua kandungan tersedia untuk diedit: Python/R/Julia/SQL, ObjectScript dan proses perniagaan.

Rajah 15 Pembangunan proses perniagaan InterSystems IRIS dalam pelbagai IDE

Perihalan proses perniagaan InterSystems IRIS dan alatan pelaksanaan dalam Bahasa Proses Perniagaan (BPL) patut diberi perhatian khusus. BPL memungkinkan untuk menggunakan "komponen integrasi siap sedia" (aktiviti) dalam proses perniagaan - yang, sebenarnya, memberikan alasan penuh untuk menegaskan bahawa "integrasi berterusan" dilaksanakan dalam InterSystems IRIS. Komponen proses perniagaan sedia dibuat (aktiviti dan pautan antaranya) ialah pemecut paling berkuasa untuk memasang penyelesaian AI/ML. Dan bukan sahaja perhimpunan: terima kasih kepada aktiviti dan hubungan antara mereka, melalui perkembangan dan mekanisme AI / ML yang berbeza, "lapisan pengurusan autonomi" muncul yang mampu membuat keputusan mengikut situasi, dalam masa nyata.

Rajah 16 Komponen proses perniagaan sedia untuk penyepaduan berterusan (CI) pada platform InterSystems IRIS

Konsep sistem ejen (ia juga "sistem berbilang ejen") mempunyai kedudukan yang kukuh dalam robotik, dan platform InterSystems IRIS secara organik menyokongnya melalui konstruk "proses produk". Sebagai tambahan kepada kemungkinan tanpa had untuk "menyumbat" setiap proses dengan fungsi yang diperlukan untuk penyelesaian keseluruhan, memberikan sistem proses platform dengan sifat "agensi" membolehkan anda mencipta penyelesaian yang berkesan untuk fenomena simulasi yang sangat tidak stabil (tingkah laku sosial/biosistem , proses teknologi yang boleh diperhatikan sebahagiannya, dsb.).

Rajah 16 Operasi penyelesaian AI/ML sebagai sistem ejen proses perniagaan dalam InterSystems IRIS

Kami meneruskan semakan kami InterSystems IRIS dengan cerita tentang aplikasi platform untuk menyelesaikan keseluruhan kelas masalah masa nyata (kenalan yang agak terperinci dengan beberapa amalan terbaik platform AI / ML pada InterSystems IRIS berlaku dalam salah satu daripada kami sebelum ini. webinar).

Dalam usaha mengejar rajah sebelumnya, di bawah adalah gambar rajah yang lebih terperinci tentang sistem ejen. Gambar rajah menunjukkan prototaip yang sama, keempat-empat proses ejen boleh dilihat, perhubungan di antara mereka dilukis secara skematik: PENJANA - mengendalikan penciptaan data oleh penderia peralatan, PENAPI - mengurus baris gilir data, PENGANALISIS - melaksanakan pembelajaran mesin itu sendiri, MONITOR - mengawal kualiti pembelajaran mesin dan memberi isyarat bahawa model itu perlu dilatih semula.

Rajah 17 Komposisi penyelesaian AI/ML sebagai sistem ejen proses perniagaan dalam InterSystems IRIS

Rajah di bawah menggambarkan fungsi autonomi prototaip robotik lain (pengecaman teks emosi) untuk beberapa lama. Di bahagian atas - evolusi penunjuk kualiti pembelajaran model (kualiti semakin meningkat), di bahagian bawah - dinamik penunjuk kualiti aplikasi model dan fakta latihan berulang (bar merah). Seperti yang anda lihat, penyelesaian itu telah belajar sendiri dengan cekap dan autonomi, dan berfungsi pada tahap kualiti tertentu (nilai penunjuk kualiti tidak jatuh di bawah 80%).

Rajah 18 Pembelajaran berterusan (kendiri) (CT) pada platform InterSystems IRIS

Kami juga menyebut "auto-ML" sebelum ini, tetapi rajah di bawah menunjukkan aplikasi fungsi ini secara terperinci menggunakan prototaip lain sebagai contoh. Gambar rajah grafik serpihan proses perniagaan menunjukkan aktiviti yang memulakan simulasi dalam timbunan H2O, menunjukkan hasil simulasi ini (penguasaan jelas model yang terhasil ke atas model "buatan manusia", mengikut carta perbandingan lengkung ROC , serta pengenalan automatik "pembolehubah paling berpengaruh" daripada tersedia dalam set data asal). Perkara penting di sini ialah penjimatan masa dan sumber pakar, yang dicapai melalui "auto-ML": apa yang proses platform kami lakukan dalam setengah minit (mencari dan melatih model optimum), pakar boleh mengambil masa dari seminggu hingga satu bulan.

Rajah 19 Penyepaduan Auto-ML ke dalam penyelesaian AI/ML berdasarkan platform InterSystems IRIS

Gambar rajah di bawah "mengetuk kemuncak" sedikit, tetapi ini adalah cara yang baik untuk melengkapkan cerita tentang kelas masalah masa nyata yang sedang diselesaikan: kami mengingatkan anda bahawa dengan semua keupayaan platform InterSystems IRIS, model latihan di bawah kawalannya tidak wajib. Platform ini secara luaran boleh mendapatkan apa yang dipanggil spesifikasi model PMML yang dilatih dalam alat yang tidak dikawal oleh platform - dan menggunakan model ini dalam masa nyata dari saat ia diimport Spesifikasi PMML. Pada masa yang sama, adalah penting untuk mengambil kira bahawa tidak semua artifak AI / ML boleh dikurangkan kepada spesifikasi PMML, walaupun kebanyakan artifak yang paling biasa membenarkan ini. Oleh itu, platform InterSystems IRIS mempunyai "gelung terbuka" dan tidak bermaksud "perhambaan platform" untuk pengguna.

Rajah 20 Penyepaduan Auto-ML ke dalam penyelesaian AI/ML berdasarkan platform InterSystems IRIS

Kami menyenaraikan kelebihan platform tambahan InterSystems IRIS (untuk kejelasan, berhubung dengan kawalan proses), yang sangat penting dalam automasi kecerdasan buatan dan pembelajaran mesin masa nyata:

• Alat penyepaduan lanjutan dengan mana-mana sumber data dan pengguna (PCS/SCADA, peralatan, MRO, ERP, dsb.)
• terbina dalam DBMS berbilang model untuk pemprosesan analisis transaksional berprestasi tinggi (Transaksi Hibrid/Pemprosesan Analitik, HTAP) bagi sebarang volum data proses
• Alat pembangunan untuk penggunaan berterusan enjin keputusan AI/ML masa nyata berdasarkan Python, R, Julia
• Proses perniagaan adaptif untuk penyepaduan berterusan dan mekanisme pembelajaran (kendiri) bagi penyelesaian AI/ML masa nyata
• Alat Perisikan Perniagaan terbenam untuk menggambarkan data proses dan hasil penyelesaian AI/ML
• Pengurusan API untuk menyampaikan hasil penyelesaian AI / ML untuk memproses sistem kawalan / SCADA, sistem maklumat dan analisis, menghantar makluman, dsb.

Penyelesaian AI / ML berdasarkan platform InterSystems IRIS mudah sesuai dengan infrastruktur IT sedia ada. Platform InterSystems IRIS menyediakan kebolehpercayaan yang tinggi bagi penyelesaian AI/ML melalui sokongan untuk konfigurasi toleran kesalahan dan toleran bencana serta penggunaan fleksibel dalam persekitaran maya, pada pelayan fizikal, dalam awan peribadi dan awam, bekas Docker.

Oleh itu, InterSystems IRIS ialah platform pengkomputeran AI/ML masa nyata universal. Kesejagatan platform kami disahkan dalam amalan dengan ketiadaan sekatan de facto terhadap kerumitan pengiraan yang dilaksanakan, keupayaan InterSystems IRIS untuk menggabungkan (dalam masa nyata) pemprosesan senario daripada pelbagai jenis industri, dan kebolehsuaian yang luar biasa. sebarang fungsi dan mekanisme platform untuk keperluan pengguna tertentu.

Rajah 21 InterSystems IRIS - Platform Pengkomputeran AI/ML Masa Nyata Universal

Untuk interaksi yang lebih substantif dengan pembaca kami yang berminat dengan bahan yang dibentangkan di sini, kami mengesyorkan agar anda tidak mengehadkan diri anda untuk membacanya dan meneruskan dialog "secara langsung". Kami berbesar hati untuk memberikan sokongan dengan penggubalan senario AI / ML masa nyata berhubung dengan spesifik syarikat anda, melaksanakan prototaip bersama pada platform InterSystems IRIS, membentuk dan mempraktikkan peta jalan untuk memperkenalkan kecerdasan buatan dan pembelajaran mesin ke dalam proses pengeluaran dan pengurusan anda. Alamat e-mel hubungan kumpulan pakar AI/ML kami ialah [e-mel dilindungi].

Sumber: www.habr.com