Ing taun 2018, konsep MLOps muncul ing kalangan profesional lan ing konferensi tematik sing didedikake kanggo AI, sing cepet dicekel ing industri lan saiki berkembang minangka arah independen. Ing mangsa ngarep, MLOps bisa dadi salah sawijining wilayah sing paling populer ing IT. Apa iku lan apa sing dipangan? Ayo goleki ing ngisor iki.
Apa MLOps
MLOps (nggabungake teknologi lan proses pembelajaran mesin lan pendekatan kanggo ngetrapake model sing dikembangake dadi proses bisnis) minangka cara kolaborasi anyar antarane perwakilan bisnis, ilmuwan, matématikawan, spesialis pembelajaran mesin lan insinyur IT nalika nggawe sistem intelijen buatan.
Kanthi tembung liyane, iki minangka cara kanggo ngowahi metode lan teknologi pembelajaran mesin dadi alat sing migunani kanggo ngrampungake masalah bisnis.
Perlu dimangerteni manawa rantai produktivitas wiwit dawa sadurunge pangembangan model kasebut. Langkah pisanan yaiku nemtokake masalah bisnis, hipotesis babagan nilai sing bisa diekstrak saka data, lan ide bisnis kanggo ngetrapake.
Konsep MLOps muncul minangka analogi karo konsep DevOps sing ana gandhengane karo model lan teknologi pembelajaran mesin. DevOps minangka pendekatan pangembangan piranti lunak sing ngidini sampeyan nambah kacepetan implementasine owah-owahan individu nalika njaga keluwesan lan linuwih kanthi nggunakake sawetara pendekatan, kalebu pangembangan terus-terusan, divisi fungsi dadi sawetara layanan mikro mandiri, tes otomatis lan penyebaran individu. owah-owahan, ngawasi kesehatan global, sistem respon cepet kanggo gagal dideteksi, etc.
DevOps wis nemtokake siklus urip piranti lunak, lan komunitas duwe ide kanggo ngetrapake metodologi sing padha kanggo data gedhe. DataOps minangka upaya kanggo ngganti lan nggedhekake metodologi kanthi njupuk fitur nyimpen, ngirim lan ngolah data sing akeh ing macem-macem platform lan interoperable.
Kanthi tekane model pembelajaran mesin massa kritis tartamtu sing dileksanakake ing proses bisnis perusahaan, ana persamaan sing kuat ing antarane siklus urip model pembelajaran mesin matematika lan siklus urip piranti lunak. Bedane mung algoritma model digawe nggunakake alat lan metode pembelajaran mesin. Mula, ide kasebut muncul kanggo ngetrapake lan adaptasi pendekatan sing wis dikenal kanggo pangembangan piranti lunak kanggo model pembelajaran mesin. Dadi, tahap utama ing ngisor iki bisa dibedakake ing siklus urip model pembelajaran mesin:
- netepake ide bisnis;
- latihan model;
- testing lan implementasine saka model menyang proses bisnis;
- operasi saka model.
Nalika sajrone operasi ana perlu kanggo ngganti utawa nglatih maneh model ing data anyar, siklus diwiwiti maneh - model wis olahan, dites, lan versi anyar disebarake.
mundur. Napa nglatih maneh lan ora nglatih maneh? Istilah "latihan ulang model" nduweni teges ganda: ing antarane para ahli tegese cacat model, nalika model prédhiksi kanthi apik, bener mbaleni parameter sing diprediksi ing set latihan, nanging nindakake luwih elek ing sampel data eksternal. Mesthine, model kasebut minangka cacat, amarga cacat iki ora ngidini panggunaane.
Ing siklus urip iki, misale jek logis nggunakake alat DevOps: tes otomatis, panyebaran lan pemantauan, ngrancang kalkulasi model kanthi bentuk layanan mikro sing kapisah. Nanging ana uga sawetara fitur sing nyegah panggunaan langsung alat kasebut tanpa tambahan ML naleni.
Carane nggawe model bisa lan duwe bathi
Minangka conto sing bakal nduduhake panggunaan pendekatan MLOps, kita bakal njupuk tugas klasik kanggo robotisasi dhukungan chatting kanggo produk perbankan (utawa liyane). Biasane, proses bisnis dhukungan chatting katon kaya iki: klien ngetik pesen kanthi pitakonan ing obrolan lan nampa respon saka spesialis ing wit dialog sing wis ditemtokake. Tugas ngotomatisasi obrolan kasebut biasane ditanggulangi kanthi nggunakake aturan sing ditetepake kanthi ahli, sing mbutuhake tenaga kerja kanggo ngembangake lan njaga. Efisiensi otomatisasi kasebut, gumantung saka tingkat kerumitan tugas, bisa 20-30%. Mesthine, ide kasebut muncul yen luwih nguntungake kanggo ngetrapake modul intelijen buatan - model sing dikembangake nggunakake pembelajaran mesin, yaiku:
- bisa ngolah luwih akeh panjalukan tanpa partisipasi operator (gumantung saka topik, ing sawetara kasus efisiensi bisa tekan 70-80%);
- adaptasi luwih apik kanggo tembung non-standar ing dialog - bisa nemtokake maksud, kepinginan nyata pangguna adhedhasar panjalukan sing ora dirumusake kanthi jelas;
- ngerti carane kanggo nemtokake nalika jawaban model cukup, lan nalika ana mamang babagan "kesadaran" jawaban iki lan sampeyan kudu takon pitakonan clarifying tambahan utawa ngalih menyang operator;
- bisa uga dilatih kanthi otomatis (tinimbang klompok pangembang sing terus adaptasi lan mbenerake skrip respon, model kasebut uga dilatih dening spesialis Ilmu Data nggunakake perpustakaan pembelajaran mesin sing cocog).
Kepiye carane nggawe model canggih kasebut?
Kaya kanggo ngrampungake masalah liyane, sadurunge ngembangake modul kasebut, perlu kanggo nemtokake proses bisnis lan kanthi resmi njlèntrèhaké tugas tartamtu sing bakal kita ngrampungake kanthi nggunakake metode pembelajaran mesin. Ing titik iki, proses operasionalisasi, sing ditetepake kanthi akronim Ops, diwiwiti.
Langkah sabanjure yaiku Ilmuwan Data, kanthi kolaborasi karo Insinyur Data, mriksa kasedhiyan lan kecukupan data lan hipotesis bisnis babagan kelangsungan ide bisnis, ngembangake model prototipe lan nguji efektifitas nyata. Mung sawise konfirmasi dening bisnis bisa miwiti transisi saka ngembangaken model kanggo nggabungake menyang sistem sing nindakake proses bisnis tartamtu. Perencanaan implementasi end-to-end, pemahaman sing jero ing saben tahapan babagan carane model kasebut bakal digunakake lan efek ekonomi sing bakal ditindakake, minangka titik dhasar ing proses ngenalake pendekatan MLOps menyang lanskap teknologi perusahaan.
Kanthi pangembangan teknologi AI, jumlah lan macem-macem masalah sing bisa ditanggulangi nggunakake machine learning saya tambah akeh. Saben proses bisnis kasebut minangka tabungan kanggo perusahaan amarga otomatisasi tenaga kerja karyawan massa (pusat panggilan, mriksa lan ngurutake dokumen, lsp.), Iki minangka ekspansi basis klien kanthi nambah fungsi anyar sing menarik lan trep, ngirit dhuwit amarga panggunaan lan distribusi sumber daya sing optimal lan liya-liyane. Pungkasane, proses apa wae difokusake kanggo nggawe nilai lan, minangka asil, kudu nggawa efek ekonomi tartamtu. Ing kene, penting banget kanggo ngrumusake ide bisnis kanthi jelas lan ngetung bathi sing dikarepake saka implementasine model ing struktur nggawe nilai sakabèhé perusahaan. Ana kahanan nalika ngleksanakake model ora mbenerake dhewe, lan wektu ngginakaken specialists machine learning luwih larang saka panggonan makaryo operator nindakake tugas iki. Pramila perlu nyoba ngenali kasus kasebut ing tahap awal nggawe sistem AI.
Akibate, model wiwit ngasilake bathi mung nalika masalah bisnis wis dirumusake kanthi bener ing proses MLOps, prioritas wis disetel, lan proses ngenalake model menyang sistem wis dirumusake ing tahap awal pembangunan.
Proses anyar - tantangan anyar
Jawaban lengkap kanggo pitakonan bisnis dhasar babagan carane model ML ditrapake kanggo ngrampungake masalah, masalah umum kepercayaan ing AI minangka salah sawijining tantangan utama ing proses ngembangake lan ngetrapake pendekatan MLOps. Kaping pisanan, bisnis mamang babagan introduksi learning machine menyang proses - angel ngandelake model ing panggonan sing sadurunge, minangka aturan, wong kerja. Kanggo bisnis, program katon minangka "kotak ireng", sing relevansi isih kudu dibuktekake. Kajaba iku, ing perbankan, ing bisnis operator telekomunikasi lan liya-liyane, ana syarat ketat saka regulator pemerintah. Kabeh sistem lan algoritma sing dileksanakake ing proses perbankan tundhuk audit. Kanggo ngatasi masalah iki, kanggo mbuktekake marang bisnis lan regulator kesahihan lan kabeneran respon intelijen buatan, alat ngawasi dienalake bebarengan karo model kasebut. Kajaba iku, ana prosedur validasi independen, wajib kanggo model regulasi, sing nyukupi syarat Bank Sentral. Klompok pakar independen mriksa asil sing dipikolehi model kanthi njupuk data input.
Tantangan kapindho yaiku ngevaluasi lan njupuk risiko model nalika ngetrapake model pembelajaran mesin. Sanajan ana wong ora bisa mangsuli pitakon kanthi yakin satus persen manawa klambi sing padha putih utawa biru, mula intelijen buatan uga duwe hak nggawe kesalahan. Iku uga worth considering sing data bisa ngganti liwat wektu, lan model kudu retrained kanggo ngasilaké asil cekap akurat. Kanggo mesthekake yen proses bisnis ora nandhang sangsara, perlu kanggo ngatur risiko model lan ngawasi kinerja model kasebut, kanthi rutin nglatih maneh data anyar.
Nanging sawise tataran pisanan saka mistrust, efek ngelawan wiwit katon. Luwih akeh model sing ditindakake kanthi sukses ing proses, luwih akeh kepinginan bisnis kanggo nggunakake intelijen buatan - masalah anyar lan anyar ditemokake sing bisa ditanggulangi nggunakake metode pembelajaran mesin. Saben tugas micu kabeh proses sing mbutuhake kompetensi tartamtu:
- insinyur data nyiapake lan ngolah data;
- ilmuwan data nggunakake piranti pembelajaran mesin lan ngembangake model;
- IT ngleksanakake model menyang sistem;
- Insinyur ML nemtokake cara nggabungake model iki kanthi bener menyang proses, sing digunakake alat IT, gumantung saka syarat kanggo mode aplikasi model kasebut, njupuk aliran panjalukan, wektu nanggepi, lsp.
- Arsitek ML ngrancang carane produk piranti lunak bisa ditindakake kanthi fisik ing sistem industri.
Kabeh siklus mbutuhake akeh spesialis qualified. Ing titik tartamtu ing pangembangan lan tingkat seng nembus model ML menyang proses bisnis, ternyata linearly scaling nomer spesialis ing proporsi kanggo nambah ing jumlah tugas dadi larang lan ora efektif. Mulane, pitakonan muncul kanggo ngotomatisasi proses MLOps - nemtokake sawetara kelas standar masalah pembelajaran mesin, ngembangake pipa pangolahan data standar lan latihan model tambahan. Ing gambar sing becik, ngrampungake masalah kasebut mbutuhake profesional sing padha pinter ing kompetensi ing persimpangan Big Data, Ilmu Data, DevOps lan IT. Mulane, masalah paling gedhe ing industri Ilmu Data lan tantangan paling gedhe kanggo ngatur proses MLOps yaiku kekurangan kompetensi kasebut ing pasar latihan sing ana. Spesialis sing nyukupi syarat kasebut saiki arang banget ing pasar tenaga kerja lan bobote emas.
Ing masalah kompetensi
Ing teori, kabeh tugas MLOps bisa ditanggulangi nggunakake alat DevOps klasik lan tanpa nggunakake ekstensi khusus saka model peran. Banjur, kaya sing wis kasebut ing ndhuwur, ilmuwan data kudu ora mung ahli matematika lan analis data, nanging uga guru kabeh pipa - dheweke tanggung jawab kanggo ngembangake arsitektur, model pemrograman ing sawetara basa, gumantung saka arsitektur, nyiapake. data mart lan panyebaran aplikasi kasebut dhewe. Nanging, nggawe kerangka teknologi sing ditindakake ing proses MLOps end-to-end mbutuhake biaya tenaga kerja nganti 80%, tegese ahli matematika sing mumpuni, yaiku Ilmuwan Data sing berkualitas, mung bakal nyawisake 20% wektu kanggo spesialisasine. . Mula, nggambarake peran spesialis sing melu proses ngleksanakake model pembelajaran mesin dadi penting.
Carane rinci peran kudu delineated gumantung ing ukuran perusahaan. Iki minangka salah sawijining perkara nalika wiwitan duwe spesialis siji, pekerja keras ing cadangan energi, sing dadi insinyur, arsitek, lan DevOps dhewe. Iku prakara sing beda banget nalika, ing perusahaan gedhe, kabeh proses pangembangan model dikonsentrasi ing sawetara spesialis Ilmu Data tingkat dhuwur, dene programmer utawa spesialis database - kompetensi sing luwih umum lan luwih murah ing pasar tenaga kerja - bisa njupuk ing umume karya, tugas rutin.
Mangkono, kacepetan lan kualitas model sing dikembangake, produktivitas tim lan iklim mikro ing kono langsung gumantung ing ngendi watese dumunung ing pilihan spesialis kanggo ndhukung proses MLOps lan carane proses operasionalisasi model sing dikembangake diatur. .
Apa sing wis ditindakake tim kita
Kita bubar miwiti mbangun struktur kompetensi lan proses MLOps. Nanging proyek kita babagan manajemen siklus urip model lan nggunakake model minangka layanan wis ana ing tahap tes MVP.
Kita uga nemtokake struktur kompetensi sing optimal kanggo perusahaan gedhe lan struktur organisasi interaksi antarane kabeh peserta ing proses kasebut. Tim Agile diatur kanggo ngatasi masalah kanggo kabeh pelanggan bisnis, lan proses interaksi karo tim proyek kanggo nggawe platform lan infrastruktur, sing dadi pondasi bangunan MLOps sing lagi dibangun.
Pitakonan kanggo masa depan
MLOps minangka wilayah sing saya akeh sing ngalami kekurangan kompetensi lan bakal entuk momentum ing mangsa ngarep. Ing sawetoro wektu, paling apik kanggo mbangun pangembangan lan praktik DevOps. Tujuan utama MLOps yaiku nggunakake model ML kanthi luwih efektif kanggo ngatasi masalah bisnis. Nanging iki nuwuhake akeh pitakonan:
- Kepiye cara nyuda wektu kanggo miwiti model menyang produksi?
- Kepiye cara nyuda gesekan birokrasi ing antarane tim sing beda-beda kompetensi lan nambah fokus ing kerjasama?
- Kepiye carane nglacak model, ngatur versi lan ngatur pemantauan sing efektif?
- Kepiye carane nggawe siklus urip bunder kanggo model ML modern?
- Kepiye cara nggawe standarisasi proses pembelajaran mesin?
Jawaban kanggo pitakonan iki umume bakal nemtokake sepira cepet MLOps bakal tekan potensial lengkap.
Source: www.habr.com