Dina 2018, konsép MLOps muncul di kalangan profésional sareng dina konperénsi tematik anu didedikasikeun pikeun AI, anu gancang nyepeng dina industri sareng ayeuna berkembang salaku arah anu mandiri. Dina mangsa nu bakal datang, MLOps bisa jadi salah sahiji wewengkon nu pang populerna di IT. Naon eta jeung naon eta didahar? Hayu urang manggihan di handap.
Naon MLOps
MLOps (ngagabungkeun téknologi pembelajaran mesin sareng prosés sareng pendekatan pikeun nerapkeun modél anu dikembangkeun kana prosés bisnis) mangrupikeun cara kolaborasi anyar antara wawakil bisnis, élmuwan, matematikawan, spesialis pembelajaran mesin sareng insinyur IT nalika nyiptakeun sistem kecerdasan buatan.
Kalayan kecap sanésna, éta mangrupikeun cara ngarobah metode sareng téknologi diajar mesin janten alat anu mangpaat pikeun ngarengsekeun masalah bisnis.
Perlu dipikanyaho yén ranté produktivitas dimimitian lila saméméh ngembangkeun model. Léngkah munggaran nyaéta nangtukeun masalah bisnis, hipotésis ngeunaan nilai anu tiasa diékstrak tina data, sareng ide bisnis pikeun nerapkeunana.
Konsep MLOps pisan timbul salaku analogi kana konsép DevOps dina hubungan modél pembelajaran mesin sareng téknologi. DevOps mangrupikeun pendekatan kana pamekaran parangkat lunak anu ngamungkinkeun anjeun ningkatkeun laju palaksanaan perobahan individu bari ngajaga kalenturan sareng reliabilitas ngagunakeun sababaraha pendekatan, kalebet pangembangan kontinyu, ngabagi fungsi kana sababaraha jasa mikro mandiri, uji otomatis sareng panyebaran individu. parobahan, ngawas kaséhatan global, sistem respon gancang pikeun kagagalan kauninga, jsb.
DevOps parantos netepkeun daur hirup parangkat lunak, sareng komunitas parantos gaduh ide pikeun nerapkeun metodologi anu sami pikeun data gedé. DataOps mangrupikeun usaha pikeun adaptasi sareng ngalegaan metodologi kalayan merhatikeun fitur nyimpen, ngirimkeun sareng ngolah data anu ageung dina platform anu rupa-rupa sareng interoperable.
Kalayan munculna sababaraha model pembelajaran mesin anu kritis anu dilaksanakeun dina prosés bisnis perusahaan, kasaruaan anu kuat diperhatoskeun antara siklus kahirupan modél pembelajaran mesin matematika sareng siklus kahirupan parangkat lunak. Hiji-hijina bédana nyaéta algoritma modél didamel nganggo alat sareng metode pembelajaran mesin. Ku alatan éta, ideu sacara alami timbul pikeun nerapkeun sareng adaptasi pendekatan anu parantos dipikanyaho pikeun pamekaran parangkat lunak pikeun modél pembelajaran mesin. Ku kituna, tahapan konci di handap ieu tiasa dibédakeun dina siklus kahirupan modél pembelajaran mesin:
- nangtukeun hiji gagasan bisnis;
- latihan modél;
- nguji sarta palaksanaan model kana prosés bisnis;
- operasi modél.
Nalika salila operasi aya kabutuhan pikeun ngarobah atawa ngalatih deui model dina data anyar, siklus dimimitian deui - modél ieu disampurnakeun, diuji, sarta versi anyar geus deployed.
Mundur. Naha ngalatih deui sareng henteu ngalatih deui? Istilah "modél palatihan balik" miboga harti ganda: diantara para ahli hartina cacad model, lamun model ngaduga ogé, sabenerna repeats parameter diprediksi dina set latihan, tapi ngalakukeun loba goréng dina sampel data éksternal. Alami, model sapertos cacad, sabab cacad ieu teu ngidinan pamakéan na.
Dina siklus kahirupan ieu, sigana logis ngagunakeun alat DevOps: nguji otomatis, deployment jeung ngawaskeun, ngarancang itungan model dina bentuk microservices misah. Tapi aya ogé sababaraha fitur anu nyegah pamakean langsung tina alat ieu tanpa ML tambahan mengikat.
Kumaha carana sangkan model dianggo tur jadi nguntungkeun
Salaku conto dimana urang bakal nunjukkeun pamakean pendekatan MLOps, urang bakal nyandak tugas klasik pikeun robotisasi dukungan obrolan pikeun produk perbankan (atanapi anu sanés). Biasana, prosés bisnis dukungan obrolan sapertos kieu: klien ngalebetkeun pesen kalayan patarosan dina obrolan sareng nampi réspon ti spesialis dina tangkal dialog anu tos siap. Tugas ngajadikeun otomatis obrolan sapertos biasana direngsekeun nganggo set aturan anu didefinisikeun sacara ahli, anu pisan padat karya pikeun ngembangkeun sareng ngajaga. Efisiensi automation sapertos kitu, gumantung kana tingkat pajeulitna tugas, tiasa 20-30%. Alami, ideu timbul yén éta langkung nguntungkeun pikeun nerapkeun modul intelijen buatan - modél anu dikembangkeun nganggo pembelajaran mesin, anu:
- sanggup ngolah sajumlah ageung pamundut tanpa partisipasi operator (gumantung kana topik, dina sababaraha kasus efisiensi tiasa ngahontal 70-80%);
- adapts hadé mun wording non-standar dina dialog - nyaeta bisa nangtukeun maksud, kahayang nyata pamaké dumasar kana pamundut teu jelas ngarumuskeun;
- weruh kumaha carana nangtukeun lamun jawaban model urang geus nyukupan, sarta lamun aya mamang ngeunaan "kasadaran" jawaban ieu jeung anjeun kudu nanya hiji patarosan clarifying tambahan atawa pindah ka operator;
- bisa tambahan dilatih otomatis (tinimbang grup pamekar terus adaptasi jeung koréksi skrip respon, model ieu Sajaba dilatih ku spesialis Élmu Data ngagunakeun perpustakaan mesin learning luyu).
Kumaha carana sangkan model canggih misalna?
Sapertos pikeun ngarengsekeun masalah anu sanés, sateuacan ngembangkeun modul sapertos kitu, anjeun kedah ngartikeun prosés bisnis sareng sacara resmi ngajelaskeun tugas khusus anu bakal urang rengsekeun nganggo metode pembelajaran mesin. Dina titik ieu, prosés operasionalisasi, ditunjuk ku akronim Ops, dimimitian.
Lengkah saterusna nyaeta Data Scientist, dina kolaborasi jeung Insinyur Data, mariksa kasadiaan jeung kacukupan data jeung hipotesa bisnis ngeunaan viability gagasan bisnis, ngamekarkeun model prototipe jeung nguji efektivitas sabenerna. Ngan saatos konfirmasi ku bisnis tiasa ngamimitian transisi tina ngembangkeun modél pikeun ngahijikeun kana sistem anu ngalaksanakeun prosés bisnis khusus. Perencanaan palaksanaan tungtung-ka-tungtung, pamahaman anu jero dina unggal tahap kumaha modél éta bakal dianggo sareng naon pangaruh ékonomi anu bakal dibawa, mangrupikeun titik dasar dina prosés ngenalkeun pendekatan MLOps kana bentang téknologi perusahaan.
Kalayan pamekaran téknologi AI, jumlah sareng rupa-rupa masalah anu tiasa direngsekeun nganggo pembelajaran mesin ningkat sacara éksponénsial. Masing-masing prosés bisnis sapertos mangrupikeun tabungan pikeun perusahaan kusabab otomatisasi tenaga kerja karyawan massa (pusat panggero, mariksa sareng nyortir dokumén, sareng sajabana), éta mangrupikeun ékspansi basis klien ku nambihan fungsi anu pikaresepeun sareng pikaresepeun, éta. nyimpen duit alatan pamakéan optimal maranéhanana sarta redistribution sumberdaya jeung loba deui. Pamustunganana, prosés naon waé museurkeun kana nyiptakeun nilai sareng, salaku hasilna, kedah ngahasilkeun pangaruh ékonomi anu tangtu. Di dieu penting pisan pikeun jelas ngarumuskeun ide bisnis sareng ngitung kauntungan anu dipiharep tina palaksanaan modél dina struktur nyiptakeun nilai sadayana perusahaan. Aya kaayaan nalika palaksanaan model teu menerkeun sorangan, sarta waktu spent ku spesialis learning mesin jauh leuwih mahal ti gaw operator ngajalankeun tugas ieu. Éta sababna kedah nyobian ngaidentipikasi kasus sapertos kitu dina tahap awal nyiptakeun sistem AI.
Akibatna, model mimiti ngahasilkeun kauntungan ngan lamun masalah bisnis geus bener dirumuskeun dina prosés MLOps, prioritas geus diatur, sarta prosés ngawanohkeun model kana sistem geus dirumuskeun dina tahap awal pangwangunan.
Prosés anyar - tantangan anyar
Jawaban komprehensif pikeun patarosan bisnis dasar ngeunaan kumaha modél ML anu tiasa dianggo pikeun ngarengsekeun masalah, masalah umum kapercayaan ka AI mangrupikeun salah sahiji tantangan konci dina prosés ngembangkeun sareng ngalaksanakeun pendekatan MLOps. Dina awalna, usaha anu skeptis ngeunaan bubuka learning mesin kana prosés - hese ngandelkeun model di tempat dimana saméméhna, sakumaha aturan, jalma digawé. Pikeun bisnis, program sigana janten "kotak hideung", relevansi anu masih kedah dibuktikeun. Salaku tambahan, dina perbankan, dina bisnis operator telekomunikasi sareng anu sanésna, aya syarat anu ketat pikeun régulator pamaréntah. Sadaya sistem sareng algoritma anu dilaksanakeun dina prosés perbankan tunduk kana audit. Pikeun ngabéréskeun masalah ieu, pikeun ngabuktikeun ka bisnis sareng régulator validitas sareng kabeneran réspon intelijen buatan, alat ngawaskeun diwanohkeun sareng modélna. Salaku tambahan, aya prosedur validasi mandiri, wajib pikeun modél pangaturan, anu nyumponan sarat Bank Séntral. Hiji grup ahli bebas audits hasil diala ku model nyokot kana akun data input.
Tantangan kadua nyaéta ngira-ngira sareng ngémutan résiko modél nalika ngalaksanakeun modél pembelajaran mesin. Sanaos jalma henteu tiasa ngajawab patarosan kalayan kapastian saratus persén naha éta pakéan anu sami bodas atanapi biru, maka intelijen buatan ogé ngagaduhan hak pikeun ngalakukeun kasalahan. Éta ogé patut mertimbangkeun yén data tiasa robih kana waktosna, sareng modél kedah dilatih deui pikeun ngahasilkeun hasil anu cekap akurat. Pikeun mastikeun yén prosés bisnis teu sangsara, perlu pikeun ngatur resiko model jeung ngawas kinerja model, rutin latihan deui dina data anyar.
Tapi sanggeus tahap mimiti mistrust, pangaruh sabalikna mimiti muncul. Langkung seueur modél anu suksés dilaksanakeun kana prosés, langkung seueur napsu bisnis pikeun panggunaan intelijen buatan - masalah énggal sareng énggal dipendakan anu tiasa direngsekeun nganggo metode pembelajaran mesin. Unggal tugas micu hiji sakabéh prosés anu merlukeun kompetensi tangtu:
- insinyur data nyiapkeun sarta ngolah data;
- élmuwan data ngagunakeun parabot learning mesin sarta ngamekarkeun model;
- IT ngalaksanakeun modél kana sistem;
- Insinyur ML nangtukeun kumaha leres ngahijikeun modél ieu kana prosés, anu dianggo ku alat IT, gumantung kana sarat pikeun mode aplikasi modél, ngiringan aliran pamundut, waktos réspon, jsb.
- Arsiték ML ngarancang kumaha produk parangkat lunak tiasa dilaksanakeun sacara fisik dina sistem industri.
Sakabéh siklus merlukeun sajumlah badag spesialis mumpuni. Dina titik anu tangtu dina pamekaran sareng darajat penetrasi modél ML kana prosés bisnis, tétéla sacara linier skala jumlah spesialis saimbang kana paningkatan jumlah tugas janten mahal sareng henteu efektif. Ku alatan éta, patarosan timbul tina automating prosés MLOps - nangtukeun sababaraha kelas baku masalah learning mesin, ngamekarkeun pipelines ngolah data baku sarta latihan tambahan model. Dina gambar idéal, ngarengsekeun masalah sapertos merlukeun profésional anu sarua mahér dina kompetensi di simpang Big Data, Élmu Data, DevOps sarta IT. Ku alatan éta, masalah pangbadagna dina industri Élmu Data jeung tantangan pangbadagna dina pangatur prosés MLOps nyaéta kurangna kompetensi misalna dina pasar latihan aya. Spesialis anu nyumponan sarat ieu ayeuna jarang aya di pasar tenaga kerja sareng patut beuratna dina emas.
Dina masalah kompetensi
Sacara tiori, sadaya tugas MLOps tiasa direngsekeun nganggo alat DevOps klasik sareng henteu nganggo ekstensi khusus tina panutan. Teras, sakumaha anu dijelaskeun di luhur, élmuwan data kedah janten sanés ngan ukur ahli matematika sareng analis data, tapi ogé guru pikeun sakabéh pipa - anjeunna tanggung jawab pikeun ngembangkeun arsitéktur, modél program dina sababaraha basa gumantung kana arsitéktur, nyiapkeun. a data mart jeung deployment aplikasi sorangan. Sanajan kitu, nyieun kerangka téhnologis dilaksanakeun dina prosés MLOps tungtung-to-tungtung butuh nepi ka 80% tina biaya tanaga gawé, nu hartina matématikawan mumpuni, anu mangrupa Data Scientist kualitas, bakal bakti ngan 20% waktu-Na pikeun husus na. . Ku alatan éta, delineating peran spesialis aub dina prosés nerapkeun model learning mesin jadi vital.
Kumaha rinci peran anu kedah dijelaskeun gumantung kana ukuran perusahaan. Ieu hiji hal lamun ngamimitian boga hiji spesialis, worker teuas dina cadangan énergi, nu insinyur sorangan, arsiték, sarta DevOps. Ieu mangrupikeun masalah anu béda pisan nalika, dina perusahaan ageung, sadaya prosés pangembangan modél dikonsentrasikeun dina sababaraha spesialis Élmu Data tingkat tinggi, sedengkeun programmer atanapi spesialis database - kompeténsi anu langkung umum sareng langkung murah di pasar tenaga kerja - tiasa nyandak. dina kalolobaan pagawéan, tugas rutin.
Ku kituna, laju sareng kualitas modél anu dikembangkeun, produktivitas tim sareng iklim mikro di jerona langsung gumantung kana tempat watesna dina seleksi spesialis pikeun ngadukung prosés MLOps sareng kumaha prosés operasionalisasi modél anu dikembangkeun diatur. .
Naon anu parantos dilakukeun ku tim kami
Kami nembe ngamimitian ngawangun struktur kompetensi sareng prosés MLOps. Tapi proyék kami ngeunaan manajemén siklus hirup modél sareng ngagunakeun modél salaku jasa parantos aya dina tahap uji MVP.
Kami ogé nangtukeun struktur kompetensi optimal pikeun perusahaan ageung sareng struktur organisasi interaksi antara sadaya pamilon dina prosés. Tim lincah dikelompokeun pikeun ngabéréskeun masalah pikeun sakumna palanggan bisnis, sareng prosés interaksi sareng tim proyék pikeun nyiptakeun platform sareng prasarana, anu mangrupikeun pondasi wangunan MLOps dina konstruksi, didirikan.
Patarosan keur mangsa nu bakal datang
MLOps mangrupikeun daérah anu ngembang anu ngalaman kakurangan kompeténsi sareng bakal kéngingkeun moméntum ka hareup. Samentawis éta, langkung saé pikeun ngawangun pamekaran sareng prakték DevOps. Tujuan utama MLOps nyaéta ngagunakeun modél ML sacara langkung efektif pikeun ngarengsekeun masalah bisnis. Tapi ieu raises loba patarosan:
- Kumaha carana ngirangan waktos pikeun ngaluncurkeun modél kana produksi?
- Kumaha carana ngurangan gesekan birokrasi antara tim kompetensi béda jeung ngaronjatkeun fokus kana gawé babarengan?
- Kumaha ngalacak modél, ngatur versi sareng ngatur ngawaskeun anu efektif?
- Kumaha cara nyiptakeun siklus hirup anu leres-leres sirkular pikeun modél ML modéren?
- Kumaha ngabakukeun prosés pembelajaran mesin?
Waleran kana patarosan ieu umumna bakal nangtukeun sabaraha gancang MLOps bakal ngahontal poténsi pinuh na.
sumber: www.habr.com