Tamin'ny taona 2018, ny foto-kevitry ny MLOps dia niseho tamin'ny faribolana matihanina sy tamin'ny fihaonambe lohahevitra natokana ho an'ny AI, izay nihazona haingana tao amin'ny indostria ary mivoatra ankehitriny ho tari-dalana mahaleotena. Amin'ny ho avy, ny MLOps dia mety ho lasa iray amin'ireo faritra malaza indrindra amin'ny IT. Inona izany ary inona no fihinanana azy? Andao hojerentsika eto ambany.
Inona no atao hoe MLOps
MLOps (manambatra ny teknolojia fianarana milina sy dingana ary fomba fiasa amin'ny fampiharana ireo modely novolavolaina amin'ny fizotran'ny raharaham-barotra) dia fomba vaovao fiaraha-miasa eo amin'ny solontenan'ny orinasa, mpahay siansa, matematika, manam-pahaizana momba ny fianarana milina ary injeniera IT rehefa mamorona rafitra faharanitan-tsaina artifisialy.
Raha lazaina amin'ny teny hafa, dia fomba iray hamadihana ny fomba fianarana milina sy ny teknolojia ho fitaovana ilaina amin'ny famahana ny olan'ny orinasa.
Ilaina ny mahatakatra fa ny rojom-pamokarana dia manomboka ela be talohan'ny fivoaran'ny modely. Ny dingana voalohany dia ny mamaritra ny olana ara-barotra, ny vinavina momba ny sanda azo alaina amin'ny angon-drakitra, ary ny hevitra momba ny raharaham-barotra amin'ny fampiharana azy.
Ny tena foto-kevitry ny MLOps dia nipoitra ho fampitahana amin'ny foto-kevitry ny DevOps mifandraika amin'ny maodely fianarana milina sy teknolojia. DevOps dia fomba fiasa amin'ny fampivoarana rindrambaiko izay ahafahanao mampitombo ny hafainganam-pandehan'ny fampiharana ny fiovan'ny tsirairay ary mitazona ny fahaiza-manaony sy ny fahamendrehana amin'ny fampiasana fomba maro, ao anatin'izany ny fampandrosoana mitohy, ny fizarazarana ny asa ho an'ny microservice tsy miankina maromaro, ny fitiliana mandeha ho azy ary ny fametrahana ny tsirairay. fiovana, fanaraha-maso ara-pahasalamana maneran-tany, rafitra famaliana haingana ny tsy fahombiazana hita, sns.
DevOps dia namaritra ny fiainan'ny rindrambaiko, ary ny vondrom-piarahamonina dia tonga tamin'ny hevitra hampihatra ny fomba mitovy amin'ny angona lehibe. DataOps dia fiezahana hampifanaraka sy hanitarana ny fomba fiasa amin'ny fiheverana ny endri-javatra amin'ny fitehirizana, fandefasana ary fanodinana angon-drakitra marobe amin'ny sehatra samihafa sy azo ampiasaina.
Miaraka amin'ny fahatongavan'ireo maodely fianarana milina faobe izay nampiharina tamin'ny fizotran'ny fandraharahana amin'ny orinasa, dia tsikaritra ny fitoviana mafy eo amin'ny tsingerin'ny fiainan'ny maodely fianarana milina matematika sy ny tsingerin'ny fiainan'ny rindrambaiko. Ny hany mahasamihafa azy dia ny algorithm modely dia noforonina amin'ny fampiasana fitaovana sy fomba fianarana milina. Noho izany, nipoitra ho azy ny hevitra hampihatra sy hampifanaraka ny fomba efa fantatra amin'ny famolavolana rindrambaiko ho an'ny maodely fianarana milina. Noho izany, ireto dingana lehibe manaraka ireto dia azo avahana amin'ny tsingerin'ny fiainan'ny maodely fianarana milina:
- famaritana hevitra momba ny raharaham-barotra;
- fanofanana modely;
- fitsapana sy fampiharana ny modely amin'ny fizotran'ny fandraharahana;
- fiasan'ny modely.
Rehefa ilaina ny manova na mamerina mamerina ny modely amin'ny angon-drakitra vaovao mandritra ny fandidiana, dia manomboka indray ny tsingerina - voadio ny modely, voazaha toetra ary misy dikan-teny vaovao.
Retreat. Nahoana no miofana indray ary tsy miofana? Ny teny hoe "modely retraining" dia misy fandikana roa: eo amin'ireo manam-pahaizana dia midika hoe kilema modely, rehefa maminavina tsara ny maodely, raha ny marina dia mamerina ny mari-pamantarana vinavinaina ao amin'ny toeram-piofanana, fa miharatsy kokoa amin'ny santionan'ny angona ivelany. Mazava ho azy, ny modely toy izany dia kilema, satria io kilema io dia tsy mamela ny fampiasana azy.
Amin'ity tsingerin'ny fiainana ity dia toa mitombina ny mampiasa fitaovana DevOps: fitiliana mandeha ho azy, fametrahana ary fanaraha-maso, famolavolana kajy modely amin'ny endrika microservices misaraka. Saingy misy ihany koa ny endri-javatra maromaro manakana ny fampiasana mivantana ireo fitaovana ireo raha tsy misy fatorana ML fanampiny.
Ahoana ny fomba hanaovana modely sy hahazoana tombony
Ho ohatra iray hanehoanay ny fampiasana ny fomba fiasa MLOps, dia handray ny asa mahazatra amin'ny fanaovana robot ny fanohanana amin'ny chat ho an'ny vokatra banky (na hafa). Amin'ny ankapobeny, toy izao ny fizotran'ny fandraharahana fanohanana amin'ny chat: miditra hafatra misy fanontaniana ao anaty chat ny mpanjifa iray ary mahazo valiny avy amin'ny manam-pahaizana manokana ao anatin'ny hazo fifanakalozan-kevitra efa voafaritra mialoha. Ny andraikitry ny fanaovana automatique chat toy izany dia matetika voavaha amin'ny alΓ lan'ny fitsipika voafaritra tsara, izay tena miasa mafy amin'ny famolavolana sy fikojakojana. Ny fahombiazan'ny automation toy izany, arakaraka ny haavon'ny fahasarotan'ny asa, dia mety ho 20-30%. Mazava ho azy, mipoitra ny hevitra fa mahasoa kokoa ny fampiharana ny maodely artificial intelligence - modely novolavolaina tamin'ny fianarana milina, izay:
- afaka manatanteraka fangatahana maro kokoa tsy misy fandraisan'anjaran'ny mpandraharaha (miankina amin'ny lohahevitra, amin'ny tranga sasany dia mety hahatratra 70-80%) ny fahombiazana;
- mampifanaraka tsara kokoa amin'ny teny tsy manara-penitra amin'ny fifanakalozan-kevitra - dia afaka mamaritra ny fikasana, ny tena fanirian'ny mpampiasa mifototra amin'ny fangatahana tsy voavolavola mazava;
- mahafantatra ny fomba hamaritana hoe rahoviana ny valin'ny modely dia ampy, ary rehefa misy fisalasalana momba ny "fahatsiarovan-tena" an'io valiny io ary mila mametraka fanontaniana manazava fanampiny ianao na mifamadika amin'ny mpandraharaha;
- azo ampiofanina ho azy ihany koa (raha tokony ho vondron'ny mpamorona mampifanaraka sy manitsy tsy tapaka ny sora-baventy, ny maodely dia ampiofanin'ny manam-pahaizana manokana momba ny Siansa Data amin'ny fampiasana tranomboky fianarana milina mifanaraka amin'izany).
Ahoana no hanaovana modely efa mandroso toy izany?
Tahaka ny amin'ny famahana olana hafa, alohan'ny hamolavolana modely toy izany dia ilaina ny mamaritra ny fizotran'ny raharaham-barotra ary mamaritra amin'ny fomba ofisialy ny asa manokana izay hovahantsika amin'ny alΓ lan'ny fomba fianarana milina. Amin'izao fotoana izao, manomboka ny dingan'ny fampandehanana, voatondro amin'ny fanafohezana Ops.
Ny dingana manaraka dia ny Data Scientist, miaraka amin'ny Data Engineer, manamarina ny fisian'ny data sy ny fahafenoan'ny angon-drakitra ary ny vinavinan'ny fandraharahana momba ny fahaveloman'ny hevitra momba ny fandraharahana, ny famolavolana modely prototype ary ny fitsapana ny tena fahombiazany. Aorian'ny fanamafisan'ny orinasa vao afaka manomboka ny fifindrana amin'ny famolavolana modely mankany amin'ny fampidirana azy amin'ny rafitra izay manao dingana manokana momba ny fandraharahana. Ny drafitra fampiharana amin'ny faran'ny farany, ny fahatakarana lalina amin'ny dingana tsirairay ny fomba hampiasana ny maodely sy ny fiantraikan'izany ara-toekarena, dia teboka fototra amin'ny dingana fampidirana ny MLOps amin'ny tontolon'ny teknolojian'ny orinasa.
Miaraka amin'ny fivoaran'ny teknolojia AI, mitombo be ny isan'ny olana azo vahana amin'ny fampiasana ny fianarana milina. Ny fizotry ny raharaham-barotra tsirairay toy izany dia tahiry ho an'ny orinasa noho ny automatique ny asan'ny mpiasa faobe (foibe fiantsoana, fanamarinana sy fanasokajiana ny antontan-taratasy, sns.), Fanitarana ny fototry ny mpanjifa amin'ny alΓ lan'ny fampidirana asa vaovao mahaliana sy mety, izany. dia mitahiry vola noho ny fampiasana tsara indrindra sy ny fitsinjarana ny loharanon-karena sy ny maro hafa. Amin'ny farany, ny dingana rehetra dia mifantoka amin'ny famoronana sanda ary, vokatr'izany, dia tsy maintsy mitondra fiantraikany ara-toekarena. Eto dia tena zava-dehibe ny mamolavola mazava tsara ny hevitra momba ny fandraharahana sy ny kajy ny tombony andrasana amin'ny fampiharana ny maodely amin'ny rafitra famoronana sanda ankapobeny amin'ny orinasa. Misy toe-javatra izay tsy manamarina ny tenany ny fampiharana modely, ary ny fotoana lanin'ny manam-pahaizana momba ny fianarana milina dia lafo kokoa noho ny toeram-piasan'ny mpandraharaha manao io asa io. Izany no antony ilaina ny manandrana mamantatra tranga toy izany amin'ny dingana voalohany amin'ny famoronana rafitra AI.
Vokatr'izany, ny modely dia manomboka mahazo tombony raha tsy voavolavola araka ny tokony ho izy ny olan'ny fandraharahana ao amin'ny fizotran'ny MLOps, napetraka ny laharam-pahamehana, ary ny dingan'ny fampidirana ny maodely ao amin'ny rafitra dia natsangana tamin'ny dingana voalohany amin'ny fampandrosoana.
Dingana vaovao - fanamby vaovao
Valiny feno amin'ny fanontaniana fototra momba ny fandraharahana momba ny fomba azo ampiharina amin'ny famahana olana ny maodely ML, ny olana ankapobeny momba ny fitokisana amin'ny AI dia iray amin'ireo fanamby lehibe amin'ny dingan'ny fampivoarana sy fampiharana ny fomba fiasa MLOps. Tamin'ny voalohany, ny orinasa dia misalasala momba ny fampidirana ny fianarana milina amin'ny dingana - sarotra ny miantehitra amin'ny modely any amin'ny toerana izay niasa teo aloha, toy ny fitsipika. Ho an'ny orinasa, ny programa dia toa "boaty mainty", izay mbola mila porofoina ny maha-zava-dehibe azy. Ankoatr'izay, amin'ny banky, amin'ny orinasan'ny mpandraharahan'ny fifandraisan-davitra sy ny hafa, dia misy fepetra hentitra ataon'ny mpandrindra ny governemanta. Ny rafitra sy algorithm rehetra izay ampiharina amin'ny fizotran'ny banky dia iharan'ny fanaraha-maso. Mba hamahana ity olana ity, mba hanaporofoana amin'ny orinasa sy ny mpandrindra ny fahamendrehana sy ny fahamarinan'ny valin'ny fitsikilovana artifisialy, dia ampidirina miaraka amin'ny modely ny fitaovana fanaraha-maso. Ankoatra izany, misy ny fomba fanamarinana mahaleo tena, tsy maintsy atao amin'ny maodely mifehy, izay mahafeno ny fepetra takian'ny Banky Foibe. Vondrona manam-pahaizana tsy miankina no manara-maso ny vokatra azo amin'ny modely amin'ny fiheverana ny angona fampidirana.
Ny fanamby faharoa dia ny fanombanana sy ny fiheverana ny risika modely rehefa mampihatra modely fianarana milina. Na dia tsy afaka mamaly ny fanontaniana amin'ny fahatokiana zato isan-jato aza ny olona iray na fotsy na manga io akanjo io, dia manan-jo hanao fahadisoana koa ny faharanitan-tsaina artifisialy. Ilaina ihany koa ny mandinika fa mety hiova ny angon-drakitra rehefa mandeha ny fotoana, ary ny modely dia mila averina omanina mba hahazoana valiny marina. Mba hahazoana antoka fa tsy hijaly ny fizotran'ny raharaham-barotra, ilaina ny mitantana ny loza mety hitranga amin'ny modely ary manara-maso ny fahombiazan'ny modely, mamerina azy tsy tapaka amin'ny angona vaovao.
Saingy aorian'ny dingana voalohany amin'ny tsy fahatokisana dia manomboka miseho ny vokatra mifanohitra amin'izany. Arakaraky ny hahombiazan'ny modely amin'ny fomba fiasa, mitombo ny filan'ny orinasa amin'ny fampiasana faharanitan-tsaina artifisialy - misy olana vaovao sy vaovao hita izay azo vahana amin'ny alΓ lan'ny fomba fianarana milina. Ny asa tsirairay dia miteraka dingana iray manontolo izay mitaky fahaiza-manao sasany:
- ny injeniera data manomana sy manodina angona;
- mampiasa fitaovana fianarana milina ny mpahay siansa momba ny data ary mamolavola modely;
- Ny IT dia mampihatra ny modely amin'ny rafitra;
- Ny injeniera ML dia mamaritra ny fomba hampidirana tsara an'io modely io amin'ny dingana, izay fitaovana IT ampiasaina, miankina amin'ny fepetra takiana amin'ny fomba fampiharana ny modely, amin'ny fiheverana ny fikorianan'ny fangatahana, ny fotoana famaliana, sns.
- Ny mpanao mari-trano ML dia mamolavola ny fomba azo ampiharina ara-batana amin'ny rafitra indostrialy ny vokatra rindrambaiko.
Ny tsingerina manontolo dia mitaky manam-pahaizana manokana marobe. Amin'ny fotoana iray amin'ny fivoarana sy ny haavon'ny fidiran'ny modely ML amin'ny fizotran'ny raharaham-barotra, dia hita fa lasa lafo sy tsy mahomby ny fampitomboana ny isan'ny manam-pahaizana mifanaraka amin'ny fitomboan'ny isan'ny asa. Noho izany, mipoitra ny fanontaniana amin'ny fanaovana automatique ny fizotran'ny MLOps - famaritana kilasy maromaro momba ny olan'ny fianarana milina, ny famolavolana fantsona fanodinana data mahazatra ary fanofanana modely fanampiny. Amin'ny sary tsara indrindra, ny famahana ny olana toy izany dia mitaky matihanina izay mahay mitovy amin'ny fahaiza-manao eo amin'ny fihaonan'ny Big Data, Data Science, DevOps ary IT. Noho izany, ny olana lehibe indrindra amin'ny indostrian'ny Data Science sy ny fanamby lehibe indrindra amin'ny fikarakarana ny fizotran'ny MLOps dia ny tsy fahampian'ny fahaiza-manao toy izany amin'ny tsenan'ny fiofanana efa misy. Ny manam-pahaizana manokana mahafeno ireo fepetra ireo dia tsy fahita firy amin'ny tsenan'ny asa ary mendrika ny lanjany amin'ny volamena.
Momba ny resaka fahaiza-manao
Raha ny teoria, ny asa MLOps rehetra dia azo vahana amin'ny alΓ lan'ny fitaovana DevOps mahazatra ary tsy mila fanitarana manokana ny modely. Avy eo, araka ny nomarihina etsy ambony, ny mpahay siansa data dia tsy maintsy ho tsy matematika sy mpandinika angon-drakitra ihany, fa mpampianatra ihany koa amin'ny fantsona manontolo - izy no tompon'andraikitra amin'ny fampivoarana ny maritrano, ny modely amin'ny programa amin'ny fiteny maro miankina amin'ny maritrano, ny fanomanana. fivarotana data ary fametrahana ny fampiharana mihitsy. Na izany aza, ny famoronana ny rafitra ara-teknolojia ampiharina amin'ny dingana farany amin'ny MLOps dia mitaky hatramin'ny 80% amin'ny vidin'ny asa, izay midika fa ny matematika mahafeno fepetra, izay mpahay siansa momba ny angona kalitao, dia tsy hanokana afa-tsy 20% amin'ny fotoanany amin'ny fahaizany manokana. . Noho izany, ny famaritana ny andraikitry ny manam-pahaizana manokana tafiditra amin'ny dingan'ny fampiharana ny maodely fianarana milina dia lasa zava-dehibe.
Miankina amin'ny haben'ny orinasa ny fomba hamaritana ny andraikitra amin'ny antsipiriany. Zavatra iray izany rehefa manana manam-pahaizana manokana ny fanombohana iray, miasa mafy amin'ny tahiry angovo, izay injeniera, mpanao mari-trano ary DevOps azy manokana. Raharaha hafa tanteraka izany rehefa, ao amin'ny orinasa lehibe, ny fizotran'ny fampivoarana modely rehetra dia mifantoka amin'ny manampahaizana manokana momba ny Siansa Data avo lenta, raha toa kosa ny programmer na ny manam-pahaizana momba ny database - fahaiza-manao mahazatra kokoa sy lafo kokoa eo amin'ny tsenan'ny asa. amin'ny ankamaroan'ny asa.
Noho izany, ny hafainganam-pandeha sy ny kalitaon'ny modely novolavolaina, ny vokatra azo avy amin'ny ekipa ary ny microclimate ao anatiny dia miankina mivantana amin'ny toerana misy ny sisintany amin'ny fisafidianana manam-pahaizana manokana hanohana ny fizotran'ny MLOps sy ny fomba fandaminana ny fizotran'ny fampandehanana ireo modely novolavolaina. .
Ny efa vitan'ny ekipanay
Vao haingana izahay no nanomboka nanangana rafitra fahaiza-manao sy fizotry ny MLOps. Saingy ny tetikasanay momba ny fitantanana ny tsingerin'ny fiainana maodely sy ny fampiasana modely ho serivisy dia efa eo amin'ny dingan'ny fitsapana MVP.
Nofaritanay ihany koa ny rafitry ny fahaiza-manao tsara indrindra ho an'ny orinasa lehibe iray sy ny rafi-pandaminana ny fifandraisana eo amin'ny mpandray anjara rehetra amin'ny dingana. Ny ekipan'ny Agile dia nokarakaraina mba hamahana ny olana ho an'ny mpanjifan'ny fandraharahana manontolo, ary natsangana ny dingan'ny fifandraisana amin'ny ekipan'ny tetikasa mba hamoronana sehatra sy fotodrafitrasa, izay fototry ny tranoben'ny MLOps eo an-dalam-panamboarana.
Fanontaniana momba ny ho avy
Ny MLOps dia sehatra mitombo izay miaina tsy fahampian'ny fahaiza-manao ary hahazo vahana amin'ny ho avy. Mandritra izany fotoana izany, tsara kokoa ny manorina amin'ny fivoarana sy fanao DevOps. Ny tanjona fototra amin'ny MLOps dia ny hampiasa tsara kokoa ny maodely ML hamahana ny olana ara-barotra. Saingy miteraka fanontaniana maro izany:
- Ahoana no hampihenana ny fotoana hanombohana modely amin'ny famokarana?
- Ahoana no hampihenana ny disadisa ara-birao eo amin'ireo ekipa manana fahaiza-manao samihafa ary hampitombo ny fifantohana amin'ny fiaraha-miasa?
- Ahoana ny fanaraha-maso ny modely, ny fitantanana ny dikan-teny ary ny fandaminana ny fanaraha-maso mahomby?
- Ahoana ny fomba hamoronana tsingerin'ny fiainana boribory marina ho an'ny maodely ML maoderina?
- Ahoana ny fomba hanara-penitra ny fizotry ny fianarana milina?
Ny valin'ireo fanontaniana ireo dia hamaritra amin'ny ankapobeny ny haingan'ny MLOps hahatratra ny fahafahany.
Source: www.habr.com