Sa 2018, ang konsepto sa MLOps nagpakita sa mga propesyonal nga mga bilog ug sa mga tematik nga komperensya nga gipahinungod sa AI, nga dali nga mikupot sa industriya ug karon nag-uswag ingon usa ka independente nga direksyon. Sa umaabot, ang mga MLOps mahimong usa sa labing inila nga mga lugar sa IT. Unsa kini ug unsa ang gikaon niini?Atong hibal-an sa ubos.
Unsa ang MLOps
Ang MLOps (paghiusa sa mga teknolohiya sa pagkat-on sa makina ug mga proseso ug mga pamaagi sa pagpatuman sa mga naugmad nga mga modelo sa mga proseso sa negosyo) usa ka bag-ong paagi sa pagtinabangay tali sa mga representante sa negosyo, siyentista, mathematician, mga espesyalista sa pagkat-on sa makina ug mga inhenyero sa IT sa paghimo og mga sistema sa artificial intelligence.
Sa laing pagkasulti, kini usa ka paagi sa paghimo sa mga pamaagi sa pagkat-on sa makina ug mga teknolohiya nga usa ka mapuslanon nga himan alang sa pagsulbad sa mga problema sa negosyo.
Kinahanglan nga masabtan nga ang kadena sa pagka-produktibo nagsugod sa wala pa ang pag-uswag sa modelo. Ang una nga lakang niini mao ang paghubit sa usa ka problema sa negosyo, usa ka hypothesis bahin sa kantidad nga makuha gikan sa datos, ug usa ka ideya sa negosyo alang sa paggamit niini.
Ang mismong konsepto sa MLOps mitumaw isip usa ka analohiya sa konsepto sa DevOps kalabot sa machine learning models ug mga teknolohiya. Ang DevOps usa ka pamaagi sa pag-uswag sa software nga nagtugot kanimo nga madugangan ang katulin sa pagpatuman sa mga indibidwal nga pagbag-o samtang gipadayon ang pagka-flexible ug kasaligan gamit ang daghang mga pamaagi, lakip ang padayon nga pag-uswag, pagbahin sa mga gimbuhaton sa daghang mga independente nga microservice, awtomatiko nga pagsulay ug pag-deploy sa indibidwal. mga pagbag-o, pagmonitor sa kahimsog sa kalibutan, paspas nga sistema sa pagtubag alang sa namatikdan nga mga kapakyasan, ug uban pa.
Gihubit sa DevOps ang siklo sa kinabuhi sa software, ug ang komunidad nakahunahuna sa pag-aplay sa parehas nga pamaagi sa dagkong datos. Ang DataOps usa ka pagsulay sa pagpahiangay ug pagpalapad sa pamaagi nga gikonsiderar ang mga bahin sa pagtipig, pagpadala ug pagproseso sa daghang mga datos sa lainlain ug interoperable nga mga platform.
Sa pag-abut sa usa ka kritikal nga masa sa mga modelo sa pagkat-on sa makina nga gipatuman sa mga proseso sa negosyo sa mga negosyo, usa ka lig-on nga pagkaparehas ang namatikdan tali sa siklo sa kinabuhi sa mga modelo sa pagkat-on sa makina sa matematika ug ang siklo sa kinabuhi sa software. Ang bugtong kalainan mao nga ang mga algorithm sa modelo gihimo gamit ang mga himan ug pamaagi sa pagkat-on sa makina. Busa, natural nga mitungha ang ideya aron magamit ug ipahiangay ang nahibal-an na nga mga pamaagi sa pagpalambo sa software alang sa mga modelo sa pagkat-on sa makina. Busa, ang mosunod nga yawe nga mga yugto mahimong mailhan sa siklo sa kinabuhi sa mga modelo sa pagkat-on sa makina:
- paghubit sa ideya sa negosyo;
- pagbansay sa modelo;
- pagsulay ug pagpatuman sa modelo sa proseso sa negosyo;
- operasyon sa modelo.
Kung sa panahon sa operasyon kinahanglan nga usbon o i-retrain ang modelo sa bag-ong datos, ang siklo magsugod pag-usab - ang modelo gipino, gisulayan, ug usa ka bag-ong bersyon ang gipakaylap.
Pag-atras. Ngano nga magbansay pag-usab ug dili magbansay pag-usab? Ang termino nga "modelo retraining" adunay doble nga kahulugan: taliwala sa mga eksperto nagpasabut kini nga usa ka depekto sa modelo, kung maayo ang pagtagna sa modelo, sa tinuud gisubli ang gitagna nga parameter sa set sa pagbansay, apan labi ka grabe ang nahimo sa sample sa gawas nga datos. Siyempre, ang ingon nga modelo usa ka depekto, tungod kay kini nga depekto wala magtugot sa paggamit niini.
Niini nga siklo sa kinabuhi, ingon og makatarunganon ang paggamit sa mga himan sa DevOps: awtomatiko nga pagsulay, pag-deploy ug pag-monitor, pagdesinyo sa mga kalkulasyon sa modelo sa porma sa bulag nga mga serbisyo sa micro. Apan adunay usab daghang mga bahin nga makapugong sa direkta nga paggamit sa kini nga mga himan nga wala’y dugang nga pagbugkos sa ML.
Giunsa paghimo ang mga modelo nga molihok ug mahimong mapuslanon
Isip usa ka pananglitan diin among ipakita ang paggamit sa MLOps nga pamaagi, among buhaton ang klasiko nga buluhaton sa pag-robot sa usa ka suporta sa chat alang sa usa ka banking (o bisan unsang uban pa) nga produkto. Kasagaran, ang proseso sa negosyo nga suporta sa chat ingon niini: ang usa ka kliyente mosulod sa usa ka mensahe nga adunay usa ka pangutana sa usa ka chat ug makadawat usa ka tubag gikan sa usa ka espesyalista sa sulod sa usa ka gitakda nang daan nga dialogue tree. Ang tahas sa pag-automate sa ingon nga chat sagad masulbad gamit ang eksperto nga gihubit nga mga hugpong sa mga lagda, nga labi ka kusog sa pagtrabaho aron mapalambo ug mapadayon. Ang kaepektibo sa ingon nga automation, depende sa lebel sa pagkakomplikado sa buluhaton, mahimong 20-30%. Natural, mitungha ang ideya nga mas mapuslanon ang pagpatuman sa usa ka module sa artipisyal nga paniktik - usa ka modelo nga gihimo gamit ang pagkat-on sa makina, nga:
- makahimo sa pagproseso sa usa ka mas dako nga gidaghanon sa mga hangyo nga walay operator partisipasyon (depende sa hilisgutan, sa pipila ka mga kaso ang efficiency mahimong moabot 70-80%);
- mopahiangay sa mas maayo sa non-standard nga mga pulong sa dialogue - mao ang makahimo sa pagtino sa tuyo, ang tinuod nga tinguha sa user base sa usa ka dili tin-aw nga formulated hangyo;
- nahibal-an kung unsaon pagtino kung ang tubag sa modelo igo na, ug kung adunay mga pagduhaduha bahin sa "kaamgohan" niini nga tubag ug kinahanglan nimo nga mangutana usa ka dugang nga pagpatin-aw nga pangutana o pagbalhin sa operator;
- mahimong dugang nga mabansay nga awtomatiko (imbes usa ka grupo sa mga developer nga kanunay nga mopahiangay ug magtul-id sa mga script sa pagtubag, ang modelo dugang nga gibansay sa usa ka espesyalista sa Data Science gamit ang angay nga mga librarya sa pagkat-on sa makina).
Giunsa paghimo ang ingon nga usa ka advanced nga modelo nga molihok?
Sama sa pagsulbad sa bisan unsang ubang problema, sa dili pa maugmad ang ingon nga module, kinahanglan nga ipasabut ang usa ka proseso sa negosyo ug pormal nga ihulagway ang piho nga buluhaton nga among sulbaron gamit ang pamaagi sa pagkat-on sa makina. Niini nga punto, ang proseso sa operationalization, nga gitudlo sa acronym nga Ops, nagsugod.
Ang sunod nga lakang mao nga ang Data Scientist, sa pakigtambayayong sa Data Engineer, nagsusi sa pagkaanaa ug kaigoan sa datos ug ang pangagpas sa negosyo mahitungod sa pagkaayo sa ideya sa negosyo, pagpalambo sa usa ka modelo sa prototype ug pagsulay sa aktuwal nga pagkaepektibo niini. Pagkahuman ra sa pagkumpirma sa negosyo mahimo’g magsugod ang pagbalhin gikan sa paghimo og usa ka modelo hangtod sa pag-integrate niini sa mga sistema nga naghimo sa usa ka piho nga proseso sa negosyo. Ang end-to-end nga pagplano sa pagpatuman, usa ka lawom nga pagsabut sa matag yugto kung giunsa ang paggamit sa modelo ug kung unsang epekto sa ekonomiya ang madala niini, usa ka sukaranan nga punto sa mga proseso sa pagpaila sa mga pamaagi sa MLOps sa teknolohikal nga talan-awon sa kompanya.
Uban sa pag-uswag sa mga teknolohiya sa AI, ang gidaghanon ug lainlain nga mga problema nga masulbad gamit ang pagkat-on sa makina nagkadaghan. Ang matag ingon nga proseso sa negosyo usa ka pagtipig alang sa kompanya tungod sa automation sa pagtrabaho sa mga empleyado sa masa (call center, pagsusi ug paghan-ay sa mga dokumento, ug uban pa), kini usa ka pagpalapad sa base sa kliyente pinaagi sa pagdugang bag-ong madanihon ug dali nga mga gimbuhaton, kini mao ang pagtipig sa salapi tungod sa kamahinungdanon sa ilang paggamit ug pag-apod-apod sa mga kahinguhaan ug daghan pa. Sa katapusan, ang bisan unsang proseso naka-focus sa pagmugna og bili ug, isip resulta, kinahanglan magdala og piho nga epekto sa ekonomiya. Dinhi hinungdanon kaayo nga tin-aw nga maporma ang ideya sa negosyo ug kuwentahon ang gipaabot nga ganansya gikan sa pagpatuman sa modelo sa kinatibuk-ang istruktura sa paghimo sa kantidad sa kompanya. Adunay mga sitwasyon kung ang pagpatuman sa usa ka modelo dili makatarunganon, ug ang oras nga gigugol sa mga espesyalista sa pagkat-on sa makina labi ka mahal kaysa sa trabahoan sa operator nga naghimo niini nga buluhaton. Mao nga kinahanglan nga sulayan nga mailhan ang ingon nga mga kaso sa sayong mga yugto sa paghimo sa mga sistema sa AI.
Tungod niini, ang mga modelo magsugod sa pagmugna og ganansya lamang kung ang problema sa negosyo husto nga naporma sa proseso sa MLOps, ang mga prayoridad gitakda, ug ang proseso sa pagpaila sa modelo ngadto sa sistema naporma sa unang mga hugna sa kalamboan.
Bag-ong proseso - bag-ong mga hagit
Usa ka komprehensibo nga tubag sa sukaranan nga pangutana sa negosyo bahin sa kung unsa ka magamit ang mga modelo sa ML sa pagsulbad sa mga problema, ang kinatibuk-ang isyu sa pagsalig sa AI usa sa mga hinungdan nga hagit sa proseso sa pagpalambo ug pagpatuman sa mga pamaagi sa MLOps. Sa sinugdan, ang mga negosyo nagduhaduha bahin sa pagpaila sa pagkat-on sa makina sa mga proseso - lisud ang pagsalig sa mga modelo sa mga lugar diin kaniadto, ingon usa ka lagda, ang mga tawo nagtrabaho. Alang sa negosyo, ang mga programa makita nga usa ka "itom nga kahon", ang kalabutan niini kinahanglan pa nga pamatud-an. Dugang pa, sa banking, sa negosyo sa mga operator sa telecom ug uban pa, adunay higpit nga mga kinahanglanon sa mga regulator sa gobyerno. Ang tanan nga mga sistema ug algorithm nga gipatuman sa mga proseso sa pagbabangko gipailalom sa pag-audit. Aron masulbad kini nga problema, aron mapamatud-an sa negosyo ug mga regulator ang kabalido ug katukma sa mga tubag sa artipisyal nga paniktik, ang mga himan sa pag-monitor gipaila kauban ang modelo. Dugang pa, adunay usa ka independente nga pamaagi sa pag-validate, mandatory alang sa mga modelo sa regulasyon, nga nagtagbo sa mga kinahanglanon sa Central Bank. Ang usa ka independenteng grupo sa eksperto nag-audit sa mga resulta nga nakuha sa modelo nga gikonsiderar ang data sa input.
Ang ikaduha nga hagit mao ang pagtimbang-timbang ug pagkonsiderar sa mga risgo sa modelo kung mag-implementar sa usa ka modelo sa pagkat-on sa makina. Bisan kung ang usa ka tawo dili makatubag sa pangutana nga adunay usa ka gatos nga porsyento nga kasiguruhan kung ang parehas nga sinina puti o asul, nan ang artificial intelligence adunay katungod usab nga masayop. Angayan usab nga hunahunaon nga ang datos mahimong mausab sa paglabay sa panahon, ug ang mga modelo kinahanglan nga bansayon pag-usab aron makahimo og igo nga tukma nga resulta. Aron masiguro nga ang proseso sa negosyo dili mag-antos, gikinahanglan ang pagdumala sa mga risgo sa modelo ug pag-monitor sa pasundayag sa modelo, kanunay nga magbansay niini sa bag-ong datos.
Apan pagkahuman sa una nga yugto sa pagkawalay pagsalig, ang kaatbang nga epekto nagsugod sa pagpakita. Ang daghang mga modelo nga malampuson nga gipatuman sa mga proseso, labi nga ang gana sa negosyo alang sa paggamit sa artipisyal nga paniktik motubo - bag-o ug bag-ong mga problema ang nakit-an nga masulbad gamit ang mga pamaagi sa pagkat-on sa makina. Ang matag buluhaton nagpahinabog tibuok proseso nga nanginahanglan ug piho nga mga kahanas:
- ang mga inhenyero sa datos nag-andam ug nagproseso sa datos;
- ang mga data scientist naggamit sa mga himan sa pagkat-on sa makina ug nagpalambo og usa ka modelo;
- Gipatuman sa IT ang modelo sa sistema;
- Gitino sa inhenyero sa ML kung giunsa ang husto nga pag-integrate niini nga modelo sa proseso, nga gamiton sa mga gamit sa IT, depende sa mga kinahanglanon alang sa mode sa aplikasyon sa modelo, nga gikonsiderar ang dagan sa mga hangyo, oras sa pagtubag, ug uban pa.
- Ang arkitekto sa ML nagdesinyo kung giunsa ang usa ka produkto sa software mahimong pisikal nga ipatuman sa usa ka sistema sa industriya.
Ang tibuuk nga siklo nanginahanglan daghang daghang mga kwalipikado nga espesyalista. Sa usa ka piho nga punto sa pag-uswag ug ang-ang sa pagsulod sa mga modelo sa ML sa mga proseso sa negosyo, nahimo nga ang linear nga pag-scale sa gidaghanon sa mga espesyalista nga katimbang sa pagtaas sa gidaghanon sa mga buluhaton nahimong mahal ug dili epektibo. Busa, mitungha ang pangutana sa pag-automate sa proseso sa MLOps - paghubit sa daghang mga standard nga klase sa mga problema sa pagkat-on sa makina, pagpalambo sa standard nga mga pipeline sa pagproseso sa datos ug dugang nga pagbansay sa mga modelo. Sa usa ka sulundon nga litrato, ang pagsulbad sa ingon nga mga problema nanginahanglan mga propesyonal nga parehas nga hanas sa mga katakus sa intersection sa Big Data, Data Science, DevOps ug IT. Busa, ang pinakadako nga problema sa industriya sa Data Science ug ang pinakadako nga hagit sa pag-organisar sa mga proseso sa MLOps mao ang kakulang sa ingon nga katakus sa kasamtangan nga merkado sa pagbansay. Ang mga espesyalista nga nakab-ot kini nga mga kinahanglanon sa pagkakaron talagsaon sa merkado sa pamuo ug takus sa ilang gibug-aton sa bulawan.
Sa isyu sa mga katakus
Sa teorya, ang tanan nga mga buluhaton sa MLOps mahimong masulbad gamit ang klasiko nga mga himan sa DevOps ug wala’y paggamit sa usa ka espesyal nga extension sa role model. Unya, sama sa among namatikdan sa ibabaw, ang usa ka data scientist kinahanglan dili lamang usa ka mathematician ug data analyst, kondili usa usab ka magtutudlo sa tibuok pipeline - siya ang responsable sa pagpalambo sa arkitektura, mga modelo sa programming sa daghang mga pinulongan depende sa arkitektura, pag-andam. usa ka data mart ug pag-deploy sa aplikasyon mismo. Bisan pa, ang paghimo sa teknolohikal nga balangkas nga gipatuman sa end-to-end nga proseso sa MLOps nagkinahanglag 80% sa mga gasto sa pagtrabaho, nga nagpasabut nga ang usa ka kwalipikado nga matematiko, nga usa ka kalidad nga Data Scientist, mogugol lamang sa 20% sa iyang oras sa iyang espesyalidad. . Busa, ang paghan-ay sa mga tahas sa mga espesyalista nga nahilambigit sa proseso sa pagpatuman sa mga modelo sa pagkat-on sa makina nahimong hinungdanon.
Kung unsa ka detalyado ang mga tahas kinahanglan nga mahulagway depende sa gidak-on sa negosyo. Kini usa ka butang kung ang usa ka startup adunay usa ka espesyalista, usa ka kugihan nga trabahante sa reserba sa enerhiya, nga iyang kaugalingon nga inhenyero, arkitekto, ug DevOps. Kini usa ka hingpit nga lahi nga butang kung, sa usa ka dako nga negosyo, ang tanan nga mga proseso sa pag-uswag sa modelo gikonsentrar sa pipila ka taas nga lebel nga mga espesyalista sa Data Science, samtang ang usa ka programmer o espesyalista sa database - usa ka labi ka kasagaran ug dili kaayo mahal nga katakus sa merkado sa pamuo - mahimo’g makuha. sa kadaghanan sa trabaho, naandan nga buluhaton.
Sa ingon, ang katulin ug kalidad sa mga naugmad nga mga modelo, ang pagka-produktibo sa team ug ang microclimate niini direkta nga nagdepende kung diin ang utlanan nahimutang sa pagpili sa mga espesyalista aron suportahan ang proseso sa MLOps ug kung giunsa ang proseso sa pag-operasyon sa mga naugmad nga mga modelo giorganisar. .
Ang nahimo na sa among team
Bag-ohay lang nagsugod kami sa pagtukod og istruktura sa katakus ug mga proseso sa MLOps. Apan ang among mga proyekto sa pagdumala sa siklo sa kinabuhi sa modelo ug sa paggamit sa mga modelo ingon usa ka serbisyo naa na sa yugto sa pagsulay sa MVP.
Gitino usab namo ang kamalaumon nga istruktura sa katakus alang sa usa ka dako nga negosyo ug ang istruktura sa organisasyon sa interaksyon tali sa tanan nga mga partisipante sa proseso. Ang mga agile nga mga grupo giorganisar aron masulbad ang mga problema alang sa tibuok nga han-ay sa mga kustomer sa negosyo, ug usa ka proseso sa interaksyon sa mga team sa proyekto aron makamugna og mga plataporma ug imprastraktura, nga mao ang pundasyon sa MLOps building nga gitukod, natukod.
Mga pangutana para sa umaabot
Ang MLOps usa ka nagtubo nga lugar nga nakasinati sa kakulang sa mga kahanas ug makakuha og momentum sa umaabot. Sa kasamtangan, labing maayo nga magtukod sa mga kalamboan ug gawi sa DevOps. Ang nag-unang tumong sa MLOps mao ang mas epektibong paggamit sa mga modelo sa ML aron masulbad ang mga problema sa negosyo. Apan kini nagpatunghag daghang pangutana:
- Giunsa pagpakunhod ang oras sa paglansad sa mga modelo sa produksiyon?
- Giunsa makunhuran ang burukratikong panagbingkil tali sa mga koponan nga lainlain ang mga kahanas ug madugangan ang pokus sa kooperasyon?
- Giunsa pagsubay ang mga modelo, pagdumala sa mga bersyon ug pag-organisar sa epektibo nga pag-monitor?
- Giunsa paghimo ang usa ka tinuud nga circular lifecycle alang sa usa ka modernong modelo sa ML?
- Giunsa ang pag-standardize sa proseso sa pagkat-on sa makina?
Ang mga tubag sa kini nga mga pangutana labi nga magtino kung unsa kadali ang mga MLOps nga makab-ot ang tibuuk nga potensyal niini.
Source: www.habr.com