Mnamo mwaka wa 2018, wazo la MLOps lilionekana katika duru za kitaalam na kwenye mikutano ya mada iliyowekwa kwa AI, ambayo ilichukua nafasi katika tasnia na sasa inakua kama mwelekeo huru. Katika siku zijazo, MLOps inaweza kuwa mojawapo ya maeneo maarufu zaidi katika IT. Ni nini na inaliwa na nini? Hebu tujue hapa chini.
MLOps ni nini
MLOps (kuchanganya teknolojia za kujifunza kwa mashine na michakato na mbinu za kutekeleza miundo iliyotengenezwa katika michakato ya biashara) ni njia mpya ya ushirikiano kati ya wawakilishi wa biashara, wanasayansi, wanahisabati, wataalamu wa kujifunza mashine na wahandisi wa TEHAMA wakati wa kuunda mifumo ya kijasusi bandia.
Kwa maneno mengine, ni njia ya kugeuza mbinu na teknolojia za kujifunza kwa mashine kuwa zana muhimu ya kutatua matatizo ya biashara.
Ni muhimu kuelewa kwamba mlolongo wa tija huanza muda mrefu kabla ya maendeleo ya mfano. Hatua yake ya kwanza ni kufafanua tatizo la biashara, dhana kuhusu thamani inayoweza kutolewa kutoka kwa data, na wazo la biashara la kuitumia.
Wazo lenyewe la MLOps liliibuka kama mlinganisho wa dhana ya DevOps kuhusiana na miundo na teknolojia ya kujifunza mashine. DevOps ni mbinu ya ukuzaji wa programu ambayo hukuruhusu kuongeza kasi ya utekelezaji wa mabadiliko ya mtu binafsi huku ukidumisha kubadilika na kuegemea kwa kutumia njia kadhaa, pamoja na ukuzaji endelevu, mgawanyiko wa kazi katika idadi ya huduma ndogo huru, majaribio ya kiotomatiki na uwekaji wa mtu binafsi. mabadiliko, ufuatiliaji wa afya duniani, mfumo wa majibu ya haraka kwa mapungufu yaliyogunduliwa, nk.
DevOps imefafanua mzunguko wa maisha wa programu, na jumuiya imekuja na wazo la kutumia mbinu sawa kwa data kubwa. DataOps ni jaribio la kurekebisha na kupanua mbinu kwa kuzingatia vipengele vya kuhifadhi, kusambaza na kuchakata kiasi kikubwa cha data katika majukwaa mbalimbali na yanayoshirikiana.
Pamoja na ujio wa wingi fulani muhimu wa miundo ya kujifunza mashine iliyotekelezwa katika michakato ya biashara ya biashara, ulinganifu mkubwa uligunduliwa kati ya mzunguko wa maisha wa miundo ya kujifunza mashine ya hisabati na mzunguko wa maisha ya programu. Tofauti pekee ni kwamba algorithms ya mfano huundwa kwa kutumia zana na mbinu za kujifunza za mashine. Kwa hivyo, wazo liliibuka la kutumia na kurekebisha mbinu ambazo tayari zinajulikana kwa ukuzaji wa programu kwa miundo ya kujifunza ya mashine. Kwa hivyo, hatua muhimu zifuatazo zinaweza kutofautishwa katika mzunguko wa maisha wa mifano ya kujifunza mashine:
- kufafanua wazo la biashara;
- mafunzo ya mfano;
- kupima na kutekeleza mfano katika mchakato wa biashara;
- uendeshaji wa mfano.
Wakati wakati wa operesheni kuna haja ya kubadilisha au kurejesha mfano kwenye data mpya, mzunguko huanza tena - mfano huo umesafishwa, umejaribiwa, na toleo jipya linatumiwa.
Rudi nyuma. Kwa nini ujirudishe na usijipange tena? Neno "urekebishaji wa mfano" lina maana mbili: kati ya wataalam inamaanisha kasoro ya mfano, wakati mfano unatabiri vizuri, kwa kweli hurudia kigezo kilichotabiriwa kwenye seti ya mafunzo, lakini hufanya vibaya zaidi kwenye sampuli ya data ya nje. Kwa kawaida, mfano huo ni kasoro, kwani kasoro hii hairuhusu matumizi yake.
Katika mzunguko huu wa maisha, inaonekana ni jambo la busara kutumia zana za DevOps: majaribio ya kiotomatiki, uwekaji na ufuatiliaji, kubuni hesabu za modeli kwa njia ya huduma ndogo tofauti. Lakini pia kuna idadi ya vipengele vinavyozuia matumizi ya moja kwa moja ya zana hizi bila kumfunga ML ya ziada.
Jinsi ya kufanya mifano kufanya kazi na kuwa na faida
Kama mfano ambao tutaonyesha matumizi ya mbinu ya MLOps, tutachukua jukumu la kawaida la kuweka usaidizi wa gumzo kwa bidhaa ya benki (au nyingine yoyote). Kwa kawaida, mchakato wa biashara wa usaidizi wa gumzo unaonekana kama hii: mteja huingiza ujumbe wenye swali kwenye gumzo na hupokea jibu kutoka kwa mtaalamu ndani ya mti wa mazungumzo ulioainishwa awali. Kazi ya kufanya gumzo kama hilo kiotomatiki kawaida hutatuliwa kwa kutumia seti zilizobainishwa za kitaalamu, ambazo ni ngumu sana kuzikuza na kuzidumisha. Ufanisi wa automatisering hiyo, kulingana na kiwango cha utata wa kazi, inaweza kuwa 20-30%. Kwa kawaida, wazo linatokea kwamba ni faida zaidi kuanzisha moduli ya akili ya bandia - mfano uliotengenezwa kwa kutumia kujifunza kwa mashine, ambayo:
- ina uwezo wa kushughulikia idadi kubwa ya maombi bila ushiriki wa waendeshaji (kulingana na mada, katika hali nyingine ufanisi unaweza kufikia 70-80%);
- inabadilika vyema kwa maneno yasiyo ya kawaida katika mazungumzo - ina uwezo wa kuamua dhamira, hamu halisi ya mtumiaji kulingana na ombi lisilopangwa wazi;
- anajua jinsi ya kuamua wakati jibu la mfano ni la kutosha, na wakati kuna mashaka juu ya "ufahamu" wa jibu hili na unahitaji kuuliza swali la ziada la kufafanua au kubadili kwa operator;
- inaweza pia kufunzwa kiotomatiki (badala ya kundi la wasanidi programu kurekebisha na kusahihisha hati za majibu kila mara, mtindo huo unafunzwa zaidi na mtaalamu wa Sayansi ya Data kwa kutumia maktaba zinazofaa za kujifunza mashine).
Jinsi ya kufanya mfano wa hali ya juu ufanye kazi?
Kama ilivyo kwa kutatua shida nyingine yoyote, kabla ya kuunda moduli kama hiyo, ni muhimu kufafanua mchakato wa biashara na kuelezea rasmi kazi maalum ambayo tutasuluhisha kwa kutumia njia ya kujifunza mashine. Katika hatua hii, mchakato wa uendeshaji, ulioteuliwa na Ops ya kifupi, huanza.
Hatua inayofuata ni kwamba Mwanasayansi wa Data, kwa ushirikiano na Mhandisi wa Data, hukagua upatikanaji na utoshelevu wa data na dhana ya biashara kuhusu uwezekano wa wazo la biashara, kuendeleza modeli ya mfano na kupima ufanisi wake halisi. Tu baada ya uthibitisho na biashara unaweza mpito kutoka kwa kuendeleza mtindo hadi kuunganisha kwenye mifumo inayofanya mchakato maalum wa biashara kuanza. Upangaji wa utekelezaji wa mwisho hadi mwisho, uelewa wa kina katika kila hatua ya jinsi modeli itatumika na athari gani ya kiuchumi italeta, ni jambo la msingi katika michakato ya kuanzisha mbinu za MLOps katika mazingira ya kiteknolojia ya kampuni.
Pamoja na maendeleo ya teknolojia ya AI, idadi na aina mbalimbali za matatizo ambayo yanaweza kutatuliwa kwa kutumia mashine ya kujifunza yanaongezeka kwa kasi. Kila mchakato kama huo wa biashara ni kuokoa kwa kampuni kwa sababu ya otomatiki ya wafanyikazi wa wingi (kituo cha simu, kuangalia na kupanga hati, nk), ni upanuzi wa msingi wa mteja kwa kuongeza kazi mpya za kuvutia na zinazofaa, inaokoa pesa kutokana na matumizi yao bora na ugawaji upya wa rasilimali na mengi zaidi. Hatimaye, mchakato wowote unalenga katika kujenga thamani na, kwa sababu hiyo, lazima kuleta athari fulani ya kiuchumi. Hapa ni muhimu sana kuunda wazi wazo la biashara na kuhesabu faida inayotarajiwa kutokana na kutekeleza mfano katika muundo wa jumla wa uundaji wa thamani ya kampuni. Kuna hali wakati utekelezaji wa mfano haujihalalishi, na wakati unaotumiwa na wataalam wa kujifunza mashine ni ghali zaidi kuliko mahali pa kazi ya operator anayefanya kazi hii. Ndiyo maana ni muhimu kujaribu kutambua kesi hizo katika hatua za mwanzo za kuunda mifumo ya AI.
Kwa hiyo, mifano huanza kuzalisha faida tu wakati tatizo la biashara limeundwa kwa usahihi katika mchakato wa MLOps, vipaumbele vimewekwa, na mchakato wa kuanzisha mtindo katika mfumo umeandaliwa katika hatua za mwanzo za maendeleo.
Mchakato mpya - changamoto mpya
Jibu la kina kwa swali la msingi la biashara kuhusu jinsi miundo ya ML inavyotumika katika kutatua matatizo, suala la jumla la uaminifu katika AI ni mojawapo ya changamoto kuu katika mchakato wa kuendeleza na kutekeleza mbinu za MLOps. Hapo awali, biashara zina mashaka juu ya kuanzishwa kwa ujifunzaji wa mashine katika michakato - ni ngumu kutegemea mifano mahali ambapo hapo awali, kama sheria, watu walifanya kazi. Kwa biashara, mipango inaonekana kuwa "sanduku nyeusi", umuhimu ambao bado unahitaji kuthibitishwa. Aidha, katika benki, katika biashara ya waendeshaji wa mawasiliano ya simu na wengine, kuna mahitaji kali ya wasimamizi wa serikali. Mifumo na kanuni zote zinazotekelezwa katika michakato ya benki zinaweza kukaguliwa. Ili kutatua tatizo hili, kuthibitisha kwa biashara na wasimamizi uhalali na usahihi wa majibu ya akili ya bandia, zana za ufuatiliaji zinaletwa pamoja na mfano. Kwa kuongeza, kuna utaratibu wa uthibitishaji wa kujitegemea, wa lazima kwa mifano ya udhibiti, ambayo inakidhi mahitaji ya Benki Kuu. Kikundi cha wataalam huru hukagua matokeo yaliyopatikana na modeli kwa kuzingatia data ya pembejeo.
Changamoto ya pili ni kutathmini na kuzingatia hatari za modeli wakati wa kutekeleza modeli ya kujifunza kwa mashine. Hata ikiwa mtu hawezi kujibu swali kwa uhakika wa asilimia mia moja ikiwa nguo hiyo hiyo ilikuwa nyeupe au bluu, basi akili ya bandia pia ina haki ya kufanya makosa. Inafaa pia kuzingatia kuwa data inaweza kubadilika kwa wakati, na miundo inahitaji kufunzwa tena ili kutoa matokeo sahihi ya kutosha. Ili kuhakikisha kwamba mchakato wa biashara hauteseka, ni muhimu kusimamia hatari za mfano na kufuatilia utendaji wa mfano, mara kwa mara uifanye upya kwenye data mpya.
Lakini baada ya hatua ya kwanza ya kutoaminiana, athari kinyume huanza kuonekana. Kadiri miundo inavyotekelezwa kwa mafanikio katika michakato, ndivyo hamu ya biashara ya matumizi ya akili bandia inavyoongezeka - matatizo mapya na mapya yanapatikana ambayo yanaweza kutatuliwa kwa kutumia mbinu za kujifunza kwa mashine. Kila kazi huanzisha mchakato mzima unaohitaji ujuzi fulani:
- wahandisi wa data huandaa na kuchakata data;
- wanasayansi wa data hutumia zana za kujifunza za mashine na kuendeleza mfano;
- IT inatekeleza mfano kwenye mfumo;
- Mhandisi wa ML huamua jinsi ya kuunganisha kwa usahihi mfano huu katika mchakato, ambayo zana za IT zitatumia, kulingana na mahitaji ya hali ya matumizi ya mfano, kwa kuzingatia mtiririko wa maombi, wakati wa majibu, nk.
- Mbunifu wa ML husanifu jinsi bidhaa ya programu inaweza kutekelezwa kimwili katika mfumo wa viwanda.
Mzunguko mzima unahitaji idadi kubwa ya wataalam waliohitimu sana. Katika hatua fulani ya ukuzaji na kiwango cha kupenya kwa mifano ya ML katika michakato ya biashara, zinageuka kuwa kuongeza idadi ya wataalam kulingana na ongezeko la idadi ya kazi inakuwa ghali na haifai. Kwa hiyo, swali linatokea la automatisering ya mchakato wa MLOps - kufafanua madarasa kadhaa ya kawaida ya matatizo ya kujifunza mashine, kuendeleza mabomba ya kawaida ya usindikaji wa data na mafunzo ya ziada ya mifano. Katika picha bora, kutatua matatizo kama haya kunahitaji wataalamu ambao wana ujuzi sawa katika makutano ya Data Kubwa, Sayansi ya Data, DevOps na IT. Kwa hiyo, tatizo kubwa katika tasnia ya Sayansi ya Data na changamoto kubwa katika kuandaa michakato ya MLOps ni ukosefu wa umahiri huo katika soko la mafunzo lililopo. Wataalamu wanaokidhi mahitaji haya kwa sasa ni wachache kwenye soko la ajira na wana thamani ya uzito wao katika dhahabu.
Kuhusu suala la uwezo
Kinadharia, kazi zote za MLOps zinaweza kutatuliwa kwa kutumia zana za kawaida za DevOps na bila kutumia upanuzi maalum wa mfano wa kuigwa. Halafu, kama tulivyoona hapo juu, mwanasayansi wa data lazima awe sio tu mchambuzi wa hesabu na data, lakini pia mkuu wa bomba zima - ana jukumu la kukuza usanifu, mifano ya programu katika lugha kadhaa kulingana na usanifu, kuandaa. kituo cha data na kupeleka programu yenyewe. Walakini, kuunda mfumo wa kiteknolojia unaotekelezwa katika mchakato wa mwisho hadi mwisho wa MLOps huchukua hadi 80% ya gharama za wafanyikazi, ambayo inamaanisha kuwa mwanahisabati aliyehitimu, ambaye ni Mwanasayansi wa Takwimu bora, atatoa 20% tu ya wakati wake kwa utaalam wake. . Kwa hivyo, kubainisha majukumu ya wataalamu wanaohusika katika mchakato wa kutekeleza miundo ya kujifunza kwa mashine inakuwa muhimu.
Jinsi majukumu yanapaswa kuelezewa kwa undani inategemea saizi ya biashara. Ni jambo moja wakati mwanzo una mtaalamu mmoja, mfanyakazi mwenye bidii katika hifadhi ya nishati, ambaye ni mhandisi wake mwenyewe, mbunifu, na DevOps. Ni jambo tofauti kabisa wakati, katika biashara kubwa, michakato yote ya ukuzaji wa kielelezo inazingatia wataalamu wachache wa kiwango cha juu cha Sayansi ya Data, wakati mpangaji programu au mtaalamu wa hifadhidata - uwezo wa kawaida zaidi na wa gharama nafuu katika soko la ajira - anaweza kuchukua. kwa sehemu kubwa ya kazi, kazi za kawaida.
Kwa hivyo, kasi na ubora wa mifano iliyotengenezwa, tija ya timu na hali ya hewa ndani yake inategemea moja kwa moja mahali ambapo mpaka upo katika uteuzi wa wataalam kusaidia mchakato wa MLOps na jinsi mchakato wa uendeshaji wa mifano iliyotengenezwa umepangwa. .
Kile ambacho timu yetu tayari imefanya
Hivi majuzi tulianza kuunda muundo wa uwezo na michakato ya MLOps. Lakini miradi yetu kuhusu usimamizi wa mzunguko wa maisha na kutumia miundo kama huduma tayari iko katika hatua ya majaribio ya MVP.
Pia tulibaini muundo bora wa uwezo wa biashara kubwa na muundo wa shirika wa mwingiliano kati ya washiriki wote katika mchakato. Timu za Agile zilipangwa kutatua shida kwa anuwai ya wateja wa biashara, na mchakato wa mwingiliano na timu za mradi kuunda majukwaa na miundombinu, ambayo ni msingi wa jengo la MLOps linalojengwa, ilianzishwa.
Maswali kwa siku zijazo
MLOps ni eneo linalokua ambalo linakabiliwa na uhaba wa ujuzi na litapata kasi katika siku zijazo. Wakati huo huo, ni bora kujenga juu ya maendeleo na mazoea ya DevOps. Lengo kuu la MLOps ni kutumia kwa ufanisi zaidi mifano ya ML kutatua matatizo ya biashara. Lakini hii inazua maswali mengi:
- Jinsi ya kupunguza muda wa kuzindua mifano katika uzalishaji?
- Jinsi ya kupunguza msuguano wa ukiritimba kati ya timu za umahiri tofauti na kuongeza umakini wa ushirikiano?
- Jinsi ya kufuatilia mifano, kudhibiti matoleo na kupanga ufuatiliaji mzuri?
- Jinsi ya kuunda mzunguko wa maisha wa kweli kwa mfano wa kisasa wa ML?
- Jinsi ya kusawazisha mchakato wa kujifunza mashine?
Majibu ya maswali haya yataamua kwa kiasi kikubwa jinsi MLOps zitafikia uwezo wake kamili.
Chanzo: mapenzi.com