A cikin 2018, a cikin da'irori masu sana'a da kuma a taron jigogi da aka keɓe ga AI, ra'ayin MLOps ya bayyana, wanda da sauri ya sami gindin zama a cikin masana'antar kuma yanzu yana tasowa azaman jagora mai zaman kanta. A nan gaba, MLOps na iya zama ɗayan wuraren da ake buƙata a cikin IT. Menene kuma abin da ake ci da shi, mun fahimta a ƙarƙashin yanke.
Menene MLOps
MLOps (haɗin fasahohi da hanyoyin koyan na'ura da kuma hanyoyin aiwatar da samfuran ci gaba a cikin ayyukan kasuwanci) wata sabuwar hanyar haɗin gwiwa ce tsakanin wakilan kasuwanci, masana kimiyya, masana lissafi, ƙwararrun koyon injina da injiniyoyin IT a cikin ƙirƙirar tsarin bayanan ɗan adam.
A takaice dai, hanya ce ta juyar da hanyoyin koyon inji da fasaha zuwa kayan aiki mai amfani don magance matsalolin kasuwanci.
Dole ne a fahimci cewa sarkar yawan aiki ya fara tun kafin ci gaban samfurin. Mataki na farko shine ayyana manufar kasuwanci, hasashe game da ƙimar da za a iya fitar daga bayanan, da kuma tunanin kasuwanci don amfani da shi.
Ma'anar MLOps ta taso ne a matsayin kwatanci ga manufar DevOps dangane da ƙira da fasahar koyon injin. DevOps wata hanya ce ta haɓaka software wacce ke ba ku damar haɓaka saurin canje-canje na mutum yayin kiyaye sassauci da aminci ta amfani da hanyoyi da yawa, gami da ci gaba da ci gaba, rabuwar ayyuka zuwa adadin microservices masu zaman kansu, gwaji ta atomatik da tura canje-canjen mutum, duniya. kula da lafiya, tsarin mayar da martani mai sauri don gazawar da aka gano, da dai sauransu.
DevOps ya bayyana tsarin rayuwar software, kuma ra'ayin ya fito a cikin al'ummar software don amfani da wannan dabarar ga manyan bayanai. DataOps ƙoƙari ne na daidaitawa da faɗaɗa hanyoyin, la'akari da keɓancewar adanawa, watsawa da sarrafa bayanai masu yawa a cikin nau'ikan dandamali daban-daban da kuma hulɗa.
Tare da zuwan wasu mahimman nau'ikan koyan na'ura waɗanda ke cikin tsarin kasuwanci na masana'antu, an lura da kamanceceniya mai ƙarfi tsakanin tsarin rayuwa na ƙirar ilimin lissafi da tsarin rayuwar software. Bambanci kawai shine cewa an ƙirƙiri algorithms ƙirar ta amfani da kayan aikin koyo na inji da hanyoyin. Don haka, ra'ayin a zahiri ya taso don amfani da daidaita hanyoyin da aka sani da su don haɓaka software don ƙirar koyon injin. Don haka, ana iya bambance mahimman matakai masu zuwa a cikin tsarin rayuwar samfuran koyon injin:
- ayyana ra'ayin kasuwanci;
- horon samfurin;
- gwaji da aiwatar da samfurin a cikin tsarin kasuwanci;
- aiki model.
Lokacin da lokacin aiki ya zama dole don canza ko sake horar da samfurin akan sabbin bayanai, sake zagayowar za ta sake farawa - an kammala samfurin, an gwada shi kuma an tura sabon sigar.
Ja da baya. Me ya sa aka sake karatu kuma ba za a sake karatun ba? Kalmar "sake horarwa" yana da fassarar sau biyu: a tsakanin ƙwararru yana nufin lahani a cikin samfurin, lokacin da samfurin yayi tsinkaya da kyau, a zahiri ya maimaita ma'aunin da aka annabta akan tsarin horo, amma yana aiki da muni akan saitin bayanan waje. A dabi'a, irin wannan samfurin yana da lahani, tun da wannan lahani baya yarda da aikace-aikacensa.
A cikin wannan tsarin rayuwa, yana da ma'ana don amfani da kayan aikin DevOps: gwaji ta atomatik, turawa da saka idanu, rijistar ƙididdige ƙididdigewa azaman ƙananan ƙananan sabis. Amma akwai fasaloli da yawa waɗanda ke hana yin amfani da waɗannan kayan aikin kai tsaye ba tare da ƙarin ɗaure ML ba.
Yadda ake yin samfura suyi aiki da samun riba
A matsayin misali, a cikin abin da za mu nuna aikace-aikacen tsarin MLOps, za mu ɗauki aikin yau da kullun na yin amfani da robot yin hira ta goyan bayan samfurin banki (ko wani). Tsarin kasuwancin tallan tallan taɗi na yau da kullun shine kamar haka: abokin ciniki ya shigar da tambaya a cikin taɗi kuma yana karɓar amsa daga ƙwararru a cikin bishiyar tattaunawa da aka riga aka ƙayyade. Ayyukan sarrafa irin wannan taɗi yawanci ana warware su ta amfani da ƙayyadaddun ƙayyadaddun dokoki waɗanda ke da matuƙar wahala don haɓakawa da kulawa. Ingancin irin wannan aiki da kai, dangane da matakin rikitarwa na aikin, na iya zama 20-30%. A dabi'ance, ra'ayin ya taso cewa yana da fa'ida don aiwatar da tsarin fasaha na wucin gadi - samfurin da aka haɓaka ta amfani da koyan na'ura wanda:
- iya aiwatar da ƙarin buƙatun ba tare da sa hannun mai aiki ba (dangane da batun, a wasu lokuta, ingancin zai iya kaiwa 70-80%);
- mafi dacewa da kalmomin da ba daidai ba a cikin tattaunawa - yana iya ƙayyade manufar, ainihin sha'awar mai amfani don buƙatar da ba a bayyana ba;
- yana iya ƙayyade lokacin da amsar samfurin ta isa, kuma lokacin da akwai shakku game da "sani" na wannan amsar kuma ya zama dole don yin ƙarin bayani mai haske ko canzawa zuwa mai aiki;
- za a iya sake horar da su ta atomatik (maimakon gungun masu haɓakawa koyaushe suna daidaitawa da gyara yanayin amsawa, Masanin Kimiyyar Bayanai ya sake horar da ƙirar ta amfani da ɗakunan karatu na koyo na inji).
Yadda za a yi irin wannan samfurin ci-gaba yayi aiki?
Kamar yadda ake warware kowane ɗawainiya, kafin haɓaka irin wannan ƙirar, ya zama dole a ayyana tsarin kasuwanci da bayyana takamaiman aiki da za mu warware ta amfani da hanyar koyon injin. A wannan gaba, tsarin aiwatarwa, wanda gajeriyar Ops ke nunawa, ya fara.
Mataki na gaba shi ne cewa masanin kimiyyar bayanai, tare da haɗin gwiwar injiniyan bayanai, yana duba samuwa da wadatar bayanai da kuma hasashen kasuwanci game da iya aiki na ra'ayin kasuwanci, samar da samfurin samfurin da kuma duba ainihin tasirinsa. Sai kawai bayan tabbatarwa ta hanyar kasuwanci za a iya canzawa daga haɓaka samfurin zuwa saka shi cikin tsarin da ke aiwatar da takamaiman tsarin kasuwanci. Tsare-tsare na aiwatarwa na ƙarshe zuwa ƙarshe, zurfin fahimta a kowane mataki na yadda za a yi amfani da ƙirar da kuma irin tasirin tattalin arzikin da zai haifar, wani lokaci ne mai mahimmanci a cikin hanyoyin gabatar da hanyoyin MLOps a cikin yanayin fasaha na kamfanin.
Tare da haɓaka fasahar AI, adadi da nau'ikan ayyuka waɗanda za a iya warware su tare da taimakon koyon injin suna ƙaruwa kamar ƙazamar ruwa. Kowane irin wannan tsarin kasuwanci yana ceton kamfanin ta hanyar sarrafa ma'aikata na ma'aikata masu yawa (cibiyar kira, dubawa da rarraba takardu, da sauransu), yana haɓaka tushen abokin ciniki ta ƙara sabbin ayyuka masu kyau da dacewa, adana kuɗi saboda mafi kyawun su. amfani da sake rarraba albarkatu da ƙari mai yawa. Daga ƙarshe, kowane tsari yana mayar da hankali kan ƙirƙirar ƙima kuma, a sakamakon haka, dole ne ya kawo wani tasiri na tattalin arziki. Anan yana da matukar mahimmanci don bayyana ra'ayin kasuwanci a sarari kuma a lissafta ribar da ake tsammanin daga aiwatar da ƙirar a cikin tsarin ƙirƙirar ƙimar kamfani gabaɗaya. Akwai yanayi lokacin da aiwatar da samfurin bai tabbatar da kansa ba, kuma lokacin da ƙwararrun ƙwararrun na'ura ke kashewa ya fi tsada fiye da wurin aiki na ma'aikacin da ke yin wannan aikin. Abin da ya sa ya zama dole a gwada gano irin waɗannan lokuta a farkon matakan ƙirƙirar tsarin AI.
Sakamakon haka, samfuran sun fara kawo riba ne kawai lokacin da aka tsara aikin kasuwanci daidai a cikin tsarin MLOps, an saita abubuwan da suka fi dacewa, kuma an tsara tsarin gabatar da samfurin a cikin tsarin a farkon matakan haɓakawa.
Sabon tsari - sababbin kalubale
Amsa cikakke ga ainihin tambayar kasuwanci na yadda samfuran ML suka dace don magance matsaloli, tambayar gaba ɗaya ta dogara ga AI ɗaya ce daga cikin manyan ƙalubalen ci gaba da aiwatar da hanyoyin MLOps. Da farko, harkokin kasuwanci suna da shakku game da ƙaddamar da koyan na'ura a cikin matakai - yana da wahala a dogara da samfura a wuraren da mutane sukan yi aiki a baya. Don kasuwanci, shirye-shiryen suna bayyana a matsayin "akwatin baƙar fata", mahimmancin amsoshin da har yanzu yana buƙatar tabbatarwa. Bugu da kari, a harkar banki, a harkokin kasuwanci na kamfanonin sadarwa da sauran su, akwai tsauraran ka'idoji na hukumomin gwamnati. Duk tsarin da algorithms waɗanda aka aiwatar a cikin ayyukan banki suna ƙarƙashin tantancewa. Don magance wannan matsala, don tabbatar da kasuwanci da masu kula da inganci da daidaito na amsoshi masu hankali na wucin gadi, ana gabatar da kayan aikin sa ido tare da samfurin. Bugu da ƙari, akwai hanyar tabbatarwa mai zaman kanta, wajibi ne don tsarin tsari, wanda ya dace da bukatun Babban Bankin. Ƙungiyar ƙwararrun ƙwararrun masu zaman kansu suna duba sakamakon da samfurin ya samu, yana la'akari da bayanan shigarwa.
Kalubale na biyu shine kimantawa da la'akari da haɗarin samfurin lokacin aiwatar da samfurin koyan na'ura. Ko da mutum ba zai iya amsa tambayar da cikakken tabbacin ko wannan rigar fari ce ko shuɗi ba, to, hankali na wucin gadi shima yana da damar yin kuskure. Hakanan yana da daraja la'akari da cewa bayanai na iya canzawa akan lokaci, kuma samfuran suna buƙatar sake horarwa don samar da ingantaccen sakamako. Domin tsarin kasuwanci ba zai sha wahala ba, ya zama dole don sarrafa haɗarin samfurin da kuma kula da aikin samfurin, a kai a kai yana sake horar da shi akan sababbin bayanai.
Amma bayan matakin farko na rashin amincewa, akasin tasirin ya fara bayyana. Yawancin samfuran da aka samu nasarar shigar da su cikin matakai, yawan kasuwancin yana da haɓaka sha'awar amfani da hankali na wucin gadi - akwai sabbin ayyuka da sabbin ayyuka waɗanda za'a iya warware su ta amfani da hanyoyin koyon injin. Kowane ɗawainiya yana ƙaddamar da cikakken tsari wanda ke buƙatar wasu ƙwarewa:
- injiniyoyin bayanai suna shirya da sarrafa bayanai;
- masana kimiyyar bayanai suna amfani da kayan aikin koyon injin kuma suna haɓaka samfuri;
- IT aiwatar da samfurin a cikin tsarin;
- Injiniyan ML yana ƙayyade yadda ake haɗa wannan ƙirar daidai a cikin tsari, waɗanda kayan aikin IT don amfani da su gwargwadon buƙatun yanayin aikace-aikacen ƙirar, la'akari da kwararar buƙatun, lokacin amsawa, da sauransu.
- Masanin gine-ginen ML yana tsara yadda za a iya aiwatar da samfurin software ta jiki a tsarin masana'antu.
Dukan sake zagayowar na buƙatar babban adadin ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararrun ƙwararru. A wani matsayi na ci gaba da kuma matakin shigar da samfuran ML a cikin tsarin kasuwanci, ya nuna cewa ƙididdige adadin ƙwararrun ƙwararru daidai gwargwado ga haɓakar adadin ayyuka ya zama tsada da rashin inganci. Don haka, tambayar ta taso game da sarrafa tsarin MLOps - ma'anar daidaitattun nau'o'in matsalolin koyon injin, haɓaka bututun sarrafa bayanai na yau da kullun da samfuran sake horarwa. A cikin hoton da ya dace, don magance irin waɗannan matsalolin, ana buƙatar ƙwararrun ƙwararrun waɗanda suka kware sosai a cikin iyakoki a mahaɗin BigData, Kimiyyar Bayanai, DevOps da IT. Don haka, babbar matsala a cikin masana'antar Kimiyyar Bayanai kuma babban ƙalubale a cikin tsara hanyoyin MLOps shine rashin irin wannan ƙwarewar a cikin kasuwar horarwa da ake da ita. Kwararrun da suka cika irin waɗannan buƙatun a halin yanzu ba su da yawa a cikin kasuwar aiki kuma sun cancanci nauyin su a zinare.
Zuwa tambayar cancanta
A ka'idar, ana iya magance duk ayyukan MLOps tare da kayan aikin DevOps na yau da kullun kuma ba tare da yin amfani da tsawaita abin koyi na musamman ba. Sa'an nan, kamar yadda muka gani a sama, da data masanin kimiyya ya kamata ba kawai wani ilmin lissafi da kuma bayanai Analyst, amma kuma guru na dukan bututun - gine-gine ci gaban, shirye-shirye model a cikin harsuna da dama dangane da gine-gine, shirya wani data mart da turawa. ya fad'a kan kafad'ar shi, aikace-aikacen kanta. Koyaya, ƙirƙirar ɗaurin fasaha da aka aiwatar a cikin tsarin MLOps na ƙarshe zuwa ƙarshe yana ɗaukar kusan 80% na farashin aiki, wanda ke nufin cewa ƙwararren masanin lissafi, wanda ƙwararren masanin kimiyya ne, zai ba da kashi 20% kawai na lokaci zuwa na musamman. Sabili da haka, bambance-bambancen ayyukan ƙwararrun masu aiwatar da aiwatar da tsarin koyan na'ura ya zama mahimmanci.
Yadda ya kamata a keɓe cikakkun ayyukan ya dogara da girman kamfani. Abu ɗaya ne lokacin da farawa yana da ƙwararru ɗaya, ma'aikaci a ajiyar injiniyoyin wutar lantarki, injiniya, injiniyan gine-gine, da DevOps a nasa dama. Bambanci ne mabanbanta lokacin da, a cikin babban kamfani, duk tsarin ci gaban samfuri ya ta'allaka ne kan wasu masana kimiyyar bayanai masu girma, yayin da mai tsara shirye-shirye ko ƙwararrun bayanai - ƙwarewar gama gari da ƙarancin tsada a cikin kasuwar aiki - na iya ɗauka. yawancin ayyukan yau da kullun.
Don haka, inda iyaka ya ta'allaka ne a cikin zaɓin ƙwararrun ƙwararrun don tabbatar da tsarin MLOps da yadda aka tsara tsarin aiwatar da samfuran da aka haɓaka kai tsaye yana shafar saurin gudu da ingancin samfuran da aka haɓaka, haɓakar ƙungiyar da microclimate a ciki.
Abin da tawagarmu ta riga ta yi
Kwanan nan mun fara gina tsarin cancanta da tafiyar matakai na MLOps. Amma a yanzu, ayyukanmu kan gudanar da zagayowar rayuwa na samfuri da kuma yin amfani da ƙira a matsayin sabis suna a matakin gwaji na MVP.
Mun kuma ƙaddara mafi kyawun tsarin cancanta don babban kamfani da tsarin tsarin hulɗa tsakanin duk mahalarta a cikin tsari. An shirya ƙungiyoyin Agile don magance matsaloli ga dukkan nau'ikan abokan cinikin kasuwanci, kuma an kafa tsarin hulɗa tare da ƙungiyoyin ayyukan don ƙirƙirar dandamali da abubuwan more rayuwa, wanda shine tushen ginin MLOps da ake gini.
Tambayoyi don gaba
MLOps yanki ne mai girma wanda ke fuskantar ƙarancin ƙwarewa kuma zai sami ci gaba a nan gaba. A halin yanzu, yana da kyau a gina kan ci gaba da ayyukan DevOps. Babban burin MLOps shine amfani da samfuran ML yadda ya kamata don magance matsalolin kasuwanci. Amma wannan yana haifar da tambayoyi da yawa:
- Yadda za a rage lokacin ƙaddamar da samfura a cikin samarwa?
- Ta yaya za a rage rikici tsakanin ƙungiyoyin iyawa daban-daban da ƙara mai da hankali kan haɗin gwiwa?
- Yadda ake waƙa da ƙira, sarrafa nau'ikan da tsara ingantaccen sa ido?
- Yadda ake ƙirƙirar madauwari ta gaske don ƙirar ML ta zamani?
- Yadda za a daidaita tsarin koyon injin?
Amsoshin waɗannan tambayoyin za su ƙayyade yadda sauri MLOps zai bayyana cikakken ƙarfinsa.
source: www.habr.com