ProHoster > Blogs > interneta ziņas > Kāpēc datu zinātnes komandām ir vajadzīgi vispārēji, nevis speciālisti

Kāpēc datu zinātnes komandām ir vajadzīgi vispārēji, nevis speciālisti

Kāpēc datu zinātnes komandām ir vajadzīgi vispārēji, nevis speciālisti
HIROSHI WATANABE/GETTY IMAGES

Ādams Smits grāmatā The Wealth of Nations parāda, kā darba dalÄ«Å”ana kļūst par galveno ražīguma palielināŔanas avotu. Kā piemēru var minēt tapas rÅ«pnÄ«cas montāžas lÄ«niju: ā€œViens strādnieks stiepli velk, otrs iztaisno, treÅ”ais griež, ceturtais galu asina, piektais noslÄ«pē otru galu, lai tas atbilstu galvai.ā€ Pateicoties specializācijai, kas vērsta uz konkrētām funkcijām, katrs darbinieks kļūst par augsti kvalificētu speciālistu savā Å”aurajā uzdevumā, kas noved pie procesa efektivitātes paaugstināŔanas. Izlaide uz vienu darbinieku palielinās vairākas reizes, un rÅ«pnÄ«ca kļūst efektÄ«vāka tapu ražoÅ”anā.

Å is darba dalÄ«jums pēc funkcionalitātes ir tik ļoti iesakņojies mÅ«su prātos pat Å”odien, ka ātri atbilstoÅ”i organizējām savas komandas. Datu zinātne nav izņēmums. Sarežģītām algoritmiskām biznesa iespējām ir nepiecieÅ”amas vairākas darba funkcijas, tāpēc uzņēmumi parasti veido speciālistu komandas: pētniekus, datu inženierus, maŔīnmācÄ«Å”anās inženierus, cēloņu un seku zinātniekus utt. Speciālistu darbu ar funkciju nodoÅ”anu produktu vadÄ«tājs saskaņo tādā veidā, kas atgādina piespraudes fabriku: ā€œviens saņem datus, cits modelē, treÅ”ais izpilda, ceturtais mēraā€ un tā tālāk,

Diemžēl mums nevajadzētu optimizēt savas datu zinātnes komandas, lai uzlabotu produktivitāti. Tomēr jÅ«s to darāt, kad saprotat, ko ražojat: tapas vai kaut ko citu, un vienkārÅ”i cenÅ”aties palielināt efektivitāti. Montāžas lÄ«niju mērÄ·is ir izpildÄ«t uzdevumu. Mēs precÄ«zi zinām, ko vēlamies ā€“ piespraudes (kā Smita piemērā), taču var minēt jebkuru produktu vai pakalpojumu, kurā prasÄ«bas pilnÄ«bā apraksta visus produkta un tā uzvedÄ«bas aspektus. Darbinieku uzdevums ir izpildÄ«t Ŕīs prasÄ«bas pēc iespējas efektÄ«vāk.

Taču datu zinātnes mērÄ·is nav izpildÄ«t uzdevumus. DrÄ«zāk mērÄ·is ir izpētÄ«t un attÄ«stÄ«t jaunas spēcÄ«gas uzņēmējdarbÄ«bas iespējas. Algoritmiskos produktus un pakalpojumus, piemēram, ieteikumu sistēmas, klientu mijiedarbÄ«bu, stila preferenču klasifikāciju, izmēru, apģērbu dizainu, loÄ£istikas optimizāciju, sezonas tendenču noteikÅ”anu un daudz ko citu, nevar izstrādāt iepriekÅ”. Tie ir jāizpēta. Nav nekādu projektu, ko atkārtot, tās ir jaunas iespējas ar raksturÄ«gu nenoteiktÄ«bu. Koeficienti, modeļi, modeļu veidi, hiperparametri, visi nepiecieÅ”amie elementi ir jāapgÅ«st eksperimentējot, veicot izmēģinājumus un kļūdas, kā arÄ« atkārtojot. Ar tapām apmācÄ«ba un projektÄ“Å”ana tiek veikta pirms ražoÅ”anas. Izmantojot datu zinātni, jÅ«s mācāties tā, kā to darāt, nevis agrāk.

Piespraudes rÅ«pnÄ«cā, kad apmācÄ«ba ir pirmajā vietā, mēs negaidām un nevēlamies, lai darbinieki improvizētu par kādu produkta funkciju, izņemot ražoÅ”anas efektivitātes uzlaboÅ”anu. Uzdevumu specializācija ir jēga, jo tā nodroÅ”ina procesa efektivitāti un ražoÅ”anas konsekvenci (bez izmaiņām galaproduktā).

Bet, kad produkts vēl tikai attÄ«stās un mērÄ·is ir apmācÄ«ba, specializācija traucē mÅ«su mērÄ·iem Ŕādos gadÄ«jumos:

1. Tas palielina koordinācijas izmaksas.

Tas ir, tās izmaksas, kas uzkrājas laikā, kas pavadÄ«ts komunikācijai, pārrunām, pamatoÅ”anai un veicamo darbu prioritāŔu noteikÅ”anai. Å Ä«s izmaksas superlineāri mainās atkarÄ«bā no iesaistÄ«to cilvēku skaita. (Kā mums mācÄ«ja Dž. Ričards Hakmens, attiecÄ«bu skaits r pieaug lÄ«dzÄ«gi kā terminu skaita n funkcija saskaņā ar Å”o vienādojumu: r = (n^2-n)/2. Un katra saistÄ«ba atklāj zināmu daļu izmaksu attiecÄ«ba.) Ja datu zinātniekus organizē pēc funkcijām, katrā posmā, ar katrām izmaiņām, katru nodoÅ”anu utt., ir nepiecieÅ”ami daudzi speciālisti, kas palielina koordinÄ“Å”anas izmaksas. Piemēram, statistikas modelētājiem, kuri vēlas eksperimentēt ar jaunām funkcijām, bÅ«s jāsadarbojas ar datu inženieriem, kuri papildina datu kopas katru reizi, kad vēlas izmēģināt kaut ko jaunu. Tāpat katrs jauns apmācÄ«ts modelis nozÄ«mē, ka modeļa izstrādātājam bÅ«s nepiecieÅ”ams kāds, ar kuru jāsaskaņo, lai to nodotu ražoÅ”anā. Koordinācijas izmaksas darbojas kā iterācijas cena, padarot tās sarežģītākas un dārgākas un, visticamāk, izraisÄ«s pētÄ«juma pārtraukÅ”anu. Tas var traucēt mācÄ«Å”anos.

2. Tas apgrūtina gaidīŔanas laiku.

Vēl biedējoŔāks par koordinÄ“Å”anas izmaksām ir laiks, kas tiek zaudēts starp darba maiņām. Lai gan koordinācijas izmaksas parasti mēra stundās - laiks, kas nepiecieÅ”ams, lai vadÄ«tu sanāksmes, diskusijas, dizaina pārskatus, gaidÄ«Å”anas laiks parasti tiek mērÄ«ts dienās, nedēļās vai pat mēneÅ”os! Funkcionālo speciālistu grafikus ir grÅ«ti sabalansēt, jo katrs speciālists ir jāsadala vairākos projektos. Vienu stundu ilga sanāksme, lai apspriestu izmaiņas, var ilgt nedēļas, lai izlÄ«dzinātu darbplÅ«smu. Un pēc saskaņoÅ”anas par izmaiņām ir jāplāno pats faktiskais darbs daudzu citu projektu kontekstā, kas aizņem speciālistu darba laiku. Darbs, kas saistÄ«ts ar koda laboÅ”anu vai izpēti, kura pabeigÅ”ana aizņem tikai dažas stundas vai dienas, var aizņemt daudz ilgāku laiku, pirms resursi kļūst pieejami. LÄ«dz tam atkārtoÅ”anās un mācÄ«Å”anās ir apturēta.

3. Tas saŔaurina kontekstu.

Darba dalÄ«Å”ana var mākslÄ«gi ierobežot mācÄ«Å”anos, atalgojot cilvēkus par palikÅ”anu savā specialitātē. Piemēram, pētnieks, kuram jāpaliek savas funkcionalitātes ietvaros, savu enerÄ£iju koncentrēs uz eksperimentiem ar dažāda veida algoritmiem: regresiju, neironu tÄ«kliem, nejauÅ”iem mežiem utt. Protams, labas algoritma izvēles var radÄ«t pakāpeniskus uzlabojumus, taču parasti ir daudz vairāk, ko var iegÅ«t no citām darbÄ«bām, piemēram, integrējot jaunus datu avotus. Tāpat tas palÄ«dzēs izstrādāt modeli, kas izmanto katru datiem raksturÄ«go skaidrojoÅ”o spēku. Tomēr tā stiprā puse var bÅ«t mērÄ·a funkcijas maiņa vai noteiktu ierobežojumu atslābināŔana. To ir grÅ«ti redzēt vai izdarÄ«t, ja viņas darbs ir ierobežots. Tā kā tehniskais zinātnieks specializējas algoritmu optimizÄ“Å”anā, viņŔ daudz retāk darÄ«s kaut ko citu, pat ja tas nes ievērojamas priekÅ”rocÄ«bas.

Lai nosauktu pazÄ«mes, kas parādās, kad datu zinātnes komandas darbojas kā piespraudes rÅ«pnÄ«cas (piemēram, vienkārÅ”os statusa atjauninājumos): ā€œgaida datu konveijera izmaiņasā€ un ā€œgaida ML Eng resursusā€ ir izplatÄ«ti bloķētāji. Tomēr es uzskatu, ka bÄ«stamāka ietekme ir tā, ko jÅ«s nepamanāt, jo jÅ«s nevarat nožēlot to, ko jÅ«s jau nezināt. Nevainojama izpilde un paÅ”apmierinātÄ«ba, kas gÅ«ta, panākot procesa efektivitāti, var slēpt patiesÄ«bu, ka organizācijas neapzinās mācÄ«bu priekÅ”rocÄ«bas, ko tās zaudē.

Å Ä«s problēmas risinājums, protams, ir atbrÄ«voties no rÅ«pnÄ«cas tapas metodes. Lai veicinātu mācÄ«Å”anos un iterāciju, datu zinātnieku lomām jābÅ«t vispārÄ«gām, bet ar plaÅ”iem pienākumiem neatkarÄ«gi no tehniskās funkcijas, t.i., datu zinātniekus jāorganizē tā, lai tie bÅ«tu optimizēti mācÄ«bām. Tas nozÄ«mē, ka ir jāpieņem darbā ā€œpilna komplekta speciālistiā€ ā€” vispārÄ«gi speciālisti, kuri var veikt dažādas funkcijas, sākot no koncepcijas lÄ«dz modelÄ“Å”anai, ievieÅ”anai lÄ«dz mērÄ«jumiem. Ir svarÄ«gi atzÄ«mēt, ka es neapgalvoju, ka visu talantu algoÅ”anai vajadzētu samazināt darbinieku skaitu. DrÄ«zāk es vienkārÅ”i pieņemu, ka tad, kad tie tiek organizēti atŔķirÄ«gi, viņu stimuli ir labāk saskaņoti ar mācÄ«Å”anās un darbÄ«bas priekÅ”rocÄ«bām. Piemēram, pieņemsim, ka jums ir trÄ«s cilvēku komanda ar trim biznesa prasmēm. SpraudÄ«Å”u rÅ«pnÄ«cā katrs tehniÄ·is katram darba uzdevumam veltÄ«s treÅ”daļu sava laika, jo neviens cits nevar veikt viņa darbu. Pilnā kaudzē katrs vispārÄ«gais speciālists ir pilnÄ«bā veltÄ«ts visam biznesa procesam, mēroga palielināŔanai un apmācÄ«bai.

Tā kā ražoÅ”anas ciklu atbalsta mazāk cilvēku, koordinācija tiek samazināta. Ä¢enerālists nepārtraukti pārvietojas starp funkcijām, paplaÅ”inot datu cauruļvadu, lai pievienotu vairāk datu, izmēģinot jaunas funkcijas modeļos, izvietojot jaunas versijas ražoÅ”anā cēloņsakarÄ«bas mērÄ«jumiem un atkārtojot darbÄ«bas, tiklÄ«dz rodas jaunas idejas. Protams, universāls dažādas funkcijas pilda secÄ«gi, nevis paralēli. Galu galā tā ir tikai viena persona. Tomēr uzdevuma pabeigÅ”ana parasti aizņem tikai daļu no laika, kas nepiecieÅ”ams, lai piekļūtu citam specializētam resursam. Tātad iterācijas laiks samazinās.

MÅ«su Ä£enerāldirektors var nebÅ«t tik prasmÄ«gs kā speciālists noteiktā darba funkcijā, taču mēs necenÅ”amies pēc funkcionālās pilnÄ«bas vai nelieliem pakāpeniskiem uzlabojumiem. Mēs drÄ«zāk cenÅ”amies mācÄ«ties un atklāt arvien vairāk profesionālu izaicinājumu ar pakāpenisku ietekmi. Ar holistisku kontekstu pilnÄ«gam risinājumam viņŔ saskata iespējas, kuras speciālists palaistu garām. Viņam ir vairāk ideju un vairāk iespēju. Viņam arÄ« neizdodas. Tomēr neveiksmju izmaksas ir zemas, un mācÄ«Å”anās ieguvumi ir lieli. Å Ä« asimetrija veicina ātru atkārtoÅ”anos un atalgo mācÄ«Å”anos.

Ir svarÄ«gi atzÄ«mēt, ka autonomijas un prasmju daudzveidÄ«bas apjoms, kas tiek pieŔķirts visiem zinātniekiem, lielā mērā ir atkarÄ«gs no datu platformas, kurā viņi strādā, noturÄ«bas. Labi izstrādāta datu platforma abstrahē datu zinātniekus no sarežģītÄ«bas, kas saistÄ«ta ar konteinerizāciju, izkliedēto apstrādi, automātisko kļūmjpārlēci un citām progresÄ«vām skaitļoÅ”anas koncepcijām. Papildus abstrakcijai spēcÄ«ga datu platforma var nodroÅ”ināt netraucētu savienojamÄ«bu ar eksperimentālo infrastruktÅ«ru, automatizēt uzraudzÄ«bu un brÄ«dinājumus, iespējot automātisku mērogoÅ”anu un algoritmisko rezultātu vizualizāciju un atkļūdoÅ”anu. Å os komponentus izstrādā un izveido datu platformas inženieri, kas nozÄ«mē, ka datu zinātnieks tos nenodod datu platformas izstrādes komandai. Datu zinātnes speciālists ir atbildÄ«gs par visu platformas palaiÅ”anai izmantoto kodu.

ArÄ« mani kādreiz interesēja funkcionālā darba sadale, izmantojot procesa efektivitāti, taču, izmantojot izmēģinājumus un kļūdas (nav labāka veida, kā mācÄ«ties), es atklāju, ka tipiskas lomas labāk atvieglo mācÄ«Å”anos un inovācijas un nodroÅ”ina pareizos rādÄ«tājus: atklāŔanu un radot daudz vairāk uzņēmējdarbÄ«bas iespēju nekā specializēta pieeja. (EfektÄ«vāks veids, kā uzzināt par Å”o organizÄ“Å”anas pieeju, nevis izmēģinājumi un kļūdas, ko es piedzÄ«voju, ir izlasÄ«t Eimijas Edmondsones grāmatu Team Collaboration: How Organizations Learn, Innovate and Compete in the Knowledge Economy).

Ir daži svarÄ«gi pieņēmumi, kas dažos uzņēmumos var padarÄ«t Å”o pieeju organizÄ“Å”anai vairāk vai mazāk uzticamu. Iterācijas process samazina izmēģinājumu un kļūdu izmaksas. Ja kļūdu izmaksas ir augstas, iespējams, vēlēsities tās samazināt (bet tas nav ieteicams medicÄ«niskiem nolÅ«kiem vai ražoÅ”anai). Turklāt, ja jums ir darÄ«Å”ana ar datu petabaitiem vai eksabaitiem, var bÅ«t nepiecieÅ”ama specializācija datu inženierijā. Tāpat, ja tieÅ”saistes biznesa iespēju un to pieejamÄ«bas uzturÄ“Å”ana ir svarÄ«gāka par to uzlaboÅ”anu, funkcionālā izcilÄ«ba var pārspēt mācÄ«Å”anos. Visbeidzot, pilnas kaudzes modelis balstās uz to cilvēku viedokļiem, kuri par to zina. Tie nav vienradži; jÅ«s varat tos atrast vai sagatavot pats. Tomēr tie ir ļoti pieprasÄ«ti, un to piesaistÄ«Å”anai un noturÄ“Å”anai bÅ«s nepiecieÅ”ama konkurētspējÄ«ga atalgojums, spēcÄ«gas korporatÄ«vās vērtÄ«bas un izaicinājumiem pilns darbs. Pārliecinieties, ka jÅ«su uzņēmuma kultÅ«ra to atbalsta.

Pat neskatoties uz to, es uzskatu, ka pilnas kaudzes modelis nodroÅ”ina vislabākos sākuma apstākļus. Sāciet ar tiem un pēc tam apzināti virzieties uz funkcionālu darba dalÄ«Å”anu tikai tad, kad tas ir absolÅ«ti nepiecieÅ”ams.

Funkcionālajai specializācijai ir arÄ« citi trÅ«kumi. Tas var novest pie darbinieku atbildÄ«bas un pasivitātes zaudÄ“Å”anas. Pats Smits kritizē darba dalÄ«Å”anu, liekot domāt, ka tā noved pie talanta notrulināŔanas, t.i. darbinieki kļūst nezinoÅ”i un noslēgti, jo viņu lomas aprobežojas ar dažiem atkārtotiem uzdevumiem. Lai gan specializācija var nodroÅ”ināt procesa efektivitāti, ir mazāka iespēja, ka tā iedvesmos darbiniekus.

Savukārt daudzpusÄ«gās lomas nodroÅ”ina visas lietas, kas veicina gandarÄ«jumu par darbu: autonomiju, meistarÄ«bu un mērÄ·tiecÄ«bu. Autonomija ir tāda, ka viņi nav no nekā atkarÄ«gi, lai gÅ«tu panākumus. MeistarÄ«ba slēpjas spēcÄ«gās konkurences priekÅ”rocÄ«bās. Un mērÄ·a izjÅ«ta slēpjas iespējā ietekmēt viņu radÄ«to biznesu. Ja mēs spēsim aizraut cilvēkus par savu darbu un atstāt lielu iespaidu uz uzņēmumu, tad viss pārējais nostāsies savās vietās.

Avots: www.habr.com

Pievieno komentāru