Zašto Data Science timovima trebaju univerzalci, a ne specijalisti

Zašto Data Science timovima trebaju univerzalci, a ne specijalisti
HIROSHI WATANABE/GETTY IMAGES

U knjizi „Bogastvo naroda“, Adam Smith pokazuje kako raspodjela rada postaje glavni izvor povećanja produktivnosti. Primer predstavlja proizvodna linija fabrike za izradu igala: „Jedan radnik izvlači žicu, drugi je ispravlja, treći je seče, četvrti šilji kraj, peti obrađuje drugi kraj za stavljanje glave“. Zahvaljujući specijalizaciji usmjerenoj na određene funkcije, svaki radnik postaje visoko kvalificirani stručnjak u svom uskom zadatku, što dovodi do povećanja efikasnosti procesa. Proizvodnja po radniku se višestruko povećava, a fabrika postaje efikasnija u proizvodnji igala.

Ova raspodjela rada po funkcionalnosti toliko je ukorijenjena u našim umovima čak i danas, da smo brzo organizovali naše timove u skladu s tim. Data Science nije izuzetak. Složene algoritamske poslovne mogućnosti zahtevaju mnogo radnih funkcija, zbog čega kompanije obično formiraju grupe stručnjaka: istraživača, inženjera za analizu podataka, inženjera mašinskog učenja, naučnika koji se bave uzročno-posledičnim vezama, i tako dalje. Rad stručnjaka koordinira menadžer proizvoda, prenoseći funkcije na način koji podseća na fabriku igala: „jedna osoba dobija podatke, druga ih modelira, treća ih implementira, četvrta meri“ i tako dalje.

Nažalost, ne bi trebali optimizovati naše Data Science timove za povećanje produktivnosti. Ipak, vi to radite kada razumete šta proizvodite: igle ili nešto drugo, i jednostavno težite povećanju efikasnosti. Cilj proizvodnih linija je ispuniti zadatak. Tačno znamo šta želimo — to su igle (kao u Smithovom primeru), ali može se pomenuti bilo koji proizvod ili usluga, kod kojih su zahtevi u potpunosti opisani svi aspekti proizvoda i njegovog ponašanja. Uloga zaposlenih je da ispune te zahteve na najučinkovitiji mogući način.

No, cilj Data Science nije u obavljanju zadataka. Umjesto toga, cilj je istraživanje i razvoj novih jakih poslovnih mogućnosti. Algoritamski proizvodi i usluge, kao što su sustavi preporuka, interakcije s kupcima, klasifikacija stilskih preferencija, odabir veličine, dizajniranje odjeće, optimizacija logistike, otkrivanje sezonskih trendova i mnogo više ne mogu se unaprijed razviti. Oni se moraju istraživati. Ne postoje nacrti za reprodukciju, to su nove mogućnosti s inherentnom neizvjesnošću. Koeficijenti, modeli, tipovi modela, hiperpodaci, svi potrebni elementi moraju se istraživati kroz eksperimentiranje, pokušaje i pogreške, kao i ponavljanje. S iglama, obuka i dizajn se provode unaprijed, prije njihovog proizvodnje. S Data Science učite tijekom procesa, a ne prije njega.

U tvornici igala, kada je obuka na prvom mjestu, ne čekamo ni ne želimo da zaposlenici improviziraju vezano uz bilo koju osobinu proizvoda, osim kada to poboljšava učinkovitost proizvodnje. Specijalizacija zadataka ima smisla, jer dovodi do učinkovitosti procesa i konzistentnosti proizvodnje (bez izmjena u konačnom proizvodu).

No, kada se proizvod još uvijek razvija i cilj je obučavanje, specijalizacija ometa naše ciljeve u sljedećim slučajevima:

1. Povećava troškove koordinacije.

To jest trošak koji nastaje zbog vremena provedenog u komunikaciji, raspravama, opravdavanju i određivanju prioriteta rada koji treba obaviti. Ovi troškovi rastu nelinearno s brojem uključenih ljudi. (Kao što nas je učio J. Richard Hackman, broj odnosa r raste poput funkcije broja članova n prema ovoj jednadžbi: r = (n ^ 2 - n) / 2. Svaki odnos otkriva određeni broj odnosa troškova). Kada su stručnjaci za analizu podataka organizirani po funkcijama, na svakom koraku, uz svaku promjenu, svaki prijenos usluge itd. potrebno je mnogo stručnjaka, što povećava troškove koordinacije. Na primjer, stručnjaci za statističko modeliranje koji žele eksperimentirati s novim funkcijama moraju koordinirati svoje aktivnosti s inženjerima za obradu podataka koji nadopunjuju skupove podataka svaki put kada žele isprobati nešto novo. Na sličan način, svaki novi obučeni model znači da će programeru modela biti potrebna osoba s kojom će koordinirati svoje aktivnosti za njegovo puštanje u rad. Troškovi koordinacije djeluju kao cijena iteracije, što ih čini teže i skuplje te s većom vjerojatnošću da će odustati od istraživanja. To može ometati učenje.

2. To otežava vrijeme čekanja.

Čak je i više zabrinjavajuće od troškova koordinacije izgubljeno vrijeme između smjena. Dok se troškovi koordinacije obično mjere u satima: vrijeme potrebno za održavanje sastanaka, rasprava, pregleda projekata, vrijeme čekanja obično se mjeri u danima, tjednima ili čak mjesecima! Teško je uskladiti rasporede funkcionalnih stručnjaka jer svaki stručnjak mora biti raspoređen na više projekata. Jedan sat sastanka za raspravu o promjenama može potrajati nekoliko tjedana da se uskladi radni proces. I nakon što su promjene dogovorene, potrebno je planirati i sam rad u kontekstu mnogih drugih projekata koji oduzimaju radno vrijeme stručnjaka. Rad povezan s ispravkom koda ili istraživanjem, koji bi mogao biti dovršen za nekoliko sati ili dana, može potrajati mnogo duže prije nego što resursi postanu dostupni. Do tada, iteracija i učenje su obustavljeni.

3. To sužava kontekst.

Podjela rada može umjetno ograničiti učenje, nagrađujući ljude da ostanu unutar svoje specijalizacije. Na primjer, istraživač koji mora ostati unutar svoje funkcionalnosti fokusirat će svoju energiju na eksperimentiranje s različitim vrstama algoritama: regresijom, neuronskim mrežama, random forest itd. Dobar odabir algoritma definitivno može dovesti do postepenih poboljšanja, ali, kao pravilo, mnogo više se može izvući iz drugih vrsta aktivnosti, kao što je integracija novih izvora podataka. Također će pomoći u razvoju modela koji koristi svaki dio objašnjavajuće sposobnosti koja podacima pripada. Ipak, njezina snaga može ležati u promjeni ciljne funkcije ili oslabljenju određenih ograničenja. To je teško primijetiti ili učiniti kada je njezin rad ograničen. Kako se stručnjak specijalizirao za optimizaciju algoritama, ima mnogo manje šanse da se bavi nečim drugim, čak i ako to donosi značajne beneficije.

Nazovimo znakove koji se pojavljuju kada timovi za podatkovnu znanost rade kao tvornice igala (na primjer, u jednostavnim ažuriranjima statusa): „čekanje na promjene u kanalu podataka“ i „čekanje na resurse ML Eng“, što su uobičajeni blokatori. Ipak, smatram da je opasniji utjecaj ono što ne primjećujete, jer ne možete žaliti za nečim što još ne znate. Besprijekorno ispunjavanje zahtjeva i samozadovoljstvo koja se postižu ostvarivanjem učinkovitosti procesa mogu prikriti istinu da organizacije nisu upoznate s prednostima učenja koje propuštaju.

Rješenje ovog problema, naravno, leži u oslobađanju od metode tvornice igala. Da bismo potaknuli učenje i iteraciju, uloge u podatkovnoj znanosti trebaju biti zajedničke, ali s širokim odgovornostima koje ne ovise o tehničkoj funkciji, tj. organizirati stručnjake za podatke na način koji je optimiziran za učenje. To znači da je potrebno zaposliti „specijaliste punog staka“ — opće stručnjake koji mogu izvršavati različite funkcije: od koncepta do modeliranja, od implementacije do mjerenja. Važno je napomenuti da ne pretpostavljam da bi prilikom zapošljavanja specijalista punog staka broj zaposlenika trebao opadati. Vjerojatno ću samo pretpostaviti da, kada su organizirani na drugačiji način, njihovi motivi bolje odgovaraju prednostima učenja i učinkovitosti. Na primjer, imate tim od tri osobe s tri poslovne vještine. U tvornici igala svaki stručnjak će posvetiti trećinu svog vremena svakoj profesionalnoj zadatku, budući da nitko drugi ne može obaviti njegov posao. U punom staku svaki univerzalni zaposlenik potpuno je posvećen cijelom poslovnom procesu, skaliranju posla i učenju.

S manjim brojem ljudi koji podržavaju proizvodni ciklus, koordinacija opada. Universal se nesmetano prebacuje između funkcija, proširujući cjevovod podataka kako bi dodao veći obim podataka, isprobavajući nove funkcije u modelima, implementirajući nove verzije u proizvodnji za uzročne mjere i ponavljajući korake koliko god brzo nove ideje dolaze. Naravno, universal obavlja različite funkcije sekvencijalno, a ne paralelno. Na kraju, to je samo jedna osoba. Međutim, izvršavanje zadatka obično zauzima samo mali deo vremena potrebnog za pristup drugom specijalizovanom resursu. Tako da se vreme iteracije smanjuje.

Naš universal možda nije tako vešt kao specijalista za određenu radnu funkciju, ali ne težimo funkcionalnoj savršenosti ili malim postupnim poboljšanjima. Umesto toga, težimo da istražimo i otkrijemo nove profesionalne zadatke s postupnim uticajem. Imajući cjelokupni kontekst za sveobuhvatno rešenje, on vidi mogućnosti koje će uski specijalista propustiti. Ima više ideja i više mogućnosti. Takođe doživljava neuspehe. Ipak, cena neuspeha je mala, dok su prednosti učenja velike. Ova asimetrija podstiče brzu iteraciju i nagrađuje učenje.

Važno je napomenuti da se razina autonomije i raznolikosti vještina koju znanstvenici sa punim stakovima posjeduju u velikoj mjeri oslanja na pouzdanost platforme podataka s kojom mogu raditi. Dobro dizajnirana platforma podataka apstrahira znanstvenike za obradu podataka od složenosti kontejnerizacije, distribuirane obrade, automatskog prebacivanja na druge resurse i drugih naprednih računalnih koncepcija. Pored apstrakcije, pouzdana platforma podataka može omogućiti nesmetano povezivanje s eksperimentalnom infrastrukturom, automatizirati nadzor i sustav obavijesti, osigurati automatsko skaliranje te vizualizaciju algoritamskih rezultata i otklanjanje pogrešaka. Ove komponente osmišljavaju i stvaraju inženjeri platforme podataka, tj. od stručnjaka za Data Science ne prelaze timu za razvoj platforme podataka. Upravo je stručnjak za Data Science odgovoran za sav kod koji se koristi za pokretanje platforme.

I mene je jednom zanimalo funkcionalno razdvajanje rada uz korištenje učinkovitosti procesa, ali metodom pokušaja i pogrešaka (nema boljeg načina učenja) otkrio sam da tipične uloge bolje doprinose učenju i inovacijama te daju ispravne pokazatelje: otkrivanje i stvaranje mnogo većeg broja poslovnih prilika nego specijalizirani pristup. (Učinkovitiji način da saznate o ovom pristupu organizaciji nego metodom pokušaja i pogrešaka kroz koju sam prošao je čitati knjigu Amy Edmondson «Tim interactive: kako organizacije uče, stvaraju inovacije i natječu se u ekonomiji znanja»).

Postoje određene važne pretpostavke koje mogu učiniti ovaj pristup organizaciji manje ili više pouzdanim u nekim kompanijama. Proces iteracije smanjuje troškove pokušaja i grešaka. Ako je cena greške visoka, možda ćete želeti da ih smanjite (ali, to nije preporučljivo za medicinske aplikacije ili proizvodnju). Pored toga, ako se bavite petabajtima ili eksabajtima podataka, može biti potrebna specializacija u oblasti projektovanja podataka. Takođe, ako je održavanje poslovnih mogućnosti na mreži i njihova dostupnost važnije od njihovog usavršavanja, funkcionalna izvrsnost može prevladati nad učenjem. Na kraju, model punog staka oslanja se na mišljenja onih koji se razumeju u to. Oni nisu jednorogi; mogu se pronaći ili pripremiti sami. Međutim, veoma su traženi, a za privlačenje i zadržavanje takvih ljudi u kompaniji potrebna je konkurentna materijalna kompenzacija, održive korporativne vrednosti i zanimljiv posao. Uverite se da vaša korporativna kultura može obezbediti takve uslove.

Čak i uz sve rečeno, smatram da model punog staka pruža najbolje uslove za početak. Započnite s njima, a zatim svesno pređite na funkcionalnu podelu rada samo kada je to zaista potrebno.

Postoje i druge slabosti funkcionalne specijalizacije. To može dovesti do gubitka odgovornosti i pasivnosti među zaposlenima. Sam Smit kritikuje podelu rada, sugerirajući da ona dovodi do otuđenja talenta, tj. zaposleni postaju neinformisani i zatvoreni, jer su njihove uloge ograničene na nekoliko ponavljajućih zadatka. Dok specijalizacija može obezbediti efikasnost procesa, ređe inspiriše zaposlene.

Sveobuhvatne uloge osiguravaju sve što potiče zadovoljstvo poslom: autonomiju, stručnost i usmjerenost. Autonomija se odnosi na neovisnost u postizanju uspjeha. Stručnost uključuje snažne konkurentske prednosti. A usmjerenost se odnosi na sposobnost utjecanja na poslovanje koje stvaraju. Ako uspijemo motivirati ljude da se strastveno posvete svom poslu i ostvariti veliki utjecaj na tvrtku, sve će drugo doći na svoje mjesto.

Izvor: habr.com

Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere 🔥 Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere | ProHoster