Zakaj ekipa Data Science potrebuje univerzalne strokovnjake, ne pa specialistov

Zakaj ekipa Data Science potrebuje univerzalne strokovnjake, ne pa specialistov
HIROSHI WATANABE/GETTY IMAGES

V knjigi 'Bogastvo narodov' Adam Smith pokaže, kako delitev dela postane glavni vir povečanja produktivnosti. Primer je proizvodna linija tovarne sponk: 'Eden delavec vleče žico, drugi jo ravna, tretji odreže, četrti ostri konec, peti pa obdeluje drugi konec za pritrditev glavice'. Zaradi specializacije, usmerjene v določene funkcije, vsak delavec postane visoko usposobljen specialist za svojo ozko nalogo, kar pripelje do povečanja učinkovitosti procesa. Proizvodnja na delavca se poveča večkrat, tovarna pa postane bolj učinkovita pri proizvodnji sponk.

Ta delitev dela po funkcionalnosti je tako ustaljena v naših mislih tudi danes, da hitro organiziramo naše ekipe ustrezno. Data Science ni izjema. Kompleksne algoritmične poslovne možnosti zahtevajo številne delovne funkcije, zato podjetja običajno oblikujejo skupine strokovnjakov: raziskovalce, inženirje za analizo podatkov, inženirje strojnega učenja, znanstvenike za vzročne zveze itd. Delo strokovnjakov usklajuje produktni vodja, ki naloge prenaša tako, da spominja na tovarno sponk: 'eden dobi podatke, drugi jih modelira, tretji jih izvrši, četrti meri' in tako naprej.

Žal ne smemo optimizirati naših Data Science ekip za povečanje produktivnosti. Kljub temu pa to počnete, ko razumete, kaj izdelujete: sponke ali kaj drugega, in preprosto stremite k večji učinkovitosti. Cilj proizvodnih linij je izpolniti nalogo. Natančno vemo, česa želimo — to so sponke (kot v Smithovem primeru), vendar lahko omenjamo katerikoli izdelek ali storitev, v katerih zahteve popolnoma opisujejo vse vidike produkta in njegovega delovanja. Vloga zaposlenih je izpolniti te zahteve kar se da učinkovito.

Ampak cilj Data Science ni le izvajanje nalog. Namen je raziskovati in razvijati nove močne priložnosti za poslovanje. Algoritmični izdelki in storitve, kot so priporočilni sistemi, interakcije s strankami, klasifikacija stilskih preferenc, izbira velikosti oblačil, optimizacija logistike, odkrivanje sezonskih trendov in še veliko več, se ne morejo razviti vnaprej. Morajo biti raziskani. Ni nobenih načrtov za reprodukcijo, gre za nove priložnosti z lastno negotovostjo. Koeficienti, modeli, vrste modelov, hiperparametri, vsi potrebni elementi morajo biti raziskani s pomočjo eksperimentov, poskusov in napak ter ponavljanja. Pri sponkah se usposabljanje in načrtovanje izvajata vnaprej, pred proizvodnjo. Pri Data Science se učite med procesom, ne pred njim.

V tovarni sponk, kjer je usposabljanje na prvem mestu, ne čakamo in ne želimo, da zaposleni improvizirajo glede katerekoli lastnosti izdelka, razen da povečajo učinkovitost proizvodnje. Specializacija nalog je smiselna, saj vodi k učinkovitosti procesov in usklajenosti proizvodnje (brez sprememb končnega izdelka).

Toda ko se izdelek še razvija in je cilj učenje, specializacija ovira naše cilje v naslednjih primerih:

1. Povečuje stroške usklajevanja.

To je, dakle, trošak koji se akumulira tokom vremena provedenog u komunikaciji, raspravama, obrazloženju i određivanju prioriteta posla koji treba obaviti. Ovi troškovi se eksponencijalno povećavaju s brojem uključenih osoba. (Kao što nas je poučio J. Richard Hackman, broj odnosa r raste prema funkciji broja članova n u skladu s ovom formulom: r = (n ^ 2-n) / 2. I svaka veza otkriva određenu količinu odnosa troškova). Kada su stručnjaci za analizu podataka organizovani po funkcijama, na svakoj fazi, sa svakoj promenom, svakim prebacivanjem usluga itd. potrebni su mnogi stručnjaci, što povećava troškove koordinacije. Na primer, stručnjaci za statističko modeliranje koji žele da eksperimentišu s novim funkcijama moraju da usklade svoje delovanje sa inženjerima za obradu podataka, koji svaki put kada žele da probaju nešto novo dopunjavaju skupove podataka. Slično tome, svaki novi obučeni model zahteva da programer modela ima nekoga s kim može da uskladi svoja delovanja kako bi ga stavio u upotrebu. Troškovi koordinacije deluju kao naknada za iteraciju, čineći je složenijom i skupljom te sa većom verovatnoćom da će odustati od istraživanja. Ovo može ometati proces učenja.

2. Ovo otežava vreme čekanja.

Še več zastrašujoče kot stroški usklajevanja je čas, izgubljen med delovnimi izmenami. Medtem ko so stroški usklajevanja običajno merjeni v urah – času, potrebnem za sestanke, razprave in preglede projektov – se čas čakanja navadno meri v dneh, tednih ali celo mesecih! Usklajevanje razporedov funkcionalnih specialistov je zahtevno, saj mora vsak specialist biti razporejen na več projektov. Enourni sestanek za razpravo o spremembah lahko traja več tednov, da se uskladi delovni proces. In po odobritvi sprememb je potrebno načrtovati tudi dejansko delo v kontekstu številnih drugih projektov, ki okupirajo delovni čas specialistov. Delo, povezano s popravkom kode ali raziskavami, katerega dokončanje zahteva le nekaj ur ali dni, lahko traja precej dlje, preden postanejo viri na voljo. Do takrat so iteracije in učenje ustavljeni.

3. To zoži kontekst.

Delitev dela lahko umetno omeji učenje, saj nagrajuje ljudi za to, da ostanejo v svojih specializacijah. Na primer, raziskovalec, ki mora ostati v okviru svoje funkcionalnosti, bo svojo energijo usmeril v eksperimentiranje z različnimi tipi algoritmov: regresijo, nevronskimi mrežami, random forest in tako naprej. Seveda lahko dober izbor algoritma privede do postopnih izboljšav, vendar se običajno lahko veliko več pridobi iz drugih dejavnosti, kot je integracija novih virov podatkov. Prav tako bo to pomagalo razviti model, ki izkorišča vsak košček pojasnjevalne sposobnosti, lastne podatkom. Vendar pa je njena močna stran morda v spremembi ciljne funkcije ali oslabitvi določenih omejitev. Težko je to videti ali doseči, ko je njeno delo omejeno. Ker se specialist ukvarja z optimizacijo algoritmov, ima veliko manj možnosti, da se ukvarja s čim drugim, celo če to prinaša pomembne koristi.

Poglejmo znake, ki se pojavijo, ko ekipe za podatkovne znanosti delujejo kot tovarne sponk (na primer pri preprostih posodobitvah statusa): „čakanje na spremembe v podatkovnem toku“ in „čakanje na vire ML Eng“, ki sta pogosta ovira. Kljub temu pa menim, da je bolj nevaren vpliv tisto, česar ne opazite, ker ne morete obžalovati tistega, česar še ne veste. Brezhibno izvajanje zahtev in samoužitek, dosežen z učinkovitostjo procesov, lahko prikrije resnico, da organizacije niso seznanjene s prednostmi učenja, ki jih spregledajo.

Rešitev tega problema je seveda v odpravi metode tovarne sponk. Da bi spodbudili učenje in iteracijo, morajo biti vloge v podatkovni znanosti skupne, vendar z širokimi odgovornostmi, neodvisnimi od tehnične funkcije, kar pomeni, da organizirajte podatkovne strokovnjake tako, da bodo optimizirani za učenje. To pomeni, da je potrebno najeti „specialiste polnega sklada“ — splošne strokovnjake, ki lahko opravljajo različne funkcije: od koncepta do modeliranja, od izvedbe do merjenja. Pomembno je poudariti, da ne predvidevam, da bi se ob najemu specialistov polnega sklada zmanjšalo število zaposlenih. Verjetno preprosto predvidevam, da bo, ko so organizirani drugače, njihova spodbuda bolje usklajena s prednostmi učenja in učinkovitosti. Na primer, imate ekipo treh ljudi, ki ima tri poslovne kvalitete. V tovarni sponk bo vsak specialist posvetil tretjino časa vsaki strokovni nalogi, saj drug ne more opraviti njegovega dela. V polnem skladu je vsak vsestranski zaposleni popolnoma predan celotnemu poslovnemu procesu, povečevanju obsega dela in učenju.

Z manjšim številom ljudi, ki podpirajo proizvodni ciklus, se usklajevanje zmanjšuje. Unik je gladko prehajal med funkcijami, širil podatkovni tok, dodajal več količine podatkov, preizkušal nove funkcije v modelih, uvajal nove različice v proizvodnji za vzročne meritve in ponavljal korake tako hitro, kot so prišle nove ideje. Seveda unik opravlja različne naloge zaporedoma, ne hkrati. Na koncu gre za eno samo osebo. Vendar pa naloga običajno vzame le majhen del časa, potrebnega za dostop do druge specializirane naravne osebe. Tako se čas iteracije zmanjšuje.

Naš unik morda ni tako spreten kot specialist v določeni delovni funkciji, vendar ne stremimo k funkcionalni popolnosti ali majhnim postopnim izboljšavam. Raje si prizadevamo raziskovati in odkrivati vedno nove poklicne izzive z postopnim vplivom. S celostnim kontekstom za celovito rešitev vidi priložnosti, ki jih ozek specialist spregleda. Ima več idej in več možnosti. Tudi on doživi neuspehe. Kljub temu je cena neuspeha majhna, koristi učenja pa visoke. Ta asimetrija spodbuja hitro iteracijo in nagrajuje učenje.

Pomembno je opozoriti, da je obseg avtonomije in raznolikosti znanj, ki jih imajo raziskovalci, ki delajo s celotnimi skladi, v veliki measure odvisen od zanesljivosti platforme za podatke, na kateri lahko delujejo. Dobro zasnovana platforma za podatke abstraktira raziskovalce od zapletenosti oblikovanja, porazdeljenega procesiranja, avtomatizacije preklopa na druga sredstva in drugih naprednih računalniških konceptov. Poleg abstrakcije lahko zanesljiva platforma za podatke omogoči brezhibno povezovanje z eksperimentalno infrastrukturo, avtomatizira nadzor in opozorilne sisteme, omogoča avtomatsko prilagajanje obsega ter vizualizacijo algoritmičnih rezultatov in odpravljanje napak. Ti elementi so zasnovani in zgrajeni s strani inženirjev platforme za podatke, tj. specialist za podatkovne znanosti jih ne prenaša na ekipo razvijalcev platforme za podatke. Specialist za podatkovne znanosti je odgovoren za vse kode, ki se uporabljajo za zagon platforme.

Tudi mene je enkrat zanimalo funkcionalno deljenje dela z uporabo učinkovitosti procesov, vendar sem po metodi poskusov in napak (ni boljšega načina učenja) ugotovil, da tipične vloge bolje prispevajo k učenju in inovacijam ter zagotavljajo prave kazalnike: odkrivanje in ustvarjanje veliko več podjetniških priložnosti kot specializiran pristop. (Učinkovitejši način, da se seznanite s tem pristopom k organizaciji, kot je metoda poskusov in napak, skozi katero sem šel, je branje knjige Amy Edmondson „Interakcija v ekipi: kako se organizacije učijo, ustvarjajo inovacije in tekmujejo v znanstveni ekonomiji“).

Obstajajo nekatera pomembna predpostavke, ki lahko to vrstico organiziranja naredijo bolj ali manj zanesljivo v nekaterih podjetjih. Proces iteracije znižuje stroške poskusov in napak. Če je cena napake visoka, boste morda želeli zmanjšati njihovo število (vendar to ni priporočljivo za medicinske aplikacije ali proizvodnjo). Poleg tega, če se ukvarjate s petabajti ali eksabajti podatkov, potrebujete lahko specializacijo na področju načrtovanja podatkov. Prav tako, če je ohranjanje poslovnih priložnosti na spletu in njihova dostopnost pomembnejša od njihovega izboljšanja, lahko funkcionalna premoč zasenči učenje. Končno, model polnega sklada se zanaša na mnenje tistih, ki se na to spoznajo. Niso edinstveni; najdete jih lahko ali jih usposobite sami. Vendar pa so zelo iskani, in za njihovo privabljanje in ohranjanje v podjetju je potrebna konkurenčna materialna kompenzacija, trajne korporativne vrednote in zanimivo delo. Prepričajte se, da lahko vaša podjetniška kultura zagotovi take pogoje.

Tudi ob vsem tem menim, da model polnega sklada nudi najboljše pogoje za začetek. Začnite z njim in se nato zavedno premikajte k funkcionalni delitvi dela šele, ko bo to res potrebno.

Obstajajo tudi druge pomanjkljivosti funkcionalne specializacije. To lahko privede do izgube odgovornosti in pasivnosti zaposlenih. Sam Smith kritizira delitev dela, saj meni, da privede do omajitve talenta, tj. zaposleni postanejo nevedni in zaprti, ker so njihovi obsegovi nalog omejeni na nekaj ponavljajočih se opravil. Medtem ko specializacija lahko zagotovi učinkovitost procesa, redkeje navdihuje zaposlene.

Univerzalne uloge pružaju sve što potiče zadovoljstvo radom: autonomiju, stručnost i usmjerenost. Autonomija se ogleda u činjenici da ne ovise o nečemu za postizanje uspjeha. Stručnost se sastoji od snažnih konkurentskih prednosti. A usmjerenost se odnosi na mogućnost utjecaja na posao koji stvaraju. Ako uspijemo inspirirati ljude da uživaju u svom radu i ostvaruju značajan utjecaj na kompaniju, sve ostalo će doći na svoje mjesto.

Izvor: habr.com

Kupite zanesljivo gostovanje za spletne strani z zaščito pred DDoS, VPS VDS strežniki 🔥 Kupite zanesljivo gostovanje za spletne strani z zaščito pred DDoS, VPS VDS strežniki | ProHoster