Miks vajavad andeteaduse meeskonnad universaale, mitte spetsialiste

HIROSHI WATANABE/GETTY IMAGES

Raamatus „Rahvuste rikkus“ näitab Adam Smith, kuidas tööjaotus muutub peamiseks tootlikkuse suurendamise allikaks. Näiteks on naelatootmisettevõtte tootmisliin: „Üks töötaja venitab traati, teine sirgendab seda, kolmas lõikab, neljas teritab otsa, viies lihvib teise otsa nõelapeaks.“ Tänu spetsialiseerumisele teatud funktsioonidele muutub iga töötaja oma kitsas ülesandes kõrgelt kvalifitseeritud spetsialistiks, mis toob kaasa protsessi tõhususe kasvu. Tootmine iga töötaja kohta suureneb mitmeid kordi ning tehas muutub naelte tootmises efektiivsemaks.

Selline funktsionaalne tööjaotus on tänapäeval meie meeltesse nii juurdunud, et me korraldame kiiresti oma meeskonnad vastavalt sellele. Andmescience ei ole erand. Komplekssed algoritmilised ärivõimalused nõuavad mitmeid tööfunktsioone, mistõttu ettevõtted loovad tavaliselt spetsialistide rühmi: teadlasi, andmeanalüütika insenere, masinõppe insenere, põhjuslikkuse teadlasi jne. Spetsialistide tööd koordineerib tootejuht, jagades funktsioone viisil, mis meenutab naelatehase tootmisliini: „üks inimene saab andmed, teine modelleerib need, kolmas teostab need, neljas mõõdab“ jne.

Kahjuks ei tohiks me optimeerida oma Andmescience meeskondi tootlikkuse suurendamiseks. Siiski teete seda, kui mõistate, mida te toote: naelu või midagi muud, ja lihtsalt püüdlenne efektiivsuse poole. Tootmisliinide eesmärk on ülesande täitmine. Me teame täpselt, mida me tahame — seda on naelad (nagu Smithi näites), kuid võite mainida mis tahes toodet või teenust, mille nõuded kirjeldavad täielikult toote kõiki aspekte ja selle käitumist. Töötajate roll on neid nõudeid võimalikult efektiivselt täita.

Kuid Data Science'i eesmärk pole lihtsalt ülesandeid täita. Pigem seisneb eesmärk uute tugevate ärivõimaluste uurimises ja arendams. Algoritmilised tooted ja teenused, nagu soovitussüsteemid, kliendisuhtlus, stiilieelistuste klassifitseerimine, suuruste sobitamine, rõivadisaini optimeerimine, hooajaliste trendide avastamine ja palju muud, ei saa olla eelnevalt välja töötatud. Neid tuleb uurida. Pole olemas jooniseid, mille järgi kopeerida, need on uued võimalused oma kaasneva ebakindlusega. Koefitsiendid, mudelid, mudelite tüübid, hüperparameetrid, kõik vajalikud elemendid tuleb uurida katsete, vigade ja korduste kaudu. Nuppudega toimub treening ja disain ette, enne nende tootmist. Data Science'is õpite protsessi käigus, mitte enne seda.

Nuppude tehases, kus õpe on prioriteet, ei oota ega soovi me, et töötajad improviseeriksid toote mis tahes omadusega, välja arvatud tootmisprotsessi efektiivsuse suurendamine. Ülesannete spetsialiseerumine on mõttekas, kuna see toob kaasa protsesside efektiivsuse ja tootmise järjepidevuse (ilma lõpp-produkti muutmiseta).

Kuid kui toode on endiselt arengus ja eesmärk on õppida, takistab spetsialiseerumine meie eesmärke järgmistes juhtudes:

1. See suurendab koordineerimise kulusid.

See, the costs that accumulate over time spent on communication, discussion, justification, and prioritizing the work that needs to be done. These costs scale superlinearly with the number of people involved. (As J. Richard Hackman taught us, the number of relationships r grows similarly to the function of the number of members n according to this equation: r = (n ^ 2 - n) / 2. And each relationship reveals some amount of cost relation). When data analysts are organized by functions, at every stage, with each change, each service transition, etc., many specialists are required, which increases coordination costs. For instance, statistical modeling specialists who want to experiment with new features will need to coordinate their actions with data processing engineers who augment the datasets every time they want to try something new. Similarly, each new trained model means that the model developer will need someone to coordinate their actions for deployment. Coordination costs act as the price for iteration, making them more challenging and costly and more likely to discourage exploration. This can hinder training.

2. This complicates the waiting time.

Kooridiniikuludest veelgi hirmutavam on aeg, mis kaob töövahetuste vahel. Kui koordineerimise kulusid mõõdetakse tavaliselt tundides — aega, mis kulub koosolekute, arutelude ja projektide ülevaatamiseks, siis ooteaeg tavaliselt mõõdetakse päevades, nädalates või isegi kuudes! Funktsionaalsete spetsialistide graafikute ühte sobitamist on raske teha, kuna iga spetsialist peab olema jaotatud mitmele projektile. Üks tund koosolekut muudatuste arutamiseks võib töövoo ühtsuse saavutamiseks võtta mitu nädalat. Ja pärast muudatuste kooskõlastamist tuleb kooskõlastada ka tegelik töö, mis seondub paljudele teistele projektidele, eraldades spetsialistide tööaega. Koodigeenide parandamine või uurimistöö, mille lõpetamiseks kulub ainult mõned tunnid või päevad, võib võtta palju rohkem aega, enne kui ressursid muutuvad kättesaadavaks. Seni on iteratsioon ja õppimine peatatud.

3. See kitsendab konteksti.

Töö jagamine võib kunstlikult piirata õppimist, premeerides inimesi selle eest, et nad jäävad oma spetsialiseerumisse. Näiteks, teadlane, kes peab jääma oma funktsionaalsuse piiridesse, suunab oma energia erinevate algoritmide katsetamisele: regressioon, närvivõrgud, juhuslikud metsad jne. Ilmselt võib hea algoritmi valik viia järkjärkseteni parandusteni, kuid tavaliselt on võimalik teistest tegevustest, nagu uute andmeallikate integreerimine, palju rohkem kasu saada. Samuti aitab see välja töötada mudeli, mis kasutab ära iga andmete seletusvõime. Siiski võib selle tugevus seisneda sihtfunktsiooni muutmises või teatud piirangute leevendamises. Seda on raske näha või teha, kui selle tööpiirangud on kitsad. Kuna teadlane-ekspert spetsialiseerub algoritmide optimeerimisele, on tal palju vähem võimalusi millegi muuga tegeleda, isegi kui see looks märkimisväärset kasu.

Vaatame märke, mis ilmnevad, kui andeteaduse meeskonnad töötavad nagu nööpnõelte tehased (näiteks lihtsates staatuse uuendustes): „ootamine andmevoo muutmisest“ ja „ootamine ML Engi ressurssidest“, mis on tavalised takistajad. Sellegipoolest usun, et ohtlikum mõju on see, mida te ei märka, kuna te ei saa kahetseda seda, mida te ei tea. Täiuslik nõuete täitmine ja enesekehtestamine, mis on saavutatud protsesside tõhususe saavutamise toel, võivad varjata tõde, et organisatsioonid pole teadlikud õppimise eelistest, mis neil on kaotatud.

Selle probleemi lahenduseks on muidugi loobuda nööpnõelte tehase meetodist. Et edendada õppimist ja iteratsiooni, peavad andeteaduse rollid olema universaalsed, kuid laialdaste kohustustega, mis ei sõltu tehnilisest funktsioonist, st korraldada andespetsialistid nii, et need oleksid optimiseeritud õppimiseks. See tähendab, et tuleb palgata „täismõõtme eksperte“ — universaalseid spetsialiste, kes saavad täita erinevaid funktsioone: kontseptsioonist modelleerimiseni, teostamisest mõõtmiseni. Oluline on märkida, et ma ei arva, et täismõõtme spetsialiste palgates peaks töötajate arv vähenema. Pigem eeldan, et kui nad on korraldatud teisiti, seondub nende motivatsioon paremini õppimise ja efektiivsuse eelistega. Näiteks on teil kolmeliikmeline meeskond, kellel on kolm ärilist kvaliteeti. Nööpnõelte tehas, igal spetsialistil kulub iga ametiaja kolmandik aega, kuna keegi teine ei saa teha tema tööd. Täismõõtme puhul on iga üldspetsialist täielikult pühendunud kogu äri protsessile, töömahu suurendamisele ja õppimisele.

Kui tootmisprotsessi toetamiseks on vähem inimesi, väheneb koordineerimine. Universaal liigub sujuvalt funktsioonide vahel, laiendades andmevooge, et lisada rohkem andmeid, katsetades uusi funktsioone mudelites, juurutades uusi versioone tootmises põhjuse mõõtmise jaoks ja kordab samme nii kiiresti, kui uusi ideid tekib. Loomulikult täidab universaal erinevaid funktsioone järjestikku, mitte paralleelselt. Lõppude lõpuks on see vaid üks inimene. Siiski nõuab ülesande täitmine tavaliselt vaid vähest osa ajast, mis oleks vajalik millekski muud spetsialiseeritud ressursiks. Seega väheneb iteratsiooni aeg.

Meie universaal ei pruugi olla nii osav kui spetsialist teatud tööfunktsioonis, kuid me ei püüdle funktsionaalse täiuslikkuse või väikeste järkjärguline täiustuste poole. Pigem püüame avastada ja õppida uusi professionaalseid ülesandeid järkjärgulise mõjuga. Tervikliku konteksti abil tervikliku lahenduse jaoks näeb ta võimalusi, mida kitsas spetsialist võib maha magada. Tal on rohkem ideid ja rohkem võimalusi. Ta ebaõnnestub samuti. Sellegipoolest on ebaõnnestumise hind madal ja õppimise eelised suured. See asümmeetria soodustab kiiret iteratsiooni ja premeerib õppimist.

Oluline on märkida, et teadlaste, kes töötavad täielike tehnoloogiliste virnadega, autonoomia ja oskuste mitmekesisus sõltub suurel määral andmepõhiste platvormide usaldusväärsusest, millega nad saavad töötada. Hästi üles ehitatud andmepõhine platvorm eraldab andmeanalüütikud keerukalt konteineritest, jaotatud töötlemisest, automaatsest liikumisest muudele ressurssidele ja muudest täiustatud arvutiteooriatest. Lisaks abstraktsioonile võib usaldusväärne andmepõhine platvorm tagada sujuva juurdepääsu eksperimentaalsele infrastruktuurile, automatiseerida jälgimise ja häiresüsteemi, pakkuda automaatset skaleerimist ja visualiseerida algoritmilisi tulemusi ja tõrkeotsingut. Need komponendid on projekteeritud ja loodud andmepõhise platvormi inseneride poolt, see tähendab, et Data Science spetsialist ei edasta neid andmepõhise platvormi arendajate meeskonnale. Just Data Science spetsialist vastutab kogu selle koodi eest, mida kasutatakse platvormi käivitamiseks.

Mind huvitas ka kunagi funktsionaalne tööjaotus protsesside efektiivsuse kasutamise kaudu, kuid katse-eksituse meetodil (paremat õppimise meetodit ei ole) avastasin, et tüüpilised rollid soodustavad paremini õppimist ja innovaatilisust ning pakuvad õigeid näitajaid: palju suurema hulga ärivõimaluste avastamine ja arendamine võrreldes spetsialiseeritud lähenemisviisiga. (Efektiivsem viis selle lähenemise kohta õppida, kui katse-eksituse meetod, millest ma olen läbinud, on lugeda Amy Edmondsoni raamatut "Meeskonna koostöö: kuidas organisatsioonid õpivad, loovad innovaatilisust ja konkureerivad teadmistepõhises majanduses").

On teatud olulised eeldused, mis võivad muuta selle lähenemise organisatsioonile mõnes ettevõttes rohkem või vähem usaldusväärseks. Iteratsiooniprotsess vähendab katsetamise ja eksimise kulusid. Kui vea hind on kõrge, võite soovida neid vähendada (kuid see ei ole soovitatav meditsiiniliste rakenduste või tootmise puhul). Lisaks, kui tegelete petabaidiga või eksabaitidega andmetega, võib osutuda vajalikuks andmete kavandamise spetsialiseerumine. Samuti, kui ärivõimaluste säilitamine ja nende kättesaadavus on olulisem kui nende täiendamine, võib funktsionaalne üleolek ületada õppimise. Lõpuks tugineb täiskihi mudel teadlike inimeste arvamusele. Nad ei ole ühe sarve faktid; neid on võimalik leida või ise koolitada. Siiski on neil kõrge nõudlus ja nende ettevõttesse toomiseks ja hoidmiseks on vajalik konkurentsivõimeline rahaline hüvitis, püsivad ettevõtte väärtused ja huvitav töö. Veenduge, et teie ettevõtte kultuur suudab selliseid tingimusi pakkuda.

Isegi kõik eeltoodud arvesse võttes arvan, et täiskihi mudel loob alustamiseks parimad tingimused. Alustage neist, seejärel liikuge teadlikult funktsionaalse tööjaotuse suunal ainult siis, kui see on tõeliselt vajalik.

Funktsionaalsel spetsialiseerumisel on ka teisi puudusi. See võib viia vastutuse ja töötajate passiivsuse kadumiseni. Isegi Smith kritiseerib tööjaotust, väites, et see toob kaasa andete tuhmumise, st töötajad muutuvad teadmistevaeseks ja isoleerituks, kuna nende rollid on piiratud mõne korduva ülesandega. Kuigi spetsialiseerumine võib pakkuda protsessi efektiivsust, inspireerib see töötajaid harva.

Üldrollid pakuvad kõike, mis stimuleerib töörahulolu: autonoomia, meisterlikkus ja sihikindlus. Autonoomia tähendab, et need ei sõltu millestki edusamme saavutades. Meisterlikkus seisneb tugevatest konkurentsieelistest. Sihikindlus tõukub võimalusest mõjutada äri, mida nad loovad. Kui suudame inimesi nende töö vastu entusiastlikuks teha ja olulist mõju ettevõttele avaldada, siis kõik muu sätib end paika.

Allikas: habr.com