Miks vajavad andmete teaduse meeskonnad universaale, mitte spetsialiste

HIROSHI WATANABE/GETTY IMAGES

Raamatus „Rahvaste rikkus” näitab Adam Smith, kuidas töö jagamine muutub peamise tootlikkuse suurendamise allikaks. Näiteks on näidatud nööpnõela tehase koosteliin: „Üks töötaja venitab traadi, teine sirgendab selle, kolmas lõikab, neljas teritab otsa, viies lihvib teise otsa, et pea peale panna.” Spetsialiseerumise tõttu, mis keskendub kindlatele funktsioonidele, muutub iga töötaja oma kitsas ülesandes kõrge kvalifikatsiooniga spetsialistiks, mis toob kaasa protsessi efektiivsuse suurenemise. Tootmine ühe töötaja kohta suureneb mitmeid kordi ning tehas muutub nööpnõelte tootmises efektiivsemaks.

Selline funktsionaalne töö jagamine on meie teadvusesse nii sügavalt juurdunud, et organiseerime kiiresti meie meeskonnad vastavalt. Andmete teadus ei ole erand. Komplekssed algoritmilised ärivõimalused nõuavad mitmeid tööfunktsioone, seetõttu loovad ettevõtted tavaliselt spetsialistide grupid: teadlased, andmeanalüütikud, masinõppe insenerid, põhjusliku seose teadlased jne. Spetsialistide töö koordineerib tootejuht, edastades funktsioone viisil, mis meenutab nööpnõela tehast: „üks inimene saab andmed, teine modelleerib need, kolmas töötleb, neljas mõõdab” jne.

Kahjuks ei tohiks me optimeerida oma andmete teadusmeeskondi tootlikkuse tõstmiseks. Siiski teete te seda, kui mõistate, mis te tootsite: nööpnõelu või midagi muud, ja püüdlete lihtsalt efektiivsuse poole. Montaažiliinide eesmärk on ülesande täitmine. Me teame täpselt, mida soovime — need on nööpnõelad (nagu Smithi näites), kuid võib mainida ka igasuguseid tooteid või teenuseid, mille nõudmised kirjeldavad täielikult kõiki toote ja selle käitumise aspekte. Töötajate roll on täita neid nõudmisi võimalikult tõhusalt.

Aga andmete teaduse eesmärk ei ole vaid ülesannete täitmine. Pigem on eesmärk õppida ja arendada uusi tugevaid ärivõimalusi. Algoritmilisi tooteid ja teenuseid, nagu soovitussüsteemid, kliendisuhtlemine, stiilieelistuste klassifitseerimine, mõõdusobivuse soovitamine, rõivaste disain, logistika optimeerimine, hooajaliste tendentside avastamine ja palju muud, ei saa eelnevalt välja töötada. Need peavad olema uuritud. Plaane nende kopeerimiseks ei ole, need on uued võimalused oma määratletud ebamugavustega. Koefitsiendid, mudelid, mudelite tüübid, hüperparameetrid, kõik vajalikud elemendid peavad olema uuritud eksperimentide, katsetamise ja kordamise kaudu. Nööpnõelte puhul toimub õpe ja disain eelnevalt, enne tootmise algust. Andmete teaduses õpite te protsessi käigus, mitte enne seda.

Nööpnõelte tehases, kus õpe on esikohal, ei oota ega soovi me, et töötajad improviseeriksid toote mis tahes omaduste osas, välja arvatud tootmise efektiivsuse tõstmiseks. Ülesannete spetsialiseerumine on mõttekas, kuna see toob kaasa protsesside efektiivsuse ja tootmise järjepidevuse (ilma muutusteta lõppproduktis).

Kuid kui toode on endiselt arengufaasis ja eesmärk on õppimine, takistab spetsialiseerumine meie eesmärke järgmistes olukordades:

1. See suurendab koordineerimiskulusid.

Seega räägime kuludest, mis kogunevad aja jooksul, mis kulub suhtlemiseks, aruteludeks, töö prioriteetide määramiseks ja õigete ülesannete määramiseks. Need kulud suureneb mittejooneliselt koos osalejate arvu kasvuga. (Kuidas õpetas meid J. Richard Hackman, suhete arv r kasvab vastavalt liikmete arvu n, järgides valemit: r = (n ^ 2 - n) / 2. Ja iga suhe paljastab teatud kulu suhete arvu.) Kui andmeanalüütikud on organiseeritud funktsioonide kaupa, nõuab iga etapp, iga muudatus, teenuse edastamine jne palju spetsialiste, mis tõstab koordineerimise kulusid. Näiteks statistilise modelleerimise spetsialistid, kes soovivad katsetada uusi funktsioone, peavad oma tegevust koordineerima andmetöötluse inseneridega, kes täiustavad andmekogumeid iga kord, kui nad soovivad midagi uut proovida. Samuti tähendab iga uus treenitud mudel seda, et mudeli arendajal peab olema keegi, kellega oma tegevust koordineerida modelleerimise käivitamiseks. Koordineerimise kulud on pideva parandamise tasu, mis muudab need keerulisemaks ja kallimaks ning suurendab tõenäosust, et katsetamisest loobutakse. See võib takistada õppimist.

2. See raskendab ooteaega.

Koordineerimise kuludest veelgi hirmutavam on aeg, mis kaob töövahetuste vahel. Kuigi koordineerimise kulud on tavaliselt mõõdetavad tundides: aeg, mis kulub koosolekute, arutelude ja projektide ülevaatamiseks, mõõdetakse ooteaeg tavaliselt päevades, nädalates või isegi kuudes! Funktsionaalsete spetsialistide ajakavad on raske ühtlustada, kuna iga spetsialist peab olema jaotatud mitmele projektile. Ühe tunni koosoleku, et arutada muudatusi, võib olla vaja koordineerida nädalaid, et töövooge sünkroniseerida. Ja pärast muudatuste kokkuleppimist peab planeerima ka tegeliku töö konteksti, mis hõlmab palju teisi projekte ja võtab spetsialistide tööaega. Koodivea parandamise või uurimistööga seotud töö, mille valimine võiks võtta ainult paar tundi või päeva, võib kesta tunduvalt kauem, enne kui ressursid muutuvad kergesti kättesaadavaks. Sel ajal on iteratsioon ja õppimine peatatud.

3. See kitsendab konteksti.

Töö jagamine võib kunstlikult piirata õppimist, premeerides inimesi oma spetsialiseerumises püsimise eest. Näiteks teadlane, kes peab jääma oma funktsionaalsuse piiridesse, suunab oma energia erinevate algoritmide, näiteks regressiooni, närvivõrkude ja juhuslike metsade katsetamisele. Ilmselt võib hea algoritmi valiku tegemine tuua järkjärgulisi parendusi, kuid üldiselt on palju enam saadud teist tüüpi tegevusest, näiteks uute andmeallikate integratsioonist. Samuti aitab see arendada mudelit, mis kasutab igat bitki andmete selgitavast võimest. Sellegipoolest võib selle tugevus olla sihtfunktsiooni muutmises või teatud piirangute nõrgendamises. Seda on raske näha või saavutada, kui tema töö on piiratud. Kuna spetsialist tegeleb algoritmide optimeerimisega, on tal palju vähem võimalusi millegi muuga tegeleda, isegi kui see toob suurt kasu.

Nimetame märgid, mis ilmnevad, kui andmete teaduse meeskonnad töötavad nagu nööpnõelafabrikud (nt lihtsate olekute värskenduste kaudu): 'andmekanali muudatuste ootamine' ja 'ML Engi ressursside ootamine', mis on tavalised takistused. Sellegipoolest usun, et ohtlikum mõju on see, mida te ei märka, sest te ei saa kahetseda seda, mida te ei tea. Täiuslik nõuete täitmine ja enesekehtestamine, mis saavutatakse protsesside efektiivsuse saavutamise tõttu, võivad varjata tõde selle kohta, et organisatsioonid ei ole teadlikud õppimise eelistest, mille nad kaotavad.

Selle probleemi lahendus peitub loomulikult tehaseklambrite meetodist vabanemises. Õppimise ja iteratsiooni stimuleerimiseks peaksid andmeadlase rollid olema üldised, kuid ulatuslike kohustustega, mis ei sõltu tehnilisest funktsioonist; see tähendab, et organiseerige andme spetsialistid nii, et nad oleksid optimeeritud õppimiseks. See hõlmab "täiskomplekti spetsialistide" palkamist — laiaulatuslikke spetsialiste, kes saavad täita erinevaid ülesandeid: kontseptsioonist modelleerimiseni, rakendamisest mõõtmiseni. Oluline on märkida, et ma ei eelda, et täiskomplekti spetsialistide palkamine vähendaks töötajate arvu. Tõenäoliselt eeldan ma lihtsalt, et kui neid korraldatakse teistmoodi, on nende stiimulid paremini kooskõlas õppimise ja tõhususe eelistega. Näiteks teil on meeskond, kuhu kuulub kolm inimest, kellel on kolm ärikvaliteeti. Nuppude tootmisettevõttes pühendab iga spetsialist kolmandiku oma ajast igale ametikohale, kuna keegi teine ei saa samasugust tööd teha. Täiskomplekti lähenemises pühendub iga universaalne töötaja täielikult kogu äri protsessile, töö mahu suurendamisele ja õppimisele.

Kui tootmisprotsessi toetavate inimeste arv väheneb, väheneb ka koordineerimine. Universaal liigub sujuvalt erinevate funktsioonide vahel, laiendades andmevoogu, et lisada rohkem andmeid, katsetades mudeleid uusi funktsioone, juurutades uusi versioone tootmises põhjuslike mõõtmiste jaoks ning kordab samme nii kiiresti, kui uusi ideid tuleb. Loomulikult täidab universaal erinevaid funktsioone järjestikku, mitte paralleelselt. Lõppkokkuvõttes on see vaid üks inimene. Siiski võtab ülesande täitmine tavaliselt vaid väikese osa ajast, mis on vajalik teise spetsialiseeritud ressursi kaasamiseks. Seega väheneb iteratsiooniaeg.

Meie universaal ei pruugi olla nii osav kui spetsialist teatud ametifunktsioonis, kuid me ei pürgi funktsionaalse täiuslikkuse või väikeste järkjärguliste paranduste poole. Pigem püüame õppida ja avastada uusi ametikohustusi järkjärgulise mõjuga. Tootlikus, mis annab täieliku konteksti lahendusele, näeb ta võimalusi, mida kitsas spetsialist ignoreerib. Tal on rohkem ideid ja rohkem võimalusi. Ta ebaõnnestub samuti, kuid ebaõnnestumise hind on madal ning õppimise eelised on suured. See asümmeetria soodustab kiiret iteratsiooni ja premeerib õppimist.

Oluline on märkida, et see autonoomia ja oskuste mitmekesisuse ulatus, mida täiskomplekti spetsialist idealiseeritud viisil, sõltub suures osas andmeplatvormi usaldusväärsusest, millega toimetada. Hästi konstrueeritud andmeplatvorm abstraheerib andmeprotsessorid keerukusest nagu konteineriseerimine, hajutatud töötlemine, automaatne üleminek uuele ressursile ja muud tipptasemel arvutuskontseptsioonid. Lisaks abstraktsioonile võib usaldusväärne andmeplatvorm pakkuda sujuvat ühendust eksperimentaalse infrastruktuuriga, automatiseerida jälgimise ja häire süsteemi, pakkuda automaatset skaleerimist ning visualiseerida algoritmilisi tulemusi ja tõrkeotsingut. Need komponendid on kujundatud ja loodud andmeplatvormi inseneride poolt, mitte andmeadlase ülesanne pole neid edastada andmeplatvormi arendajate meeskonnale. Just andmeadlase vastutus on kogu kood, mida rakendatakse platvormi käitamiseks.

Mind huvitas samuti funktsioonide jagamine töö jagamise efektiivsuse kaudu, kuid katsetamine (paremat õppimise meetodit pole) tõi mind avastama, et tüüpilised rollid toetavad paremini õppimist ja innovatsiooni ning pakuvad õigeid mõõdikuid: nad avastavad ja loovad palju rohkem ärivõimalusi kui spetsialiseeritud lähenemine. (Tõhusam viis sellest lähenemisest õppimiseks, kui katsetamine, mille läbi ma läksin, on lugeda Amy Edmondsoni raamatut "Meeskonnatöö dünaamika: kuidas organisatsioonid õpivad, loovad innovatsiooni ja konkureerivad teadmistepõhises majanduses").

On mõned olulised eeldused, mis võivad muuta selle lähenemise organisatsioonile rohkem või vähem usaldusväärseks erinevates ettevõtetes. Iteratsiooniprotsess vähendab katsetuste ja vigade maksumust. Kui vea hind on kõrge, võite soovida neid vähendada (kuid meditsiini või tootmise jaoks ei ole see soovitatav). Lisaks, kui tegelete petabaidiga või eksabaidiga andmetega, võib osutuda vajalikuks andmete kujundamise spetsialiseerumine. Samuti, kui ärivõimaluste veebihoidmine ja nende kättesaadavus on olulisemad kui nende täiustamine, võib funktsionaalne tipptase ületada õppimise. Lõpuks toetub täispakett mudel asjatundlikkusele. Need ei ole unenäod; neid võib leida või ise koolitada. Siiski on suur nõudlus ning nende ettevõttes hoidmiseks ja meelitamiseks on vajalik konkurentsivõimeline materiaalse hüvitise, stabiilsed ettevõtte väärtused ja huvitav töö. Veenduge, et teie ettevõtte kultuur suudab selliseid tingimusi tagada.

Kuid vaatamata kõikidele ütlustele usun, et täispakett mudel pakub parimaid lähtepositsioone. Alustage nendest ja seejärel liikuge teadlikult funktsionaalse tööjaotuse suunas ainult siis, kui see on tõeliselt vajalik.

Funktsionaalsel spetsialiseerimisel on ka teisi puudusi. See võib viia vastutuse kadumiseni ja töötajate passiivsuseni. Isegi Smith kritiseerib tööjaotust, väites, et see peletab ära talentide, st töötajad muutuvad teadmatuses ja isoleerituks, kuna nende rollid on piiratud mõne korduva ülesandega. Kuigi spetsialiseerimine võib protsesside efektiivsust tagada, ei inspireeri see töötajaid sageli.

Omakohtade rollid pakuvad kõike, mis suurendab töörahulolu: autonoomia, meistrimehe oskus ja sihikindlus. Autonoomia seisneb selles, et nad ei sõltu millestki eduka saavutamiseks. Meistri oskus väljendub tugevas konkurentsieelises. Ja sihikindlus seisneb võimaluses mõjutada ärikeskkonda, mida nad loovad. Kui suudame veenda inimesi oma tööga tegelema ja ettevõttele suurt mõju avaldama, paigutub kõik muu õigesse kohta.

Allikas: habr.com