HIROSHI WATANABE/GETTY IMAGES
V knihe „Bohatstvo národov“ Adam Smith ukazuje, ako rozdelenie práce sa stáva hlavným zdrojom zvýšenia produktivity. Príkladom je montážna linka v továrni na výrobu špendlíkov: „Jeden pracovník ťahá drôt, druhý ho narovnáva, tretí ho strihá, štvrtý ostrí koniec, piaty obrúsi druhý koniec na nasadenie hlavičky“. Vďaka špecializácii zameranej na konkrétne funkcie sa každý zamestnanec stáva vysoko kvalifikovaným odborníkom vo svojej úzkej úlohe, čo vedie k zvýšeniu efektivity procesu. Výroba na jedného pracovníka sa mnohonásobne zvyšuje a továreň sa stáva efektívnejšou vo výrobe špendlíkov.
Takéto rozdelenie práce podľa funkčnosti je v našich mysliach tak zakorenené aj dnes, že rýchlo organizujeme naše tímu zodpovedajúcim spôsobom. Data Science nie je výnimkou. Komplexné algoritmické obchodné príležitosti vyžadujú množstvo pracovných funkcií, a preto spoločnosti zvyčajne vytvárajú tímy odborníkov: výskumníkov, inžinierov na analýzu údajov, inžinierov strojového učenia, vedcov zaoberajúcich sa príčinno-následkovými vzťahmi a tak ďalej. Práca odborníkov je koordinovaná produktovým manažérom s prenosom funkcií spôsobom, ktorý pripomína továreň na špendlíky: „jeden človek získava údaje, druhý ich modeluje, tretí realizuje, štvrtý meria“ a tak ďalej.
Bohužiaľ, nemali by sme optimalizovať naše Data Science tímy na zvýšenie produktivity. Avšak robíte to, keď pochopíte, čo vyrábate: špendlíky alebo niečo iné, a jednoducho sa usilujete o zvýšenie efektivity. Cieľom montážnych liniek je vykonanie úlohy. Presne vieme, čo chceme — sú to špendlíky (ako v Smithovom príklade), ale môžeme spomenúť akýkoľvek produkt alebo službu, kde požiadavky úplne opisujú všetky aspekty produktu a jeho správanie. Úlohou zamestnancov je splniť tieto požiadavky čo najefektívnejšie.
Cieľom Data Science nie je iba vykonávať úlohy. Skôr ide o skúmanie a rozvoj nových silných obchodných možností. Algoritmické produkty a služby, ako sú odporúčacie systémy, zákaznícke interakcie, klasifikácia preferencií v štýle, výber veľkostí, dizajn oblečenia, optimalizácia logistiky, odhaľovanie sezónnych trendov a mnoho ďalšieho, nemôžu byť navrhnuté vopred. Musia byť preskúmané. Neexistujú žiadne výkresy, ktoré by ich reprodukovali; ide o nové možnosti s inherentnou neistotou. Koeficienty, modely, typy modelov, hyperparametre – všetky potrebné prvky musia byť preskúmané pomocou experimentov, pokusov a omylov, ako aj opakovania. Pri pinových technikách sa vzdelávanie a dizajn vykonávajú vopred, pred ich výrobou. S Data Science sa učíte počas procesu, nie pred ním.
Na továrni na špendlíky, kde je vzdelávanie na prvom mieste, nečakáme ani nechceme, aby pracovníci improvizovali s akoukoľvek vlastnosťou produktu, okrem zvyšovania účinnosti výroby. Špecializácia úloh má zmysel, pretože vedie k efektívnosti procesov a konzistentnosti výroby (bez zmien v konečnom produkte).
Ale keď sa produkt stále vyvíja a cieľ je vzdelávanie, špecializácia nám bráni v dosahovaní našich cieľov v nasledujúcich prípadoch:
1. Zvyšuje náklady na koordináciu.
To znamená náklady, ktoré sa hromadia v priebehu času na komunikáciu, diskusiu, zdôvodnenie a stanovenie priorít práce, ktorú je potrebné vykonať. Tieto náklady sa škálujú nadlinne s počtom zapojených ľudí. (Ako nás učil J. Richard Hackman, počet vzťahov r rastie podobne ako funkcia počtu členov n podľa tejto rovnice: r = (n ^ 2 - n) / 2. A každý vzťah odhaľuje určitú úroveň nákladových súvislostí). Keď sú odborníci na analýzu dát organizovaní podľa funkcií, v každej fáze, s každou zmenou, každým odovzdaním záznamu a pod., je potrebných veľa odborníkov, čo zvyšuje náklady na koordináciu. Napríklad odborníci na štatistické modelovanie, ktorí sa chcú experimentálne zaoberať novými funkciami, budú musieť koordinovať svoje kroky s inžiniermi pre spracovanie dát, ktorí dopĺňajú dátové súbory vždy, keď chcú vyskúšať niečo nové. Rovnako každá nová natrénovaná model znamená, že vývojár modelu potrebuje niekoho, s kým by mohol koordinovať svoje kroky pri jej uvedení do prevádzky. Náklady na koordináciu pôsobia ako poplatok za iteráciu, čo ich robí náročnejšími a drahšími a s väčšou pravdepodobnosťou spôsobujú, že sa upustí od výskumu. To môže brániť vzdelávaniu.
2. To komplikuje čas čakania.
Ešte desivejšie ako náklady na koordináciu je čas stratený medzi pracovnými zmenami. Zatiaľ čo náklady na koordináciu sa zvyčajne merajú v hodinách: čase potrebnom na usporiadanie schôdzí, diskusií a preskúmaní projektov, čas čakania sa zvyčajne meria v dňoch, týždňoch alebo dokonca mesiacoch! Harmonogramy funkčných špecialistov je ťažké zosúladiť, pretože každý špecialista musí byť prerozdelený medzi niekoľko projektov. Jednohodinové stretnutie na diskusiu o zmenách môže trvať niekoľko týždňov, aby sa zosúladil pracovný tok. A po schválení zmien je potrebné naplánovať aj samotnú skutočnú prácu v kontexte množstva iných projektov, čo zaberá pracovný čas špecialistov. Práca súvisiaca s opravou kódu alebo prieskumu, na ktorú je potrebných iba niekoľko hodín alebo dní, môže trvať oveľa dlhšie, kým sa zdroje stanú dostupnými. Do tej doby sa iterácie a učenie pozastavujú.
3. Zúži kontext.
Rozdelenie práce môže umelo obmedziť učenie, odmeňujúc ľudí za to, že zostávajú vo svojej špecializácii. Napríklad výskumný vedec, ktorý musí zostať v rámci svojej funkčnosti, zameria svoju energiu na experimenty s rôznymi typmi algoritmov: regresiami, neurónovými sieťami, random forest a tak ďalej. Určite dobrý výber algoritmu môže viesť k postupným zlepšeniam, ale spravidla sa dá získať omnoho viac z iných činností, ako je integrácia nových zdrojov údajov. Rovnako to pomôže vyvinúť model, ktorý využíva každú časť vysvetľujúcej schopnosti, ktorú majú údaje. Napriek tomu môže byť jej silnou stránkou zmena cieľovej funkcie alebo oslabenie určitých obmedzení. Je ťažké to vidieť alebo urobiť, keď je jej práca obmedzená. Pretože odborný vedec sa špecializuje na optimalizáciu algoritmov, má oveľa menej šancí zaoberať sa niečím iným, aj keď to prináša významný prínos.
Uveďme znaky, ktoré sa objavia, keď tímy v oblasti data science pracujú ako továrne na špendlíky (napríklad pri jednoduchých aktualizáciách stavu): „čakanie na zmeny v toku dát“ a „čakanie na zdroje ML Eng“, ktoré sú bežnými prekážkami. Avšak považujem za nebezpečnejší vplyv to, čo si nevšimnete, pretože nemôžete ľutovať to, o čom ešte neviete. Bezchybná realizácia požiadaviek a sebauspokojenie, dosiahnuté v dôsledku zefektívnenia procesov, môžu zakrývať pravdu o tom, že organizácie nie sú oboznámené s výhodami učenia, ktoré prehliadajú.
Riešením tohto problému je samozrejme zbaviť sa továrenského metódy špendlíka. Aby sme podporili učenie a iteráciu, úlohy v oblasti data science by mali byť spoločné, ale s rozsiahlymi zodpovednosťami, ktoré nie sú závislé od technickej funkcie, to znamená, organizovať odborníkov na dáta tak, aby boli optimalizovaní na učenie. To znamená, že je potrebné zamestnať „špecialistov na plný stack“ – všeobecných odborníkov, ktorí môžu vykonávať rôzne funkcie: od konceptu po modelovanie, od implementácie po meranie. Je dôležité poznamenať, že nepredpokladám, že pri najímaní špecialistov na plný stack by sa mal zmenšiť počet zamestnancov. Skôr si len predpokladám, že keď sú organizovaní inak, ich stimuly sa lepšie zhodujú s výhodami učenia a efektívnosti. Napríklad máte tím troch ľudí, ktorí majú tri obchodné zručnosti. V továrni na špendlíky by sa každý odborník venoval tretine času každej profesijnej úlohe, pretože nikto iný by nemohol splniť jeho prácu. V plnom stacku sa každý všestranný zamestnanec plne angažuje vo všetkom obchodnom procese, získavaní objemu práce a učení.
S menším počtom ľudí podporujúcich výrobný cyklus klesá koordinácia. Univerzál plynulo prechádza medzi funkciami, rozširujúc dátový kanál, aby pridal väčší objem dát, vyskúšal nové funkcie v modeloch, nasadil nové verzie do výroby pre kauzálne merania a opakuje kroky tak rýchlo, ako prichádzajú nové nápady. Samozrejme, univerzál vykonáva rôzne funkcie sekvenčne, nie paralelne. Napokon, je to len jedna osoba. Avšak vykonanie úlohy zvyčajne zaberá len malú časť času potrebného na prístup k inému špecializovanému zdroju. Takže čas iterácie sa znižuje.
Náš univerzál možno nie je tak zručný ako špecialista v určitej pracovnej funkcii, ale nesnažíme sa o funkčné dokonalosti ani o malé postupné zlepšenia. Namiesto toho sa snažíme skúmať a objavovať všetky nové profesionálne úlohy s postupným dopadom. S celostným kontextom pre komplexné riešenie vidí príležitosti, ktoré by premeškal úzky špecialista. Má viac nápadov a väčšie možnosti. Taktiež zlyhá. Napriek tomu sú náklady na zlyhanie malé a výhody učenia vysoké. Táto asymetria podporuje rýchlu iteráciu a odmeňuje učenie.
Je dôležité poznamenať, že tento rozsah autonómie a rozmanitosti zručností poskytovaných vedcom pracujúcim s plnými stackmi do veľkej miery závisí od spoľahlivosti dátovej platformy, na ktorej sa dá pracovať. Dobre navrhnutá dátová platforma abstrahuje vedcov v oblasti spracovania dát od zložitostí kontajnerizácie, distribuovaného spracovania, automatického prechodu na iný zdroj a iných pokročilých počítačových konceptov. Okrem abstrakcie môže spoľahlivá dátová platforma zabezpečiť plynulé pripojenie k experimentálnej infraštruktúre, automatizovať monitorovanie a systém upozornení, zabezpečiť automatické škálovanie a vizualizáciu algoritmických výsledkov a ladenia. Tieto komponenty sú navrhované a vytvárané inžiniermi dátovej platformy, t.j. špecialista na data science ich nepredáva tímu vývojárov dátovej platformy. To špecialista na data science zodpovedá za celý kód, ktorý sa používa na spustenie platformy.
Aj mňa raz zaujala funkčná deľba práce využívajúca efektivitu procesov, ale metódou pokusov a omylov (lepší spôsob učenia neexistuje) som zistil, že typické úlohy lepšie prispievajú k učeniu a inováciám a poskytujú presné ukazovatele: objavovanie a budovanie oveľa väčšieho počtu obchodných príležitostí než špecializovaný prístup. (Efektívnejší spôsob, ako sa dozvedieť o tomto prístupe k organizácii ako metóda pokusov a omylov, ktorou som prešiel, je prečítať si knihu Amy Edmondson „Interakcia v tíme: ako sa organizácie učia, vytvárajú inovácie a súťažia v ekonomike znalostí“).
Existujú určité dôležité predpoklady, ktoré môžu urobiť tento prístup k organizácii viac alebo menej spoľahlivým v niektorých spoločnostiach. Proces iterácie znižuje náklady na pokusy a omyly. Ak sú náklady na chybu vysoké, možno budete chcieť ich minimalizovať (ale to sa neodporúča pre medicínske aplikácie alebo výrobu). Okrem toho, ak pracujete s petabajtmi alebo exabajtmi údajov, môže byť potrebná špecializácia v oblasti návrhu údajov. Rovnako, ak je udržanie obchodných príležitostí online a ich dostupnosť dôležitejšia ako ich zdokonaľovanie, funkčné prekážky môžu prevážiť nad učením. Nakoniec model plného zásobníka sa opiera o názory odborníkov. Nie sú to jednorožce; dajú sa nájsť alebo pripraviť samostatne. Avšak, sú veľmi žiadaní, a na prilákanie a udržanie týchto odborníkov vo firmách bude potrebná konkurenčná materiálna kompenzácia, udržateľné firemné hodnoty a zaujímavá práca. Uistite sa, že vaša firemná kultúra dokáže zabezpečiť takéto podmienky.
Aj s ohľadom na všetko povedané, domnievam sa, že model plného zásobníka poskytuje najlepšie podmienky na začatie. Začnite s nimi a potom vedome prejdite k funkčnému rozdeleniu práce len vtedy, keď je to naozaj potrebné.
Existujú aj ďalšie nevýhody funkčnej špecializácie. Môže to viesť k strate zodpovednosti a pasivite zamestnancov. Sam Smith kritizuje rozdelenie práce s tým, že vedie k otupeniu talentu, t. j. zamestnanci sa stávajú neznalými a uzavretými, pretože ich rôzne úlohy sú obmedzené na niekoľko opakujúcich sa činností. Zatiaľ čo špecializácia môže zabezpečiť efektivitu procesu, zriedkakedy inšpiruje zamestnancov.
Univerzálne úlohy zabezpečujú všetko, čo podnecuje spokojnosť s prácou: autonomia, odborné zručnosti a zameranie na cieľ. Autonomia spočíva v tom, že nie sú závislé od niečoho iného pri dosahovaní úspechu. Odborné zručnosti sa týkajú silných konkurenčných výhod. A zameranie na cieľ - v možnosti ovplyvniť podnikanie, ktoré vytvárajú. Ak sa nám podarí zaujať ľudí ich prácou a ovplyvniť firmu, všetko ostatné sa dostane na svoje miesto.
Zdroj: habr.com
