HIROSHI WATANABE/GETTY IMAGES
Ve své knize „Bohatství národů“ Adam Smith ukazuje, jak rozdělení práce se stává hlavním zdrojem zvyšování produktivity. Příkladem je montážní linka továrny na špendlíky: „Jeden pracovník tahá drát, druhý jej narovnává, třetí ho stříhá, čtvrtý zaostřuje konec, pátý obrušuje druhý konec pro nasazení hlavy.“ Díky specializaci zaměřené na určité funkce se každý pracovník stává vysoce kvalifikovaným specialistou ve svém úzkém úkolu, což přináší zvýšení efektivity procesu. Výstup na jednoho pracovníka se zvyšuje mnohonásobně a továrna se stává efektivnější při výrobě špendlíků.
Toto rozdělení práce podle funkcionality se tak silně zakořenilo v našich myslích, že jsme brzo uspořádali naše týmy odpovídajícím způsobem. Data Science není výjimkou. Složité algoritmické obchodní příležitosti vyžadují mnoho pracovních funkcí, a proto společnosti obvykle vytvářejí týmy specialistů: výzkumníků, inženýrů analýzy dat, inženýrů strojového učení, vědců zabývajících se kauzalitou, a tak dále. Práce specialistů je koordinována produktovým manažerem s předáním funkcí způsobem, který připomíná továrnu na špendlíky: „jeden člověk získává data, druhý je modeluje, třetí je provádí, čtvrtý je měří“ a tak dále.
Bohužel, neměli bychom optimalizovat naše týmy Data Science pro zvyšování produktivity. Přesto to děláte, když si uvědomíte, co vlastně vyrábíte: špendlíky nebo něco jiného, a jednoduše se snažíte o zvyšování efektivity. Cílem montážních linek je splnit úkol. Přesně víme, co chceme — to jsou špendlíky (jak ve Smithově příkladu), ale můžeme zmínit jakýkoli produkt nebo službu, u nichž požadavky plně popisují všechny aspekty produktu a jeho chování. Úloha zaměstnanců spočívá v tom, aby tyto požadavky splnili co nejefektivněji.
Cílem Data Science není pouze plnění úkolů. Spíše jde o studium a rozvoj nových silných obchodních příležitostí. Algoritmické produkty a služby, jako jsou systémy doporučení, interakce se zákazníky, klasifikace preferencí ve stylu, výběr velikostí, design oblečení, optimalizace logistiky, odhalování sezónních trendů a mnohé další nelze navrhnout předem. Musí se prozkoumat. Neexistují žádné plány k reprodukci, jde o nové příležitosti s inherentními nejistotami. Koeficienty, modely, typy modelů, hyperparametry, všechny potřebné prvky musí být prozkoumány prostřednictvím experimentace, pokusů a omylů, stejně jako opakování. U špendlíků se učení a design provádějí předem, ještě před jejich výrobou. S Data Science se učíte procesem, nikoli před ním.
Ve fabrice na špendlíky, kde je výuka na prvním místě, nečekáme a nechceme, aby zaměstnanci improvizovali na jakékoliv vlastnosti produktu, kromě toho, aby zvýšili efektivitu výroby. Specializace úkolů dává smysl, protože vede k efektivnosti procesů a konzistenci výroby (bez změn koncového produktu).
Ale když se produkt stále vyvíjí a cílem je učení, specializace brání našim cílům v následujících případech:
1. Zvyšuje náklady na koordinaci.
To znamená náklady, které se hromadí během času stráveného komunikací, diskusí, odůvodněním a určením priorit práce, kterou je třeba vykonat. Tyto náklady se exponenciálně zvyšují s počtem zapojených lidí. (Jak nás učil J. Richard Hackman, počet vztahů r roste analogicky k funkci počtu členů n podle tohoto rovnění: r = (n ^ 2 - n) / 2. A každý vztah odhaluje určité množství nákladových vztahů). Když jsou analytici dat organizováni podle funkcí, v každé fázi, s každou změnou, každým předáním služby atd. Je zapotřebí mnoho specialistů, což zvyšuje náklady na koordinaci. Například specialisté na statistické modelování, kteří chtějí experimentovat s novými funkcemi, budou muset koordinovat své akce s datovými inženýry, kteří doplňují datové sady pokaždé, když chtějí vyzkoušet něco nového. Podobně každá nová natrénovaná model znamená, že vývojář modelu potřebuje někoho, s kým by mohl koordinovat své akce pro její zavedení do praxe. Náklady na koordinaci fungují jako cena za iteraci, což je činí složitějšími a nákladnějšími a s větší pravděpodobností vedou k tomu, že se vzdají výzkumu. To může bránit učení.
2. Tím se komplikuje doba čekání.
Ještě horší než náklady na koordinaci je čas ztracený mezi pracovními směnami. Zatímco náklady na koordinaci se obvykle měří v hodinách, času potřebného k pořádání schůzek, diskusí a projektových přehledů, čas čekání se obvykle měří v dnech, týdnech nebo dokonce měsících! Harmonogramy odborníků je těžké sladit, protože každý odborník musí být rozdělen mezi několik projektů. Jedno hodinové shromáždění k projednání změn může trvat několik týdnů, než se pracovní proces vyrovná. A po schválení změn je třeba naplánovat i samotnou faktickou práci v kontextu mnoha dalších projektů, což zabírá pracovní čas specialistů. Práce související s opravou kódu nebo výzkumem, pro jejíž dokončení stačí několik hodin nebo dní, může trvat mnohem déle, než budou zdroje dostupné. Do té doby jsou iterace a učení pozastaveny.
3. To zužuje kontext.
Dělení práce může uměle omezovat učení, odměňováním lidí za to, že zůstávají ve své specializaci. Například výzkumný vědec, který musí zůstat v rámci své funkčnosti, zaměří svou energii na experimenty s různými typy algoritmů: regresí, neuronovými sítěmi, random forest a tak dále. Určitě, dobrý výběr algoritmu může vést k postupným zlepšením, ale obecně lze mnohem více vytěžit z jiných aktivit, jako je integrace nových datových zdrojů. Stejně tak to pomůže vyvinout model, který využívá každé kousíčka vysvětlující schopnosti dat. Nicméně, její silná stránka může spočívat ve změně cílové funkce nebo oslabení určitých omezení. To je obtížné vidět nebo udělat, když je její práce omezena. Protože specializovaný vědec se zaměřuje na optimalizaci algoritmů, má mnohem méně příležitostí zabývat se něčím jiným, i když to přináší zásadní užitek.
Pojmenujme rysy, které se projevují, když týmy datové vědy pracují jako továrny na špendlíky (například při jednoduchých aktualizacích stavu): "čekání na změny datového skluzu" a "čekání na zdroje ML Eng", které jsou běžnými blokátory. Nicméně, domnívám se, že nebezpečnější vliv spočívá v tom, co si nevšimnete, protože se nemůžete litovat toho, co ještě nevíte. Bezchybné splnění požadavků a sebeklam, dosažené výsledkem efektivnosti procesů, mohou skrývat pravdu o tom, že organizace nejsou seznámeny s výhodami učení, které propásly.
Řešení tohoto problému je samozřejmě v zbavení se metody továrny na špendlíky. Abychom podpořili učení a iteraci, musí být role datové vědy sdílené, ale s širokými odpovědnostmi, které nejsou závislé na technické funkci, tzn. uspořádejte datové specialisty tak, aby byli optimalizováni pro učení. To znamená, že je třeba najmout "full-stack specialisty" — univerzální odborníky, kteří mohou plnit různé úkoly: od konceptu po modelování, od realizace po měření. Je důležité poznamenat, že nepředpokládám, že při najímání specialistů full-stack by měl klesnout počet zaměstnanců. Spíše předpokládám, že když jsou organizováni jinak, jejich motivace lépe odpovídají výhodám učení a efektivity. Například máte tým tří lidí, každý s třemi obchodními dovednostmi. Na továrně na výrobu špendlíků by každý specialista věnoval třetinu času každému profesnímu úkolu, protože nikdo jiný by nemohl vykonávat jeho práci. V full-stacku je každý univerzální zaměstnanec plně oddán celému obchodnímu procesu, zvětšování rozsahu práce a učení.
S menším počtem lidí, kteří podporují výrobní cyklus, se snižuje koordinace. Universal hladce přechází mezi funkcemi, rozšiřuje datový tok pro přidání většího objemu dat, zkouší nové funkce v modelech, nasazuje nové verze do výroby pro kauzální měření a opakuje kroky tak rychle, jakmile přicházejí nové nápady. Samozřejmě, universal vykonává různé funkce sekvenčně, nikoli paralelně. Nakonec je to jen jeden člověk. Nicméně provedení úkolu obvykle zabere jen malou část času potřebného k přístupu k jinému specializovanému zdroji. Takže doba iterace se zkracuje.
Náš universal možná není tak zručný jako specialista na konkrétní pracovní funkci, ale nesnažíme se o funkční dokonalost nebo malé postupné zlepšování. Spíše se snažíme prozkoumávat a objevovat stále nové profesionální úkoly s postupným dopadem. S celistvým kontextem pro komplexní řešení vidí příležitosti, které úzký specialista přehlédne. Má více nápadů a více možností. Také selhává. Nicméně cena selhání je nízká a výhody učení jsou vysoké. Tato asymetrie podporuje rychlou iteraci a odměňuje učení.
Je důležité poznamenat, že rozsah autonomie a rozmanitosti dovedností, které jsou poskytovány vědcům pracujícím se stacky, do značné míry závisí na spolehlivosti datové platformy, na které mohou pracovat. Dobře navržená datová platforma abstrahuje vědce o zpracování dat od složitostí kontejnerizace, distribuovaného zpracování, automatického přechodu na jiné zdroje a dalších pokročilých počítačových konceptů. Kromě abstrahování může spolehlivá datová platforma zajistit bezproblémové připojení k experimentální infrastruktuře, automatizovat monitorování a systém upozornění, zajistit automatické škálování a vizualizaci algoritmických výsledků a ladění. Tyto komponenty jsou navrženy a vytvořeny inženýry datové platformy, tj. od specialisty na Data Science nejsou předávány týmu vývojářů datové platformy. Specialisté na Data Science jsou odpovědní za veškerý kód používaný k provozu platformy.
Jednou mě také zajímalo funkční rozdělení práce s využitím efektivity procesů, ale pomocí pokusů a omylů (to je nejlepší způsob učení) jsem zjistil, že typické role více přispívají k učení a inovacím a poskytují správné ukazatele: identifikaci a budování mnohem většího počtu obchodních příležitostí než specializovaný přístup. (Efektivnější způsob, jak se dozvědět o tomto přístupu k organizaci, než metoda pokusů a omylů, kterou jsem prošel, je přečíst si knihu Amy Edmondson "Interakce v týmu: jak se organizace učí, vytvářejí inovace a konkurují v ekonomice znalostí").
Existují některé důležité předpoklady, které mohou učinit tento přístup k organizaci více či méně spolehlivým v některých firmách. Proces iterace snižuje náklady na pokusy a omyly. Pokud jsou náklady na chybu vysoké, možná budete chtít tyto náklady snížit (ale to se nedoporučuje pro zdravotnické aplikace nebo výrobu). Navíc, pokud se potýkáte s petabyty nebo exabyty dat, může být potřeba specializace v oblasti návrhu dat. Podobně, pokud je pro vás důležitější udržování obchodních příležitostí online a jejich dostupnost než jejich zdokonalování, může funkční nadřazenost převážit nad učením. Nakonec model plného zásobníku spoléhá na názory odborníků. Nejsou to jednorožci; mohou být nalezeni nebo vycvičeni sami. Jsou však vysoce ceněni, a k jejich přilákání a udržení v podniku bude zapotřebí konkurenceschopné finanční odměny, udržitelné podnikové hodnoty a zajímavá práce. Ujistěte se, že vaše firemní kultura může zajistit takové podmínky.
I když to všechno zohledníme, myslím, že model plného zásobníku poskytuje nejlepší podmínky pro začátek. Začněte s nimi a poté vědomě přecházejte k funkčnímu rozdělení práce až tehdy, když je to skutečně nezbytné.
Existují také další nevýhody funkční specializace. Může to vést ke ztrátě odpovědnosti a pasivitě ze strany pracovníků. Sám Smith kritizuje dělení práce, naznačujíc, že vede k otupění talentu, tj. pracovníci se stávají nevědomými a uzavřenými, protože jejich role jsou omezeny na několik opakujících se úkolů. Zatímco specializace může zajistit efektivitu procesu, méně často inspiruje pracovníky.
Univerzální role v pracovním prostředí zajišťují vše, co podporuje spokojenost zaměstnanců: autonomii, mistrovství a cílevědomost. Autonomie znamená, že nejsou závislé na něčem jiném pro dosažení úspěchu. Mistrovství spočívá v silných konkurenčních výhodách. A cílevědomost se projevuje ve schopnosti ovlivnit podnikání, které budují. Pokud se nám podaří nadchnout lidi pro svou práci a umožnit jim mít významný dopad na firmu, vše ostatní se postará o sebe.
Zdroj: habr.com
