HIROSHI WATANABE/GETTY IMAGES
W Bogactwie Narodów Adam Smith pokazuje, jak podział pracy staje się głównym źródłem zwiększonej produktywności. Przykładem jest linia montażowa fabryki szpilek: „Jeden pracownik ciągnie drut, drugi prostuje, trzeci przecina, czwarty ostrzy koniec, piąty szlifuje drugi koniec, aby dopasować go do główki”. Dzięki specjalizacji skupionej na konkretnych funkcjach każdy pracownik staje się wysoko wykwalifikowanym specjalistą w swoim wąskim zadaniu, co prowadzi do zwiększenia efektywności procesów. Wydajność na jednego pracownika wzrasta wielokrotnie, a fabryka staje się bardziej wydajna w produkcji szpilek.
Ten podział pracy według funkcjonalności jest tak głęboko zakorzeniony w naszych umysłach nawet dzisiaj, że szybko odpowiednio zorganizowaliśmy nasze zespoły. Analityka danych nie jest wyjątkiem. Złożone algorytmiczne możliwości biznesowe wymagają wielu funkcji roboczych, dlatego firmy zazwyczaj tworzą zespoły specjalistów: badaczy, inżynierów danych, inżynierów uczenia maszynowego, naukowców zajmujących się przyczynami i skutkami i tak dalej. Pracę specjalistów koordynuje menadżer produktu z przekazaniem funkcji w sposób przypominający fabrykę pinów: „jedna osoba otrzymuje dane, druga je modeluje, trzecia wykonuje, czwarta mierzy” i tak dalej,
Niestety, nie powinniśmy optymalizować naszych zespołów zajmujących się analizą danych w celu poprawy produktywności. Robisz to jednak, gdy rozumiesz, co produkujesz: szpilki lub coś innego, i po prostu dążysz do zwiększenia wydajności. Celem linii montażowych jest wykonanie zadania. Wiemy dokładnie, czego chcemy - szpilek (jak w przykładzie Smitha), ale można wymienić dowolny produkt lub usługę, w której wymagania w pełni opisują wszystkie aspekty produktu i jego zachowania. Rolą pracowników jest jak najskuteczniejsze spełnianie tych wymagań.
Jednak celem Data Science nie jest wykonywanie zadań. Celem jest raczej zbadanie i rozwinięcie nowych, silnych możliwości biznesowych. Produkty i usługi algorytmiczne, takie jak systemy rekomendacji, interakcje z klientami, klasyfikacja preferencji stylu, rozmiarówka, projektowanie odzieży, optymalizacja logistyki, wykrywanie trendów sezonowych i wiele innych, nie mogą być opracowywane z góry. Należy je studiować. Nie ma schematów do powielenia, są to nowe możliwości z nieodłączną niepewnością. Współczynników, modeli, typów modeli, hiperparametrów, wszystkich niezbędnych elementów należy się uczyć poprzez eksperymenty, próby i błędy oraz powtarzanie. W przypadku kołków szkolenia i projektowanie odbywają się przed rozpoczęciem produkcji. Dzięki Data Science uczysz się tak, jak robisz, a nie wcześniej.
W fabryce szpilek, gdzie najważniejsze jest szkolenie, nie oczekujemy ani nie chcemy, aby pracownicy improwizowali nad jakąkolwiek cechą produktu poza poprawą wydajności produkcji. Specjalizacja zadań ma sens, ponieważ prowadzi do efektywności procesu i spójności produkcji (bez zmian w produkcie końcowym).
Kiedy jednak produkt się rozwija, a celem jest szkolenie, specjalizacja koliduje z naszymi celami w następujących przypadkach:
1. Zwiększa koszty koordynacji.
Oznacza to, że koszty, które kumulują się w czasie spędzonym na komunikowaniu się, omawianiu, uzasadnianiu i ustalaniu priorytetów pracy, którą należy wykonać. Koszty te skalują się superliniowo wraz z liczbą zaangażowanych osób. (Jak uczył nas J. Richard Hackman, liczba relacji r rośnie podobnie jak funkcja liczby wyrazów n według tego równania: r = (n^2-n)/2. A każda relacja ujawnia pewną ilość stosunek kosztów.) Kiedy badacze danych są zorganizowani według funkcji, na każdym etapie, przy każdej zmianie, każdym przekazaniu itp. potrzebnych jest wielu specjalistów, co zwiększa koszty koordynacji. Na przykład osoby zajmujące się modelowaniem statystycznym, które chcą eksperymentować z nowymi funkcjami, będą musiały współpracować z inżynierami danych, którzy dodają dane do zbiorów za każdym razem, gdy chcą wypróbować coś nowego. Podobnie, każdy przeszkolony nowy model oznacza, że twórca modelu będzie potrzebował kogoś, z kim będzie mógł skoordynować prace nad wprowadzeniem go do produkcji. Koszty koordynacji pełnią rolę ceny za iterację, co czyni je trudniejszymi i droższymi, a także powoduje większe prawdopodobieństwo porzucenia badania. Może to zakłócać naukę.
2. Utrudnia to czas oczekiwania.
Jeszcze bardziej zniechęcający niż koszty koordynacji jest czas stracony pomiędzy zmianami. O ile koszty koordynacji mierzone są zazwyczaj w godzinach – czas potrzebny na przeprowadzenie spotkań, dyskusji, przeglądów projektów – o tyle czas oczekiwania mierzony jest zazwyczaj w dniach, tygodniach, a nawet miesiącach! Harmonogramy specjalistów funkcjonalnych są trudne do zrównoważenia, ponieważ każdy specjalista musi być rozproszony w wielu projektach. Godzinne spotkanie w celu omówienia zmian może zająć tygodnie, aby usprawnić przepływ pracy. A po uzgodnieniu zmian konieczne jest zaplanowanie samej faktycznej pracy w kontekście wielu innych projektów, które zajmują czas pracy specjalistów. Prace obejmujące poprawki kodu lub badania, których ukończenie zajmuje tylko kilka godzin lub dni, mogą zająć znacznie więcej czasu, zanim zasoby staną się dostępne. Do tego czasu iteracja i uczenie się są zawieszone.
3. Zawęża kontekst.
Podział pracy może sztucznie ograniczać naukę poprzez nagradzanie ludzi za pozostanie w swojej specjalności. Na przykład naukowiec, który musi pozostać w zakresie swojej funkcjonalności, skupi swoją energię na eksperymentowaniu z różnymi typami algorytmów: regresją, sieciami neuronowymi, lasem losowym i tak dalej. Oczywiście dobry wybór algorytmów może prowadzić do stopniowych ulepszeń, ale zazwyczaj można zyskać znacznie więcej w wyniku innych działań, takich jak integracja nowych źródeł danych. Podobnie pomoże opracować model wykorzystujący całą moc wyjaśniającą właściwą danym. Jednak jego siła może leżeć w zmianie funkcji celu lub złagodzeniu pewnych ograniczeń. Trudno to zobaczyć lub zrobić, gdy jej praca jest ograniczona. Ponieważ naukowiec techniczny specjalizuje się w optymalizacji algorytmów, znacznie mniej prawdopodobne jest, że zajmie się czymkolwiek innym, nawet jeśli przyniesie to znaczne korzyści.
Aby wymienić znaki, które pojawiają się, gdy zespoły analityki danych działają jak fabryki pinów (na przykład w prostych aktualizacjach statusu): „oczekiwanie na zmiany potoku danych” i „czekanie na zasoby ML Eng” to typowe blokady. Wierzę jednak, że najniebezpieczniejszy wpływ ma to, czego nie zauważasz, bo nie możesz żałować tego, czego jeszcze nie wiesz. Bezbłędne wykonanie i samozadowolenie wynikające z osiągnięcia efektywności procesów mogą maskować prawdę, że organizacje nie są świadome korzyści edukacyjnych, które tracą.
Rozwiązaniem tego problemu jest oczywiście pozbycie się metody fabrycznego pinu. Aby zachęcać do uczenia się i iteracji, role analityka danych powinny być ogólne, ale z szerokimi obowiązkami niezależnymi od funkcji technicznej, tj. organizować analityków danych w taki sposób, aby byli zoptymalizowani pod kątem uczenia się. Oznacza to zatrudnienie „specjalistów full stack” – specjalistów ogólnych, którzy mogą wykonywać różnorodne funkcje, od koncepcji po modelowanie, od wdrożenia po pomiar. Należy zauważyć, że nie sugeruję, że zatrudnianie talentów typu full-stack powinno zmniejszać liczbę pracowników. Raczej po prostu założę, że gdy są one zorganizowane inaczej, ich zachęty są lepiej dostosowane do korzyści w zakresie nauki i wydajności. Załóżmy na przykład, że masz trzyosobowy zespół z trzema umiejętnościami biznesowymi. W fabryce szpilek każdy technik poświęca jedną trzecią swojego czasu na każde zadanie, ponieważ nikt inny nie może wykonać jego pracy. W przypadku pełnego stosu każdy dyrektor generalny jest w pełni oddany całemu procesowi biznesowemu, zwiększaniu skali i szkoleniom.
Przy mniejszej liczbie osób obsługujących cykl produkcyjny koordynacja jest ograniczona. Generalista płynnie porusza się między funkcjami, rozszerzając potok danych, aby dodać więcej danych, wypróbowując nowe funkcje w modelach, wdrażając nowe wersje do produkcji w celu pomiarów przyczynowych i powtarzając kroki tak szybko, jak pojawiają się nowe pomysły. Oczywiście kombi wykonuje różne funkcje sekwencyjnie, a nie równolegle. W końcu to tylko jedna osoba. Jednak wykonanie zadania zajmuje zwykle tylko ułamek czasu wymaganego do uzyskania dostępu do innego wyspecjalizowanego zasobu. Zatem czas iteracji maleje.
Nasz specjalista może nie być tak wykwalifikowany jak specjalista na konkretnym stanowisku, ale nie dążymy do doskonałości funkcjonalnej ani drobnych, stopniowych ulepszeń. Raczej staramy się uczyć i odkrywać coraz więcej wyzwań zawodowych ze stopniowym wpływem. Mając holistyczny kontekst dla kompletnego rozwiązania, widzi możliwości, które specjalista przegapiłby. Ma więcej pomysłów i więcej możliwości. On też zawodzi. Jednak koszt niepowodzenia jest niski, a korzyści z nauki duże. Ta asymetria sprzyja szybkiej iteracji i nagradza naukę.
Należy zauważyć, że zakres autonomii i różnorodności umiejętności zapewnianych naukowcom zajmującym się pełnym stosem zależy w dużej mierze od solidności platformy danych, na której pracują. Dobrze zaprojektowana platforma danych odrywa badaczy danych od złożoności konteneryzacji, przetwarzania rozproszonego, automatycznego przełączania awaryjnego i innych zaawansowanych koncepcji obliczeniowych. Oprócz abstrakcji solidna platforma danych może zapewnić bezproblemową łączność z infrastrukturą eksperymentalną, zautomatyzować monitorowanie i ostrzeganie, umożliwić automatyczne skalowanie i wizualizację wyników algorytmów oraz debugowanie. Komponenty te są projektowane i budowane przez inżynierów platform danych, co oznacza, że nie są przekazywane od analityka danych do zespołu programistów platformy danych. Za całość kodu wykorzystywanego do uruchomienia platformy odpowiada specjalista Data Science.
Ja również kiedyś interesowałem się funkcjonalnym podziałem pracy wykorzystującym efektywność procesów, ale metodą prób i błędów (nie ma lepszego sposobu na naukę) odkryłem, że typowe role lepiej ułatwiają uczenie się i wprowadzanie innowacji oraz zapewniają właściwe wskaźniki: odkrywanie i budowanie znacznie większej liczby możliwości biznesowych niż specjalistyczne podejście. (Bardziej skutecznym sposobem poznania tego podejścia do organizacji niż metoda prób i błędów, przez którą przeszedłem, jest przeczytanie książki Amy Edmondson Współpraca zespołowa: jak organizacje uczą się, wprowadzają innowacje i konkurują w gospodarce opartej na wiedzy).
Istnieje kilka ważnych założeń, które mogą sprawić, że w niektórych firmach takie podejście do organizacji będzie mniej lub bardziej niezawodne. Proces iteracji zmniejsza koszty prób i błędów. Jeśli koszt błędu jest wysoki, możesz chcieć go zmniejszyć (ale nie jest to zalecane w zastosowaniach medycznych lub produkcyjnych). Dodatkowo, jeśli masz do czynienia z petabajtami lub eksabajtami danych, może być wymagana specjalizacja w inżynierii danych. Podobnie, jeśli utrzymanie możliwości biznesowych w Internecie i ich dostępność są ważniejsze niż ich ulepszanie, doskonałość funkcjonalna może przeważyć nad nauką. Wreszcie model pełnego stosu opiera się na opiniach osób, które się na tym znają. To nie są jednorożce; możesz je znaleźć lub przygotować samodzielnie. Jednakże cieszy się na nie duże zapotrzebowanie, a przyciągnięcie i utrzymanie ich będzie wymagało konkurencyjnego wynagrodzenia, silnych wartości korporacyjnych i pełnej wyzwań pracy. Upewnij się, że kultura Twojej firmy może to wspierać.
Mimo wszystko uważam, że model z pełnym stosem zapewnia najlepsze warunki początkowe. Zacznij od nich, a potem świadomie zmierzaj w stronę funkcjonalnego podziału pracy tylko wtedy, gdy jest to absolutnie konieczne.
Istnieją inne wady specjalizacji funkcjonalnej. Może to prowadzić do utraty odpowiedzialności i bierności ze strony pracowników. Sam Smith krytykuje podział pracy, sugerując, że prowadzi on do stępienia talentów, tj. pracownicy stają się ignorantami i wycofani, ponieważ ich role ograniczają się do kilku powtarzalnych zadań. Chociaż specjalizacja może zapewnić efektywność procesów, jest mniej prawdopodobne, że zainspiruje pracowników.
Z kolei wszechstronne role zapewniają wszystko, co napędza satysfakcję z pracy: autonomię, mistrzostwo i cel. Autonomia polega na tym, że nie są od niczego zależni, aby osiągnąć sukces. Mistrzostwo polega na silnych przewagach konkurencyjnych. A poczucie celu leży w możliwości wywarcia wpływu na tworzony przez siebie biznes. Jeśli uda nam się wzbudzić entuzjazm ludzi w ich pracy i wywrzeć duży wpływ na firmę, wszystko inne się ułoży.
Źródło: www.habr.com