Защо на екипите по Data Science са им нужни универсални специалисти, а не само експерти

HIROSHI WATANABE/GETTY IMAGES

В книгата «Богатството на народите» Адам Смит показва как разделението на труда става главен източник на повишаване на производителността. Пример за това е производствената линия на фабрика за производството на щифтове: «Един работник опъва жицата, друг я изправя, трети я отрязва, четвърти заостря края, пети обработва другия край за поставяне на главата». Благодарение на специализацията, насочена към определени функции, всеки работник става високо квалифициран специалист в своята тясна задача, което води до повишаване на ефективността на процеса. Производството на човек се увеличава многократно, а фабриката става по-ефективна в производството на щифтове.

Такова разделение на труда по функционалност е дотолкова вкоренено в нашите умове дори днес, че бързо организираме нашите екипи съответно. Data Science не е изключение. Комплексните алгоритмични бизнес възможности изискват множество трудови функции, затова компаниите обикновено създават екипи от специалисти: изследователи, инженери по анализ на данни, инженери по машинно обучение, учени, занимаващи се с причинно-следствени връзки и т.н. Работата на специалистите се координира от продукт мениджър, който прехвърля функциите по начин, който напомня на фабрика за щифтове: «един човек получава данните, друг моделизира, трети ги реализира, четвърти измерва» и така нататък.

Уви, не трябва да оптимизираме нашите Data Science екипи за повишаване на производителността. Въпреки това, вие го правите, когато разбирате какво произвеждате: щифтове или нещо друго, и просто се стремите към повишаване на ефективността. Целта на производствените линии е да изпълняват задачата. Ние точно знаем какво искаме — това са щифтове (както в примера на Смит), но можем да споменем всеки продукт или услуга, в които изискванията напълно описват всички аспекти на продукта и неговото поведение. Ролята на служителите е да изпълняват тези изисквания максимално ефективно.

Но целта на Data Science не е просто да се изпълняват задачи. По-скоро, целта е да се изучават и развиват нови силни възможности за бизнеса. Алгоритмичните продукти и услуги, като системи за препоръки, взаимодействие с клиенти, класификация на стиловите предпочитания, подбиране на размери, дизайн на дрехи, оптимизация на логистиката, откритие на сезонни тенденции и много други, не могат да бъдат разработени предварително. Те трябва да бъдат изследвани. Няма чертежи за повторение, това са нови възможности с присъща им несигурност. Коэффициенти, модели, типове модели, хиперпараметри – всички необходими елементи трябва да се изследват чрез експерименти, проби и грешки, както и повторения. При производството на булавки, обучението и дизайна се извършват предварително, преди момента на производството. С Data Science учите в процеса, а не преди него.

В фабриката за булавки, когато обучението е на първо място, ние не чакаме и не желаем работниците да импровизират по каквото и да е свойство на продукта, освен за повишаване на ефективността на производството. Специализацията на задачите има смисъл, тъй като води до ефективност на процесите и последователност на производството (без промени в крайния продукт).

Но когато продуктът все още се разработва и целта е обучението, специализацията пречи на нашите цели в следните случаи:

1. Увеличава разходите за координация.

Тоест разходите, които се натрупват с времето, прекарано в комуникация, обсъждане, обосноваване и определяне на приоритетите на задачите, които трябва да бъдат изпълнени. Тези разходи нарастват нелинейно с увеличаването на броя на включените хора. (Както ни е учил Дж. Ричард Хекман, броят на връзките r нараства аналогично на функцията на числото на членовете n според следното уравнение: r = (n ^ 2 - n) / 2. И всяка връзка разкрива определено количество съотношение на разходите). Когато специалистите по анализ на данни са организирани по функции, на всяка стъпка, с всяка промяна, всяка предаване на обслужване и т.н., са необходими много специалисти, което увеличава разходите по координация. Например, специалистите по статистическо моделиране, които искат да експериментират с нови функции, ще трябва да координират действията си с инженери по обработка на данни, които добавят нови данни всеки път, когато искат да пробват нещо ново. По същия начин всяка нова обучена модел означава, че разработчикът на модела ще се нуждае от някого, с когото да координира действията си за внедряване. Разходите за координация представляват такса за итерация, което ги прави по-сложни и скъпи и с по-голяма вероятност води до отказ от изследване. Това може да попречи на обучението.

2. Това усложнява времето за изчакване.

Още по-обезпокоително от разходите за координация е времето, изгубено между работните смени. Докато разходите за координация обикновено се измерват в часове - времето, необходимо за провеждане на срещи, обсъждания, прегледи на проекти, - времето на изчакване обикновено се измерва в дни, седмици или дори месеци! Графиците на функционалните специалисти е трудно да бъдат синхронизирани, тъй като всеки специалист трябва да бъде разпределен по множество проекти. Среща, проведена в определен час за обсъждане на изменения, може да изисква няколко седмици за синхронизиране на работния поток. И след одобрението на промените е необходимо да се планира и самата фактическа работа в контекста на много други проекти, заемащи работното време на специалистите. Работата, свързана с корекции в кода или изследвания, която изисква само няколко часа или дни, може да отнеме много повече време, преди ресурсите да станат достъпни. До този момент итерацията и обучението са спънки.

3. Това стеснява контекста.

Разпределението на труда може изкуствено да ограничи обучението, възнаграждавайки хората да останат в своята специализация. Например, изследовател, който трябва да се придържа към функционалността си, ще насочва енергията си към експерименти с различни типове алгоритми: регресия, невронни мрежи, random forest и така нататък. Без съмнение, добрият избор на алгоритъм може да доведе до постепенни подобрения, но, като правило, значително повече може да се извлече от друг тип дейности, като интеграция на нови източници на данни. Също така, това ще помогне да се разработи модел, който използва всяко парче обяснителна способност, притежавана от данните. Въпреки това, силната му страна може да бъде в промяна на целевата функция или ослабване на определени ограничения. Това е трудно да се види или направи, когато работата му е ограничена. Тъй като специалистът е фокусиран върху оптимизацията на алгоритми, той има много по-малко шансове да се занимае с нещо друго, дори и да носи значителна полза.

Нека да разгледаме признаците, които се проявяват, когато екипите по data science работят като фабрики за кламери (например, при простите актуализации на статус): "чакането на промени в конвейера за данни" и "чакането на ресурси от ML Eng", които са общи препятствия. Въпреки това, смятам, че по-опасното влияние идва от това, което не забелязвате, защото не можете да съжалявате за нещо, което не знаете. Безупречното изпълнение на изискванията и самодоволството, постигнати чрез ефективност на процесите, могат да скрият истината за това, че организациите не са запознати с ползите от обучението, които пропускат.

Решението на този проблем, разбира се, е да се отървем от метода на фабриката за кламери. За да предизвикаме обучение и итерации, ролите в data science трябва да са общи, но с широки отговорности, не зависящи от техническата функция — организирайте специалистите по данни така, че да са оптимизирани за обучение. Това означава, че трябва да наемете "специалисти с пълен стек" — общи специалисти, които могат да изпълняват различни функции: от концепция до моделиране, от реализация до измерване. Важно е да подчертая, че не предполагам, че при наемането на специалисти с пълен стек броят на служителите трябва да намалее. По-скоро предполагам, че когато са организирани по различен начин, техните стимули по-добре съответстват на ползите от обучението и ефективността. Например, имате екип от трима души с три бизнес качества. В фабриката за кламери всеки специалист ще отделя една трета от времето си за всяка професионална задача, тъй като никой друг не може да изпълнява неговата работа. В пълен стек всеки универсален служител е напълно ангажиран с целия бизнес процес, увеличаването на мащабите на работата и обучението.

С по-малко хора, подкрепящи производствения цикъл, координацията намалява. Универсалът плавно преминава между функциите, разширявайки потокът от данни, за да добави повече обем информация, опитвайки нови функции в моделите, внедрявайки нови версии в производството за причинни измерения и повтаря стъпките толкова бързо, колкото идват новите идеи. Разбира се, универсалът изпълнява различни функции последователно, а не паралелно. В крайна сметка, това е само един човек. Въпреки това, изпълнението на задачата обикновено отнема само малка част от времето, необходимо за достъп до друг специализиран ресурс. И така, времето за итерация намалява.

Нашият универсал може да не е толкова сръчен, колкото специалист по определена трудова функция, но не се стремим към функционално съвършенство или малки постепенни подобрения. Вместо това, ние целим да изучаваме и откриваме все нови професионални предизвикателства с постепенни влияния. С цялостен контекст за пълно решение, той вижда възможности, които ще пропусне тесният специалист. Той има повече идеи и повече възможности. Също така допуска неуспехи. Въпреки това, цената на неуспеха е малка, а предимствата от обучението са високи. Тази асиметрия насърчава бързата итерация и възнаграждава ученето.

Важно е да се отбележи, че степента на автономия и разнообразието на уменията, които учените, работещи с пълни стекове, предоставят, до голяма степен зависят от надеждността на данъчната платформа, на която могат да работят. Добре проектираната данъчна платформа абстрахира учените по обработка на данни от сложностите на контейнеризацията, разпределената обработка, автоматичното преминаване към друг ресурс и други напреднали компютърни концепции. В допълнение към абстракцията, надеждната данъчна платформа може да осигури безпрепятствен достъп до експерименталната инфраструктура, да автоматизира мониторинга и системата за известяване, да осигури автоматично мащабиране и визуализация на алгоритмичните резултати и отстраняване на грешки. Тези компоненти са проектирани и изградени от инженерите на данъчната платформа, а не от специалиста по Data Science, който не предава задачите на екипа за разработка на данъчната платформа. Именно специалистът по Data Science отговаря за целия код, използван за стартиране на платформата.

И мен интересуваше функционалното разделение на труда чрез използване на ефективността на процесите, но чрез методи на проба и грешка (няма по-добър начин за обучение) открих, че типа роли по-добре способстват за обучението и иновациите и предоставят коректни показатели: откриването и изграждането на значително повече бизнес възможности, отколкото специализирания подход. (По-ефективен начин да научите за този подход към организацията, отколкото методът на проба и грешка, през който преминах, е да прочетете книгата на Еми Едмондсън „Взаимодействие в екипа: как организациите учат, създават иновации и конкурират в икономиката на знанията“).

Има някои важни предположения, които могат да направят този подход към организацията по-надежден или по-малко надежден в определени компании. Процесът на итерация намалява разходите за опити и грешки. Ако цената на грешката е висока, може да искате да я намалите (но това не се препоръчва за медицински приложения или производство). Освен това, ако се занимавате с петабайти или ексабайти данни, може да се изисква специализация в проектирането на данни. По същия начин, ако поддържането на бизнес възможности в мрежата и тяхната достъпност са по-важни от усъвършенстването им, функционалното превъзходство може да надматчи обучението. Накрая, моделът с пълен стек разчита на мнението на разбиращите се в това хора. Те не са еднорози; могат да се намерят или да се обучат сами. Въпреки това, те са търсени и за привличането и запазването им в компанията е нужна конкурентна материална компенсация, устойчиви корпоративни ценности и интересна работа. Уверете се, че вашата корпоративна култура може да осигури такива условия.

Дори с всичко казано, смятам, че моделът с пълен стек предлага най-добрите условия за старт. Започнете с тях, а след това съзнателно преминавайте към функционално разделение на труда само когато това е абсолютно необходимо.

Има и други недостатъци на функционалната специализация. Това може да доведе до загуба на отговорност и пасивност от страна на работниците. Самият Смит критикува разделението на труда, предполагаща, че то води до притъпяване на таланта, т.е. работниците стават неинформирани и замкнати, тъй като ролите им са ограничени до няколко повтарящи се задачи. Докато специализацията може да осигури ефективност на процеса, тя по-рядко вдъхновява работниците.

От своя страна универсалните роли осигуряват всичко, което стимулира удовлетвореността от работата: автономия, майсторство и целеустременост. Автономия в това, че те не зависят от нищо в достигането на успеха. Майсторството се състои в силните конкурентни предимства. А целеустремеността — в възможността да повлияят на бизнеса, който те създават. Ако успеем да накараме хората да се увлекат в работата си и да окажат значимо влияние върху компанията, всичко останало ще си дойде на мястото.

Източник: habr.com