Защо екипите по Data Science се нуждаят от универсали, а не специалисти

HIROSHI WATANABE/GETTY IMAGES

В книгата "Богатство на народите" Адам Смит показва как разделението на труда става основен източник за повишаване на производителността. Пример за това е производствената линия на завода за щифтове: "Един работник дърпа жица, друг я изправя, трети я реже, четвърти заостря края, пети шлифова другия край за поставяне на главата". Благодарение на специализацията, насочена към определени функции, всеки работник става висококвалифициран специалист в своята тясна задача, което води до повишаване на ефективността на процеса. Производството на работник се увеличава многократно, а заводът става по-ефективен в производството на щифтове.

Такова разделение на труда по функционалност е толкова дълбоко вкоренено в нашите умове дори днес, че бързо организираме нашите екипи по съответния начин. Data Science не прави изключение. Сложните алгоритмични бизнес възможности изискват множество трудови функции, затова компаниите обикновено създават групи от специалисти: изследователи, инженери по анализ на данни, инженери на машинно обучение, учени, занимаващи се с причинно-следствени връзки и т.н. Работата на специалистите се координира от мениджър на продукта, като функциите се предават по начин, напомнящ фабриката за щифтове: "един човек получава данните, друг моделира тях, трети ги изпълнява, четвърти измерва" и така нататък.

Уви, не трябва да оптимизираме нашите Data Science екипи за повишаване на производителността. Въпреки това, вие го правите, когато осъзнавате какво произвеждате: щифтове или нещо друго, и просто се стремите към повишаване на ефективността. Целта на производствените линии е да изпълнят задачата. Ние точно знаем какво искаме - това са щифтове (както в примера на Смид), но могат да се споменат и всякакви продукти или услуги, при които изискванията напълно описват всички аспекти на продукта и неговото поведение. Ролята на служителите е да изпълняват тези изисквания максимално ефективно.

Но целта на Data Science не е просто да се изпълняват задачи. По-скоро, целта е да се изследват и развиват нови силни възможности за бизнеса. Алгоритмичните продукти и услуги, като системи за препоръки, взаимодействия с клиенти, класификация на стилови предпочитания, подбор на размери, дизайн на облекло, оптимизация на логистиката, откриване на сезонни тенденции и много други не могат да бъдат разработени предварително. Те трябва да бъдат изследвани. Няма чертежи за възпроизвеждане, това са нови възможности с присъща неопределеност. Коэффициенти, модели, типове модели, хиперпараметри, всички необходими елементи трябва да бъдат изследвани чрез експерименти, опити и грешки, както и повторения. При булавките, обучението и дизайна се извършват предварително, преди производството им. С Data Science учиш в процеса, а не преди него.

На булавковата фабрика, когато обучението е на първо място, ние не чакаме и не искаме работниците да импровизират с каквото и да е свойство на продукта, освен ако не става въпрос за повишаване на ефективността на производството. Специализацията на задачите има смисъл, тъй като води до ефективност на процесите и последователност в производството (без да се правят промени в крайния продукт).

Но когато продуктът все още се развива и целта е обучението, специализацията пречи на целите ни в следните случаи:

1. Това увеличава разходите за координация.

Тоест разходите, които се натрупват през времето, прекарано в комуникация, обсъждане, обосноваване и определяне на приоритетите за работа, която трябва да бъде извършена. Тези разходи растат извън линейно с увеличаването на броя на участващите хора. (Както ни е учил Дж. Ричард Хъкман, броят на отношенията r нараства аналогично на функцията на числото на членовете n съгласно това уравнение: r = (n ^ 2-n) / 2. И всяко отношение разкрива определено количество разходи). Когато специалистите по анализ на данни са организирани по функции, на всеки етап, с всяка промяна, всяка предаване на услуги и т.н. са необходими много специалисти, което увеличава разходите за координация. Например, на специалистите по статистическо моделиране, които искат да експериментират с нови функции, ще им се наложи да координират действията си с инженерите по обработка на данни, които допълват наборите от данни всеки път, когато искат да опитат нещо ново. Също така, всяка нова обучена модел означава, че разработчикът на модела ще се нуждае от някого, с когото да координира действията си за въвеждане в експлоатация. Разходите за координация се явяват като такса за итерация, което ги прави по-трудни и скъпи и с по-голяма вероятност водят до отказ от изследвания. Това може да попречи на обучението.

2. Това усложнява времето за изчакване.

Още по-плашално, отколкото разходите за координация, е времето, изгубено между работните смени. Докато разходите за координация обикновено се измерват в часове: времето, необходимо за провеждане на срещи, обсъждания, проектни прегледи, времето на чакане обикновено се измерва в дни, седмици или дори месеци! Графиците на функционалните специалисти трудно се изравняват, тъй като всеки специалист трябва да бъде разпределен по няколко проекта. Едночасова среща за обсъждане на промени може да отнеме няколко седмици, за да се изравни работният процес. И след съгласуването на промените е необходимо да се планира и самата фактическа работа в контекста на множество други проекти, което заема работното време на специалистите. Работата, свързана с корекция на код или изследвания, за завършването на която са необходими само няколко часа или дни, може да отнеме много повече време, преди ресурсите да станат налични. До тогава итерацията и обучението са спрени.

3. Това стеснява контекста.

Разделението на труда може да ограничи обучението, възнаграждавайки хората за това, че остават в своята специализация. Например, учен-изследовател, който трябва да остане в рамките на своята функционалност, ще съсредоточи енергията си върху експерименти с различни типове алгоритми: регресия, невронни мрежи, random forest и др. Безспорно, добър избор на алгоритъм може да доведе до постепенно подобрение, но като цяло, много повече може да се извлече от други дейности, като интеграция на нови източници на данни. По подобен начин това ще помогне за разработването на модел, който използва всяко парче пояснителна способност, присъща на данните. Въпреки това, силната му страна може да се състои в промяната на целевата функция или отслабването на определени ограничения. Това е трудно да се види или направи, когато работата му е ограничена. Тъй като учен-специалистът се специализира в оптимизация на алгоритми, той има много по-малко шансове да се заеме с нещо друго, дори и то да носи значителна полза.

Нека наречем признаците, които се появяват, когато екипите по data science работят като фабрики за булавки (например, в прости актуализации на статуса): "очакване на промени в конвейера за данни" и "очакване на ресурси от ML Eng", които са чести блокатори. Въпреки това, считам, че по-опасното влияние е това, което не забелязвате, защото не можете да съжалявате за онова, което все още не знаете. Безупречното изпълнение на изискванията и самодоволството, постигнати в резултат на ефективността на процесите, могат да скрият истината относно това, че организациите не са запознати с ползите от обучението, които пропускат.

Решението на този проблем, разбира се, е в избавянето от метода на фабриката за булавки. За да стимулираме обучението и итерацията, ролите в data science трябва да бъдат общи, но с широки отговорности, независими от техническата функция, т.е. организирайте специалистите по данни така, че да са оптимизирани за обучение. Това означава, че е необходимо да се наемат "специалисти с пълен стек" — общи специалисти, които могат да изпълняват различни функции: от концепция до моделиране, от имплементация до измерване. Важно е да отбележа, че не предлагам, че при наемането на специалисти с пълен стек броят на служителите трябва да намалее. Скорее, всъщност предполагам, че когато те са организирани по различен начин, техните стимулни механизми по-добре съответстват на ползите от обучението и ефективността. Например, имате екип от трима души с три бизнес качества. На фабриката за булавки всеки специалист ще посвети една трета от времето си на всяка професионална задача, тъй като никой друг не може да свърши неговата работа. В пълния стек всеки универсален служител е напълно посветен на целия бизнес процес, увеличаването на мащабите на работата и обучението.

С по-малко хора, които поддържат производствения цикъл, координацията намалява. Универсалът плавно преминава между функциите, разширявайки потока на данни, за да добави повече обем данни, опитвайки нови функции в моделите, внедрявайки нови версии в производството за причинни измервания и повтаря стъпките толкова бързо, колкото идват нови идеи. Разбира се, универсалът изпълнява различни функции последователно, а не паралелно. В крайна сметка, той е само един човек. Въпреки това, изпълнението на задачата обикновено заема само малка част от времето, необходимо за достъп до друг специализиран ресурс. И така, времето за итерация намалява.

Нашият универсал може би не е толкова сръчен, колкото специалист в определена трудова функция, но ние не се стремим към функционално съвършенство или малки постепенни подобрения. По-скоро, ние се стремим да проучваме и откриваме все нови професионални задачи с постепенно въздействие. С цялостния контекст за пълно решение, той вижда възможности, които ще пропусне тесния специалист. Той има повече идеи и повече възможности. Той също така претърпява провали. Въпреки това, цената на провала е малка, а ползите от обучението са високи. Тази асиметрия допринася за бърза итерация и възнаграждава обучението.

Важно е да се отбележи, че степента на автономност и разнообразие на уменията, предоставяни от учения, работещ с пълни стекове, в значителна степен зависи от надеждността на данъчната платформа, върху която може да се работи. Добре изградена данъчна платформа абстрахира ученията по обработка на данни от сложностите на контейнеризацията, разпределената обработка, автоматичния преход към друг ресурс и други напреднали компютърни концепции. В допълнение към абстракцията, надеждната данъчна платформа може да осигури безпрепятствен достъп до експерименталната инфраструктура, да автоматизира мониторинга и системата за предупреждение, да осигури автоматично мащабиране и визуализация на алгоритмичните резултати и отстраняване на грешки. Тези компоненти са проектирани и създадени от инженерите на данъчната платформа, т. е. специалистът по Data Science не ги предава на екипа разработчици на данъчната платформа. Именно специалистът по Data Science отговаря за целия код, използван за стартиране на платформата.

Меня също веднъж ме заинтересува функционалното разделение на труда, използвайки ефективността на процесите, но чрез метод на проби и грешки (няма по-добър начин на учене) открих, че типичните роли повече допринасят за обучението и иновациите и предоставят правилни показатели: откритие и построяване на много повече бизнес възможности в сравнение със специализирания подход. (По-ефективен начин да се запознаете с този подход към организацията, в сравнение с метода на проби и грешки, през който преминах, е да прочетете книгата на Еми Едмондсън „Взаимодействие в екип: как организациите учат, създават иновации и конкурират в икономиката на знанието“).

Има някои важни предположения, които могат да направят този подход към организацията по-малко или повече надежден в определени компании. Процесът на итерация намалява разходите за опити и грешки. Ако цената на грешката е висока, може да искате да я намалите (но това не се препоръчва за медицински приложения или производство). Освен това, ако работите с петабайти или ексабайти данни, може да се нуждаете от специализация в области, свързани с проектиране на данни. По същия начин, ако поддържането на бизнес възможности в мрежата и тяхната наличност е по-важно от усъвършенстването им, функционалното превъзходство може да надмине обучението. Накрая, моделът на целия стек разчита на мнението на компетентни хора. Те не са еднорози; могат да бъдат намерени или обучени сами. Въпреки това, те са в голямо търсене, и за да бъдат привлечени и задържани в компанията, ще е необходима конкурентна материална компенсация, устойчиви корпоративни ценности и интересна работа. Убедете се, че вашата корпоративна култура може да осигури такива условия.

Даже с всичко казано, смятам, че моделът на целия стек предлага най-добрите условия за стартиране. Започнете с тях и след това осъзнато преминете към функционално разделение на труда само когато е наистина необходимо.

Има и други недостатъци на функционалната специализация. Това може да доведе до загуба на отговорност и пасивност от страна на работниците. Смит сам критикува разделението на труда, предполагаща, че то води до притъпяване на таланта, т.е. работниците стават невежи и затворени, тъй като ролите им са ограничени до няколко повторяеми задачи. Докато специализацията може да осигури ефективност на процеса, тя рядко вдъхновява работниците.

От своя страна универсалните роли осигуряват всичко, което стимулира удовлетвореността от работата: автономност, майсторство и целеустременост. Автономността се изразява в независимостта от външни фактори за постигане на успех. Майсторството представлява силни конкурентни преимущества. А целеустремеността — в възможността да влияят на бизнеса, който създават. Ако успеем да накараме хората да се увлекат в работата си и да оказват значително влияние върху компанията, всичко останало ще дойде на мястото си.

Източник: habr.com