Защо екипите за Data Science се нуждаят от специалисти от общ характер, а не от специалисти

ХИРОШИ УАТАНАБЕ/ГЕТИ ИМИДЖ

В „Богатството на народите“ Адам Смит показва как разделението на труда се превръща в основен източник на повишена производителност. Пример е поточната линия на фабрика за карфици: „Един работник дърпа жицата, друг я изправя, трети я реже, четвърти заточва края, пети точи другия край, за да пасне на главата.“ Благодарение на специализацията, насочена към конкретни функции, всеки служител се превръща във висококвалифициран специалист в своята тясна задача, което води до повишаване на ефективността на процесите. Продукцията на работник се увеличава многократно и фабриката става по-ефективна в производството на карфици.

Това разделение на труда по функционалност е толкова вкоренено в съзнанието ни дори днес, че бързо организирахме нашите екипи по съответния начин. Data Science не е изключение. Сложните алгоритмични бизнес възможности изискват множество работни функции, така че компаниите обикновено създават екипи от специалисти: изследователи, инженери по данни, инженери по машинно обучение, учени по причина и следствие и т.н. Работата на специалистите се координира от продуктовия мениджър с прехвърляне на функции по начин, който наподобява фабрика за игли: „един получава данните, друг ги моделира, трети ги изпълнява, четвърти измерва“ и т.н.

Уви, не трябва да оптимизираме нашите екипи за Data Science, за да подобрим производителността. Но правите това, когато разбирате какво произвеждате: щифтове или нещо друго и просто се стремите да увеличите ефективността. Целта на поточните линии е да изпълнят дадена задача. Ние знаем точно какво искаме – щифтове (като в примера на Смит), но може да се посочи всеки продукт или услуга, в които изискванията описват напълно всички аспекти на продукта и неговото поведение. Ролята на служителите е да изпълняват тези изисквания възможно най-ефективно.

Но целта на Data Science не е да изпълнява задачи. По-скоро целта е да се проучат и развият силни нови бизнес възможности. Алгоритмични продукти и услуги като системи за препоръки, взаимодействие с клиенти, класифициране на стилови предпочитания, размери, дизайн на облекло, логистична оптимизация, откриване на сезонни тенденции и много други не могат да бъдат разработени предварително. Те трябва да се изучават. Няма чертежи за възпроизвеждане, това са нови възможности с присъща несигурност. Коефициенти, модели, типове модели, хиперпараметри, всички необходими елементи трябва да бъдат научени чрез експериментиране, проба и грешка и повторение. С щифтовете обучението и дизайнът се извършват преди производството. С Data Science вие учите докато го правите, а не преди това.

Във фабрика за карфици, когато обучението е на първо място, ние нито очакваме, нито искаме работниците да импровизират върху която и да е характеристика на продукта, освен за подобряване на производствената ефективност. Специализирането на задачите има смисъл, защото води до ефективност на процеса и последователност на производството (без промени в крайния продукт).

Но когато продуктът все още се развива и целта е обучение, специализацията пречи на нашите цели в следните случаи:

1. Увеличава разходите за координация.

Тоест тези разходи, които се натрупват през времето, прекарано в общуване, обсъждане, обосноваване и приоритизиране на работата, която трябва да бъде свършена. Тези разходи се увеличават суперлинейно с броя на участващите хора. (Както Дж. Ричард Хекман ни научи, броят на отношенията r нараства подобно на функцията на броя на членовете n според това уравнение: r = (n^2-n)/2. И всяко отношение разкрива някакво количество от отношение на разходите.) Когато изследователите на данни са организирани по функции, на всеки етап, с всяка промяна, всяко предаване и т.н., са необходими много специалисти, което увеличава разходите за координация. Например специалистите по статистически модели, които искат да експериментират с нови функции, ще трябва да се координират с инженерите по данни, които добавят към наборите от данни всеки път, когато искат да опитат нещо ново. По същия начин, всеки нов обучен модел означава, че разработчикът на модела ще има нужда от някой, с когото да координира, за да го пусне в производство. Разходите за координиране действат като цена за итерация, което ги прави по-трудни и скъпи и е по-вероятно да доведат до изоставяне на изследването. Това може да попречи на ученето.

2. Затруднява времето за чакане.

Още по-плашещо от разходите за координация е загубата на време между работните смени. Докато разходите за координация обикновено се измерват в часове - времето, необходимо за провеждане на срещи, дискусии, прегледи на дизайна - времето за изчакване обикновено се измерва в дни, седмици или дори месеци! Графиците на функционалните специалисти са трудни за балансиране, тъй като всеки специалист трябва да бъде разпределен в множество проекти. Едночасова среща за обсъждане на промени може да отнеме седмици, за да изглади работния процес. И след съгласуване на промените е необходимо да се планира самата работа в контекста на много други проекти, които заемат работното време на специалистите. Работата, включваща корекции на код или проучване, което отнема само няколко часа или дни, може да отнеме много повече време, преди ресурсите да станат налични. Дотогава повторението и обучението са спрени.

3. Стеснява контекста.

Разделението на труда може изкуствено да ограничи обучението, като възнаграждава хората за това, че остават в своята специалност. Например учен изследовател, който трябва да остане в обхвата на своята функционалност, ще фокусира енергията си върху експериментиране с различни типове алгоритми: регресия, невронни мрежи, произволна гора и т.н. Разбира се, добрият избор на алгоритъм може да доведе до постепенни подобрения, но обикновено може да се спечели много повече от други дейности, като например интегриране на нови източници на данни. По същия начин ще помогне за разработването на модел, който използва всяка частица от обяснителната сила, присъща на данните. Неговата сила обаче може да се крие в промяната на целевата функция или облекчаване на определени ограничения. Това е трудно да се види или направи, когато нейната работа е ограничена. Тъй като техническият учен е специализиран в оптимизирането на алгоритми, той е много по-малко вероятно да направи нещо друго, дори и да носи значителни ползи.

За да назовем знаците, които се появяват, когато екипите за наука за данни действат като фабрики за щифтове (например при прости актуализации на състоянието): „изчакване на промени в конвейера на данни“ и „изчакване на ресурси за ML Eng“ са често срещани блокери. Вярвам обаче, че по-опасното влияние е това, което не забелязвате, защото не можете да съжалявате за това, което още не знаете. Безупречното изпълнение и самодоволството, получено от постигането на ефективност на процесите, могат да маскират истината, че организациите не са наясно с ползите от обучението, които пропускат.

Решението на този проблем, разбира се, е да се отървете от метода на фабричния щифт. За да се насърчат ученето и итерацията, ролите на учените по данни трябва да бъдат общи, но с широки отговорности, независими от техническата функция, т.е. да организират учените по данни така, че да са оптимизирани за учене. Това означава наемане на „специалисти с пълен набор“ – общи специалисти, които могат да изпълняват различни функции, от концепция до моделиране, внедряване до измерване. Важно е да се отбележи, че не предполагам, че наемането на пълен набор от таланти трябва да намали броя на служителите. По-скоро просто ще предположа, че когато са организирани по различен начин, техните стимули са по-добре съобразени с ползите от обучението и представянето. Например, да приемем, че имате екип от трима души с три бизнес умения. Във фабриката за карфици всеки техник ще посвети една трета от времето си на всяка работна задача, тъй като никой друг не може да свърши неговата работа. В пълен стек всеки генералист е изцяло посветен на целия бизнес процес, мащабиране и обучение.

С по-малко хора, поддържащи производствения цикъл, координацията е намалена. Генералният специалист се движи плавно между функциите, като разширява тръбопровода за данни, за да добави повече данни, изпробвайки нови функции в моделите, внедрявайки нови версии в производството за причинно-следствени измервания и повтаряйки стъпките толкова бързо, колкото се появят нови идеи. Разбира се, комбито изпълнява различни функции последователно, а не паралелно. Все пак това е само един човек. Изпълнението на задача обаче обикновено отнема само част от времето, необходимо за достъп до друг специализиран ресурс. Така времето за итерация намалява.

Нашият общ специалист може да не е толкова квалифициран като специалист в определена длъжност, но ние не се стремим към функционално съвършенство или малки постепенни подобрения. По-скоро се стремим да учим и откриваме все повече и повече професионални предизвикателства с постепенно въздействие. С холистичен контекст за цялостно решение той вижда възможности, които един специалист би пропуснал. Той има повече идеи и повече възможности. Той също се проваля. Въпреки това, цената на провала е ниска, а ползите от ученето са големи. Тази асиметрия насърчава бързата итерация и възнаграждава ученето.

Важно е да се отбележи, че степента на автономност и разнообразие от умения, предоставени на учените с пълен набор, до голяма степен зависи от устойчивостта на платформата за данни, върху която да работят. Една добре проектирана платформа за данни абстрахира специалистите по данни от сложността на контейнеризацията, разпределената обработка, автоматичното прехвърляне при отказ и други съвременни компютърни концепции. В допълнение към абстракцията, стабилната платформа за данни може да осигури безпроблемна връзка с експериментална инфраструктура, да автоматизира наблюдението и предупрежденията, да позволи автоматично мащабиране и визуализация на алгоритмични резултати и отстраняване на грешки. Тези компоненти са проектирани и изградени от инженерите на платформата за данни, което означава, че не се предават от специалиста по данни на екипа за разработка на платформата за данни. Специалистът по Data Science е този, който отговаря за целия код, използван за работата на платформата.

Аз също някога се интересувах от функционалното разделение на труда, използвайки ефективността на процесите, но чрез проба и грешка (няма по-добър начин за учене) открих, че типичните роли по-добре улесняват ученето и иновациите и предоставят правилните показатели: откриване и изграждане на много повече бизнес възможности от специализиран подход. (По-ефективен начин да науча за този подход към организирането от пробите и грешките, през които преминах, е да прочетете книгата на Ейми Едмъндсън Екипно сътрудничество: Как организациите се учат, правят иновации и се конкурират в икономиката на знанието).

Има някои важни допускания, които могат да направят този подход за организиране повече или по-малко надежден в някои компании. Процесът на итерация намалява разходите за проба и грешка. Ако цената на грешките е висока, може да искате да ги намалите (но това не се препоръчва за медицински приложения или производство). Освен това, ако имате работа с петабайти или екзабайти данни, може да е необходима специализация в инженеринг на данни. По същия начин, ако поддържането на онлайн бизнес възможности и тяхната наличност е по-важно от подобряването им, функционалното съвършенство може да надделее над ученето. И накрая, моделът с пълен стек разчита на мненията на хора, които знаят за него. Те не са еднорози; можете да ги намерите или да ги приготвите сами. Те обаче са в голямо търсене и привличането и задържането им ще изисква конкурентно възнаграждение, силни корпоративни ценности и предизвикателна работа. Уверете се, че вашата фирмена култура може да поддържа това.

Дори и с всичко казано, аз вярвам, че моделът с пълен стак осигурява най-добрите начални условия. Започнете с тях и след това съзнателно преминете към функционално разделение на труда само когато е абсолютно необходимо.

Има и други недостатъци на функционалната специализация. Това може да доведе до загуба на отговорност и пасивност от страна на работниците. Самият Смит критикува разделението на труда, като предполага, че то води до притъпяване на таланта, т.е. работниците стават невежи и затворени, тъй като техните роли са ограничени до няколко повтарящи се задачи. Докато специализацията може да осигури ефективност на процеса, е по-малко вероятно да вдъхнови работниците.

На свой ред разнообразните роли осигуряват всички неща, които стимулират удовлетворението от работата: автономност, майсторство и цел. Автономията е, че те не зависят от нищо, за да постигнат успех. Майсторството се крие в силни конкурентни предимства. А чувството за цел се крие във възможността да окажат влияние върху бизнеса, който създават. Ако можем да накараме хората да се вълнуват от работата им и да окажем голямо влияние върху компанията, тогава всичко останало ще си дойде на мястото.

Източник: www.habr.com