Зошто на тимовите на Data Science им требаат генералисти, а не специјалисти

ХИРОШИ ВАТАНАБЕ/ГЕТИ СЛИКИ

Во Богатството на нациите, Адам Смит покажува како поделбата на трудот станува главен извор на зголемена продуктивност. Пример е монтажната линија на фабрика за иглички: „Еден работник ја влече жицата, друг ја исправа, третиот ја сече, четвртиот го изострува крајот, петтиот го меле другиот крај за да одговара на главата“. Благодарение на специјализацијата фокусирана на специфични функции, секој вработен станува висококвалификуван специјалист во својата тесна задача, што доведува до зголемена ефикасност на процесот. Производството по работник се зголемува многукратно, а фабриката станува поефикасна во производството на пинови.

Оваа поделба на трудот по функционалност е толку вкоренета во нашите умови дури и денес што брзо ги организиравме нашите тимови соодветно. Науката за податоци не е исклучок. Комплексните алгоритамски деловни способности бараат повеќе работни функции, така што компаниите обично создаваат тимови од специјалисти: истражувачи, инженери за податоци, инженери за машинско учење, научници од причина и последица итн. Работата на специјалистите ја координира менаџерот на производи со пренос на функции на начин што наликува на фабрика за пинови: „едно лице ги прима податоците, друго ги моделира, трето ги извршува, четврто мери“ и така натаму.

За жал, не треба да ги оптимизираме нашите тимови за наука за податоци за да ја подобриме продуктивноста. Сепак, ова го правите кога разбирате што произведувате: иглички или нешто друго и едноставно се трудите да ја зголемите ефикасноста. Целта на склопните линии е да се заврши задачата. Ние точно знаеме што сакаме - иглички (како во примерот на Смит), но може да се спомене секој производ или услуга во која барањата целосно ги опишуваат сите аспекти на производот и неговото однесување. Улогата на вработените е да ги исполнат овие барања што е можно поефикасно.

Но, целта на Data Science не е да ги заврши задачите. Наместо тоа, целта е да се истражат и развијат силни нови деловни можности. Алгоритамските производи и услуги како што се системи за препораки, интеракции со клиенти, класификација на стилски преференции, големина, дизајн на облека, оптимизација на логистиката, откривање сезонски трендови и многу повеќе не можат однапред да се развијат. Тие мора да се изучуваат. Нема планови за повторување, ова се нови можности со вродена несигурност. Коефициентите, моделите, типовите модели, хиперпараметрите, сите потребни елементи мора да се научат преку експериментирање, обиди и грешки и повторување. Со иглички, обуката и дизајнот се прават пред производството. Со Data Science, учите како што учите, а не порано.

Во фабриката за иглички, кога обуката е на прво место, ниту очекуваме, ниту сакаме работниците да импровизираат на која било карактеристика на производот, освен да ја подобрат ефикасноста на производството. Специјализирањето на задачите има смисла бидејќи доведува до ефикасност на процесот и конзистентност на производството (без промени во финалниот производ).

Но, кога производот сè уште се развива, а целта е обука, специјализацијата се меша со нашите цели во следниве случаи:

1. Ги зголемува трошоците за координација.

Односно оние трошоци кои се акумулираат во текот на времето поминато во комуникација, дискутирање, оправдување и приоретизирање на работата што треба да се заврши. Овие трошоци се размеруваат суперлинеарно со бројот на вклучени луѓе. (Како што нè научи Џ. Ричард Хакман, бројот на врски r расте слично на функцијата на бројот на членовите n според оваа равенка: r = (n^2-n)/2. И секоја врска открива одредена количина од однос на трошоците.) Кога научниците за податоци се организирани по функција, во секоја фаза, со секоја промена, секое предавање итн., потребни се многу специјалисти, што ги зголемува трошоците за координација. На пример, статистички моделари кои сакаат да експериментираат со нови функции ќе мора да се координираат со инженерите за податоци кои додаваат во збирките на податоци секогаш кога ќе сакаат да пробаат нешто ново. Исто така, секој обучен нов модел значи дека на развивачот на моделот ќе му треба некој со кој ќе се координира за да го пушти во производство. Трошоците за координација делуваат како цена за повторување, што ги прави потешки и поскапи и со поголема веројатност да предизвикаат напуштање на студијата. Ова може да го попречи учењето.

2. Го отежнува времето на чекање.

Уште позастрашувачки од трошоците за координација е изгубеното време помеѓу работните смени. Додека трошоците за координација обично се мерат во часови - времето потребно за да се спроведат состаноци, дискусии, прегледи на дизајнот - времето на чекање обично се мери во денови, недели или дури месеци! Тешко е да се избалансираат распоредите на функционалните специјалисти бидејќи секој специјалист мора да биде распределен низ повеќе проекти. Едночасовен состанок за да се разговара за промените може да потрае неколку недели за да се изедначи работниот тек. И откако ќе се договорат промените, неопходно е да се планира самата вистинска работа во контекст на многу други проекти кои го окупираат работното време на специјалистите. Работата што вклучува поправки на кодови или истражување за кое се потребни само неколку часа или денови може да потрае многу подолго пред да станат достапни ресурсите. Дотогаш, повторувањето и учењето се суспендирани.

3. Го стеснува контекстот.

Поделбата на трудот може вештачки да го ограничи учењето со наградување на луѓето за останување во нивната специјалност. На пример, научник за истражување кој мора да остане во опсегот на неговата функционалност ќе ја фокусира својата енергија на експериментирање со различни видови алгоритми: регресија, невронски мрежи, случајна шума итн. Се разбира, добрите избори на алгоритам може да доведат до постепено подобрувања, но обично може многу повеќе да се добие од други активности, како што е интегрирањето на нови извори на податоци. Исто така, ќе помогне да се развие модел кој ја искористува секоја трошка објаснувачка моќ својствена за податоците. Сепак, неговата сила може да лежи во промената на целната функција или релаксирање на одредени ограничувања. Ова е тешко да се види или направи кога нејзината работа е ограничена. Бидејќи техничкиот научник е специјализиран за оптимизирање на алгоритми, многу е помала веројатноста да направи нешто друго, дури и ако тоа носи значителни придобивки.

За да ги именувате знаците што се појавуваат кога тимовите за наука за податоци дејствуваат како фабрики за пинови (на пример, при едноставни ажурирања на статусот): „чекање за промени на нафтоводот на податоци“ и „чекање за ресурсите на ML Eng“ се вообичаени блокатори. Сепак, верувам дека поопасно влијание е она што не го забележувате, бидејќи не можете да жалите за она што веќе не го знаете. Беспрекорното извршување и самозадоволството добиено од постигнувањето на ефикасноста на процесот може да ја прикријат вистината дека организациите не се свесни за придобивките од учењето што ги пропуштаат.

Решението за овој проблем, се разбира, е да се ослободиме од фабричкиот метод на пинови. За да се поттикне учењето и повторувањето, улогите на научниците за податоци треба да бидат генерички, но со широки одговорности независни од техничката функција, т.е. да ги организираат научниците за податоци за да бидат оптимизирани за учење. Ова значи ангажирање „специјалисти за целосен стак“ - генерални специјалисти кои можат да извршуваат различни функции, од концепт до моделирање, имплементација до мерење. Важно е да се напомене дека не сугерирам дека ангажирањето на целосни таленти треба да го намали бројот на вработени. Наместо тоа, едноставно ќе претпоставам дека кога тие се организирани поинаку, нивните стимулации се подобро усогласени со придобивките од учењето и перформансите. На пример, да речеме дека имате тим од тројца луѓе со три деловни вештини. Во фабриката за иглички, секој техничар ќе посвети една третина од своето време на секоја работна задача, бидејќи никој друг не може да ја работи својата работа. Во полн оџак, секој генералист е целосно посветен на целиот деловен процес, зголемување на обемот и обука.

Со помалку луѓе кои го поддржуваат производниот циклус, координацијата е намалена. Генералистот течно се движи помеѓу карактеристиките, проширувајќи ја линијата на податоци за да додаде повеќе податоци, испробува нови функции во моделите, распоредува нови верзии во производството за каузални мерења и повторува чекори веднаш штом ќе се појават нови идеи. Се разбира, караванот извршува различни функции последователно, а не паралелно. На крајот на краиштата, тоа е само една личност. Сепак, за завршување на задачата обично е потребно само дел од времето потребно за пристап до друг специјализиран ресурс. Значи, времето на повторување се намалува.

Нашиот генералист можеби не е толку вешт како специјалист за одредена работна функција, но ние не се стремиме кон функционално совршенство или мали постепено подобрувања. Наместо тоа, ние се стремиме да учиме и да откриваме се повеќе и повеќе професионални предизвици со постепено влијание. Со холистички контекст за целосно решение, тој гледа можности што специјалист би ги пропуштил. Тој има повеќе идеи и повеќе можности. И тој не успева. Сепак, цената на неуспехот е мала, а придобивките од учењето се високи. Оваа асиметрија промовира брзо повторување и го наградува учењето.

Важно е да се забележи дека количината на автономија и разновидност на вештините што им се даваат на научниците во голема мера зависи од робусноста на податочната платформа на која ќе работат. Добро дизајнираната платформа за податоци ги апстрахира научниците за податоци од сложеноста на контејнеризацијата, дистрибуираната обработка, автоматското откажување и други напредни концепти за компјутери. Покрај апстракцијата, робусната платформа за податоци може да обезбеди беспрекорно поврзување со експерименталната инфраструктура, да го автоматизира следењето и предупредувањето, да овозможи автоматско скалирање и визуелизација на алгоритамските резултати и дебагирање. Овие компоненти се дизајнирани и изградени од инженерите на платформата за податоци, што значи дека тие не се пренесуваат од научникот за податоци на тимот за развој на податочната платформа. Специјалистот за Data Science е одговорен за целиот код што се користи за водење на платформата.

И јас некогаш бев заинтересиран за функционалната поделба на трудот користејќи ја ефикасноста на процесот, но преку обиди и грешки (нема подобар начин за учење), открив дека типичните улоги подобро го олеснуваат учењето и иновациите и ги обезбедуваат вистинските метрики: откривање и градење многу повеќе деловни можности отколку специјализиран пристап. (Поефективен начин да се научи за овој пристап кон организирање од обидите и грешките низ кои поминав е да ја прочитам книгата Тимска соработка на Ејми Едмондсон: Како организациите учат, иновираат и се натпреваруваат во економијата на знаењето).

Постојат некои важни претпоставки кои може да го направат овој пристап за организирање повеќе или помалку сигурен во некои компании. Процесот на повторување ги намалува трошоците за обиди и грешки. Ако цената на грешката е висока, можеби ќе сакате да ги намалите (но ова не се препорачува за медицински апликации или производство). Дополнително, ако се занимавате со петабајти или егзабајти податоци, може да биде потребна специјализација за инженерство на податоци. Исто така, ако одржувањето на онлајн деловните способности и нивната достапност е поважно од нивното подобрување, функционалната извонредност може да го надмине учењето. Конечно, моделот со целосен оџак се потпира на мислењата на луѓето кои знаат за него. Тие не се еднорози; можете да ги најдете или сами да ги подготвите. Сепак, тие се многу барани и нивното привлекување и задржување ќе бара конкурентна компензација, силни корпоративни вредности и предизвикувачка работа. Погрижете се вашата компаниска култура да го поддржи ова.

Дури и со сето тоа кажано, верувам дека моделот со целосен оџак обезбедува најдобри услови за стартување. Започнете со нив, а потоа свесно преминете кон функционална поделба на трудот само кога е апсолутно неопходно.

Постојат и други недостатоци на функционалната специјализација. Ова може да доведе до губење на одговорност и пасивност од страна на работниците. Самиот Смит ја критикува поделбата на трудот, сугерирајќи дека тоа води до затапење на талентот, т.е. работниците стануваат неуки и повлечени бидејќи нивните улоги се ограничени на неколку повторливи задачи. Иако специјализацијата може да обезбеди ефикасност на процесот, помала е веројатноста да ги инспирира работниците.

За возврат, разноврсните улоги ги обезбедуваат сите работи кои го поттикнуваат задоволството од работата: автономија, мајсторство и цел. Автономија е тоа што тие не зависат од ништо за да постигнат успех. Мајсторството лежи во силните конкурентски предности. А чувството за цел лежи во можноста да се има влијание врз бизнисот што го создаваат. Ако можеме да ги возбудиме луѓето за нивната работа и да имаме големо влијание врз компанијата, тогаш сè друго ќе си дојде на свое место.

Извор: www.habr.com