Зашто тимовима науке о подацима требају генералисти, а не специјалисти

ХИРОСХИ ВАТАНАБЕ/ГЕТТИ ИМАГЕС

У Богатству народа Адам Смит показује како подела рада постаје главни извор повећане продуктивности. Пример је монтажна линија фабрике иглица: „Један радник вуче жицу, други је исправља, трећи је сече, четврти оштри крај, пети бруси други крај да стане у главу.“ Захваљујући специјализацији усмереној на специфичне функције, сваки запослени постаје висококвалификовани специјалиста у свом уском задатку, што доводи до повећања ефикасности процеса. Производња по раднику се вишеструко повећава, а фабрика постаје ефикаснија у производњи игала.

Ова подела рада према функционалности је толико укорењена у нашим умовима чак и данас да смо брзо организовали своје тимове у складу са тим. Наука о подацима није изузетак. Комплексне алгоритамске пословне могућности захтевају више радних функција, тако да компаније обично стварају тимове стручњака: истраживача, инжењера података, инжењера машинског учења, научника узрока и последица итд. Рад стручњака координира менаџер производа са преносом функција на начин који подсећа на фабрику пинова: „једна особа прима податке, друга их моделира, трећа извршава, четврта мери” и тако даље,

Нажалост, не би требало да оптимизујемо наше тимове за науку података да бисмо побољшали продуктивност. Међутим, то радите када схватите шта производите: игле или нешто друго, и једноставно тежите повећању ефикасности. Сврха монтажних линија је да се изврши задатак. Знамо тачно шта желимо – игле (као у Смитовом примеру), али се може поменути било који производ или услуга у којој захтеви у потпуности описују све аспекте производа и његово понашање. Улога запослених је да испуњавају ове захтеве што ефикасније.

Али циљ науке о подацима није да заврши задатке. Уместо тога, циљ је истражити и развити снажне нове пословне могућности. Алгоритамски производи и услуге као што су системи препорука, интеракције са купцима, класификација стилских преференција, димензионисање, дизајн одеће, оптимизација логистике, детекција сезонских трендова и још много тога не могу се унапред развити. Морају се проучавати. Не постоје нацрти за реплицирање, то су нове могућности са инхерентном неизвесношћу. Коефицијенти, модели, типови модела, хиперпараметри, сви потребни елементи морају се научити експериментисањем, покушајима и грешкама и понављањем. Са иглама, обука и дизајн се раде пре производње. Са науком о подацима учите као што радите, а не пре.

У фабрици иглица, када је обука на првом месту, нити очекујемо нити желимо да радници импровизују на било којој особини производа осим да побољшају ефикасност производње. Специјализација задатака има смисла јер доводи до ефикасности процеса и конзистентности производње (без промена у финалном производу).

Али када се производ још увек развија, а циљ је обука, специјализација омета наше циљеве у следећим случајевима:

1. Повећава трошкове координације.

Односно, они трошкови који се акумулирају током времена проведеног у комуникацији, дискусији, правдању и одређивању приоритета посла који треба да се уради. Ови трошкови расту суперлинеарно са бројем људи који су укључени. (Као што нас је научио Ј. Рицхард Хацкман, број односа р расте слично функцији броја појмова н према овој једначини: р = (н^2-н)/2. И сваки однос открива одређену количину однос трошкова.) Када су научници података организовани по функцијама, у свакој фази, са сваком променом, сваком примопредајем итд., потребно је много стручњака, што повећава трошкове координације. На пример, статистички моделери који желе да експериментишу са новим функцијама мораће да координирају са инжењерима података који додају скупове података сваки пут када желе да испробају нешто ново. Исто тако, сваки нови модел обучен значи да ће програмеру модела требати неко са ким ће координирати да би га пустио у производњу. Трошкови координације делују као цена за понављање, чинећи их тежим и скупљим и вероватнијим да ће довести до напуштања студије. Ово може ометати учење.

2. Отежава време чекања.

Још више застрашујуће од трошкова координације је време изгубљено између радних смена. Док се трошкови координације обично мере у сатима – времену које је потребно за одржавање састанака, дискусија, прегледа дизајна – време чекања се обично мери данима, недељама или чак месецима! Распореде функционалних стручњака је тешко избалансирати јер сваки специјалиста мора бити распоређен на више пројеката. Једносатни састанак на којем се разговара о променама може потрајати недељама да би се изгладио ток посла. А након договора о изменама, потребно је планирати сам рад у контексту многих других пројеката који заузимају радно време специјалиста. Рад који укључује исправке кода или истраживање за које је потребно само неколико сати или дана може потрајати много дуже пре него што ресурси постану доступни. До тада, понављање и учење су обустављени.

3. Сужава контекст.

Подела рада може вештачки да ограничи учење награђивањем људи што су остали у својој специјалности. На пример, научник који мора да остане у оквиру своје функционалности ће своју енергију усмерити на експериментисање са различитим типовима алгоритама: регресијом, неуронским мрежама, насумичном шумом и тако даље. Наравно, добар избор алгоритама може довести до инкременталних побољшања, али обично се много више може добити од других активности, као што је интеграција нових извора података. Исто тако, то ће помоћи у развоју модела који искоришћава сваки део објашњавајуће моћи својствене подацима. Међутим, његова снага може бити у промени циљне функције или ублажавању одређених ограничења. То је тешко видети или урадити када је њен рад ограничен. Пошто је технички научник специјализован за оптимизацију алгоритама, много је мање вероватно да ће урадити било шта друго, чак и ако то доноси значајне користи.

Да именујемо знакове који се појављују када тимови за науку података делују као фабрике пинова (на пример, у једноставним ажурирањима статуса): „чека се промене цевовода података“ и „чека се ресурси МЛ Енг“ су уобичајени блокатори. Међутим, верујем да је опаснији утицај оно што не приметите, јер не можете да жалите за оним што већ не знате. Беспрекорно извршење и самозадовољство стечено постизањем ефикасности процеса могу прикрити истину да организације нису свесне предности учења које пропуштају.

Решење овог проблема је, наравно, да се решите фабричке методе игле. Да би се подстакло учење и понављање, улоге научника података треба да буду генеричке, али са широким одговорностима независним од техничке функције, тј. организовати научнике података тако да буду оптимизовани за учење. То значи ангажовање „стручњака за комплетан стацк“ — општих стручњака који могу да обављају различите функције, од концепта до моделирања, имплементације до мерења. Важно је напоменути да не сугеришем да би запошљавање комплетних талената требало да смањи број запослених. Уместо тога, једноставно ћу претпоставити да када су другачије организовани, њихови подстицаји су боље усклађени са предностима учења и учинка. На пример, рецимо да имате тим од три особе са три пословне вештине. У фабрици иглица, сваки техничар ће посветити трећину свог времена сваком послу, јер нико други не може да ради његов посао. У пуној групи, сваки генерални стручњак је у потпуности посвећен целом пословном процесу, проширењу и обуци.

Са мање људи који подржавају производни циклус, координација је смањена. Генералиста се флуидно креће између функција, проширујући цевовод података да би додао више података, испробавајући нове функције у моделима, постављајући нове верзије у производњу ради каузалних мерења и понављајући кораке чим се нове идеје појаве. Наравно, караван обавља различите функције узастопно, а не паралелно. На крају крајева, то је само једна особа. Међутим, завршетак задатка обично траје само делић времена потребног за приступ другом специјализованом ресурсу. Дакле, време понављања се смањује.

Наш генерални стручњак можда није вешт као специјалиста у одређеној функцији посла, али ми не тежимо функционалном савршенству или малим постепеним побољшањима. Уместо тога, настојимо да учимо и откривамо све више професионалних изазова са постепеним утицајем. Са холистичким контекстом за комплетно решење, он види могућности које би специјалиста пропустио. Он има више идеја и више могућности. И он не успева. Међутим, цена неуспеха је ниска, а користи од учења велике. Ова асиметрија промовише брзо понављање и награђује учење.

Важно је напоменути да количина аутономије и разноликости вештина која се даје научницима са пуним стеком у великој мери зависи од робусности платформе података на којој ће радити. Добро дизајнирана платформа података апстрахује научнике података од сложености контејнеризације, дистрибуиране обраде, аутоматског преласка на грешку и других напредних рачунарских концепата. Поред апстракције, робусна платформа података може да обезбеди беспрекорну повезаност са експерименталном инфраструктуром, аутоматизује праћење и упозорење, омогући аутоматско скалирање и визуелизацију алгоритамских резултата и отклањање грешака. Ове компоненте су дизајниране и направљене од стране инжењера платформе података, што значи да се не преносе са научника података на тим за развој платформе података. Специјалиста за науку података је тај који је одговоран за сав код који се користи за покретање платформе.

И мене је некада занимала функционална подела рада користећи ефикасност процеса, али путем покушаја и грешака (не постоји бољи начин за учење) открио сам да типичне улоге боље олакшавају учење и иновације и пружају праве метрике: откривање и изградња много више пословних могућности од специјализованог приступа. (Ефикаснији начин да научим о овом приступу организовању од покушаја и грешака кроз које сам прошао је да прочитам књигу Ејми Едмондсон Тимска сарадња: Како организације уче, иновирају и такмиче се у економији знања).

Постоје неке важне претпоставке које могу учинити овај приступ организовању мање или више поузданим у неким компанијама. Процес итерације смањује цену покушаја и грешака. Ако је цена грешке висока, можда ћете желети да их смањите (али ово се не препоручује за медицинске примене или производњу). Поред тога, ако имате посла са петабајтима или ексабајтима података, може бити потребна специјализација за инжењеринг података. Исто тако, ако је одржавање могућности пословања на мрежи и њихове доступности важније од њиховог побољшања, функционална изврсност може надмашити учење. Коначно, модел пуног стека се ослања на мишљења људи који знају за њега. Они нису једнорози; можете их пронаћи или сами припремити. Међутим, они су веома тражени и њихово привлачење и задржавање захтеваће конкурентну надокнаду, јаке корпоративне вредности и изазован рад. Уверите се да култура ваше компаније то може подржати.

Чак и уз све то, верујем да модел пуног стека пружа најбоље почетне услове. Почните са њима, а затим свесно идите ка функционалној подели рада само када је то апсолутно неопходно.

Постоје и други недостаци функционалне специјализације. То може довести до губитка одговорности и пасивности радника. Сам Смит критикује поделу рада, сугеришући да она води отупљивању талента, тј. радници постају неупућени и повучени јер су њихове улоге ограничене на неколико задатака који се понављају. Иако специјализација може да обезбеди ефикасност процеса, мање је вероватно да ће инспирисати раднике.

Заузврат, разноврсне улоге пружају све ствари које подстичу задовољство послом: аутономију, мајсторство и сврху. Аутономија је у томе што не зависе ни од чега да би постигли успех. Мајсторство лежи у јаким конкурентским предностима. А смисао сврхе лежи у прилици да имају утицаја на посао који креирају. Ако можемо да узбуђујемо људе због њиховог посла и имамо велики утицај на компанију, онда ће све остало доћи на своје место.

Извор: ввв.хабр.цом