Ինչու՞ են տվյալների գիտության թիմերին անհրաժեշտ ընդհանուր մասնագետներ, այլ ոչ թե մասնագետներ

HIROSHI WATANABE/GETTY IMAGES

«Ազգերի հարստությունը» գրքում Ադամ Սմիթը ցույց է տալիս, թե ինչպես է աշխատանքի բաժանումը դառնում արտադրողականության բարձրացման հիմնական աղբյուրը: Օրինակ՝ քորոցների գործարանի հավաքման գիծը. «Մի աշխատողը քաշում է մետաղալարը, մյուսն ուղղում է այն, երրորդը կտրում է այն, չորրորդը սրում է ծայրը, հինգերորդը մանրացնում է մյուս ծայրը, որպեսզի հարմարվի գլխին»։ Հատուկ գործառույթների վրա կենտրոնացած մասնագիտացման շնորհիվ յուրաքանչյուր աշխատող դառնում է բարձր որակավորում ունեցող մասնագետ իր նեղ առաջադրանքում, ինչը հանգեցնում է գործընթացի արդյունավետության բարձրացմանը: Մեկ աշխատողի հաշվով արտադրանքը բազմապատիկ է ավելանում, և գործարանն ավելի արդյունավետ է դառնում քորոցներ արտադրելու հարցում:

Աշխատանքի այս բաժանումն ըստ ֆունկցիոնալության այնքան արմատացած է մեր մտքերում նույնիսկ այսօր, որ մենք արագորեն կազմակերպեցինք մեր թիմերը համապատասխանաբար: Տվյալների գիտությունը բացառություն չէ: Բարդ ալգորիթմական բիզնես հնարավորությունները պահանջում են բազմաթիվ աշխատանքային գործառույթներ, ուստի ընկերությունները սովորաբար ստեղծում են մասնագետների թիմեր՝ հետազոտողներ, տվյալների ինժեներներ, մեքենայական ուսուցման ինժեներներ, պատճառահետևանքային գիտնականներ և այլն: Մասնագետների աշխատանքը համակարգվում է արտադրանքի մենեջերի կողմից՝ գործառույթների փոխանցումով, որը հիշեցնում է փին ֆաբրիկա՝ «մեկը ստանում է տվյալները, մյուսը՝ մոդելավորում, երրորդը՝ կատարում, չորրորդը՝ չափումներ» և այլն

Ավաղ, մենք չպետք է օպտիմիզացնենք մեր տվյալների գիտության թիմերը՝ արտադրողականությունը բարելավելու համար: Այնուամենայնիվ, դուք դա անում եք, երբ հասկանում եք, թե ինչ եք արտադրում՝ քորոցներ կամ այլ բան, և պարզապես ձգտում եք բարձրացնել արդյունավետությունը: Հավաքման գծերի նպատակն է կատարել առաջադրանքը: Մենք հստակ գիտենք, թե ինչ ենք ուզում՝ քորոցներ (ինչպես Սմիթի օրինակում), բայց կարելի է նշել ցանկացած ապրանք կամ ծառայություն, որտեղ պահանջները լիովին նկարագրում են ապրանքի բոլոր ասպեկտները և նրա վարքագիծը: Աշխատակիցների դերը այս պահանջները հնարավորինս արդյունավետ կերպով կատարելն է:

Սակայն Data Science-ի նպատակը առաջադրանքները կատարելը չէ: Ավելի շուտ, նպատակն է բացահայտել և զարգացնել հզոր նոր բիզնես հնարավորություններ: Ալգորիթմական ապրանքներն ու ծառայությունները, ինչպիսիք են առաջարկությունների համակարգերը, հաճախորդների փոխազդեցությունը, ոճի նախասիրությունների դասակարգումը, չափերը, հագուստի ձևավորումը, լոգիստիկայի օպտիմալացումը, սեզոնային միտումների հայտնաբերումը և շատ ավելին, չեն կարող նախապես մշակվել: Դրանք պետք է ուսումնասիրվեն։ Չկան կրկնօրինակման պլաններ, դրանք նոր հնարավորություններ են՝ բնորոշ անորոշությամբ: Գործակիցները, մոդելները, մոդելների տեսակները, հիպերպարամետրերը, բոլոր անհրաժեշտ տարրերը պետք է սովորել փորձերի, փորձարկման և սխալի և կրկնության միջոցով: Կապումներով, ուսուցումն ու դիզայնը կատարվում են նախապես արտադրությունը: Տվյալների գիտությամբ դուք սովորում եք այնպես, ինչպես անում եք, ոչ նախկինում:

Պինտերի գործարանում, երբ վերապատրաստումն առաջին տեղում է, մենք ոչ ակնկալում ենք, ոչ էլ ցանկանում, որ աշխատողները իմպրովիզներ կատարեն արտադրանքի որևէ հատկանիշի վերաբերյալ, բացի արտադրության արդյունավետությունը բարելավելուց: Մասնագիտացման առաջադրանքները իմաստ ունեն, քանի որ դա հանգեցնում է գործընթացի արդյունավետության և արտադրության հետևողականության (առանց վերջնական արտադրանքի փոփոխությունների):

Բայց երբ ապրանքը դեռ զարգանում է, և նպատակը վերապատրաստումն է, մասնագիտացումը խանգարում է մեր նպատակներին հետևյալ դեպքերում.

1. Այն մեծացնում է համակարգման ծախսերը:

Այսինքն՝ այն ծախսերը, որոնք կուտակվում են շփվելու, քննարկելու, հիմնավորելու և առաջնահերթ դարձնելու համար ծախսվող ժամանակի ընթացքում, որը պետք է կատարվի։ Այս ծախսերը չափվում են գերգծային՝ ներգրավված մարդկանց թվով: (Ինչպես մեզ սովորեցրել է Ջ. Ռիչարդ Հեքմանը, r հարաբերությունների թիվն աճում է n տերմինների թվի ֆունկցիայի նման՝ ըստ այս հավասարման. r = (n^2-n)/2: Եվ յուրաքանչյուր հարաբերություն բացահայտում է որոշակի քանակություն: ծախսերի հարաբերություններ): Երբ տվյալների գիտնականները կազմակերպվում են ըստ գործառույթների, յուրաքանչյուր փուլում, ամեն փոփոխության, յուրաքանչյուր հանձնման և այլնի հետ, շատ մասնագետներ են պահանջվում, ինչը մեծացնում է համակարգման ծախսերը: Օրինակ, վիճակագրական մոդելավորողները, ովքեր ցանկանում են փորձարկել նոր առանձնահատկություններ, պետք է համակարգեն տվյալների ինժեներների հետ, ովքեր ամեն անգամ ավելացնում են տվյալների հավաքածուն, երբ ցանկանում են նոր բան փորձել: Նմանապես, յուրաքանչյուր նոր վերապատրաստված մոդել նշանակում է, որ մոդելի մշակողը կարիք կունենա մեկի հետ, ում հետ կհամակարգի այն արտադրության մեջ դնելու համար: Համակարգման ծախսերը գործում են որպես կրկնության գին՝ դրանք դարձնելով ավելի դժվար և թանկ, և ավելի հավանական է, որ հանգեցնի ուսումնասիրության դադարեցմանը: Սա կարող է խանգարել սովորելուն:

2. Այն դժվարացնում է սպասման ժամանակը:

Նույնիսկ ավելի սարսափելի, քան համակարգման ծախսերը, աշխատանքային հերթափոխի միջև կորցրած ժամանակն է: Մինչ համակարգման ծախսերը սովորաբար չափվում են ժամերով՝ հանդիպումների, քննարկումների, դիզայնի վերանայման համար անհրաժեշտ ժամանակը, սպասման ժամանակը սովորաբար չափվում է օրերով, շաբաթներով կամ նույնիսկ ամիսներով: Ֆունկցիոնալ մասնագետների ժամանակացույցը դժվար է հավասարակշռել, քանի որ յուրաքանչյուր մասնագետ պետք է բաշխվի բազմաթիվ նախագծերի վրա: Փոփոխությունները քննարկելու համար մեկ ժամ տևողությամբ հանդիպումը կարող է շաբաթներ տևել աշխատանքային ընթացքը հարթելու համար: Իսկ փոփոխությունները համաձայնեցնելուց հետո անհրաժեշտ է բուն աշխատանքը պլանավորել բազմաթիվ այլ նախագծերի համատեքստում, որոնք զբաղեցնում են մասնագետների աշխատաժամանակը։ Կոդի ուղղումների կամ հետազոտությունների հետ կապված աշխատանքները, որոնց ավարտը տևում է ընդամենը մի քանի ժամ կամ օր, կարող է շատ ավելի երկար տևել, մինչև ռեսուրսները հասանելի դառնան: Մինչ այդ կրկնությունն ու ուսուցումը կասեցված են։

3. Այն նեղացնում է համատեքստը:

Աշխատանքի բաժանումը կարող է արհեստականորեն սահմանափակել ուսումը` պարգևատրելով մարդկանց իրենց մասնագիտության մեջ մնալու համար: Օրինակ, հետազոտող գիտնականը, ով պետք է մնա իր ֆունկցիոնալության շրջանակում, իր էներգիան կկենտրոնացնի տարբեր տեսակի ալգորիթմների փորձերի վրա՝ ռեգրեսիա, նեյրոնային ցանցեր, պատահական անտառ և այլն: Իհարկե, լավ ալգորիթմի ընտրությունը կարող է հանգեցնել աստիճանական բարելավումների, բայց սովորաբար շատ ավելին կարելի է ձեռք բերել այլ գործողություններից, ինչպիսիք են տվյալների նոր աղբյուրների ինտեգրումը: Նմանապես, այն կօգնի մշակել մոդել, որը կօգտագործի տվյալներին բնորոշ յուրաքանչյուր բացատրական ուժ: Այնուամենայնիվ, դրա ուժը կարող է ընկած լինել օբյեկտիվ գործառույթի փոփոխության կամ որոշակի սահմանափակումների թուլացման մեջ: Սա դժվար է տեսնել կամ անել, երբ նրա աշխատանքը սահմանափակ է: Քանի որ տեխնիկական գիտնականը մասնագիտացած է ալգորիթմների օպտիմալացման մեջ, նա շատ ավելի քիչ հավանական է որևէ այլ բան անելու, նույնիսկ եթե դա զգալի օգուտներ է բերում:

Նշանները անվանելու համար, որոնք հայտնվում են, երբ տվյալների գիտության թիմերը գործում են որպես փին ֆաբրիկա (օրինակ՝ պարզ կարգավիճակի թարմացումներում). Այնուամենայնիվ, ես կարծում եմ, որ ավելի վտանգավոր ազդեցությունը այն է, ինչ դուք չեք նկատում, քանի որ չեք կարող ափսոսալ այն բանի համար, ինչ դեռ չգիտեք: Անթերի կատարումը և գործընթացի արդյունավետության հասնելու արդյունքում ձեռք բերված ինքնագոհությունը կարող են քողարկել այն ճշմարտությունը, որ կազմակերպությունները տեղյակ չեն ուսուցման առավելությունների մասին, որոնք նրանք բաց են թողնում:

Այս խնդրի լուծումը, իհարկե, գործարանային փին մեթոդից ազատվելն է։ Ուսուցումը և կրկնությունը խրախուսելու համար տվյալների գիտնականի դերերը պետք է լինեն ընդհանուր, բայց տեխնիկական գործառույթից անկախ լայն պարտականություններով, այսինքն՝ կազմակերպեն տվյալների գիտնականներին այնպես, որ նրանք օպտիմիզացված լինեն սովորելու համար: Սա նշանակում է վարձել «full stack մասնագետներ»՝ ընդհանուր մասնագետներ, որոնք կարող են կատարել տարբեր գործառույթներ՝ հայեցակարգից մինչև մոդելավորում, իրականացում մինչև չափում: Կարևոր է նշել, որ ես չեմ առաջարկում, որ լիարժեք տաղանդներ վարձելը պետք է կրճատի աշխատողների թիվը: Ավելի շուտ, ես պարզապես կենթադրեմ, որ երբ դրանք կազմակերպվում են այլ կերպ, նրանց խթաններն ավելի լավ են համընկնում սովորելու և կատարողականի առավելությունների հետ: Օրինակ, ենթադրենք, դուք ունեք երեք հոգուց բաղկացած թիմ՝ երեք բիզնես հմտություններով: Փինի գործարանում յուրաքանչյուր տեխնիկ իր ժամանակի մեկ երրորդը կհատկացնի յուրաքանչյուր աշխատանքի, քանի որ ոչ ոք չի կարող անել իր աշխատանքը: Ամբողջական փաթեթում յուրաքանչյուր ընդհանուր մասնագետ լիովին նվիրված է բիզնեսի ողջ գործընթացին, մասշտաբի բարձրացմանը և վերապատրաստմանը:

Քանի որ ավելի քիչ մարդիկ են աջակցում արտադրական ցիկլին, համակարգումը նվազում է: Գեներալիստը հոսուն կերպով շարժվում է առանձնահատկությունների միջև՝ ընդլայնելով տվյալների խողովակաշարը՝ ավելի շատ տվյալներ ավելացնելու համար, փորձելով նոր հնարավորություններ մոդելներում, գործարկելով նոր տարբերակներ՝ պատճառահետևանքային չափումների արտադրության մեջ և քայլերը կրկնելով այնքան արագ, որքան նոր գաղափարներ են ի հայտ գալիս: Իհարկե, կայանի վագոնը տարբեր գործառույթներ է կատարում հաջորդաբար, ոչ թե զուգահեռաբար։ Ի վերջո, դա ընդամենը մեկ մարդ է: Այնուամենայնիվ, առաջադրանքը կատարելը սովորաբար պահանջում է մեկ այլ մասնագիտացված ռեսուրս մուտք գործելու համար պահանջվող ժամանակի միայն մի մասը: Այսպիսով, կրկնության ժամանակը նվազում է:

Մեր գեներալիստը կարող է այնքան հմուտ չլինել, որքան մասնագետը որոշակի աշխատանքային գործառույթի մեջ, բայց մենք չենք ձգտում ֆունկցիոնալ կատարելության կամ փոքր աստիճանական բարելավումների: Ավելի շուտ, մենք ձգտում ենք սովորել և բացահայտել ավելի ու ավելի շատ մասնագիտական ​​մարտահրավերներ՝ աստիճանական ազդեցությամբ: Ամբողջական լուծման ամբողջական համատեքստով նա տեսնում է հնարավորություններ, որոնք մասնագետը բաց կթողնի: Նա ունի ավելի շատ գաղափարներ և ավելի շատ հնարավորություններ: Նա նույնպես ձախողվում է: Այնուամենայնիվ, ձախողման արժեքը ցածր է, իսկ սովորելու օգուտները՝ բարձր: Այս անհամաչափությունը նպաստում է արագ կրկնություններին և պարգևատրում է ուսուցմանը:

Կարևոր է նշել, որ ինքնավարության և հմտությունների բազմազանության չափը, որը տրամադրվում է ամբողջական սպեկտրի գիտնականներին, մեծապես կախված է տվյալների հարթակի կայունությունից, որի վրա պետք է աշխատեն: Լավ մշակված տվյալների հարթակը տվյալների գիտնականներին վերացնում է կոնտեյներացման, բաշխված մշակման, ավտոմատ ձախողման և այլ առաջադեմ հաշվողական հասկացությունների բարդություններից: Բացի աբստրակցիայից, տվյալների կայուն հարթակը կարող է անխափան կապ ապահովել փորձարարական ենթակառուցվածքի հետ, ավտոմատացնել մոնիտորինգն ու ահազանգումը, հնարավորություն տալ ալգորիթմական արդյունքների ավտոմատ մասշտաբավորման և վիզուալացման և վրիպազերծման: Այս բաղադրիչները նախագծված և կառուցված են տվյալների պլատֆորմի ինժեներների կողմից, ինչը նշանակում է, որ դրանք տվյալների գիտնականից չեն փոխանցվում տվյալների պլատֆորմի մշակման թիմին: Դա տվյալների գիտության մասնագետն է, ով պատասխանատու է հարթակը գործարկելու համար օգտագործվող բոլոր կոդի համար:

Ես նույնպես ժամանակին հետաքրքրված էի աշխատանքի ֆունկցիոնալ բաժանմամբ՝ օգտագործելով գործընթացի արդյունավետությունը, բայց փորձի և սխալի միջոցով (սովորելու ավելի լավ միջոց չկա), ես հայտնաբերեցի, որ բնորոշ դերերն ավելի լավ են նպաստում ուսումնառությանը և նորարարությանը և ապահովում են ճիշտ չափումներ. ստեղծելով շատ ավելի շատ բիզնես հնարավորություններ, քան մասնագիտացված մոտեցում: (Կազմակերպման այս մոտեցման մասին իմանալու ավելի արդյունավետ միջոց, քան փորձությունն ու սխալը, որի միջով ես անցա, Էմի Էդմոնդսոնի «Թիմային համագործակցություն. ինչպես են կազմակերպությունները սովորում, նորարարություն և մրցակցում գիտելիքի տնտեսության մեջ» գիրքը կարդալն է:

Կան մի քանի կարևոր ենթադրություններ, որոնք կարող են որոշ ընկերություններում քիչ թե շատ վստահելի դարձնել կազմակերպման այս մոտեցումը: Կրկնման գործընթացը նվազեցնում է փորձարկման և սխալի արժեքը: Եթե ​​սխալի արժեքը բարձր է, դուք կարող եք նվազեցնել դրանք (սակայն դա խորհուրդ չի տրվում բժշկական ծրագրերի կամ արտադրության համար): Բացի այդ, եթե դուք գործ ունեք petabytes կամ exabajt տվյալների հետ, կարող է պահանջվել մասնագիտացում տվյալների ճարտարագիտության մեջ: Նմանապես, եթե առցանց բիզնեսի հնարավորությունների և դրանց հասանելիության պահպանումն ավելի կարևոր է, քան դրանք բարելավելը, ֆունկցիոնալ գերազանցությունը կարող է գերազանցել ուսմանը: Վերջապես, ամբողջական փաթեթային մոդելը հիմնվում է այն մարդկանց կարծիքների վրա, ովքեր գիտեն դրա մասին: Նրանք միաեղջյուրներ չեն. դուք կարող եք դրանք գտնել կամ ինքներդ պատրաստել: Այնուամենայնիվ, դրանք մեծ պահանջարկ ունեն, և դրանց ներգրավումն ու պահպանումը կպահանջի մրցակցային փոխհատուցում, ամուր կորպորատիվ արժեքներ և դժվարին աշխատանք: Համոզվեք, որ ձեր ընկերության մշակույթը կարող է աջակցել դրան:

Նույնիսկ այս ամենի հետ մեկտեղ, ես հավատում եմ, որ ամբողջական փաթեթային մոդելը ապահովում է լավագույն մեկնարկային պայմանները: Սկսեք դրանցից, այնուհետև գիտակցաբար շարժվեք դեպի աշխատանքի ֆունկցիոնալ բաժանում միայն խիստ անհրաժեշտության դեպքում:

Կան ֆունկցիոնալ մասնագիտացման այլ թերություններ. Սա կարող է հանգեցնել աշխատողների պատասխանատվության կորստի և պասիվության: Ինքը՝ Սմիթը, քննադատում է աշխատանքի բաժանումը, ենթադրելով, որ դա հանգեցնում է տաղանդի բթացման, այսինքն. աշխատողները դառնում են անգրագետ և հեռանում, քանի որ նրանց դերերը սահմանափակվում են մի քանի կրկնվող առաջադրանքներով: Թեև մասնագիտացումը կարող է ապահովել գործընթացի արդյունավետություն, այն քիչ հավանական է, որ ոգեշնչի աշխատողներին:

Իր հերթին, բազմակողմանի դերերը ապահովում են բոլոր այն բաները, որոնք ապահովում են աշխատանքից բավարարվածություն՝ ինքնավարություն, վարպետություն և նպատակ: Ինքնավարությունն այն է, որ նրանք ոչ մի բանից կախված չեն հաջողության հասնելու համար: Վարպետությունը կայանում է ուժեղ մրցակցային առավելությունների մեջ: Իսկ նպատակի զգացումը կայանում է իրենց ստեղծած բիզնեսի վրա ազդեցություն ունենալու հնարավորության մեջ: Եթե ​​մենք կարողանանք մարդկանց ոգևորել իրենց աշխատանքով և մեծ ազդեցություն ունենալ ընկերության վրա, ապա մնացած ամեն ինչ իր տեղը կընկնի:

Source: www.habr.com