Pse ekipet e Data Science kanë nevojë për universale e jo specialistë

Pse ekipet e Data Science kanë nevojë për universale e jo specialistë
HIROSHI WATANABE/GETTY IMAGES

Në librin «Pasuria e kombeve» Adam Smith tregon se si ndarja e punës bëhet burimi kryesor i rritjes së produktivitetit. Një shembull është linja e montimit të një fabrike prodhimi sfungjeri: «Një punëtor shtrëngon telin, një tjetër e drejton atë, një i tretë e pren, një i katërt e mbështjell skajin, dhe një i pestë e formon skajin tjetër për të vendosur kapakun». Falë specializimit të orientuar në funksione të caktuara, çdo punëtor bëhet një specialist i kualifikuar në detyrën e tij të ngushtë, e cila çon në rritjen e efikasitetit të procesit. Prodhuar për çdo punëtor rritet disa herë, dhe fabrika bëhet më efikase në prodhimin e sfungjerit.

Kjo ndarje e punës sipas funksionalitetit është aq e thellë në mendjet tona, saqë ne shpejt organizojmë ekipet tona përkatësisht. Data Science nuk është një përjashtim. Mundësitë komplekse të biznesit me algoritme kërkojnë shumë funksione punësimi, kështu që kompanitë zakonisht krijojnë grupe specialistësh: hulumtues, inxhinierë të analizës së të dhënave, inxhinierë të mësimit të makinerive, shkencëtarë që merren me lidhje shkak-pasojë, dhe kështu me radhë. Puna e specialistëve koordinohet nga menaxheri i produktit duke kaluar funksionet në një mënyrë që ngjason me një fabrikë gjilpërash: "një njeri merr të dhënat, një tjetër i modelon ato, një i tretë i implementon ato, një i katërt i mat" dhe kështu me radhë.

Fatkeq, ne nuk duhet të optimizojmë ekipet tona të Data Science për të rritur produktivitetin. Megjithatë, ju bëni këtë kur kuptoni se çfarë po prodhoni: thumba ose diçka tjetër, dhe thjesht përpiqeni të rrisni efikasitetin. Qëllimi i linjave të montimit është përmbushja e detyrës. Ne e dimë saktësisht se çfarë duam — këto janë thumba (si në shembullin e Smith-it), por mund të përmendet çdo produkt ose shërbim, në të cilin kërkesat përshkruajnë plotësisht të gjitha aspektet e produktit dhe sjelljen e tij. Roli i punonjësve është të përmbushin këto kërkesa sa më efikasht të jetë e mundur.

Porosia e Data Science nuk është thjesht të kryesh detyra. Qëllimi është të studiohet dhe të zhvillohen mundësi të reja të forta për biznesin. Produktet dhe shërbimet algorithmike, si sistemet e rekomandimeve, ndërveprimi me klientët, klasifikimi i preferencave për stilin, përshtatja e madhësive, dizajni i veshjeve, optimizimi i logjistikës, zbulimi i trendeve sezonale dhe shumë të tjera nuk mund të zhvillohen paraprakisht. Ato duhet të studiohen. Nuk ka asnjë skemë për riprodhim; këto janë mundësi të reja me pasigurinë që i karakterizon. Koeficientët, modelet, llojet e modeleve, hiperparametrat, të gjitha elementet e nevojshme duhet të studiohen përmes eksperimenteve, provave dhe gabimeve, si dhe përsëritjes. Me pinë, mësimi dhe dizajni bëhen përpara, para momentit të prodhimit. Me Data Science, ju mësoni gjatë procesit, jo paraprakisht.

Në fabrikën e thikave, kur trajnimi është në vend të parë, ne nuk presim dhe nuk duam që punonjësit të improvizojnë mbi asnjë veçori të produktit, përveç për të rritur efikasitetin e prodhimit. Specializimi i detyrave ka kuptim, pasi çon në efikasitetin e proceseve dhe në koherencën e prodhimit (pa bërë ndryshime në produktin përfundimtar).

Por kur produkti ende është në zhvillim dhe qëllimi është trajnimi, specializimi pengon qëllimet tona në rastet e mëposhtme:

1. Kjo rrit kostot e koordinimit.

Pra këtë, kemi shpenzimet e akumuluara gjatë kohës së kaluar në komunikim, diskutim, arsyetim dhe përcaktimin e prioriteteve për punën që duhet të kryhet. Këto shpenzime rriten në mënyrë jo lineare me numrin e njerëzve të përfshirë. (Siç na mësoi J. Richard Hackman, numri i marrëdhënieve r rritet në përputhje me funksionin e numrit të anëtarëve n sipas kësaj formule: r = (n ^ 2 - n) / 2. Çdo marrëdhënie zbulon një sasi të caktuar të raportit të shpenzimeve). Kur specialistët e analizës së të dhënave organizohen sipas funksioneve, në çdo hap, me çdo ndryshim, me çdo kalim shërbimi, etj., kërkohet një numër i madh specialistësh, çka rrit shpenzimet për koordinim. Për shembull, specialistët e modelimit statistik që duan të eksperimentojnë me funksione të reja duhet të koordinojnë veprimet e tyre me inxhinierët e përpunimit të të dhënave, të cilët përmirësojnë sete të dhënash çdo herë që duan të provojnë diçka të re. Po kështu, çdo model i ri i trajnuar do të thotë që zhvilluesi i modelit do të ketë nevojë për dikë me të cilin të koordinojë veprimet për ta vendosur atë në veprim. Shpenzimet për koordinim shërbejnë si një tarifë për iterimin, duke i bërë ato më të vështira dhe më të shtrenjta, dhe duke rritur mundësinë për t'u tërhequr nga kërkimi. Kjo mund të pengojë mësimin.

2. Kjo e komplikon kohën e pritjes.

Më e frikshme se kostot e koordinimit është koha e humbur midis ndryshimeve të punës. Ndërsa kostot e koordinimit zakonisht maten në orë: koha që nevojitet për të mbajtur takime, diskutime, rishikime të projekteve, koha e pritjes për zakonisht matet në ditë, javë ose madje muaj! Oraret e specialistëve janë të vështira për t'u përputhur, pasi çdo specialist duhet të jetë i shpërndarë në disa projekte. Një takim një orësh për të diskutuar ndryshimet mund të zgjasë disa javë për të rregulluar fluksin e punës. Dhe pasi të bien dakord për ndryshimet, duhet të planifikohet edhe puna e vërtetë në kontekstin e shumë projekteve të tjera që zënë kohën e specialistëve. Puna që ka të bëjë me rregullimin e kodit ose hulumtimin, për të cilat nevojiten vetëm disa orë ose ditë për t'u përfunduar, mund të zgjasë shumë më tepër para se burimet të bëhen të disponueshme. Deri atëherë, iterimi dhe mësimi ndalen.

3. Kjo e ngushton kontekstin.

Ndërsa ndarja e punës mund të kufizojë mësimin artificialisht, duke shpërblyer njerëzit për qëndrimin në specializimin e tyre. Për shembull, një shkencëtar hulumtues, që duhet të qëndrojë brenda funksionalitetit të tij, do të përqendrojë energjinë e tij në eksperimente me lloje të ndryshme algoritmesh: regresion, rrjeta neuronale, random forest dhe kështu me radhë. Sigurisht, një zgjedhje e mirë algoritmi mund të sjellë përmirësime të ngadalta, por, zakonisht, shumë më tepër mund të nxirret nga aktivitete të tjera, të tilla si integrimi i burimeve të reja të të dhënave. Po ashtu, kjo do të ndihmojë në zhvillimin e një modeli që përdor çdo copë shpjegueshmërie të pranishme në të dhënat. Megjithatë, pika e saj e fortë mund të jetë në ndryshimin e funksionit të synuar ose në lehtësimin e disa kufizimeve. Kjo është e vështirë për t'u parë ose bërë, kur puna e saj është e kufizuar. Pasi shkencëtari specialist specializohet në optimizimin e algoritmeve, ai ka shumë më pak shanse të angazhohet në diçka tjetër, edhe nëse kjo sjell dobi të konsiderueshme.

Le të shpjegojmë shenjat që shfaqen kur ekipet e data science funksionojnë si fabrika kunjsh (për shembull, në përditësime të thjeshta statusi): "pritja e ndryshimeve në kanalin e të dhënave" dhe "pritja e burimeve të ML Eng", të cilat janë bllokues të zakonshëm. Megjithatë, unë besoj se ndikimi më i rrezikshëm është ai çfarë nuk vëreni, sepse nuk mund të pendoheni për atë që nuk e dini. Një përmbushje e përsosur e kërkesave dhe qetësimi i vetë-përmbushur, arritur si pasojë e efikasitetit të proceseve, mund të fshehë të vërtetën se organizatat nuk janë të njohura me përfitimet e mësimit që po i humbin.

Zgjidhja e këtij problemi, padyshim, është heqja e metodës së fabrikës së thikave. Për të stimuluar mësimin dhe iteracionin, rolet në shkencën e të dhënave duhet të jenë të përgjithshme, por me detyra të gjera që nuk varen nga funksioni teknik, domethënë organizoni specialistët e të dhënave në një mënyrë që të optimizohen për mësim. Kjo do të thotë se është e nevojshme të punësohen "specialistë me diapazon të plotë" — specialistë të përgjithshëm që mund të kryejnë funksione të ndryshme: nga konceptimi deri te modelimi, nga implementimi deri te matja. Është e rëndësishme të theksohet se nuk supozoj se gjatë punësimit të specialistëve me diapazon të plotë, numri i punonjësve duhet të zvogelohet. Më shumë do të supozoj se kur ata organizohen ndryshe, stimujt e tyre lidhen më mirë me përfitimet nga mësimi dhe efektiviteti. Për shembull, ju keni një ekip prej tre personash që ka tri cilësi të biznesit. Në fabrikën e prodhimit të thikave, çdo specialist do t'i kushtonte një të tretën e kohës çdo detyre profesionale, pasi askush tjetër nuk do të ishte në gjendje të kryejë punën e tij. Në një diapazon të plotë, çdo punonjës universal është plotësisht i angazhuar në të gjithë procesin e biznesit, rritjen e shkallës së punës dhe mësimin.

Me fewer people supporting the production cycle, coordination decreases. The universal smoothly transitions between functions, expanding the data pipeline to add more data, experimenting with new features in models, deploying new versions in production for causal measurements, and repeating steps as quickly as new ideas emerge. Of course, the universal performs different functions sequentially, not in parallel. After all, it's just one person. However, completing a task typically takes only a small portion of the time required to access another specialized resource. Thus, iteration time decreases.

Universali ynë ndoshta nuk është aq i aftë sa një specialist në një funksion të caktuar pune, por ne nuk kërkojmë përsosmëri funksionale ose përmirësime të vogla të vazhdueshme. Përkundrazi, ne kërkojmë të studiojmë dhe të zgjerojmë vazhdimisht detyrat profesionale me ndikim gradual. Me një kontekst të plotë për një zgjidhje të plotë, ai sheh mundësi që një specialist i ngushtë do t'i injoronte. Ai ka më shumë ide dhe më shumë mundësi. Ai gjithashtu dështon. Megjithatë, çmimi i dështimit është i ulët, ndërsa përfitimet e mësimit janë të mëdha. Kjo asimetri mbështet iterimin e shpejtë dhe shpërblen mësimin.

Është e rëndësishme të theksohet se shkalla e autonomisë dhe larmisë së aftësive të ofruara nga shkencëtarët që punojnë me grupe të plota, në masë të madhe varet nga besueshmëria e platformës së të dhënave mbi të cilën ata mund të punojnë. Një platformë të dhënash e ndërtuar mirë e heq peshën nga shkencëtarët që merren me përpunimin e të dhënave, duke i mbrojtur ata nga kompleksiteti i konteinerizimit, përpunimit të shpërndarë, kalimeve automatike në burime të tjera dhe koncepteve të tjera përparimtare kompjuterike. Përveç abstrahimit, një platformë të dhënash e besueshme mund të sigurojë lidhje pa pengesa me infrastrukturën eksperimentale, të automatizojë monitorimin dhe sistemin e njoftimit, të ofrojë auto-skallinim dhe vizualizim të rezultateve algoritmike dhe të depurimit. Këto komponentë janë projektuar dhe ndërtuar nga inxhinierët e platformës së të dhënave, domethënë nuk kalohen nga specialisti në shkencën e të dhënave për ekipin e zhvilluesve të platformës së të dhënave. Është specialisti në shkencën e të dhënave që është përgjegjës për të gjithë kodin që përdoret për të drejtuar platformën.

Edhe mua njëherë më është interesuar ndarja funksionale e punës duke përdorur efikasitetin e proceseve, por me metodën e provave dhe gabimeve (nuk ka mënyrë më të mirë për të mësuar) kam zbuluar se rollet tipike kontribuojnë më mirë në mësim dhe inovacion dhe ofrojnë tregues të saktë: identifikimin dhe ndërtimin e një numri shumë më të madh mundësish biznesi se sa qasja e specializuar. (Një mënyrë më efikase për të mësuar për këtë qasje në organizim, përveç metodës së provave dhe gabimeve përmes së cilës kam kaluar, është të lexosh librin e Amy Edmondson 'Bashkëpunimi në ekip: si mësojnë organizatat, krijojnë inovacione dhe konkurrojnë në ekonominë e njohurive').

Ka disa supozita të rëndësishme që mund ta bëjnë këtë qasje në organizim më të besueshme ose më pak të besueshme në disa kompani. Procesi i iteracionit ul kostot e provave dhe gabimeve. Nëse çmimi i gabimit është i lartë, mund të dëshironit t'i reduktoni ata (por, kjo nuk rekomandohet për aplikimet mjekësore ose prodhimin). Për më tepër, nëse po merrni me petabajt ose eksabajt të dhënash, mund të nevojitet specializim në projektimin e të dhënave. Po ashtu, nëse mbajtja e mundësive të biznesit në rrjet dhe disponueshmëria e tyre është më e rëndësishme se përmirësimi i tyre, ekselenca funksionale mund të tejkalojë mësimin. Së fundi, modeli i stack-ut të plotë mbështetet në mendimet e njerëzve që dinë për këtë. Ata nuk janë njëlloj; mund të gjenden ose të trajnohen vetë. Megjithatë, ata janë të kërkuar shumë, dhe për të tërhequr dhe mbajtur ata në kompani do të kërkohet një kompensim material konkurrues, vlera të qëndrueshme korporative dhe punë interesante. Sigurohuni që kultura juaj korporative mund të ofrojë kushte të tilla.

Edhe me gjithçka të thënë, mendoj se modeli i plotë i stack-ut ofron kushtet më të mira për fillim. Filloni me ta, dhe pastaj lëvizni me vetëdije drejt ndarjes funksionale të punës vetëm kur kjo është me të vërtetë e nevojshme.

Ekzistojnë edhe disavantazhe të tjera të specializimit funksional. Kjo mund të çojë në humbje të përgjegjësisë dhe pasivitetit nga ana e punonjësve. Edhe Smith e kritikon ndarjen e punës, duke sugjeruar se ajo çon në prishjen e talentit, që do të thotë se punonjësit bëhen të paditur dhe të mbyllur, pasi rolet e tyre kufizohen në disa detyra të përsëritura. Ndërsa specializimi mund të sigurojë efikasitetin e procesit, ai rrallëherë frymëzon punonjësit.

Nga ana e role universale sigurojnë të gjitha ato që stimulojnë kënaqësinë në punë: autonomi, mjeshtëri dhe qëllim. Autonomia lidhet me atë që ata nuk varen nga diçka në arritjen e suksesit. Mjeshtëria konsiston në avantazhe të forta konkurruese. Ndërsa qëllimi përfshin mundësinë e ndikimit në biznesin që ata krijojnë. Nëse arrijmë t'i bëjmë njerëzit të angazhohen në punën e tyre dhe të kenë një ndikim të madh në kompaninë, atëherë gjithçka tjetër do të vendoset në vendin e vet.

Burimi: habr.com

Bleni hostim të besueshëm për faqe me mbrojtje nga DDoS, serverë VPS VDS 🔥 Bleni hostim të besueshëm për faqe me mbrojtje nga DDoS, serverë VPS VDS | ProHoster