Għaliex it-timijiet tax-Xjenza tad-Data jeħtieġu ġeneralisti, mhux speċjalisti

Għaliex it-timijiet tax-Xjenza tad-Data jeħtieġu ġeneralisti, mhux speċjalisti
IMMAĠNIJIET HIROSHI WATANABE/GETTY

F'The Wealth of Nations , Adam Smith juri kif id-diviżjoni tax-xogħol issir is-sors ewlieni ta 'żieda fil-produttività. Eżempju huwa l-linja tal-assemblaġġ ta’ fabbrika tal-brilli: “Ħaddiem wieħed jiġbed il-wajer, ieħor jiddrittah, terz jaqtagħha, ir-raba’ jiffoka t-tarf, ħamsa jħaffir it-tarf l-ieħor biex iwaħħal ir-ras.” Grazzi għall-ispeċjalizzazzjoni ffukata fuq funzjonijiet speċifiċi, kull impjegat isir speċjalista kwalifikat ħafna fil-kompitu dejjaq tiegħu, li jwassal għal żieda fl-effiċjenza tal-proċess. L-output għal kull ħaddiem jiżdied ħafna drabi, u l-fabbrika ssir aktar effiċjenti fil-produzzjoni tal-labar.

Din id-diviżjoni tax-xogħol skond il-funzjonalità tant hija sodna f'moħħna anke llum li malajr organizzajna t-timijiet tagħna kif xieraq. Xjenza tad-Data mhijiex eċċezzjoni. Il-kapaċitajiet tan-negozju algoritmiċi kumplessi jeħtieġu funzjonijiet ta 'xogħol multipli, għalhekk il-kumpaniji tipikament joħolqu timijiet ta' speċjalisti: riċerkaturi, inġiniera tad-dejta, inġiniera tat-tagħlim tal-magni, xjenzati ta 'kawża u effett, eċċ. Ix-xogħol ta 'l-ispeċjalisti huwa kkoordinat mill-maniġer tal-prodott bit-trasferiment tal-funzjonijiet b'mod li jixbaħ fabbrika tal-pin: "persuna waħda tirċievi d-dejta, oħra timmudellaha, terza tesegwixxiha, ir-raba' miżuri" u l-bqija,

Alas, m'għandniex ottimizzaw it-timijiet tagħna tax-Xjenza tad-Data biex intejbu l-produttività. Madankollu, tagħmel dan meta tifhem dak li qed tipproduċi: pinnijiet jew xi ħaġa oħra, u sempliċement tistinka biex iżżid l-effiċjenza. L-iskop tal-linji tal-assemblaġġ huwa li jitlesta kompitu. Nafu eżattament dak li rridu - pinnijiet (bħal fl-eżempju ta 'Smith), iżda kwalunkwe prodott jew servizz jista' jissemma fejn ir-rekwiżiti jiddeskrivu bis-sħiħ l-aspetti kollha tal-prodott u l-imġieba tiegħu. Ir-rwol tal-impjegati huwa li jissodisfaw dawn ir-rekwiżiti bl-aktar mod effiċjenti possibbli.

Iżda l-għan tax-Xjenza tad-Data mhuwiex li jitlesta l-kompiti. Pjuttost, l-għan huwa li jiġu esplorati u żviluppati opportunitajiet ta 'negozju ġodda b'saħħithom. Prodotti u servizzi algoritmiċi bħal sistemi ta 'rakkomandazzjoni, interazzjonijiet tal-klijenti, klassifikazzjoni tal-preferenzi tal-istil, daqs, disinn tal-ħwejjeġ, ottimizzazzjoni tal-loġistika, skoperta ta' xejriet staġjonali u ħafna aktar ma jistgħux jiġu żviluppati minn qabel. Għandhom jiġu studjati. M'hemm l-ebda pjani biex jiġu replikati, dawn huma possibbiltajiet ġodda b'inċertezza inerenti. Koeffiċjenti, mudelli, tipi ta 'mudelli, iperparametri, l-elementi kollha meħtieġa għandhom jitgħallmu permezz ta' esperimentazzjoni, prova u żball, u ripetizzjoni. Bil-labar, it-taħriġ u d-disinn isiru qabel il-produzzjoni. Bid-Data Science, titgħallem kif tagħmel, mhux qabel.

F'fabbrika tal-brilli, meta t-taħriġ jiġi l-ewwel, la nistennew u lanqas irridu li l-ħaddiema jimprovizzaw fuq xi karatteristika tal-prodott ħlief li jtejbu l-effiċjenza tal-produzzjoni. Ħidmiet ta 'speċjalizzazzjoni jagħmel sens għaliex iwassal għal effiċjenza tal-proċess u konsistenza tal-produzzjoni (mingħajr bidliet għall-prodott finali).

Iżda meta l-prodott għadu qed jiżviluppa u l-għan huwa t-taħriġ, l-ispeċjalizzazzjoni tinterferixxi mal-għanijiet tagħna fil-każijiet li ġejjin:

1. Hija żżid l-ispejjeż ta 'koordinazzjoni.

Jiġifieri dawk l-ispejjeż li jakkumulaw matul iż-żmien li wieħed iqatta’ jikkomunika, jiddiskuti, jiġġustifika u jipprijoritizza x-xogħol li jrid isir. Dawn l-ispejjeż jammontaw b'mod super-lineari man-numru ta' nies involuti. (Kif għallimna J. Richard Hackman, in-numru ta’ relazzjonijiet r jikber b’mod simili għall-funzjoni tan-numru ta’ termini n skont din l-ekwazzjoni: r = (n^2-n)/2. U kull relazzjoni turi xi ammont tal- relazzjoni tal-ispiża.) Meta xjentisti tad-dejta huma organizzati skond il-funzjoni, f'kull stadju, ma 'kull bidla, kull trasferiment, eċċ., huma meħtieġa ħafna speċjalisti, li jżid l-ispejjeż ta' koordinazzjoni. Pereżempju, dawk li jimmudellaw l-istatistika li jridu jesperimentaw b'karatteristiċi ġodda se jkollhom jikkoordinaw ma 'inġiniera tad-dejta li jżidu mas-settijiet tad-dejta kull darba li jridu jippruvaw xi ħaġa ġdida. Bl-istess mod, kull mudell ġdid imħarreġ ifisser li l-iżviluppatur tal-mudell ikollu bżonn xi ħadd biex jikkoordina miegħu biex ipoġġih fil-produzzjoni. L-ispejjeż tal-koordinazzjoni jaġixxu bħala prezz għall-iterazzjoni, u jagħmluhom aktar diffiċli u għaljin u aktar probabbli li jikkawżaw l-abbandun tal-istudju. Dan jista’ jinterferixxi mat-tagħlim.

2. Jagħmel il-ħinijiet ta 'stennija diffiċli.

Saħansitra aktar skoraġġanti mill-ispejjeż tal-koordinazzjoni huwa l-ħin mitluf bejn ix-xiftijiet tax-xogħol. Filwaqt li l-ispejjeż ta’ koordinazzjoni ġeneralment jitkejlu f’sigħat – iż-żmien li tieħu biex isiru laqgħat, diskussjonijiet, reviżjonijiet tad-disinn – il-ħin ta’ stennija ġeneralment jitkejjel f’jiem, ġimgħat jew saħansitra xhur! L-iskedi tal-ispeċjalisti funzjonali huma diffiċli biex jiġu bbilanċjati minħabba li kull speċjalista għandu jitqassam fuq proġetti multipli. Laqgħa ta’ siegħa biex jiġu diskussi l-bidliet tista’ tieħu ġimgħat biex ittejjeb il-fluss tax-xogħol. U wara li jkun hemm qbil dwar il-bidliet, huwa meħtieġ li x-xogħol attwali jiġi ppjanat innifsu fil-kuntest ta 'ħafna proġetti oħra li jokkupaw il-ħin tax-xogħol ta' speċjalisti. Ix-xogħol li jinvolvi kodiċi jew riċerka li jieħu biss ftit sigħat jew jiem biex jitlesta jista' jieħu ħafna aktar żmien qabel ma r-riżorsi jsiru disponibbli. Sa dakinhar, l-iterazzjoni u t-tagħlim huma sospiżi.

3. Iddejjaq il-kuntest.

Id-diviżjoni tax-xogħol tista' tillimita b'mod artifiċjali t-tagħlim billi tippremja lin-nies talli jibqgħu fl-ispeċjalità tagħhom. Pereżempju, xjenzat ta 'riċerka li għandu jibqa' fl-ambitu tal-funzjonalità tiegħu se jiffoka l-enerġija tiegħu fuq l-esperimentazzjoni b'tipi differenti ta 'algoritmi: rigressjoni, netwerks newrali, foresti każwali, eċċ. Naturalment, għażliet tajba ta' algoritmi jistgħu jwasslu għal titjib inkrementali, iżda tipikament hemm ħafna aktar x'jinkiseb minn attivitajiet oħra, bħall-integrazzjoni ta' sorsi ta' dejta ġodda. Bl-istess mod, se jgħin biex jiġi żviluppat mudell li jisfrutta kull daqsxejn ta 'qawwa ta' spjegazzjoni inerenti fid-dejta. Madankollu, is-saħħa tagħha tista 'tkun fil-bidla tal-funzjoni oġġettiva jew ir-rilassament ta' ċerti restrizzjonijiet. Dan huwa diffiċli biex tara jew tagħmel meta x-xogħol tagħha huwa limitat. Minħabba li xjenzat tekniku jispeċjalizza fl-ottimizzazzjoni tal-algoritmi, huwa ħafna inqas probabbli li jagħmel xi ħaġa oħra, anki jekk iġib benefiċċji sinifikanti.

Biex insemmu s-sinjali li jidhru meta timijiet tax-xjenza tad-dejta jaġixxu bħala fabbriki tal-pin (per eżempju, f'aġġornamenti sempliċi tal-istatus): "waiting for data pipeline changes" u "waiting for ML Eng resources" huma imblokkaturi komuni. Madankollu, nemmen li l-aktar influwenza perikoluża hija dak li ma tindunax, għax ma tistax tiddispjaċih minn dak li ma tafx diġà. Eżekuzzjoni bla difetti u l-kompjaċenza miksuba mill-kisba tal-effiċjenza tal-proċess jistgħu jaħbu l-verità li l-organizzazzjonijiet mhumiex konxji tal-benefiċċji tat-tagħlim li qed jitilfu.

Is-soluzzjoni għal din il-problema, ovvjament, hija li teħles mill-metodu tal-pin tal-fabbrika. Biex jinkoraġġixxu t-tagħlim u l-iterazzjoni, ir-rwoli tax-xjenzati tad-dejta għandhom ikunu ġeneriċi iżda b'responsabbiltajiet wesgħin indipendenti mill-funzjoni teknika, jiġifieri jorganizzaw ix-xjenzati tad-dejta sabiex ikunu ottimizzati għat-tagħlim. Dan ifisser li jimpjega "speċjalisti full stack"—speċjalisti ġenerali li jistgħu jwettqu varjetà ta 'funzjonijiet, mill-kunċett għall-immudellar, l-implimentazzjoni għall-kejl. Huwa importanti li ninnota li jien mhux qed nissuġġerixxi li l-kiri ta 'talent full-stack għandu jnaqqas in-numru ta' impjegati. Pjuttost, se sempliċement nassumi li meta jkunu organizzati b'mod differenti, l-inċentivi tagħhom ikunu allinjati aħjar mal-benefiċċji tat-tagħlim u l-prestazzjoni. Pereżempju, ejja ngħidu li għandek tim ta’ tliet persuni bi tliet ħiliet tan-negozju. F'fabbrika tal-brilli, kull tekniku jiddedika terz tal-ħin tiegħu għal kull biċċa xogħol, peress li ħaddieħor ma jista 'jagħmel xogħolu. F'munzell sħiħ, kull ġeneralista huwa ddedikat bis-sħiħ għall-proċess tan-negozju kollu, l-iscale-up, u t-taħriġ.

B'inqas nies li jappoġġjaw iċ-ċiklu tal-produzzjoni, il-koordinazzjoni titnaqqas. Il-ġeneralista jimxi b'mod fluwidu bejn il-karatteristiċi, jespandi l-pipeline tad-dejta biex iżżid aktar dejta, jipprova karatteristiċi ġodda fil-mudelli, juża verżjonijiet ġodda għall-produzzjoni għal kejl kawżali, u jirrepeti passi malajr kemm jista 'jitfaċċaw ideat ġodda. Naturalment, l-istazzjon wagon iwettaq funzjonijiet differenti b'mod sekwenzjali u mhux b'mod parallel. Wara kollox, huwa biss persuna waħda. Madankollu, it-tlestija ta 'kompitu normalment tieħu biss frazzjoni tal-ħin meħtieġ biex taċċessa riżorsa speċjalizzata oħra. Għalhekk, il-ħin tal-iterazzjoni jonqos.

Il-ġeneralista tagħna jista 'ma jkunx daqshekk tas-sengħa bħala speċjalista f'funzjoni ta' xogħol partikolari, iżda aħna ma naħdmux għall-perfezzjoni funzjonali jew titjib inkrementali żgħir. Anzi, naħdmu biex nitgħallmu u niskopru aktar u aktar sfidi professjonali b'impatt gradwali. B'kuntest olistiku għal soluzzjoni sħiħa, jara opportunitajiet li speċjalista jitlef. Għandu aktar ideat u aktar possibbiltajiet. Huwa jonqos ukoll. Madankollu, l-ispiża tal-falliment hija baxxa u l-benefiċċji tat-tagħlim huma għoljin. Din l-assimetrija tippromwovi iterazzjoni rapida u tippremja t-tagħlim.

Huwa importanti li wieħed jinnota li l-ammont ta 'awtonomija u diversità tal-ħiliet mogħtija lix-xjenzjati full stack hija fil-biċċa l-kbira dipendenti fuq ir-robustezza tal-pjattaforma tad-dejta li fuqha għandhom jaħdmu. Pjattaforma tad-dejta ddisinjata tajjeb tiġbed ix-xjenzjati tad-dejta mill-kumplessitajiet tal-kontejners, l-ipproċessar distribwit, il-falliment awtomatiku, u kunċetti oħra tal-kompjuters avvanzati. Minbarra l-astrazzjoni, pjattaforma tad-dejta robusta tista 'tipprovdi konnettività bla xkiel għal infrastruttura sperimentali, awtomat il-monitoraġġ u t-twissija, tippermetti skalar awtomatiku u viżwalizzazzjoni ta' riżultati algoritmiċi u debugging. Dawn il-komponenti huma ddisinjati u mibnija mill-inġiniera tal-pjattaforma tad-dejta, li jfisser li ma jiġux mgħoddija mix-xjenzat tad-dejta għat-tim tal-iżvilupp tal-pjattaforma tad-dejta. Huwa l-ispeċjalista tax-Xjenza tad-Data li huwa responsabbli għall-kodiċi kollu użat biex titħaddem il-pjattaforma.

Jien ukoll darba kont interessat fid-diviżjoni funzjonali tax-xogħol bl-użu tal-effiċjenza tal-proċess, iżda permezz ta’ prova u żball (m’hemm l-ebda mod aħjar biex nitgħallem), skoprejt li r-rwoli tipiċi jiffaċilitaw aħjar it-tagħlim u l-innovazzjoni u jipprovdu l-metriċi t-tajba: niskopru u jibnu ħafna aktar opportunitajiet ta' negozju minn approċċ speċjalizzat. (Mod aktar effettiv biex titgħallem dwar dan l-approċċ għall-organizzazzjoni mill-prova u l-iżball li għaddejt minnhom huwa li naqra l-ktieb ta’ Amy Edmondson Team Collaboration: How Organizations Learn, Innovate, and Compete in the Knowledge Economy).

Hemm xi suppożizzjonijiet importanti li jistgħu jagħmlu dan l-approċċ għall-organizzazzjoni aktar jew inqas affidabbli f'xi kumpaniji. Il-proċess ta 'iterazzjoni jnaqqas l-ispiża ta' prova u żball. Jekk l-ispiża ta 'żball hija għolja, tista' tkun trid tnaqqashom (iżda dan mhux rakkomandat għal applikazzjonijiet mediċi jew manifattura). Barra minn hekk, jekk qed tittratta ma 'petabytes jew exabytes ta' dejta, tista 'tkun meħtieġa speċjalizzazzjoni fl-inġinerija tad-dejta. Bl-istess mod, jekk iż-żamma tal-kapaċitajiet tan-negozju online u d-disponibbiltà tagħhom hija aktar importanti milli t-titjib tagħhom, l-eċċellenza funzjonali tista 'tbati fuq it-tagħlim. Fl-aħħarnett, il-mudell tal-munzell sħiħ jiddependi fuq l-opinjonijiet ta 'nies li jafu bih. Mhumiex unicorns; tista ssibhom jew tippreparahom lilek innifsek. Madankollu, huma fid-domanda kbira u li jattiraw u jżommuhom se jeħtieġu kumpens kompetittiv, valuri korporattivi b'saħħithom u xogħol ta 'sfida. Kun żgur li l-kultura tal-kumpanija tiegħek tista 'tappoġġja dan.

Anke b'dak kollu li ntqal, nemmen li l-mudell tal-munzell sħiħ jipprovdi l-aħjar kundizzjonijiet tal-bidu. Ibda magħhom, u mbagħad konxjament imxi lejn diviżjoni funzjonali tax-xogħol biss meta jkun assolutament meħtieġ.

Hemm żvantaġġi oħra ta 'speċjalizzazzjoni funzjonali. Dan jista’ jwassal għal telf ta’ responsabbiltà u passività min-naħa tal-ħaddiema. Smith innifsu jikkritika d-diviżjoni tax-xogħol, u jissuġġerixxi li din twassal għat-tħassir tat-talent, i.e. il-ħaddiema jsiru injoranti u rtirati peress li r-rwoli tagħhom huma limitati għal ftit kompiti ripetittivi. Filwaqt li l-ispeċjalizzazzjoni tista' tipprovdi effiċjenza tal-proċess, hija inqas probabbli li tispira lill-ħaddiema.

Min-naħa tagħhom, ir-rwoli versatili jipprovdu l-affarijiet kollha li jmexxu s-sodisfazzjon tax-xogħol: awtonomija, ħakma u skop. L-awtonomija hija li ma jiddependu fuq xejn biex jiksbu suċċess. Il-ħakma tinsab f'vantaġġi kompetittivi b'saħħithom. U s-sens ta’ skop jinsab fl-opportunità li jkollhom impatt fuq in-negozju li joħolqu. Jekk nistgħu nġibu lin-nies eċċitati dwar ix-xogħol tagħhom u jkollhom impatt kbir fuq il-kumpanija, allura kull ħaġa oħra tidħol fis-seħħ.

Sors: www.habr.com

Żid kumment