HIROSHI WATANABE/GETTY BILDOJ
En La Riĉeco de Nacioj, Adam Smith montras kiel la labordivido iĝas la ĉeffonto de pliigita produktiveco. Ekzemplo estas la muntoĉeno de pingla fabriko: "Unu laboristo tiras la draton, alia rektigas ĝin, tria tranĉas ĝin, kvarono akrigas la finon, kvinono muelas la alian finon por konveni al la kapo." Danke al specialiĝo koncentrita al specifaj funkcioj, ĉiu dungito fariĝas tre kvalifikita specialisto en sia mallarĝa tasko, kio kondukas al pliigita proceza efikeco. Produktado per laboristo pliiĝas multfoje, kaj la fabriko fariĝas pli efika en produktado de pingloj.
Ĉi tiu labordivido laŭ funkcieco estas tiom enradikiĝinta en niaj mensoj eĉ hodiaŭ, ke ni rapide organizis niajn teamojn laŭe. Datuma Scienco ne estas escepto. Kompleksaj algoritmaj komercaj kapabloj postulas multoblajn laborfunkciojn, do kompanioj kutime kreas teamojn de specialistoj: esploristoj, datumaj inĝenieroj, maŝinlernado-inĝenieroj, kaŭzaj sciencistoj ktp. La laboro de la specialistoj estas kunordigita de la produktmanaĝero kun la translokigo de funkcioj en maniero simila al pinglofabriko: "unu persono ricevas la datumojn, alia modeligas ĝin, tria plenumas ĝin, kvara mezuroj" ktp,
Ve, ni ne devus optimumigi niajn Data Science-teamojn por plibonigi produktivecon. Tamen, vi faras tion kiam vi komprenas, kion vi produktas: pingloj aŭ io alia, kaj simple strebas pliigi efikecon. La celo de muntaj linioj estas plenumi taskon. Ni scias precize kion ni volas - pingloj (kiel en la ekzemplo de Smith), sed ajna produkto aŭ servo povas esti menciita en kiu la postuloj plene priskribas ĉiujn aspektojn de la produkto kaj ĝia konduto. La rolo de dungitoj estas plenumi ĉi tiujn postulojn kiel eble plej efike.
Sed la celo de Datuma Scienco ne estas plenumi taskojn. Prefere, la celo estas esplori kaj evoluigi fortajn novajn komercajn ŝancojn. Algoritmaj produktoj kaj servoj kiel rekomendaj sistemoj, klientinteragoj, klasifiko de stilaj preferoj, grandeco, vestodezajno, loĝistika optimumigo, laŭsezona tendenco-detekto kaj multe pli ne povas esti evoluigitaj anticipe. Ili devas esti studitaj. Ne estas skizoj por reprodukti, ĉi tiuj estas novaj eblecoj kun eneca necerteco. Koeficientoj, modeloj, modelspecoj, hiperparametroj, ĉiuj necesaj elementoj devas esti lernitaj per eksperimentado, provo kaj eraro, kaj ripeto. Kun pingloj, trejnado kaj dezajno estas faritaj antaŭ produktado. Kun Datuma Scienco, vi lernas kiel vi faras, ne antaŭe.
En pinglofabriko, kiam trejnado venas unue, ni nek atendas nek volas, ke laboristoj improvizu pri iu ajn trajto de la produkto krom plibonigi produktan efikecon. Specialaj taskoj havas sencon ĉar ĝi kondukas al proceza efikeco kaj produktadkonsistenco (sen ŝanĝoj al la fina produkto).
Sed kiam la produkto ankoraŭ disvolviĝas kaj la celo estas trejnado, specialiĝo malhelpas niajn celojn en la sekvaj kazoj:
1. Ĝi pliigas kunordigajn kostojn.
Tio estas, tiuj kostoj, kiuj amasiĝas dum la tempo pasigita por komuniki, diskuti, pravigi kaj prioritatigi la laboron, kiun oni devas fari. Ĉi tiuj kostoj skalas super-linie laŭ la nombro da homoj implikitaj. (Kiel J. Richard Hackman instruis al ni, la nombro da rilatoj r kreskas simile al la funkcio de la nombro da terminoj n laŭ ĉi tiu ekvacio: r = (n^2-n)/2. Kaj ĉiu rilato malkaŝas ian kvanton de la kostrilato.) Kiam datumsciencistoj estas organizitaj laŭ funkcio, en ĉiu etapo, kun ĉiu ŝanĝo, ĉiu transdono, ktp., multaj specialistoj estas postulataj, kio pliigas kunordigajn kostojn. Ekzemple, statistikaj modelistoj, kiuj volas eksperimenti kun novaj funkcioj, devos kunordigi kun datumaj inĝenieroj, kiuj aldonas al la datumaj aroj ĉiufoje kiam ili volas provi ion novan. Same, ĉiu nova modelo trejnita signifas, ke la modelprogramisto bezonos iun kun kiu kunordigi por meti ĝin en produktadon. Kunordigaj kostoj funkcias kiel prezo por ripeto, igante ilin pli malfacilaj kaj multekostaj kaj pli verŝajnaj kaŭzi la studon esti prirezignita. Ĉi tio povas malhelpi la lernadon.
2. Ĝi malfaciligas atendtempojn.
Eĉ pli timiga ol kunordigaj kostoj estas la tempo perdita inter labordeĵoroj. Dum kunordigaj kostoj estas kutime mezuritaj en horoj - la tempo necesa por fari kunvenojn, diskutojn, desegnajn recenzojn - atendotempo estas kutime mezurita en tagoj, semajnoj aŭ eĉ monatoj! La horaroj de funkciaj specialistoj malfacilas ekvilibrigi ĉar ĉiu specialisto devas esti distribuita tra multoblaj projektoj. Unuhora kunveno por diskuti ŝanĝojn povas daŭri semajnojn por glatigi la laborfluon. Kaj konsentite pri la ŝanĝoj, necesas plani la efektivan laboron mem en la kunteksto de multaj aliaj projektoj, kiuj okupas la labortempon de specialistoj. Laboro kun kodaj korektoj aŭ esploroj, kiuj nur bezonas kelkajn horojn aŭ tagojn por plenumi, povas daŭri multe pli longe antaŭ ol rimedoj disponeblas. Ĝis tiam, ripeto kaj lernado estas suspenditaj.
3. Ĝi malvastigas la kuntekston.
La labordivido povas artefarite limigi lernadon rekompencante homojn por restado en sia specialaĵo. Ekzemple, esploristo, kiu devas resti en la amplekso de sia funkcieco, enfokusigos sian energion por eksperimenti kun malsamaj specoj de algoritmoj: regreso, neŭralaj retoj, hazarda arbaro, ktp. Kompreneble, bonaj algoritmo-elektoj povas konduki al pliigaj plibonigoj, sed estas kutime multe pli por akiri el aliaj agadoj, kiel integri novajn datumfontojn. Same, ĝi helpos evoluigi modelon kiu ekspluatas ĉiun pecon de klariga potenco eneca en la datumoj. Tamen, ĝia forto povas kuŝi en ŝanĝado de la objektiva funkcio aŭ malstreĉiĝo de certaj limoj. Ĉi tio estas malfacile vidi aŭ fari kiam ŝia laboro estas limigita. Ĉar teknika sciencisto specialiĝas pri optimumigo de algoritmoj, li estas multe malpli verŝajne fari ion alian, eĉ se ĝi alportas signifajn avantaĝojn.
Por nomi la signojn, kiuj aperas kiam datumsciencaj teamoj agas kiel pinglaj fabrikoj (ekzemple, en simplaj statusaj ĝisdatigoj): "atendante datumojn-duktoŝanĝojn" kaj "atendante resursojn de ML Eng" estas oftaj blokiloj. Tamen mi kredas, ke la pli danĝera influo estas tio, kion vi ne rimarkas, ĉar vi ne povas bedaŭri tion, kion vi ne jam scias. Senmanka ekzekuto kaj la memkontento akirita de atingado de proceza efikeco povas maski la veron, ke organizoj ne konscias pri la lernutiloj, kiujn ili maltrafas.
La solvo al ĉi tiu problemo, kompreneble, estas forigi la fabrikan pinglometodon. Por instigi lernadon kaj ripeton, datumsciencisto-roloj devus esti senmarkaj sed kun larĝaj respondecoj sendependaj de la teknika funkcio, t.e. organizi datumajn sciencistojn tiel ke ili estas optimumigitaj por lernado. Ĉi tio signifas dungi "plenajn stakajn specialistojn" - ĝeneralaj specialistoj, kiuj povas plenumi diversajn funkciojn, de koncepto ĝis modelado, efektivigo ĝis mezurado. Gravas noti, ke mi ne sugestas, ke dungi plenstakan talenton devus redukti la nombron da dungitoj. Prefere, mi simple supozos, ke kiam ili estas organizitaj malsame, iliaj instigoj pli bone kongruas kun la lernado kaj agado-profitoj. Ekzemple, ni diru, ke vi havas teamon de tri homoj kun tri komercaj kapabloj. En pinfabriko, ĉiu teknikisto dediĉos trionon de sia tempo al ĉiu labortasko, ĉar neniu alia povas fari sian laboron. En plena stako, ĉiu ĝeneralisto estas plene dediĉita al la tuta komerca procezo, pligrandigo kaj trejnado.
Kun malpli da homoj subtenantaj la produktadciklon, kunordigo estas reduktita. La ĝeneralisto moviĝas fluide inter funkcioj, vastigante la datumdukton por aldoni pli da datumoj, provante novajn funkciojn en modeloj, deplojante novajn versiojn al produktado por kaŭzaj mezuradoj, kaj ripetante paŝojn tiel rapide kiel novaj ideoj aperas. Kompreneble, la stacidomo plenumas malsamajn funkciojn sinsekve kaj ne paralele. Post ĉio, ĝi estas nur unu persono. Tamen, plenumi taskon kutime prenas nur frakcion de la tempo bezonata por aliri alian specialecan rimedon. Do, la ripeta tempo malpliiĝas.
Nia ĝeneralisto eble ne estas tiel lerta kiel specialisto en aparta laborfunkcio, sed ni ne strebas al funkcia perfekteco aŭ malgrandaj pliigaj plibonigoj. Prefere, ni strebas lerni kaj malkovri pli kaj pli da profesiaj defioj kun laŭgrada efiko. Kun holisma kunteksto por kompleta solvo, li vidas ŝancojn, kiujn specialisto maltrafus. Li havas pli da ideoj kaj pli da eblecoj. Ankaŭ li malsukcesas. Tamen, la kosto de fiasko estas malalta kaj la avantaĝoj de lernado estas altaj. Ĉi tiu malsimetrio antaŭenigas rapidan ripeton kaj rekompencas lernadon.
Gravas noti, ke la kvanto de aŭtonomeco kaj kapablodiverseco donita al plenaj stakaj sciencistoj plejparte dependas de la fortikeco de la datumplatformo sur kiu labori. Bone dizajnita datumplatformo abstraktas datumsciencistojn de la kompleksecoj de kontenerigo, distribuita pretigo, aŭtomata malsukceso, kaj aliaj altnivelaj komputikkonceptoj. Krom abstraktado, fortika datumplatformo povas provizi senjuntan konekteblecon al eksperimenta infrastrukturo, aŭtomatigi monitoradon kaj atentadon, ebligi aŭtomatan skaladon kaj bildigon de algoritmaj rezultoj kaj senararigado. Ĉi tiuj komponantoj estas dezajnitaj kaj konstruitaj de la inĝenieroj pri datuma platformo, kio signifas, ke ili ne estas transdonitaj de la datumsciencisto al la teamo de disvolviĝo de datumoj. Estas la specialisto pri Data Science, kiu respondecas pri la tuta kodo uzata por funkcii la platformon.
Ankaŭ mi iam interesiĝis pri la funkcia labordivido uzante procezan efikecon, sed per provo kaj eraro (ne ekzistas pli bona maniero lerni), mi malkovris, ke tipaj roloj pli bone faciligas lernadon kaj novigon kaj provizas la ĝustajn mezurojn: malkovri kaj konstrui multe pli da komercaj ŝancoj ol speciala aliro. (Pli efika maniero lerni pri ĉi tiu aliro al organizado ol la provo kaj eraro, kiun mi travivis, estas legi la libron de Amy Edmondson Team Collaboration: How Organizations Learn, Innovate, and Compete in the Knowledge Economy).
Estas iuj gravaj supozoj, kiuj povas fari ĉi tiun aliron al organizado pli aŭ malpli fidinda en iuj kompanioj. La ripeta procezo reduktas la koston de provo kaj eraro. Se la kosto de eraro estas alta, vi eble volas redukti ilin (sed ĉi tio ne estas rekomendita por medicinaj aplikoj aŭ fabrikado). Aldone, se vi traktas petabajtojn aŭ eksabajtojn da datumoj, specialiĝo en datuma inĝenierado eble estos postulata. Same, se konservi interretajn komercajn kapablojn kaj ilian haveblecon estas pli grava ol plibonigi ilin, funkcia plejboneco povas superi lernadon. Fine, la plena staka modelo dependas de la opinioj de homoj, kiuj scias pri ĝi. Ili ne estas unikornoj; vi povas trovi ilin aŭ prepari ilin mem. Tamen ili estas tre postulataj kaj altiri kaj reteni ilin postulos konkurencivan kompenson, fortajn kompaniajn valorojn kaj malfacilan laboron. Certiĝu, ke via kompania kulturo povas subteni ĉi tion.
Eĉ kun ĉio dirita, mi kredas, ke la plena staka modelo provizas la plej bonajn komencajn kondiĉojn. Komencu per ili, kaj poste konscie moviĝu al funkcia labordivido nur kiam nepre necese.
Estas aliaj malavantaĝoj de funkcia specialiĝo. Ĉi tio povas kaŭzi perdon de respondeco kaj pasiveco flanke de laboristoj. Smith mem kritikas la labordividon, sugestante ke ĝi kondukas al obtuzado de talento, t.e. laboristoj iĝas sensciaj kaj retiriĝitaj ĉar iliaj roloj estas limigitaj al kelkaj ripetemaj taskoj. Dum specialiĝo povas disponigi procezefikecon, ĝi estas malpli verŝajne inspiri laboristojn.
Siavice, multflankaj roloj provizas ĉiujn aferojn, kiuj stiras laborkontenton: aŭtonomeco, majstrado kaj celo. Aŭtonomeco estas, ke ili ne dependas de io ajn por atingi sukceson. Majstreco kuŝas en fortaj konkurencivaj avantaĝoj. Kaj la sento de celo kuŝas en la ŝanco havi efikon al la komerco, kiun ili kreas. Se ni povas eksciti homojn pri ilia laboro kaj havi grandan efikon sur la firmao, tiam ĉio alia enfalos.
fonto: www.habr.com