Pam mae timau Gwyddor Data angen cyffredinolwyr, nid arbenigwyr

Pam mae timau Gwyddor Data angen cyffredinolwyr, nid arbenigwyr
DELWEDDAU HIROSHI WATANABE/GETTY

Yn The Wealth of Nations, mae Adam Smith yn dangos sut mae rhaniad llafur yn dod yn brif ffynhonnell cynnydd mewn cynhyrchiant. Enghraifft yw llinell gydosod ffatri pinnau: “Mae un gweithiwr yn tynnu’r wifren, un arall yn ei sythu, traean yn ei thorri, mae pedwerydd yn miniogi’r diwedd, mae pumed yn malu’r pen arall i ffitio’r pen.” Diolch i arbenigedd sy'n canolbwyntio ar swyddogaethau penodol, mae pob gweithiwr yn dod yn arbenigwr cymwys iawn yn ei dasg gyfyng, sy'n arwain at fwy o effeithlonrwydd proses. Mae allbwn fesul gweithiwr yn cynyddu lawer gwaith drosodd, ac mae'r ffatri'n dod yn fwy effeithlon wrth gynhyrchu pinnau.

Mae'r rhaniad hwn o lafur yn ôl ymarferoldeb mor gynhenid ​​yn ein meddyliau hyd yn oed heddiw nes i ni drefnu ein timau'n gyflym yn unol â hynny. Nid yw Gwyddor Data yn eithriad. Mae galluoedd busnes algorithmig cymhleth yn gofyn am swyddogaethau gwaith lluosog, felly mae cwmnïau fel arfer yn creu timau o arbenigwyr: ymchwilwyr, peirianwyr data, peirianwyr dysgu peiriannau, gwyddonwyr achos-ac-effaith, ac ati. Mae gwaith yr arbenigwyr yn cael ei gydlynu gan y rheolwr cynnyrch gyda throsglwyddo swyddogaethau mewn modd sy'n debyg i ffatri pin: "mae un person yn derbyn y data, mae un arall yn ei fodelu, traean yn ei weithredu, pedwerydd mesur" ac yn y blaen,

Ysywaeth, ni ddylem optimeiddio ein timau Gwyddor Data i wella cynhyrchiant. Fodd bynnag, dyma beth rydych chi'n ei wneud pan fyddwch chi'n deall yr hyn rydych chi'n ei gynhyrchu: pinnau neu rywbeth arall, ac yn syml yn ymdrechu i gynyddu effeithlonrwydd. Pwrpas llinellau cydosod yw cwblhau tasg. Rydyn ni'n gwybod yn union beth rydyn ni ei eisiau - pinnau (fel yn enghraifft Smith), ond gellir crybwyll unrhyw gynnyrch neu wasanaeth lle mae'r gofynion yn disgrifio'n llawn bob agwedd ar y cynnyrch a'i ymddygiad. Rôl gweithwyr yw cyflawni'r gofynion hyn mor effeithlon â phosibl.

Ond nid cwblhau tasgau yw nod Gwyddor Data. Yn hytrach, y nod yw archwilio a datblygu cyfleoedd busnes newydd cryf. Ni ellir datblygu cynhyrchion a gwasanaethau algorithmig fel systemau argymell, rhyngweithio cwsmeriaid, dosbarthiad dewisiadau arddull, maint, dylunio dillad, optimeiddio logisteg, canfod tueddiadau tymhorol a llawer mwy ymlaen llaw. Rhaid eu hastudio. Nid oes unrhyw lasbrintiau i'w hailadrodd, mae'r rhain yn bosibiliadau newydd gydag ansicrwydd cynhenid. Rhaid dysgu cyfernodau, modelau, mathau o fodelau, hyperparameters, yr holl elfennau angenrheidiol trwy arbrofi, treialu a methu, ac ailadrodd. Gyda phinnau, gwneir hyfforddiant a dylunio cyn cynhyrchu. Gyda Gwyddor Data, rydych chi'n dysgu fel y gwnewch chi, nid o'r blaen.

Mewn ffatri pinnau, pan ddaw hyfforddiant yn gyntaf, nid ydym yn disgwyl nac yn dymuno i weithwyr addasu unrhyw nodwedd o'r cynnyrch yn fyrfyfyr heblaw am wella effeithlonrwydd cynhyrchu. Mae arbenigo tasgau yn gwneud synnwyr oherwydd ei fod yn arwain at effeithlonrwydd prosesau a chysondeb cynhyrchu (heb newidiadau i'r cynnyrch terfynol).

Ond pan fydd y cynnyrch yn dal i ddatblygu a'r nod yw hyfforddiant, mae arbenigedd yn ymyrryd â'n nodau yn yr achosion canlynol:

1. Mae'n cynyddu costau cydlynu.

Hynny yw, y costau hynny sy’n cronni yn ystod yr amser a dreulir yn cyfathrebu, yn trafod, yn cyfiawnhau ac yn blaenoriaethu’r gwaith sydd angen ei wneud. Mae'r costau hyn ar raddfa uwch-linellol gyda nifer y bobl dan sylw. (Fel y dysgodd J. Richard Hackman i ni, mae nifer y perthnasoedd r yn tyfu'n debyg i swyddogaeth nifer y termau n yn ôl yr hafaliad hwn: r = (n^2-n)/2. Ac mae pob perthynas yn datgelu rhywfaint o'r perthynas cost.) Pan drefnir gwyddonwyr data yn ôl swyddogaeth, ym mhob cam, gyda phob newid, pob trosglwyddiad, ac ati, mae angen llawer o arbenigwyr, sy'n cynyddu costau cydlynu. Er enghraifft, bydd yn rhaid i fodelwyr ystadegol sydd am arbrofi â nodweddion newydd gydgysylltu â pheirianwyr data sy'n ychwanegu at y setiau data bob tro y maent am roi cynnig ar rywbeth newydd. Yn yr un modd, mae pob model newydd a hyfforddwyd yn golygu y bydd angen i ddatblygwr y model gael rhywun i gydlynu ag ef i'w roi ar waith. Mae costau cydgysylltu yn gweithredu fel pris ar gyfer iteriad, gan eu gwneud yn fwy anodd a drud ac yn fwy tebygol o achosi rhoi'r gorau i'r astudiaeth. Gall hyn amharu ar ddysgu.

2. Mae'n gwneud amseroedd aros yn anodd.

Hyd yn oed yn fwy brawychus na chostau cydgysylltu yw'r amser a gollwyd rhwng sifftiau gwaith. Er bod costau cydlynu fel arfer yn cael eu mesur mewn oriau - yr amser mae'n ei gymryd i gynnal cyfarfodydd, trafodaethau, adolygiadau dylunio - mae amser aros fel arfer yn cael ei fesur mewn dyddiau, wythnosau neu hyd yn oed fisoedd! Mae'n anodd cydbwyso amserlenni arbenigwyr swyddogaethol oherwydd rhaid dosbarthu pob arbenigwr ar draws prosiectau lluosog. Gall cyfarfod awr o hyd i drafod newidiadau gymryd wythnosau i lyfnhau'r llif gwaith. Ac ar ôl cytuno ar y newidiadau, mae angen cynllunio'r gwaith gwirioneddol ei hun yng nghyd-destun llawer o brosiectau eraill sy'n meddiannu amser gwaith arbenigwyr. Gall gwaith sy'n cynnwys atgyweiriadau cod neu ymchwil sydd ond yn cymryd ychydig oriau neu ddyddiau i'w gwblhau gymryd llawer mwy o amser cyn i adnoddau ddod ar gael. Tan hynny, mae iteriad a dysgu yn cael eu hatal.

3. Mae'n culhau'r cyd-destun.

Gall rhaniad llafur gyfyngu'n artiffisial ar ddysgu trwy wobrwyo pobl am aros yn eu harbenigedd. Er enghraifft, bydd gwyddonydd ymchwil y mae'n rhaid iddo aros o fewn cwmpas ei ymarferoldeb yn canolbwyntio ei egni ar arbrofi gyda gwahanol fathau o algorithmau: atchweliad, rhwydweithiau niwral, coedwig ar hap, ac ati. Wrth gwrs, gall dewisiadau algorithm da arwain at welliannau cynyddol, ond yn nodweddiadol mae llawer mwy i'w ennill o weithgareddau eraill, megis integreiddio ffynonellau data newydd. Yn yr un modd, bydd yn helpu i ddatblygu model sy'n manteisio ar bob tamaid o bŵer esboniadol sy'n gynhenid ​​​​yn y data. Fodd bynnag, efallai mai ei gryfder yw newid y swyddogaeth wrthrychol neu lacio rhai cyfyngiadau. Mae hyn yn anodd ei weld neu ei wneud pan fo ei gwaith yn gyfyngedig. Oherwydd bod gwyddonydd technegol yn arbenigo mewn optimeiddio algorithmau, mae'n llawer llai tebygol o wneud unrhyw beth arall, hyd yn oed os yw'n dod â buddion sylweddol.

I enwi’r arwyddion sy’n ymddangos pan fydd timau gwyddor data yn gweithredu fel ffatrïoedd pin (er enghraifft, mewn diweddariadau statws syml): mae “aros am newidiadau i’r biblinell ddata” ac “aros am adnoddau ML Eng” yn rhwystrwyr cyffredin. Fodd bynnag, rwy'n credu mai'r dylanwad mwy peryglus yw'r hyn nad ydych chi'n sylwi arno, oherwydd ni allwch chi ddifaru'r hyn nad ydych chi'n ei wybod eisoes. Gall gweithredu'n ddi-ffael a'r hunanfodlonrwydd a geir o gyflawni effeithlonrwydd prosesau guddio'r gwir nad yw sefydliadau'n ymwybodol o'r manteision dysgu y maent yn eu colli.

Yr ateb i'r broblem hon, wrth gwrs, yw cael gwared ar y dull pin ffatri. Er mwyn annog dysgu ac iteru, dylai rolau gwyddonwyr data fod yn generig ond gyda chyfrifoldebau eang yn annibynnol ar y swyddogaeth dechnegol, h.y. trefnu gwyddonwyr data fel eu bod yn cael eu hoptimeiddio ar gyfer dysgu. Mae hyn yn golygu llogi “arbenigwyr pentwr llawn” - arbenigwyr cyffredinol sy'n gallu cyflawni amrywiaeth o swyddogaethau, o'r cysyniad i'r modelu, o'r gweithredu i'r mesur. Mae'n bwysig nodi nad wyf yn awgrymu y dylai llogi talent pentwr llawn leihau nifer y gweithwyr. Yn hytrach, byddaf yn cymryd yn ganiataol, pan gânt eu trefnu’n wahanol, fod eu cymhellion yn cyd-fynd yn well â’r manteision o ran dysgu a pherfformiad. Er enghraifft, gadewch i ni ddweud bod gennych chi dîm o dri o bobl â thri sgil busnes. Mewn ffatri biniau, bydd pob technegydd yn rhoi traean o'i amser i bob tasg swydd, gan na all neb arall wneud ei waith. Mewn pentwr llawn, mae pob cyffredinolwr yn gwbl ymroddedig i'r broses fusnes gyfan, ehangu a hyfforddiant.

Gyda llai o bobl yn cefnogi'r cylch cynhyrchu, mae cydgysylltu'n cael ei leihau. Mae'r cyffredinolwr yn symud yn llyfn rhwng nodweddion, gan ehangu'r biblinell ddata i ychwanegu mwy o ddata, rhoi cynnig ar nodweddion newydd mewn modelau, defnyddio fersiynau newydd i gynhyrchu ar gyfer mesuriadau achosol, ac ailadrodd camau cyn gynted ag y daw syniadau newydd i'r amlwg. Wrth gwrs, mae wagen yr orsaf yn cyflawni gwahanol swyddogaethau yn olynol ac nid yn gyfochrog. Wedi'r cyfan, dim ond un person ydyw. Fodd bynnag, dim ond rhan fach iawn o'r amser sydd ei angen i gael mynediad at adnodd arbenigol arall i gwblhau tasg. Felly, mae'r amser ailadrodd yn lleihau.

Efallai na fydd ein cyffredinolwr mor fedrus ag arbenigwr mewn swyddogaeth swydd benodol, ond nid ydym yn ymdrechu i gael perffeithrwydd swyddogaethol na gwelliannau cynyddrannol bach. Yn hytrach, rydym yn ymdrechu i ddysgu a darganfod mwy a mwy o heriau proffesiynol gydag effaith raddol. Gyda chyd-destun cyfannol ar gyfer datrysiad cyflawn, mae'n gweld cyfleoedd y byddai arbenigwr yn eu colli. Mae ganddo fwy o syniadau a mwy o bosibiliadau. Mae'n methu hefyd. Fodd bynnag, mae cost methu yn isel ac mae manteision dysgu yn uchel. Mae'r anghymesuredd hwn yn hyrwyddo iteriad cyflym ac yn gwobrwyo dysgu.

Mae'n bwysig nodi bod faint o ymreolaeth ac amrywiaeth sgiliau a roddir i wyddonwyr pentwr llawn yn dibynnu i raddau helaeth ar gadernid y llwyfan data i weithio arno. Mae llwyfan data wedi'i ddylunio'n dda yn tynnu gwyddonwyr data o gymhlethdodau cynhwysydd, prosesu dosbarthedig, methiant awtomatig, a chysyniadau cyfrifiadurol uwch eraill. Yn ogystal â thynnu, gall llwyfan data cadarn ddarparu cysylltedd di-dor â seilwaith arbrofol, awtomeiddio monitro a rhybuddio, galluogi graddio a delweddu canlyniadau algorithmig a dadfygio yn awtomatig. Mae'r cydrannau hyn yn cael eu dylunio a'u hadeiladu gan beirianwyr y llwyfan data, sy'n golygu nad ydyn nhw'n cael eu trosglwyddo o'r gwyddonydd data i'r tîm datblygu llwyfan data. Yr arbenigwr Gwyddor Data sy'n gyfrifol am yr holl god a ddefnyddir i redeg y platfform.

Roeddwn i, hefyd, unwaith yn ymddiddori yn rhaniad swyddogaethol llafur gan ddefnyddio effeithlonrwydd prosesau, ond trwy brofi a methu (nid oes ffordd well o ddysgu), darganfyddais fod rolau nodweddiadol yn hwyluso dysgu ac arloesi yn well ac yn darparu'r metrigau cywir: darganfod a adeiladu llawer mwy o gyfleoedd busnes nag ymagwedd arbenigol. (Ffordd fwy effeithiol o ddysgu am y dull hwn o drefnu na’r treial a chamgymeriad yr es i drwyddo yw darllen llyfr Amy Edmondson Team Collaboration: How Organisations Learn, Innovate, and Compete in the Knowledge Economy).

Mae rhai tybiaethau pwysig a allai wneud y dull hwn o drefnu mwy neu lai yn ddibynadwy mewn rhai cwmnïau. Mae'r broses ailadrodd yn lleihau cost treial a chamgymeriad. Os yw cost gwallau yn uchel, efallai y byddwch am eu lleihau (ond nid yw hyn yn cael ei argymell ar gyfer cymwysiadau meddygol neu weithgynhyrchu). Yn ogystal, os ydych chi'n delio â phetabytes neu exabytes o ddata, efallai y bydd angen arbenigo mewn peirianneg data. Yn yr un modd, os yw cynnal galluoedd busnes ar-lein a'u hargaeledd yn bwysicach na'u gwella, gall rhagoriaeth swyddogaethol drechu dysgu. Yn olaf, mae'r model pentwr llawn yn dibynnu ar farn pobl sy'n gwybod amdano. Nid unicorn mohonynt; gallwch ddod o hyd iddynt neu eu paratoi eich hun. Fodd bynnag, mae galw mawr amdanynt a bydd eu denu a’u cadw yn gofyn am iawndal cystadleuol, gwerthoedd corfforaethol cryf a gwaith heriol. Gwnewch yn siŵr y gall diwylliant eich cwmni gefnogi hyn.

Hyd yn oed gyda'r cyfan a ddywedwyd, credaf fod y model pentwr llawn yn darparu'r amodau cychwyn gorau. Dechreuwch gyda nhw, ac yna symudwch yn ymwybodol tuag at raniad swyddogaethol o lafur dim ond pan fo'n gwbl angenrheidiol.

Mae anfanteision eraill o arbenigo swyddogaethol. Gall hyn arwain at golli cyfrifoldeb a goddefgarwch ar ran gweithwyr. Mae Smith ei hun yn beirniadu rhaniad llafur, gan awgrymu ei fod yn arwain at bylu dawn, h.y. mae gweithwyr yn mynd yn anwybodus ac yn encilgar gan fod eu rolau wedi'u cyfyngu i ychydig o dasgau ailadroddus. Er y gall arbenigo ddarparu effeithlonrwydd prosesau, mae'n llai tebygol o ysbrydoli gweithwyr.

Yn eu tro, mae rolau amlbwrpas yn darparu'r holl bethau sy'n ysgogi boddhad swydd: ymreolaeth, meistrolaeth, a phwrpas. Ymreolaeth yw nad ydynt yn dibynnu ar unrhyw beth i sicrhau llwyddiant. Gorwedd meistrolaeth mewn manteision cystadleuol cryf. Ac mae'r ymdeimlad o bwrpas yn gorwedd yn y cyfle i gael effaith ar y busnes y maent yn ei greu. Os gallwn ysgogi pobl am eu gwaith a chael effaith fawr ar y cwmni, yna bydd popeth arall yn disgyn i'w le.

Ffynhonnell: hab.com

Ychwanegu sylw