Carson a tha feum aig sgiobaidhean Saidheans Dàta air luchd-coitcheann, chan e eòlaichean

Carson a tha feum aig sgiobaidhean Saidheans Dàta air luchd-coitcheann, chan e eòlaichean
Ìomhaighean HIROSHI WATANABE/GETTY

Ann an The Wealth of Nations, tha Adhamh Mac a’ Ghobhainn a’ sealltainn mar a thig roinn saothair gu bhith na phrìomh thùs airson cinneasachd nas motha. Is e eisimpleir eisimpleir loidhne cruinneachaidh factaraidh prìne: “Bidh aon neach-obrach a’ tarraing na h-uèir, neach eile ga dìreadh, an treas cuid ga ghearradh, an ceathramh a ’geurachadh a’ cheann, an còigeamh cuid a ’bleith a’ cheann eile gus a bhith iomchaidh don cheann. ” Taing do speisealachadh le fòcas air gnìomhan sònraichte, bidh gach neach-obrach gu bhith na eòlaiche le teisteanas àrd anns a ’ghnìomh chumhang aige, a tha a’ leantainn gu barrachd èifeachdais pròiseas. Bidh toradh gach neach-obrach ag àrdachadh iomadh uair thairis, agus bidh an fhactaraidh a’ fàs nas èifeachdaiche ann a bhith a’ dèanamh phrìneachan.

Tha an roinneadh seo de shaothair a rèir gnìomhachd cho freumhaichte nar n-inntinn eadhon an-diugh is gun do chuir sinn air dòigh ar sgiobaidhean gu sgiobalta a rèir sin. Chan eil Saidheans Dàta mar eisgeachd. Feumaidh comasan gnìomhachais algorithmach iom-fhillte grunn ghnìomhan obrach, agus mar sin bidh companaidhean mar as trice a’ cruthachadh sgiobaidhean de eòlaichean: luchd-rannsachaidh, innleadairean dàta, innleadairean ionnsachaidh innealan, luchd-saidheans adhbhar-is-buaidh, agus mar sin air adhart. Tha obair nan eòlaichean air a cho-òrdanachadh leis a 'mhanaidsear toraidh le bhith a' gluasad ghnìomhan ann an dòigh a tha coltach ri factaraidh prìne: "gheibh aon neach an dàta, bidh fear eile ga mhodail, bidh an treas cuid ga chur an gnìomh, an ceathramh ceum" agus mar sin air adhart,

Gu mì-fhortanach, cha bu chòir dhuinn na sgiobaidhean Saidheans Dàta againn a mheudachadh gus cinneasachd a leasachadh. Ach, nì thu seo nuair a thuigeas tu na tha thu a’ dèanamh: prìneachan no rudeigin eile, agus dìreach feuchaidh tu ri èifeachdas àrdachadh. Is e adhbhar loidhnichean cruinneachaidh gnìomh a choileanadh. Tha fios againn dè dìreach a tha sinn ag iarraidh - prìneachan (mar eisimpleir Smith), ach faodar iomradh a thoirt air toradh no seirbheis sam bith anns a bheil na riatanasan a ’toirt cunntas iomlan air gach taobh den toradh agus a ghiùlan. Is e dleastanas luchd-obrach na riatanasan sin a choileanadh cho èifeachdach sa ghabhas.

Ach chan e amas Saidheans Dàta gnìomhan a choileanadh. An àite sin, is e an amas cothroman gnìomhachais ùra làidir a sgrùdadh agus a leasachadh. Chan urrainnear toraidhean agus seirbheisean algorithmach leithid siostaman molaidh, eadar-obrachadh teachdaiche, seòrsachadh roghainnean stoidhle, meud, dealbhadh aodach, optimization logistics, lorg gluasadan ràitheil agus mòran a bharrachd a leasachadh ro-làimh. Feumaidh iad a bhith air an sgrùdadh. Chan eil planaichean ann airson ath-riochdachadh, is e cothroman ùra a tha seo le mì-chinnt gnèitheach. Feumar co-èifeachdan, modailean, seòrsachan mhodail, hyperparameters, na h-eileamaidean riatanach uile ionnsachadh tro dheuchainnean, deuchainn agus mearachd, agus ath-aithris. Le prìnichean, thathas a’ trèanadh agus a’ dealbhadh ro chinneasachadh. Le Saidheans Dàta, bidh thu ag ionnsachadh mar a nì thu, chan ann roimhe.

Ann am factaraidh prìne, nuair a thig trèanadh an toiseach, chan eil sinn a’ dùileachadh no ag iarraidh gum bi luchd-obrach a’ dèanamh suas ri feart sam bith den toradh ach a-mhàin gus èifeachdas cinneasachaidh a leasachadh. Tha gnìomhan sònraichte a’ dèanamh ciall leis gu bheil e a’ leantainn gu èifeachdas pròiseas agus cunbhalachd toraidh (gun atharrachaidhean air an toradh deireannach).

Ach nuair a tha an toradh fhathast a’ leasachadh agus gur e trèanadh an amas, bidh speisealachadh a’ cur bacadh air ar n-amasan anns na cùisean a leanas:

1. Bidh e a 'meudachadh cosgaisean co-òrdanachaidh.

Is e sin, na cosgaisean sin a bhios a’ cruinneachadh tron ​​ùine a thathar a’ cur seachad a’ conaltradh, a’ deasbad, a’ fìreanachadh agus a’ toirt prìomhachas don obair a dh’fheumar a dhèanamh. Bidh na cosgaisean sin a’ sgèile thar-loidhneach leis an àireamh dhaoine a tha an sàs ann. (Mar a theagaisg J. Richard Hackman dhuinn, tha àireamh nan dàimhean r a’ fàs mar an ceudna ri gnìomh àireamh nam briathran n a rèir na co-aontar seo: r = (n^2-n)/2. Agus tha gach dàimh a’ nochdadh beagan den dàimh cosgais.) Nuair a bhios luchd-saidheans dàta air an eagrachadh a rèir gnìomh, aig a h-uile ìre, le gach atharrachadh, a h-uile gluasad, msaa, tha feum air mòran eòlaichean, a tha ag àrdachadh cosgaisean co-òrdanachaidh. Mar eisimpleir, feumaidh luchd-riaghlaidh staitistigeil a tha airson feuchainn air feartan ùra co-òrdanachadh le innleadairean dàta a chuireas ris na seataichean dàta a h-uile uair a tha iad airson rudeigin ùr fheuchainn. Mar an ceudna, tha gach modail ùr air a thrèanadh a’ ciallachadh gum feum an leasaiche modail cuideigin airson co-òrdanachadh leis gus a chuir gu cinneasachadh. Tha cosgaisean co-òrdanachaidh mar phrìs airson ath-aithris, gan dèanamh nas duilghe agus nas daoire agus nas dualtaiche an sgrùdadh a thrèigsinn. Faodaidh seo bacadh a chur air ionnsachadh.

2. Tha e ga dhèanamh doirbh amannan feitheimh.

Fiù ‘s nas iongantaiche na cosgaisean co-òrdanachaidh tha an ùine a chaidh a chall eadar gluasadan obrach. Ged a bhios cosgaisean co-òrdanachaidh mar as trice air an tomhas ann an uairean - an ùine a bheir e airson coinneamhan, còmhraidhean, lèirmheasan dealbhaidh a chumail - mar as trice bidh ùine feitheimh air a thomhas ann an làithean, seachdainean no eadhon mìosan! Tha e duilich clàran eòlaichean gnìomh a chothromachadh oir feumaidh gach eòlaiche a bhith air a sgaoileadh thairis air grunn phròiseactan. Faodaidh coinneamh uair a thìde gus beachdachadh air atharrachaidhean seachdainean a thoirt gus an sruth-obrach a dhèanamh rèidh. Agus an dèidh aontachadh mu na h-atharrachaidhean, feumar an obair fhèin a dhealbhadh ann an co-theacsa mòran phròiseactan eile a tha a 'gabhail ùine obrach eòlaichean. Is dòcha gun toir obair a’ gabhail a-steach rèiteachadh còd no rannsachadh nach toir ach beagan uairean a thìde no làithean ri chrìochnachadh fada nas fhaide mus bi goireasan rim faighinn. Gu ruige sin, tha ath-aithris agus ionnsachadh air an stad.

3. Tha e a 'caolachadh a' cho-theacsa.

Faodaidh roinneadh saothair casg a chuir air ionnsachadh le bhith a’ toirt duais do dhaoine airson a bhith a’ fuireach nan cuid sònraichte. Mar eisimpleir, bidh neach-saidheans rannsachaidh a dh’ fheumas fuireach taobh a-staigh raon a ghnìomhachd a ’cuimseachadh a lùth air a bhith a’ feuchainn diofar sheòrsaichean algoirmean: ais-tharraing, lìonraidhean neural, coille air thuaiream, agus mar sin air adhart. Gu dearbh, faodaidh roghainnean math algorithm leantainn gu leasachaidhean mean air mhean, ach mar as trice tha tòrr a bharrachd ri fhaighinn bho ghnìomhachdan eile, leithid a bhith ag amalachadh stòran dàta ùra. Mar an ceudna, cuidichidh e le bhith a’ leasachadh modail a chleachdas a h-uile pìos de chumhachd mìneachaidh a tha dualach don dàta. Ach, dh’ fhaodadh a neart a bhith ann a bhith ag atharrachadh gnìomh amas no a bhith a’ gabhail fois air cuid de chuingealachaidhean. Tha seo duilich fhaicinn no a dhèanamh nuair a tha an obair aice cuingealaichte. Leis gu bheil neach-saidheans teignigeach gu sònraichte a’ dèanamh an fheum as fheàrr de algorithms, chan eil e cho dualtach dad sam bith eile a dhèanamh, eadhon ged a bheir e buannachdan mòra.

Gus na soidhnichean ainmeachadh a nochdas nuair a bhios sgiobaidhean saidheans dàta ag obair mar fhactaraidhean prìne (mar eisimpleir, ann an ùrachaidhean inbhe sìmplidh): tha “feitheamh ri atharrachaidhean loidhne-phìoban dàta” agus “feitheamh ri goireasan ML Eng” nan luchd-bacadh cumanta. Ach, tha mi a 'creidsinn gur e a' bhuaidh as cunnartaiche an rud nach toir thu fa-near, oir chan urrainn dhut aithreachas a dhèanamh air na rudan nach eil fios agad mu thràth. Faodaidh coileanadh gun sgur agus an somalta a gheibhear bho bhith a’ coileanadh èifeachdas pròiseas falach a dhèanamh air an fhìrinn nach eil buidhnean mothachail air na buannachdan trèanaidh a tha iad a’ call.

Is e am fuasgladh don duilgheadas seo, gu dearbh, cuir às don dòigh prìne factaraidh. Gus ionnsachadh agus aithris a bhrosnachadh, bu chòir dreuchdan neach-saidheans dàta a bhith coitcheann ach le dleastanasan farsaing neo-eisimeileach bhon obair theicnigeach, ie luchd-saidheans dàta a chuir air dòigh gus am bi iad air an ùrachadh airson ionnsachadh. Tha seo a’ ciallachadh a bhith a’ fastadh “eòlaichean làn stac” - eòlaichean coitcheann as urrainn grunn ghnìomhan a choileanadh, bho bhun-bheachd gu modaladh, buileachadh gu tomhas. Tha e cudromach cuimhneachadh nach eil mi a 'moladh gum bu chòir a bhith a' fastadh tàlant làn-chruach an àireamh de luchd-obrach a lùghdachadh. An àite sin, gabhaidh mi ris nuair a tha iad air an eagrachadh ann an dòigh eadar-dhealaichte, gu bheil na brosnachaidhean aca nas co-thaobhadh ris na buannachdan ionnsachaidh is coileanaidh. Mar eisimpleir, canaidh sinn gu bheil sgioba agad de thriùir le trì sgilean gnìomhachais. Ann am factaraidh prìne, bheir gach teicneòlaiche an treas cuid den ùine aige do gach obair obrach, leis nach urrainn dha duine sam bith eile an obair aige a dhèanamh. Ann an làn stac, tha gach coitcheann gu tur coisrigte don phròiseas gnìomhachais gu lèir, àrdachadh agus trèanadh.

Le nas lugha de dhaoine a’ toirt taic don chearcall toraidh, tha co-òrdanachadh air a lughdachadh. Bidh an neach-coitcheann a’ gluasad gu siùbhlach eadar feartan, a’ leudachadh na loidhne-phìoban dàta gus barrachd dàta a chur ris, a’ feuchainn feartan ùra ann am modalan, a’ cleachdadh dhreachan ùra gu cinneasachadh airson tomhasan adhbharach, agus ag ath-aithris cheumannan cho luath ‘s a thig beachdan ùra am bàrr. Gu dearbh, bidh carbad an stèisein a 'coileanadh diofar ghnìomhan ann an òrdugh agus chan ann aig an aon àm. Às deidh na h-uile, chan eil ann ach aon neach. Ach, mar as trice cha toir crìoch air gnìomh ach bloigh den ùine a dh’ fheumar gus faighinn gu goireas sònraichte eile. Mar sin, tha an ùine ath-chuairteachaidh a 'lùghdachadh.

Is dòcha nach eil an neach-coitcheann againn cho sgileil ri eòlaiche ann an obair shònraichte, ach cha bhith sinn a’ strì airson foirfeachd gnìomh no leasachaidhean beaga mean air mhean. An àite sin, bidh sinn a’ feuchainn ri barrachd is barrachd dhùbhlain proifeasanta ionnsachadh agus a lorg le buaidh mean air mhean. Le co-theacsa iomlan airson fuasgladh iomlan, tha e a’ faicinn chothroman a bhiodh speisealaiche ag ionndrainn. Tha barrachd bheachdan aige agus barrachd chothroman. Tha e a’ fàiligeadh cuideachd. Ach, tha cosgais fàiligeadh ìosal agus tha buannachdan ionnsachaidh àrd. Bidh an neo-chunbhalachd seo a’ brosnachadh tionndadh luath agus a’ toirt duais do ionnsachadh.

Tha e cudromach cuimhneachadh gu bheil an ìre de neo-eisimeileachd agus iomadachd sgil a bheir luchd-saidheans làn stac gu mòr an urra ri cho làidir sa tha an àrd-ùrlar dàta air am bi iad ag obair. Bidh àrd-ùrlar dàta air a dheagh dhealbhadh a’ toirt a-mach luchd-saidheans dàta bho iom-fhillteachd container, giollachd sgaoilte, fàilligeadh fèin-ghluasadach, agus bun-bheachdan coimpiutaireachd adhartach eile. A bharrachd air toirt air falbh, faodaidh àrd-ùrlar dàta làidir ceangal fuaigheil a sholarachadh ri bun-structar deuchainneach, sgrùdadh agus rabhadh fèin-ghluasadach, comas a thoirt do sgèileadh fèin-ghluasadach agus sealladh air toraidhean algorithmach agus debugging. Tha na co-phàirtean sin air an dealbhadh agus air an togail le innleadairean àrd-ùrlar dàta, a’ ciallachadh nach tèid an toirt seachad bhon neach-saidheans dàta gu sgioba leasachaidh àrd-ùrlar dàta. Is e an eòlaiche Saidheans Dàta a tha an urra ris a’ chòd gu lèir a thathar a’ cleachdadh gus an àrd-ùrlar a ruith.

Bha ùidh agamsa cuideachd ann an roinn gnìomh saothair a’ cleachdadh èifeachdas pròiseas, ach tro dheuchainn agus mearachd (chan eil dòigh nas fheàrr air ionnsachadh), fhuair mi a-mach gu bheil dreuchdan àbhaisteach a’ comasachadh ionnsachadh agus ùr-ghnàthachadh nas fheàrr agus a’ toirt seachad na meatrach ceart: lorg agus togail mòran a bharrachd chothroman gnìomhachais na dòigh-obrach sònraichte. (Is e dòigh nas èifeachdaiche air ionnsachadh mun dòigh-obrach seo airson eagrachadh na an deuchainn agus a’ mhearachd air an deach mi troimhe a bhith a’ leughadh leabhar Amy Edmondson Co-obrachadh Sgioba: Mar a bhios Buidhnean ag ionnsachadh, ag ùr-ghnàthachadh agus a’ farpais ann an Eaconamaidh an Eòlais).

Tha cuid de bharailean cudromach ann a dh’ fhaodadh an dòigh-obrach seo a thaobh eagrachadh barrachd no nas lugha earbsach ann an cuid de chompanaidhean a dhèanamh. Bidh am pròiseas ath-aithris a’ lughdachadh cosgais deuchainn is mearachd. Ma tha cosgais mearachd àrd, is dòcha gum bi thu airson an lughdachadh (ach chan eil seo air a mholadh airson tagraidhean meidigeach no saothrachadh). A bharrachd air an sin, ma tha thu a’ dèiligeadh ri petabytes no exabytes dàta, dh’ fhaodadh gum bi feum air speisealachadh ann an innleadaireachd dàta. Mar an ceudna, ma tha cumail suas comasan gnìomhachais air-loidhne agus na tha rim faighinn nas cudromaiche na bhith gan leasachadh, dh’ fhaodadh sàr-mhathas gnìomh cur às do ionnsachadh. Mu dheireadh, tha am modail làn stac an urra ri beachdan dhaoine aig a bheil fios mu dheidhinn. Chan e aon-chòrnach a th’ annta; gheibh thu iad no ullaich thu fhèin iad. Ach, tha iarrtas mòr orra agus bidh feum air airgead-dìolaidh farpaiseach, luachan corporra làidir agus obair dhùbhlanach airson an tàladh agus an cumail. Dèan cinnteach gun urrainn do chultar companaidh taic a thoirt dha seo.

Eadhon leis a h-uile càil a chaidh a ràdh, tha mi a’ creidsinn gu bheil am modail làn chruach a’ toirt seachad na suidheachaidhean tòiseachaidh as fheàrr. Tòisich leotha, agus an uairsin gluais gu mothachail a dh'ionnsaigh roinn obrach gnìomhach a-mhàin nuair a tha e riatanach.

Tha eas-bhuannachdan eile ann an speisealachadh gnìomh. Faodaidh seo leantainn gu call uallach agus fulangas air taobh luchd-obrach. Tha Mac a’ Ghobhainn fhèin a’ càineadh roinneadh an t-saothair, a’ moladh gu bheil e a’ leantainn gu bhith a’ mealladh tàlant, i.e. bidh luchd-obrach a’ fàs aineolach agus air an tarraing air ais leis gu bheil na dreuchdan aca cuingealaichte ri beagan ghnìomhan ath-aithris. Ged a dh’ fhaodadh speisealachadh èifeachdas pròiseas a thoirt seachad, chan eil e cho dualtach luchd-obrach a bhrosnachadh.

Ann an tionndadh, tha dreuchdan ioma-ghnìomhach a’ toirt seachad a h-uile càil a tha a’ stiùireadh sàsachd obrach: fèin-riaghladh, maighstireachd, agus adhbhar. Is e fèin-riaghladh nach eil iad an urra ri rud sam bith gus soirbheachadh. Tha maighstireachd na laighe ann am buannachdan farpaiseach làidir. Agus tha am mothachadh air adhbhar na laighe anns a’ chothrom buaidh a thoirt air a’ ghnìomhachas a bhios iad a’ cruthachadh. Mas urrainn dhuinn daoine a bhrosnachadh mun obair aca agus buaidh mhòr a thoirt air a’ chompanaidh, thig a h-uile càil eile na àite.

Source: www.habr.com

Cuir beachd ann