Kwa nini timu za Sayansi ya Data zinahitaji wataalamu wa jumla, sio wataalamu

Kwa nini timu za Sayansi ya Data zinahitaji wataalamu wa jumla, sio wataalamu
HIROSHI WATANABE/GETTY IMAGES

Katika Utajiri wa Mataifa, Adam Smith anaonyesha jinsi mgawanyo wa kazi unakuwa chanzo kikuu cha kuongezeka kwa tija. Mfano ni njia ya kuunganisha ya kiwanda cha pini: β€œMfanyakazi mmoja huvuta waya, mwingine huinyoosha, wa tatu anaikata, wa nne ananoa mwisho, wa tano anasaga ncha nyingine ili kutoshea kichwa.” Shukrani kwa utaalam unaozingatia kazi maalum, kila mfanyakazi anakuwa mtaalamu aliyehitimu sana katika kazi yake nyembamba, ambayo inasababisha kuongezeka kwa ufanisi wa mchakato. Pato kwa kila mfanyakazi huongezeka mara nyingi zaidi, na kiwanda huwa na ufanisi zaidi katika kuzalisha pini.

Mgawanyo huu wa kazi kwa utendaji umekita mizizi katika akili zetu hata leo kwamba tulipanga timu zetu ipasavyo. Sayansi ya Data sio ubaguzi. Uwezo changamano wa biashara wa algoriti unahitaji kazi nyingi, kwa hivyo makampuni kwa kawaida huunda timu za wataalamu: watafiti, wahandisi wa data, wahandisi wa kujifunza mashine, wanasayansi wa sababu na athari, na kadhalika. Kazi ya wataalam inaratibiwa na meneja wa bidhaa na uhamishaji wa kazi kwa njia inayofanana na kiwanda cha pini: "mtu mmoja anapokea data, mwingine anaifanya mfano, wa tatu anaifanya, hatua ya nne" na kadhalika,

Ole, hatupaswi kuboresha timu zetu za Sayansi ya Data ili kuboresha tija. Hata hivyo, hii ndiyo unayofanya unapoelewa kile unachozalisha: pini au kitu kingine, na ujitahidi tu kuongeza ufanisi. Madhumuni ya mistari ya kusanyiko ni kukamilisha kazi. Tunajua hasa tunachotaka - pini (kama katika mfano wa Smith), lakini bidhaa au huduma yoyote inaweza kutajwa ambayo mahitaji yanaelezea kikamilifu vipengele vyote vya bidhaa na tabia yake. Wajibu wa wafanyikazi ni kutimiza mahitaji haya kwa ufanisi iwezekanavyo.

Lakini lengo la Sayansi ya Data sio kukamilisha kazi. Badala yake, lengo ni kuchunguza na kukuza fursa mpya za biashara zenye nguvu. Bidhaa na huduma za algorithmic kama vile mifumo ya mapendekezo, mwingiliano wa wateja, uainishaji wa mapendeleo ya mtindo, ukubwa, muundo wa mavazi, uboreshaji wa vifaa, utambuzi wa mwenendo wa msimu na mengi zaidi hayawezi kutengenezwa mapema. Lazima zichunguzwe. Hakuna ramani za kunakili, hizi ni uwezekano mpya wenye kutokuwa na uhakika wa asili. Coefficients, modeli, aina za mifano, hyperparameters, vipengele vyote muhimu lazima vijifunze kupitia majaribio, majaribio na makosa, na marudio. Kwa pini, mafunzo na muundo hufanywa kabla ya uzalishaji. Ukiwa na Sayansi ya Data, unajifunza jinsi unavyofanya, sio hapo awali.

Katika kiwanda cha pini, mafunzo yanapokuja kwanza, hatutarajii wala hatutaki wafanyakazi waboresha kipengele chochote cha bidhaa isipokuwa kuboresha ufanisi wa uzalishaji. Kazi za utaalam zinaeleweka kwa sababu husababisha ufanisi wa kuchakata na uthabiti wa uzalishaji (bila mabadiliko kwa bidhaa ya mwisho).

Lakini wakati bidhaa bado inakua na lengo ni mafunzo, utaalam unaingilia malengo yetu katika kesi zifuatazo:

1. Inaongeza gharama za uratibu.

Hiyo ni, gharama hizo ambazo hujilimbikiza wakati wa kuwasiliana, kujadili, kuhalalisha na kuipa kipaumbele kazi inayotakiwa kufanywa. Gharama hizi huongezeka sana kulingana na idadi ya watu wanaohusika. (Kama J. Richard Hackman alivyotufundisha, idadi ya mahusiano r inakua sawa na kazi ya idadi ya istilahi n kulingana na mlinganyo huu: r = (n^2-n)/2. Na kila uhusiano unaonyesha kiasi fulani cha uhusiano wa gharama.) Wanasayansi wa data wanapopangwa na kazi, katika kila hatua, na kila mabadiliko, kila makabidhiano, nk, wataalamu wengi wanahitajika, ambayo huongeza gharama za uratibu. Kwa mfano, waundaji wa takwimu wanaotaka kujaribu vipengele vipya watalazimika kuratibu na wahandisi wa data wanaoongeza kwenye seti za data kila wakati wanapotaka kujaribu kitu kipya. Vile vile, kila mtindo mpya uliofunzwa unamaanisha kuwa msanidi kielelezo atahitaji mtu wa kuratibu naye ili kuuweka katika uzalishaji. Gharama za uratibu hufanya kama bei ya kurudia, na kuzifanya kuwa ngumu na ghali zaidi na uwezekano mkubwa wa kusababisha utafiti kuachwa. Hii inaweza kuingilia kati kujifunza.

2. Hufanya nyakati za kusubiri kuwa ngumu.

Hata zaidi ya kutisha kuliko gharama za uratibu ni wakati unaopotea kati ya zamu za kazi. Ingawa gharama za uratibu kwa kawaida hupimwa kwa saa - muda unaochukua kufanya mikutano, majadiliano, ukaguzi wa muundo - muda wa kusubiri kwa kawaida hupimwa kwa siku, wiki au hata miezi! Ratiba za wataalamu wanaofanya kazi ni ngumu kusawazisha kwa sababu kila mtaalamu lazima asambazwe katika miradi mingi. Mkutano wa saa moja wa kujadili mabadiliko unaweza kuchukua wiki ili kulainisha utendakazi. Na baada ya kukubaliana juu ya mabadiliko, ni muhimu kupanga kazi halisi yenyewe katika mazingira ya miradi mingine mingi ambayo inachukua muda wa kazi wa wataalamu. Kazi inayohusisha urekebishaji wa misimbo au utafiti unaochukua saa au siku chache tu kukamilika inaweza kuchukua muda mrefu zaidi kabla ya rasilimali kupatikana. Hadi wakati huo, kurudia na kujifunza kumesimamishwa.

3. Hupunguza muktadha.

Mgawanyo wa kazi unaweza kuweka kikomo cha kujifunza kwa kuwatuza watu kwa kubaki katika taaluma yao. Kwa mfano, mwanasayansi wa utafiti ambaye lazima abaki ndani ya upeo wa utendakazi wake ataelekeza nguvu zake katika majaribio ya aina tofauti za algorithms: regression, mitandao ya neural, msitu random, na kadhalika. Bila shaka, chaguo nzuri za algoriti zinaweza kusababisha maboresho ya ziada, lakini kwa kawaida kuna mengi zaidi yanayoweza kupatikana kutokana na shughuli nyinginezo, kama vile kuunganisha vyanzo vipya vya data. Vivyo hivyo, itasaidia kukuza mfano ambao unatumia kila sehemu ya nguvu ya kuelezea iliyo katika data. Hata hivyo, nguvu yake inaweza kuwa katika kubadilisha kazi ya lengo au kupumzika vikwazo fulani. Hii ni vigumu kuona au kufanya wakati kazi yake ni ndogo. Kwa sababu mwanasayansi wa kiufundi amebobea katika kuboresha algorithms, ana uwezekano mdogo sana wa kufanya kitu kingine chochote, hata kama italeta manufaa makubwa.

Ili kutaja ishara zinazoonekana wakati timu za sayansi ya data zinafanya kazi kama viwanda vya siri (kwa mfano, katika masasisho rahisi ya hali): "kusubiri mabadiliko ya bomba la data" na "kusubiri rasilimali za ML Eng" ni vizuizi vya kawaida. Walakini, ninaamini ushawishi hatari zaidi ni ule ambao hauoni, kwa sababu huwezi kujutia kile ambacho hujui. Utekelezaji usio na dosari na kutoridhika kunakopatikana kutokana na ufanisi wa mchakato kunaweza kuficha ukweli kwamba mashirika hayatambui manufaa ya kujifunza ambayo yanakosa.

Suluhisho la tatizo hili, bila shaka, ni kuondokana na njia ya siri ya kiwanda. Ili kuhimiza kujifunza na kurudia, majukumu ya mwanasayansi wa data yanapaswa kuwa ya jumla lakini yenye majukumu mapana yasiyotegemea utendakazi wa kiufundi, yaani, kupanga wanasayansi wa data ili waimarishwe kwa ajili ya kujifunza. Hii inamaanisha kuajiri "wataalamu kamili" -wataalamu wa jumla ambao wanaweza kufanya kazi mbalimbali, kutoka kwa dhana hadi uundaji wa mfano, utekelezaji hadi kipimo. Ni muhimu kutambua kwamba sipendekezi kwamba kuajiri talanta kamili inapaswa kupunguza idadi ya wafanyikazi. Badala yake, nitachukulia tu kwamba zinapopangwa kwa njia tofauti, vivutio vyao vinalingana vyema na manufaa ya kujifunza na utendaji. Kwa mfano, tuseme una timu ya watu watatu wenye ujuzi wa biashara tatu. Katika kiwanda cha pini, kila fundi atatoa theluthi moja ya wakati wake kwa kila kazi ya kazi, kwani hakuna mtu mwingine anayeweza kufanya kazi yake. Katika mrundikano kamili, kila mwanajenerali amejitolea kikamilifu kwa mchakato mzima wa biashara, kuongeza kasi, na mafunzo.

Kwa watu wachache wanaounga mkono mzunguko wa uzalishaji, uratibu umepunguzwa. Mtaalamu wa jumla husogea kati ya vipengele, akipanua bomba la data ili kuongeza data zaidi, kujaribu vipengele vipya katika miundo, kupeleka matoleo mapya kwa uzalishaji kwa ajili ya vipimo vya sababu, na kurudia hatua haraka kama mawazo mapya yanapoibuka. Kwa kweli, gari la kituo hufanya kazi tofauti kwa mlolongo na sio sambamba. Baada ya yote, ni mtu mmoja tu. Hata hivyo, kukamilisha kazi kwa kawaida huchukua sehemu ndogo tu ya muda unaohitajika kufikia rasilimali nyingine maalumu. Kwa hivyo, wakati wa kurudia hupungua.

Mtaalamu wetu wa mambo ya jumla anaweza asiwe na ujuzi kama mtaalamu katika utendaji fulani wa kazi, lakini hatujitahidi kupata utendakazi bora au uboreshaji mdogo wa nyongeza. Badala yake, tunajitahidi kujifunza na kugundua changamoto nyingi zaidi za kitaaluma na matokeo ya polepole. Kwa muktadha kamili wa suluhisho kamili, anaona fursa ambazo mtaalamu angekosa. Ana mawazo zaidi na uwezekano zaidi. Anashindwa pia. Hata hivyo, gharama ya kushindwa ni ndogo na faida za kujifunza ni kubwa. Asymmetry hii inakuza marudio ya haraka na thawabu ya kujifunza.

Ni muhimu kutambua kwamba kiasi cha uhuru na utofauti wa ujuzi unaotolewa kwa wanasayansi kamili hutegemea kwa kiasi kikubwa uimara wa jukwaa la data la kufanya kazi. Jukwaa la data lililoundwa vizuri huchota wanasayansi wa data kutoka kwa ugumu wa uwekaji vyombo, uchakataji uliosambazwa, kushindwa kiotomatiki, na dhana zingine za juu za kompyuta. Kando na uondoaji, jukwaa thabiti la data linaweza kutoa muunganisho usio na mshono kwa miundomsingi ya majaribio, ufuatiliaji na arifa otomatiki, kuwezesha kuongeza kiotomatiki na kuibua matokeo ya algoriti na utatuzi. Vipengee hivi vimeundwa na kujengwa na wahandisi wa jukwaa la data, kumaanisha kuwa havijapitishwa kutoka kwa mwanasayansi wa data hadi kwa timu ya ukuzaji wa jukwaa la data. Ni mtaalamu wa Sayansi ya Data ambaye anawajibika kwa kanuni zote zinazotumiwa kuendesha jukwaa.

Mimi, pia, niliwahi kupendezwa na mgawanyiko wa kiutendaji wa kazi kwa kutumia ufanisi wa mchakato, lakini kupitia majaribio na makosa (hakuna njia bora ya kujifunza), niligundua kuwa majukumu ya kawaida hurahisisha kujifunza na uvumbuzi na kutoa vipimo sahihi: kugundua na. kujenga fursa nyingi zaidi za biashara kuliko mbinu maalum. (Njia ya ufanisi zaidi ya kujifunza kuhusu mbinu hii ya kupanga kuliko jaribio na hitilafu niliyopitia ni kusoma kitabu cha Amy Edmondson Team Collaboration: How Organizations Learn, Innovation, and Compete in the Knowledge Economy).

Kuna baadhi ya mawazo muhimu ambayo yanaweza kufanya mbinu hii ya kuandaa zaidi au chini ya kuaminika katika baadhi ya makampuni. Mchakato wa kurudia hupunguza gharama ya majaribio na makosa. Ikiwa gharama ya makosa ni ya juu, unaweza kutaka kupunguza (lakini hii haipendekezi kwa maombi ya matibabu au utengenezaji). Zaidi ya hayo, ikiwa unashughulika na petabytes au exabytes ya data, utaalamu wa uhandisi wa data unaweza kuhitajika. Vile vile, ikiwa kudumisha uwezo wa biashara ya mtandaoni na upatikanaji wao ni muhimu zaidi kuliko kuziboresha, ubora wa utendaji unaweza kuharibu kujifunza. Hatimaye, mtindo kamili wa stack unategemea maoni ya watu wanaojua kuhusu hilo. Sio nyati; unaweza kuzipata au kuzitayarisha mwenyewe. Walakini, ziko katika mahitaji makubwa na kuzivutia na kuzihifadhi kutahitaji fidia ya ushindani, maadili dhabiti ya shirika na kazi yenye changamoto. Hakikisha utamaduni wa kampuni yako unaweza kuunga mkono hili.

Hata kwa yote yaliyosemwa, ninaamini kuwa mfano kamili wa safu hutoa hali bora zaidi za kuanzia. Anza nao, na kisha uelekeze kwa uangalifu mgawanyiko wa kazi wa kazi tu wakati inahitajika kabisa.

Kuna hasara nyingine za utaalamu wa kazi. Hii inaweza kusababisha upotezaji wa uwajibikaji na uzembe kwa upande wa wafanyikazi. Smith mwenyewe anakosoa mgawanyiko wa kazi, akipendekeza kuwa inaongoza kwa kuharibika kwa talanta, i.e. wafanyakazi wanakuwa wajinga na kujiondoa kwa vile majukumu yao yamezuiwa kwa kazi chache zinazorudiwa-rudiwa. Ingawa utaalam unaweza kutoa ufanisi wa mchakato, kuna uwezekano mdogo wa kuwatia moyo wafanyikazi.

Kwa upande mwingine, majukumu mengi hutoa vitu vyote vinavyoendesha kuridhika kwa kazi: uhuru, ustadi, na kusudi. Uhuru ni kwamba hawategemei chochote kufikia mafanikio. Umahiri upo katika faida kubwa za ushindani. Na maana ya kusudi iko katika fursa ya kuwa na athari kwenye biashara wanayounda. Ikiwa tunaweza kuwafanya watu wachangamke kuhusu kazi zao na kuwa na athari kubwa kwa kampuni, basi kila kitu kingine kitafanyika.

Chanzo: mapenzi.com

Kuongeza maoni