Ngano nga ang mga koponan sa Data Science nanginahanglan mga generalist, dili mga espesyalista

Ngano nga ang mga koponan sa Data Science nanginahanglan mga generalist, dili mga espesyalista
HIROSHI WATANABE/GETTY IMAGES

Sa The Wealth of Nations, gipakita ni Adam Smith kung giunsa ang pagbahin sa trabaho nahimong panguna nga gigikanan sa dugang nga produktibo. Usa ka pananglitan mao ang linya sa asembliya sa usa ka pabrika sa pin: “Ang usa ka trabahante mobira sa alambre, ang lain motul-id niini, ang ikatulo magputol niini, ang ikaupat mohait sa tumoy, ang ikalima mogaling sa pikas tumoy aron mohaum sa ulo.” Salamat sa espesyalisasyon nga naka-focus sa piho nga mga gimbuhaton, ang matag empleyado nahimong usa ka kwalipikado nga espesyalista sa iyang pig-ot nga buluhaton, nga nagdala sa pagtaas sa kahusayan sa proseso. Ang output sa matag trabahante modaghan sa makadaghan, ug ang pabrika nahimong mas episyente sa pagprodyus og mga pin.

Kini nga dibisyon sa trabaho pinaagi sa pagpaandar nakagamot pag-ayo sa among mga hunahuna bisan karon nga dali namon nga giorganisar ang among mga koponan sumala niana. Ang Data Science dili eksepsiyon. Ang komplikado nga algorithmic nga kapabilidad sa negosyo nanginahanglan daghang mga gimbuhaton sa trabaho, mao nga ang mga kompanya kasagarang maghimo mga grupo sa mga espesyalista: mga tigdukiduki, mga inhenyero sa datos, mga inhenyero sa pagkat-on sa makina, mga hinungdan-ug-epekto nga mga siyentipiko, ug uban pa. Ang trabaho sa mga espesyalista gi-coordinate sa manager sa produkto nga adunay pagbalhin sa mga gimbuhaton sa paagi nga susama sa usa ka pabrika sa pin: "usa ka tawo ang nakadawat sa datos, ang lain nagmodelo niini, ang ikatulo nagpatuman niini, ang ikaupat nga lakang" ug uban pa,

Alaut, kinahanglan nga dili naton ma-optimize ang atong mga koponan sa Data Science aron mapauswag ang pagka-produktibo. Bisan pa, kini ang imong buhaton kung nahibal-an nimo kung unsa ang imong gihimo: mga lagdok o uban pa, ug yano nga maningkamot nga madugangan ang kahusayan. Ang katuyoan sa mga linya sa asembliya mao ang pagkompleto sa usa ka buluhaton. Nahibal-an namon kung unsa ang among gusto - mga pin (sama sa panig-ingnan ni Smith), apan ang bisan unsang produkto o serbisyo mahimong hisgutan kung diin ang mga kinahanglanon hingpit nga naghulagway sa tanan nga aspeto sa produkto ug ang pamatasan niini. Ang tahas sa mga empleyado mao ang pagtuman niini nga mga kinahanglanon sa labing epektibo nga mahimo.

Apan ang tumong sa Data Science dili aron makompleto ang mga buluhaton. Hinuon, ang tumong mao ang pag-usisa ug pagpalambo og lig-on nga bag-ong mga oportunidad sa negosyo. Ang mga produkto ug serbisyo sa algorithm sama sa mga sistema sa rekomendasyon, mga interaksyon sa kostumer, klasipikasyon sa mga gusto sa istilo, gidak-on, disenyo sa sinina, pag-optimize sa logistik, pag-ila sa us aka us aka us aka us aka us aka us aka us aka us aka daghan pa nga dili mahimo nga abante. Kinahanglang tun-an sila. Wala’y mga blueprint nga kopyahon, kini mga bag-ong posibilidad nga adunay kawalay kasiguruhan. Ang mga coefficient, mga modelo, mga tipo sa modelo, mga hyperparameter, ang tanan nga kinahanglanon nga mga elemento kinahanglan mahibal-an pinaagi sa pag-eksperimento, pagsulay ug sayup, ug pagbalik-balik. Uban sa mga lagdok, pagbansay ug disenyo gihimo sa abante sa produksyon. Uban sa Data Science, nakakat-on ka sama sa imong gibuhat, dili kaniadto.

Sa usa ka pabrika sa pin, kung mag-una ang pagbansay, wala kami magdahom o gusto nga ang mga trabahante mag-improvise sa bisan unsang bahin sa produkto gawas sa pagpauswag sa kahusayan sa produksiyon. Ang pag-espesyalisar sa mga buluhaton makatarunganon tungod kay kini modala ngadto sa pagkaepisyente sa proseso ug pagkamakanunayon sa produksyon (nga walay mga pagbag-o sa katapusan nga produkto).

Apan kung ang produkto nag-uswag pa ug ang katuyoan mao ang pagbansay, ang pag-espesyalisasyon makabalda sa among mga katuyoan sa mga musunud nga kaso:

1. Kini nagdugang sa mga gasto sa koordinasyon.

Sa ato pa, kadtong mga gasto nga natipon sa panahon nga gigugol sa pagpakigsulti, paghisgot, pagtinarong ug pag-una sa trabaho nga kinahanglan buhaton. Kini nga mga gasto nagsukod super-linearly sa gidaghanon sa mga tawo nga nalambigit. (Ingon sa gitudlo kanato ni J. Richard Hackman, ang gidaghanon sa mga relasyon r motubo susama sa function sa gidaghanon sa mga termino n sumala niini nga equation: r = (n^2-n)/2. Ug ang matag relasyon nagpadayag sa pipila ka gidaghanon sa mga relasyon sa gasto.) Kung ang mga siyentipiko sa datos giorganisar pinaagi sa pag-obra, sa matag yugto, sa matag pagbag-o, matag pagtugyan, ug uban pa, daghang mga espesyalista ang gikinahanglan, nga nagdugang mga gasto sa koordinasyon. Pananglitan, ang mga tigmodelo sa istatistika nga gusto mag-eksperimento sa mga bag-ong bahin kinahanglan nga makig-coordinate sa mga inhenyero sa datos nga nagdugang sa mga set sa datos matag higayon nga gusto nila nga sulayan ang usa ka bag-o. Ingon usab, ang matag bag-ong modelo nga gibansay nagpasabut nga ang developer sa modelo magkinahanglan usa ka tawo nga makig-coordinate aron ibutang kini sa produksiyon. Ang mga gasto sa koordinasyon naglihok isip usa ka presyo alang sa pag-uli, nga naghimo niini nga mas lisud ug mahal ug mas lagmit nga hinungdan nga ang pagtuon mabiyaan. Kini mahimong makabalda sa pagkat-on.

2. Kini makapalisud sa mga panahon sa paghulat.

Ang labi pa nga makahadlok kaysa gasto sa koordinasyon mao ang oras nga nawala tali sa mga pagbalhin sa trabaho. Samtang ang mga gasto sa koordinasyon kasagarang gisukod sa mga oras - ang oras nga gikinahanglan sa pagdumala sa mga miting, mga diskusyon, mga pagsusi sa disenyo - ang oras sa paghulat kasagarang gisukod sa mga adlaw, semana o bisan mga bulan! Lisud balansehon ang mga iskedyul sa mga functional nga espesyalista tungod kay ang matag espesyalista kinahanglan ipang-apod-apod sa daghang mga proyekto. Ang usa ka oras nga miting aron hisgutan ang mga pagbag-o mahimong molungtad mga semana aron hapsay ang dagan sa trabaho. Ug human sa pag-uyon sa mga pagbag-o, gikinahanglan ang pagplano sa aktwal nga trabaho mismo sa konteksto sa daghang uban pang mga proyekto nga nag-okupar sa oras sa pagtrabaho sa mga espesyalista. Ang trabaho nga naglambigit sa mga pag-ayo sa code o panukiduki nga nagkinahanglan lang og pipila ka oras o mga adlaw aron makompleto mahimong mas dugay pa sa dili pa magamit ang mga kapanguhaan. Hangtud niana, ang pag-uli ug pagkat-on gisuspinde.

3. Gipakunhod niini ang konteksto.

Ang dibisyon sa trabaho mahimong artipisyal nga limitahan ang pagkat-on pinaagi sa pagganti sa mga tawo sa pagpabilin sa ilang espesyalidad. Pananglitan, ang usa ka research scientist nga kinahanglang magpabilin sulod sa sukod sa iyang functionality magpokus sa iyang kusog sa pag-eksperimento sa lain-laing klase sa algorithm: regression, neural network, random forest, ug uban pa. Siyempre, ang maayo nga mga pagpili sa algorithm mahimong mosangput sa dugang nga mga pag-uswag, apan kasagaran daghan pa ang makuha gikan sa ubang mga kalihokan, sama sa paghiusa sa mga bag-ong gigikanan sa datos. Ingon usab, makatabang kini sa paghimo og usa ka modelo nga nagpahimulos sa matag gamay nga gahum sa pagpatin-aw nga naa sa datos. Bisan pa, ang kusog niini mahimo’g naa sa pagbag-o sa katuyoan nga gimbuhaton o pagpahayahay sa pipila nga mga pagpugong. Lisod kining makita o buhaton kung limitado ang iyang trabaho. Tungod kay ang usa ka teknikal nga siyentipiko nag-espesyalisar sa pag-optimize sa mga algorithm, dili kaayo niya mahimo ang bisan unsang butang, bisan kung nagdala kini hinungdanon nga mga benepisyo.

Aron hinganlan ang mga timailhan nga makita kung ang mga data science team molihok isip mga pabrika sa pin (pananglitan, sa yano nga pag-update sa status): "naghulat alang sa mga pagbag-o sa pipeline sa data" ug "naghulat sa mga kapanguhaan sa ML Eng" sagad nga mga blocker. Bisan pa, nagtuo ako nga ang labi ka peligro nga impluwensya mao ang wala nimo namatikdan, tungod kay dili ka magmahay sa wala pa nimo nahibal-an. Ang walay kapuslanan nga pagpatuman ug ang katagbawan nga naangkon gikan sa pagkab-ot sa pagkaepisyente sa proseso makatago sa kamatuoran nga ang mga organisasyon wala mahibalo sa mga benepisyo sa pagkat-on nga wala nila makuha.

Ang solusyon sa kini nga problema, siyempre, mao ang pagtangtang sa pamaagi sa pin sa pabrika. Aron madasig ang pagkat-on ug pag-uli, ang mga tahas sa data scientist kinahanglan nga generic apan adunay halapad nga mga responsibilidad nga independente sa teknikal nga function, i.e. pag-organisar sa mga data scientist aron sila ma-optimize alang sa pagkat-on. Nagpasabot kini sa pag-hire og “full stack specialists”—kinatibuk-ang mga espesyalista nga makahimo og lain-laing mga gimbuhaton, gikan sa konsepto ngadto sa pagmodelo, pagpatuman ngadto sa pagsukod. Mahinungdanon nga timan-an nga wala ako nagsugyot nga ang pagkuha sa full-stack nga talento kinahanglan nga makunhuran ang gidaghanon sa mga empleyado. Hinoon, ako lang maghunahuna nga kon sila organisado nga lahi, ang ilang mga insentibo mas maayo nga nahiuyon sa pagkat-on ug mga benepisyo sa performance. Pananglitan, ingnon ta nga ikaw adunay usa ka grupo sa tulo ka mga tawo nga adunay tulo ka kahanas sa negosyo. Sa usa ka pabrika sa pin, ang matag technician mogahin sa ikatulo nga bahin sa iyang oras sa matag buluhaton sa trabaho, tungod kay wala’y lain nga makahimo sa iyang trabaho. Sa usa ka bug-os nga stack, ang matag heneralista hingpit nga gipahinungod sa tibuuk nga proseso sa negosyo, pag-scale-up, ug pagbansay.

Uban sa gamay nga mga tawo nga nagsuporta sa siklo sa produksiyon, ang koordinasyon gikunhuran. Ang generalist nga naglihok sa fluid sa taliwala sa mga bahin, pagpalapad sa data pipeline aron sa pagdugang sa dugang nga data, pagsulay sa bag-ong mga bahin sa mga modelo, deploying bag-ong mga bersyon sa produksyon alang sa hinungdan nga mga pagsukod, ug balik-balik nga mga lakang sa madali sa bag-ong mga ideya moabut. Siyempre, ang station wagon naghimo sa lain-laing mga gimbuhaton nga sunud-sunod ug dili managsama. Tuod man, usa ra ka tawo. Bisan pa, ang pagkompleto sa usa ka buluhaton sa kasagaran nagkinahanglan lamang og gamay nga panahon nga gikinahanglan aron maka-access sa laing espesyal nga kapanguhaan. Busa, ang panahon sa pag-uli mikunhod.

Ang among generalist mahimong dili ingon ka hanas sama sa usa ka espesyalista sa usa ka partikular nga gimbuhaton sa trabaho, apan wala kami maningkamot alang sa pagkaperpekto sa pag-andar o gamay nga pagdugang nga mga pag-uswag. Hinoon, naningkamot kami sa pagkat-on ug pagdiskobre sa mas daghang propesyonal nga mga hagit nga adunay anam-anam nga epekto. Uban sa usa ka holistic nga konteksto alang sa usa ka kompleto nga solusyon, nakita niya ang mga oportunidad nga dili makalimtan sa usa ka espesyalista. Siya adunay daghang mga ideya ug daghang mga posibilidad. Napakyas sab siya. Bisan pa, ang gasto sa kapakyasan gamay ug ang mga benepisyo sa pagkat-on taas. Kini nga asymmetry nagpasiugda sa paspas nga pag-uli ug mga ganti sa pagkat-on.

Mahinungdanon nga timan-an nga ang kantidad sa awtonomiya ug pagkalainlain sa kahanas nga gihatag sa tibuuk nga mga siyentista nagsalig sa kalig-on sa platform sa datos kung diin magtrabaho. Ang usa ka maayo nga pagkadisenyo nga plataporma sa datos nagkuha sa mga siyentipiko sa datos gikan sa pagkakomplikado sa containerization, giapod-apod nga pagproseso, awtomatik nga failover, ug uban pang advanced nga mga konsepto sa kompyuter. Dugang pa sa abstraction, ang usa ka lig-on nga plataporma sa datos makahatag ug seamless connectivity sa experimental infrastructure, automate monitoring ug alerting, enable automatic scaling and visualization of algorithmic results and debugging. Kini nga mga sangkap gidesinyo ug gitukod sa mga inhenyero sa platform sa datos, nagpasabut nga wala sila gipasa gikan sa data scientist ngadto sa data platform development team. Kini ang espesyalista sa Data Science nga responsable sa tanan nga code nga gigamit sa pagpadagan sa plataporma.

Interesado usab ako kaniadto sa functional division of labor gamit ang process efficiency, apan pinaagi sa trial and error (walay mas maayo nga paagi sa pagkat-on), akong nadiskobrehan nga ang tipikal nga mga tahas mas makapadali sa pagkat-on ug kabag-ohan ug paghatag sa husto nga metrics: pagdiskobre ug pagtukod og daghang mga oportunidad sa negosyo kaysa sa espesyal nga pamaagi. (Ang usa ka mas epektibo nga paagi sa pagkat-on mahitungod niini nga paagi sa pag-organisar kay sa pagsulay ug kasaypanan nga akong naagian mao ang pagbasa sa libro ni Amy Edmondson Team Collaboration: Giunsa Pagkat-on ang mga Organisasyon, Pagbag-o, ug Pagkompetensya sa Ekonomiya sa Kahibalo).

Adunay pipila ka importante nga mga pangagpas nga mahimong makahimo niini nga pamaagi sa pag-organisar nga mas daghan o dili kaayo kasaligan sa pipila ka mga kompanya. Ang proseso sa pag-uli nagpamenos sa gasto sa pagsulay ug sayup. Kung taas ang gasto sa sayup, mahimo nimong pakunhuran kini (apan wala kini girekomenda alang sa medikal nga aplikasyon o paghimo). Dugang pa, kung nag-atubang ka sa mga petabytes o exabytes sa datos, mahimong gikinahanglan ang pag-espesyalisasyon sa data engineering. Ingon usab, kung ang pagpadayon sa mga kapabilidad sa online nga negosyo ug ang ilang pagkaanaa labi ka hinungdanon kaysa pag-ayo niini, ang kahusayan sa pag-andar mahimo’g makalabaw sa pagkat-on. Sa katapusan, ang bug-os nga stack nga modelo nagsalig sa mga opinyon sa mga tawo nga nahibal-an bahin niini. Dili sila mga unicorn; mahimo nimo kining pangitaon o andamon kini sa imong kaugalingon. Bisan pa, sila adunay taas nga panginahanglan ug ang pagdani ug pagpabilin kanila nanginahanglan kompensasyon sa kompetisyon, lig-on nga mga kantidad sa korporasyon ug mahagiton nga trabaho. Siguroha nga ang kultura sa imong kompanya makasuporta niini.

Bisan pa sa tanan nga giingon, nagtuo ako nga ang tibuuk nga modelo sa stack naghatag sa labing kaayo nga mga kondisyon sa pagsugod. Pagsugod uban kanila, ug dayon mahunahunaon nga mobalhin padulong sa usa ka functional division sa trabaho kung kinahanglan gyud.

Adunay uban nga mga disbentaha sa functional nga espesyalisasyon. Kini mahimong mosangpot sa pagkawala sa responsibilidad ug pagkapasibo sa bahin sa mga trabahante. Gisaway mismo ni Smith ang dibisyon sa trabaho, nga nagsugyot nga kini modala ngadto sa pagkadunot sa talento, i.e. ang mga mamumuo mahimong ignorante ug moatras tungod kay ang ilang mga tahas limitado sa pipila ka balik-balik nga buluhaton. Samtang ang pag-espesyalisar mahimo’g maghatag kaepektibo sa proseso, dili kaayo kini makadasig sa mga trabahante.

Sa baylo, ang daghang mga tahas naghatag sa tanan nga mga butang nga nagduso sa katagbawan sa trabaho: awtonomiya, kahanas, ug katuyoan. Ang awtonomiya mao nga wala sila magdepende sa bisan unsang butang aron makab-ot ang kalampusan. Ang pagkahanas anaa sa lig-on nga mga bentaha sa kompetisyon. Ug ang kahulugan sa katuyoan naa sa higayon nga adunay epekto sa negosyo nga ilang gihimo. Kung mahimo naton madasig ang mga tawo sa ilang trabaho ug adunay dako nga epekto sa kompanya, nan ang tanan nga butang mahulog sa lugar.

Source: www.habr.com

Idugang sa usa ka comment