Vim li cas Data Science pawg xav tau cov kws tshaj lij, tsis yog cov kws tshaj lij

Vim li cas Data Science pawg xav tau cov kws tshaj lij, tsis yog cov kws tshaj lij
HIROSHI WATANABE / Getty Dluab

Nyob rau hauv Cov Nyiaj Txiag Ntawm Tebchaws, Adas Smith qhia tias kev faib ua haujlwm ua haujlwm li cas los ua qhov tseem ceeb ntawm kev tsim khoom. Ib qho piv txwv yog cov kab sib dhos ntawm lub tuam txhab tus pin: "Ib tug neeg ua haujlwm rub cov hlau, lwm tus muab nws ncaj, ib feem peb txiav nws, plaub ntu kom kawg, ib qho thib tsib grinds lwm kawg kom haum lub taub hau." Ua tsaug rau qhov tshwj xeeb tsom rau kev ua haujlwm tshwj xeeb, txhua tus neeg ua haujlwm dhau los ua tus kws tshaj lij tshwj xeeb hauv nws txoj haujlwm nqaim, uas ua rau muaj kev ua haujlwm tau zoo. Cov zis ib tus neeg ua haujlwm nce ntau zaus, thiab lub Hoobkas ua haujlwm tau zoo dua hauv kev tsim cov pins.

Qhov kev faib tawm ntawm kev ua haujlwm los ntawm kev ua haujlwm no tau nkag mus rau hauv peb lub siab txawm tias niaj hnub no uas peb tau npaj peb cov pab pawg sai sai. Data Science tsis muaj qhov zam. Complex algorithmic kev ua lag luam muaj peev xwm xav tau ntau txoj haujlwm ua haujlwm, yog li cov tuam txhab feem ntau tsim pab pawg ntawm cov kws tshaj lij: cov kws tshawb fawb, cov ntaub ntawv engineers, tshuab kev kawm engineers, cov kws tshawb fawb ua rau muaj txiaj ntsig, thiab lwm yam. Kev ua haujlwm ntawm cov kws tshaj lij yog kev sib koom tes los ntawm tus thawj tswj hwm cov khoom lag luam nrog kev hloov pauv ntawm kev ua haujlwm zoo ib yam li lub tuam txhab pin: "ib tus neeg tau txais cov ntaub ntawv, lwm tus qauv nws, qhov thib peb ua nws, plaub qhov ntsuas" thiab lwm yam,

Alas, peb yuav tsum tsis txhob ua kom zoo dua peb pawg Data Science los txhim kho cov khoom tsim tau. Txawm li cas los xij, koj ua qhov no thaum koj nkag siab tias koj tsim dab tsi: pins lossis lwm yam, thiab tsuas yog siv zog ua kom muaj txiaj ntsig. Lub hom phiaj ntawm kev sib dhos kab yog ua kom tiav ib txoj haujlwm. Peb paub raws nraim qhov peb xav tau - pins (raws li hauv Smith tus piv txwv), tab sis txhua yam khoom lossis kev pabcuam tuaj yeem hais txog qhov uas yuav tsum tau piav qhia txhua yam ntawm cov khoom thiab nws tus cwj pwm. Lub luag haujlwm ntawm cov neeg ua haujlwm yog ua kom tiav cov kev cai no kom ua tau zoo.

Tab sis lub hom phiaj ntawm Data Science tsis yog ua kom tiav cov haujlwm. Hloov chaw, lub hom phiaj yog tshawb nrhiav thiab tsim kom muaj kev lag luam tshiab muaj zog. Algorithmic cov khoom thiab cov kev pab cuam xws li kev pom zoo, kev sib cuam tshuam ntawm cov neeg siv khoom, kev faib tawm ntawm cov kev nyiam nyiam, qhov loj me, tsim qauv khaub ncaws, kev tsim kho kom zoo, kev tshawb nrhiav raws caij nyoog thiab ntau yam tsis tuaj yeem tsim ua ntej. Lawv yuav tsum tau kawm. Tsis muaj cov qauv tsim los rov ua dua, cov no yog qhov muaj peev xwm tshiab nrog qhov tsis paub tseeb. Coefficients, qauv, hom qauv, hyperparameters, tag nrho cov ntsiab lus tsim nyog yuav tsum tau kawm los ntawm kev sim, sim thiab yuam kev, thiab rov ua dua. Nrog pins, kev cob qhia thiab kev tsim yog ua tiav ua ntej ntawm kev tsim khoom. Nrog Data Science, koj kawm li koj ua, tsis yog ua ntej.

Nyob rau hauv ib lub Hoobkas pin, thaum kev cob qhia los ua ntej, peb tsis xav los yog xav kom cov neeg ua hauj lwm improvise rau tej yam feature ntawm cov khoom uas tsis yog los txhim kho ntau lawm efficiency. Kev ua haujlwm tshwj xeeb ua rau muaj kev nkag siab zoo vim tias nws ua rau cov txheej txheem kev ua tau zoo thiab kev tsim khoom sib xws (tsis muaj kev hloov pauv rau cov khoom kawg).

Tab sis thaum cov khoom tseem tab tom tsim thiab lub hom phiaj yog kev cob qhia, kev tshwj xeeb cuam tshuam nrog peb cov hom phiaj hauv cov xwm txheej hauv qab no:

1. Nws nce nqi kev sib koom tes.

Qhov ntawd yog, cov nqi uas sau thaum lub sijhawm siv kev sib txuas lus, sib tham, ua kom pom tseeb thiab ua qhov tseem ceeb ntawm txoj haujlwm uas yuav tsum tau ua. Cov nqi no ntsuas super-linearly nrog cov neeg koom nrog. (Raws li J. Richard Hackman tau qhia peb, tus naj npawb ntawm kev sib raug zoo r loj hlob zoo ib yam li kev ua haujlwm ntawm tus lej n raws li qhov sib npaug no: r = (n^2-n)/2. kev sib raug zoo nqi.) Thaum cov kws tshawb fawb cov ntaub ntawv tau teeb tsa los ntawm kev ua haujlwm, nyob rau txhua theem, nrog txhua qhov kev hloov pauv, txhua qhov kev xa mus, thiab lwm yam, yuav tsum muaj ntau tus kws tshaj lij, uas ua rau cov nqi sib koom ua ke. Piv txwv li, cov qauv kev txheeb cais uas xav sim nrog cov yam ntxwv tshiab yuav tau koom tes nrog cov ntaub ntawv engineers uas ntxiv rau cov ntaub ntawv teev txhua zaus lawv xav sim qee yam tshiab. Ib yam li ntawd, txhua tus qauv tshiab tau txais kev cob qhia txhais tau hais tias tus qauv tsim tawm yuav xav tau ib tus neeg los koom tes nrog los muab tso rau hauv kev tsim khoom. Kev sib koom tes cov nqi ua raws li tus nqi rau iteration, ua rau lawv nyuaj thiab kim thiab ntau dua yuav ua rau txoj kev kawm raug tso tseg. Qhov no yuav cuam tshuam rau kev kawm.

2. Nws ua rau lub sijhawm tos nyuaj.

Txawm tias muaj kev ntxhov siab ntau dua li cov nqi sib koom tes yog lub sijhawm poob ntawm kev ua haujlwm. Thaum cov nqi sib koom tes feem ntau yog ntsuas hauv cov xuab moos - lub sijhawm nws yuav siv los ua cov rooj sib tham, kev sib tham, kev tshuaj xyuas kev tsim qauv - lub sijhawm tos feem ntau ntsuas nyob rau hnub, lub lis piam lossis lub hlis! Cov kws kho mob tshwj xeeb cov sijhawm ua haujlwm nyuaj rau kev sib npaug vim tias txhua tus kws tshaj lij yuav tsum tau muab faib ua ntau yam haujlwm. Ib lub rooj sib tham ib-teev los tham txog kev hloov pauv tuaj yeem siv sijhawm ntau lub lis piam kom ua tiav cov haujlwm ua haujlwm. Thiab tom qab pom zoo rau cov kev hloov pauv, nws yog ib qho tsim nyog los npaj cov haujlwm tiag tiag ntawm nws tus kheej hauv cov ntsiab lus ntawm ntau lwm cov haujlwm uas tuav lub sijhawm ua haujlwm ntawm cov kws tshaj lij. Kev ua haujlwm nrog rau kev kho cov cai lossis kev tshawb fawb uas tsuas yog siv sijhawm ob peb teev lossis hnub ua kom tiav yuav siv sijhawm ntev dua ua ntej cov peev txheej muaj. Txog thaum ntawd, iteration thiab kev kawm raug ncua.

3. Nws nqaim cov ntsiab lus.

Kev faib ua haujlwm tuaj yeem txwv tsis pub muaj kev kawm los ntawm kev muab nqi zog rau tib neeg kom nyob hauv lawv qhov tshwj xeeb. Piv txwv li, tus kws tshawb fawb tshawb fawb uas yuav tsum nyob hauv qhov kev ua haujlwm ntawm nws lub zog yuav tsom nws lub zog ntawm kev sim nrog ntau hom algorithms: regression, neural networks, random hav zoov, thiab lwm yam. Tau kawg, kev xaiv algorithm zoo tuaj yeem ua rau muaj kev txhim kho ntxiv, tab sis feem ntau muaj ntau yam ntxiv kom tau txais los ntawm lwm yam dej num, xws li kev sib koom ua ke cov ntaub ntawv tshiab. Ib yam li ntawd, nws yuav pab tsim tus qauv uas siv txhua qhov kev piav qhia lub zog uas muaj nyob hauv cov ntaub ntawv. Txawm li cas los xij, nws lub zog tuaj yeem dag hauv kev hloov pauv lub hom phiaj ua haujlwm lossis so qee qhov kev txwv. Qhov no nyuaj rau pom lossis ua thaum nws txoj haujlwm txwv. Vim tias ib tus kws tshawb fawb tshwj xeeb hauv kev ua kom zoo tshaj plaws algorithms, nws tsis tshua muaj peev xwm ua lwm yam, txawm tias nws coj cov txiaj ntsig tseem ceeb.

Rau npe cov cim qhia uas tshwm sim thaum cov ntaub ntawv tshawb fawb pab pawg ua haujlwm ua tus pin factories (piv txwv li, hauv cov xwm txheej yooj yim hloov tshiab): "tos cov ntaub ntawv hloov pauv" thiab "tos ML Eng cov peev txheej" yog cov blockers ntau. Txawm li cas los xij, kuv ntseeg tias qhov txaus ntshai tshaj yog qhov koj tsis pom, vim koj tsis tuaj yeem khuv xim qhov koj tsis tau paub. Kev ua tsis ncaj ncees thiab kev txaus siab tau txais los ntawm kev ua tiav cov txheej txheem ua tau zoo tuaj yeem npog qhov tseeb tias cov koom haum tsis paub txog cov txiaj ntsig kev kawm uas lawv tau ploj lawm.

Txoj kev daws teeb meem no, ntawm chav kawm, yog kom tshem tawm ntawm lub Hoobkas tus pin txoj kev. Txhawm rau txhawb kev kawm thiab rov hais dua, cov ntaub ntawv tus kws tshawb fawb lub luag haujlwm yuav tsum yog qhov dav tab sis nrog lub luag haujlwm dav ywj pheej ntawm kev ua haujlwm, piv txwv li npaj cov kws tshawb fawb cov ntaub ntawv kom lawv tau txais txiaj ntsig zoo rau kev kawm. Qhov no txhais tau tias ntiav "tus kws tshaj lij tag nrho" - cov kws tshaj lij dav dav uas tuaj yeem ua ntau yam haujlwm, los ntawm lub tswv yim mus rau kev ua qauv, kev siv mus rau kev ntsuas. Nws yog ib qho tseem ceeb uas yuav tsum nco ntsoov tias kuv tsis tau hais tias ntiav cov neeg ua haujlwm puv ntoob yuav tsum txo cov neeg ua haujlwm. Xwb, kuv yuav tsuas xav tias thaum lawv tau koom ua ke sib txawv, lawv cov kev txhawb siab tau zoo dua nrog cov txiaj ntsig kev kawm thiab kev ua tau zoo. Piv txwv li, cia peb hais tias koj muaj ib pab neeg ntawm peb tus neeg muaj peb txoj kev lag luam. Hauv lub tuam txhab tus pin, txhua tus kws tshaj lij yuav mob siab rau ib feem peb ntawm nws lub sijhawm rau txhua txoj haujlwm, vim tsis muaj leej twg tuaj yeem ua nws txoj haujlwm. Hauv ib pawg tag nrho, txhua tus kws tshaj lij tau mob siab rau tag nrho cov txheej txheem kev lag luam, kev nce qib, thiab kev cob qhia.

Nrog tsawg tus neeg txhawb nqa lub voj voog ntau lawm, kev sib koom tes raug txo. Tus generalist txav fluidly ntawm cov nta, nthuav cov ntaub ntawv pipeline ntxiv cov ntaub ntawv, sim tshiab nta nyob rau hauv cov qauv, deploying tshiab versions rau zus tau tej cov rau kev ntsuas, thiab rov ua dua cov kauj ruam sai li sai tau raws li cov tswv yim tshiab tuaj. Tau kawg, qhov chaw nres tsheb wagon ua haujlwm sib txawv ua ntu zus thiab tsis nyob rau tib lub sijhawm. Tom qab tag nrho, nws tsuas yog ib tus neeg xwb. Txawm li cas los xij, ua kom tiav ib txoj hauj lwm feem ntau tsuas yog siv ib feem ntawm lub sij hawm uas yuav tsum tau nkag mus rau lwm qhov chaw tshwj xeeb. Yog li, lub sij hawm iteration txo.

Peb tus kws tshaj lij yuav tsis txawj ua ib tus kws tshaj lij hauv kev ua haujlwm tshwj xeeb, tab sis peb tsis siv zog ua kom muaj txiaj ntsig zoo lossis kev txhim kho me me. Hloov chaw, peb mob siab kawm thiab tshawb pom ntau dua thiab ntau dua kev cov nyom nrog kev cuam tshuam me ntsis. Nrog rau cov ntsiab lus holistic rau kev daws teeb meem, nws pom cov cib fim uas tus kws tshaj lij yuav plam. Nws muaj ntau lub tswv yim thiab muaj peev xwm ntau dua. Nws ua tsis tiav thiab. Txawm li cas los xij, tus nqi ntawm kev ua tsis tiav yog tsawg thiab cov txiaj ntsig ntawm kev kawm siab. Qhov asymmetry no txhawb nqa kev rov ua dua sai thiab muab nqi zog rau kev kawm.

Nws yog ib qho tseem ceeb uas yuav tsum nco ntsoov tias tus nqi ntawm kev ywj pheej thiab kev txawj ntse muaj peev xwm them taus rau cov kws tshawb fawb tag nrho yog nyob ntawm qhov muaj zog ntawm cov ntaub ntawv platform uas ua haujlwm. Lub platform cov ntaub ntawv tsim tau zoo tsim cov ntaub ntawv cov kws tshawb fawb los ntawm qhov nyuaj ntawm kev ntim khoom, kev faib ua haujlwm, tsis siv neeg tsis siv neeg, thiab lwm yam kev suav cov ntsiab lus siab heev. Ntxiv nrog rau kev paub daws teeb meem, lub platform cov ntaub ntawv muaj zog tuaj yeem muab kev sib txuas tsis sib haum xeeb rau kev sim cov txheej txheem, automate saib xyuas thiab ceeb toom, pab kom tsis siv neeg scaling thiab visualization ntawm algorithmic tau thiab debugging. Cov khoom no yog tsim thiab tsim los ntawm cov ntaub ntawv platform engineers, txhais tau tias lawv tsis dhau los ntawm cov ntaub ntawv kws tshawb fawb mus rau cov ntaub ntawv platform tsim pab pawg. Nws yog tus kws tshaj lij Data Science uas yog lub luag haujlwm rau txhua tus lej siv los khiav lub platform.

Kuv, ib yam nkaus, ib zaug txaus siab rau kev faib ua haujlwm ntawm kev ua haujlwm siv cov txheej txheem kev ua haujlwm, tab sis los ntawm kev sim thiab kev ua yuam kev (tsis muaj txoj hauv kev zoo dua los kawm), Kuv pom tias cov luag haujlwm zoo dua pab txhawb kev kawm thiab kev tsim kho tshiab thiab muab cov kev ntsuas zoo: nrhiav thiab tsim kom muaj ntau lub sijhawm ua lag luam ntau dua li kev ua haujlwm tshwj xeeb. (Ib txoj hauv kev zoo dua los kawm txog txoj hauv kev no rau kev txhim kho dua li qhov kev sim siab thiab qhov yuam kev uas kuv tau mus dhau los yog nyeem Amy Edmondson phau ntawv Pab Pawg Sib Koom Tes: Yuav Ua Li Cas Cov Koom Haum Kawm, Innovate, thiab Sib Tw Hauv Kev Paub Txog Kev Lag Luam).

Muaj qee qhov kev xav tseem ceeb uas yuav ua rau txoj hauv kev no los txhim kho ntau dua lossis tsawg dua kev ntseeg siab hauv qee lub tuam txhab. Cov txheej txheem iteration txo tus nqi ntawm kev sim thiab ua yuam kev. Yog tias tus nqi yuam kev siab, koj yuav xav txo lawv (tab sis qhov no tsis pom zoo rau kev siv kho mob lossis kev tsim khoom). Tsis tas li ntawd, yog tias koj tab tom soj ntsuam nrog petabytes lossis exabytes ntawm cov ntaub ntawv, kev tshwj xeeb hauv cov ntaub ntawv engineering yuav xav tau. Ib yam li ntawd, yog tias tswj hwm lub peev xwm ua lag luam online thiab lawv qhov muaj nyob yog qhov tseem ceeb tshaj li kev txhim kho lawv, kev ua haujlwm zoo tshaj plaws yuav cuam tshuam kev kawm. Thaum kawg, tag nrho pawg qauv tso siab rau cov kev xav ntawm cov neeg uas paub txog nws. Lawv tsis yog unicorns; koj tuaj yeem nrhiav lawv lossis npaj lawv tus kheej. Txawm li cas los xij, lawv nyob rau hauv kev xav tau siab thiab nyiam thiab khaws cia lawv yuav xav tau kev sib tw them nyiaj, muaj txiaj ntsig zoo ntawm cov tuam txhab thiab kev ua haujlwm nyuaj. Xyuas kom koj lub tuam txhab kab lis kev cai tuaj yeem txhawb nqa qhov no.

Txawm hais tias tag nrho cov uas tau hais, Kuv ntseeg hais tias tag nrho pawg qauv muab qhov pib zoo tshaj plaws. Pib nrog lawv, thiab tom qab ntawd nco ntsoov txav mus rau qhov kev faib ua haujlwm ntawm kev ua haujlwm tsuas yog thaum tsim nyog kiag li.

Muaj lwm qhov tsis zoo ntawm kev ua haujlwm tshwj xeeb. Qhov no tuaj yeem ua rau poob ntawm lub luag haujlwm thiab kev ua haujlwm ntawm cov neeg ua haujlwm. Smith nws tus kheej thuam qhov kev faib ua haujlwm, qhia tias nws ua rau tsis muaj peev xwm, piv txwv li. cov neeg ua haujlwm tsis quav ntsej thiab tshem tawm vim lawv lub luag haujlwm raug txwv rau ob peb txoj haujlwm rov ua dua. Txawm hais tias qhov tshwj xeeb tuaj yeem muab cov txheej txheem ua haujlwm tau zoo, nws tsis tshua muaj kev txhawb nqa cov neeg ua haujlwm.

Nyob rau hauv tas li ntawd, ntau yam luag hauj lwm muab tag nrho cov yam uas ua rau kom txaus siab rau txoj hauj lwm: autonomy, mastery, thiab lub hom phiaj. Autonomy yog tias lawv tsis nyob ntawm txhua yam kom ua tiav. Mastery nyob rau hauv kev sib tw muaj zog zoo. Thiab kev nkag siab ntawm lub hom phiaj yog nyob rau hauv lub sijhawm kom muaj kev cuam tshuam rau kev lag luam uas lawv tsim. Yog tias peb tuaj yeem ua rau tib neeg txaus siab rau lawv txoj haujlwm thiab muaj kev cuam tshuam loj rau lub tuam txhab, ces txhua yam yuav poob rau hauv qhov chaw.

Tau qhov twg los: www.hab.com

Ntxiv ib saib