HIROSHI WATANABE/GETTY IMAGES
MuThe Wealth of Nations, Adam Smith anoratidza kuti kupatsanurwa kwevashandi kunova sei tsime guru rekuwedzera kubereka. Muenzaniso ndiwo mutsetse wekubatanidza wefekitari yepini: βMumwe mushandi anodhonza waya, mumwe anoitwasanudza, wechitatu anoicheka, wechina anorodza mugumo, wechishanu anokuya mumwe mugumo kuti ukwane musoro.β Nekuda kwehunyanzvi hwakanangana neakananga mabasa, mushandi wega wega anova nyanzvi ine hunyanzvi mubasa rake rakatetepa, izvo zvinotungamira mukuwedzera kwekuita basa. Kubuda pamushandi kunowedzera kakawanda, uye fekitari inova inoshanda zvakanyanya mukugadzira mapini.
Uku kupatsanurwa kwevashandi nekushanda kwakadzika midzi mupfungwa dzedu kunyangwe nhasi zvekuti takakurumidza kuronga zvikwata zvedu zvinoenderana. Data Sayenzi hakuna anosiya. Complex algorithmic bhizinesi kugona kunoda akawanda mabasa ebasa, saka makambani anowanzo kugadzira zvikwata zvenyanzvi: vaongorori, mainjiniya edata, mainjiniya ekudzidza muchina, chikonzero-uye-mhedzisiro masayendisiti, zvichingodaro. Basa renyanzvi rinorongedzerwa nemaneja wechigadzirwa nekufambisa kwemabasa nenzira yakafanana neyepini fekitori: "munhu mumwe anogamuchira iyo data, mumwe anoienzanisira, wechitatu anoiita, chiyero chechina" zvichingodaro,
Maiwe, isu hatifanire kukwirisa zvikwata zvedu zveSainzi yeData kuti tivandudze chibereko. Nekudaro, iwe unoita izvi kana iwe uchinzwisisa zvauri kugadzira: mapini kana chimwe chinhu, uye ingoedza kuwedzera kugona. Chinangwa chemitsetse yekuunganidza ndechekupedzisa basa. Isu tinoziva chaizvo zvatinoda - mapini (semumuenzaniso waSmith), asi chero chigadzirwa kana sevhisi inogona kutaurwa umo zvinodiwa zvinotsanangura zvizere zvese zvechigadzirwa uye maitiro acho. Basa revashandi nderokuzadzisa izvi zvinodiwa nekubudirira sezvinobvira.
Asi chinangwa cheData Science hachisi chekupedzisa mabasa. Asi, chinangwa ndechekuongorora nekuvandudza mikana mitsva yebhizinesi yakasimba. Algorithmic zvigadzirwa nemasevhisi akadai sekurudziro masisitimu, kupindirana kwevatengi, kupatsanurwa kwezvimiro zvaunofarira, saizi, dhizaini yezvipfeko, kugadzirisa zvinhu, mwaka wekuona maitiro uye zvimwe zvakawanda hazvigone kugadzirwa pachine nguva. Dzinofanira kudzidzwa. Iko hakuna mapurani ekudzokorora, aya mikana mitsva ine kusavimbika. Coefficients, modhi, mhando dzemhando, hyperparameter, zvese zvinodiwa zvinofanirwa kudzidzwa kuburikidza nekuyedza, kuyedzwa uye kukanganisa, uye kudzokorora. Nemapini, kudzidziswa uye dhizaini inoitwa pamberi pekugadzirwa. NeData Sayenzi, unodzidza sezvaunoita, kwete kare.
Mufekitori yepini, kana kudzidziswa kukauya pekutanga, isu hatitarisire kana kuda kuti vashandi vavandudze pane chero chimiro chechigadzirwa kunze kwekuvandudza kugona kwekugadzira. Basa rehunyanzvi rine musoro nekuti rinotungamira mukugadzirisa kushanda nesimba uye kuenderana kwekugadzira (pasina shanduko kune yekupedzisira chigadzirwa).
Asi kana chigadzirwa chichiri kukura uye chinangwa chiri kudzidziswa, hunyanzvi hunokanganisa zvinangwa zvedu muzviitiko zvinotevera:
1. Inowedzera mari yekubatanidza.
Ndiko kuti, iyo mari inounganidza panguva yakashandiswa kutaurirana, kukurukura, kururamisa uye kuisa pamberi pebasa rinoda kuitwa. Iyi mitengo inokwira zvakanyanya-mutsara nehuwandu hwevanhu vanobatanidzwa. (Seizvo J. Richard Hackman akatidzidzisa, nhamba yehukama r inokura zvakafanana nekushanda kwenhamba yemashoko n maererano nekuenzanisa uku: r = (n ^ 2-n) / 2. Uye hukama hwega hwega hunoratidza humwe huwandu hwehuwandu. hukama hwemari.) Kana data masayendisiti akarongwa nebasa, padanho rega rega, nekuchinja kwese, kupihwa kwega kwega, nezvimwewo, nyanzvi dzakawanda dzinodiwa, izvo zvinowedzera mari yekubatanidza. Semuenzaniso, vatevedzeri venhamba vanoda kuyedza maitiro matsva vanozofanira kurongeka nevainjiniya vedata vanowedzera kumaseti edata pese pavanenge vachida kuedza chimwe chinhu chitsva. Saizvozvovo, modhi itsva yega yega yakadzidziswa zvinoreva kuti mugadziri wemodhiyo anozoda mumwe munhu wekubatana naye kuti aiise mukugadzira. Mari yekubatanidza inoshanda semutengo wekudzokorora, zvichiita kuti zvive zvakaoma uye zvinodhura uye zvingangoita kuti chidzidzo chiregedzwe. Izvi zvinogona kukanganisa kudzidza.
2. Zvinoita kuti nguva dzekumirira dziome.
Chinotonyanya kutyisa kupfuura mari yekubatanidza inguva inorasika pakati pemashifiti ebasa. Nepo mari yekubatanidza inowanzoyerwa mumaawa - nguva inotora kuita misangano, nhaurirano, dhizaini ongororo - nguva yekumirira inowanzoyerwa mumazuva, mavhiki kana kunyange mwedzi! Zvirongwa zvenyanzvi dzinoshanda zvakaoma kuenzanisa nekuti nyanzvi yega yega inofanirwa kugovaniswa pamapurojekiti akawanda. Musangano weawa imwe chete wokukurukura shanduko unogona kutora mavhiki kuti ugadzirise mafambiro ebasa. Uye mushure mekubvumirana pane shanduko, zvinodikanwa kuronga iro chairo basa pacharo mumamiriro emamwe akawanda mapurojekiti anotora nguva yekushanda yenyanzvi. Basa rinosanganisira kugadziriswa kwekodhi kana tsvagiridzo inongotora maawa mashoma kana mazuva kuti ipere inogona kutora nguva yakareba zviwanikwa zvisati zvawanikwa. Kusvika panguva iyoyo, iteration uye kudzidza zvakamiswa.
3. Inodimburira chirevo.
Kupatsanurwa kwevashandi kunogona kudzikamisa kudzidza nekupa mubairo vanhu kuti varambe vari muhunyanzvi hwavo. Semuyenzaniso, muongorori wesainzi anofanira kugara mukati mechikamu chekushanda kwake anozoisa simba rake pakuedza nemhando dzakasiyana dzealgorithms: regression, neural network, random forest, zvichingodaro. Ehe, sarudzo dzakanaka dzeagorithm dzinogona kutungamira mukuvandudzwa kwekuwedzera, asi kazhinji pane zvakawanda zvinowanwa kubva kune zvimwe zviitiko, sekubatanidza zvinyorwa zvitsva zvedata. Saizvozvo, zvichabatsira kugadzira modhi inoshandisa yega yega simba rekutsanangura riri mu data. Nekudaro, simba rayo rinogona kunge riri mukuchinja chinangwa chebasa kana kuzorora zvimwe zvipingaidzo. Izvi zvakaoma kuona kana kuita kana basa rake rakaganhurirwa. Nekuti tekinoroji sainzi anonyanya kugadzirisa algorithms, haanyanyi kuita chimwe chinhu, kunyangwe zvichiunza zvakakosha mabhenefiti.
Kudoma zviratidzo zvinoonekwa kana zvikwata zvesainzi yedata zvichishanda semafekitori epini (semuenzaniso, mune zviri nyore zvigadziriso): "kumirira shanduko yepombi yedata" uye "kumirira zviwanikwa zveML Eng" zvinowanzovharisa. Nekudaro, ini ndinotenda iyo yakanyanya njodzi pesvedzero ndiyo yausingaone, nekuti haugone kuzvidemba zvausingazive. Kuita zvisina mhosva uye kugadzikana kunowanikwa kubva mukubudirira kwemaitiro kunogona kuvanza chokwadi chekuti masangano haazive mabhenefiti ekudzidza aari kurasikirwa nawo.
Mhinduro yedambudziko iri, hongu, ndeyekubvisa nzira yepini yefekitori. Kukurudzira kudzidza uye kudzokorora, mabasa esainzi yedata anofanirwa kuve akajairwa asi aine mabasa akakura akazvimirira nebasa rehunyanzvi, i.e. kuronga masayendisiti edata kuitira kuti agadziriswe pakudzidza. Izvi zvinoreva kuhaya "mazvikokota akazara" -mazvikokota mukuru anogona kuita mabasa akasiyana-siyana, kubva pane pfungwa kuenda kumuenzaniso, kuita kusvika kuyero. Zvakakosha kuziva kuti handisi kutaura kuti kuhaya tarenda rakazara kunofanira kuderedza huwandu hwevashandi. Asi, ini ndinongofunga kuti kana vakarongeka zvakasiyana, zvinokurudzira zvavo zvinonyatsoenderana nekudzidza uye kuita mabhenefiti. Somuenzaniso, ngatiti une chikwata chevanhu vatatu vane unyanzvi hwebhizimisi hutatu. Mufekitari yepini, nyanzvi imwe neimwe ichapa chikamu chimwe muzvitatu chenguva yayo kubasa rimwe nerimwe rebasa, sezvo pasina mumwe munhu anogona kuita basa rake. Mune yakazara stack, wega wega generalist akazvipira zvizere kune yese bhizinesi maitiro, kukwira-kumusoro, uye kudzidziswa.
Nevanhu vashoma vanotsigira kutenderera kwekugadzira, kurongeka kwakaderedzwa. Iyo generalist inofamba ichiyerera pakati pezvimiro, kuwedzera pombi yedata kuti iwedzere imwe data, kuyedza maficha matsva mumamodheru, kuendesa shanduro nyowani kugadzirwa kwezviyero zvinokonzeresa, uye kudzokorora nhanho nekukurumidza sekuuya mazano matsva. Ehe, iyo station wagon inoita mabasa akasiyana zvakateerana uye kwete mukufanana. Pamusoro pazvo, munhu mumwe chete. Zvisinei, kupedza basa kunowanzotora chikamu chiduku chenguva inodiwa kuti uwane imwe nyanzvi. Saka, nguva yekudzokorora inoderera.
Wedu generalist anogona kunge asina hunyanzvi sehunyanzvi mune rimwe basa basa, asi isu hativavarire kuita basa rakakwana kana diki rekuwedzera kuvandudzwa. Asi, tinoyedza kudzidza uye kuwana akawanda uye akawanda ehunyanzvi matambudziko nemaitiro zvishoma nezvishoma. Nemamiriro akazara emhinduro yakakwana, anoona mikana iyo nyanzvi yaizopotsa. Ane mamwe mazano nemikana yakawanda. Anokundikanawo. Zvisinei, mutengo wekukundikana wakaderera uye zvakanakira kudzidza zvakakwirira. Iyi asymmetry inosimudzira kukurumidza kudzokorora uye inopa mibairo kudzidza.
Zvakakosha kuziva kuti huwandu hwekuzvimiririra uye hunyanzvi hwakasiyana hwakapihwa kumasainzi akazara hunoenderana nekusimba kwepuratifomu yedata painoshandira. Iyo yakanyatso dhizainiwa yedata chikuva inobvisa data masayendisiti kubva mukuomarara kwemidziyo, kugoverwa kugadziridzwa, otomatiki kukundikana, uye mamwe epamusoro komputa pfungwa. Pamusoro pekubvisa, yakasimba data chikuva inogona kupa isina musono kubatana kune yekuyedza zvivakwa, otomatiki kutarisa uye kunyevera, inogonesa kuyera otomatiki uye kuona kwealgorithmic mhinduro uye kugadzirisa. Izvi zvikamu zvakagadzirirwa uye zvakavakwa nemainjiniya epapuratifomu, zvichireva kuti hazvina kupfuudzwa kubva kumusayendisiti wedata kuenda kuchikwata chekuvandudza data. Ndiyo inyanzvi yeData Science iyo ine mutoro kune ese kodhi inoshandiswa kumhanyisa chikuva.
Ini, zvakare, ndaimbofarira kupatsanurwa kwekushanda kwevashandi vachishandisa hunyanzvi hwekuita, asi kuburikidza nekuedza uye kukanganisa (hapana nzira iri nani yekudzidza), ndakaona kuti mabasa akajairika anofambisa kudzidza nekuvandudza uye kupa zviyero zvakafanira: kutsvaga uye kuvaka mikana yakawanda yebhizinesi pane nzira yehunyanzvi. (Imwe nzira inobudirira yekudzidza nezve iyi nzira yekuronga kupfuura kuedza nekukanganisa kwandakapinda nako kuverenga bhuku raAmy Edmondson reChikwata Kubatana: Masangano Anodzidza Sei, Anovandudza, uye Anokwikwidza muRuzivo rweupfumi).
Pane fungidziro dzakakosha dzinogona kuita kuti nzira iyi yekuronga zvakanyanya kana kushomeka mune mamwe makambani. Iyo iteration process inoderedza mutengo wekuyedza uye kukanganisa. Kana mutengo wekukanganisa wakakwira, ungangoda kudzidzikisa (asi izvi hazvikurudzirwe kune zvekurapa zvikumbiro kana kugadzira). Pamusoro pezvo, kana uri kubata nepetabytes kana exabytes yedata, nyanzvi muinjiniya yedata inogona kudiwa. Saizvozvo, kana kuchengetedza bhizinesi repamhepo kugona uye kuwanikwa kwavo kwakakosha pane kuvavandudza, hunyanzvi hwekuita hunogona kurira kudzidza. Pakupedzisira, iyo yakazara stack modhi inovimba nemafungiro evanhu vanoziva nezvazvo. Havazi unicorns; unogona kuzviwana kana kuzvigadzirira iwe pachako. Nekudaro, ivo vari mukuda kukuru uye kukwezva nekuvachengeta kunoda muripo wemakwikwi, hunhu hwakasimba hwekambani uye basa rakaoma. Ita shuwa kuti kambani yako tsika inogona kutsigira izvi.
Kunyangwe nezvose zvataurwa, ndinotenda kuti iyo yakazara stack modhi inopa akanakisa ekutanga mamiriro. Tanga navo, uye wobva wafamba wakananga kune rimwe divi rinoshanda rebasa chete kana zvichidikanwa.
Pane zvimwe zvakaipira zve functional specialization. Izvi zvinogona kutungamirira mukurasikirwa kwemutoro uye kusava nehanya kune chikamu chevashandi. Smith pachake anotsoropodza kupatsanurwa kwebasa, zvichiratidza kuti zvinotungamirira mukuparara kwetarenda, i.e. vashandi vanova vasingazivi uye vanoregedzerwa sezvo mabasa avo akaganhurirwa kumabasa mashoma anodzokororwa. Nepo hunyanzvi huchigona kupa mashandiro ekuita, kashoma kukurudzira vashandi.
Zvakare, mabasa akasiyana-siyana anopa zvinhu zvese zvinofambisa kugutsikana kwebasa: kuzvitonga, kugona, uye chinangwa. Kuzvimiririra ndekwekuti ivo havatsamiri pane chero chinhu kuti vabudirire. Mastery iri mumakwikwi akasimba. Uye pfungwa yechinangwa iri mumukana wekuita bhizinesi ravanogadzira. Kana tikakwanisa kuita kuti vanhu vafarire nezvebasa ravo uye nekukanganisa kukuru pakambani, ipapo zvimwe zvese zvinowira munzvimbo.
Source: www.habr.com