HIROSHI WATANABE/GETTY Sary
Ao amin'ny The Wealth of Nations, Adam Smith dia mampiseho ny fomba nahatonga ny fizarana asa ho loharanon'ny fitomboan'ny vokatra. Ohatra amin’izany ny filaharana amin’ny orinasa iray: “Ny mpiasa iray misintona ny tariby, ny iray manitsy azy, ny fahatelo manapaka azy, ny fahefatra mandranitra ny tendrony, ny fahadimy manoto ny tendrony iray mba hifanaraka amin’ny lohany.” Noho ny specialization mifantoka amin'ny asa manokana, ny mpiasa tsirairay dia lasa manam-pahaizana manokana amin'ny asa tery, izay mitarika ho amin'ny fitomboan'ny fahombiazan'ny dingana. Mitombo im-betsaka ny vokatra isaky ny mpiasa, ary lasa mahomby kokoa ny orinasa amin'ny famokarana pin.
Ity fizarana asa amin'ny fampiasa ity dia efa latsa-paka ao an-tsaintsika hatramin'izao ka nandamina haingana ny ekipantsika araka izany. Tsy maningana ny Data Science. Ny fahaizan'ny orinasa algorithmika sarotra dia mitaky asa maro, noho izany dia mamorona ekipa manam-pahaizana manokana ny orinasa: mpikaroka, injeniera data, injeniera fianarana milina, mpahay siansa momba ny antony sy ny vokany, sy ny sisa. Ny asan'ny manam-pahaizana manokana dia fehezin'ny mpitantana ny vokatra miaraka amin'ny famindrana ny asa amin'ny fomba mitovy amin'ny orinasa pin: "olona iray no mandray ny angon-drakitra, iray hafa modely, iray fahatelo manatanteraka izany, fepetra fahefatra" sy ny sisa,
Indrisy, tsy tokony hanatsara ny ekipa Data Science izahay mba hanatsarana ny vokatra. Na izany aza, manao izany ianao rehefa azonao ny zavatra vokarinao: tsimatra na zavatra hafa, ary miezaka fotsiny hampitombo ny fahombiazana. Ny tanjon'ny tsipika fivoriambe dia ny hamita asa iray. Fantatsika tsara izay tadiavintsika - tsimatra (toy ny ao amin'ny ohatr'i Smith), fa ny vokatra na serivisy rehetra dia azo lazaina izay mamaritra ny fepetra rehetra momba ny vokatra sy ny fitondrantenany. Ny andraikitry ny mpiasa dia ny manatanteraka ireo fepetra ireo araka izay azo atao.
Saingy ny tanjon'ny Data Science dia tsy ny hamita asa. Ny tanjona kosa dia ny mikaroka sy mampivelatra ny fahafaha-manao fandraharahana vaovao matanjaka. Ny vokatra sy serivisy algorithmic toy ny rafitra fanolorana, ny fifandraisan'ny mpanjifa, ny fanasokajiana ny safidin'ny fomba, ny habeny, ny famolavolana akanjo, ny fanatsarana ny lozisialy, ny fitadiavana fironana amin'ny vanim-potoana ary ny maro hafa dia tsy azo amboarina mialoha. Tsy maintsy ianarana ireo. Tsy misy drafi-drafitra azo averina, ireo dia fahafaha-manao vaovao miaraka amin'ny tsy fahazoana antoka. Ny coefficients, ny modely, ny karazana modely, ny hyperparameters, ny singa ilaina rehetra dia tsy maintsy ianarana amin'ny alalan'ny fanandramana, ny fitsapana sy ny fahadisoana ary ny famerimberenana. Miaraka amin'ny pin, ny fiofanana sy ny famolavolana dia atao mialoha ny famokarana. Miaraka amin'ny Siansa Data, mianatra tahaka ny ataonao ianao fa tsy taloha.
Ao amin'ny orinasa pin, rehefa tonga aloha ny fiofanana, dia tsy manantena na tsy tiantsika ny mpiasa hanatsara ny endri-javatra hafa amin'ny vokatra ankoatra ny fanatsarana ny fahombiazan'ny famokarana. Ny asa manokana dia misy dikany satria mitarika amin'ny fahombiazan'ny fizotrany sy ny tsy fitoviana amin'ny famokarana (tsy misy fiovana amin'ny vokatra farany).
Saingy rehefa mbola mivoatra ny vokatra ary ny tanjona dia ny fiofanana, ny fanasokajiana dia manelingelina ny tanjontsika amin'ireto tranga manaraka ireto:
1. Mampitombo ny fandaniana amin'ny fandrindrana izany.
Izany hoe ireo fandaniana miangona mandritra ny fotoana iresahana, ifanakalozan-kevitra, ifanamarinana ary ny fanaovana laharam-pahamehana ny asa tokony hatao. Ireo sarany ireo dia mirefy super-linear miaraka amin'ny isan'ny olona tafiditra. (Araka ny nampianarin'i J. Richard Hackman antsika, ny isan'ny fifandraisana r dia mitombo mitovy amin'ny fiasan'ny isan'ny teny n araka ity fampitoviana ity: r = (n^2-n)/2. Ary ny fifandraisana tsirairay dia manambara ny habetsahan'ny fifandraisana ara-bola.) Rehefa voalamina araka ny asany ny mpahay siansa momba ny angona, isaky ny dingana, isaky ny fiovana, isaky ny fanomezana, sns., dia manam-pahaizana manokana no takiana, izay mampitombo ny vidin'ny fandrindrana. Ohatra, ireo mpanao statistika izay te-hanandrana endri-javatra vaovao dia tsy maintsy miara-miasa amin'ny injeniera data izay manampy amin'ny angon-drakitra isaky ny te hanandrana zava-baovao. Toy izany koa, ny modely vaovao rehetra voaofana dia midika fa ny mpamorona modely dia mila olona hifanaraka amin'ny fametrahana azy amin'ny famokarana. Ny fandaniana amin'ny fandrindrana dia miasa ho toy ny vidin'ny famerimberenana, ka mahatonga azy ireo ho sarotra sy lafo ary mety hahatonga ny fianarana hajanona. Mety hanelingelina ny fianarana izany.
2. Manasarotra ny fotoam-piandrasana izany.
Na dia mampatahotra kokoa noho ny fandaniana amin'ny fandrindrana aza ny fotoana very eo anelanelan'ny fiovan'ny asa. Raha ny vidin'ny fandrindrana dia matetika refesina ao anatin'ny ora - ny fotoana ilana ny fivoriana, ny fifanakalozan-kevitra, ny famolavolana hevitra - ny fotoana fiandrasana dia matetika refesina amin'ny andro, herinandro na volana mihitsy aza! Sarotra ny mandanjalanja ny fandaharam-potoanan'ny manam-pahaizana manokana satria ny manam-pahaizana tsirairay dia tsy maintsy zaraina amin'ny tetikasa maro. Mety haharitra herinandro ny fivoriana adiny iray hiresahana momba ny fanovana mba handaminana ny fizotran'ny asa. Ary rehefa avy nifanaiky momba ny fiovana, dia ilaina ny manomana ny tena asa ao anatin'ny tontolon'ny tetikasa maro hafa izay mitana ny fotoana fiasan'ny manam-pahaizana manokana. Mety haharitra ela kokoa ny asa mifandraika amin'ny fanamboarana kaody na fikarohana izay mila ora na andro vitsivitsy vao vita. Mandra-pahatongan'izany, dia miato ny famerenana sy ny fianarana.
3. Mampihena ny teny manodidina.
Ny fizarana asa dia afaka mametra amin'ny fomba artifisialy ny fianarana amin'ny fanomezana valisoa ny olona amin'ny fijanonany amin'ny fahaizany manokana. Ohatra, ny mpahay siansa mpikaroka iray izay tsy maintsy mijanona ao anatin'ny sehatry ny asany dia hampifantoka ny heriny amin'ny fanandramana amin'ny karazana algorithm isan-karazany: regression, tambajotra neural, ala kisendrasendra, sns. Mazava ho azy fa ny safidy algorithm tsara dia mety hitarika amin'ny fanatsarana mitombo, fa matetika dia betsaka kokoa ny azo avy amin'ny hetsika hafa, toy ny fampidirana loharanom-baovao vaovao. Toy izany koa, hanampy amin'ny famolavolana modely izay manararaotra ny herin'ny fanazavana rehetra ao anatin'ny angon-drakitra. Na izany aza, ny heriny dia mety miankina amin'ny fanovana ny tanjona tanjona na ny fanalefahana ny teritery sasany. Sarotra ny mahita na manao izany rehefa voafetra ny asany. Satria manam-pahaizana manokana amin'ny fanatsarana ny algorithm ny mpahay siansa teknika, dia tsy dia manao zavatra hafa izy, na dia mitondra tombony lehibe aza izany.
Mba hilazana ireo famantarana miseho rehefa miasa toy ny orinasa pin ny ekipan'ny siansa data (ohatra, amin'ny fanavaozam-baovao tsotra): "miandry ny fiovan'ny fantsona data" sy "miandry loharanon-karena ML Eng" dia mpanakana mahazatra. Na izany aza, mino aho fa ny fitaomana mampidi-doza kokoa dia izay tsy tsikaritrao, satria tsy afaka manenina amin'izay tsy fantatrao ianao. Ny famonoana tsy misy kilema sy ny fahafaham-po azo avy amin'ny fanatanterahana ny fahombiazan'ny dingana dia afaka manafina ny fahamarinana fa tsy fantatry ny fikambanana ny tombontsoa amin'ny fianarana tsy azon'izy ireo.
Ny vahaolana amin'ity olana ity, mazava ho azy, dia ny fanesorana ny fomba pin'ny orinasa. Mba hamporisihana ny fianarana sy ny famerimberenana, ny andraikitry ny mpahay siansa momba ny angona dia tokony ho jeneraly saingy manana andraikitra midadasika tsy miankina amin'ny asa ara-teknika, izany hoe mandamina mpahay siansa momba ny angona mba ho tsara indrindra amin'ny fianarana. Midika izany fa manakarama “spécialistes feno stack” — manam-pahaizana manokana afaka manao asa isan-karazany, manomboka amin'ny foto-kevitra ka hatramin'ny modely, fampiharana hatramin'ny fandrefesana. Zava-dehibe ny manamarika fa tsy manoro hevitra aho fa tokony hampihena ny isan'ny mpiasa ny fandraisana mpiasa talenta feno. Raha ny tokony ho izy, dia hoheveriko fotsiny fa rehefa samy hafa ny fandaminana azy ireo, ny fandrisihana azy ireo dia mifanaraka kokoa amin'ny tombontsoa amin'ny fianarana sy ny fahombiazany. Ohatra, andao atao hoe manana ekipa misy olona telo manana fahaizana ara-barotra telo ianao. Ao amin'ny orinasa iray, ny teknisianina tsirairay dia hanokana ny ampahatelon'ny fotoanany amin'ny asa tsirairay, satria tsy misy olon-kafa afaka manao ny asany. Amin'ny stack feno, ny generalist tsirairay dia natokana tanteraka amin'ny fizotran'ny raharaham-barotra manontolo, ny fampitomboana ary ny fiofanana.
Mihavitsy ny olona manohana ny tsingerin'ny famokarana, mihena ny fandrindrana. Ny jeneraly dia mivezivezy malalaka eo anelanelan'ny endri-javatra, manitatra ny fantsona angon-drakitra mba hanampiana angon-drakitra bebe kokoa, manandrana endri-javatra vaovao amin'ny maodely, mametraka dikan-teny vaovao amin'ny famokarana ho an'ny fandrefesana antonony, ary mamerina dingana haingana rehefa misy hevitra vaovao. Mazava ho azy fa ny sarety fiantsonana dia manao asa samihafa araka ny filaharany fa tsy mifanitsy. Rehefa dinihina tokoa, dia olona iray ihany. Na izany aza, mazàna ny famitana asa iray dia tsy mitaky afa-tsy ampahany kely amin'ny fotoana ilaina hidirana amin'ny loharano manokana hafa. Noho izany, mihena ny fotoana iteration.
Ny généralista anay dia mety tsy mahay toy ny manam-pahaizana manokana amin'ny asa iray manokana, saingy tsy miezaka ny ho tonga lafatra amin'ny asany na fanatsarana kely fanampiny izahay. Fa kosa, miezaka mianatra sy mahita fanamby matihanina bebe kokoa izahay miaraka amin'ny fiantraikany tsikelikely. Miaraka amin'ny toe-javatra iray manontolo ho an'ny vahaolana feno, dia mahita fahafahana tsy ho azon'ny manampahaizana manokana izy. Manana hevitra bebe kokoa izy ary manana fahafahana bebe kokoa. Tsy nahomby koa izy. Na izany aza, ny vidin'ny tsy fahombiazana dia ambany ary ny tombontsoa azo avy amin'ny fianarana dia avo. Ity asymmetry ity dia mampiroborobo ny famerenana haingana ary manome valisoa ny fianarana.
Zava-dehibe ny manamarika fa ny habetsaky ny fahaleovan-tena sy ny fahasamihafan'ny fahaiza-manao omen'ny mpahay siansa feno dia miankina betsaka amin'ny tanjaky ny sehatra angon-drakitra hiasana. Ny sehatra angon-drakitra voarafitra tsara dia manaisotra ny mpahay siansa momba ny angona avy amin'ny fahasarotan'ny containerization, ny fanodinana fizarana, ny failover mandeha ho azy, ary ny foto-kevitra informatika mandroso hafa. Ho fanampin'ny abstraction, ny sehatra angon-drakitra matanjaka dia afaka manome fifandraisana tsy misy fotony amin'ny fotodrafitrasa andrana, manara-maso sy manaisotra automatique, mamela ny fanamafisam-peo mandeha ho azy sy ny fijerena ny valin'ny algorithm sy ny debugging. Ireo singa ireo dia novolavolaina sy naorin'ny injeniera amin'ny sehatra data, midika izany fa tsy ampitaina avy amin'ny mpahay siansa momba ny data mankany amin'ny ekipan'ny fampiroboroboana ny sehatra data. Ny manam-pahaizana manokana momba ny Data Science no tompon'andraikitra amin'ny kaody rehetra ampiasaina amin'ny fampandehanana ny sehatra.
Izaho koa dia liana tamin'ny fizarana asa amin'ny fampiasana ny fahombiazan'ny dingana, saingy tamin'ny alàlan'ny fitsapana sy ny hadisoana (tsy misy fomba tsara kokoa hianarana), dia hitako fa ny andraikitra mahazatra dia manamora kokoa ny fianarana sy ny fanavaozana ary manome ny mari-pamantarana mety: fitadiavana sy manangana fahafahana ara-barotra maro kokoa noho ny fomba fiasa manokana. (Fomba mahomby kokoa hianarana momba an'io fomba fiasa io amin'ny fandaminana noho ny fitsapana sy ny hadisoana nolalovako ny famakiana ny bokin'i Amy Edmondson Fiaraha-miasan'ny Ekipa: Ahoana no ianaran'ny fikambanana, manavao ary mifaninana amin'ny toekarena fahalalana).
Misy tombantombana manan-danja sasany izay mety hahatonga ity fomba fiasa ity amin'ny fandaminana azo antoka kokoa na tsy dia azo ianteherana amin'ny orinasa sasany. Mampihena ny vidin'ny fitsapana sy ny hadisoana ny fizotran'ny iteration. Raha toa ka lafo ny vidin'ny fahadisoana, dia azonao atao ny mampihena azy ireo (saingy tsy soso-kevitra amin'ny fampiharana ara-pitsaboana na famokarana izany). Ho fanampin'izany, raha toa ianao ka miatrika petabytes na exabytes amin'ny angon-drakitra, dia mety takiana ny fanasokajiana amin'ny injeniera data. Toy izany koa, raha zava-dehibe kokoa ny fitazonana ny fahaiza-manaon'ny orinasa an-tserasera sy ny fisian'izy ireo noho ny fanatsarana azy ireo, dia mety hihoatra ny fianarana ny fahaiza-manaony. Farany, ny modely stack feno dia miankina amin'ny hevitry ny olona mahalala azy. Tsy unicorn izy ireo; afaka mahita azy ireo ianao na manomana azy ireo. Na izany aza, mitaky be dia be izy ireo ary ny fisarihana sy fitazonana azy ireo dia mitaky fanonerana amin'ny fifaninanana, soatoavin'ny orinasa matanjaka ary asa sarotra. Ataovy azo antoka fa afaka manohana izany ny kolontsain'ny orinasanao.
Na dia eo aza izany rehetra izany, mino aho fa ny modely stack feno dia manome ny fepetra fanombohana tsara indrindra. Atombohy amin'izy ireo, ary avy eo dia miroso amin'ny fizarazaran'ny asa mahomby raha tsy rehefa tena ilaina.
Misy fatiantoka hafa amin'ny spécialisée fonctionnaire. Izany dia mety hitarika amin'ny fahaverezan'ny andraikitra sy ny tsy fahatomombanan'ny mpiasa. Smith mihitsy no manakiana ny fizarana asa, milaza fa mitarika ho amin'ny fanadontoana ny talenta izany, i.e. lasa tsy mahalala sy misintona ny mpiasa satria voafetra amin'ny asa miverimberina vitsivitsy ny andraikiny. Na dia mety hanome fahombiazana amin'ny fizotran'ny asa aza ny fanasokajiana, dia tsy dia mamporisika ny mpiasa izany.
Ho setrin'izany, ny andraikitra maro samihafa dia manome ny zavatra rehetra mitondra fahafaham-po amin'ny asa: fahaleovan-tena, fifehezana ary tanjona. Ny fahaleovan-tena dia ny hoe tsy miankina amin'ny zavatra rehetra izy ireo mba hahazoana fahombiazana. Ny fifehezana dia miankina amin'ny tombony mifaninana matanjaka. Ary ny fahatsapana ny tanjona dia miankina amin'ny fahafahana hisy fiantraikany amin'ny orinasa noforoniny. Raha afaka mampientanentana ny olona amin'ny asany isika ary misy fiantraikany lehibe amin'ny orinasa, dia ho tonga amin'ny toerany ny zavatra hafa rehetra.
Source: www.habr.com