Dmitri Kazakov, Kolesa Group-eko Datu Analytics Taldeko buruak, datuen profesionalen Kazakhstango lehen inkestaren inguruko informazioa partekatzen du.
Argazkian: Dmitry Kazakov
Gogoratu Big Data nerabeen sexuaren antzekoa dela dioen esaldi ezaguna: denek hitz egiten dute horretaz, baina inork ez daki benetan existitzen den. Gauza bera esan liteke datu-espezialisten merkatuari buruz (Kazakhstanen) - hype dago, baina atzean nor dagoen (eta inor dagoen ala ez) ez zegoen guztiz argi - ez HR, ez kudeatzaile, ez datu-zientzialariek beraiek.
gastatu genuen , zeinetan 300 espezialista baino gehiagori inkesta egin diete soldata, funtzio, trebetasun, tresna eta askoz gehiagori buruz.
Spoiler: Bai, zalantzarik gabe existitzen dira, baina dena ez da hain erraza.
Ikuspegi polita. Lehenik eta behin, espero genuena baino datu-zientzialari gehiago daude. 300 pertsona elkarrizketatzea lortu genuen, horien artean produktu, marketin eta BI analistak ez ezik, ML eta DWH ingeniariak ere, eta hori bereziki atsegina izan zen. Talderik handienak bere burua datu-zientzialari deitzen duten guztiak biltzen zituen, hau da, inkestatuen % 36. Horrek merkatuaren eskaria estaltzen duen edo ez esatea zaila da, merkatua bera eratzen ari baita.
Lan-mailen banaketa nahasia da: ia talde-buru eta zuzendari gazteak bezainbeste daude. Hainbat arrazoi egon daitezke horretarako. Esate baterako, 2-3 laguneko talde txiki ugari, zeinetan liderra erdi mailako edo senior mailako espezialista izan daitekeen.
Beste arrazoi bat izan daiteke gaur egun merkatuan nagusi den kaosa rolak eta funtzionalitateak banatzeko estandarren inguruan. Talde-buruak batzuetan besteek baino urtebete edo bi gehiago lan egiten dutenei esleitzen zaizkie, gaitasun eta ezagutza mailari erreferentziarik egin gabe. Funtzioen araberako banaketan ikusten dugu hori -zuzendarien eta talde-buruen % 38 aurreprozesamenduan dihardu eta beste % 33 oinarrizko analisi estatistikoan.
Hemen inkestatuei eskatu diegu subjektiboki ebaluatzeko euren enpresen analisi-maila. Arretaz begiratuz gero, ikus dezakezu 10-2 laguneko analisi-sailetan lan egiten duten inkestatuen % 3ek uste dutela "maila aurreratua" dutela.
Zer da "maila aurreratua"? BI sistemak bikain funtzionatzen du. DWH eta Big Data daude. A/B probak aldizka egiten dira. Produkzioan ML eta DS sistemak daude lanean. Erabakiak datuetan oinarrituta soilik hartzen dira. Datuen tratamendua eta datuen zientzien saila enpresaren gakoetako bat da.
Ia ezinezkoa da aurreko guztia lortzea 2-3 pertsonako sail batekin. Uste dut inkestaren emaitza hau hazten ari den mina dela - mutilek oraindik ez dute inorekin alderatu euren maila objektiboago zehazteko.
Espero zen bezala, datu-zientzialariek denbora gehiena ez dute matematika edo ingeniaritza oso konplexuetan ematen, datuak aurreprozesatzen, deskargatzen eta garbitzen baizik. Espezializazio guztietan aurreprozesatzea ikusten dugu goiko 3etan. Baina oso gutxitan ikusten dugu gauza konplexuak ML ereduak garatzea edo Big Data-ekin lan egitea, esaterako, 3 lehenen artean, ML eta DWH ingeniarien artean soilik.
Ikuspegi triste pare bat ere badaude. Adituek beren zereginen %40 beraiek ezartzen dituzte. Kazakhstanen, orain arte unicornioko enpresek soilik probatu dituzte datu handiekin lan egitearen onurak eta ikasi dute nola egin behar den moduan. Big Data eta Machine Learning politak direla helarazi diote merkatuari, eta bigarren maila atzetik jarraitzen du, baina ez du beti ulertzen nola funtzionatzen duen datuekin lan egitea. Hori dela eta, ikusten dugu espezialistek beren buruari zereginak ezartzen dizkietela, eta enpresek ez dakite beti zer nahi duten.
Harritu egin nintzen espezialisten %20ak ez jakiteak bere enpresak Data Warehouse duen ala ez. Bai, eta datu-baseak kudeatzeko sistemekin dena ez da hain ona: %41ek MySQL erabiltzen dute, eta beste %34k PostgreSQL. Zer esan lezake honek? Datu txikiekin lan egiten dute.
Biltegiratze sistemei buruzko galderan, berriro ikusten dugu MySQL eta baita (!) Excel ere. Baina horrek adieraz dezake, adibidez, enpresa gehienek besterik gabe ez dutela oraindik big datarekin lan egiteko eskaerarik.
Hemen dena anbiguoa da berriro. Oro har, soldatak espero nuena baino zertxobait baxuagoak ziren.
Pertsonalki, zaila egiten zait 200 mila tengerako lan egiteko prest dagoen ML ingeniari bat imajinatzea; ziurrenik bekaduna izango da. Edo horrelako espezialisten gaitasunak oso ahulak dira, edo oraindik zaila da enpresei Data Scienceren lana behar bezala ebaluatzea. Baina agian horrek ere adierazten du merkatua heltze-hasieran dagoela oraindik. Eta denborarekin, soldaten maila maila egokiagoan ezarriko da.
Iturria: www.habr.com