Dmitrij Kazakov, Data Analytics Team Lead ĉe Kolesa Group, dividas komprenojn de la unua Kazaĥa enketo de datumaj profesiuloj.
En la foto: Dmitry Kazakov
Memoru la popularan frazon, ke Big Data plej similas adoleskan sekson - ĉiuj parolas pri ĝi, sed neniu scias ĉu ĝi efektive ekzistas. La samon oni povus diri pri la merkato por datumaj specialistoj (en Kazaĥio) - estas ekzaltiĝo, sed kiu estas malantaŭ ĝi (kaj ĉu estas iu tie) ne estis tute klara - nek al HR, nek al administrantoj, nek al. la datumsciencistoj mem.
Ni elspezis , en kiu ili enketis pli ol 300 specialistojn pri siaj salajroj, funkcioj, kapabloj, iloj kaj multe pli.
Spoiler: Jes, ili certe ekzistas, sed ĉio ne estas tiel simpla.
Bela kompreno. Unue, estas pli da datumaj sciencistoj ol ni atendis. Ni sukcesis intervjui 300 homojn, inter kiuj estis ne nur produktaj, merkataj kaj BI-analizistoj, sed ankaŭ ML kaj DWH-inĝenieroj, kio aparte plaĉis. La plej granda grupo inkludis ĉiujn tiujn, kiuj nomas sin datumsciencistoj - tio estas 36% de respondantoj. Estas malfacile diri, ĉu ĉi tio kovras la postulon de la merkato aŭ ne, ĉar la merkato mem nur formiĝas.
La distribuado de laborniveloj estas konfuza - estas preskaŭ tiom da teamgvidantoj kaj manaĝeroj kiel junuloj. Povas esti pluraj kialoj por ĉi tio. Ekzemple, granda nombro da malgrandaj teamoj de 2-3 homoj, en kiuj la gvidanto povas esti meza aŭ altnivela specialisto.
Alia kialo povas esti la kaoso nuntempe reganta en la merkato koncerne normojn en la distribuado de roloj kaj funkcieco. Teamgvidantoj foje estas asignitaj al tiuj kiuj simple laboras jaron aŭ du pli longe ol aliaj, sen referenco al la nivelo de kapabloj kaj scio. Ni vidas tion en la distribuado de funkcioj laŭ pozicio - 38% de administrantoj kaj teamgvidantoj okupiĝas pri antaŭtraktado kaj aliaj 33% pri baza statistika analizo.
Ĉi tie ni petis respondantojn subjektive taksi la nivelon de analizo en iliaj kompanioj. Se vi rigardas atente, vi povas vidi, ke 10% de respondantoj, kiuj laboras en analizaj fakoj de 2-3 homoj, kredas, ke ili havas "altnivelan".
Kio estas "altnivela"? La BI-sistemo funkcias bonege. Estas DWH kaj Big Data. A/B-testoj estas aranĝitaj regule. Estas laborantaj ML kaj DS-sistemoj en produktado. Decidoj estas faritaj nur surbaze de datumoj. La fako pri datumtraktado kaj datumscienco estas unu el la ŝlosilaj en la kompanio.
Estas preskaŭ neeble atingi ĉion supre kun fako de 2-3 homoj. Mi pensas, ke ĉi tiu enketrezulto estas eta kreskanta doloro - la uloj ankoraŭ ne havas iun kun kiu kompari sin por determini sian nivelon pli objektive.
Kiel atendite, datumsciencistoj pasigas la plej grandan parton de sia tempo ne por superkompleksa matematiko aŭ inĝenierado, sed pri antaŭtraktado, elŝutado kaj purigado de datumoj. En ĉiu specialiĝo ni vidas antaŭpretigon en la supraj 3. Sed ni malofte vidas kompleksajn aferojn kiel disvolvi ML-modelojn aŭ labori kun Big Data en la supraj 3 - nur inter ML kaj DWH-inĝenieroj.
Estas ankaŭ kelkaj malĝojaj komprenoj. Fakuloj mem fiksas 40% de siaj taskoj. En Kazaĥio, ĝis nun nur ĉefaj unikornaj kompanioj provis la avantaĝojn de labori kun grandaj datumoj kaj lernis kiel fari ĝin kompetente. Ili dissendas al la merkato, ke Grandaj Datumoj kaj Maŝina Lernado estas bonegaj, kaj la dua ŝtupo sekvas malantaŭe, sed ne ĉiam komprenas kiel funkcias labori kun datumoj. Tial ni vidas, ke specialistoj starigas taskojn por si mem, kaj entreprenoj ne ĉiam scias, kion ili volas.
Mi surpriziĝis, ke 20% de specialistoj eĉ ne scias, ĉu ilia kompanio havas Datuman Stokejon. Jes, kaj kun datumbazaj administradsistemoj ne ĉio estas tiel bona - 41% uzas MySQL, kaj aliaj 34% uzas PostgreSQL. Kion ĉi tio povus signifi? Ili funkcias prefere kun malgrandaj datumoj.
En la demando pri stokaj sistemoj, ni denove vidas MySQL kaj eĉ (!) Excel. Sed ĉi tio povas indiki, ekzemple, ke plej multaj kompanioj simple ankoraŭ ne havas peton labori kun grandaj datumoj.
Ĉi tie ĉio estas denove ambigua. Ĝenerale, salajroj estis iomete pli malaltaj ol mi atendis.
Persone, estas malfacile por mi imagi ML-inĝenieron, kiu pretas labori por 200 mil tenge - li verŝajne estas staĝanto. Aŭ la kompetentecoj de tiaj specialistoj estas tre malfortaj, aŭ estas ankoraŭ malfacile por kompanioj adekvate taksi la laboron de Data Science. Sed eble ĉi tio ankaŭ indikas, ke la merkato ankoraŭ estas ĉe la komenco de sia maturiĝo. Kaj kun la tempo, la nivelo de salajroj estos establita je pli adekvata nivelo.
fonto: www.habr.com