Деректер инженері және деректер ғалымы: олар не істей алады және қанша алады

Елена Герасимовамен бірге факультет меңгерушісі «Деректер туралы ғылым және аналитика» Netology-де біз олардың бір-бірімен қалай әрекеттесетінін және деректер ғалымдары мен деректер инженерлерінің қалай ерекшеленетінін түсінуді жалғастырамыз.

Бірінші бөлімде олар айтты Data Scientist және Data Engineer арасындағы негізгі айырмашылықтар туралы.

Бұл материалда біз мамандардың қандай білім мен дағдыларға ие болуы керек, жұмыс берушілер қандай білімді бағалайтыны, сұхбаттар қалай жүргізілетіні және деректер инженерлері мен деректер ғалымдары қанша табыс табатыны туралы айтатын боламыз. 

Ғалымдар мен инженерлер нені білуі керек

Екі маманның да мамандандырылған білімі - информатика.

Деректер инженері және деректер ғалымы: олар не істей алады және қанша алады

Кез келген деректанушы – деректертанушы немесе талдаушы – өз тұжырымдарының дұрыстығын дәлелдей алуы керек. Бұл үшін сіз білімсіз жасай алмайсыз статистика және статистикамен байланысты негізгі математика.

Машиналық оқыту және деректерді талдау құралдары қазіргі әлемде өте қажет. Егер әдеттегі құралдар жоқ болса, сізде дағдылар болуы керек жаңа құралдарды тез үйрену, тапсырмаларды автоматтандыру үшін қарапайым сценарийлер жасау.

Деректер зерттеушісі талдау нәтижелерін тиімді жеткізуі керек екенін атап өткен жөн. Бұл оған көмектеседі деректерді визуализациялау немесе гипотезаны зерттеу және тексеру нәтижелері. Мамандар диаграммалар мен графиктерді құра білуі, визуализация құралдарын пайдалануы және бақылау тақтасындағы деректерді түсініп, түсіндіре білуі керек.

Деректер инженері және деректер ғалымы: олар не істей алады және қанша алады

Деректер инженері үшін үш сала бірінші орынға шығады.

Алгоритмдер және деректер құрылымдары. Кодты жазуды және негізгі құрылымдар мен алгоритмдерді пайдалануды жақсы меңгеру маңызды:

  • алгоритм күрделілігін талдау,
  • түсінікті, күтілетін кодты жазу мүмкіндігі, 
  • партиялық өңдеу,
  • нақты уақыт режимінде өңдеу.

Мәліметтер базасы және деректер қоймалары, Business Intelligence:

  • деректерді сақтау және өңдеу,
  • толық жүйелерді жобалау,
  • Деректерді қабылдау,
  • таратылған файлдық жүйелер.

Hadoop және үлкен деректер. Барған сайын көбірек деректер бар және 3-5 жылдан кейін бұл технологиялар әрбір инженерге қажет болады. Плюс:

  • Деректер көлдері
  • бұлттық провайдерлермен жұмыс істеу.

Машинамен оқыту барлық жерде қолданылатын болады және оның қандай бизнес мәселелерін шешуге көмектесетінін түсіну маңызды. Модельдер жасай білудің қажеті жоқ (мәлімет ғалымдары мұны шеше алады), бірақ сіз олардың қолданылуын және сәйкес талаптарды түсінуіңіз керек.

Инженерлер мен ғалымдар қанша жалақы алады?

Деректер инженерінің кірісі

Халықаралық тәжірибеде Glassdoor мәліметтері бойынша, бастапқы жалақы әдетте жылына 100 000 долларды құрайды және тәжірибемен айтарлықтай өседі. Сонымен қатар, компаниялар акцияларға опциондар мен 5-15% жылдық бонустарды жиі ұсынады.

Ресейде Мансаптың басында жалақы әдетте аймақтарда 50 мың рубльден және Мәскеуде 80 мыңнан кем емес. Бұл кезеңде аяқталған оқудан басқа тәжірибе қажет емес.

1-2 жыл жұмыс істегеннен кейін - 90-100 мың рубльдік шанышқы.

Шанышқы 120-160 жылда 2–5 мыңға дейін өседі. Бұрынғы компаниялардың мамандануы, жобалардың көлемі, үлкен деректермен жұмыс істеу және т.б. сияқты факторлар қосылады.

5 жыл жұмыс істегеннен кейін тиісті бөлімдерден бос жұмыс орындарын іздеу немесе жоғары мамандандырылған лауазымдарға өтініш беру оңайырақ, мысалы:

  • Банктегі немесе телекоммуникациядағы сәулетші немесе жетекші әзірлеуші ​​- шамамен 250 мың.

  • Технологияларымен ең жақын жұмыс істеген сатушыдан алдын ала сату - 200 мың және ықтимал бонус (1-1,5 миллион рубль). 

  • SAP сияқты Enterprise бизнес қосымшаларын енгізу бойынша сарапшылар - 350 мыңға дейін.

Деректер ғалымдарының табысы

Зерттеу «Normal Research» компаниясы мен New.HR рекрутингтік агенттігінің сарапшылар нарығы деректер ғылымының мамандары басқа мамандықтардағы аналитиктерге қарағанда орта есеппен жоғары жалақы алатынын көрсетеді. 

Ресейде бір жылға дейінгі тәжірибесі бар деректанушының бастапқы жалақысы 113 мың рубльден басталады. 

Оқу бағдарламаларын аяқтау енді жұмыс тәжірибесі ретінде де есепке алынады.

1-2 жылдан кейін мұндай маман қазірдің өзінде 160 мыңға дейін ала алады.

4-5 жылдық тәжірибесі бар қызметкер үшін шанышқы 310 мыңға дейін артады.

Сұхбаттар қалай жүргізіледі?

Батыста кәсіптік білім беру бағдарламаларының түлектері оқуды аяқтағаннан кейін орта есеппен 5 аптадан кейін алғашқы әңгімелесуден өтеді. 85%-ға жуығы 3 айдан кейін жұмыс табады.

Деректер инженері мен деректер зерттеушісі лауазымдары үшін сұхбат процесі іс жүзінде бірдей. Әдетте бес кезеңнен тұрады.

Резюме. Бұрынғы негізгі емес тәжірибесі бар үміткерлер (мысалы, маркетинг) әрбір компания үшін егжей-тегжейлі ілеспе хат дайындауы немесе сол компания өкілінің анықтамасы болуы керек.

Техникалық скрининг. Ол әдетте телефон арқылы жүзеге асады. Жұмыс берушінің ағымдағы стекіне қатысты бір немесе екі күрделі және сонша қарапайым сұрақтардан тұрады.

HR сұхбаты. Телефон арқылы жасауға болады. Бұл кезеңде үміткердің жалпы сәйкестігі мен қарым-қатынас жасау қабілеті тексеріледі.

Техникалық сұхбат. Көбінесе бұл жеке түрде орын алады. Әртүрлі компанияларда штаттық кестедегі лауазымдардың деңгейі әртүрлі, ал лауазымдар әртүрлі аталуы мүмкін. Сондықтан бұл кезеңде техникалық білім тексеріледі.

CTO/Бас сәулетшімен сұхбат. Инженер мен ғалым - бұл стратегиялық лауазымдар және көптеген компаниялар үшін олар да жаңа. Басшыға әлеуетті әріптесті ұнатуы және онымен өз көзқарастарымен келісуі маңызды.

Ғалымдар мен инженерлерге олардың мансаптық өсуіне не көмектеседі?

Деректермен жұмыс істеуге арналған көптеген жаңа құралдар пайда болды. Ал барлығына бірдей жақсы адамдар аз. 

Көптеген компаниялар жұмыс тәжірибесі жоқ қызметкерлерді жұмысқа алуға дайын емес. Дегенмен, ең төменгі білімі бар және танымал құралдардың негіздерін білетін үміткерлер, егер олар өздігінен үйреніп, дамытса, қажетті тәжірибені ала алады.

Деректер инженері мен деректер зерттеушісі үшін пайдалы қасиеттер

Оқуға деген ұмтылыс пен қабілеттілік. Жаңа құрал үшін бірден тәжірибені қудалаудың немесе жұмыс орнын ауыстырудың қажеті жоқ, бірақ жаңа аймаққа ауысуға дайын болуыңыз керек.

Күнделікті процестерді автоматтандыруға деген ұмтылыс. Бұл өнімділік үшін ғана емес, сонымен қатар деректердің жоғары сапасы мен тұтынушыға жеткізу жылдамдығын сақтау үшін де маңызды.

Процестердің «басып тұрғанын» мұқият және түсіну. Бақылау және процестерді жетік білетін маман мәселені тезірек шешеді.

Алгоритмдерді, деректер құрылымдарын және құбырларды жақсы білуге ​​қосымша сізге қажет өнімдер туралы ойлауды үйрену — архитектура мен бизнес шешімін бір сурет ретінде қараңыз. 

Мысалы, кез келген белгілі қызметті алып, ол үшін мәліметтер базасын ойлап табу пайдалы. Содан кейін оны деректермен толтыратын ETL және DW қалай әзірлеуге болатынын, тұтынушылардың қандай болатынын және олар үшін деректер туралы нені білу маңызды екенін, сондай-ақ сатып алушылардың қосымшалармен қалай әрекеттесетінін ойлаңыз: жұмыс іздеу және танысу, көлікті жалға алу , подкаст қосымшасы, білім беру платформасы.

Аналитиктің, деректанушының және инженердің позициялары өте жақын, сондықтан сіз бір бағыттан екіншісіне басқа салаларға қарағанда жылдамырақ ауыса аласыз.

Қалай болғанда да, ол жоқ адамдарға қарағанда, кез келген IT білімі барларға оңайырақ болады. Орташа алғанда, ынталы ересектер 1,5-2 жыл сайын қайта оқытып, жұмысын ауыстырады. Бұл тек ашық дереккөздерге сүйенетіндермен салыстырғанда топта және тәлімгермен бірге оқитындар үшін оңайырақ.

Netology редакторларынан

Егер сіз деректер инженері немесе деректер ғалымы мамандығын іздесеңіз, сізді біздің курстық бағдарламаларды оқуға шақырамыз:

Ақпарат көзі: www.habr.com

пікір қалдыру