Разам з Аленай Герасімавай, кіраўніком факультэта «» у Неталогіі працягваем разбірацца, як узаемадзейнічаюць паміж сабой і чым адрозніваюцца Data Scientist і Data Engineer.
У першай частцы расказалі .
У гэтым матэрыяле пагаворым пра тое, якімі ведамі і навыкамі павінны валодаць спецыялісты, якая адукацыя шануецца працадаўцамі, як праходзяць сумоўі, а таксама колькі зарабляюць дата-інжынеры і дата-саентісты.
Што павінны ведаць саентысты і інжынеры
Профільнае адукацыю для абодвух спецыялістаў - Computer Science.
Любы спецыяліст па дадзеных - дата-саентыст або аналітык - павінен умець даказваць карэктнасць сваіх высноў. Для гэтага не абысціся без ведання статыстыкі і звязанай са статыстыкай базавай матэматыкі.
Машыннае навучанне і інструменты аналізу даных незаменныя ў сучасным свеце. Калі звыклыя прылады недаступныя, трэба мець навыкі хуткага вывучэння новых інструментаў, стварэння простых скрыптоў для аўтаматызацыі задач.
Важна адзначыць, што спецыяліст па рабоце з данымі павінен эфектыўна данесці вынікі аналізу. У гэтым яму дапаможа візуалізацыя дадзеных ці вынікаў праведзеных даследаванняў і праверкі гіпотэз. Спецыялісты павінны ўмець ствараць дыяграмы і графікі, выкарыстоўваць інструменты візуалізацыі, разумець і тлумачыць даныя з дашбордаў.
Для інжынера даных на першы план выходзяць тры напрамкі.
Алгарытмы і структуры дадзеных. Важна набіць руку ў напісанні кода і выкарыстанні асноўных структур і алгарытмаў:
- аналіз складанасці алгарытмаў,
- ўменне пісаць зразумелы, які падтрымліваецца код,
- пакетная апрацоўка,
- апрацоўка ў рэальным часе.
Базы і сховішчы дадзеных, Business Intelligence:
- захоўванне і апрацоўка дадзеных,
- праектаванне цэласных сістэм,
- Data Ingestion,
- размеркаваныя файлавыя сістэмы.
Hadoop і Big Data. Дадзеных становіцца ўсё больш, і на гарызонце 3-5 гадоў гэтыя тэхналогіі стануць неабходныя кожнаму інжынеру. Плюс:
- Data Lakes,
- праца з хмарнымі правайдэрамі.
машыннае навучанне будзе выкарыстоўвацца паўсюдна, і важна разумець, якія бізнес-задачы яно дапаможа вырашыць. Не абавязкова ўмець рабіць мадэлі (з гэтым справяцца дата-саентісты), але трэба разбірацца ў іх ужыванні і адпаведным патрабаванням.
Колькі атрымліваюць інжынеры і саентысты
Прыбытак інжынераў па апрацоўцы дадзеных
У міжнароднай практыцы пачатковая зарплата звычайна складае $100 000 у год і значна павялічваецца з досведам, па дадзеных Glassdoor. Акрамя таго, кампаніі часта падаюць апцыёны на акцыі і 5-15% гадавых бонусаў.
У Расіі у пачатку кар'еры зарплата звычайна не менш за 50 тыс. рублёў у рэгіёнах і 80 тыс. у Маскве. На гэтым этапе не патрабуецца досвед, акрамя пройдзенага навучання.
Праз 1-2 гады працы - відэлец 90-100 тыс. рублёў.
Відэлец павялічваецца да 120-160 тыс. праз 2-5 гадоў. Дадаюцца такія фактары, як спецыялізацыя мінулых кампаній, памер праектаў, праца з big data і іншае.
Пасля 5 гадоў працы лягчэй шукаць вакансіі ў сумежных аддзелах або адгукацца на такія вузкаспецыялізаваныя пазіцыі, як:
- Архітэктар або вядучы распрацоўшчык у банку або целікам - каля 250 тыс.
- Pre-Sales у вендара, з тэхналогіямі якога вы працавалі шчыльней за ўсё, – 200 тыс. плюс магчымы бонус (1-1,5 млн рублёў).
- Эксперты па ўкараненні Enterprise business application, такіх як SAP, - да 350 тыс.
Прыбытак дата-саенцістаў
рынку аналітыкаў кампаніі "Нармальныя даследаванні" і Рэкрутынгавае агенцтва New.HR паказвае, што спецыялісты па Data Science атрымліваюць у сярэднім вялікі заробак, чым аналітыкі іншых спецыяльнасцяў.
У Расіі пачатковы заробак дата-саенціста з досведам працы да года – ад 113 тыс. рублёў.
У якасці вопыту работы зараз таксама ўлічваецца праходжанне навучальных праграм.
Праз 1-2 гады такі спецыяліст ужо можа атрымліваць да 160 тыс.
Для супрацоўніка з досведам працы ад 4-5 гадоў відэлец вырастае да 310 тыс.
Як праходзяць гутаркі
На захадзе выпускнікі праграм прафесійнага навучання праходзяць першую гутарку ў сярэднім праз 5 тыдняў пасля заканчэння навучання. Каля 85% знаходзяць працу праз 3 месяцы.
Працэс праходжання сумоўяў на вакансіі інжынера дадзеных і дата-саентыста практычна не адрозніваецца. Звычайна складаецца з пяці этапаў.
Рэзюмэ. Кандыдатам з няпрофільным папярэднім досведам (напрыклад, з маркетынгу) неабходна для кожнай кампаніі падрыхтаваць падрабязнае суправаджальны ліст або мець рэкамендацыі ад прадстаўніка гэтай кампаніі.
Тэхнічны скрынінг. Праходзіць, як правіла, па тэлефоне. Складаецца з аднаго-двух складаных і столькі ж простых пытанняў, якія датычацца бягучага стэка працадаўцы.
HR-інтэрв'ю. Можа праходзіць па тэлефоне. На гэтым этапе кандыдата правяраюць на агульную адэкватнасць і здольнасць размаўляць.
Тэхнічнае сумоўе. Часцей за ўсё праходзіць вочна. У розных кампаніях узровень пазіцый у штатным раскладзе адрозніваецца, і звацца пазіцыі могуць па-рознаму. Таму на гэтым этапе правяраюць менавіта тэхнічныя веды.
Гутарка з тэхнічным дырэктарам / галоўным архітэктарам. Інжынер і саентіст - стратэгічныя пазіцыі, а для многіх кампаній да таго ж новыя. Важна, каб патэнцыйны калега спадабаўся кіраўніку і супадаў з ім у поглядах.
Што дапаможа саентыстам і інжынерам у кар'ерным росце
З'явілася дастаткова шмат новых інструментаў па рабоце з дадзенымі. І мала хто аднолькава добра разбіраецца ва ўсіх.
Многія кампаніі не гатовы наймаць супрацоўнікаў без вопыту работы. Аднак кандыдаты з мінімальнай базай і веданнем асноў папулярных інструментаў могуць атрымаць патрэбны досвед, калі будуць навучацца і развівацца самастойна.
Карысныя якасці для дата-інжынера і дата-саенціста
Жаданне і ўменне вучыцца. Неабавязкова адразу турыцца за досведам або змяняць працу дзеля новай прылады, але трэба быць гатовым пераключыцца на новую вобласць.
Імкненне да аўтаматызацыі руцінных працэсаў. Гэта важна не толькі для прадуктыўнасці, але і для падтрымання высокай якасці дадзеных і хуткасці іх дастаўкі да спажыўца.
Уважлівасць і разуменне што там пад капотам у працэсаў. Хутчэй вырашыць задачу той спецыяліст, у якога ёсць нагляд і дасканалае веданне працэсаў.
Акрамя выдатнага ведання алгарытмаў, структур дадзеных і пайплайнаў, трэба навучыцца думаць прадуктамі - бачыць архітэктуру і бізнес-рашэнне як адзіную карціну.
Напрыклад, карысна ўзяць любы вядомы сэрвіс і прыдумаць для яго базу даных. Затым падумаць, як распрацаваць ETL і DW, якія напоўняць яе дадзенымі, якія будуць спажыўцы і што ім важна ведаць аб дадзеных, а таксама як пакупнікі ўзаемадзейнічаюць з прыкладаннямі: для пошуку працы і знаёмстваў, пракат аўтамабіляў, прыкладанне для подкаст, адукацыйная платформа.
Пазіцыі аналітыка, дата-саенціста і інжынера вельмі блізкія, таму пераходзіць з аднаго кірунку ў іншы можна хутчэй, чым з іншых сфер.
У любым выпадку, уладальнікам любога ІТ-бэкграўнду будзе прасцей, чым тым, у каго яго няма. У сярэднім дарослыя матываваныя людзі перавучваюцца і мяняюць працу кожныя 1,5-2 гады. Лягчэй гэта даецца тым, хто вучыцца ў групе і з настаўнікам, у параўнанні з тымі, хто абапіраецца толькі на адчыненыя крыніцы.
Ад рэдакцыі Неталогіі
Калі прыглядаецеся да прафесіі Data Engineer ці Data Scientist, запрашаем вывучыць праграмы нашых курсаў:
- Прафесія «.
- Прафесія «.
- Курс «.
Крыніца: habr.com