Kasama si Elena Gerasimova, pinuno ng faculty "Β» sa Netology patuloy naming nauunawaan kung paano sila nakikipag-ugnayan sa isa't isa at kung paano naiiba ang mga Data Scientist at Data Engineer.
Sa unang bahagi ay sinabi nila .
Sa materyal na ito ay pag-uusapan natin kung anong kaalaman at kasanayan ang dapat magkaroon ng mga espesyalista, anong edukasyon ang pinahahalagahan ng mga employer, kung paano isinasagawa ang mga panayam, at kung magkano ang kinikita ng mga data engineer at data scientist.
Ano ang dapat malaman ng mga siyentipiko at inhinyero
Ang espesyal na edukasyon para sa parehong mga espesyalista ay Computer Science.
Ang sinumang data scientistβdata scientist o analystβay dapat na mapatunayan ang kawastuhan ng kanilang mga konklusyon. Para dito hindi mo magagawa nang walang kaalaman statistics at statistics-related basic mathematics.
Ang machine learning at data analytics tool ay kailangang-kailangan sa modernong mundo. Kung ang mga karaniwang tool ay hindi magagamit, kailangan mong magkaroon ng mga kasanayan mabilis na pag-aaral ng mga bagong tool, paggawa ng mga simpleng script para i-automate ang mga gawain.
Mahalagang tandaan na ang data scientist ay dapat epektibong ipaalam ang mga resulta ng pagsusuri. Makakatulong ito sa kanya visualization ng data o ang mga resulta ng pananaliksik at pagsubok ng mga hypotheses. Ang mga espesyalista ay dapat na makagawa ng mga chart at graph, gumamit ng mga visualization tool, at maunawaan at ipaliwanag ang data mula sa mga dashboard.
Para sa isang inhinyero ng data, tatlong lugar ang nauuna.
Mga algorithm at istruktura ng data. Mahalagang maging mahusay sa pagsulat ng code at paggamit ng mga pangunahing istruktura at algorithm:
- pagsusuri sa pagiging kumplikado ng algorithm,
- kakayahang magsulat ng malinaw, mapanatili na code,
- batch processing,
- real-time na pagproseso.
Mga database at data warehouse, Business Intelligence:
- imbakan at pagproseso ng data,
- disenyo ng kumpletong mga sistema,
- Pag-ingest ng Data,
- distributed file system.
Hadoop at Big Data. Parami nang parami ang data, at sa loob ng 3β5 taon, ang mga teknolohiyang ito ay magiging kinakailangan para sa bawat engineer. Dagdag pa:
- Data Lakes
- nagtatrabaho sa mga tagapagbigay ng ulap.
Pag-aaral ng makina ay gagamitin sa lahat ng dako, at mahalagang maunawaan kung anong mga problema sa negosyo ang makakatulong nitong malutas. Hindi kinakailangan na makagawa ng mga modelo (kakayanin ito ng mga data scientist), ngunit kailangan mong maunawaan ang kanilang aplikasyon at ang mga kaukulang kinakailangan.
Magkano ang kinikita ng mga inhinyero at siyentipiko?
Kita ng Data Engineer
Sa internasyonal na pagsasanay Ang mga panimulang suweldo ay karaniwang $100 bawat taon at tumataas nang malaki sa karanasan, ayon sa Glassdoor. Bilang karagdagan, ang mga kumpanya ay madalas na nagbibigay ng mga pagpipilian sa stock at 000-5% taunang mga bonus.
Sa Russia sa simula ng isang karera, ang suweldo ay karaniwang hindi bababa sa 50 libong rubles sa mga rehiyon at 80 libo sa Moscow. Walang kinakailangang karanasan maliban sa natapos na pagsasanay sa yugtong ito.
Pagkatapos ng 1-2 taon ng trabaho - isang tinidor ng 90-100 libong rubles.
Ang tinidor ay tumataas sa 120β160 libo sa loob ng 2β5 taon. Ang mga kadahilanan tulad ng pagdadalubhasa ng mga nakaraang kumpanya, ang laki ng mga proyekto, trabaho sa malaking data, atbp.
Pagkatapos ng 5 taon ng trabaho, mas madaling maghanap ng mga bakante sa mga kaugnay na departamento o mag-aplay para sa mga mataas na dalubhasang posisyon tulad ng:
- Arkitekto o lead developer sa isang bangko o telecom - mga 250 thousand.
- Pre-Sales mula sa vendor na ang mga teknolohiyang pinagtrabaho mo nang mas malapit - 200 thousand kasama ang posibleng bonus (1-1,5 million rubles).
- Mga eksperto sa pagpapatupad ng mga aplikasyon ng negosyo ng Enterprise, tulad ng SAP - hanggang 350 thousand.
Kita ng mga data scientist
market ng mga analyst ng kumpanyang "Normal Research" at ang recruiting agency na New.HR ay nagpapakita na ang mga espesyalista sa Data Science ay tumatanggap sa average ng mas mataas na suweldo kaysa sa mga analyst ng iba pang mga specialty.
Sa Russia, ang panimulang suweldo ng isang data scientist na may hanggang isang taon ng karanasan ay mula sa 113 libong rubles.
Ang pagkumpleto ng mga programa sa pagsasanay ay isinasaalang-alang din ngayon bilang karanasan sa trabaho.
Pagkatapos ng 1-2 taon, ang naturang espesyalista ay maaari nang makatanggap ng hanggang 160 libo.
Para sa isang empleyado na may 4-5 taong karanasan, ang tinidor ay tumataas sa 310 libo.
Paano isinasagawa ang mga panayam?
Sa Kanluran, ang mga nagtapos ng mga programa sa pagsasanay sa bokasyonal ay may kanilang unang panayam sa average 5 linggo pagkatapos ng graduation. Humigit-kumulang 85% ang nakahanap ng trabaho pagkatapos ng 3 buwan.
Ang proseso ng pakikipanayam para sa mga posisyon ng data engineer at data scientist ay halos pareho. Karaniwang binubuo ng limang yugto.
Buod. Ang mga kandidatong may hindi pangunahing karanasan (hal., marketing) ay kinakailangang maghanda ng isang detalyadong cover letter para sa bawat kumpanya o magkaroon ng reference mula sa isang kinatawan ng kumpanyang iyon.
Teknikal na pagsusuri. Karaniwan itong nagaganap sa telepono. Binubuo ng isa o dalawang kumplikado at kasing dami ng simpleng tanong na nauugnay sa kasalukuyang stack ng employer.
Panayam ng HR. Maaaring gawin sa telepono. Sa yugtong ito, sinusuri ang kandidato para sa pangkalahatang kasapatan at kakayahang makipag-usap.
Teknikal na panayam. Kadalasan ito ay nagaganap nang personal. Sa iba't ibang kumpanya, iba ang antas ng mga posisyon sa talahanayan ng mga tauhan, at maaaring iba ang pangalan ng mga posisyon. Samakatuwid, sa yugtong ito ito ay teknikal na kaalaman na nasubok.
Panayam sa CTO/Chief Architect. Ang inhinyero at siyentipiko ay mga madiskarteng posisyon, at para sa maraming kumpanya ay bago rin sila. Mahalaga na gusto ng manager ang potensyal na kasamahan at sumasang-ayon sa kanya sa kanyang mga pananaw.
Ano ang makakatulong sa mga siyentipiko at inhinyero sa paglago ng kanilang karera?
Napakaraming bagong tool para sa pagtatrabaho sa data ang lumitaw. At kakaunti ang mga tao na pantay na magaling sa lahat.
Maraming mga kumpanya ang hindi handa na kumuha ng mga empleyado nang walang karanasan sa trabaho. Gayunpaman, ang mga kandidato na may kaunting background at kaalaman sa mga pangunahing kaalaman ng mga sikat na tool ay maaaring makakuha ng kinakailangang karanasan kung sila ay matuto at bubuo sa kanilang sarili.
Mga kapaki-pakinabang na katangian para sa isang data engineer at data scientist
Pagnanais at kakayahang matuto. Hindi mo kailangang habulin kaagad ang karanasan o magpalit ng mga trabaho para sa isang bagong tool, ngunit kailangan mong maging handa na lumipat sa isang bagong lugar.
Ang pagnanais na i-automate ang mga nakagawiang proseso. Ito ay mahalaga hindi lamang para sa pagiging produktibo, kundi pati na rin para sa pagpapanatili ng mataas na kalidad ng data at bilis ng paghahatid sa consumer.
Pagkaasikaso at pag-unawa sa "kung ano ang nasa ilalim ng hood" ng mga proseso. Ang isang espesyalista na may pagmamasid at masusing kaalaman sa mga proseso ay mas mabilis na malulutas ang problema.
Bilang karagdagan sa mahusay na kaalaman sa mga algorithm, istruktura ng data at pipeline, kailangan mo matutong mag-isip sa mga produkto β tingnan ang arkitektura at solusyon sa negosyo bilang isang larawan.
Halimbawa, kapaki-pakinabang na kumuha ng anumang kilalang serbisyo at makabuo ng isang database para dito. Pagkatapos ay isipin kung paano bumuo ng ETL at DW na pupunuin ito ng data, kung anong uri ng mga mamimili ang magiging at kung ano ang mahalagang malaman nila tungkol sa data, at kung paano nakikipag-ugnayan ang mga mamimili sa mga aplikasyon: para sa paghahanap ng trabaho at pakikipag-date, pagrenta ng kotse , podcast application, platform na pang-edukasyon.
Ang mga posisyon ng isang analyst, data scientist at engineer ay napakalapit, kaya maaari kang lumipat mula sa isang direksyon patungo sa isa pa nang mas mabilis kaysa sa iba pang mga lugar.
Sa anumang kaso, magiging mas madali para sa mga may anumang background sa IT kaysa sa mga wala nito. Sa karaniwan, ang mga motivated na nasa hustong gulang ay muling nagsasanay at nagbabago ng mga trabaho tuwing 1,5β2 taon. Ito ay mas madali para sa mga nag-aaral sa isang grupo at may isang tagapayo, kumpara sa mga taong umaasa lamang sa mga open source.
Mula sa mga editor ng Netology
Kung tinitingnan mo ang propesyon ng Data Engineer o Data Scientist, inaanyayahan ka naming pag-aralan ang aming mga programa sa kurso:
- propesyon"'.
- propesyon"'.
- sige"'.
Pinagmulan: www.habr.com