Uyğun olaraq , data mühəndisi hazırda tələbatı digərlərindən daha sürətlə artan bir peşədir. Məlumat mühəndisi təşkilatda mühüm rol oynayır - verilənlərin emal edilməsi, çevrilməsi və saxlanılması üçün istifadə olunan boru kəmərləri və verilənlər bazası yaratmaq və saxlamaq. Bu peşənin nümayəndələrinə ilk növbədə hansı bacarıqlar lazımdır? Siyahı məlumat alimlərindən tələb olunanlardan fərqlidirmi? Bütün bunları mənim məqaləmdən öyrənəcəksiniz.
Hansı texnologiya bacarıqlarının ən populyar olduğunu başa düşmək üçün məlumat mühəndisi vəzifəsi üçün 2020-ci ilin yanvar ayında olduğu kimi vakansiyaları təhlil etdim. Sonra mən nəticələri data alimi vəzifəsi üçün vakansiyaların statistikası ilə müqayisə etdim və bəzi maraqlı fərqlər ortaya çıxdı.
Çox preambula olmadan, iş elanlarında ən çox xatırlanan ilk on texnologiya bunlardır:
2020-ci ildə məlumat mühəndisi vəzifəsi üçün vakansiyalarda texnologiyaların qeyd edilməsi
Anlayaq.
Məlumat mühəndisinin vəzifələri
Bu gün məlumat mühəndislərinin gördüyü iş təşkilatlar üçün böyük əhəmiyyət kəsb edir - bunlar məlumatın saxlanmasına və digər işçilərin onunla işləyə biləcəyi formada gətirilməsinə cavabdeh olan insanlardır. Məlumat mühəndisləri bir çox mənbədən məlumat axını və ya toplu məlumat vermək üçün boru kəmərləri qurur. Boru kəmərləri daha sonra hasilat, transformasiya və yükləmə əməliyyatlarını yerinə yetirir (başqa sözlə, ETL prosesləri), məlumatları sonrakı istifadə üçün daha uyğun edir. Bundan sonra məlumatlar daha dərin emal üçün analitiklərə və məlumat alimlərinə təqdim olunur. Nəhayət, məlumatlar öz səyahətini tablosunda, hesabatlarda və maşın öyrənmə modellərində bitirir.
Hazırda məlumat mühəndisinin işində hansı texnologiyaların daha çox tələb olunduğu barədə nəticə çıxarmağa imkan verəcək məlumat axtarırdım.
Metodlar
Mən üç iş axtarış saytından məlumat topladım - , и və ABŞ sakinlərinə yönəlmiş vakansiyaların mətnlərində “məlumat mühəndisi” ilə birlikdə hansı açar sözlərə rast gəlindiyinə baxdı. Bu tapşırıq üçün iki Python kitabxanasından istifadə etdim - и . Açar sözlər arasında həm məlumat alimi vəzifəsi üçün vakansiyaların təhlili üçün əvvəlki siyahıya daxil edilənləri, həm də məlumat mühəndisləri üçün iş təkliflərini oxuyarkən əl ilə seçdiyim sözləri daxil etdim. Məlumat toplamaq üçün son cəhdimdən sonra orada qadağan olunduğum üçün LinkedIn mənbələr siyahısına daxil edilmədi.
Hər bir açar söz üçün mən ayrı-ayrılıqda hər bir saytdakı mətnlərin ümumi sayından hitlərin faizini hesabladım və sonra üç mənbə üçün ortalamanı hesabladım.
Tapıntılar
Aşağıda hər üç iş yerində ən yüksək bal toplayan otuz texniki məlumat mühəndisliyi termini verilmişdir.
Və burada eyni rəqəmlər var, lakin cədvəl şəklində təqdim olunur:
Gəlin qaydada gedək.
Nəticələrin nəzərdən keçirilməsi
Həm SQL, həm də Python nəzərdən keçirilən iş yerlərinin üçdə ikisindən çoxunda görünür. Məhz bu iki texnologiyanın ilk öyrənilməsi mənasızdır. verilənlərlə işləmək, veb-saytlar yaratmaq və skriptlər yazmaq üçün istifadə edilən çox məşhur proqramlaşdırma dilidir. Strukturlaşdırılmış Sorğu Dili deməkdir; bir qrup dil tərəfindən həyata keçirilən standartı əhatə edir və əlaqəli verilənlər bazalarından məlumatları əldə etmək üçün istifadə olunur. Uzun müddət əvvəl ortaya çıxdı və özünü yüksək dərəcədə davamlı olduğunu sübut etdi.
Vakansiyaların təxminən yarısında Spark qeyd olunur. “axın, SQL, maşın öyrənməsi və qrafiklərin işlənməsi üçün daxili modulları olan vahid böyük verilənlər analitikası mühərrikidir”. Xüsusilə böyük verilənlər bazası ilə işləyənlər arasında populyardır.
AWS iş elanlarının təxminən 45%-də görünür. Bu, Amazon tərəfindən istehsal olunan bulud hesablama platformasıdır; bütün bulud platformaları arasında ən böyük bazar payına malikdir.
Sonra Java və Hadoop gəlir - qardaşları üçün 40% -dən bir qədər çox. geniş yayılmış, döyüşdə sınaqdan keçirilmiş bir dildir proqramçılar arasında dəhşətə səbəb olan dillər arasında onuncu yerə layiq görüldü. Bunun əksinə olaraq, Python ən çox sevilən ikinci dil idi. Java dili Oracle tərəfindən idarə olunur və bu barədə bilməli olduğunuz hər şeyi 2020-ci ilin yanvar ayından etibarən rəsmi səhifənin bu skrinşotundan başa düşmək olar.
Bu, zaman maşınına minmək kimidir
böyük verilənlər üçün server klasterləri ilə MapReduce proqramlaşdırma modelindən istifadə edir. İndi bu model getdikcə daha çox tərk edilir.
Sonra biz Hive, Scala, Kafka və NoSQL-i görürük - bu texnologiyaların hər biri təqdim olunan vakansiyaların dörddə birində qeyd olunur. Apache Hive “SQL istifadə edərək paylanmış mağazalarda yerləşən böyük verilənlər toplusunu oxumağı, yazmağı və idarə etməyi asanlaşdıran” məlumat anbarı proqramıdır. – böyük verilənlərlə işləyərkən fəal şəkildə istifadə olunan proqramlaşdırma dili. Xüsusilə, Spark Scala-da yaradılmışdır. Artıq qeyd olunan qorxulu dillər reytinqində Scala on birinci yerdədir. – axın mesajlarının işlənməsi üçün paylanmış platforma. Məlumat axını vasitəsi kimi çox populyardır.
özlərini SQL ilə müqayisə edirlər. Onlar əlaqəsiz, strukturlaşdırılmamış və üfüqi olaraq miqyaslana bilən olması ilə fərqlənirlər. NoSQL bir qədər populyarlıq qazandı, lakin yanaşma üçün çılğınlıq, hətta onun dominant saxlama paradiqması olaraq SQL-i əvəz edəcəyinə dair peyğəmbərliklər nöqtəsinə qədər, görünür.
Data alimi vakansiyalarında şərtlərlə müqayisə
Budur, məlumat elmi işəgötürənləri arasında ən çox yayılmış otuz texnologiya termini. Mən bu siyahını məlumat mühəndisliyi üçün yuxarıda təsvir edildiyi kimi əldə etdim.
2020-ci ildə məlumat alimi vəzifəsi üçün vakansiyalarda texnologiyanın qeyd edilməsi
Ümumi saydan danışsaq, əvvəllər nəzərdə tutulan işə qəbulla müqayisədə 28% çox boş yer var idi (12-ya qarşı 013). Gəlin görək, verilənlər mühəndisləri üçün vakansiyalarda verilənlər mühəndisləri ilə müqayisədə hansı texnologiyalar daha az yayılmışdır.
Məlumat mühəndisliyində daha populyardır
Aşağıdakı qrafik orta fərqi 10%-dən çox və ya -10%-dən az olan açar sözləri göstərir.
Məlumat mühəndisi və məlumat alimi arasındakı açar söz tezliyində ən böyük fərqlər
AWS ən əhəmiyyətli artımı göstərir: məlumat mühəndisliyində məlumat elmində olduğundan 25% daha müntəzəm görünür (vakansiyaların ümumi sayının müvafiq olaraq təxminən 45% və 20%). Fərq nəzərə çarpır!
Budur, bir az fərqli təqdimatda eyni məlumatlar - qrafikdə məlumat mühəndisi və məlumat alimi vəzifəsi üçün vakansiyalarda eyni açar söz üçün nəticələr yan-yana yerləşir.
Məlumat mühəndisi və məlumat alimi arasındakı açar söz tezliyində ən böyük fərqlər
Qeyd etdiyim növbəti ən böyük sıçrayış Spark-da oldu - məlumat mühəndisi çox vaxt böyük verilənlərlə işləməli olur. həmçinin 20% artıb, yəni data alimi vakansiyaları üzrə nəticə ilə müqayisədə demək olar ki, dörd dəfə. Məlumat ötürülməsi məlumat mühəndisinin əsas vəzifələrindən biridir. Nəhayət, qeyd olunanların sayı Java, NoSQL, Redshift, SQL və Hadoop üçün verilənlər mühəndisliyi sahəsində 15% daha çox olub.
Məlumat mühəndisliyində daha az populyardır
İndi məlumat mühəndisi vakansiyalarında hansı texnologiyaların daha az populyar olduğunu görək.
Məlumat elmləri sektoru ilə müqayisədə ən kəskin azalma ildə baş verib : orada vakansiyaların təxminən 56% -də, burada - yalnız 17% -də göründü. Təsirli. R elm adamları və statistiklər tərəfindən bəyənilən proqramlaşdırma dilidir və dünyada səkkizinci ən qorxulu dildir.
məlumat mühəndisi vəzifəsi üçün vakansiyalarda da daha az rast gəlinir - fərq 14% -dir. SAS statistika və məlumatlarla işləmək üçün nəzərdə tutulmuş mülkiyyət dilidir. Maraqlı məqam: nəticələrə görə mühakimə , bu yaxınlarda çox yer itirdi - hər hansı digər texnologiyadan daha çox.
Həm məlumat mühəndisliyində, həm də məlumat elmində tələb olunur
Qeyd edək ki, hər iki setdə ilk on mövqedən səkkizi eynidir. SQL, Python, Spark, AWS, Java, Hadoop, Hive və Scala həm məlumat mühəndisliyi, həm də məlumat elmləri sənayesi üçün ilk onluğa daxil oldu. Aşağıdakı qrafikdə məlumat mühəndisi işəgötürənləri arasında ən populyar on beş texnologiyanı görə bilərsiniz və onların yanında onların məlumat alimləri üçün vakansiya dərəcəsi var.
tövsiyələr
Əgər məlumat mühəndisliyi sahəsinə daxil olmaq istəyirsinizsə, sizə aşağıdakı texnologiyaları mənimsəməyi məsləhət görərdim - onları təxmini prioritet sırasına görə sadalayıram.
SQL öyrənin. Mən PostgreSQL-ə meyl edirəm, çünki o, açıq mənbədir, cəmiyyətdə çox populyardır və böyümə mərhələsindədir. Dildən necə istifadə edəcəyinizi “My Memorable SQL” kitabından öyrənə bilərsiniz – onun pilot versiyası mövcuddur .
Ən sərt səviyyədə olmasa belə, Master Python. My Memorable Python xüsusi olaraq yeni başlayanlar üçün nəzərdə tutulmuşdur. ünvanından almaq olar , elektron və ya fiziki surət, seçiminiz və ya pdf və ya epub formatında yükləyin .
Python ilə tanış olduqdan sonra məlumatların təmizlənməsi və emalı üçün istifadə olunan Python kitabxanası olan pandalara keçin. Əgər siz Python-da yazmaq bacarığı tələb edən bir şirkətdə işləmək niyyətindəsinizsə (və bu onların əksəriyyətidir), əmin ola bilərsiniz ki, pandalar haqqında biliklər standart olaraq qəbul ediləcək. Hazırda pandalarla işləmək üçün giriş təlimatını tamamlayıram - edə bilərsiniz azad olma anını qaçırmamaq üçün.
Master AWS. Məlumat mühəndisi olmaq istəyirsinizsə, bulud platforması olmadan edə bilməzsiniz və AWS onlardan ən populyarıdır. Kurslar mənə çox kömək etdi oxuyanda , düşünürəm ki, onların AWS-də də yaxşı materialları olacaq.
Əgər siz artıq bu siyahını tamamlamısınızsa və məlumat mühəndisi kimi işəgötürənlərin gözündə daha da böyümək istəyirsinizsə, böyük verilənlərlə işləmək üçün Apache Spark-ı əlavə etməyi təklif edirəm. Data alimi vakansiyaları ilə bağlı araşdırmam marağın azalması göstərsə də, məlumat mühəndisləri arasında hələ də demək olar ki, hər ikinci vakansiyada görünür.
Nəhayət
Ümid edirəm ki, məlumat mühəndisləri üçün ən çox tələb olunan texnologiyalara dair bu icmalı faydalı tapdınız. Əgər analitik işlərinin necə getdiyi ilə maraqlanırsınızsa, oxuyun . Xoşbəxt mühəndislik!
Mənbə: www.habr.com