A következő szerint , a data engineer jelenleg a leggyorsabban növekvő szakma. A data engineer kritikus szerepet játszik a szervezetekben – létrehozza és karbantartja azokat a csöveket és adatbázisokat, amelyeket az adatok feldolgozására, átalakítására és tárolására használnak. Milyen készségekre van szükség ennek a szakmának a képviselői számára? Különbözik-e a lista attól, ami a data scientistoktól elvárható? Mindezt megtudhatja cikkemből.
Elemzést végeztem a data engineer pozíciókra vonatkozó álláshirdetésekről, ahogy 2020 januárjában megjelentek, hogy megérthessem, mely technológiai készségek a legkeresettebbek. Ezután az eredményeket összehasonlítottam a data scientist pozíciókra vonatkozó álláshirdetési statisztikákkal – így érdekes eltérésekre bukkantam.
Hosszas bevezetők nélkül – itt van a tíz leggyakrabban említett technológia az álláshirdetések szövegében:
Technológiák említése a data engineer pozíciókra vonatkozó hirdetésekben 2020-ban
Nézzük meg részletesen.
A data engineer feladatai
A mai napon a data engineer-ek által végzett munka rendkívüli fontossággal bír a szervezetek számára – ők felelnek az információk tárolásáért, és biztosítják, hogy azokat más munkatársak is fel tudják használni. A data engineer-ek csöveket alakítanak ki az adatok áramlásának beállításához, legyenek azok folyamatos vagy csomagolt adatok, sok forrásból. Ezt követően a csövek végrehajtanak olyan műveleteket, mint az adatok kinyerése, átalakítása és betöltése (más szavakkal: ETL-folyamatok), ezáltal az adatokat megfelelőbbé téve a további felhasználásra. Aztán az adatokat az elemzők és data scientistok továbbfeldolgozásra kapják. Végül az adatok útra kelnek az információs panelekre, jelentésekre és gépi tanulási modellekre.
Olyan információt kerestem, amely alapján következtetéseket vonhatnék le arról, hogy mely technológiák a legkeresettebbek a data engineer munkájában jelenleg.
Módszerek
Három álláskereső weboldalról gyűjtöttem adatokat – , és és megnéztem, hogy mely kulcsszavak fordulnak elő a „data engineer” kifejezéssel összefüggésben az Egyesült Államok lakói számára készült álláshirdetésekben. Ehhez a feladathoz két Python könyvtárat használtam – és A kulcsszavak közé tartoznak azok, amelyeket a korábbi adatkutatói állásokra vonatkozó elemzőlistán is szerepeltettem, valamint azok, amelyeket manuálisan választottam ki, amikor az adatfeldolgozók álláshirdetéseit olvastam. A LinkedIn nem került az források közé, mivel ott elérhetetlenné váltam a múltkori adatgyűjtési kísérletem után.
Minden kulcsszó esetében számoltam a találatok arányát a vizsgált webhelyek szövegeihez viszonyítva, majd kiszámítottam a három forrás átlagos értékét.
Eredmények
Az alábbiakban harminc műszaki kifejezés található az adatfeldolgozás területéről, amelyek a legmagasabb értékeket érték el mindhárom álláshirdetési webhelyen.
Íme ugyanazok a számok táblázatos formában:
Nézzük sorrendben.
Az eredmények áttekintése
Mind a SQL, mind a Python szerepel az összes vizsgált álláshirdetés több mint kétharmadában. E két technológiát érdemes elsőként tanulmányozni. – egy nagyon népszerű programozási nyelv, amelyet adatkezelésre, weboldalak készítésére és szkriptek írására használnak. a Structured Query Language rövidítése (strukturált lekérdező nyelv); ez egy szabvány, amelyet nyelvek csoportja valósít meg, és a relációs adatbázisokból való adatkinyeréshez alkalmazzák. Már régóta létezik, és kiváló stabilitással bír.
A Sparkról körülbelül a hirdetések felében esik szó. – egy "egyesített analitikai motor, amely nagy adatok feldolgozására szolgál, beépített modulokkal az adatfolyamok, SQL, gépi tanulás és gráffeldolgozás számára." Különösen népszerű azok körében, akik nagy méretű adatbázisokkal dolgoznak.
Az AWS a hirdetések körülbelül 45%-ában megjelenik. Ez az Amazon által gyártott felhőalapú számítástechnikai platform; a felhőalapú platformok között a legnagyobb piaci részesedéssel bír.
Ezután következik a Java és a Hadoop – kicsit több mint 40% mindkettőből. – széles körben elterjedt, a gyakorlatban bevált nyelv, amely a a tizedik helyet foglalta el azon nyelvek között, amelyek a programozókben félelmet váltanak ki. Ezzel szemben a Python a legkedveltebb nyelv lett. A nyelvet az Oracle irányítja, és minden, amit tudni érdemes róla, megérthető az innen, 2020 januári hivatalos oldalról készült képernyőfotóból.
Mintha egy időgépen utaztam volna
A MapReduce szoftvermodellt alkalmazó szerverklaszterek kifejezetten a nagy adatokhoz. Ezen modell használatát manapság egyre gyakrabban elhagyják.
A következőkben látjuk a Hive-ot, a Scalát, a Kafkát és a NoSQL-t – ezek közül mindegyik technológia szerepel az álláshirdetések negyedében. Az Apache Hive egy adatkezelő program, amely "megkönnyíti a nagy adathalmazok olvasását, írását és kezelését, amelyek elosztott tárolókban találhatók, SQL segítségével." – egy programozási nyelv, amelyet aktívan használnak nagy adatokkal való munka során. Különösen a Spark készült Scalán. Az már említett rangsorban a Scala a tizenegyedik helyen áll. – egy elosztott platform az üzenetfolyamok feldolgozására. Nagy népszerűségnek örvend adatfolyamok továbbítására.
ellentétben állnak az SQL-lel. Az a különbség, hogy nem relációsak, nem struktúráltak és vízszintesen skálázhatók. A NoSQL bizonyos népszerűségre tett szert, ám a megközelítés iránti lázas vonzalom, amely odáig terjedt, hogy megjövendölték, hogy leváltja az SQL-t, mint domináló tárolási paradigmát, úgy tűnik, már a múlté.
Összehasonlítás a data scientist álláshirdetéseiben szereplő kifejezésekkel
Itt van harminc technológiai kifejezés, amely a leggyakrabban előfordul a munkaadók által a data science területén. Ezt a listát ugyanazzal a módszerrel készítettem, amelyet korábban leírtam a data engineering esetében.
Technológiai említések a data scientist pozíciókra vonatkozó álláshirdetésekben 2020-ban
Ha a teljes számot nézzük, a korábban vizsgált adathalmazon belül 28%-kal több álláshirdetés volt (12 013 szemben 9396-tal). Nézzük meg, mely technológiák fordulnak elő ritkábban a data scientist pozíciók hirdetéseiben, mint a data engineer állásoknál.
Népszerűbb a data engineering területén
Az alábbi grafikonon a kulcsszavak láthatók, amelyek átlagos eltérése 10% fölött, vagy -10% alatt van.
A legnagyobb eltérések a kulcsszavak gyakoriságában a data engineer és a data scientist között
A legszembetűnőbb növekedést az AWS mutatja: a data engineeringben 25%-kal gyakrabban fordul elő, mint a data science-ben (kb. 45% és 20% az összes álláshirdetésből). Az eltérés jelentős!
Itt vannak ugyanazok az adatok kissé eltérő ábrázolásban – a grafikonon egy és ugyanazon kulcsszó álláshirdetésekben a data engineer és a data scientist pozíciókra vonatkozóan egymás mellett helyezkednek el.
A legnagyobb eltérések a kulcsszavak gyakoriságában a data engineer és a data scientist között
A Spark esetében tapasztaltam a következő legnagyobb ugrást – a data engineer gyakran dolgozik nagy mennyiségű adattal. szintén 20%-kal nőtt, ami majdnem négyszerese a data scientist pozíciókra vonatkozó eredményeknek. Az adatok átadása – a data engineer egyik kulcsfontosságú feladata. Végül, a data engineering területen a Java, NoSQL, Redshift, SQL és Hadoop említése 15%-kal nőtt.
Kevésbé népszerű a data engineering terén
Most nézzük meg, mely technológiák kevésbé népszerűek a data engineer pozíciók hirdetéseiben.
A legnagyobb csökkenést a data science területével összehasonlítva tapasztaltuk a : ott körülbelül 56%-ban szerepelt, itt – csak 17%-ban. Figyelemre méltó. Az R programozási nyelv népszerű a tudósok és statisztikusok körében, és a nyolcadik helyet foglalja el a legrosszabb nyelvek rangsorában.
szintén jelentősen ritkábban található meg a data engineer pozíciókra vonatkozó álláshirdetésekben – a különbség 14%. A SAS egy szabadalmaztatott nyelv, amely statisztikai és adatelemzési feladatokra lett kifejlesztve. Érdekes, hogy a , az utóbbi időben jelentősen elvesztette pozícióját – jobban, mint bármely más technológia.
Mind a data engineering, mind a data science területén keresett
Érdemes megjegyezni, hogy a legjobb tíz közül nyolc pozíció azonos a két készletben. SQL, Python, Spark, AWS, Java, Hadoop, Hive és Scala mind a data engineering, mind a data science iparág tízes listájában szerepel. Az alábbi grafikonon láthatja a data engineer üzemeltetők által legkeresettebb tizenöt technológiát, mellette a data scientist pozíciókra vonatkozó arányuk.
Ajánlások
Ha data engineering-el szeretne foglalkozni, javaslom, hogy tanulja meg a következő technológiákat – ezeket körülbelül prioritás szerint sorolom fel.
Tanulja meg az SQL-t. Kifejezetten a PostgreSQL-t javaslom, mert nyílt forráskódú, a közösségben nagyon népszerű, és fejlődési fázisban van. A nyelv használatáról a My Memorable SQL könyvből tájékozódhat – a pilóta verziója elérhető .
Tanulja meg a Pythont, lehetőleg nem a legprofibb szinten. A My Memorable Python könyv éppen a kezdőknek készült. Megvásárolható a , elektronikus vagy nyomtatott példányban, ahogy kívánja, vagy letölthető pdf vagy epub formátumban .
Miután megismerkedtél a Pythonnal, lépj tovább a pandasra – a Python könyvtárra, amely az adatok tisztítására és feldolgozására szolgál. Ha olyan cégnél szeretnél dolgozni, ahol elvárt a Python tudás (és ilyenekből van a legtöbb), biztos lehetsz benne, hogy a pandas ismerete alapelvárás lesz. Jelenleg egy bevezető útmutatót fejezek be a pandas használatához – tudsz , hogy ne maradj le a megjelenésről.
Fedezd fel az AWS-t. Ha data engineer akarsz lenni, elengedhetetlen egy felhőplatform ismerete, és az AWS a legnépszerűbb közülük. Nagy segítséget nyújtottak nekem a tanfolyamok , amikor a , úgy gondolom, hogy az AWS-el kapcsolatban is jó anyagokat találnak náluk.
Ha már végigjártad ezt a listát, és szeretnél még jobban kitűnni a munkáltatók szemében mint data engineer, javaslom, hogy tanuld meg az Apache Sparkot a nagy adatok kezeléséhez. Habár a data science álláshirdetésben a kutatásom szerint csökkent az érdeklődés, a data engineer hirdetésekben még mindig majdnem minden második álláshirdetésben megjelenik.
Végül
Remélem, hogy ez a legkeresettebb technológiák áttekintése a data engineer számára hasznosnak bizonyult számodra. Ha érdekel, hogy állnak a hirdetések az elemzőknél, olvasd el . Sikeres mérnöki munkát kívánok!
Forrás: habr.com
