Conform , inginer de date este în prezent o profesie a cărei cerere crește mai rapid decât a altora. Inginerul de date joacă un rol critic în organizații - creează și menține funcționale pipeline-urile și bazele de date utilizate pentru procesarea, transformarea și stocarea datelor. Ce abilități sunt necesare pentru cei din această profesie în primul rând? Se diferențiază lista de ceea ce este necesar de la data scientists? Veți afla toate acestea din articolul meu.
Am analizat anunțurile de angajare pentru poziția de inginer de date așa cum erau ele în ianuarie 2020, pentru a înțelege ce competențe tehnologice sunt cele mai populare. Apoi, am comparat rezultatele obținute cu statisticile pentru anunțurile de angajare în domeniul data scientist - astfel au fost dezvăluite unele diferențe interesante.
Să trecem direct la subiect - iată top zece tehnologii care sunt menționate cel mai frecvent în textele anunțurilor de angajare:
Mențiuni ale tehnologiilor în anunțurile pentru poziția de inginer de date în 2020
Să analizăm.
Responsabilitățile inginerului de date
În prezent, munca pe care o desfășoară inginerii de date este extrem de importantă pentru organizații – acești oameni sunt responsabili pentru stocarea informațiilor și pentru transformarea acesteia într-o formă accesibilă altor angajați. Inginerii de date construiesc pipeline-uri pentru a asigura obținerea datelor, fie în flux, fie în pachete, din numeroase surse. După aceea, pipeline-urile efectuează operațiuni de extragere, transformare și încărcare (în alte cuvinte, procesele ETL), făcând datele mai utilizabile pentru utilizări ulterioare. În final, datele sunt transmise analiștilor și data scientists pentru o procesare mai aprofundată. În cele din urmă, datele își încheie călătoria pe panourile informatice, în rapoarte și modele pentru învățarea automată.
Am căutat informații care să permită formularea unei concluzii cu privire la tehnologiile cele mai solicitate în activitatea inginerului de date în prezent.
Metode
Am colectat informații de pe trei site-uri de căutare a locurilor de muncă - , și și am observat ce cuvinte cheie apar în legătură cu „inginer de date” în textele anunțurilor de angajare destinate rezidenților din SUA. Pentru această sarcină, am folosit două biblioteci Python - și Am inclus în lista de cuvinte cheie atât cele din lista anterioară pentru analiza anunțurilor de angajare pentru poziția de data scientist, cât și cele pe care le-am selectat manual, citind anunțurile pentru data engineers. LinkedIn nu a fost inclus printre surse, deoarece am fost interzis acolo după ultima încercare de a aduna date.
Pentru fiecare cuvânt cheie, am numărat procentul de apariții din totalul textelor de pe fiecare site în parte, apoi am calculat valoarea medie pentru cele trei surse.
Rezultate
Mai jos sunt prezentate treizeci de termeni tehnici din domeniul data engineering cu cele mai mari scoruri pe toate cele trei site-uri de anunțuri de angajare.
Iată aceleași cifre, dar prezentate sub formă de tabel:
Să ne apucăm de treabă.
Prezentarea rezultatelor
Atât SQL, cât și Python apar în mai mult de două treimi dintre anunțurile analizate. Aceste două tehnologii sunt cele pe care ar trebui să le studiați în primul rând. – un limbaj de programare foarte popular, folosit pentru lucrul cu date, crearea de site-uri web și scrierea de scripturi. se decodifică ca Structured Query Language (limbaj de interogare structurat); acesta propune un standard, implementat de un grup de limbaje, și este folosit pentru extragerea de date din baze de date relaționale. A apărut cu mult timp în urmă și s-a dovedit a fi foarte robust.
Spark este menționat în aproximativ jumătate dintre anunțuri. – este un „motor analitic unificat pentru prelucrarea datelor mari, cu module integrate pentru streaming, SQL, învățarea automată și prelucrarea graficelor”. Este foarte popular printre cei care lucrează cu baze de date mari.
AWS apare în aproximativ 45% dinTextele anunțurilor. Aceasta este o platformă de calcul în cloud dezvoltată de Amazon; are cea mai mare cotă de piață dintre toate platformele cloud.
Următoarele sunt Java și Hadoop – puțin peste 40% fiecare. – un limbaj larg răspândit și bine încercat, care în a ocupat locul zece printre limbajele care provoacă groază programatorilor. În contrast, Python a ocupat locul secund din limbajele cele mai iubite. Limbajul Java este controlat de Oracle și tot ce trebuie să știți despre el poate fi înțeles din acest screenshot al paginii oficiale din ianuarie 2020.
Parcă m-aș fi plimbat cu o mașină a timpului
folosește un model software MapReduce cu clustere de servere pentru date mari. Acum, acest model începe din ce în ce mai mult să fie abandonat.
Apoi vedem Hive, Scala, Kafka și NoSQL – fiecare dintre aceste tehnologii este menționată în un sfert din vacanțele prezentate. Apache Hive este un program de stocare a datelor care "simplifică citirea, scrierea și gestionarea seturilor mari de date, care se află în stocări distribuite, utilizând SQL." – un limbaj de programare, utilizat activ în lucrul cu date mari. În special, pe Scala a fost creat Spark. În clasamentul menționat anterior al limbajelor de programare înfricoșătoare, Scala ocupă locul unsprezece. – o platformă distribuită pentru procesarea mesajelor în flux. Este foarte populară ca mijloc de transmisie a datelor.
se opun SQL-ului. Acestea se diferențiază prin faptul că nu sunt relaționale, nu sunt structurate și au scalabilitate orizontală. NoSQL a câștigat o anumită popularitate, totuși entuziasmul frenetic pentru această abordare, până la profeții că va înlocui SQL ca fiind paradigma dominantă de stocare, pare că este deja în urmă.
Compararea termenilor din vacanțele pentru data scientist
Iată treizeci de termeni tehnologici cel mai frecvent întâlniți de angajatori în domeniul științei datelor. Această listă am obținut-o prin aceeași metodă pe care am descris-o mai sus pentru ingineria datelor.
Menționarea tehnologiilor în vacanțele pentru poziția de data scientist în 2020
Dacă ne raportăm la numărul total, comparativ cu setul de vacanțe analizat anterior, a fost cu 28% mai multe (12.013 față de 9.396). Să vedem ce tehnologii apar mai rar în vacanțele pentru data scientists decât în cele pentru data engineers.
Mai populare în ingineria datelor
În graficul de mai jos sunt prezentate cuvintele cheie cu o diferență medie în valori mai mare de 10% sau mai mică de -10%.
Cele mai mari diferențe în frecvența cuvintelor cheie între data engineer și data scientist
Cel mai semnificativ avans îl observă AWS: în ingineria datelor apare cu 25% mai frecvent decât în știința datelor (aproximativ 45% față de 20% din numărul total de vacanțe, respectiv). Diferența este semnificativă!
Iată aceleași date într-o prezentare puțin diferită – în graficul rezultatele pentru același cuvânt cheie în vacanțele pentru poziția de data engineer și data scientist sunt prezentate una lângă alta.
Cele mai mari diferențe în frecvența cuvintelor cheie între data engineer și data scientist
Următorul salt semnificativ l-am observat la Spark – inginerul de date este adesea nevoit să lucreze cu volume mari de date. a crescut și el cu 20%, deci aproape de patru ori în comparație cu rezultatul pentru posturile de data scientist. Transferul de date este una dintre responsabilitățile cheie ale inginerului de date. În final, numărul mențiunilor a fost cu 15% mai mare în domeniul ingineriei datelor pentru Java, NoSQL, Redshift, SQL și Hadoop.
Mai puțin populare în ingineria datelor
Acum să vedem ce tehnologi sunt mai puțin populare în anunțurile pentru inginerii de date.
Cea mai abruptă scădere în comparație cu domeniul științei datelor a avut loc la : acolo a apărut în aproximativ 56% din anunțuri, aici – doar în 17%. Impresionant. R este un limbaj de programare care este popular în rândul cercetătorilor și statisticienilor și ocupă locul opt în clasamentul limbajelor temute.
de asemenea, apare în anunțurile pentru poziția de inginer de date mult mai rar – diferența este de 14%. SAS este un limbaj patentat, destinat lucrului cu statistica și datele. Un aspect interesant: din rezultatele , în ultima vreme a pierdut semnificativ poziții – mai mult decât orice altă tehnologie.
Solicitate atât în ingineria datelor, cât și în știința datelor
Trebuie menționat că opt dintre primele zece poziții din ambele seturi coincid. SQL, Python, Spark, AWS, Java, Hadoop, Hive și Scala au intrat în top zece atât pentru domeniul ingineriei datelor, cât și pentru știința datelor. În graficul de mai jos puteți vedea cele cincisprezece cele mai populare tehnologii pentru angajatorii inginerilor de date, alături de indicatorul lor pentru anunțurile de data scientist.
Recomandări
Dacă vrei să te ocupi cu ingineria datelor, ți-aș recomanda să înveți următoarele tehnologii – le enumer în ordinea priorității aproximative.
Studiază SQL. Te îndemn să alegi PostgreSQL, deoarece este open-source, foarte popular în comunitate și se află în perioada de creștere. Cum să folosești acest limbaj poți învăța din cartea My Memorable SQL – versiunea sa pilot este disponibilă .
Învăță Python, chiar dacă nu la cel mai avansat nivel. Cartea My Memorable Python este concepută pentru începători. Poate fi achiziționată de pe , copie electronică sau fizică, la alegerea ta, sau poate fi descărcată în format pdf sau epub .
Odată ce vă familiarizați cu Python, treceți la pandas - biblioteca Python utilizată pentru curățarea și prelucrarea datelor. Dacă vizați un loc de muncă într-o companie unde se cere abilitatea de a programa în Python (iar acestea sunt majoritatea), puteți fi siguri că cunoștințele de pandas vor fi presupuse în mod implicit. Acum finalizez un ghid introductiv pentru a lucra cu pandas - puteți , pentru a nu rata momentul lansării.
Învățați AWS. Dacă doriți să deveniți inginer de date, nu veți putea să faceți față fără o platformă de cloud în spate, iar AWS este cea mai populară dintre ele. M-au ajutat foarte mult cursurile , când am studiat , cred că au materiale bune și despre AWS.
Dacă ați parcurs deja toată această listă și doriți să creșteți în ochii angajatorilor ca inginer de date, vă propun să adăugați Apache Spark pentru lucrul cu big data. Deși cercetarea mea asupra ofertelor de muncă în știința datelor a arătat o scădere a interesului, pentru inginerii de date acesta apare totuși aproape în fiecare a doua ofertă.
În cele din urmă
Sper că această prezentare generală a celor mai solicitate tehnologii pentru inginerii de date v-a fost utilă. Dacă sunteți curios despre cum stau lucrurile în ceea ce privește ofertele de muncă pentru analiști, citiți . Succes în inginerie!
Sursa: habr.com
