Nëmmen , Dateingenieur ass de Moment e Beruff deem seng Demande méi séier wiisst wéi all aner. En Dateingenieur spillt eng kritesch Roll an enger Organisatioun - Schafung an Ënnerhalt vun Pipelines an Datenbanken déi benotzt gi fir Daten ze veraarbechten, transforméieren an ze späicheren. Wat Kompetenzen brauchen Vertrieder vun dësem Beruff éischtens? Ass d'Lëscht anescht wéi dat vun Datewëssenschaftler verlaangt? Dir wäert iwwer all dëst aus mengem Artikel léieren.
Ech hunn d'Vacances fir d'Positioun vum Dateningenieur analyséiert wéi se am Januar 2020 sinn fir ze verstoen wéi eng Technologiefäegkeeten am populärste sinn. Duerno hunn ech d'Resultater mat Statistiken iwwer Vakanzen fir d'Datewëssenschaftler Positioun verglach - an e puer interessant Differenzen entstanen.
Ouni vill Preambel, hei sinn déi Top Ten Technologien déi am meeschten an Aarbechtsplazen ernimmt ginn:
Ernimmung vun Technologien a Vakanzen fir d'Positioun vum Dateingenieur am Joer 2020
Loosse mer et erausfannen.
Verantwortung vun engem Dateningenieur
Haut ass d'Aarbecht, déi d'Dateningenieuren maachen, vu grousser Wichtegkeet fir Organisatiounen - dat sinn d'Leit, déi verantwortlech sinn fir d'Informatioun ze späicheren an an esou eng Form ze bréngen, datt aner Mataarbechter domat kënne schaffen. Dateingenieuren bauen Pipelines fir Daten aus verschidde Quellen ze streamen oder ze batchéieren. Pipelines maachen dann Extraktioun, Transformatioun a Luede Operatiounen (an anere Wierder, ETL Prozesser), déi d'Donnéeë méi gëeegent fir weider Benotzung maachen. Duerno ginn d'Donnéeën un Analysten an Datewëssenschaftler presentéiert fir méi déif Veraarbechtung. Schlussendlech schléissen d'Donnéeën hir Rees an Dashboards, Berichter a Maschinnléieremodeller op.
Ech hunn no Informatioun gesicht, déi mir et erlaben eng Conclusioun ze zéien iwwer wéi eng Technologien am Moment am meeschte gefrot sinn an der Aarbecht vun engem Dateingenieur.
Methoden
Ech gesammelt Informatiounen aus dräi Aarbecht Sich Siten - , и a gekuckt wéi eng Stéchwierder a Verbindung mat "Dateningenieur" an den Texter vu Vakanzen op d'US-Awunner gezielt sinn. Fir dës Aufgab hunn ech zwee Python Bibliothéike benotzt - и . Ënnert de Schlësselwieder hunn ech souwuel déi abegraff, déi an der viregter Lëscht abegraff waren fir d'Analyse vu Vakanzen fir d'Positioun vum Datewëssenschaftler, an déi, déi ech manuell ausgewielt hunn beim Liesen vun Jobofferen fir Dateningenieuren. LinkedIn war net an der Lëscht vun de Quellen abegraff, well ech no mengem leschte Versuch Donnéeën ze sammelen do verbannt gouf.
Fir all Schlësselwuert hunn ech de Prozentsaz vun Hits aus der Gesamtzuel vun Texter op all Site getrennt berechent, an dann den Duerchschnëtt fir déi dräi Quellen berechent.
Resultater
Drënner sinn déi drësseg technesch Donnéeën Ingenieursbegrëffer mat den héchste Partituren op allen dräi Aarbechtsplazen.
An hei sinn déiselwecht Zuelen, awer an Tabellform presentéiert:
Loosst eis an Uerdnung goen.
Iwwerpréiwung vun Resultater
Béid SQL a Python erschéngen a méi wéi zwee Drëttel vun den iwwerpréiften Aarbechtsplazen. Et sinn dës zwou Technologien déi Sënn maachen fir d'éischt ze studéieren. ass eng ganz populär Programméierungssprooch déi benotzt gëtt fir mat Daten ze schaffen, Websäiten ze kreéieren a Skripte ze schreiwen. steet fir Structured Query Language; et beinhalt e Standard deen vun enger Grupp vu Sproochen implementéiert gëtt a gëtt benotzt fir Daten aus relational Datenbanken ze recuperéieren. Et ass viru laanger Zäit erschéngt an huet sech als héich resistent bewisen.
Spark gëtt an ongeféier d'Halschent vun de Vakanzen ernimmt. ass e "vereenegt Big Data Analysemotor mat agebaute Moduler fir Streaming, SQL, Maschinnléieren a Grafikveraarbechtung." Et ass besonnesch populär bei deenen, déi mat groussen Datenbanken schaffen.
AWS erschéngt an ongeféier 45% vun Aarbechtsplazen. Et ass eng Cloud Computing Plattform hiergestallt vun Amazon; et huet de gréisste Maartundeel ënnert all Cloud Plattformen.
Als nächst kommen Java an Hadoop - e bësse méi wéi 40% fir hire Brudder. ass eng wäit geschwat, Schluecht-getest Sprooch déi war zéngten Plaz ënnert de Sproochen ausgezeechent déi Horror ënnert Programméierer Ursaach. Am Géigesaz, Python war déi zweet beléifste Sprooch. D'Java Sprooch gëtt vun Oracle geleet, an alles wat Dir wësse musst doriwwer kann aus dësem Screenshot vun der offizieller Säit vum Januar 2020 verstane ginn.
Et ass wéi an enger Zäitmaschinn ze reiden
benotzt de MapReduce Programméierungsmodell mat Serverclustere fir grouss Daten. Elo gëtt dëse Modell ëmmer méi opginn.
Da gesi mir Hive, Scala, Kafka an NoSQL - all eenzel vun dësen Technologien gëtt an engem Véierel vun de proposéierte Vakanzen ernimmt. Apache Hive ass eng Datelager Software déi "et einfach mécht grouss Datesätz ze liesen, ze schreiwen an ze verwalten, déi a verdeelt Geschäfter wunnen mat SQL." - eng Programméierungssprooch déi aktiv benotzt gëtt wann Dir mat Big Data schafft. Besonnesch Spark gouf zu Scala geschaf. Am schonn ernimmten Ranking vun gefaart Sproochen, Scala eelef. - eng verdeelt Plattform fir Streaming Messagen ze veraarbecht. Ganz populär als Mëttel fir Daten ze streamen.
Géigesaz selwer mat SQL. Si ënnerscheeden sech an datt se net-relational, onstrukturéiert an horizontal skalierbar sinn. NoSQL huet e puer Popularitéit gewonnen, awer de Verréckt fir d'Approche, och bis zum Punkt vu Profezeiungen datt et SQL als dominant Späicherparadigma ersetzt, schéngt eriwwer ze sinn.
Verglach mat Begrëffer an Datewëssenschaftler Vakanzen
Hei sinn drësseg Technologiebegrëffer am meeschte verbreet ënner Datenwëssenschafts Patronen. Ech krut dës Lëscht op déiselwecht Manéier wéi uewen beschriwwen fir Datetechnik.
Ernimmungen vun Technologie a Vakanzen fir d'Positioun vum Datewëssenschaftler am Joer 2020
Wa mir iwwer d'Gesamtzuel schwätzen, am Verglach zu der virdru berücksichtegter Recrutement, goufen et 28% méi Vakanzen (12 versus 013). Loosst eis kucken wéi eng Technologien manner heefeg sinn a Vakanzen fir Datewëssenschaftler wéi fir Dateningenieuren.
Méi populär am Datetechnik
D'Grafik hei drënner weist Schlësselwieder mat engem Duerchschnëttsdifferenz vu méi wéi 10% oder manner wéi -10%.
Déi gréissten Differenzen an der Schlësselwuertfrequenz tëscht Dateningenieur an Datewëssenschaftler
AWS weist déi bedeitendst Erhéijung: am Datetechnik erschéngt et 25% méi reegelméisseg wéi an der Datewëssenschaft (ongeféier 45% respektiv 20% vun der Gesamtzuel vun de Vakanzen). Den Ënnerscheed ass merkbar!
Hei sinn déiselwecht Donnéeën an enger liicht aner Presentatioun - an der Grafik sinn d'Resultater fir datselwecht Schlësselwuert an de Vakanzen fir d'Positioun vum Dateingenieur an Datewëssenschaftler niewenteneen.
Déi gréissten Differenzen an der Schlësselwuertfrequenz tëscht Dateningenieur an Datewëssenschaftler
Den nächste gréisste Sprong, deen ech gemierkt hunn, war am Spark - en Dateingenieur muss dacks mat Big Data schaffen. och ëm 20% eropgaang, dat heescht bal véiermol am Verglach zum Resultat fir Datewëssenschaftler Vakanzen. Datentransfer ass eng vun de Schlësselverantwortung vun engem Dateningenieur. Schlussendlech war d'Zuel vun den Mentiounen 15% méi héich am Beräich vun der Datetechnik fir Java, NoSQL, Redshift, SQL an Hadoop.
Manner populär am Datetechnik
Loosst eis elo kucken wéi eng Technologien manner populär sinn an Dateningenieur Vakanzen.
De schaarfsten Réckgang am Verglach zum Datewëssenschaftssektor ass geschitt : do ass hien a ronn 56% vun de Vakanzen opgetaucht, hei - nëmmen a 17%. Impressionant. R ass eng Programméierungssprooch favoriséiert vu Wëssenschaftler a Statistiker, an déi aachte meescht gefaart Sprooch op der Welt.
gëtt och a Vakanzen fir d'Positioun vum Dateningenieur wesentlech manner dacks fonnt - den Ënnerscheed ass 14%. SAS ass eng propriétaire Sprooch entwéckelt fir mat Statistiken an Daten ze schaffen. Interessante Punkt: no de Resultater beurteelen , Et huet viru kuerzem vill Terrain verluer - méi wéi all aner Technologie.
Op Nofro souwuel a Datentechnik an Datenwëssenschaft
Et sollt bemierkt datt aacht vun den éischten zéng Positiounen a béid Sätz d'selwecht sinn. SQL, Python, Spark, AWS, Java, Hadoop, Hive a Scala hunn et an den Top Ten fir d'Datentechnik an d'Datenwëssenschaftsindustrie gemaach. An der Grafik hei drënner kënnt Dir déi fofzéng populäersten Technologien ënner Dateningenieur Patronen gesinn, an nieft hinnen ass hir Vakanzenquote fir Datewëssenschaftler.
Recommandatiounen
Wann Dir wëllt an d'Datentechnik kommen, géif ech Iech roden déi folgend Technologien ze beherrschen - ech lëschte se an der Uerdnung vun ongeféier Prioritéit.
Léiert SQL. Ech hänken op PostgreSQL well et Open Source ass, ganz populär an der Gemeinschaft, an an enger Wuesstumsphase ass. Dir kënnt léiere wéi Dir d'Sprooch aus dem Buch My Memorable SQL benotzt - seng Pilotversioun ass verfügbar .
Master Python, och wann net um Hardcore Niveau. Mäi Memorable Python ass speziell fir Ufänger entworf. Et kann bei kaaft ginn , elektronesch oder kierperlech Kopie, Äre Choix, oder download am PDF oder epub Format .
Wann Dir mam Python vertraut sidd, fuert weider op Pandas, eng Python-Bibliothéik déi fir Datenreinigung a Veraarbechtung benotzt gëtt. Wann Dir zielt an enger Firma ze schaffen, déi d'Fäegkeet erfuerdert am Python ze schreiwen (an dëst ass d'Majoritéit vun hinnen), kënnt Dir sécher sinn datt d'Wësse vu Pandas als Standard ugeholl gëtt. Ech fäerdeg de Moment en Aféierungsguide fir mat Pandaen ze schaffen - Dir kënnt fir de Moment vun der Verëffentlechung net ze verpassen.
Master AWS. Wann Dir en Dateningenieur wëllt ginn, kënnt Dir net ouni eng Cloud Plattform maachen, an AWS ass déi populärst vun hinnen. D'Coursen hunn mir vill gehollef wéi ech studéiert hunn , Ech mengen datt se och gutt Materialien op AWS hunn.
Wann Dir dës ganz Lëscht scho fäerdeg gemaach hutt a wëllt weider an den Ae vun den Patronen als Dateningenieur wuessen, proposéieren ech Apache Spark fir mat Big Data ze schaffen. Och wann meng Fuerschung iwwer Datewëssenschaftler Vakanzen e Réckgang am Interessi gewisen huet, ënner Dateningenieuren erschéngt et nach ëmmer a bal all zweeter Vakanz.
Endlech
Ech hoffen Dir hutt dësen Iwwerbléck iwwer déi meescht gefrot Technologien fir Dateningenieuren nëtzlech fonnt. Wann Dir Iech frot wéi Analyst Aarbechtsplaze leeft, liest . Happy Engineering!
Source: will.com