Les compétences les plus demandées dans la profession d'ingénieur de données

Selon statistiques de 2019, le data engineer est actuellement une profession dont la demande augmente plus rapidement que pour toute autre. Le data engineer joue un rôle crucial dans les organisations - il crée et maintient des pipelines et des bases de données qui sont utilisés pour le traitement, la transformation et le stockage des données. Quelles compétences sont principalement requises pour cette profession ? La liste diffère-t-elle de celle des data scientists ? Vous découvrirez tout cela dans mon article.

J'ai analysé les offres d'emploi pour le poste de data engineer tel qu'elles apparaissent en janvier 2020, afin de comprendre quelles compétences technologiques sont les plus recherché. J'ai ensuite comparé les résultats avec les statistiques des offres pour le poste de data scientist - ce qui a mis en évidence quelques différences intéressantes.

Passons sans plus tarder aux dix principales technologies mentionnées le plus souvent dans les annonces d'emploi :

Mention des technologies dans les offres d'emploi pour le poste de data engineer en 2020

Voyons cela de plus près.

Responsabilités du data engineer

Aujourd'hui, le travail effectué par les data engineers est d'une immense importance pour les organisations - ce sont ces personnes qui sont responsables du stockage des informations et les mettent dans un format qui permet à d'autres employés de travailler avec. Les data engineers construisent des pipelines pour établir un flux de données en temps réel ou par lots à partir de multiples sources. Ensuite, ces pipelines réalisent des opérations d'extraction, de transformation et de chargement (en d'autres termes, des processus ETL), rendant les données plus adaptées à une utilisation ultérieure. Après cela, les données sont transmises aux analystes et aux data scientists pour un traitement plus approfondi. Enfin, les données terminent leur voyage sur des tableaux de bord, dans des rapports et des modèles pour l'apprentissage automatique.

J'ai recherché des informations qui permettraient de conclure quelles technologies sont les plus en demande pour le travail de data engineer à l'heure actuelle.

Méthodes

J'ai rassemblé des informations provenant de trois sites de recherche d'emploi - SimplyHired, Indeed et Monster et j'ai examiné quels mots-clés apparaissent en relation avec « data engineer » dans les textes des offres d'emploi destinées aux résidents des États-Unis. Pour cette tâche, j'ai utilisé deux bibliothèques Python - Requests et Beautiful SoupJ'ai inclus dans les mots-clés à la fois ceux de la précédente liste pour l'analyse des offres d'emploi pour le poste de data scientist et ceux que j'ai sélectionnés manuellement en lisant les offres pour data engineers. LinkedIn n'a pas été inclus parmi les sources, car j'y ai été banni après ma précédente tentative de collecter des données.

Pour chaque mot-clé, j'ai calculé le pourcentage d'occurrences par rapport au nombre total de textes sur chaque site individuellement, puis j'ai calculé la moyenne sur les trois sources.

Résultats

Voici trente termes techniques du domaine de l'ingénierie des données avec les taux les plus élevés sur les trois sites d'offres d'emploi.

Voici les mêmes chiffres présentés sous forme de tableau :

Allons-y dans l'ordre.

Aperçu des résultats

À la fois SQL et Python sont mentionnés dans plus des deux tiers des offres examinées. Ces deux technologies sont celles qu'il est judicieux d'apprendre en premier. Python – un langage de programmation très populaire, utilisé pour manipuler des données, créer des sites web et écrire des scripts. SQL signifie Structured Query Language (langage de requête structuré) ; il implique une norme mise en œuvre par un groupe de langages, et est utilisé pour extraire des données de bases de données relationnelles. Il existe depuis un certain temps et a prouvé sa robustesse.

Spark est mentionné dans environ la moitié des offres. Apache Spark – un "moteur analytique unifié pour le traitement de grandes données avec des modules intégrés pour le streaming, SQL, l'apprentissage machine et le traitement de graphiques". Il est particulièrement populaire parmi ceux qui travaillent avec de grandes bases de données.

AWS apparaît dans environ 45 % des textes d'offres d'emploi. C'est une plateforme de calcul en nuage d'Amazon ; elle détient la plus grande part de marché parmi toutes les plateformes de cloud.
Ensuite, il y a Java et Hadoop – un peu plus de 40 % chacun. Java – un langage très répandu, éprouvé dans la bataille, qui dans l'enquête des développeurs de Stack Overflow de 2019 s'est classé dixième parmi les langages qui effraient les programmeurs. En revanche, Python s'est retrouvé deuxième parmi les langages les plus appréciés. Java est géré par Oracle, et tout ce que vous devez savoir à son sujet peut être compris à partir de cette capture d'écran de la page officielle datant de janvier 2020.

Comme si j'avais voyagé dans le temps
Apache Hadoop utilise un modèle logiciel MapReduce avec des clusters de serveurs pour le big data. Cette approche est de plus en plus souvent abandonnée.

Ensuite, nous voyons Hive, Scala, Kafka et NoSQL – chacune de ces technologies est mentionnée dans un quart des offres d'emploi. Apache Hive est un programme de stockage de données qui « facilite la lecture, l'écriture et la gestion de grands ensembles de données répartis dans des stockages distribués à l'aide de SQL ». Scala – un langage de programmation utilisé activement pour le traitement du big data. En particulier, Spark a été développé en Scala. Dans le classement des langages souvent cités, Scala occupe la onzième place. Apache Kafka – une plateforme distribuée pour le traitement des flux de messages. Elle est très populaire en tant que moyen de transmission de données.

Les bases de données NoSQL se distinguent des SQL. Elles sont non relationnelles, non structurées et offrent une évolutivité horizontale. NoSQL a gagné en popularité, mais l'engouement frénétique pour cette approche, jusqu'à des prophéties selon lesquelles elle remplacerait SQL en tant que paradigme dominant de stockage, semble maintenant derrière nous.

Comparaison des termes dans les offres d'emploi de data scientist

Voici trente termes technologiques les plus courants chez les employeurs dans le domaine de la science des données. Cette liste a été obtenue de la même manière que décrite précédemment pour l'ingénierie des données.

Mentions des technologies dans les offres d'emploi pour le poste de data scientist en 2020

Si nous regardons le nombre total, par rapport à l'ensemble de données précédemment examiné, il y a eu 28 % d'offres d'emploi supplémentaires (12 013 contre 9 396). Voyons quelles technologies sont moins fréquemment rencontrées dans les offres d'emploi pour les data scientists par rapport à celles des data engineers.

Plus populaires dans l'ingénierie des données

Le graphique ci-dessous montre les mots-clés avec une différence moyenne des valeurs supérieure à 10 % ou inférieure à -10 %.

Les plus grandes différences de fréquence des mots-clés entre data engineer et data scientist

Le plus grand bond est observé pour AWS : en ingénierie des données, il apparaît 25 % plus régulièrement qu'en science des données (environ 45 % et 20 % du nombre total d'offres d'emploi respectivement). La différence est significative !

Voici les mêmes données sous une forme légèrement différente – sur le graphique, les résultats pour le même mot-clé dans les offres d'emploi pour le poste de data engineer et de data scientist sont côte à côte.

Les plus grandes différences de fréquence des mots-clés entre data engineer et data scientist

La prochaine grande avancée que j'ai notée pour Spark – les data engineers doivent souvent travailler avec de grandes quantités de données. Kafka a également augmenté de 20 %, soit presque quatre fois le résultat des offres d'emploi de data scientist. Le transfert de données est l'une des responsabilités clés d'un data engineer. Enfin, le nombre de mentions a été de 15 % supérieur dans le domaine de l'ingénierie des données pour Java, NoSQL, Redshift, SQL et Hadoop.

Moins populaires dans l'ingénierie des données

Voyons maintenant quelles technologies sont moins populaires dans les offres d'emploi pour data engineer.
La plus forte baisse par rapport au domaine de la science des données a eu lieu pour R: elle figurait dans environ 56 % des offres d'emploi, ici – seulement 17 %. Impressionnant. R est un langage de programmation prisé par les chercheurs et les statisticiens, occupant la huitième place dans le classement des langages les plus redoutés.

SAS est aussi mentionné dans les offres d'emploi pour le poste de data engineer de manière significativement plus rare – la différence est de 14 %. SAS est un langage propriétaire conçu pour travailler avec des statistiques et des données. Fait intéressant : selon les résultats de ma recherche sur les offres d'emploi pour les data scientists, il a récemment perdu beaucoup de terrain – plus que toute autre technologie.

Recherchés tant en ingénierie des données qu'en science des données

Il faut noter que huit des dix premières positions dans les deux ensembles se chevauchent. SQL, Python, Spark, AWS, Java, Hadoop, Hive et Scala figurent dans le top dix aussi bien pour le secteur de l'ingénierie des données que pour celui de la science des données. Dans le graphique ci-dessous, vous pouvez voir les quinze technologies les plus populaires auprès des employeurs de data engineers, ainsi que leur score dans les offres d'emploi pour data scientists.

Recommandations

Si vous souhaitez vous engager dans l'ingénierie des données, je vous recommanderais d'apprendre les technologies suivantes – je les énumère par ordre de priorité approximative.

Apprenez SQL. Je vous recommande particulièrement PostgreSQL, car il est open source, très populaire dans la communauté et est en phase de croissance. Vous pouvez apprendre à l'utiliser avec le livre My Memorable SQL – sa version pilote est disponible ici.

Maîtrisez Python, même si ce n'est pas à un niveau très avancé. Le livre My Memorable Python est exactement conçu pour les débutants. Il peut être acheté sur Amazon, version électronique ou physique, selon votre choix, ou téléchargé au format pdf ou epub sur ce site.

Une fois que vous êtes familiarisé avec Python, passez à pandas, la bibliothèque Python utilisée pour le nettoyage et le traitement des données. Si vous visez un emploi dans une entreprise où la maîtrise de Python est requise (et c'est la majorité), sachez que la connaissance de pandas sera considérée comme acquise. Je suis actuellement en train de terminer un guide d'introduction pour travailler avec pandas – vous pouvez vous abonner, pour ne pas manquer le moment de sa publication.

Maîtrisez AWS. Si vous souhaitez devenir data engineer, vous ne pouvez pas vous passer d'une plateforme cloud, et AWS est la plus populaire. Les cours de Linux Academy, m'ont beaucoup aidé lorsque j'apprenais l'ingénierie des données sur Google Cloud, je pense qu'ils ont aussi de bons matériaux pour AWS.

Si vous avez déjà maîtrisé toute cette liste et que vous souhaitez encore progresser aux yeux des employeurs en tant que data engineer, je vous propose d'ajouter Apache Spark pour travailler avec de grandes données. Bien que ma recherche sur les offres d'emploi en data science ait montré une baisse d'intérêt, on le voit néanmoins presque dans chaque deuxième offre pour les data engineers.

Enfin

J'espère que cette revue des technologies les plus recherchées pour les data engineers vous a été utile. Si vous êtes intéressé par la situation actuelle des offres pour les analystes, lisez un autre de mes articles. Bon ingénierie !

Source : habr.com