{"id":34083,"date":"2019-10-31T21:56:19","date_gmt":"2019-10-31T18:56:19","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\/"},"modified":"2019-10-31T21:56:19","modified_gmt":"2019-10-31T18:56:19","slug":"kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","title":{"rendered":"Qui sont les data engineers, et comment devenir l'un d'eux ?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Bonjour encore ! Le titre de l'article parle de lui-m\u00eame. En pr\u00e9vision du lancement du cours <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/a4Uj\/\">\u00abIng\u00e9nieur en donn\u00e9es\u00bb<\/a><\/noindex> , nous vous proposons de comprendre qui sont r\u00e9ellement les ing\u00e9nieurs en donn\u00e9es. L'article contient de nombreux liens utiles. Bonne lecture.<\/p>\n<p><img decoding=\"async\" alt=\"Qui sont les data engineers, et comment devenir l&#039;un d&#039;eux ?\" src=\"\/wp-content\/uploads\/2019\/05\/5f831df35ab1292adafca20f937ed22d.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<i>Un guide simple sur la fa\u00e7on de surfer sur la vague du Data Engineering sans se laisser entra\u00eener dans le courant.<\/i><\/p>\n<p>On a l'impression qu'aujourd'hui tout le monde veut devenir data scientist. Mais qu'en est-il de l'engineering des donn\u00e9es ? <i>En gros, c'est une sorte d'hybride entre un analyste de donn\u00e9es et un data scientist ; l'ing\u00e9nieur en donn\u00e9es est g\u00e9n\u00e9ralement responsable de la gestion des flux de travail, des pipelines de traitement et des processus ETL.<\/i>En raison de l'importance de ces fonctions, c'est actuellement un jargon professionnel populaire qui prend de l'ampleur.<\/p>\n<p>Un salaire \u00e9lev\u00e9 et une demande \u00e9norme ne sont qu'une petite partie de ce qui rend ce travail extr\u00eamement attractif ! Si vous souhaitez rejoindre les rangs des h\u00e9ros, il n'est jamais trop tard pour commencer \u00e0 apprendre. Dans cet article, j'ai compil\u00e9 toutes les informations n\u00e9cessaires pour vous aider \u00e0 faire vos premiers pas.<\/p>\n<p>Alors, commen\u00e7ons !<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p><b>Qu'est-ce que l'ing\u00e9nierie des donn\u00e9es ?<\/b><\/p>\n<p>Honn\u00eatement, il n'y a pas de meilleure explication que celle-ci :<\/p>\n<blockquote><p><i>\u00abUn scientifique peut d\u00e9couvrir une nouvelle \u00e9toile, mais ne peut pas la cr\u00e9er. Il devra demander \u00e0 un ing\u00e9nieur de le faire pour lui.\u00bb<\/i><\/p>\n<p>\u2013Gordon Lindsay Glegg<\/p><\/blockquote>\n<p>Ainsi, le r\u00f4le de l'ing\u00e9nieur en donn\u00e9es est assez important.<\/p>\n<p>Comme son nom l'indique, l'ing\u00e9nierie des donn\u00e9es concerne les donn\u00e9es, notamment leur livraison, leur stockage et leur traitement. Par cons\u00e9quent, la principale t\u00e2che des ing\u00e9nieurs est de garantir une infrastructure fiable pour les donn\u00e9es. Si nous regardons la hi\u00e9rarchie des besoins en IA, l'ing\u00e9nierie des donn\u00e9es occupe les 2 \u00e0 3 premi\u00e8res \u00e9tapes : <b>collecte, d\u00e9placement et stockage, pr\u00e9paration des donn\u00e9es<\/b>.<\/p>\n<p><img decoding=\"async\" alt=\"Qui sont les data engineers, et comment devenir l&#039;un d&#039;eux ?\" src=\"\/wp-content\/uploads\/2019\/05\/377481f2f52a4ed771508a450678afd0.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<b>Que fait un ing\u00e9nieur en donn\u00e9es ?<\/b><\/p>\n<p>Avec l'\u00e9mergence des grandes donn\u00e9es, le domaine de responsabilit\u00e9 a consid\u00e9rablement \u00e9volu\u00e9. Autrefois, ces experts \u00e9crivaient de grandes requ\u00eates SQL et transf\u00e9raient des donn\u00e9es \u00e0 l'aide d'outils tels qu'Informatica ETL, Pentaho ETL, Talend, mais d\u00e9sormais les exigences pour les ing\u00e9nieurs en donn\u00e9es ont augment\u00e9.<\/p>\n<p>La plupart des entreprises qui recrutent des ing\u00e9nieurs en donn\u00e9es exigent les \u00e9l\u00e9ments suivants :<\/p>\n<ul>\n<li>Excellente ma\u00eetrise de SQL et Python.<\/li>\n<li>Exp\u00e9rience avec les plateformes cloud, notamment Amazon Web Services.<\/li>\n<li>Connaissance de Java\/Scala souhaitable.<\/li>\n<li>Une bonne compr\u00e9hension des bases de donn\u00e9es SQL et NoSQL (mod\u00e9lisation des donn\u00e9es, stockage des donn\u00e9es).<\/li>\n<\/ul>\n<p>Gardez \u00e0 l'esprit que ce n'est que le strict n\u00e9cessaire. De cette liste, on peut supposer que les ing\u00e9nieurs de donn\u00e9es sont des sp\u00e9cialistes en d\u00e9veloppement logiciel et en backend.<br \/>\nPar exemple, si une entreprise commence \u00e0 g\u00e9n\u00e9rer de gros volumes de donn\u00e9es \u00e0 partir de diff\u00e9rentes sources, votre t\u00e2che en tant qu'ing\u00e9nieur de donn\u00e9es consiste \u00e0 organiser la collecte d'informations, leur traitement et leur stockage.<\/p>\n<p>La liste des outils utilis\u00e9s dans ce cas peut varier, tout d\u00e9pend du volume de ces donn\u00e9es, de la rapidit\u00e9 avec laquelle elles sont collect\u00e9es et de leur h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9. La plupart des entreprises ne rencontrent pas de grandes quantit\u00e9s de donn\u00e9es, c'est pourquoi une base de donn\u00e9es SQL (PostgreSQL, MySQL, etc.) avec un petit ensemble de scripts pour diriger les donn\u00e9es vers le stockage peut \u00eatre utilis\u00e9e comme un entrep\u00f4t de donn\u00e9es centralis\u00e9.<\/p>\n<p>Les g\u00e9ants de l'IT, tels que Google, Amazon, Facebook ou Dropbox, ont des exigences plus \u00e9lev\u00e9es : connaissance de Python, Java ou Scala.<\/p>\n<ul>\n<li>Exp\u00e9rience avec de grandes donn\u00e9es : Hadoop, Spark, Kafka.<\/li>\n<li>Connaissance des algorithmes et des structures de donn\u00e9es.<\/li>\n<li>Compr\u00e9hension des bases des syst\u00e8mes distribu\u00e9s.<\/li>\n<li>Une exp\u00e9rience avec des outils de visualisation des donn\u00e9es, tels que Tableau ou ElasticSearch, sera un grand plus.<\/li>\n<\/ul>\n<p>Il y a donc un certain glissement \u00e9vident vers les grandes donn\u00e9es, en particulier dans leur traitement sous des charges \u00e9lev\u00e9es. Ces entreprises ont des exigences accrues en mati\u00e8re de r\u00e9silience des syst\u00e8mes.<\/p>\n<p><b>Ing\u00e9nieurs de donn\u00e9es Vs. data scientists<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Qui sont les data engineers, et comment devenir l&#039;un d&#039;eux ?\" src=\"\/wp-content\/uploads\/2019\/05\/f01dd66863fcc0a89ab0b763d208a863.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>D'accord, c'\u00e9tait une comparaison simple et dr\u00f4le (rien de personnel), mais en r\u00e9alit\u00e9, tout est beaucoup plus complexe.<\/i><\/p>\n<p>Tout d'abord, vous devez savoir qu'il existe une certaine ambigu\u00eft\u00e9 dans la distinction entre les r\u00f4les et les comp\u00e9tences des data scientists et des ing\u00e9nieurs de donn\u00e9es. Cela signifie que vous pouvez facilement \u00eatre confus quant aux comp\u00e9tences n\u00e9cessaires pour \u00eatre un ing\u00e9nieur de donn\u00e9es r\u00e9ussi. Bien s\u00fbr, certaines comp\u00e9tences se chevauchent entre les deux r\u00f4les. Mais il existe \u00e9galement un certain nombre de comp\u00e9tences diam\u00e9tralement oppos\u00e9es.<\/p>\n<p>La science des donn\u00e9es est une affaire s\u00e9rieuse, mais nous nous dirigeons vers un monde avec une science des donn\u00e9es fonctionnelle, o\u00f9 les praticiens sont capables de faire leur propre analyse. Pour engager des pipelines de donn\u00e9es et des structures de donn\u00e9es int\u00e9gr\u00e9es, vous avez besoin d'ing\u00e9nieurs de donn\u00e9es, et non de scientifiques.<\/p>\n<p><b>Est-ce qu'un ing\u00e9nieur de donn\u00e9es est plus demand\u00e9 qu'un data scientist ?<\/b><\/p>\n<blockquote><p><i> \u2014 Oui, parce qu'avant de pouvoir pr\u00e9parer un g\u00e2teau aux carottes, vous devez d'abord r\u00e9colter, nettoyer et stocker des carottes !<\/i><\/p><\/blockquote>\n<p>L'ing\u00e9nieur de donn\u00e9es comprend mieux la programmation que n'importe quel data scientist, mais quand il s'agit de statistiques, c'est tout le contraire.<\/p>\n<p>Mais voici l'avantage de l'ing\u00e9nieur de donn\u00e9es :<\/p>\n<p>sans lui\/elle, la valeur du mod\u00e8le prototype, souvent compos\u00e9 d'un extrait de code de mauvaise qualit\u00e9 dans un fichier Python, obtenu d'un data scientist et qui, d'une mani\u00e8re ou d'une autre, produit un r\u00e9sultat, tend vers z\u00e9ro.<\/p>\n<p>Sans l'ing\u00e9nieur de donn\u00e9es, ce code ne deviendra jamais un projet, et aucun probl\u00e8me commercial ne sera r\u00e9solu efficacement. L'ing\u00e9nieur de donn\u00e9es s'efforce de transformer tout cela en produit.<\/p>\n<p><b>Les connaissances de base qu'un ing\u00e9nieur de donn\u00e9es doit avoir<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Qui sont les data engineers, et comment devenir l&#039;un d&#039;eux ?\" src=\"\/wp-content\/uploads\/2019\/05\/f724004e5a30a0c021c4377d66985d16.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nAinsi, si ce travail \u00e9veille en vous une passion et que vous \u00eates plein d'enthousiasme \u2014 vous \u00eates capable d'apprendre cela, vous pouvez acqu\u00e9rir toutes les comp\u00e9tences n\u00e9cessaires et devenir une v\u00e9ritable rock star dans le domaine du d\u00e9veloppement de donn\u00e9es. Et oui, vous pouvez le faire m\u00eame sans comp\u00e9tences en programmation ou autres connaissances techniques. C'est difficile, mais possible !<\/p>\n<p><b>Quelles sont les premi\u00e8res \u00e9tapes ?<\/b><\/p>\n<blockquote><p><i>Vous devez avoir une compr\u00e9hension g\u00e9n\u00e9rale de ce qui est quoi.<\/i><\/p><\/blockquote>\n<p>Tout d'abord, l'ing\u00e9nierie des donn\u00e9es concerne l'informatique. Plus pr\u00e9cis\u00e9ment \u2014 vous devez comprendre les algorithmes efficaces et les structures de donn\u00e9es. Deuxi\u00e8mement, puisque les ing\u00e9nieurs de donn\u00e9es travaillent avec des donn\u00e9es, il est n\u00e9cessaire de comprendre les principes de fonctionnement des bases de donn\u00e9es et des structures qui les sous-tendent.<\/p>\n<p>Par exemple, les bases de donn\u00e9es SQL utilisant des B-arbres sont bas\u00e9es sur la structure de donn\u00e9es B-Tree, ainsi que, dans les d\u00e9p\u00f4ts distribu\u00e9s modernes, LSM-Tree et d'autres modifications de tables de hachage.<\/p>\n<p><i>* Ces \u00e9tapes sont bas\u00e9es sur un article remarquable <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@adil_45422\">d'Adil Hashtamov<\/a><\/noindex>. Alors, si vous parlez russe, soutenez cet auteur et lisez <noindex><a rel=\"nofollow\" href=\"https:\/\/khashtamov.com\/ru\/data-engineer\/\">son post<\/a><\/noindex>.<\/i><\/p>\n<p><b>1. Algorithmes et structures de donn\u00e9es<\/b><\/p>\n<p>Utiliser la bonne structure de donn\u00e9es peut consid\u00e9rablement am\u00e9liorer la performance d'un algorithme. Id\u00e9alement, nous devrions tous \u00e9tudier les structures de donn\u00e9es et les algorithmes \u00e0 l'\u00e9cole, mais cela est rarement abord\u00e9. Quoi qu'il en soit, il n'est jamais trop tard pour s'informer.<br \/>\nVoici donc mes cours gratuits pr\u00e9f\u00e9r\u00e9s pour apprendre les structures de donn\u00e9es et les algorithmes :<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.udemy.com\/introduction-to-data-structures\/?ranMID=39197&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-fcVI3mDcwPC4Q5dpzDABSg&amp;LSNPUBID=JVFxdTr9V80\">Des simples aux complexes : Structures de Donn\u00e9es (Udemy)<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.coursera.org\/learn\/algorithms-part1?ranMID=40328&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-Y2SOzvEQ5UCqGZ8SQ8yPFA&amp;siteID=JVFxdTr9V80-Y2SOzvEQ5UCqGZ8SQ8yPFA&amp;utm_content=10&amp;utm_medium=partners&amp;utm_source=linkshare&amp;utm_campaign=JVFxdTr9V80\">Algorithmes, Partie I (Coursera)<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.coursera.org\/learn\/algorithms-part2?ranMID=40328&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-sXWvgPKRyzYEBJ33lVooUQ&amp;siteID=JVFxdTr9V80-sXWvgPKRyzYEBJ33lVooUQ&amp;utm_content=10&amp;utm_medium=partners&amp;utm_source=linkshare&amp;utm_campaign=JVFxdTr9V80\">Algorithmes, Partie II (Coursera)<\/a><\/noindex>\n <\/li>\n<\/ul>\n<p>N'oubliez pas non plus l'\u0153uvre classique sur les algorithmes de Thomas Cormen \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/0262033844\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=0262033844&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=74742875db503b1a899ca35159749067\">Introduction aux algorithmes<\/a><\/noindex>. C'est le guide parfait quand vous avez besoin de rafra\u00eechir votre m\u00e9moire.<\/p>\n<ul>\n<li>Pour am\u00e9liorer vos comp\u00e9tences, utilisez <noindex><a rel=\"nofollow\" href=\"https:\/\/leetcode.com\/problemset\/algorithms\/\">Leetcode<\/a><\/noindex>.<\/li>\n<\/ul>\n<p>Vous pouvez \u00e9galement plonger dans le monde des bases de donn\u00e9es avec les superbes vid\u00e9os de l'Universit\u00e9 Carnegie Mellon sur Youtube :<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/playlist?list=PLSE8ODhjZXjYutVzTeAds8xUt1rcmyT7x\">Introduction aux syst\u00e8mes de bases de donn\u00e9es<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/playlist?list=PLSE8ODhjZXja7K1hjZ01UTVDnGQdx5v5U\">Syst\u00e8mes avanc\u00e9s de bases de donn\u00e9es<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><b>2. Apprendre SQL<\/b><\/p>\n<p>Toute notre vie est faite de donn\u00e9es. Et pour extraire ces donn\u00e9es d'une base, vous devez \u00ab parler \u00bb avec elles dans un langage commun.<\/p>\n<p>SQL (Structured Query Language \u2014 Langage de requ\u00eate structur\u00e9) est le langage de communication dans le domaine des donn\u00e9es. Peu importe ce que quelqu'un dit, SQL a v\u00e9cu, vit et continuera de vivre encore tr\u00e8s longtemps.<\/p>\n<p>Si vous \u00eates longtemps rest\u00e9 dans le d\u00e9veloppement, vous avez probablement remarqu\u00e9 que des rumeurs sur la mort imminente de SQL apparaissent de temps en temps. Le langage a \u00e9t\u00e9 d\u00e9velopp\u00e9 au d\u00e9but des ann\u00e9es 70 et continue d\u2019\u00eatre tr\u00e8s populaire parmi les analystes, d\u00e9veloppeurs et juste passionn\u00e9s.<br \/>\nSans connaissance de SQL dans l'ing\u00e9nierie des donn\u00e9es, il n'y a rien \u00e0 faire, car vous devrez in\u00e9vitablement cr\u00e9er des requ\u00eates pour extraire des donn\u00e9es. Tous les entrep\u00f4ts modernes de grandes donn\u00e9es prennent en charge SQL :<\/p>\n<ul>\n<li>Amazon Redshift<\/li>\n<li>HP Vertica<\/li>\n<li>Oracle<\/li>\n<li>SQL Server<\/li>\n<\/ul>\n<p>\u2026 et de nombreux autres.<\/p>\n<p>Pour analyser de vastes ensembles de donn\u00e9es stock\u00e9es dans des syst\u00e8mes distribu\u00e9s comme HDFS, des m\u00e9canismes SQL ont \u00e9t\u00e9 invent\u00e9s : Apache Hive, Impala, etc. Vous voyez, il n'a pas l'intention de dispara\u00eetre.<\/p>\n<p>Comment apprendre SQL ? Il suffit de le pratiquer.<\/p>\n<p>Pour cela, je vous recommande de consulter un excellent manuel, qui, soit dit en passant, est gratuit, de <noindex><a rel=\"nofollow\" href=\"https:\/\/mode.com\/sql-tutorial\/introduction-to-sql\/\">Mode Analytics<\/a><\/noindex>.<\/p>\n<ol>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.datacamp.com\/courses\/intermediate-sql\/\">Niveau interm\u00e9diaire SQL<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.datacamp.com\/courses\/joining-data-in-postgresql\">Fusion de donn\u00e9es en SQL<\/a><\/noindex><\/li>\n<\/ol>\n<p>La caract\u00e9ristique distinctive de ces cours est la pr\u00e9sence d'un environnement interactif o\u00f9 vous pouvez \u00e9crire et ex\u00e9cuter des requ\u00eates SQL directement dans votre navigateur. La ressource <noindex><a rel=\"nofollow\" href=\"https:\/\/modern-sql.com\/\">SQL moderne<\/a><\/noindex> ne sera pas superflue. Et vous pouvez appliquer ces connaissances dans <noindex><a rel=\"nofollow\" href=\"https:\/\/leetcode.com\/problemset\/database\/\">les exercices Leetcode<\/a><\/noindex> dans la section Bases de donn\u00e9es.<\/p>\n<p><b>3. Programmation en Python et Java\/Scala<\/b><\/p>\n<p>Pourquoi apprendre le langage de programmation Python, j'en ai d\u00e9j\u00e0 parl\u00e9 dans l'article <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/datadriveninvestor\/python-vs-r-choosing-the-best-tool-for-ai-ml-data-science-7e0c2295e243\">Python vs R. Choisir le meilleur outil pour l'IA, le ML et la data science<\/a><\/noindex>. En ce qui concerne Java et Scala, la plupart des outils pour stocker et traiter d\u2019immenses volumes de donn\u00e9es sont \u00e9crits dans ces langages. Par exemple :<\/p>\n<ul>\n<li>Apache Kafka (Scala)<\/li>\n<li>Hadoop, HDFS (Java)<\/li>\n<li>Apache Spark (Scala)<\/li>\n<li>Apache Cassandra (Java)<\/li>\n<li>HBase (Java)<\/li>\n<li>Apache Hive (Java)<\/li>\n<\/ul>\n<p>Pour comprendre comment ces outils fonctionnent, vous devez conna\u00eetre les langages dans lesquels ils sont \u00e9crits. L'approche fonctionnelle de Scala permet de r\u00e9soudre efficacement des probl\u00e8mes de traitement parall\u00e8le des donn\u00e9es. Python, malheureusement, ne peut pas se vanter de sa rapidit\u00e9 et de son traitement parall\u00e8le. En g\u00e9n\u00e9ral, conna\u00eetre plusieurs langages et paradigmes de programmation am\u00e9liore la diversit\u00e9 des approches de r\u00e9solution des probl\u00e8mes.<\/p>\n<p>Pour plonger dans le langage Scala, vous pouvez lire <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/0981531687\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=0981531687&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=69314619f1e546e3921eb97c72cf4850\">Programmation en Scala<\/a><\/noindex> de l'auteur du langage. De plus, Twitter a publi\u00e9 un bon guide d'introduction \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/twitter.github.io\/scala_school\/\">Scala School<\/a><\/noindex>.<\/p>\n<p>En ce qui concerne Python, je pense que <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1491946008\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1491946008&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=8a663e966770c24874e323133cc7a005\">Fluent Python<\/a><\/noindex> est le meilleur livre de niveau interm\u00e9diaire.<\/p>\n<p><b>4. Outils pour le Big Data<\/b><\/p>\n<p>Voici une liste des outils les plus populaires dans le monde du Big Data :<\/p>\n<ul>\n<li>Apache Spark<\/li>\n<li>Apache Kafka<\/li>\n<li>Apache Hadoop (HDFS, HBase, Hive)<\/li>\n<li>Apache Cassandra<\/li>\n<\/ul>\n<p>Vous pouvez trouver plus d'informations sur la construction de grands ensembles de donn\u00e9es dans cet incroyable <noindex><a rel=\"nofollow\" href=\"http:\/\/xyz.insightdataengineering.com\/blog\/pipeline_map\/\">environnement interactif<\/a><\/noindex>. Les outils les plus populaires sont Spark et Kafka. Ils valent vraiment la peine d'\u00eatre \u00e9tudi\u00e9s, id\u00e9alement pour comprendre comment ils fonctionnent de l'int\u00e9rieur. Jay Kreps (co-auteur de Kafka) a publi\u00e9 en 2013 un travail monumental <noindex><a rel=\"nofollow\" href=\"https:\/\/engineering.linkedin.com\/distributed-systems\/log-what-every-software-engineer-should-know-about-real-time-datas-unifying\">The Log : ce que chaque d\u00e9veloppeur de logiciels doit savoir sur l'abstraction de la fusion de donn\u00e9es en temps r\u00e9el<\/a><\/noindex>, d'ailleurs, les id\u00e9es principales de ce talmud ont \u00e9t\u00e9 utilis\u00e9es pour cr\u00e9er Apache Kafka.<\/p>\n<ul>\n<li>Une introduction \u00e0 Hadoop peut \u00eatre <noindex><a rel=\"nofollow\" href=\"https:\/\/data-flair.training\/blogs\/hadoop-tutorials-home\/\">Le guide complet pour ma\u00eetriser Hadoop (gratuit)<\/a><\/noindex>.<\/li>\n<li>Le guide le plus complet sur Apache Spark pour moi est \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1491912219\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1491912219&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=5b206424060cfc80a33d13b05c0bfee2\">Spark : le guide complet<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><b>5. Plateformes Cloud<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Qui sont les data engineers, et comment devenir l&#039;un d&#039;eux ?\" src=\"\/wp-content\/uploads\/2019\/05\/cc435bc9f9b91ec87d1cf7a591cf84a2.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nConna\u00eetre au moins une plateforme cloud est l'un des crit\u00e8res de base exig\u00e9s par les employeurs pour les candidats au poste d'ing\u00e9nieur en donn\u00e9es. Les employeurs privil\u00e9gient Amazon Web Services, la plateforme cloud de Google arrive en deuxi\u00e8me position, et Microsoft Azure compl\u00e8te le trio de t\u00eate.<\/p>\n<p>Vous devez bien ma\u00eetriser Amazon EC2, AWS Lambda, Amazon S3, DynamoDB.<\/p>\n<p><b>6. Syst\u00e8mes distribu\u00e9s<\/b><\/p>\n<p>Travailler avec de grandes quantit\u00e9s de donn\u00e9es implique d'avoir des clusters de calculateurs fonctionnant ind\u00e9pendamment, dont la communication s'effectue par r\u00e9seau. Plus le cluster est grand, plus la probabilit\u00e9 de panne de ses n\u0153uds est \u00e9lev\u00e9e. Pour devenir un expert en donn\u00e9es, vous devez approfondir les probl\u00e8mes et les solutions existantes pour les syst\u00e8mes distribu\u00e9s. Ce domaine est ancien et complexe.<\/p>\n<p>Andrew Tanenbaum est consid\u00e9r\u00e9 comme un pionnier dans ce domaine. Pour ceux qui n'ont pas peur de la th\u00e9orie, je recommande son livre <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1543057381\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1543057381&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=721aedeb23c313bc46a92c134c5baafa\">\u00abSyst\u00e8mes distribu\u00e9s\u00bb<\/a><\/noindex>, il peut sembler complexe pour les d\u00e9butants, mais cela vous aidera vraiment \u00e0 perfectionner vos comp\u00e9tences.<\/p>\n<p>Je pense que <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1449373321\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1449373321&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=e7e0e096aa5761066245eb90965ac849\">\u00abConception d'applications intensives en donn\u00e9es\u00bb de Martin Kleppmann<\/a><\/noindex> est le meilleur livre d'introduction. \u00c0 propos, Martin a un excellent <noindex><a rel=\"nofollow\" href=\"https:\/\/martin.kleppmann.com\/\">blog<\/a><\/noindex>. Son travail aidera \u00e0 syst\u00e9matiser vos connaissances sur la construction de l'infrastructure moderne pour le stockage et le traitement des Big Data.<br \/>\nPour ceux qui aiment regarder des vid\u00e9os, il existe un cours sur Youtube <noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=w8KFPWkK0bI&amp;list=PLawkBQ15NDEkDJ5IyLIJUTZ1rRM9YQq6N&amp;index=2&amp;t=0s\">Syst\u00e8mes informatiques distribu\u00e9s<\/a><\/noindex>.<\/p>\n<p><b>7. Pipelines de donn\u00e9es<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Qui sont les data engineers, et comment devenir l&#039;un d&#039;eux ?\" src=\"\/wp-content\/uploads\/2019\/05\/cf1c8e2baad0cc79c0b8c3707741353a.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nLes pipelines de donn\u00e9es sont essentiels pour un ing\u00e9nieur de donn\u00e9es.<\/p>\n<p>La plupart du temps, un ing\u00e9nieur de donn\u00e9es construit ce qu'on appelle un pipeline de donn\u00e9es, c'est-\u00e0-dire qu'il cr\u00e9e un processus de livraison de donn\u00e9es d'un endroit \u00e0 un autre. Cela peut inclure des sc\u00e9narios d'utilisateur qui interagissent avec l'API d'un service externe ou effectuent des requ\u00eates SQL, enrichissant les donn\u00e9es et les pla\u00e7ant dans un entrep\u00f4t centralis\u00e9 (entrep\u00f4t de donn\u00e9es) ou un stockage de donn\u00e9es non structur\u00e9es (lacs de donn\u00e9es).<\/p>\n<p><b>En r\u00e9sum\u00e9 : la liste de contr\u00f4le principale d'un ing\u00e9nieur de donn\u00e9es<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Qui sont les data engineers, et comment devenir l&#039;un d&#039;eux ?\" src=\"\/wp-content\/uploads\/2019\/05\/de0eca662b2246e63901afb89c9f255f.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nR\u00e9sum\u00e9 \u2014 il est n\u00e9cessaire d'avoir une bonne compr\u00e9hension des \u00e9l\u00e9ments suivants :<\/p>\n<ul>\n<li>Syst\u00e8mes d'information ;<\/li>\n<li>D\u00e9veloppement logiciel (Agile, DevOps, Techniques de conception, SOA) ;<\/li>\n<li>Syst\u00e8mes distribu\u00e9s et programmation parall\u00e8le ;<\/li>\n<li>Fondamentaux des bases de donn\u00e9es \u2014 planification, conception, exploitation et d\u00e9pannages ;<\/li>\n<li>Conception d'exp\u00e9riences \u2014 tests A\/B pour prouver des concepts, \u00e9valuer la fiabilit\u00e9, la performance des syst\u00e8mes, ainsi que pour d\u00e9velopper des voies fiables pour fournir des solutions de mani\u00e8re op\u00e9rationnelle.<\/li>\n<\/ul>\n<p>Ce ne sont l\u00e0 que quelques exigences pour devenir ing\u00e9nieur de donn\u00e9es, alors \u00e9tudiez et familiarisez-vous avec les syst\u00e8mes de donn\u00e9es, les syst\u00e8mes d'information, la livraison continue\/d\u00e9ploiement\/int\u00e9gration, les langages de programmation et d'autres sujets en informatique (pas dans tous les domaines de sp\u00e9cialit\u00e9).<\/p>\n<p><b>Et enfin, la derni\u00e8re chose mais non des moindres que je tiens \u00e0 dire.<\/b><\/p>\n<blockquote><p><i><b>Le parcours pour devenir Data Engineer n'est pas aussi simple qu'il y para\u00eet. Il ne fait pas de cadeaux, il est frustrant, et vous devez \u00eatre pr\u00eat \u00e0 cela. Certains moments de ce voyage peuvent vous pousser \u00e0 tout abandonner. Mais c'est un v\u00e9ritable travail et un processus d'apprentissage.<\/b><\/i><\/p><\/blockquote>\n<p>Ne commencez pas par embellir la r\u00e9alit\u00e9. Tout l'int\u00e9r\u00eat de ce voyage est d'apprendre le plus possible et d'\u00eatre pr\u00eat \u00e0 relever de nouveaux d\u00e9fis.<br \/>\nVoici une excellente image que j'ai rencontr\u00e9e, qui illustre bien ce point :<\/p>\n<p><img decoding=\"async\" alt=\"Qui sont les data engineers, et comment devenir l&#039;un d&#039;eux ?\" src=\"\/wp-content\/uploads\/2019\/05\/9cc8db9011e5f54717d7e9f31f915523.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nEt oui, n'oubliez pas d'\u00e9viter le burn-out et de prendre du temps pour vous reposer. C'est \u00e9galement tr\u00e8s important. Bonne chance !<\/p>\n<p>Qu'avez-vous pens\u00e9 de l'article, les amis ? Nous vous invitons \u00e0 <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/RCuj\/\">webinaire gratuit<\/a><\/noindex>, qui aura lieu aujourd'hui \u00e0 20h00. Au cours du webinaire, nous discuterons de la fa\u00e7on de construire un syst\u00e8me de traitement des donn\u00e9es efficace et \u00e9volutif pour une petite entreprise ou une start-up avec un minimum de co\u00fbts. En pratique, nous nous familiariserons avec les outils de traitement des donn\u00e9es de Google Cloud. \u00c0 bient\u00f4t !<br \/>\n<br \/>Source : <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/452670\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u0442\u043e\u043c, \u043a\u0442\u043e \u0436\u0435 \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b. \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0441\u0441\u044b\u043b\u043e\u043a. \u041f\u0440\u0438\u044f\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0447\u0442\u0435\u043d\u0438\u044f. \u041f\u0440\u043e\u0441\u0442\u043e\u0435 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043f\u043e\u0439\u043c\u0430\u0442\u044c \u0432\u043e\u043b\u043d\u0443 Data Engineering \u0438 \u043d\u0435 \u0434\u0430\u0442\u044c \u0435\u0439 \u0437\u0430\u0442\u044f\u043d\u0443\u0442\u044c \u0432\u0430\u0441 \u0432 \u043f\u0443\u0447\u0438\u043d\u0443. \u0421\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u0435, \u0447\u0442\u043e \u0432 \u043d\u0430\u0448\u0438 \u0434\u043d\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":25729,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-34083","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.2 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.2\" \/>\n\t\t<meta property=\"og:locale\" content=\"fr_FR\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b, \u0438 \u043a\u0430\u043a \u0438\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f? | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T18:56:19+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T18:56:19+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Qui sont les data engineers et comment le deviennent-ils ? | ProHoster","description":"Encore une fois, bonjour ! Le titre de l'article parle de lui-m\u00eame.","canonical_url":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"fr_FR","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b, \u0438 \u043a\u0430\u043a \u0438\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f? | ProHoster","og:description":"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.","og:url":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:56:19+00:00","article:modified_time":"2019-10-31T18:56:19+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"34083","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 17:49:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:28:35","updated":"2026-01-21 17:49:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/posts\/34083","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/comments?post=34083"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/posts\/34083\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/media\/25729"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/media?parent=34083"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/categories?post=34083"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/tags?post=34083"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}