{"id":34083,"date":"2019-10-31T21:56:19","date_gmt":"2019-10-31T18:56:19","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\/"},"modified":"2019-10-31T21:56:19","modified_gmt":"2019-10-31T18:56:19","slug":"kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","title":{"rendered":"\u00bfQui\u00e9nes son los ingenieros de datos y c\u00f3mo se convierten en ellos?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>\u00a1Hola de nuevo! El t\u00edtulo del art\u00edculo habla por s\u00ed mismo. En la antesala del inicio del curso <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/a4Uj\/\">\u00abIngeniero de Datos\u00bb<\/a><\/noindex> , ofrecemos aclarar qui\u00e9nes son los ingenieros de datos. El art\u00edculo contiene muchos enlaces \u00fatiles. \u00a1Buen provecho en la lectura!<\/p>\n<p><img decoding=\"async\" alt=\"\u00bfQui\u00e9nes son los ingenieros de datos y c\u00f3mo se convierten en ellos?\" src=\"\/wp-content\/uploads\/2019\/05\/5f831df35ab1292adafca20f937ed22d.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<i>Una gu\u00eda sencilla sobre c\u00f3mo surfear la ola del Data Engineering y no ser arrastrado al abismo.<\/i><\/p>\n<p>Da la impresi\u00f3n de que hoy en d\u00eda cada uno quiere convertirse en cient\u00edfico de datos (Data Scientist). \u00bfPero qu\u00e9 pasa con el Data Engineering? <i>En esencia, es una especie de h\u00edbrido entre un analista de datos y un cient\u00edfico de datos; el ingeniero de datos generalmente se encarga de la gesti\u00f3n de flujos de trabajo, tuber\u00edas de procesamiento y procesos ETL.<\/i>Dada la importancia de estas funciones, hoy en d\u00eda se ha convertido en una jerga profesional muy popular que va ganando terreno.<\/p>\n<p>Un alto salario y una demanda inmensa son solo una peque\u00f1a parte de lo que hace que este trabajo sea extremadamente atractivo. Si deseas unirte a las filas de los h\u00e9roes, nunca es demasiado tarde para empezar a aprender. En esta publicaci\u00f3n he recopilado toda la informaci\u00f3n necesaria para ayudarte a dar tus primeros pasos.<\/p>\n<p>\u00a1As\u00ed que comencemos!<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p><b>\u00bfQu\u00e9 es el Data Engineering?<\/b><\/p>\n<p>Honestamente, no hay mejor explicaci\u00f3n que esta:<\/p>\n<blockquote><p><i>\u00abUn cient\u00edfico puede descubrir una nueva estrella, pero no puede crearla. Tendr\u00e1 que pedirle a un ingeniero que lo haga por \u00e9l.\u00bb<\/i><\/p>\n<p>\u2013Gordon Lindsay Glegg<\/p><\/blockquote>\n<p>Por lo tanto, el papel del ingeniero de datos es bastante significativo.<\/p>\n<p>Como su nombre indica, el Data Engineering est\u00e1 relacionado con los datos, espec\u00edficamente con su entrega, almacenamiento y procesamiento. En consecuencia, la tarea principal de los ingenieros es garantizar una infraestructura fiable para los datos. Si observamos la jerarqu\u00eda de necesidades de la IA, el Data Engineering ocupa los primeros 2\u20133 niveles: <b>recopilaci\u00f3n, movimiento y almacenamiento, preparaci\u00f3n de datos.<\/b>.<\/p>\n<p><img decoding=\"async\" alt=\"\u00bfQui\u00e9nes son los ingenieros de datos y c\u00f3mo se convierten en ellos?\" src=\"\/wp-content\/uploads\/2019\/05\/377481f2f52a4ed771508a450678afd0.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<b>\u00bfQu\u00e9 hace un ingeniero de datos?<\/b><\/p>\n<p>Con la aparici\u00f3n de grandes datos, el \u00e1mbito de responsabilidad ha cambiado dr\u00e1sticamente. Si antes estos expertos escrib\u00edan grandes consultas SQL y transfer\u00edan datos utilizando herramientas como Informatica ETL, Pentaho ETL, Talend, ahora las exigencias para los ingenieros de datos han aumentado.<\/p>\n<p>La mayor\u00eda de las empresas con vacantes para ingenieros de datos tienen los siguientes requisitos:<\/p>\n<ul>\n<li>Excelentes conocimientos de SQL y Python.<\/li>\n<li>Experiencia en plataformas en la nube, en particular Amazon Web Services.<\/li>\n<li>Se prefiere el conocimiento de Java\/Scala.<\/li>\n<li>Buena comprensi\u00f3n de las bases de datos SQL y NoSQL (modelado de datos, almacenamiento de datos).<\/li>\n<\/ul>\n<p>Ten en cuenta que esto es solo lo m\u00e1s b\u00e1sico. De esta lista se puede inferir que los ingenieros de datos son especialistas en el desarrollo de software y en el backend.<br \/>\nPor ejemplo, si una empresa comienza a generar un gran volumen de datos de diferentes fuentes, tu tarea como ingeniero de datos es organizar la recopilaci\u00f3n de informaci\u00f3n, su procesamiento y almacenamiento.<\/p>\n<p>La lista de herramientas utilizadas en este caso puede variar, depende del volumen de estos datos, la velocidad de su llegada y su variabilidad. La mayor\u00eda de las empresas no se enfrentan a grandes datos, por lo que se puede utilizar una base de datos SQL (PostgreSQL, MySQL, etc.) como un almac\u00e9n de datos centralizado con un peque\u00f1o conjunto de scripts que dirigen los datos al almac\u00e9n.<\/p>\n<p>Gigantes tecnol\u00f3gicos como Google, Amazon, Facebook o Dropbox tienen requisitos m\u00e1s altos: conocimiento de Python, Java o Scala.<\/p>\n<ul>\n<li>Experiencia con grandes datos: Hadoop, Spark, Kafka.<\/li>\n<li>Conocimiento de algoritmos y estructuras de datos.<\/li>\n<li>Comprensi\u00f3n de los fundamentos de los sistemas distribuidos.<\/li>\n<li>La experiencia con herramientas de visualizaci\u00f3n de datos, como Tableau o ElasticSearch, ser\u00e1 un gran plus.<\/li>\n<\/ul>\n<p>Es decir, hay un claro desplazamiento hacia los grandes datos, especialmente en su procesamiento bajo alta carga. Estas empresas tienen requisitos aumentados en t\u00e9rminos de resistencia del sistema.<\/p>\n<p><b>Ingenieros de datos Vs. cient\u00edficos de datos<\/b><\/p>\n<p><img decoding=\"async\" alt=\"\u00bfQui\u00e9nes son los ingenieros de datos y c\u00f3mo se convierten en ellos?\" src=\"\/wp-content\/uploads\/2019\/05\/f01dd66863fcc0a89ab0b763d208a863.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>De acuerdo, esta fue una comparaci\u00f3n simple y divertida (sin ofender), pero en realidad es mucho m\u00e1s complicado.<\/i><\/p>\n<p>Primero, debes saber que hay bastante ambig\u00fcedad en la delimitaci\u00f3n de roles y habilidades entre el cient\u00edfico de datos y el ingeniero de datos. Es decir, puedes f\u00e1cilmente confundirte sobre qu\u00e9 habilidades son necesarias para ser un ingeniero de datos exitoso. Claro, hay ciertas habilidades que se superponen entre ambos roles. Pero tambi\u00e9n hay una serie de habilidades diametralmente opuestas.<\/p>\n<p>La ciencia de datos es un asunto serio, pero nos dirigimos hacia un mundo con ciencia de datos funcional, donde los practicantes pueden hacer su propia anal\u00edtica. Para habilitar los pipelines de datos y las estructuras de datos integradas, necesitas ingenieros de datos, no cient\u00edficos.<\/p>\n<p><b>\u00bfEs el ingeniero de datos m\u00e1s demandado que el cient\u00edfico de datos?<\/b><\/p>\n<blockquote><p><i> \u2014 S\u00ed, porque antes de que puedas hacer un pastel de zanahoria, primero necesitas cosechar, pelar y almacenar las zanahorias.<\/i><\/p><\/blockquote>\n<p>Un ingeniero de datos entiende de programaci\u00f3n mejor que cualquier cient\u00edfico de datos, pero cuando se trata de estad\u00edsticas, todo es exactamente al rev\u00e9s.<\/p>\n<p>Pero aqu\u00ed est\u00e1 la ventaja del ingeniero de datos:<\/p>\n<p>sin \u00e9l\/ella, el valor de un modelo prototipo, que suele ser un fragmento de c\u00f3digo de mala calidad en un archivo de Python, proporcionado por un cient\u00edfico de datos y que de alguna manera produce resultados, tiende a cero.<\/p>\n<p>Sin un ingeniero de datos, ese c\u00f3digo nunca se convertir\u00e1 en un proyecto y ning\u00fan problema empresarial se resolver\u00e1 de manera efectiva. El ingeniero de datos intenta convertir todo esto en un producto.<\/p>\n<p><b>Lo b\u00e1sico que debe saber un ingeniero de datos<\/b><\/p>\n<p><img decoding=\"async\" alt=\"\u00bfQui\u00e9nes son los ingenieros de datos y c\u00f3mo se convierten en ellos?\" src=\"\/wp-content\/uploads\/2019\/05\/f724004e5a30a0c021c4377d66985d16.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nEntonces, si este trabajo despierta en ti una luz y est\u00e1s lleno de entusiasmo \u2014 puedes aprenderlo todo, puedes adquirir todas las habilidades necesarias y convertirte en una verdadera estrella de rock en el desarrollo de datos. Y s\u00ed, puedes lograrlo incluso sin habilidades de programaci\u00f3n o conocimientos t\u00e9cnicos previos. Es dif\u00edcil, \u00a1pero posible!<\/p>\n<p><b>\u00bfCu\u00e1les son los primeros pasos?<\/b><\/p>\n<blockquote><p><i>Debes tener una comprensi\u00f3n general de lo que hay.<\/i><\/p><\/blockquote>\n<p>Primero que nada, la ingenier\u00eda de datos se relaciona con la inform\u00e1tica. Espec\u00edficamente, debes entender los algoritmos y estructuras de datos eficientes. En segundo lugar, dado que los ingenieros de datos trabajan con datos, es necesario entender los principios de funcionamiento de las bases de datos y las estructuras subyacentes.<\/p>\n<p>Por ejemplo, las bases de datos SQL comunes B-tree se basan en la estructura de datos B-Tree, as\u00ed como en los repositorios distribuidos modernos, LSM-Tree y otras modificaciones de tablas hash.<\/p>\n<p><i>* Estos pasos se basan en un art\u00edculo impresionante <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@adil_45422\">de Adil Khashtamov<\/a><\/noindex>. As\u00ed que si hablas ruso, apoya a este autor y lee <noindex><a rel=\"nofollow\" href=\"https:\/\/khashtamov.com\/ru\/data-engineer\/\">su publicaci\u00f3n<\/a><\/noindex>.<\/i><\/p>\n<p><b>1. Algoritmos y estructuras de datos<\/b><\/p>\n<p>Usar la estructura de datos correcta puede mejorar significativamente el rendimiento del algoritmo. En un mundo ideal, todos deber\u00edamos aprender sobre estructuras de datos y algoritmos en nuestras escuelas, pero rara vez se abordan. De todos modos, nunca es tarde para informarse.<br \/>\nAs\u00ed que aqu\u00ed est\u00e1n mis cursos gratuitos favoritos para aprender sobre estructuras de datos y algoritmos:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.udemy.com\/introduction-to-data-structures\/?ranMID=39197&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-fcVI3mDcwPC4Q5dpzDABSg&amp;LSNPUBID=JVFxdTr9V80\">De lo simple a lo complejo: Estructuras de Datos (Udemy)<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.coursera.org\/learn\/algorithms-part1?ranMID=40328&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-Y2SOzvEQ5UCqGZ8SQ8yPFA&amp;siteID=JVFxdTr9V80-Y2SOzvEQ5UCqGZ8SQ8yPFA&amp;utm_content=10&amp;utm_medium=partners&amp;utm_source=linkshare&amp;utm_campaign=JVFxdTr9V80\">Algoritmos, Parte I (Coursera)<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.coursera.org\/learn\/algorithms-part2?ranMID=40328&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-sXWvgPKRyzYEBJ33lVooUQ&amp;siteID=JVFxdTr9V80-sXWvgPKRyzYEBJ33lVooUQ&amp;utm_content=10&amp;utm_medium=partners&amp;utm_source=linkshare&amp;utm_campaign=JVFxdTr9V80\">Algoritmos, Parte II (Coursera)<\/a><\/noindex>\n <\/li>\n<\/ul>\n<p>Adem\u00e1s, no olvides el trabajo cl\u00e1sico sobre algoritmos de Thomas Cormen \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/0262033844\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=0262033844&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=74742875db503b1a899ca35159749067\">Introducci\u00f3n a los algoritmos<\/a><\/noindex>. Este es un manual perfecto cuando necesitas refrescar tu memoria.<\/p>\n<ul>\n<li>Para mejorar tus habilidades, utiliza <noindex><a rel=\"nofollow\" href=\"https:\/\/leetcode.com\/problemset\/algorithms\/\">Leetcode<\/a><\/noindex>.<\/li>\n<\/ul>\n<p>Tambi\u00e9n puedes sumergirte en el mundo de las bases de datos con incre\u00edbles videos de la Universidad Carnegie Mellon en YouTube:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/playlist?list=PLSE8ODhjZXjYutVzTeAds8xUt1rcmyT7x\">Introducci\u00f3n a los sistemas de bases de datos<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/playlist?list=PLSE8ODhjZXja7K1hjZ01UTVDnGQdx5v5U\">Sistemas avanzados de bases de datos<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><b>2. Aprender SQL<\/b><\/p>\n<p>Toda nuestra vida son datos. Y para extraer estos datos de la base de datos, necesitas \"hablar\" con ellos en un mismo idioma.<\/p>\n<p>SQL (Structured Query Language \u2014 Lenguaje de Consulta Estructurada) es el lenguaje de comunicaci\u00f3n en el \u00e1mbito de los datos. Lo que sea que alguien diga, SQL ha vivido, vive y seguir\u00e1 viviendo por mucho tiempo.<\/p>\n<p>Si has estado en desarrollo por un tiempo, probablemente hayas notado que los rumores sobre la inminente muerte del SQL surgen peri\u00f3dicamente. El lenguaje fue desarrollado a principios de los a\u00f1os 70 y a\u00fan goza de una enorme popularidad entre analistas, desarrolladores y simplemente entusiastas.<br \/>\nSin el conocimiento de SQL, no hay nada que hacer en ingenier\u00eda de datos, ya que inevitablemente tendr\u00e1s que crear consultas para extraer datos. Todos los modernos almacenes de datos masivos soportan SQL:<\/p>\n<ul>\n<li>Amazon Redshift<\/li>\n<li>HP Vertica<\/li>\n<li>Oracle<\/li>\n<li>SQL Server<\/li>\n<\/ul>\n<p>\u2026 y muchos m\u00e1s.<\/p>\n<p>Para analizar grandes capas de datos almacenados en sistemas distribuidos como HDFS, se han inventado mecanismos SQL: Apache Hive, Impala, etc. Como puedes ver, no va a desaparecer.<\/p>\n<p>\u00bfC\u00f3mo aprender SQL? Simplemente hazlo en la pr\u00e1ctica.<\/p>\n<p>Para ello, recomendar\u00eda consultar un excelente tutorial que, por cierto, es gratuito, de <noindex><a rel=\"nofollow\" href=\"https:\/\/mode.com\/sql-tutorial\/introduction-to-sql\/\">Mode Analytics<\/a><\/noindex>.<\/p>\n<ol>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.datacamp.com\/courses\/intermediate-sql\/\">Nivel intermedio de SQL<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.datacamp.com\/courses\/joining-data-in-postgresql\">Uni\u00f3n de datos en SQL<\/a><\/noindex><\/li>\n<\/ol>\n<p>Una caracter\u00edstica distintiva de estos cursos es la presencia de un entorno interactivo donde puedes escribir y ejecutar consultas SQL directamente en el navegador. El recurso <noindex><a rel=\"nofollow\" href=\"https:\/\/modern-sql.com\/\">Modern SQL<\/a><\/noindex> no estar\u00e1 de m\u00e1s. Y puedes aplicar estos conocimientos en <noindex><a rel=\"nofollow\" href=\"https:\/\/leetcode.com\/problemset\/database\/\">las tareas de Leetcode<\/a><\/noindex> en la secci\u00f3n de Bases de datos.<\/p>\n<p><b>3. Programaci\u00f3n en Python y Java\/Scala<\/b><\/p>\n<p>Ya he escrito sobre por qu\u00e9 deber\u00edas aprender el lenguaje de programaci\u00f3n Python en el art\u00edculo <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/datadriveninvestor\/python-vs-r-choosing-the-best-tool-for-ai-ml-data-science-7e0c2295e243\">Python vs R. Eligiendo la mejor herramienta para AI, ML y Data Science<\/a><\/noindex>. En lo que respecta a Java y Scala, la mayor\u00eda de las herramientas para almacenar y procesar enormes vol\u00famenes de datos est\u00e1n escritas en estos lenguajes. Por ejemplo:<\/p>\n<ul>\n<li>Apache Kafka (Scala)<\/li>\n<li>Hadoop, HDFS (Java)<\/li>\n<li>Apache Spark (Scala)<\/li>\n<li>Apache Cassandra (Java)<\/li>\n<li>HBase (Java)<\/li>\n<li>Apache Hive (Java)<\/li>\n<\/ul>\n<p>Para entender c\u00f3mo funcionan estas herramientas, necesitas conocer los lenguajes en los que est\u00e1n escritas. El enfoque funcional de Scala permite abordar eficazmente los problemas de procesamiento paralelo de datos. Python, desafortunadamente, no puede presumir de velocidad y procesamiento paralelo. En general, conocer varios lenguajes y paradigmas de programaci\u00f3n influye positivamente en la amplitud de enfoques para resolver problemas.<\/p>\n<p>Para sumergirte en el lenguaje Scala, puedes leer <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/0981531687\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=0981531687&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=69314619f1e546e3921eb97c72cf4850\">Programaci\u00f3n en Scala<\/a><\/noindex> del autor del lenguaje. Adem\u00e1s, Twitter ha publicado una buena gu\u00eda introductoria \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/twitter.github.io\/scala_school\/\">Escuela Scala<\/a><\/noindex>.<\/p>\n<p>En cuanto a Python, considero que <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1491946008\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1491946008&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=8a663e966770c24874e323133cc7a005\">Python Fluido<\/a><\/noindex> es el mejor libro de nivel intermedio.<\/p>\n<p><b>4. Herramientas para trabajar con grandes datos<\/b><\/p>\n<p>Aqu\u00ed tienes una lista de las herramientas m\u00e1s populares en el mundo de los grandes datos:<\/p>\n<ul>\n<li>Apache Spark<\/li>\n<li>Apache Kafka<\/li>\n<li>Apache Hadoop (HDFS, HBase, Hive)<\/li>\n<li>Apache Cassandra<\/li>\n<\/ul>\n<p>Puedes encontrar m\u00e1s informaci\u00f3n sobre la construcci\u00f3n de grandes bloques de datos en este sorprendente <noindex><a rel=\"nofollow\" href=\"http:\/\/xyz.insightdataengineering.com\/blog\/pipeline_map\/\">entorno interactivo<\/a><\/noindex>. Las herramientas m\u00e1s populares son Spark y Kafka. Definitivamente vale la pena estudiarlas, preferiblemente entender c\u00f3mo funcionan por dentro. Jay Kreps (coautor de Kafka) public\u00f3 en 2013 un trabajo monumental <noindex><a rel=\"nofollow\" href=\"https:\/\/engineering.linkedin.com\/distributed-systems\/log-what-every-software-engineer-should-know-about-real-time-datas-unifying\">El Log: lo que todo desarrollador de software debe saber sobre la abstracci\u00f3n de la uni\u00f3n de datos en tiempo real<\/a><\/noindex>, por cierto, las ideas principales de este talmud se utilizaron para crear Apache Kafka.<\/p>\n<ul>\n<li>La introducci\u00f3n a Hadoop puede ser <noindex><a rel=\"nofollow\" href=\"https:\/\/data-flair.training\/blogs\/hadoop-tutorials-home\/\">Gu\u00eda completa para dominar Hadoop (gratis)<\/a><\/noindex>.<\/li>\n<li>Para m\u00ed, la gu\u00eda m\u00e1s completa sobre Apache Spark es <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1491912219\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1491912219&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=5b206424060cfc80a33d13b05c0bfee2\">Spark: gu\u00eda completa<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><b>5. Plataformas en la nube<\/b><\/p>\n<p><img decoding=\"async\" alt=\"\u00bfQui\u00e9nes son los ingenieros de datos y c\u00f3mo se convierten en ellos?\" src=\"\/wp-content\/uploads\/2019\/05\/cc435bc9f9b91ec87d1cf7a591cf84a2.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nConocer al menos una plataforma en la nube est\u00e1 en la lista de requisitos b\u00e1sicos para los solicitantes de empleo como ingenieros de datos. Los empleadores prefieren Amazon Web Services, en segundo lugar se encuentra la plataforma en la nube de Google, y en tercer lugar Microsoft Azure.<\/p>\n<p>Debes tener un buen conocimiento de Amazon EC2, AWS Lambda, Amazon S3, DynamoDB.<\/p>\n<p><b>6. Sistemas distribuidos<\/b><\/p>\n<p>Trabajar con grandes datos implica la existencia de cl\u00fasteres de computadoras que operan independientemente, cuyas conexiones se realizan a trav\u00e9s de una red. Cuanto mayor es el cl\u00faster, mayor es la probabilidad de fallo de sus nodos miembros. Para convertirte en un experto destacado en el \u00e1rea de datos, necesitas profundizar en los problemas y soluciones existentes para sistemas distribuidos. Este campo es antiguo y complejo.<\/p>\n<p>Andrew Tanenbaum es considerado un pionero en este campo. Para aquellos que no temen a la teor\u00eda, recomiendo su libro <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1543057381\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1543057381&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=721aedeb23c313bc46a92c134c5baafa\">\u00abSistemas distribuidos\u00bb<\/a><\/noindex>, para principiantes puede parecer complicado, pero realmente te ayudar\u00e1 a perfeccionar tus habilidades.<\/p>\n<p>Yo creo que <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1449373321\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1449373321&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=e7e0e096aa5761066245eb90965ac849\">\u00abDise\u00f1o de aplicaciones intensivas en datos\u00bb de Martin Kleppmann<\/a><\/noindex> es el mejor libro introductorio. Por cierto, Martin tiene un maravilloso <noindex><a rel=\"nofollow\" href=\"https:\/\/martin.kleppmann.com\/\">blog<\/a><\/noindex>. Su trabajo ayudar\u00e1 a sistematizar el conocimiento sobre la construcci\u00f3n de infraestructura moderna para el almacenamiento y procesamiento de grandes datos.<br \/>\nPara aquellos que disfrutan ver videos, hay un curso en Youtube <noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=w8KFPWkK0bI&amp;list=PLawkBQ15NDEkDJ5IyLIJUTZ1rRM9YQq6N&amp;index=2&amp;t=0s\">Sistemas computacionales distribuidos<\/a><\/noindex>.<\/p>\n<p><b>7. Canalizaciones de datos<\/b><\/p>\n<p><img decoding=\"async\" alt=\"\u00bfQui\u00e9nes son los ingenieros de datos y c\u00f3mo se convierten en ellos?\" src=\"\/wp-content\/uploads\/2019\/05\/cf1c8e2baad0cc79c0b8c3707741353a.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nLas canalizaciones de datos son algo de lo que no puedes prescindir como ingeniero de datos.<\/p>\n<p>La mayor parte del tiempo, el ingeniero de datos construye lo que se llama una canalizaci\u00f3n de datos, es decir, crea un proceso para transportar datos de un lugar a otro. Esto puede incluir flujos de usuario que se dirigen a la API de un servicio externo o realizan consultas SQL, complementan los datos y los colocan en un almacenamiento centralizado (almacenamiento de datos) o en un almacenamiento de datos no estructurados (lagos de datos).<\/p>\n<p><b>En resumen: la lista de verificaci\u00f3n principal para un ingeniero de datos<\/b><\/p>\n<p><img decoding=\"async\" alt=\"\u00bfQui\u00e9nes son los ingenieros de datos y c\u00f3mo se convierten en ellos?\" src=\"\/wp-content\/uploads\/2019\/05\/de0eca662b2246e63901afb89c9f255f.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nPara resumir, es necesario tener un buen entendimiento de lo siguiente:<\/p>\n<ul>\n<li>Sistemas de informaci\u00f3n;<\/li>\n<li>Desarrollo de software (Agile, DevOps, T\u00e9cnicas de dise\u00f1o, SOA);<\/li>\n<li>Sistemas distribuidos y programaci\u00f3n paralela;<\/li>\n<li>Fundamentos de bases de datos \u2014 planificaci\u00f3n, dise\u00f1o, operaci\u00f3n y soluci\u00f3n de problemas;<\/li>\n<li>Dise\u00f1o de experimentos \u2014 pruebas A\/B para probar conceptos, determinar confiabilidad, rendimiento de sistemas, as\u00ed como para desarrollar caminos fiables para la entrega oportuna de buenas soluciones.<\/li>\n<\/ul>\n<p>Estos son solo algunos de los requisitos para convertirse en ingeniero de datos, as\u00ed que estudia y familiar\u00edzate con sistemas de datos, sistemas de informaci\u00f3n, entrega continua\/despliegue\/integraci\u00f3n, lenguajes de programaci\u00f3n y otros temas de inform\u00e1tica (no en todas las \u00e1reas tem\u00e1ticas).<\/p>\n<p><b>Y, por \u00faltimo, pero no menos importante, lo que quiero decir.<\/b><\/p>\n<blockquote><p><i><b>El camino para convertirse en Data Engineer no es tan sencillo como parece. No perdona, frustra, y debes estar preparado para ello. Algunos momentos en este viaje pueden llevarte a considerar todo dejar. Pero es un verdadero esfuerzo y un proceso de aprendizaje.<\/b><\/i><\/p><\/blockquote>\n<p>Simplemente no lo adores desde el principio. Todo el sentido del viaje es aprender lo m\u00e1s posible y estar preparado para nuevos desaf\u00edos.<br \/>\nAqu\u00ed hay una excelente imagen con la que me encontr\u00e9, que ilustra bien este punto:<\/p>\n<p><img decoding=\"async\" alt=\"\u00bfQui\u00e9nes son los ingenieros de datos y c\u00f3mo se convierten en ellos?\" src=\"\/wp-content\/uploads\/2019\/05\/9cc8db9011e5f54717d7e9f31f915523.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nY s\u00ed, no olvides evitar el agotamiento y descansar. Tambi\u00e9n es muy importante. \u00a1Buena suerte!<\/p>\n<p>\u00bfQu\u00e9 les parece el art\u00edculo, amigos? Los invitamos a <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/RCuj\/\">un webinar gratuito<\/a><\/noindex>, que se llevar\u00e1 a cabo hoy a las 20:00. En el marco del webinar, discutiremos c\u00f3mo construir un sistema eficiente y escalable de procesamiento de datos para una peque\u00f1a empresa o startup con costos m\u00ednimos. Como pr\u00e1ctica, nos familiarizaremos con las herramientas de procesamiento de datos de Google Cloud. \u00a1Hasta pronto!<br \/>\n<br \/>Fuente: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/452670\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u0442\u043e\u043c, \u043a\u0442\u043e \u0436\u0435 \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b. \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0441\u0441\u044b\u043b\u043e\u043a. \u041f\u0440\u0438\u044f\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0447\u0442\u0435\u043d\u0438\u044f. \u041f\u0440\u043e\u0441\u0442\u043e\u0435 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043f\u043e\u0439\u043c\u0430\u0442\u044c \u0432\u043e\u043b\u043d\u0443 Data Engineering \u0438 \u043d\u0435 \u0434\u0430\u0442\u044c \u0435\u0439 \u0437\u0430\u0442\u044f\u043d\u0443\u0442\u044c \u0432\u0430\u0441 \u0432 \u043f\u0443\u0447\u0438\u043d\u0443. \u0421\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u0435, \u0447\u0442\u043e \u0432 \u043d\u0430\u0448\u0438 \u0434\u043d\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":25729,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-34083","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.2 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.2\" \/>\n\t\t<meta property=\"og:locale\" content=\"es_ES\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b, \u0438 \u043a\u0430\u043a \u0438\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f? | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T18:56:19+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T18:56:19+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47 \u00bfQui\u00e9nes son los ingenieros de datos y c\u00f3mo se convierten en uno? | ProHoster","description":"\u00a1Hola de nuevo! El t\u00edtulo del art\u00edculo habla por s\u00ed mismo.","canonical_url":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"es_ES","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b, \u0438 \u043a\u0430\u043a \u0438\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f? | ProHoster","og:description":"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.","og:url":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:56:19+00:00","article:modified_time":"2019-10-31T18:56:19+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"34083","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 17:49:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:28:35","updated":"2026-01-21 17:49:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/posts\/34083","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/comments?post=34083"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/posts\/34083\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/media\/25729"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/media?parent=34083"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/categories?post=34083"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/es\/wp-json\/wp\/v2\/tags?post=34083"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}