{"id":34083,"date":"2019-10-31T21:56:19","date_gmt":"2019-10-31T18:56:19","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\/"},"modified":"2019-10-31T21:56:19","modified_gmt":"2019-10-31T18:56:19","slug":"kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","title":{"rendered":"Hvem er dataingeni\u00f8rer, og hvordan bliver man en?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Hej igen! Artiklens overskrift taler for sig selv. I takt med at kurset n\u00e6rmer sig <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/a4Uj\/\">\u00abData Engineer\u00bb<\/a><\/noindex> foresl\u00e5r vi at finde ud af, hvem dataingeni\u00f8rer egentlig er. Artiklen indeholder mange nyttige links. God l\u00e6sning.<\/p>\n<p><img decoding=\"async\" alt=\"Hvem er dataingeni\u00f8rer, og hvordan bliver man en?\" src=\"\/wp-content\/uploads\/2019\/05\/5f831df35ab1292adafca20f937ed22d.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<i>En enkel guide til, hvordan man fanger b\u00f8lgen af Data Engineering og ikke lader den tr\u00e6kke en ned i dybet.<\/i><\/p>\n<p>Det virker som om, at alle i dag \u00f8nsker at blive data scientist. Men hvad med Data Engineering? <i>Det er i princippet en slags hybrid mellem dataanalytikere og data scientists; dataingeni\u00f8rer har typisk ansvar for at administrere arbejdsprocesser, behandlingslinjer og ETL-processer.<\/i>P\u00e5 grund af vigtigheden af disse funktioner er det i \u00f8jeblikket en popul\u00e6r professionel jargon, der aktivt vinder frem.<\/p>\n<p>En h\u00f8j l\u00f8n og en enorm eftersp\u00f8rgsel er blot en lille del af, hvad der g\u00f8r dette arbejde ekstremt attraktivt! Hvis du \u00f8nsker at blive en af heltene, er det aldrig for sent at begynde at l\u00e6re. I dette indl\u00e6g har jeg samlet al den n\u00f8dvendige information for at hj\u00e6lpe dig med at tage de f\u00f8rste skridt.<\/p>\n<p>Lad os komme i gang!<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p><b>Hvad er Data Engineering?<\/b><\/p>\n<p>\u00c6rligt talt, der findes ikke en bedre forklaring end denne:<\/p>\n<blockquote><p><i>\"En videnskabsmand kan opdage en ny stjerne, men kan ikke skabe en. Han m\u00e5 bede ingeni\u00f8ren om at g\u00f8re det for ham.\"<\/i><\/p>\n<p>\u2013 Gordon Lindsay Glegg<\/p><\/blockquote>\n<p>Derfor er dataingeni\u00f8rens rolle ret betydningsfuld.<\/p>\n<p>Af navnet fremg\u00e5r det, at dataengineering handler om data, nemlig deres levering, opbevaring og behandling. Derfor er dataingeni\u00f8rers hovedopgave at sikre en p\u00e5lidelig infrastruktur for data. Hvis vi ser p\u00e5 AI-hierarkiet af behov, bes\u00e6tter dataengineering de f\u00f8rste 2-3 trin: <b>indsamling, flytning og opbevaring, databehandling.<\/b>.<\/p>\n<p><img decoding=\"async\" alt=\"Hvem er dataingeni\u00f8rer, og hvordan bliver man en?\" src=\"\/wp-content\/uploads\/2019\/05\/377481f2f52a4ed771508a450678afd0.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<b>Hvad laver en dataingeni\u00f8r?<\/b><\/p>\n<p>Med fremkomsten af big data har ansvarsomr\u00e5derne \u00e6ndret sig drastisk. F\u00f8rhen skrev disse eksperter store SQL-foresp\u00f8rgsler og flyttede data ved hj\u00e6lp af v\u00e6rkt\u00f8jer som Informatica ETL, Pentaho ETL, Talend, men nu er kravene til dataingeni\u00f8rer steget.<\/p>\n<p>De fleste virksomheder med ledige stillinger som dataingeni\u00f8r stiller f\u00f8lgende krav:<\/p>\n<ul>\n<li>Fremragende kendskab til SQL og Python.<\/li>\n<li>Erfaring med cloud-platforme, is\u00e6r Amazon Web Services.<\/li>\n<li>Kendskab til Java\/Scala foretr\u00e6kkes.<\/li>\n<li>God forst\u00e5else for SQL- og NoSQL-databaser (datamodellering, datalagring).<\/li>\n<\/ul>\n<p>V\u00e6r opm\u00e6rksom p\u00e5, at dette kun er det mest n\u00f8dvendige. Ud fra denne liste kan det antages, at dataingeni\u00f8rer er specialister inden for softwareudvikling og backend.<br \/>\nFor eksempel, hvis en virksomhed begynder at generere store m\u00e6ngder data fra forskellige kilder, er det dit ansvar som dataingeni\u00f8r at organisere indsamlingen, behandlingen og opbevaringen af informationen.<\/p>\n<p>Listen over v\u00e6rkt\u00f8jer, der anvendes i dette tilf\u00e6lde, kan variere, alt afh\u00e6ngigt af m\u00e6ngden af disse data, hastigheden af deres ankomst og heterogenitet. De fleste virksomheder kommer slet ikke i kontakt med store data, derfor kan der anvendes en SQL-database (PostgreSQL, MySQL osv.) som et centralt lager med et lille antal scripts til at lede data ind i lageret.<\/p>\n<p>IT-giganter som Google, Amazon, Facebook eller Dropbox har h\u00f8jere krav: kendskab til Python, Java eller Scala.<\/p>\n<ul>\n<li>Erfaring med store data: Hadoop, Spark, Kafka.<\/li>\n<li>Kendskab til algoritmer og datatyper.<\/li>\n<li>Forst\u00e5else af grundl\u00e6ggende principper for distribuerede systemer.<\/li>\n<li>Erfaring med datavisualiseringsv\u00e6rkt\u00f8jer som Tableau eller ElasticSearch vil v\u00e6re en stor fordel.<\/li>\n<\/ul>\n<p>Der er en tydelig bev\u00e6gelse mod store data, is\u00e6r i deres behandling under h\u00f8j belastning. Disse virksomheder har h\u00f8jere krav til systemets fejltolerance.<\/p>\n<p><b>Dataingeni\u00f8rer vs. dataforskere<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Hvem er dataingeni\u00f8rer, og hvordan bliver man en?\" src=\"\/wp-content\/uploads\/2019\/05\/f01dd66863fcc0a89ab0b763d208a863.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Okay, det var en enkel og sjov sammenligning (intet personligt), men det er faktisk meget mere komplekst.<\/i><\/p>\n<p>For det f\u00f8rste skal du vide, at der er en del uklarhed i adskillelsen af roller og f\u00e6rdigheder mellem dataforskeren og dataingeni\u00f8ren. Du kan nemt blive forvirret over, hvilke f\u00e6rdigheder der er n\u00f8dvendige for at blive en succesfuld dataingeni\u00f8r. Selvf\u00f8lgelig er der nogle f\u00e6rdigheder, der overlapper mellem begge roller, men der er ogs\u00e5 en r\u00e6kke diametralt modsatte f\u00e6rdigheder.<\/p>\n<p>Data science er en alvorlig sag, men vi bev\u00e6ger os mod en verden med funktionel data science, hvor praktikere kan udf\u00f8re deres egen analyse. For at aktivere data pipelines og integrerede datastrukturer har du brug for dataingeni\u00f8rer, ikke forskere.<\/p>\n<p><b>Er dataingeni\u00f8ren mere eftertragtet end dataforskeren?<\/b><\/p>\n<blockquote><p><i> \u2014 Ja, fordi f\u00f8r du kan bage en gulerodskage, skal du f\u00f8rst samle, skr\u00e6lle og forberede guler\u00f8dderne!<\/i><\/p><\/blockquote>\n<p>En dataingeni\u00f8r forst\u00e5r programmering bedre end nogen dataforsker, men n\u00e5r det kommer til statistik, er alt pr\u00e6cist omvendt.<\/p>\n<p>Men her er fordelene ved en dataingeni\u00f8r:<\/p>\n<p>uden ham\/hende vil v\u00e6rdien af prototypemodellen, som ofte best\u00e5r af et fragment af d\u00e5rligt kvalitet kode i en Python-fil, leveret af en dataforsker og p\u00e5 en eller anden m\u00e5de giver et resultat, g\u00e5 mod nul.<\/p>\n<p>Uden dataingeni\u00f8ren vil denne kode aldrig blive et projekt, og ingen forretningsproblem vil blive l\u00f8st effektivt. Dataingeni\u00f8ren fors\u00f8ger at omdanne alt dette til et produkt.<\/p>\n<p><b>Grundl\u00e6ggende information, som en dataingeni\u00f8r skal vide<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Hvem er dataingeni\u00f8rer, og hvordan bliver man en?\" src=\"\/wp-content\/uploads\/2019\/05\/f724004e5a30a0c021c4377d66985d16.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nS\u00e5 hvis dette job v\u00e6kker lys i dig, og du er fuld af entusiasme \u2014 du er i stand til at l\u00e6re dette, du kan tilegne dig alle de n\u00f8dvendige f\u00e6rdigheder og blive en \u00e6gte rockstjerne inden for dataproduktion. Og ja, du kan opn\u00e5 dette selv uden programmeringsf\u00e6rdigheder eller anden teknisk viden. Det er sv\u00e6rt, men muligt!<\/p>\n<p><b>Hvad er de f\u00f8rste skridt?<\/b><\/p>\n<blockquote><p><i>Du skal have en overordnet forst\u00e5else af, hvad der er hvad.<\/i><\/p><\/blockquote>\n<p>For det f\u00f8rste vedr\u00f8rer Data Engineering datalogi. Specifikt \u2013 du skal forst\u00e5 effektive algoritmer og datastrukturer. For det andet, eftersom dataingeni\u00f8rer arbejder med data, er det n\u00f8dvendigt at have forst\u00e5else for, hvordan databaser fungerer, samt de underliggende strukturer.<\/p>\n<p>For eksempel er almindelige B-tree SQL databaser baseret p\u00e5 B-Tree datastrukturen, samt i moderne distribuerede lagre, LSM-Tree og andre modifikationer af hash-tabeller.<\/p>\n<p><i>* Disse trin er baseret p\u00e5 en fremragende artikel <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@adil_45422\">Adil Khashtamov<\/a><\/noindex>. S\u00e5 hvis du kan russisk, s\u00e5 st\u00f8t denne forfatter og l\u00e6s <noindex><a rel=\"nofollow\" href=\"https:\/\/khashtamov.com\/ru\/data-engineer\/\">hans indl\u00e6g<\/a><\/noindex>.<\/i><\/p>\n<p><b>1. Algoritmer og datastrukturer<\/b><\/p>\n<p>Brugen af den rigtige datastruktur kan betydeligt forbedre algoritmens ydeevne. Ideelt set b\u00f8r vi alle l\u00e6re datastrukturer og algoritmer i skolen, men det bliver sj\u00e6ldent d\u00e6kket. Under alle omst\u00e6ndigheder er det aldrig for sent at f\u00e5 indsigt.<br \/>\nS\u00e5 her er mine yndlings gratis kurser til at l\u00e6re datastrukturer og algoritmer:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.udemy.com\/introduction-to-data-structures\/?ranMID=39197&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-fcVI3mDcwPC4Q5dpzDABSg&amp;LSNPUBID=JVFxdTr9V80\">Fra enkel til kompleks: Datastrukturer (Udemy)<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.coursera.org\/learn\/algorithms-part1?ranMID=40328&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-Y2SOzvEQ5UCqGZ8SQ8yPFA&amp;siteID=JVFxdTr9V80-Y2SOzvEQ5UCqGZ8SQ8yPFA&amp;utm_content=10&amp;utm_medium=partners&amp;utm_source=linkshare&amp;utm_campaign=JVFxdTr9V80\">Algoritmer, Del I (Coursera)<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.coursera.org\/learn\/algorithms-part2?ranMID=40328&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-sXWvgPKRyzYEBJ33lVooUQ&amp;siteID=JVFxdTr9V80-sXWvgPKRyzYEBJ33lVooUQ&amp;utm_content=10&amp;utm_medium=partners&amp;utm_source=linkshare&amp;utm_campaign=JVFxdTr9V80\">Algoritmer, Del II (Coursera)<\/a><\/noindex>\n <\/li>\n<\/ul>\n<p>Plus glem ikke det klassiske arbejde med algoritmerne af Thomas Cormen \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/0262033844\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=0262033844&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=74742875db503b1a899ca35159749067\">Introduktion til algoritmer<\/a><\/noindex>. Det er den perfekte h\u00e5ndbog, n\u00e5r du skal friske din hukommelse op.<\/p>\n<ul>\n<li>For at forbedre dine f\u00e6rdigheder, brug <noindex><a rel=\"nofollow\" href=\"https:\/\/leetcode.com\/problemset\/algorithms\/\">Leetcode<\/a><\/noindex>.<\/li>\n<\/ul>\n<p>Du kan ogs\u00e5 dykke ind i databaseverdenen med de fantastiske videoer fra Carnegie Mellon University p\u00e5 Youtube:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/playlist?list=PLSE8ODhjZXjYutVzTeAds8xUt1rcmyT7x\">Introduktion til databasesystemer<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/playlist?list=PLSE8ODhjZXja7K1hjZ01UTVDnGQdx5v5U\">Avancerede databasesystemer<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><b>2. L\u00e6ring af SQL<\/b><\/p>\n<p>Hele vores liv er data. For at hente disse data fra en database, skal du \"tale\" med dem p\u00e5 et f\u00e6lles sprog.<\/p>\n<p>SQL (Structured Query Language \u2014 struktureret foresp\u00f8rgselssprog) er kommunikationsspr\u00e5ket inden for dataomr\u00e5det. Uanset hvad nogen siger, har SQL levet, lever, og vil forts\u00e6tte med at leve i lang tid.<\/p>\n<p>Hvis du har v\u00e6ret i udvikling i lang tid, har du sikkert bem\u00e6rket, at rygterne om SQL's snarlige d\u00f8d dukker op fra tid til anden. Sproget blev udviklet i begyndelsen af 70'erne og er stadig meget popul\u00e6rt blandt analytikere, udviklere og bare entusiaster.<br \/>\nUden kendskab til SQL er der intet at g\u00f8re inden for datateknik, da du uundg\u00e5eligt vil skulle lave foresp\u00f8rgsler for at hente data. Alle moderne datalagringssystemer underst\u00f8tter SQL:<\/p>\n<ul>\n<li>Amazon Redshift<\/li>\n<li>HP Vertica<\/li>\n<li>Oracle<\/li>\n<li>SQL Server<\/li>\n<\/ul>\n<p>\u2026 og mange andre.<\/p>\n<p>For at analysere store datam\u00e6ngder, der er gemt i distribuerede systemer som HDFS, er der blevet opfundet SQL-mekanismer: Apache Hive, Impala osv. Ser du, det er ikke p\u00e5 vej v\u00e6k.<\/p>\n<p>Hvordan l\u00e6rer man SQL? G\u00f8r det bare i praksis.<\/p>\n<p>Til dette vil jeg anbefale at se p\u00e5 en fremragende tutorial, som for \u00f8vrigt er gratis, fra <noindex><a rel=\"nofollow\" href=\"https:\/\/mode.com\/sql-tutorial\/introduction-to-sql\/\">Mode Analytics<\/a><\/noindex>.<\/p>\n<ol>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.datacamp.com\/courses\/intermediate-sql\/\">Mellemniveau SQL<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.datacamp.com\/courses\/joining-data-in-postgresql\">Sammenl\u00e6gning af data i SQL<\/a><\/noindex><\/li>\n<\/ol>\n<p>En fremtr\u00e6dende funktion ved disse kurser er den interaktive platform, hvor du kan skrive og udf\u00f8re SQL-foresp\u00f8rgsler direkte i browseren. Ressourcen <noindex><a rel=\"nofollow\" href=\"https:\/\/modern-sql.com\/\">Modern SQL<\/a><\/noindex> vil v\u00e6re nyttig. Og du kan anvende denne viden i <noindex><a rel=\"nofollow\" href=\"https:\/\/leetcode.com\/problemset\/database\/\">opgaver p\u00e5 Leetcode<\/a><\/noindex> i sektionen for databaser.<\/p>\n<p><b>3. Programmering i Python og Java\/Scala<\/b><\/p>\n<p>Jeg har allerede beskrevet, hvorfor det er v\u00e6rd at l\u00e6re programmeringssproget Python i artiklen <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/datadriveninvestor\/python-vs-r-choosing-the-best-tool-for-ai-ml-data-science-7e0c2295e243\">Python vs R. Valget af det bedste v\u00e6rkt\u00f8j til AI, ML og Data Science<\/a><\/noindex>. Hvad ang\u00e5r Java og Scala, er de fleste v\u00e6rkt\u00f8jer til lagring og behandling af enorme datam\u00e6ngder skrevet p\u00e5 disse sprog. For eksempel:<\/p>\n<ul>\n<li>Apache Kafka (Scala)<\/li>\n<li>Hadoop, HDFS (Java)<\/li>\n<li>Apache Spark (Scala)<\/li>\n<li>Apache Cassandra (Java)<\/li>\n<li>HBase (Java)<\/li>\n<li>Apache Hive (Java)<\/li>\n<\/ul>\n<p>For at forst\u00e5, hvordan disse v\u00e6rkt\u00f8jer fungerer, skal du kende de sprog, som de er skrevet i. Den funktionelle tilgang i Scala g\u00f8r det muligt effektivt at l\u00f8se opgaver inden for parallel databehandling. Python kan desv\u00e6rre ikke prale af hastighed og parallel behandling. Generelt set har kendskab til flere sprog og programmeringsparadigmer en positiv indvirkning p\u00e5 bredden af tilgange til probleml\u00f8sning.<\/p>\n<p>For at dykke ned i Scala-sproget kan du l\u00e6se <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/0981531687\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=0981531687&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=69314619f1e546e3921eb97c72cf4850\">Programmering i Scala<\/a><\/noindex> af sprogforfatteren. Derudover har Twitter udgivet en god introduktionsguide \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/twitter.github.io\/scala_school\/\">Scala School<\/a><\/noindex>.<\/p>\n<p>N\u00e5r det kommer til Python, mener jeg, at <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1491946008\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1491946008&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=8a663e966770c24874e323133cc7a005\">Fluent Python<\/a><\/noindex> er den bedste bog p\u00e5 mellemniveau.<\/p>\n<p><b>4. V\u00e6rkt\u00f8jer til arbejde med store data<\/b><\/p>\n<p>Her er en liste over de mest popul\u00e6re v\u00e6rkt\u00f8jer inden for big data:<\/p>\n<ul>\n<li>Apache Spark<\/li>\n<li>Apache Kafka<\/li>\n<li>Apache Hadoop (HDFS, HBase, Hive)<\/li>\n<li>Apache Cassandra<\/li>\n<\/ul>\n<p>Mere information om opbygning af store datablokke kan du finde i dette fantastiske <noindex><a rel=\"nofollow\" href=\"http:\/\/xyz.insightdataengineering.com\/blog\/pipeline_map\/\">interaktive milj\u00f8<\/a><\/noindex>. De mest popul\u00e6re v\u00e6rkt\u00f8jer er Spark og Kafka. De er bestemt v\u00e6rd at studere, helst forst\u00e5, hvordan de arbejder inden i. Jay Kreps (medskaber af Kafka) offentliggjorde i 2013 et monumentalt v\u00e6rk <noindex><a rel=\"nofollow\" href=\"https:\/\/engineering.linkedin.com\/distributed-systems\/log-what-every-software-engineer-should-know-about-real-time-datas-unifying\">The Log: hvad hver softwareudvikler skal vide om abstraktionen af datakombinationer i realtid<\/a><\/noindex>, forresten, de grundl\u00e6ggende ideer fra denne talmud blev brugt til at skabe Apache Kafka.<\/p>\n<ul>\n<li>En introduktion til Hadoop kan v\u00e6re <noindex><a rel=\"nofollow\" href=\"https:\/\/data-flair.training\/blogs\/hadoop-tutorials-home\/\">Den ultimative guide til at mestre Hadoop (gratis)<\/a><\/noindex>.<\/li>\n<li>Den mest omfattende guide til Apache Spark for mig er \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1491912219\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1491912219&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=5b206424060cfc80a33d13b05c0bfee2\">Spark: Den komplette guide<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><b>5. Cloud-platforme<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Hvem er dataingeni\u00f8rer, og hvordan bliver man en?\" src=\"\/wp-content\/uploads\/2019\/05\/cc435bc9f9b91ec87d1cf7a591cf84a2.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nAt have kendskab til mindst \u00e9n cloud-platform er et basis krav for ans\u00f8gere til stillingen som dataingeni\u00f8r. Arbejdsgivere foretr\u00e6kker Amazon Web Services, p\u00e5 andenpladsen er Google Cloud Platform, og p\u00e5 tredjepladsen Microsoft Azure.<\/p>\n<p>Du skal have godt kendskab til Amazon EC2, AWS Lambda, Amazon S3, DynamoDB.<\/p>\n<p><b>6. Fordelte systemer<\/b><\/p>\n<p>Arbejdet med store data indeb\u00e6rer eksistensen af klynger af uafh\u00e6ngigt fungerende computere, der kommunikerer med hinanden over et netv\u00e6rk. Jo st\u00f8rre klyngen er, jo st\u00f8rre er sandsynligheden for, at dens noder fejler. For at blive en dygtig ekspert inden for data skal du dykke ind i problemstillingerne og eksisterende l\u00f8sninger for distribuerede systemer. Dette felt er gammelt og komplekst.<\/p>\n<p>Andrew Tanenbaum betragtes som en pioner inden for dette omr\u00e5de. For dem der ikke er bange for teori, anbefaler jeg hans bog <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1543057381\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1543057381&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=721aedeb23c313bc46a92c134c5baafa\">\u00abFordelte systemer\u00bb<\/a><\/noindex>, for begyndere kan den virke kompleks, men det vil virkelig hj\u00e6lpe dig med at finpudse dine f\u00e6rdigheder.<\/p>\n<p>Jeg mener <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1449373321\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1449373321&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=e7e0e096aa5761066245eb90965ac849\">\u00abDesign af datatunge applikationer\u00bb af Martin Kleppmann<\/a><\/noindex> den bedste introduktionsbog. Forresten har Martin en fantastisk <noindex><a rel=\"nofollow\" href=\"https:\/\/martin.kleppmann.com\/\">blog<\/a><\/noindex>. Hans arbejde vil hj\u00e6lpe med at systematisere viden om opbygning af moderne infrastruktur til lagring og behandling af store data.<br \/>\nFor dem der kan lide at se videoer, findes der et kursus p\u00e5 Youtube <noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=w8KFPWkK0bI&amp;list=PLawkBQ15NDEkDJ5IyLIJUTZ1rRM9YQq6N&amp;index=2&amp;t=0s\">Fordelte computersystemer<\/a><\/noindex>.<\/p>\n<p><b>7. Datakanaler<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Hvem er dataingeni\u00f8rer, og hvordan bliver man en?\" src=\"\/wp-content\/uploads\/2019\/05\/cf1c8e2baad0cc79c0b8c3707741353a.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDatakanaler er noget, du ikke kan leve uden som dataingeni\u00f8r.<\/p>\n<p>Det meste af tiden bygger en dataingeni\u00f8r det s\u00e5kaldte datakanal, hvilket betyder at skabe en proces til levering af data fra et sted til et andet. Dette kan v\u00e6re brugerflows, der g\u00e5r til en API fra en ekstern tjeneste eller laver SQL-foresp\u00f8rgsler, beriger data og placerer dem i et centraliseret lager (datavarehus) eller et lager for ustrukturerede data (datadamme).<\/p>\n<p><b>Sammenfattende: den prim\u00e6re tjekliste for en dataingeni\u00f8r<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Hvem er dataingeni\u00f8rer, og hvordan bliver man en?\" src=\"\/wp-content\/uploads\/2019\/05\/de0eca662b2246e63901afb89c9f255f.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nLad os opsummere \u2013 der er behov for en god forst\u00e5else af f\u00f8lgende:<\/p>\n<ul>\n<li>Informationssystemer;<\/li>\n<li>Softwareudvikling (Agil, DevOps, Designteknikker, SOA);<\/li>\n<li>Fordelte systemer og parallel programmering;<\/li>\n<li>Grundl\u00e6ggende databasebegreber \u2013 planl\u00e6gning, design, drift og fejlfinding;<\/li>\n<li>Eksperimentdesign \u2013 A\/B-tests til bevis for koncepter, vurdering af systemers p\u00e5lidelighed og ydeevne samt til udvikling af p\u00e5lidelige metoder til hurtig leverance af gode l\u00f8sninger.<\/li>\n<\/ul>\n<p>Dette er blot nogle af kravene for at blive dataingeni\u00f8r, s\u00e5 unders\u00f8g og s\u00e6t dig ind i datasystemer, informationssystemer, kontinuerlig levering\/implementering\/integration, programmeringssprog og andre emner inden for datalogi (ikke i alle fagomr\u00e5der).<\/p>\n<p><b>Og til sidst, men ikke mindre vigtigt, vil jeg gerne sige.<\/b><\/p>\n<blockquote><p><i><b>Vejen til at blive Data Engineer er ikke s\u00e5 enkel, som den m\u00e5ske ser ud. Den tilgiver ikke, frustrerer, og du skal v\u00e6re klar til det. Nogle \u00f8jeblikke i denne rejse kan f\u00e5 dig til at overveje at give op. Men det er en \u00e6gte arbejds- og l\u00e6ringsproces.<\/b><\/i><\/p><\/blockquote>\n<p>Bare pynt ikke p\u00e5 det fra starten. Hele pointen med rejsen er at l\u00e6re s\u00e5 meget som muligt og v\u00e6re klar til nye udfordringer.<br \/>\nHer er et fantastisk billede, som jeg st\u00f8dte p\u00e5, der illustrerer dette punkt godt:<\/p>\n<p><img decoding=\"async\" alt=\"Hvem er dataingeni\u00f8rer, og hvordan bliver man en?\" src=\"\/wp-content\/uploads\/2019\/05\/9cc8db9011e5f54717d7e9f31f915523.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nOg ja, glem ikke at undg\u00e5 udbr\u00e6ndthed og tage pauser. Det er ogs\u00e5 meget vigtigt. Held og lykke!<\/p>\n<p>Hvad synes I om artiklen, venner? Vi inviterer til <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/RCuj\/\">et gratis webinar<\/a><\/noindex>, der finder sted i dag kl. 20.00. Under webinaret vil vi diskutere, hvordan man bygger et effektivt og skalerbart databehandlingssystem for en lille virksomhed eller startup med minimale omkostninger. Som en del af praksis vil vi introducere Google Clouds databehandlingsv\u00e6rkt\u00f8jer. Vi ses!<br \/>\n<br \/>Kilde: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/452670\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u0442\u043e\u043c, \u043a\u0442\u043e \u0436\u0435 \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b. \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0441\u0441\u044b\u043b\u043e\u043a. \u041f\u0440\u0438\u044f\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0447\u0442\u0435\u043d\u0438\u044f. \u041f\u0440\u043e\u0441\u0442\u043e\u0435 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043f\u043e\u0439\u043c\u0430\u0442\u044c \u0432\u043e\u043b\u043d\u0443 Data Engineering \u0438 \u043d\u0435 \u0434\u0430\u0442\u044c \u0435\u0439 \u0437\u0430\u0442\u044f\u043d\u0443\u0442\u044c \u0432\u0430\u0441 \u0432 \u043f\u0443\u0447\u0438\u043d\u0443. \u0421\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u0435, \u0447\u0442\u043e \u0432 \u043d\u0430\u0448\u0438 \u0434\u043d\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":25729,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-34083","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"da_DK\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b, \u0438 \u043a\u0430\u043a \u0438\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f? | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T18:56:19+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T18:56:19+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Hvem er dataingeni\u00f8rer, og hvordan bliver man en? | ProHoster","description":"Hej igen! Artiklens titel taler for sig selv.","canonical_url":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"da_DK","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b, \u0438 \u043a\u0430\u043a \u0438\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f? | ProHoster","og:description":"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.","og:url":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:56:19+00:00","article:modified_time":"2019-10-31T18:56:19+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"34083","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 17:49:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:28:35","updated":"2026-01-21 17:49:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/34083","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/comments?post=34083"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/34083\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media\/25729"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media?parent=34083"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/categories?post=34083"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/tags?post=34083"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}