{"id":34083,"date":"2019-10-31T21:56:19","date_gmt":"2019-10-31T18:56:19","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\/"},"modified":"2019-10-31T21:56:19","modified_gmt":"2019-10-31T18:56:19","slug":"kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","title":{"rendered":"Vem \u00e4r dataingenj\u00f6rer, och hur blir man det?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Hej igen! Artikelns rubrik talar f\u00f6r sig sj\u00e4lv. I f\u00f6rberedelse inf\u00f6r kursstart <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/a4Uj\/\">\u201eData Engineer\u201c<\/a><\/noindex> erbjuder vi en grundlig genomg\u00e5ng av vad dataingenj\u00f6rer faktiskt \u00e4r. I artikeln finns m\u00e5nga anv\u00e4ndbara l\u00e4nkar. Trevlig l\u00e4sning.<\/p>\n<p><img decoding=\"async\" alt=\"Vem \u00e4r dataingenj\u00f6rer, och hur blir man det?\" src=\"\/wp-content\/uploads\/2019\/05\/5f831df35ab1292adafca20f937ed22d.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<i>En enkel guide om hur man f\u00e5ngar v\u00e5gen av data engineering och inte l\u00e5ter den dra ner en i avgrunden.<\/i><\/p>\n<p>Det k\u00e4nns som att alla idag vill bli data scientist. Men hur \u00e4r det med data engineering? <i>I grunden \u00e4r det en slags hybrid mellan dataanalytiker och data scientist; en dataingenj\u00f6r ansvarar vanligtvis f\u00f6r hantering av arbetsfl\u00f6den, processlinjer och ETL-processer.<\/i>Med tanke p\u00e5 viktigheten av dessa funktioner \u00e4r detta f\u00f6r n\u00e4rvarande \u00e4nnu ett popul\u00e4rt professionellt buzzword som aktivt v\u00e4xer.<\/p>\n<p>H\u00f6g l\u00f6n och enorm efterfr\u00e5gan \u00e4r bara en del av vad som g\u00f6r detta jobb oerh\u00f6rt attraktivt! Om du vill g\u00e5 med i hj\u00e4ltarnas skara \u00e4r det aldrig f\u00f6r sent att b\u00f6rja l\u00e4ra sig. I detta inl\u00e4gg har jag samlat all n\u00f6dv\u00e4ndig information f\u00f6r att hj\u00e4lpa dig att ta de f\u00f6rsta stegen.<\/p>\n<p>S\u00e5, l\u00e5t oss b\u00f6rja!<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p><b>Vad \u00e4r data engineering?<\/b><\/p>\n<p>\u00c4rligt talat finns det ingen b\u00e4ttre f\u00f6rklaring \u00e4n detta:<\/p>\n<blockquote><p><i>\u201cEn forskare kan uppt\u00e4cka en ny stj\u00e4rna, men kan inte skapa den. Han m\u00e5ste be en ingenj\u00f6r g\u00f6ra det \u00e5t honom.\u201d<\/i><\/p>\n<p>\u2013Gordon Lindsay Glegg<\/p><\/blockquote>\n<p>D\u00e4rmed \u00e4r rollen som dataingenj\u00f6r ganska betydelsefull.<\/p>\n<p>Av namnet framg\u00e5r att data engineering handlar om data, n\u00e4mligen om deras leverans, lagring och bearbetning. Huvuduppgiften f\u00f6r ingenj\u00f6rerna \u00e4r att s\u00e4kerst\u00e4lla en p\u00e5litlig infrastruktur f\u00f6r data. Om vi ser p\u00e5 AI-hierarkin \u00f6ver behov, ligger data engineering i de f\u00f6rsta 2\u20133 stegen: <b>insamling, flytt och lagring, datatillagning<\/b>.<\/p>\n<p><img decoding=\"async\" alt=\"Vem \u00e4r dataingenj\u00f6rer, och hur blir man det?\" src=\"\/wp-content\/uploads\/2019\/05\/377481f2f52a4ed771508a450678afd0.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<b>Vad g\u00f6r en dataingenj\u00f6r?<\/b><\/p>\n<p>Med framv\u00e4xten av stordata har ansvarsomr\u00e5dena f\u00f6r\u00e4ndrats drastiskt. Tidigare skrev dessa experter stora SQL-fr\u00e5gor och flyttade data med hj\u00e4lp av verktyg som Informatica ETL, Pentaho ETL, Talend, men nu har kraven p\u00e5 dataingenj\u00f6rer \u00f6kat.<\/p>\n<p>De flesta f\u00f6retag med lediga tj\u00e4nster f\u00f6r dataingenj\u00f6rer st\u00e4ller f\u00f6ljande krav:<\/p>\n<ul>\n<li>Utm\u00e4rkt kunskap i SQL och Python.<\/li>\n<li>Erfarenhet av molnplattformar, s\u00e4rskilt Amazon Web Services.<\/li>\n<li>Det \u00e4r en f\u00f6rdel med kunskap i Java\/Scala.<\/li>\n<li>God f\u00f6rst\u00e5else f\u00f6r SQL- och NoSQL-databaser (datamodellering, datalagring).<\/li>\n<\/ul>\n<p>T\u00e4nk p\u00e5 att detta bara \u00e4r det mest n\u00f6dv\u00e4ndiga. Fr\u00e5n denna lista kan man anta att dataingenj\u00f6rer \u00e4r specialister inom mjukvaruutveckling och backend.<br \/>\nTill exempel, om ett f\u00f6retag b\u00f6rjar generera stora m\u00e4ngder data fr\u00e5n olika k\u00e4llor, \u00e4r din uppgift som dataingenj\u00f6r att organisera insamlingen av information, dess bearbetning och lagring.<\/p>\n<p>Listan \u00f6ver verktyg som anv\u00e4nds i det h\u00e4r fallet kan variera, allt beror p\u00e5 m\u00e4ngden data, hastigheten p\u00e5 deras inkommande och heterogeniteten. De flesta f\u00f6retag st\u00e4lls \u00f6verhuvudtaget inte inf\u00f6r stora data, s\u00e5 f\u00f6r ett centralt lagringsutrymme, det s\u00e5 kallade datalagret, kan en SQL-databas (PostgreSQL, MySQL etc.) anv\u00e4ndas med ett litet antal skript som dirigerar data till lagret.<\/p>\n<p>IT-j\u00e4ttar som Google, Amazon, Facebook eller Dropbox st\u00e4ller h\u00f6gre krav: kunskap om Python, Java eller Scala.<\/p>\n<ul>\n<li>Erfarenhet av stora datam\u00e4ngder: Hadoop, Spark, Kafka.<\/li>\n<li>Kunskap om algoritmer och datastrukturer.<\/li>\n<li>F\u00f6rst\u00e5else f\u00f6r grunderna i distribuerade system.<\/li>\n<li>Erfarenhet av datavisualiseringsverktyg, s\u00e5som Tableau eller ElasticSearch, \u00e4r en stor f\u00f6rdel.<\/li>\n<\/ul>\n<p>Det finns allts\u00e5 en tydlig f\u00f6rskjutning mot stora data, s\u00e4rskilt i deras bearbetning under h\u00f6g belastning. Dessa f\u00f6retag har h\u00f6ga krav p\u00e5 systemets fel tolerance.<\/p>\n<p><b>Dataingenj\u00f6rer Vs. dataforskare<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Vem \u00e4r dataingenj\u00f6rer, och hur blir man det?\" src=\"\/wp-content\/uploads\/2019\/05\/f01dd66863fcc0a89ab0b763d208a863.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Okej, det h\u00e4r var en enkel och rolig j\u00e4mf\u00f6relse (inget personligt), men i verkligheten \u00e4r det mycket mer komplicerat.<\/i><\/p>\n<p>F\u00f6r det f\u00f6rsta m\u00e5ste du veta att det finns en hel del oklarhet kring skillnaderna mellan rollerna och f\u00e4rdigheterna hos dataforskare och dataingenj\u00f6rer. Det vill s\u00e4ga, du kan l\u00e4tt bli f\u00f6rvirrad \u00f6ver vilka f\u00e4rdigheter som verkligen beh\u00f6vs f\u00f6r att bli en framg\u00e5ngsrik dataingenj\u00f6r. Sj\u00e4lvklart finns det vissa f\u00e4rdigheter som \u00f6verlappar mellan b\u00e5da rollerna. Men det finns ocks\u00e5 en rad diametralt motsatta f\u00e4rdigheter.<\/p>\n<p>Data science \u00e4r en seri\u00f6s aff\u00e4r, men vi g\u00e5r mot en v\u00e4rld med funktionell data science, d\u00e4r praktiker \u00e4r kapabla att g\u00f6ra sin egen analys. F\u00f6r att aktivera datar\u00f6rledningar och integrerade datakonstruktioner beh\u00f6vs dataingenj\u00f6rer snarare \u00e4n forskare.<\/p>\n<p><b>\u00c4r dataingenj\u00f6rer mer eftertraktade \u00e4n dataforskare?<\/b><\/p>\n<blockquote><p><i> \u2014 Ja, f\u00f6r innan du kan baka en morotskaka m\u00e5ste du f\u00f6rst samla, reng\u00f6ra och f\u00f6rse dig med mor\u00f6tter!<\/i><\/p><\/blockquote>\n<p>En dataingenj\u00f6r har b\u00e4ttre kunskaper i programmering \u00e4n n\u00e5gon data scientist, men n\u00e4r det kommer till statistik \u00e4r allt precis tv\u00e4rtom.<\/p>\n<p>Men h\u00e4r \u00e4r f\u00f6rdelen med en dataingenj\u00f6r:<\/p>\n<p>utan honom\/henne str\u00e4var v\u00e4rdet av prototypmodellen, som oftast best\u00e5r av en del av d\u00e5lig kod i en Python-fil, erh\u00e5llen fr\u00e5n data scientist och som p\u00e5 n\u00e5got s\u00e4tt ger ett resultat, mot noll.<\/p>\n<p>Utan dataingenj\u00f6ren kommer den h\u00e4r koden aldrig att bli ett projekt, och inget aff\u00e4rsproblem kommer att l\u00f6sas effektivt. Dataingenj\u00f6ren f\u00f6rs\u00f6ker omvandla allt detta till en produkt.<\/p>\n<p><b>Grunderna som varje dataingenj\u00f6r b\u00f6r k\u00e4nna till<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Vem \u00e4r dataingenj\u00f6rer, och hur blir man det?\" src=\"\/wp-content\/uploads\/2019\/05\/f724004e5a30a0c021c4377d66985d16.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nS\u00e5 om detta jobb v\u00e4cker liv i dig och du \u00e4r full av entusiasm \u2014 du kan l\u00e4ra dig detta, du kan beh\u00e4rska alla n\u00f6dv\u00e4ndiga f\u00e4rdigheter och bli en riktig rockstj\u00e4rna inom datateknik. Och ja, du kan \u00e5stadkomma detta \u00e4ven utan programmeringsf\u00e4rdigheter eller annan teknisk kunskap. Det \u00e4r sv\u00e5rt, men m\u00f6jligt!<\/p>\n<p><b>Vad \u00e4r f\u00f6rsta stegen?<\/b><\/p>\n<blockquote><p><i>Du m\u00e5ste ha en allm\u00e4n uppfattning om vad som \u00e4r vad.<\/i><\/p><\/blockquote>\n<p>F\u00f6rst och fr\u00e4mst handlar dataengineering om datavetenskap. Specifikt \u2014 du m\u00e5ste f\u00f6rst\u00e5 effektiva algoritmer och datastrukturer. F\u00f6r det andra, eftersom dataingenj\u00f6rer arbetar med data, m\u00e5ste det finnas en f\u00f6rst\u00e5else f\u00f6r principerna bakom databaser och de strukturer som ligger till grund f\u00f6r dem.<\/p>\n<p>Till exempel, vanliga B-tree SQL-databaser baseras p\u00e5 datastrukturen B-Tree, och i moderna distribuerade f\u00f6rr\u00e5d, LSM-Tree och andra varianter av hash-tabeller.<\/p>\n<p><i>* Dessa steg baseras p\u00e5 en fantastisk artikel <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@adil_45422\">Adil Hashtamov<\/a><\/noindex>. S\u00e5 om du kan ryska, st\u00f6d denna f\u00f6rfattare och l\u00e4s <noindex><a rel=\"nofollow\" href=\"https:\/\/khashtamov.com\/ru\/data-engineer\/\">hans inl\u00e4gg<\/a><\/noindex>.<\/i><\/p>\n<p><b>1. Algoritmer och datastrukturer<\/b><\/p>\n<p>Att anv\u00e4nda r\u00e4tt datastruktur kan avsev\u00e4rt f\u00f6rb\u00e4ttra algoritmens prestanda. Idealiskt sett b\u00f6r vi alla studera datastrukturer och algoritmer i v\u00e5ra skolor, men det \u00e4r s\u00e4llan som det lyfts fram. I vilket fall som helst \u00e4r det aldrig f\u00f6r sent att bekanta sig.<br \/>\nS\u00e5 h\u00e4r \u00e4r mina favoritgratiskurser f\u00f6r att l\u00e4ra sig datastrukturer och algoritmer:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.udemy.com\/introduction-to-data-structures\/?ranMID=39197&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-fcVI3mDcwPC4Q5dpzDABSg&amp;LSNPUBID=JVFxdTr9V80\">Fr\u00e5n enkla till sv\u00e5ra: Datastrukturer (Udemy)<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.coursera.org\/learn\/algorithms-part1?ranMID=40328&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-Y2SOzvEQ5UCqGZ8SQ8yPFA&amp;siteID=JVFxdTr9V80-Y2SOzvEQ5UCqGZ8SQ8yPFA&amp;utm_content=10&amp;utm_medium=partners&amp;utm_source=linkshare&amp;utm_campaign=JVFxdTr9V80\">Algoritmer, Del I (Coursera)<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.coursera.org\/learn\/algorithms-part2?ranMID=40328&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-sXWvgPKRyzYEBJ33lVooUQ&amp;siteID=JVFxdTr9V80-sXWvgPKRyzYEBJ33lVooUQ&amp;utm_content=10&amp;utm_medium=partners&amp;utm_source=linkshare&amp;utm_campaign=JVFxdTr9V80\">Algoritmer, Del II (Coursera)<\/a><\/noindex>\n <\/li>\n<\/ul>\n<p>Och gl\u00f6m inte den klassiska boken om algoritmer av Thomas Cormen \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/0262033844\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=0262033844&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=74742875db503b1a899ca35159749067\">Introduktion till algoritmer<\/a><\/noindex>. Det \u00e4r den perfekta referensen n\u00e4r du beh\u00f6ver fr\u00e4scha upp ditt minne.<\/p>\n<ul>\n<li>F\u00f6r att f\u00f6rb\u00e4ttra dina f\u00e4rdigheter, anv\u00e4nd <noindex><a rel=\"nofollow\" href=\"https:\/\/leetcode.com\/problemset\/algorithms\/\">Leetcode<\/a><\/noindex>.<\/li>\n<\/ul>\n<p>Du kan ocks\u00e5 dyka ner i databashanteringens v\u00e4rld med fantastiska videor fr\u00e5n Carnegie Mellon University p\u00e5 Youtube:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/playlist?list=PLSE8ODhjZXjYutVzTeAds8xUt1rcmyT7x\">Introduktion till databassystem<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/playlist?list=PLSE8ODhjZXja7K1hjZ01UTVDnGQdx5v5U\">Avancerade databassystem<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><b>2. L\u00e4r dig SQL<\/b><\/p>\n<p>Hela v\u00e5rt liv handlar om data. Och f\u00f6r att extrahera dessa data fr\u00e5n en databas m\u00e5ste du \"prata\" med dem p\u00e5 samma spr\u00e5k.<\/p>\n<p>SQL (Structured Query Language \u2014 strukturerat fr\u00e5gespr\u00e5k) \u00e4r kommunikationsspr\u00e5ket inom datav\u00e4rlden. Oavsett vad n\u00e5gon s\u00e4ger, SQL har funnits, finns fortfarande och kommer att finnas l\u00e4nge fram\u00f6ver.<\/p>\n<p>Om du har varit inom utveckling under en l\u00e4ngre tid har du f\u00f6rmodligen lagt m\u00e4rke till att rykten om SQL:s snara d\u00f6d dyker upp d\u00e5 och d\u00e5. Spr\u00e5ket skapades i b\u00f6rjan av 70-talet och \u00e4r fortfarande oerh\u00f6rt popul\u00e4rt bland analytiker, utvecklare och helt enkelt entusiaster.<br \/>\nUtan kunskap om SQL har du inget att g\u00f6ra inom datateknik, eftersom du oundvikligen kommer att beh\u00f6va skapa fr\u00e5gor f\u00f6r att extrahera data. Alla moderna stora datalager st\u00f6djer SQL:<\/p>\n<ul>\n<li>Amazon Redshift<\/li>\n<li>HP Vertica<\/li>\n<li>Oracle<\/li>\n<li>SQL Server<\/li>\n<\/ul>\n<p>\u2026 och m\u00e5nga fler.<\/p>\n<p>F\u00f6r att analysera stora datam\u00e4ngder lagrade i distribuerade system som HDFS, har SQL-mekanismer uppfunnits: Apache Hive, Impala osv. Ser du, det \u00e4r inte p\u00e5 v\u00e4g att f\u00f6rsvinna.<\/p>\n<p>Hur l\u00e4r man sig SQL? G\u00f6r det genom praktik.<\/p>\n<p>F\u00f6r detta skulle jag rekommendera att ta en titt p\u00e5 en utm\u00e4rkt bok som f\u00f6r \u00f6vrigt \u00e4r gratis, av <noindex><a rel=\"nofollow\" href=\"https:\/\/mode.com\/sql-tutorial\/introduction-to-sql\/\">Mode Analytics<\/a><\/noindex>.<\/p>\n<ol>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.datacamp.com\/courses\/intermediate-sql\/\">Mellanniv\u00e5 SQL<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.datacamp.com\/courses\/joining-data-in-postgresql\">Sammanfogning av data i SQL<\/a><\/noindex><\/li>\n<\/ol>\n<p>En utm\u00e4rkande funktion hos dessa kurser \u00e4r den interaktiva milj\u00f6n d\u00e4r du kan skriva och k\u00f6ra SQL-fr\u00e5gor direkt i webbl\u00e4saren. Resursen <noindex><a rel=\"nofollow\" href=\"https:\/\/modern-sql.com\/\">Modern SQL<\/a><\/noindex> kommer att vara anv\u00e4ndbar. Och du kan till\u00e4mpa dessa kunskaper i <noindex><a rel=\"nofollow\" href=\"https:\/\/leetcode.com\/problemset\/database\/\">Leetcode-uppgifter<\/a><\/noindex> i databassektionen.<\/p>\n<p><b>3. Programmering i Python och Java\/Scala<\/b><\/p>\n<p>Varf\u00f6r du b\u00f6r l\u00e4ra dig programmeringsspr\u00e5ket Python har jag redan skrivit i artikeln <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/datadriveninvestor\/python-vs-r-choosing-the-best-tool-for-ai-ml-data-science-7e0c2295e243\">Python vs R. V\u00e4lja det b\u00e4sta verktyget f\u00f6r AI, ML och Data Science<\/a><\/noindex>. N\u00e4r det g\u00e4ller Java och Scala \u00e4r de flesta verktyg f\u00f6r lagring och bearbetning av stora datam\u00e4ngder skrivna p\u00e5 dessa spr\u00e5k. Till exempel:<\/p>\n<ul>\n<li>Apache Kafka (Scala)<\/li>\n<li>Hadoop, HDFS (Java)<\/li>\n<li>Apache Spark (Scala)<\/li>\n<li>Apache Cassandra (Java)<\/li>\n<li>HBase (Java)<\/li>\n<li>Apache Hive (Java)<\/li>\n<\/ul>\n<p>F\u00f6r att f\u00f6rst\u00e5 hur dessa verktyg fungerar beh\u00f6ver du veta vilka spr\u00e5k de \u00e4r skrivna i. Den funktionella ansatsen i Scala g\u00f6r det m\u00f6jligt att effektivt l\u00f6sa problem med parallell databehandling. Tyv\u00e4rr kan Python inte skryta med samma hastighet och parallell bearbetning. \u00d6verlag p\u00e5verkar kunskapen om flera spr\u00e5k och programmeringsparadigm positivt bredden p\u00e5 tillv\u00e4gag\u00e5ngss\u00e4tten f\u00f6r att l\u00f6sa problem.<\/p>\n<p>F\u00f6r att dyka ner i spr\u00e5ket Scala kan du l\u00e4sa <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/0981531687\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=0981531687&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=69314619f1e546e3921eb97c72cf4850\">Programmering i Scala<\/a><\/noindex> av spr\u00e5kets skapare. F\u00f6retaget Twitter har ocks\u00e5 publicerat en bra introduktion \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/twitter.github.io\/scala_school\/\">Scala School<\/a><\/noindex>.<\/p>\n<p>N\u00e4r det g\u00e4ller Python anser jag att <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1491946008\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1491946008&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=8a663e966770c24874e323133cc7a005\">Fluent Python<\/a><\/noindex> \u00e4r den b\u00e4sta boken p\u00e5 medelniv\u00e5.<\/p>\n<p><b>4. Verktyg f\u00f6r arbete med stora data<\/b><\/p>\n<p>H\u00e4r \u00e4r en lista \u00f6ver de mest popul\u00e4ra verktygen inom stora data:<\/p>\n<ul>\n<li>Apache Spark<\/li>\n<li>Apache Kafka<\/li>\n<li>Apache Hadoop (HDFS, HBase, Hive)<\/li>\n<li>Apache Cassandra<\/li>\n<\/ul>\n<p>Mer information om hur man bygger stora datam\u00e4ngder kan du hitta i denna fantastiska <noindex><a rel=\"nofollow\" href=\"http:\/\/xyz.insightdataengineering.com\/blog\/pipeline_map\/\">interaktiva milj\u00f6<\/a><\/noindex>. De mest popul\u00e4ra verktygen \u00e4r Spark och Kafka. De \u00e4r definitivt v\u00e4rda att studera, och det \u00e4r bra att f\u00f6rst\u00e5 hur de fungerar inifr\u00e5n. Jay Kreps (medf\u00f6rfattare till Kafka) publicerade 2013 ett monumentalt arbete <noindex><a rel=\"nofollow\" href=\"https:\/\/engineering.linkedin.com\/distributed-systems\/log-what-every-software-engineer-should-know-about-real-time-datas-unifying\">The Log: vad varje mjukvaruutvecklare b\u00f6r veta om abstraktionen av sammanslagning av data i realtid<\/a><\/noindex>, f\u00f6r \u00f6vrigt anv\u00e4ndes de grundl\u00e4ggande id\u00e9erna fr\u00e5n denna text f\u00f6r att skapa Apache Kafka.<\/p>\n<ul>\n<li>En introduktion till Hadoop kan vara <noindex><a rel=\"nofollow\" href=\"https:\/\/data-flair.training\/blogs\/hadoop-tutorials-home\/\">Det kompletta guiden till att bem\u00e4stra Hadoop (gratis)<\/a><\/noindex>.<\/li>\n<li>Det mest omfattande guiden till Apache Spark f\u00f6r mig \u00e4r \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1491912219\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1491912219&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=5b206424060cfc80a33d13b05c0bfee2\">Spark: den kompletta guiden<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><b>5. Molnplattformar<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Vem \u00e4r dataingenj\u00f6rer, och hur blir man det?\" src=\"\/wp-content\/uploads\/2019\/05\/cc435bc9f9b91ec87d1cf7a591cf84a2.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nAtt ha kunskap om minst en molnplattform \u00e4r en grundl\u00e4ggande krav f\u00f6r kandidater till positionen som dataingenj\u00f6r. Arbetsgivare f\u00f6redrar Amazon Web Services, f\u00f6ljt av Googles molnplattform och p\u00e5 tredje plats Microsoft Azure.<\/p>\n<p>Du b\u00f6r ha god k\u00e4nnedom om Amazon EC2, AWS Lambda, Amazon S3, DynamoDB.<\/p>\n<p><b>6. Distribuerade system<\/b><\/p>\n<p>Arbete med stora data inneb\u00e4r att man har kluster av sj\u00e4lvst\u00e4ndigt fungerande datorer, vars kommunikation sker \u00f6ver n\u00e4tverket. Ju st\u00f6rre klustret \u00e4r, desto st\u00f6rre \u00e4r risken f\u00f6r att vissa noder misslyckas. F\u00f6r att bli en duktig expert inom data beh\u00f6ver du f\u00f6rst\u00e5 problemen och de befintliga l\u00f6sningarna f\u00f6r distribuerade system. Detta omr\u00e5de \u00e4r gammalt och komplext.<\/p>\n<p>Andrew Tanenbaum anses vara en pionj\u00e4r inom detta omr\u00e5de. F\u00f6r dem som inte \u00e4r r\u00e4dda f\u00f6r teori rekommenderar jag hans bok <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1543057381\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1543057381&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=721aedeb23c313bc46a92c134c5baafa\">\u00abDistribuerade system\u00bb<\/a><\/noindex>, f\u00f6r nyb\u00f6rjare kan den verka sv\u00e5r, men den kommer verkligen att hj\u00e4lpa dig att finslipa dina f\u00e4rdigheter.<\/p>\n<p>Jag anser <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1449373321\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1449373321&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=e7e0e096aa5761066245eb90965ac849\">\u00abDesign av datadominerade applikationer\u00bb av Martin Kleppmann<\/a><\/noindex> vara den b\u00e4sta introduktionsboken. F\u00f6r \u00f6vrigt har Martin en fantastisk <noindex><a rel=\"nofollow\" href=\"https:\/\/martin.kleppmann.com\/\">bloggen<\/a><\/noindex>. Hans arbete kommer att hj\u00e4lpa till att systematisera kunskapen om att bygga modern infrastruktur f\u00f6r lagring och bearbetning av stora data.<br \/>\nF\u00f6r dem som gillar att titta p\u00e5 videor finns det en kurs p\u00e5 Youtube <noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=w8KFPWkK0bI&amp;list=PLawkBQ15NDEkDJ5IyLIJUTZ1rRM9YQq6N&amp;index=2&amp;t=0s\">Distribuerade datorsystem<\/a><\/noindex>.<\/p>\n<p><b>7. Datapipelines<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Vem \u00e4r dataingenj\u00f6rer, och hur blir man det?\" src=\"\/wp-content\/uploads\/2019\/05\/cf1c8e2baad0cc79c0b8c3707741353a.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDatapipelines \u00e4r n\u00e5got du inte kan leva utan som dataingenj\u00f6r.<\/p>\n<p>Stor del av tiden bygger dataingenj\u00f6ren s\u00e5 kallade datar\u00f6rledningar, det vill s\u00e4ga skapar en process f\u00f6r att leverera data fr\u00e5n en plats till en annan. Det kan vara anv\u00e4ndarscenarier som g\u00e5r till en API fr\u00e5n en extern tj\u00e4nst eller g\u00f6r SQL-fr\u00e5gor, kompletterar data och placerar dem i ett centraliserat datalager (databas) eller ett lager av ostrukturerade data (data lakes).<\/p>\n<p><b>Sammanfattningsvis: den grundl\u00e4ggande checklistan f\u00f6r en dataingenj\u00f6r<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Vem \u00e4r dataingenj\u00f6rer, och hur blir man det?\" src=\"\/wp-content\/uploads\/2019\/05\/de0eca662b2246e63901afb89c9f255f.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nL\u00e5t oss sammanfatta \u2014 det kr\u00e4vs en god f\u00f6rst\u00e5else f\u00f6r f\u00f6ljande:<\/p>\n<ul>\n<li>Informationssystem;<\/li>\n<li>Programvaruutveckling (Agile, DevOps, Designtekniker, SOA);<\/li>\n<li>Distribuerade system och parallellprogrammering;<\/li>\n<li>Grunderna i databaser \u2014 planering, design, drift och fels\u00f6kning;<\/li>\n<li>Experimentdesign \u2014 A\/B-tester f\u00f6r att bevisa koncept, best\u00e4mma p\u00e5litlighet, systemprestanda, samt f\u00f6r att utveckla tillf\u00f6rlitliga v\u00e4gar f\u00f6r operationell leverans av bra l\u00f6sningar.<\/li>\n<\/ul>\n<p>Detta \u00e4r bara n\u00e5gra krav f\u00f6r att bli dataingenj\u00f6r, s\u00e5 studera och f\u00f6rst\u00e5 datorsystem, informationssystem, kontinuerlig leverans\/deployment\/integration, programmeringsspr\u00e5k och andra \u00e4mnen inom datavetenskap (inte inom alla \u00e4mnesomr\u00e5den).<\/p>\n<p><b>Och, slutligen, det senaste, men mycket viktiga jag vill s\u00e4ga.<\/b><\/p>\n<blockquote><p><i><b>V\u00e4gen till att bli Data Engineer \u00e4r inte s\u00e5 enkel som det kan verka. Den f\u00f6rl\u00e5ter inte, frustrerar, och du m\u00e5ste vara beredd p\u00e5 detta. Vissa \u00f6gonblick p\u00e5 denna resa kan f\u00e5 dig att vilja ge upp. Men detta \u00e4r verkligt arbete och en l\u00e4randeprocess.<\/b><\/i><\/p><\/blockquote>\n<p>Snygga inte till det fr\u00e5n b\u00f6rjan. Hela po\u00e4ngen med resan \u00e4r att l\u00e4ra sig s\u00e5 mycket som m\u00f6jligt och vara redo f\u00f6r nya utmaningar.<br \/>\nH\u00e4r \u00e4r en fantastisk bild som jag st\u00f6tte p\u00e5, som illustrerar denna punkt v\u00e4l:<\/p>\n<p><img decoding=\"async\" alt=\"Vem \u00e4r dataingenj\u00f6rer, och hur blir man det?\" src=\"\/wp-content\/uploads\/2019\/05\/9cc8db9011e5f54717d7e9f31f915523.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nOch ja, gl\u00f6m inte att undvika utbr\u00e4ndhet och ta pauser. Det \u00e4r ocks\u00e5 mycket viktigt. Lycka till!<\/p>\n<p>Vad tyckte ni om artikeln, v\u00e4nner? Vi v\u00e4lkomnar er till <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/RCuj\/\">gratis webbinarie<\/a><\/noindex>, som \u00e4ger rum idag klockan 20.00. Under webbinariet kommer vi att diskutera hur man bygger ett effektivt och skalbart system f\u00f6r databehandling f\u00f6r ett litet f\u00f6retag eller start-up med minimala kostnader. Som praktisk \u00f6vning kommer vi att bekanta oss med verktyg f\u00f6r databehandling i Google Cloud. Vi ses!<br \/>\n<br \/>K\u00e4lla: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/452670\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u0442\u043e\u043c, \u043a\u0442\u043e \u0436\u0435 \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b. \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0441\u0441\u044b\u043b\u043e\u043a. \u041f\u0440\u0438\u044f\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0447\u0442\u0435\u043d\u0438\u044f. \u041f\u0440\u043e\u0441\u0442\u043e\u0435 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043f\u043e\u0439\u043c\u0430\u0442\u044c \u0432\u043e\u043b\u043d\u0443 Data Engineering \u0438 \u043d\u0435 \u0434\u0430\u0442\u044c \u0435\u0439 \u0437\u0430\u0442\u044f\u043d\u0443\u0442\u044c \u0432\u0430\u0441 \u0432 \u043f\u0443\u0447\u0438\u043d\u0443. \u0421\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u0435, \u0447\u0442\u043e \u0432 \u043d\u0430\u0448\u0438 \u0434\u043d\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":25729,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-34083","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.4 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.4\" \/>\n\t\t<meta property=\"og:locale\" content=\"sv_SE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b, \u0438 \u043a\u0430\u043a \u0438\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f? | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T18:56:19+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T18:56:19+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Vem \u00e4r dataingenj\u00f6rer, och hur blir man en? | ProHoster","description":"Och \u00e5terigen, hej! Artikelns rubrik talar f\u00f6r sig sj\u00e4lv.","canonical_url":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"sv_SE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b, \u0438 \u043a\u0430\u043a \u0438\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f? | ProHoster","og:description":"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.","og:url":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:56:19+00:00","article:modified_time":"2019-10-31T18:56:19+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"34083","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 17:49:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:28:35","updated":"2026-01-21 17:49:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/34083","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/comments?post=34083"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/34083\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/media\/25729"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/media?parent=34083"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/categories?post=34083"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/tags?post=34083"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}