{"id":34083,"date":"2019-10-31T21:56:19","date_gmt":"2019-10-31T18:56:19","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\/"},"modified":"2019-10-31T21:56:19","modified_gmt":"2019-10-31T18:56:19","slug":"kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","title":{"rendered":"Kdo so in\u017eenirji podatkov in kako postati in\u017eenir podatkov?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Zdravo ponovno! Naslov \u010dlanka govori sam za sebe. Uo\u010di po\u010detka kursa <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/a4Uj\/\">Data Engineer<\/a><\/noindex> predla\u017eemo da razjasnimo ko su to u stvari in\u017eenjeri podataka. U \u010dlanku se nalazi mnogo korisnih linkova. U\u017eivajte u \u010ditanju.<\/p>\n<p><img decoding=\"async\" alt=\"Kdo so in\u017eenirji podatkov in kako postati in\u017eenir podatkov?\" src=\"\/wp-content\/uploads\/2019\/05\/5f831df35ab1292adafca20f937ed22d.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<i>Jednostavan vodi\u010d o tome kako uhvatiti talas Data Engineering-a i ne dopustiti da vas povu\u010de u dubine.<\/i><\/p>\n<p>Sti\u010de se utisak da svako \u017eeli postati data scientist. A \u0161ta je sa Data Engineering-om? <i>Su\u0161tinski, to je neka vrsta hibrida izme\u0111u analiti\u010dara podataka i data scientist-a; in\u017eenjer podataka obi\u010dno je odgovoran za upravljanje radnim procesima, tokovima podataka i ETL procesima.<\/i>Zbog va\u017enosti ovih funkcija, trenutno je to jo\u0161 jedan popularni profesionalni \u017eargon koji aktivno dobija na zna\u010daju.<\/p>\n<p>Visoka plata i ogroman potra\u017enja su samo mali deo onoga \u0161to ovu profesiju \u010dini izuzetno privla\u010dnom! Ako \u017eelite da postanete deo ovog sveta, nikad nije kasno da po\u010dnete u\u010diti. U ovom postu sam sakupio sve potrebne informacije kako bih vam pomogao da napravite prve korake.<\/p>\n<p>Torej, za\u010dnimo!<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p><b>\u0160ta je Data Engineering?<\/b><\/p>\n<p>Iskreno, ne postoji bolje obja\u0161njenje od ovog:<\/p>\n<blockquote><p><i>\u00abNau\u010dnik mo\u017ee otkriti novu zvezdu, ali je ne mo\u017ee stvoriti. Mora\u0107e da zamoli in\u017eenjera da to uradi umesto njega.\u00bb<\/i><\/p>\n<p>\u2013 Gordon Lindsay Glegg<\/p><\/blockquote>\n<p>Tako da je uloga in\u017eenjera podataka prili\u010dno zna\u010dajna.<\/p>\n<p>Iz imena se mo\u017ee naslutiti da se in\u017eenjerija podataka bavi podacima, posebno njihovim isporu\u010divanjem, skladi\u0161tenjem i obradom. Prema tome, osnovni zadatak in\u017eenjera je da obezbedi pouzdanu infrastrukturu podataka. Ako pogledamo hijerarhiju potreba ve\u0161ta\u010dke inteligencije, in\u017eenjerija podataka zauzima prva 2\u20133 nivoa: <b>prikupljanje, prenos i skladi\u0161tenje, priprema podataka<\/b>.<\/p>\n<p><img decoding=\"async\" alt=\"Kdo so in\u017eenirji podatkov in kako postati in\u017eenir podatkov?\" src=\"\/wp-content\/uploads\/2019\/05\/377481f2f52a4ed771508a450678afd0.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<b>\u010cime se bavi in\u017eenjer podataka?<\/b><\/p>\n<p>Sa pojavom velikih podataka, domen odgovornosti se drasti\u010dno promenio. Dok su prethodno ovi stru\u010dnjaci pisali velike SQL upite i prenosili podatke koriste\u0107i alate kao \u0161to su Informatica ETL, Pentaho ETL, Talend, sada su zahtevi prema in\u017eenjerima podataka porasli.<\/p>\n<p>Ve\u0107ina kompanija koje imaju otvorene pozicije za in\u017eenjera podataka postavljaju slede\u0107e zahteve:<\/p>\n<ul>\n<li>Odli\u010dno poznavanje SQL-a i Pythona.<\/li>\n<li>Iskustvo sa oblacima, posebno Amazon Web Services.<\/li>\n<li>Po\u017eeljno poznavanje Jave\/Scala.<\/li>\n<li>Dobro razumevanje SQL i NoSQL baza podataka (modelovanje podataka, skladi\u0161tenje podataka).<\/li>\n<\/ul>\n<p>Upo\u0161tevajte, da gre le za osnovno. Iz tega se lahko domneva, da so podatkovni in\u017eenirji strokovnjaki na podro\u010dju razvoja programske opreme in backend-a.<br \/>\nNa primer, \u010de podjetje za\u010dne ustvarjati velike koli\u010dine podatkov iz razli\u010dnih virov, je va\u0161a naloga kot podatkovni in\u017eenir organizirati zbiranje informacij, njihovo obdelavo in shranjevanje.<\/p>\n<p>Seznam orodij, ki se uporabljajo v tem primeru, se lahko razlikuje, vse je odvisno od obsega teh podatkov, hitrosti njihovega prihoda in heterogenosti. Ve\u010dina podjetij se na splo\u0161no ne sre\u010duje z velikimi podatki, zato lahko kot centralizirano shranjevanje, tako imenovano skladi\u0161\u010de podatkov, uporabimo SQL bazo podatkov (PostgreSQL, MySQL itd.) z manj\u0161im nizom skript, ki usmerjajo podatke v shranjevanje.<\/p>\n<p>IT-giganti, kot so Google, Amazon, Facebook ali Dropbox, postavljajo vi\u0161je zahteve: znanje Python, Java ali Scala.<\/p>\n<ul>\n<li>Izku\u0161nje z velikimi podatki: Hadoop, Spark, Kafka.<\/li>\n<li>Poznavanje algoritmov in struktur podatkov.<\/li>\n<li>Razumevanje osnov razdeljenih sistemov.<\/li>\n<li>Izku\u0161nje z orodji za vizualizacijo podatkov, kot sta Tableau ali ElasticSearch, bodo velik plus.<\/li>\n<\/ul>\n<p>To pomeni, da se opazi o\u010ditno preusmeritev proti velikim podatkom, zlasti v njihovem obdelovanju pri visokih obremenitvah. Ta podjetja postavljajo vi\u0161je zahteve glede odpornosti sistema.<\/p>\n<p><b>Podatkovni in\u017eenirji Vs. podatkovni znanstveniki<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Kdo so in\u017eenirji podatkov in kako postati in\u017eenir podatkov?\" src=\"\/wp-content\/uploads\/2019\/05\/f01dd66863fcc0a89ab0b763d208a863.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Prav, to je bilo preprosto in zabavno primerjanje (ni osebno), toda resni\u010dno je vse veliko bolj zapleteno.<\/i><\/p>\n<p>Najprej morate vedeti, da obstaja precej\u0161nja nejasnost pri lo\u010devanju vlog in znanj podatkovnega znanstvenika in podatkovnega in\u017eenirja. To pomeni, da vas lahko zlahka zmede, katere ve\u0161\u010dine so potrebne za uspe\u0161nega podatkovnega in\u017eenirja. Seveda obstajajo dolo\u010dene ve\u0161\u010dine, ki se prekrivajo med obema vlogama. Toda obstaja tudi cela vrsta diametralno nasprotnih ve\u0161\u010din.<\/p>\n<p>Podatkovna znanost je resna zadeva, vendar se pomikamo proti svetu funkcionalne podatkovne znanosti, kjer so praktiki sposobni izvajati lastno analitiko. Da bi aktivirali podatkovne pipeline in integrirane podatkovne strukture, potrebujete podatkovne in\u017eenirje, ne znanstvenike.<\/p>\n<p><b>Ali je podatkovni in\u017eenir bolj iskana oseba kot podatkovni znanstvenik?<\/b><\/p>\n<blockquote><p><i> \u2014 Da, ker preden lahko spe\u010dete koren\u010dkovo torto, morate najprej nabrati, o\u010distiti in shraniti korenje!<\/i><\/p><\/blockquote>\n<p>Podatkovni in\u017eenir se bolje spozna na programiranje kot katerikoli podatkovni znanstvenik, toda ko pride do statistike, je vse ravno obratno.<\/p>\n<p>Toda prednost podatkovnega in\u017eenirja je:<\/p>\n<p>brez njega\/nje vrednost prototipnega modela, ki pogosto vklju\u010duje fragment nevarno slabega kode v Python datoteki, pridobljenem od podatkovnega znanstvenika in nekako prina\u0161a rezultat, te\u017ei proti ni\u010d.<\/p>\n<p>Brez podatkovnega in\u017eenirja ta koda nikoli ne bo postala projekt in nobena poslovna te\u017eava ne bo u\u010dinkovito re\u0161ena. Podatkovni in\u017eenir posku\u0161a vse to spremeniti v izdelek.<\/p>\n<p><b>Osnovna znanja, ki jih mora poznati podatkovni in\u017eenir<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Kdo so in\u017eenirji podatkov in kako postati in\u017eenir podatkov?\" src=\"\/wp-content\/uploads\/2019\/05\/f724004e5a30a0c021c4377d66985d16.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nTorej, \u010de vas to delo osvetljuje in ste polni navdu\u0161enja \u2014 sposobni ste se tega nau\u010diti, lahko obvladate vse potrebne spretnosti in postanete prava rock zvezda na podro\u010dju podatkovne znanosti. In ja, to lahko dose\u017eete tudi brez programerskih ve\u0161\u010din ali drugih tehni\u010dnih znanj. To je te\u017eko, a mogo\u010de!<\/p>\n<p><b>Kak\u0161ni so prvi koraki?<\/b><\/p>\n<blockquote><p><i>Morate imeti splo\u0161no predstavo o tem, kaj je kaj.<\/i><\/p><\/blockquote>\n<p>Najprej, podatkovno in\u017eenirstvo se nana\u0161a na informatik. Konkretno \u2014 morate razumeti u\u010dinkovite algoritme in strukture podatkov. Drugi\u010d, ker podatkovni in\u017eenirji delajo s podatki, je potrebna razumevanje na\u010del delovanja baz podatkov in struktur, ki jih podpirajo.<\/p>\n<p>Na primer, obi\u010dajne SQL baze podatkov B-strah so osnovane na strukturi podatkov B-Tree, pa tudi v sodobnih razdeljenih skladi\u0161\u010dih, na LSM-Tree in drugih razli\u010dicah hash tabel.<\/p>\n<p><i>* Ti koraki temeljijo na izjemnem \u010dlanku <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@adil_45422\">Adila Hashtamova<\/a><\/noindex>. Torej, \u010de znate rusko, podprite tega avtorja in preberite <noindex><a rel=\"nofollow\" href=\"https:\/\/khashtamov.com\/ru\/data-engineer\/\">njegov prispevek<\/a><\/noindex>.<\/i><\/p>\n<p><b>1. Algoritmi in strukture podatkov<\/b><\/p>\n<p>Uporaba pravilne strukture podatkov lahko znatno izbolj\u0161a zmogljivost algoritma. Idealno bi bilo, da bi vsi morali \u0161tudirati strukture podatkov in algoritme v na\u0161ih \u0161olah, vendar to redko kdaj pride do izraza. V vsakem primeru nikoli ni prepozno, da se seznanite.<br \/>\nTorej, tukaj so moji najljub\u0161i brezpla\u010dni te\u010daji za u\u010denje struktur podatkov in algoritmov:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.udemy.com\/introduction-to-data-structures\/?ranMID=39197&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-fcVI3mDcwPC4Q5dpzDABSg&amp;LSNPUBID=JVFxdTr9V80\">Od preprostega do zapletenega: Strukture podatkov (Udemy)<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.coursera.org\/learn\/algorithms-part1?ranMID=40328&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-Y2SOzvEQ5UCqGZ8SQ8yPFA&amp;siteID=JVFxdTr9V80-Y2SOzvEQ5UCqGZ8SQ8yPFA&amp;utm_content=10&amp;utm_medium=partners&amp;utm_source=linkshare&amp;utm_campaign=JVFxdTr9V80\">Algoritmi, del I (Coursera)<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.coursera.org\/learn\/algorithms-part2?ranMID=40328&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-sXWvgPKRyzYEBJ33lVooUQ&amp;siteID=JVFxdTr9V80-sXWvgPKRyzYEBJ33lVooUQ&amp;utm_content=10&amp;utm_medium=partners&amp;utm_source=linkshare&amp;utm_campaign=JVFxdTr9V80\">Algoritmi, del II (Coursera)<\/a><\/noindex>\n <\/li>\n<\/ul>\n<p>Poleg tega ne pozabite na klasi\u010dno delo o algoritmih Thomas Cormen-a \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/0262033844\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=0262033844&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=74742875db503b1a899ca35159749067\">Uvod v algoritme<\/a><\/noindex>. To je popoln priro\u010dnik, ko potrebujete osve\u017eitev spomina.<\/p>\n<ul>\n<li>Da izbolj\u0161ate svoje ve\u0161\u010dine, uporabite <noindex><a rel=\"nofollow\" href=\"https:\/\/leetcode.com\/problemset\/algorithms\/\">Leetcode<\/a><\/noindex>.<\/li>\n<\/ul>\n<p>Lahko se tudi potopite v svet podatkovnih baz s \u010dudovitimi videi Univerze Carnegie Mellon na YouTube:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/playlist?list=PLSE8ODhjZXjYutVzTeAds8xUt1rcmyT7x\">Uvod v sisteme podatkovnih baz<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/playlist?list=PLSE8ODhjZXja7K1hjZ01UTVDnGQdx5v5U\">Napredni sistemi podatkovnih baz<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><b>2. U\u010denje SQL-a<\/b><\/p>\n<p>Vse na\u0161e \u017eivljenje so podatki. In da bi te podatke pridobili iz podatkovne baze, se morate 'pogovarjati' z njimi v istem jeziku.<\/p>\n<p>SQL (Structured Query Language \u2014 jezik strukturiranih poizvedb) je jezik za komunikacijo na podro\u010dju podatkov. Ne glede na to, kaj kdo pravi, SQL je obstajal, obstaja in bo \u0161e dolgo obstajal.<\/p>\n<p>\u010ce ste dolgo \u010dasa delali v razvoju, ste verjetno opazili, da se govorice o kmalu smrti SQL-a ob\u010dasno pojavljajo. Jezik je bil razvit v zgodnjih 70-ih in \u0161e vedno je izjemno priljubljen med analitiki, razvijalci in preprosto navdu\u0161enci.<br \/>\nBrez znanja SQL-a v podatkovnem in\u017eenirstvu ne morete napredovati, saj boste neizbe\u017eno morali ustvarjati poizvedbe za pridobivanje podatkov. Vse sodobne shrambe velikih podatkov podpirajo SQL:<\/p>\n<ul>\n<li>Amazon Redshift<\/li>\n<li>HP Vertica<\/li>\n<li>Oracle<\/li>\n<li>SQL Server<\/li>\n<\/ul>\n<p>\u2026 in \u0161e mnoge druge.<\/p>\n<p>Za analizo velikega sloja podatkov, shranjenih v distribuiranih sistemih, kot je HDFS, so bili izumljeni mehanizmi SQL: Apache Hive, Impala itd. Vidite, ne bo nikamor od\u0161el.<\/p>\n<p>Kako se nau\u010diti SQL-a? Enostavno ga uporabljajte v praksi.<\/p>\n<p>Za to bi priporo\u010dil, da se seznanite z odli\u010dnim u\u010dbenikom, ki je ob\u010dasno brezpla\u010den, od <noindex><a rel=\"nofollow\" href=\"https:\/\/mode.com\/sql-tutorial\/introduction-to-sql\/\">Mode Analytics<\/a><\/noindex>.<\/p>\n<ol>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.datacamp.com\/courses\/intermediate-sql\/\">Srednja stopnja SQL-a<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.datacamp.com\/courses\/joining-data-in-postgresql\">Zdru\u017eevanje podatkov v SQL-u<\/a><\/noindex><\/li>\n<\/ol>\n<p>Izjemna zna\u010dilnost teh te\u010dajev je interaktivno okolje, v katerem lahko pi\u0161ete in izvajate SQL poizvedbe neposredno v brskalniku. Vir <noindex><a rel=\"nofollow\" href=\"https:\/\/modern-sql.com\/\">Modern SQL<\/a><\/noindex> ne bo odve\u010d. In te znanje lahko uporabite v <noindex><a rel=\"nofollow\" href=\"https:\/\/leetcode.com\/problemset\/database\/\">nalogah na Leetcode<\/a><\/noindex> v razdelku Podatkovne baze.<\/p>\n<p><b>3. Programiranje v Pythonu in Java\/Scala<\/b><\/p>\n<p>Zakaj se je smiselno u\u010diti programskega jezika Python, sem \u017ee pisal v \u010dlanku <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/datadriveninvestor\/python-vs-r-choosing-the-best-tool-for-ai-ml-data-science-7e0c2295e243\">Python vs R. Izbira najbolj\u0161e orodje za AI, ML in podatkovno znanost<\/a><\/noindex>. Kar zadeva Javo in Scalo, je ve\u010dina orodij za shranjevanje in obdelavo ogromnih koli\u010din podatkov napisanih v teh jezikih. Na primer:<\/p>\n<ul>\n<li>Apache Kafka (Scala)<\/li>\n<li>Hadoop, HDFS (Java)<\/li>\n<li>Apache Spark (Scala)<\/li>\n<li>Apache Cassandra (Java)<\/li>\n<li>HBase (Java)<\/li>\n<li>Apache Hive (Java)<\/li>\n<\/ul>\n<p>Da bi razumeli kako ovi alati funkcioni\u0161u, morate poznavati jezike na kojima su napisani. Funkcionalni pristup Scal\u0430 omogu\u0107ava efikasno re\u0161avanje zadataka paralelne obrade podataka. Python, na\u017ealost, ne mo\u017ee se pohvaliti brzinom i paralelnom obradom. U celini, poznavanje vi\u0161e jezika i programskih paradigmi pozitivno uti\u010de na \u0161irinu pristupa re\u0161avanju problema.<\/p>\n<p>Da biste se uronili u jezik Scala, mo\u017eete pro\u010ditati <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/0981531687\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=0981531687&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=69314619f1e546e3921eb97c72cf4850\">Programiranje u Scal\u0430<\/a><\/noindex> autora jezika. Tako\u0111e, kompanija Twitter je objavila dobro uvodno priru\u010dnik \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/twitter.github.io\/scala_school\/\">Scala School<\/a><\/noindex>.<\/p>\n<p>\u0160to se ti\u010de Pythona, smatram <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1491946008\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1491946008&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=8a663e966770c24874e323133cc7a005\">Fluent Python<\/a><\/noindex> najboljom knjigom srednjeg nivoa.<\/p>\n<p><b>4. Alati za rad sa velikim podacima<\/b><\/p>\n<p>Evo liste najpopularnijih alata u svetu velikih podataka:<\/p>\n<ul>\n<li>Apache Spark<\/li>\n<li>Apache Kafka<\/li>\n<li>Apache Hadoop (HDFS, HBase, Hive)<\/li>\n<li>Apache Cassandra<\/li>\n<\/ul>\n<p>Vi\u0161e informacija o izgradnji velikih oblika podataka mo\u017eete na\u0107i u ovom neverovatnom <noindex><a rel=\"nofollow\" href=\"http:\/\/xyz.insightdataengineering.com\/blog\/pipeline_map\/\">interaktivnom okru\u017eenju<\/a><\/noindex>. Najpopularniji alati su Spark i Kafka. Definitivno ih vredi prou\u010diti, po mogu\u0107stvu razumeti kako funkcioni\u0161u iznutra. Jay Kreps (koautor Kafke) je 2013. godine objavio monumentalno delo <noindex><a rel=\"nofollow\" href=\"https:\/\/engineering.linkedin.com\/distributed-systems\/log-what-every-software-engineer-should-know-about-real-time-datas-unifying\">The Log: \u0161ta svaki programer treba da zna o apstrakciji spajanja podataka u realnom vremenu<\/a><\/noindex>, ina\u010de, osnovne ideje iz ovog Talmuda kori\u0161\u0107ene su za kreiranje Apache Kafke.<\/p>\n<ul>\n<li>Uvedeni u Hadoop mo\u017ee poslu\u017eiti <noindex><a rel=\"nofollow\" href=\"https:\/\/data-flair.training\/blogs\/hadoop-tutorials-home\/\">Potpuni vodi\u010d za u\u010denje Hadoopa (besplatno)<\/a><\/noindex>.<\/li>\n<li>Najpotpuniji vodi\u010d za Apache Spark za mene je \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1491912219\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1491912219&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=5b206424060cfc80a33d13b05c0bfee2\">Spark: potpuni vodi\u010d<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><b>5. Oblak platforme<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Kdo so in\u017eenirji podatkov in kako postati in\u017eenir podatkov?\" src=\"\/wp-content\/uploads\/2019\/05\/cc435bc9f9b91ec87d1cf7a591cf84a2.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nPoznavanje barem jedne obla\u010dne platforme je na spisku osnovnih zahteva za kandidate za posao in\u017eenjera podataka. Poslodavci preferiraju Amazon Web Services, na drugom mestu je obla\u010dna platforma Google, a tre\u0107e mesto zauzima Microsoft Azure.<\/p>\n<p>Treba da imate dobro razumevanje Amazon EC2, AWS Lambda, Amazon S3, DynamoDB.<\/p>\n<p><b>6. Distribuirani sistemi<\/b><\/p>\n<p>Rad sa velikim podacima podrazumeva prisustvo klastera nezavisno operativnih ra\u010dunara, \u010dija komunikacija se ostvaruje putem mre\u017ee. \u0160to je klaster ve\u0107i, ve\u0107a je verovatno\u0107a kvara njegovih \u010dlanova. Da biste postali vrhunski ekspert u oblasti podataka, potrebno je da se uronite u probleme i postoje\u0107a re\u0161enja za distribuirane sisteme. Ova oblast je stara i slo\u017eena.<\/p>\n<p>Andrew Tanenbaum je pionir na ovom polju. Za one koji se ne boje teorije, preporu\u010dujem njegovu knjigu <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1543057381\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1543057381&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=721aedeb23c313bc46a92c134c5baafa\">\u201eDistribuirani sistemi\u201c<\/a><\/noindex>, za po\u010detnike mo\u017ee izgledati slo\u017eeno, ali \u0107e vam zaista pomo\u0107i da usavr\u0161ite svoje ve\u0161tine.<\/p>\n<p>Smatram <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1449373321\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1449373321&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=e7e0e096aa5761066245eb90965ac849\">\u201eDizajniranje aplikacija sa velikom potro\u0161njom podataka\u201c autora Martina Kleppmanna<\/a><\/noindex> najboljom uvodnom knjigom. Usput, Martin ima odli\u010dan <noindex><a rel=\"nofollow\" href=\"https:\/\/martin.kleppmann.com\/\">blog<\/a><\/noindex>. Njegov rad \u0107e vam pomo\u0107i da sistematizujete znanje o izgradnji moderne infrastrukture za skladi\u0161tenje i obradu velikih podataka.<br \/>\nZa one koji vole da gledaju video, na YouTube-u postoji kurs <noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=w8KFPWkK0bI&amp;list=PLawkBQ15NDEkDJ5IyLIJUTZ1rRM9YQq6N&amp;index=2&amp;t=0s\">Distribuirani ra\u010dunarski sistemi<\/a><\/noindex>.<\/p>\n<p><b>7. Tokovi podataka<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Kdo so in\u017eenirji podatkov in kako postati in\u017eenir podatkov?\" src=\"\/wp-content\/uploads\/2019\/05\/cf1c8e2baad0cc79c0b8c3707741353a.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nTokovi podataka su ne\u0161to bez \u010dega ne mo\u017eete \u017eiveti kao in\u017eenjer podataka.<\/p>\n<p>Ve\u0107inu vremena in\u017eenjer podataka gradi takozvani tok podataka, tj. kreira proces isporuke podataka iz jednog mesta u drugo. To mogu biti korisni\u010dki scenariji koji idu ka API externih usluga ili vr\u0161e SQL upite, dopunjavaju podatke i sme\u0161taju ih u centralizovano skladi\u0161te (data warehouse) ili skladi\u0161te nestrukturiranih podataka (data lakes).<\/p>\n<p><b>Ukratko: osnovna kontrolna lista in\u017eenjera podataka<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Kdo so in\u017eenirji podatkov in kako postati in\u017eenir podatkov?\" src=\"\/wp-content\/uploads\/2019\/05\/de0eca662b2246e63901afb89c9f255f.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nZaklju\u010dimo \u2014 potrebno je dobro razumevanje slede\u0107eg:<\/p>\n<ul>\n<li>Informacione sisteme;<\/li>\n<li>Razvoj softvera (Agile, DevOps, dizajnerske tehnike, SOA);<\/li>\n<li>Distribuirane sisteme i paralelno programiranje;<\/li>\n<li>Osnove baza podataka \u2014 planiranje, dizajniranje, operacije i otklanjanje gre\u0161aka;<\/li>\n<li>Dizajniranje eksperimenata \u2014 A\/B testovi za dokazivanje koncepata, odre\u0111ivanje pouzdanosti, performansi sistema, kao i za razvoj pouzdanih puteva za brz pristup dobrim re\u0161enjima.<\/li>\n<\/ul>\n<p>Ovo su samo neki zahtevi za postajanje in\u017eenjerom podataka, tako da prou\u010dite i razumite podatkovne sisteme, informacione sisteme, kontinuiranu isporuku\/initijalizaciju\/integraciju, programske jezike i druge teme o ra\u010dunarstvu (ne u svim predmetnim oblastima).<\/p>\n<p><b>I, na kraju, poslednje, ali veoma va\u017eno \u0161to \u017eelim da ka\u017eem.<\/b><\/p>\n<blockquote><p><i><b>Pot ukrevanja v Data Engineering ni tako preprost, kot se zdi. Ne odpusti, frustrira in pripraviti se morate na to. Nekateri trenutki na tej poti vas lahko spodbudijo, da vse opustite. A to je resni\u010dno delo in u\u010dni proces.<\/b><\/i><\/p><\/blockquote>\n<p>Enostavno ga ne prikraj\u0161ajte \u017ee od za\u010detka. Celotna ideja potovanja je v tem, da se nau\u010dite \u010dim ve\u010d in ste pripravljeni na nove izzive.<br \/>\nTukaj je odli\u010dna slika, s katero sem se sre\u010dal in ki dobro ponazarja ta trenutek:<\/p>\n<p><img decoding=\"async\" alt=\"Kdo so in\u017eenirji podatkov in kako postati in\u017eenir podatkov?\" src=\"\/wp-content\/uploads\/2019\/05\/9cc8db9011e5f54717d7e9f31f915523.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nIn da, ne pozabite se izogniti izgorelosti in si privo\u0161\u010diti po\u010ditek. To je prav tako zelo pomembno. Sre\u010dno!<\/p>\n<p>Kaj menite o \u010dlanku, prijatelji? Vabimo vas na <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/RCuj\/\">brezpla\u010dni spletni seminar<\/a><\/noindex>, ki bo danes ob 20.00. V okviru spletnega seminarja bomo razpravljali o tem, kako zgraditi u\u010dinkovite in raz\u0161irljive podatkovne sisteme za majhna podjetja ali startupe z minimalnimi stro\u0161ki. V praksi se bomo seznanili z orodji za obdelavo podatkov Google Cloud. Se vidimo!<br \/>\n<br \/>Izvor: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/452670\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u0442\u043e\u043c, \u043a\u0442\u043e \u0436\u0435 \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b. \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0441\u0441\u044b\u043b\u043e\u043a. \u041f\u0440\u0438\u044f\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0447\u0442\u0435\u043d\u0438\u044f. \u041f\u0440\u043e\u0441\u0442\u043e\u0435 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043f\u043e\u0439\u043c\u0430\u0442\u044c \u0432\u043e\u043b\u043d\u0443 Data Engineering \u0438 \u043d\u0435 \u0434\u0430\u0442\u044c \u0435\u0439 \u0437\u0430\u0442\u044f\u043d\u0443\u0442\u044c \u0432\u0430\u0441 \u0432 \u043f\u0443\u0447\u0438\u043d\u0443. \u0421\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u0435, \u0447\u0442\u043e \u0432 \u043d\u0430\u0448\u0438 \u0434\u043d\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":25729,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-34083","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.4 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.4\" \/>\n\t\t<meta property=\"og:locale\" content=\"sl_SI\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b, \u0438 \u043a\u0430\u043a \u0438\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f? | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T18:56:19+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T18:56:19+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Kdo so podatkovni in\u017eenirji in kako postanejo? | ProHoster","description":"In spet pozdravljeni! Naslov \u010dlanka govori sam zase.","canonical_url":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"sl_SI","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b, \u0438 \u043a\u0430\u043a \u0438\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f? | ProHoster","og:description":"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.","og:url":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:56:19+00:00","article:modified_time":"2019-10-31T18:56:19+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"34083","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 17:49:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:28:35","updated":"2026-01-21 17:49:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts\/34083","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/comments?post=34083"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts\/34083\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/media\/25729"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/media?parent=34083"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/categories?post=34083"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/tags?post=34083"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}