{"id":34083,"date":"2019-10-31T21:56:19","date_gmt":"2019-10-31T18:56:19","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\/"},"modified":"2019-10-31T21:56:19","modified_gmt":"2019-10-31T18:56:19","slug":"kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","title":{"rendered":"Kes on andmeinsenerid ja kuidas neist saavad?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Tere j\u00e4lle! Artikli pealkiri r\u00e4\u00e4gib enda eest. Kursuse alguse eel <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/a4Uj\/\">\u201eAndmeinsener\u201c<\/a><\/noindex> pakume v\u00e4lja selgitada, kes need andmeinsenerid tegelikult on. Artiklis on palju kasulikke lingid. Head lugemist.<\/p>\n<p><img decoding=\"async\" alt=\"Kes on andmeinsenerid ja kuidas neist saavad?\" src=\"\/wp-content\/uploads\/2019\/05\/5f831df35ab1292adafca20f937ed22d.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<i>Lihtne juhend, kuidas haarata andmeinseneri laine ja mitte lasta end sellega allasuunata.<\/i><\/p>\n<p>Tundub, et t\u00e4nap\u00e4eval soovib iga\u00fcks saada andmeanal\u00fc\u00fctikuks (Data Scientist). Aga kuidas on andmeinsenerimisega? <i>Sisuliselt on see teatud t\u00fc\u00fcpi andmeanal\u00fc\u00fctiku ja andmeinseneri h\u00fcbriid; andmeinsener vastutab tavaliselt t\u00f6\u00f6voogude, t\u00f6\u00f6tlemiskonveierite ja ETL-protsesside haldamise eest.<\/i>Kuna nende funktsioonide t\u00e4htsus on praegu tegemist j\u00e4rjekordse populaarse professionaalse \u017eargooniga, mis on aktiivselt kasvanud.<\/p>\n<p>K\u00f5rge palk ja tohutu n\u00f5udlus on vaid v\u00e4ike osa sellest, mis muudab selle t\u00f6\u00f6 erakordselt atraktiivseks! Kui soovite liituda kangelaste ridadega, pole kunagi hilja \u00f5ppima hakata. Selles postituses olen kogunud kogu vajaliku teabe, et aidata teil teha esimesed sammud.<\/p>\n<p>Nii et alustame!<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p><b>Mis on andmete inseneritehnika?<\/b><\/p>\n<p>Ausalt \u00f6eldes ei ole selle kohta paremat selgitust kui see:<\/p>\n<blockquote><p><i>\u201eTeadlane v\u00f5ib avada uue t\u00e4he, kuid ei saa seda luua. Ta peab paluma inseneril seda tema eest teha.\u201d<\/i><\/p>\n<p>\u2013Gordon Lindsay Glegg<\/p><\/blockquote>\n<p>Seega on andmete inseneri roll piisavalt oluline.<\/p>\n<p>Nagu nimest j\u00e4reldub, on andmete inseneritehnika seotud andmetega, nimelt nende edastamise, salvestamise ja t\u00f6\u00f6tlemisega. Vastavalt on inseneride peamine \u00fclesanne tagada andmete usaldusv\u00e4\u00e4rne infrastruktuur. Kui vaatame tehisintellekti vajaduste hierarhiat, h\u00f5lmab andmete inseneritehnika esimesi 2\u20133 etappi: <b>kogumine, liikumine ja salvestamine, andmete ettevalmistamine<\/b>.<\/p>\n<p><img decoding=\"async\" alt=\"Kes on andmeinsenerid ja kuidas neist saavad?\" src=\"\/wp-content\/uploads\/2019\/05\/377481f2f52a4ed771508a450678afd0.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<b>Mida teeb andmete insener?<\/b><\/p>\n<p>Koos suurandmete tulekuga on vastutusalad j\u00e4rsult muutunud. Kui varem kirjutasid need eksperdid suuri SQL-p\u00e4ringuid ja edastasid andmeid selliste t\u00f6\u00f6riistade abil nagu Informatica ETL, Pentaho ETL, Talend, siis n\u00fc\u00fcd on n\u00f5udmised andmete inseneritehnikute osas t\u00f5usnud.<\/p>\n<p>Enamik ettev\u00f5tteid, kellel on avatud andmete inseneri ametikohad, esitavad j\u00e4rgmised n\u00f5udmised:<\/p>\n<ul>\n<li>Suurep\u00e4rane SQL ja Python'i tundmine.<\/li>\n<li>Kogemus pilveplatvormidega, eelk\u00f5ige Amazon Web Servicesiga.<\/li>\n<li>Eelistatav on Java\/Scala tundmine.<\/li>\n<li>Hea arusaam SQL ja NoSQL andmebaasidest (andmemudelite loomine, andmete salvestamine).<\/li>\n<\/ul>\n<p>Pange t\u00e4hele, et see on ainult k\u00f5ige vajalik. Sellest nimekirjast v\u00f5ib j\u00e4reldada, et andmete insenerid on tarkvaraarenduse ja backend'i spetsialistid.<br \/>\nN\u00e4iteks kui ettev\u00f5te hakkab genereerima suurt hulka andmeid erinevatest allikatest, on teie \u00fclesanne andmete insenerina korraldada teabe kogumine, t\u00f6\u00f6tlemine ja salvestamine.<\/p>\n<p>Kasutatavate t\u00f6\u00f6riistade nimekiri v\u00f5ib varieeruda, s\u00f5ltuvalt andmete mahust, nende saabumise kiirusest ja mitmekesisusest. Enamik ettev\u00f5tteid ei puutu kokku suurte andmetega, seet\u00f5ttu v\u00f5ib keskse ladustamise, nn andmehoidla, jaoks kasutada SQL andmebaasi (PostgreSQL, MySQL jne) koos v\u00e4ikese skriptikogumiga, mis suunab andmed ladustamisele.<\/p>\n<p>IT-hiiglased nagu Google, Amazon, Facebook v\u00f5i Dropbox esitavad k\u00f5rgemaid n\u00f5udeid: oskus Pythonit, Java't v\u00f5i Scala't.<\/p>\n<ul>\n<li>Kogemus suurte andmetega: Hadoop, Spark, Kafka.<\/li>\n<li>Tuntud algoritmid ja andmestruktuurid.<\/li>\n<li>Arusaamine jaotatud s\u00fcsteemide p\u00f5hit\u00f5dedest.<\/li>\n<li>Kogemus andmete visualiseerimise t\u00f6\u00f6riistadega, nagu Tableau v\u00f5i ElasticSearch, on suur eelis.<\/li>\n<\/ul>\n<p>See t\u00e4hendab, et on selge suundumus suurte andmete, eriti nende t\u00f6\u00f6tlemise, suunas suurte koormuste korral. Nendel ettev\u00f5tetel on k\u00f5rgemad n\u00f5uded s\u00fcsteemi t\u00f6\u00f6kindlusele.<\/p>\n<p><b>Andmeinsenerid vs andmeadlased<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Kes on andmeinsenerid ja kuidas neist saavad?\" src=\"\/wp-content\/uploads\/2019\/05\/f01dd66863fcc0a89ab0b763d208a863.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>H\u00e4sti, see oli lihtne ja naljakas v\u00f5rdlus (mitte midagi isiklikku), kuid tegelikult on see palju keerulisem.<\/i><\/p>\n<p>Esiteks peate teadma, et andmeadlase ja andmeinseneri rollide ning oskuste m\u00e4\u00e4ratlemisel on piisavalt segadust. See t\u00e4hendab, et te v\u00f5ite kergesti segadusse minna, millised oskused on andmeinseneri edukaks saavutamiseks vajalikud. Loomulikult on teatud oskused, mis kattuvad m\u00f5lema rolliga. Kuid on ka terve rida diametraalselt vastupidiseid oskusi.<\/p>\n<p>Andmete teadus on t\u00f5sine asi, kuid me liigume funktsionaalse andmete teaduse maailma, kus praktikud suudavad teha oma anal\u00fc\u00fcsi. Andmevoogude ja integreeritud andmestruktuuride kaasamiseks on teil vaja andmeinsenere, mitte teadlasi.<\/p>\n<p><b>Kas andmeinsener on n\u00f5utavam kui andmeadlase?<\/b><\/p>\n<blockquote><p><i> \u2014 Jah, sest enne kui saate valmistada porgandikooki, peate k\u00f5igepealt koguma, puhastama ja porgandi varuma!<\/i><\/p><\/blockquote>\n<p>Andmeinsener tunneb programmeerimist paremini kui \u00fckski andmeadlase, kuid kui asi puudutab statistikat, on k\u00f5ik vastupidi.<\/p>\n<p>Aga siin on andmeinseneri eelis:<\/p>\n<p>Ilma seda, protot\u00fc\u00fcbi mudeli v\u00e4\u00e4rtus, mis koosneb k\u00f5ige sagedamini halva kvaliteediga koodil\u00f5igust Pythonis, mis on saadud andeteadlase k\u00e4est ja kuidagi tulemusi saavutab, kipub olema null.<\/p>\n<p>Ilma andmeinsenerita ei muutu see kood kunagi projektiks ja \u00fckski \u00e4riprobleem ei saa t\u00f5husalt lahendatud. Andmeinsener p\u00fc\u00fcab sellest k\u00f5ik toote kujundada.<\/p>\n<p><b>Peamised teadmised, mida andmeinsener peab teadma<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Kes on andmeinsenerid ja kuidas neist saavad?\" src=\"\/wp-content\/uploads\/2019\/05\/f724004e5a30a0c021c4377d66985d16.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nNii et kui see t\u00f6\u00f6 \u00e4ratab sinus valgust ja oled t\u00e4ielikult entusiastlik \u2014 sa suudad seda \u00f5ppida, v\u00f5id omandada k\u00f5ik vajalikud oskused ja saada t\u00f5eliseks rockstaariks andmete arendamise valdkonnas. Ja jah, saad seda teha ka ilma programmeerimisoskuste v\u00f5i muude tehniliste teadmisteta. See on keeruline, kuid v\u00f5imalik!<\/p>\n<p><b>Mis on esimesed sammud?<\/b><\/p>\n<blockquote><p><i>Pead olema \u00fcldine \u00fclevaade, mis t\u00e4hendab mida.<\/i><\/p><\/blockquote>\n<p>Esiteks, andmeinseneria kuulub arvutiteaduse valdkonda. T\u00e4psemalt \u2014 sa pead m\u00f5istma t\u00f5husat algoritmide ja andmestruktuuride kasutust. Teiseks, kuna andmeinsenerid t\u00f6\u00f6tavad andmetega, on vajalik m\u00f5ista andmebaaside t\u00f6\u00f6 p\u00f5him\u00f5tteid ja nende aluseks olevate struktuuride funktsiooni.<\/p>\n<p>N\u00e4iteks tavap\u00e4rased B-puu SQL andmebaasid p\u00f5hinevad B-puu andmestruktuuril ning moodsates jaotatud hoidlates LSM-puul ja muudel hash-tabelite modifikatsioonidel.<\/p>\n<p><i>* Need sammud p\u00f5hinevad suurep\u00e4rasel artiklil <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@adil_45422\">Adil Hashtamova<\/a><\/noindex>. Nii et kui sa tead vene keelt, toeta seda autorit ja loe <noindex><a rel=\"nofollow\" href=\"https:\/\/khashtamov.com\/ru\/data-engineer\/\">tema postitust<\/a><\/noindex>.<\/i><\/p>\n<p><b>1. Algoritmid ja andmestruktuurid<\/b><\/p>\n<p>\u00d5ige andmestruktuuri kasutamine v\u00f5ib oluliselt parandada algoritmi j\u00f5udlust. Ideaalses olukorras peaksime k\u00f5ik \u00f5ppima andmestruktuure ja algoritme meie koolides, aga see on harva kunagi k\u00e4sitletud. Igatahes, tutvumine ei ole kunagi liiga hilja.<br \/>\nNii et siin on minu lemmik tasuta kursused andmestruktuuride ja algoritmide \u00f5ppimiseks:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.udemy.com\/introduction-to-data-structures\/?ranMID=39197&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-fcVI3mDcwPC4Q5dpzDABSg&amp;LSNPUBID=JVFxdTr9V80\">Lihtsatest keerukatele: Andmestruktuurid (Udemy)<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.coursera.org\/learn\/algorithms-part1?ranMID=40328&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-Y2SOzvEQ5UCqGZ8SQ8yPFA&amp;siteID=JVFxdTr9V80-Y2SOzvEQ5UCqGZ8SQ8yPFA&amp;utm_content=10&amp;utm_medium=partners&amp;utm_source=linkshare&amp;utm_campaign=JVFxdTr9V80\">Algoritmid, osa I (Coursera)<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.coursera.org\/learn\/algorithms-part2?ranMID=40328&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-sXWvgPKRyzYEBJ33lVooUQ&amp;siteID=JVFxdTr9V80-sXWvgPKRyzYEBJ33lVooUQ&amp;utm_content=10&amp;utm_medium=partners&amp;utm_source=linkshare&amp;utm_campaign=JVFxdTr9V80\">Algoritmid, osa II (Coursera)<\/a><\/noindex>\n <\/li>\n<\/ul>\n<p>Lisaks \u00e4ra unusta Thomas H. Cormen'i klassikalist teost \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/0262033844\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=0262033844&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=74742875db503b1a899ca35159749067\">Algoritmide sissejuhatus<\/a><\/noindex>. See on ideaalne k\u00e4siraamat, kui vajad oma m\u00e4lu v\u00e4rskendamist.<\/p>\n<ul>\n<li>Oma oskuste parandamiseks kasuta <noindex><a rel=\"nofollow\" href=\"https:\/\/leetcode.com\/problemset\/algorithms\/\">Leetcode<\/a><\/noindex>.<\/li>\n<\/ul>\n<p>Sa saad samuti sukelduda andmebaaside maailma Carnegie Melloni \u00dclikooli suurep\u00e4raste Youtube'i videote kaudu:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/playlist?list=PLSE8ODhjZXjYutVzTeAds8xUt1rcmyT7x\">Andmedatabase'idest<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/playlist?list=PLSE8ODhjZXja7K1hjZ01UTVDnGQdx5v5U\">T\u00e4psemad andmebaasis\u00fcsteemid<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><b>2. SQL-i \u00f5ppimine<\/b><\/p>\n<p>Meie elu on andmed. Ja et neid andmeid andmebaasist v\u00e4lja tuua, peate nendega 'r\u00e4\u00e4kima' \u00fches keeles.<\/p>\n<p>SQL (Structured Query Language \u2014 struktureeritud p\u00e4ringute keel) on suhtlemiskeel andmete valdkonnas. \u00dcksk\u00f5ik, mida keegi \u00fctleb, on SQL eksisteerinud, eksisteerib ja eksisteerib veel kaua.<\/p>\n<p>Kui olete pikka aega arenduses olnud, olete t\u00f5en\u00e4oliselt m\u00e4rganud, et kuuldused SQL-i eelseisvast surmast ilmuvad perioodiliselt. Keel loodi 70. aastate alguses ja on endiselt \u00fclimalt populaarne anal\u00fc\u00fctikute, arendajate ja lihtsalt entusiastide seas.<br \/>\nIlma SQL-i teadmata andmeinseneri t\u00f6\u00f6s ei saa hakkama, kuna kindlasti peate looma p\u00e4ringuid andmete v\u00e4ljav\u00f5tmiseks. K\u00f5ik kaasaegsed suurandmete hoidlad toetavad SQL-i:<\/p>\n<ul>\n<li>Amazon Redshift<\/li>\n<li>HP Vertica<\/li>\n<li>Oracle<\/li>\n<li>SQL Server<\/li>\n<\/ul>\n<p>\u2026 ja paljud teised.<\/p>\n<p>Suurte andmekihte anal\u00fc\u00fcsima, mis on salvestatud jaotatud s\u00fcsteemides, nagu HDFS, on v\u00e4lja t\u00f6\u00f6tatud SQL-mehhanismid: Apache Hive, Impala jne. N\u00e4hes, ta ei kavatse kuhugi minna.<\/p>\n<p>Kuidas \u00f5ppida SQL-i? Lihtsalt praktiseerige seda.<\/p>\n<p>Selleks soovitaksin tutvuda suurep\u00e4rase tasuta \u00f5pikuga, mille on koostanud <noindex><a rel=\"nofollow\" href=\"https:\/\/mode.com\/sql-tutorial\/introduction-to-sql\/\">Mode Analytics<\/a><\/noindex>.<\/p>\n<ol>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.datacamp.com\/courses\/intermediate-sql\/\">SQL-i kesktase<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.datacamp.com\/courses\/joining-data-in-postgresql\">Andmete \u00fchendamine SQL-is<\/a><\/noindex><\/li>\n<\/ol>\n<p>Nende kursuste eristavaks jooneks on interaktiivne keskkond, kus saate otse brauseris SQL-p\u00e4ringuid kirjutada ja k\u00e4ivitada. Ressurss <noindex><a rel=\"nofollow\" href=\"https:\/\/modern-sql.com\/\">Modern SQL<\/a><\/noindex> ei ole \u00fcleliigne. Ja v\u00f5ite neid teadmisi rakendada <noindex><a rel=\"nofollow\" href=\"https:\/\/leetcode.com\/problemset\/database\/\">Leetcode'i \u00fclesannetes<\/a><\/noindex> andmebaaside kategoorias.<\/p>\n<p><b>3. Programmeerimine Pythonis ja Java\/Scala<\/b><\/p>\n<p>Miks tasub \u00f5ppida programmeerimiskeelt Python, olen juba kirjutanud artiklis <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/datadriveninvestor\/python-vs-r-choosing-the-best-tool-for-ai-ml-data-science-7e0c2295e243\">Python vs R. Parima t\u00f6\u00f6riista valimine AI, ML ja andmete teaduse jaoks<\/a><\/noindex>. Mis puutub Java ja Scala, siis enamik suuri andmete salvestamise ja t\u00f6\u00f6tlemise t\u00f6\u00f6riistu on kirjutatud nendes keeltes. N\u00e4iteks:<\/p>\n<ul>\n<li>Apache Kafka (Scala)<\/li>\n<li>Hadoop, HDFS (Java)<\/li>\n<li>Apache Spark (Scala)<\/li>\n<li>Apache Cassandra (Java)<\/li>\n<li>HBase (Java)<\/li>\n<li>Apache Hive (Java)<\/li>\n<\/ul>\n<p>Ettev\u00f5tte t\u00f6\u00f6riistade m\u00f5istmiseks peate teadma, millistes keeltes need on kirjutatud. Scala funktsionaalne l\u00e4henemine v\u00f5imaldab t\u00f5husalt lahendada suurte andmete t\u00f6\u00f6tlemise \u00fclesandeid. Kahjuks ei saa Python uhkustada kiirus ja paralleelne t\u00f6\u00f6tlemine. \u00dcldiselt m\u00f5jutab mitme keele ja programmeerimismudeli tundmine positiivselt probleemide lahendamise l\u00e4henemisviise.<\/p>\n<p>Scala keele \u00f5ppimiseks v\u00f5ite lugeda <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/0981531687\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=0981531687&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=69314619f1e546e3921eb97c72cf4850\">Scala programmeerimine<\/a><\/noindex> keele autori poolt. Samuti on Twitter v\u00e4lja andnud hea sissejuhatava juhendi \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/twitter.github.io\/scala_school\/\">Scala Kool<\/a><\/noindex>.<\/p>\n<p>Mis puutub Pythonisse, siis ma usun, et <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1491946008\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1491946008&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=8a663e966770c24874e323133cc7a005\">Sujuv Python<\/a><\/noindex> on parim keskastme raamat.<\/p>\n<p><b>4. Suurte andmete t\u00f6\u00f6riistad<\/b><\/p>\n<p>Siin on nimekiri k\u00f5ige populaarsematest t\u00f6\u00f6riistadest suurte andmete maailmas:<\/p>\n<ul>\n<li>Apache Spark<\/li>\n<li>Apache Kafka<\/li>\n<li>Apache Hadoop (HDFS, HBase, Hive)<\/li>\n<li>Apache Cassandra<\/li>\n<\/ul>\n<p>Rohkem teavet suurte andmete plokkide ehitamise kohta leiate sellest h\u00e4mmastavast <noindex><a rel=\"nofollow\" href=\"http:\/\/xyz.insightdataengineering.com\/blog\/pipeline_map\/\">interaktiivsest keskkonnast<\/a><\/noindex>. K\u00f5ige populaarsemad t\u00f6\u00f6riistad on Spark ja Kafka. Neid tasub kindlasti \u00f5ppida, soovitatav on m\u00f5ista, kuidas need seestpoolt t\u00f6\u00f6tavad. Jay Kreps (Kafka kaasautor) avaldas 2013. aastal monumentaalse t\u00f6\u00f6 <noindex><a rel=\"nofollow\" href=\"https:\/\/engineering.linkedin.com\/distributed-systems\/log-what-every-software-engineer-should-know-about-real-time-datas-unifying\">The Log: mida iga tarkvaraarendaja peaks teadma reaalajas andmete \u00fchendamise abstraktsioonist<\/a><\/noindex>, muide, selle Talmudi p\u00f5hiteemadest kasutati Apache Kafka loomisel.<\/p>\n<ul>\n<li>Hadoopi sissejuhatusena v\u00f5ib v\u00f5tta <noindex><a rel=\"nofollow\" href=\"https:\/\/data-flair.training\/blogs\/hadoop-tutorials-home\/\">Hadoopi t\u00e4ielik juhend (tasuta)<\/a><\/noindex>.<\/li>\n<li>Minu arvates on k\u00f5ige t\u00e4ielikum juhend Apache Sparkile \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1491912219\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1491912219&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=5b206424060cfc80a33d13b05c0bfee2\">Spark: t\u00e4ielik juhend<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><b>5. Pilvplatvormid<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Kes on andmeinsenerid ja kuidas neist saavad?\" src=\"\/wp-content\/uploads\/2019\/05\/cc435bc9f9b91ec87d1cf7a591cf84a2.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nAlgselt \u00fche pilvplatvormi tundmine on andmeinseneri ametikoha taotlejatelt n\u00f5utavate p\u00f5hikriteeriumide seas. T\u00f6\u00f6andjad eelistavad Amazon Web Services'i, teisel kohal on Google'i pilvplatvorm ja kolmandat kohta hoiab Microsoft Azure.<\/p>\n<p>Te peate h\u00e4sti orienteeruma Amazon EC2, AWS Lambda, Amazon S3, DynamoDB.<\/p>\n<p><b>6. Jagatud s\u00fcsteemid<\/b><\/p>\n<p>Suurte andmete t\u00f6\u00f6tamine eeldab s\u00f5ltumatute arvutiklusterite olemasolu, mille vahel toimub suhtlus v\u00f5rgu kaudu. Mida suurem on kluster, seda suurem on t\u00f5en\u00e4osus, et selle liikmete s\u00f5lmed eba\u00f5nnestuvad. Suurep\u00e4rase andmeeksperdiks saamiseks peate s\u00fcvenema jagatud s\u00fcsteemide probleemidesse ja olemasolevatesse lahendustesse. See valdkond on vana ja keeruline.<\/p>\n<p>Andrew Tanenbaum on tuntud valdkonna pioneer. Neile, kes ei karda teooriat, soovitan tema raamatut <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1543057381\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1543057381&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=721aedeb23c313bc46a92c134c5baafa\">\u00abJaotatud s\u00fcsteemid\u00bb<\/a><\/noindex>, algajatele v\u00f5ib see tunduda keeruline, kuid see aitab t\u00f5eliselt oma oskusi teravustada.<\/p>\n<p>Pean <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1449373321\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1449373321&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=e7e0e096aa5761066245eb90965ac849\">\u00abAndmep\u00f5histe rakenduste projekteerimine\u00bb autoriks Martin Kleppmann<\/a><\/noindex> parimaks sissejuhatavaks raamatuks. Muide, Martinil on suurep\u00e4rane <noindex><a rel=\"nofollow\" href=\"https:\/\/martin.kleppmann.com\/\">blogi<\/a><\/noindex>. Tema t\u00f6\u00f6 aitab struktureerida teadmisi kaasaegse infrastruktuuri loomise kohta, et talletada ja t\u00f6\u00f6delda suuri andmeid.<br \/>\nNeile, kes armastavad videoid vaadata, on YouTube'is kursus <noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=w8KFPWkK0bI&amp;list=PLawkBQ15NDEkDJ5IyLIJUTZ1rRM9YQq6N&amp;index=2&amp;t=0s\">Jaotatud arvutis\u00fcsteemid<\/a><\/noindex>.<\/p>\n<p><b>7. Andmev\u00f5rgud<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Kes on andmeinsenerid ja kuidas neist saavad?\" src=\"\/wp-content\/uploads\/2019\/05\/cf1c8e2baad0cc79c0b8c3707741353a.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nAndmev\u00f5rgud on see, ilma milleta ei saa elada andmeinsenerina.<\/p>\n<p>Suur osa ajast loob andmeinsener nn andmevoo, st loob andmete edastamise protsessi \u00fchest kohast teise. Need v\u00f5ivad olla kasutajaskenaariumid, mis saadavad API v\u00e4listeenusele v\u00f5i teevad SQL-p\u00e4ringu, t\u00e4iustavad andmeid ja paigutavad need kesksetesse andmehoidlatestesse (andmehoidlad) v\u00f5i struktureerimata andmete hoidlatesse (andmej\u00e4rved).<\/p>\n<p><b>Kokkuv\u00f5tteks: andmeinseneri p\u00f5hikontrollnimekiri<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Kes on andmeinsenerid ja kuidas neist saavad?\" src=\"\/wp-content\/uploads\/2019\/05\/de0eca662b2246e63901afb89c9f255f.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nKokkuv\u00f5ttes on vajalik hea arusaam j\u00e4rgmistest:<\/p>\n<ul>\n<li>Teabe s\u00fcsteemidest;<\/li>\n<li>Tarkvaraarendus (Agile, DevOps, disainitehnikad, SOA);<\/li>\n<li>Jaotatud s\u00fcsteemidest ja paralleelsest programmeerimisest;<\/li>\n<li>Andmebaaside p\u00f5hialustest \u2014 planeerimine, projekteerimine, k\u00e4itamine ja t\u00f5rkeotsing;<\/li>\n<li>Eksperimentide projekteerimine \u2014 A\/B-testimine kontseptsioonide t\u00f5estamiseks, s\u00fcsteemide usaldusv\u00e4\u00e4rsuse ja j\u00f5udluse m\u00e4\u00e4ramiseks, samuti usaldusv\u00e4\u00e4rsete viiside v\u00e4ljat\u00f6\u00f6tamiseks hea lahenduse operatiivseks pakkumiseks.<\/li>\n<\/ul>\n<p>Need on vaid m\u00f5ned n\u00f5uded andmeinseneriks saamiseks, seet\u00f5ttu uurige ja tutvuge andmes\u00fcsteemide, teabes\u00fcsteemide, pideva tarnimise\/paigaldamise\/integratsiooni, programmeerimiskeelte ja muude infotehnoloogia valdkondadega (kuna mitte k\u00f5ikidelt \u00f5ppeainetelt).<\/p>\n<p><b>Ja l\u00f5puks, viimane, kuid v\u00e4ga t\u00e4htis asi, mida soovin \u00f6elda.<\/b><\/p>\n<blockquote><p><i><b>Andmete inseneriks saamise tee ei ole sugugi lihtne, nagu v\u00f5ib arvata. See ei tee armu, frustratsioon on pidev kaaslane ning peate olema selleks valmis. Silmas pidage, et teatud hetked selles teekonnas v\u00f5ivad teid k\u00f5ik l\u00f5petama sundida. Kuid see on t\u00f5eline t\u00f6\u00f6 ja \u00f5ppimisprotsess.<\/b><\/i><\/p><\/blockquote>\n<p>Lihtsalt \u00e4rge ilusate s\u00f5nadega alusta. Kogu teekonna m\u00f5te on \u00f5ppida nii palju kui v\u00f5imalik ja olla uutele v\u00e4ljakutsetele avatud.<br \/>\nSiin on suurep\u00e4rane pilt, millega ma kokku puutusin ja mis illustreerib seda momenti h\u00e4sti:<\/p>\n<p><img decoding=\"async\" alt=\"Kes on andmeinsenerid ja kuidas neist saavad?\" src=\"\/wp-content\/uploads\/2019\/05\/9cc8db9011e5f54717d7e9f31f915523.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nJa jah, \u00e4rge unustage v\u00e4ltida l\u00e4bip\u00f5lemist ja puhata. See on samuti v\u00e4ga oluline. Edu!<\/p>\n<p>Kuidas teile artikkel meeldis, s\u00f5brad? Ootame teid tasuta veebinarile, <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/RCuj\/\">which is taking place today at 20:00. During the webinar, we will discuss how to build an efficient and scalable data processing system for a small company or startup with minimal costs. As a part of the practice, we will get to know Google Cloud data processing tools. See you there!<\/a><\/noindex>which is taking place today at 20:00. During the webinar, we will discuss how to build an efficient and scalable data processing system for a small company or startup with minimal costs. As a part of the practice, we will get to know Google Cloud data processing tools. See you there!<br \/>\n<br \/>Allikas: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/452670\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u0442\u043e\u043c, \u043a\u0442\u043e \u0436\u0435 \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b. \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0441\u0441\u044b\u043b\u043e\u043a. \u041f\u0440\u0438\u044f\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0447\u0442\u0435\u043d\u0438\u044f. \u041f\u0440\u043e\u0441\u0442\u043e\u0435 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043f\u043e\u0439\u043c\u0430\u0442\u044c \u0432\u043e\u043b\u043d\u0443 Data Engineering \u0438 \u043d\u0435 \u0434\u0430\u0442\u044c \u0435\u0439 \u0437\u0430\u0442\u044f\u043d\u0443\u0442\u044c \u0432\u0430\u0441 \u0432 \u043f\u0443\u0447\u0438\u043d\u0443. \u0421\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u0435, \u0447\u0442\u043e \u0432 \u043d\u0430\u0448\u0438 \u0434\u043d\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":25729,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-34083","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"et_EE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b, \u0438 \u043a\u0430\u043a \u0438\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f? | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T18:56:19+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T18:56:19+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Kes on andmeinsenerid ja kuidas nendeks saada? | ProHoster","description":"Ja j\u00e4lle tere! Artikli pealkiri r\u00e4\u00e4gib iseenda eest.","canonical_url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"et_EE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b, \u0438 \u043a\u0430\u043a \u0438\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f? | ProHoster","og:description":"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.","og:url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:56:19+00:00","article:modified_time":"2019-10-31T18:56:19+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"34083","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 17:49:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:28:35","updated":"2026-01-21 17:49:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/34083","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/comments?post=34083"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/34083\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/media\/25729"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/media?parent=34083"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/categories?post=34083"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/tags?post=34083"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}