{"id":55701,"date":"2020-01-26T00:00:00","date_gmt":"2020-01-25T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh"},"modified":"2020-02-18T14:03:50","modified_gmt":"2020-02-18T11:03:50","slug":"nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sk\/blog\/administrirovanie\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","title":{"rendered":"Potrebujeme jazero d\u00e1t? A \u010do s datab\u00e1zov\u00fdm \u00falo\u017eiskom?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Toto je \u010dl\u00e1nok preklad mojej \u010dl\u00e1nku na medium \u2014 Za\u010diatky s D\u00e1tov\u00fdm Jazerom<\/a><\/noindex>, ktor\u00fd sa uk\u00e1zal by\u0165 dos\u0165 popul\u00e1rny, asi kv\u00f4li svojej jednoduchosti. Preto som sa rozhodol nap\u00edsa\u0165 ho v sloven\u010dine a trochu doplni\u0165, aby be\u017en\u00fd \u010dlovek, ktor\u00fd nie je \u0161pecialista na pr\u00e1cu s d\u00e1tami, pochopil, \u010do je to \u00falo\u017eisko d\u00e1t (DW), \u010do je to d\u00e1tov\u00e9 jazero (Data Lake) a ako spolu koexistuj\u00fa. <\/p>\n

Pre\u010do som sa rozhodol nap\u00edsa\u0165 o d\u00e1tovom jazere? Pracujem s d\u00e1tami a analytikou viac ako 10 rokov, a teraz ur\u010dite pracujem s ve\u013ek\u00fdmi d\u00e1tami v Amazon Alexa AI v Cambridge, ktor\u00fd je bl\u00edzko Bostonu, aj ke\u010f s\u00e1m \u017eijem vo Victorii na ostrove Vancouver a \u010dasto som v Bostone, Seattli a Vancouveri, a niekedy dokonca aj v Moskve vystupujem na konferenci\u00e1ch. Takisto \u010das od \u010dasu p\u00ed\u0161em, ale p\u00ed\u0161em preva\u017ene v angli\u010dtine a u\u017e som nap\u00edsal nieko\u013eko kn\u00edh<\/a><\/noindex>, z\u00e1rove\u0148 m\u00e1m potrebu zdie\u013ea\u0165 trendy analytiky zo Severnej Ameriky, a ob\u010das p\u00ed\u0161em do telegramu<\/a><\/noindex>.<\/p>\n

V\u017edy som pracoval s \u00falo\u017eiskami d\u00e1t, a od roku 2015 som sa intenz\u00edvne zaoberal Amazon Web Services, a v\u00f4bec som pre\u0161iel na cloudov\u00fa analytiku (AWS, Azure, GCP). Sledoval som v\u00fdvoj rie\u0161en\u00ed pre analytiku od roku 2007 a s\u00e1m som dokonca pracoval u dod\u00e1vate\u013ea \u00falo\u017eiska d\u00e1t Teradata a implementoval to v Sberbank, vtedy vznikla Big Data s Hadoop. V\u0161etci za\u010dali hovori\u0165, \u017ee \u00e9ra \u00falo\u017e\u00edsk skon\u010dila a teraz sa v\u0161etko rob\u00ed na Hadoop, a potom sa u\u017e hovorilo o D\u00e1tovom Jazere, op\u00e4\u0165 \u017ee u\u017e ur\u010dite \u00falo\u017eisku zomrela.
\n<\/a><\/noindex>
\nV tomto \u010dl\u00e1nku sa pozrieme na to, \u010do je to d\u00e1tov\u00e9 jazero. \u010cl\u00e1nok je ur\u010den\u00fd pre \u013eud\u00ed, ktor\u00ed maj\u00fa m\u00e1lo sk\u00fasenost\u00ed s \u00falo\u017eiskami d\u00e1t alebo v\u00f4bec \u017eiadne.<\/p>\n

\"Potrebujeme
\n
\nNa obr\u00e1zku je jazero Bled, to je jedno z mojich ob\u013e\u00faben\u00fdch jazier, aj ke\u010f som tam bol len raz, ale zapam\u00e4tal som si ho na cel\u00fd \u017eivot. Ale budeme sa rozpr\u00e1va\u0165 o inom type jazera \u2014 d\u00e1tovom jazere. Mo\u017eno mnoh\u00ed z v\u00e1s u\u017e nie raz po\u010duli tento term\u00edn, ale \u010fal\u0161ia defin\u00edcia nikomu neubl\u00ed\u017ei.<\/p>\n

Predov\u0161etk\u00fdm tu s\u00fa najpopul\u00e1rnej\u0161ie defin\u00edcie D\u00e1tov\u00e9ho Jazera:<\/p>\n

\"s\u00faborov\u00e9 \u00falo\u017eisko v\u0161etk\u00fdch typov surov\u00fdch d\u00e1t, ktor\u00e9 s\u00fa dostupn\u00e9 na anal\u00fdzu k\u00fdmko\u013evek v organiz\u00e1cii\" \u2014 Martin Fowler.<\/p><\/blockquote>\n

\u201eAk si mysl\u00edte, \u017ee d\u00e1tov\u00e1 vitr\u00edna je ako f\u013ea\u0161a vody \u2014 prefiltrovanej, zabalen\u00e9 a pripraven\u00e9 na pohodln\u00e9 pou\u017eitie, tak jazero d\u00e1t je pre n\u00e1s obrovsk\u00e1 n\u00e1dr\u017e s vodou v jej prirodzenej podobe. Pou\u017e\u00edvatelia m\u00f4\u017eu \u010derpa\u0165 vodu pre seba, ponori\u0165 sa do h\u013abky, presk\u00famava\u0165.\u201c \u2014 James Dickson. <\/p><\/blockquote>\n

Teraz presne vieme, \u017ee jazero d\u00e1t je o anal\u00fdze, umo\u017e\u0148uje n\u00e1m uchov\u00e1va\u0165 ve\u013ek\u00e9 objemy \u00fadajov v ich p\u00f4vodnej forme a m\u00e1me potrebn\u00fd a pohodln\u00fd pr\u00edstup k \u00fadajom.<\/p>\n

\u010casto r\u00e1d zjednodu\u0161ujem veci, ak m\u00f4\u017eem vysvetli\u0165 zlo\u017eit\u00fd term\u00edn jednoduch\u00fdmi slovami, znamen\u00e1 to, \u017ee som pochopil, ako to funguje a na \u010do je to potrebn\u00e9. Napr\u00edklad, ke\u010f som prech\u00e1dzal iPhone v gal\u00e9rii fotografi\u00ed, uvedomil som si, \u017ee to je skuto\u010dn\u00e9 jazero d\u00e1t, dokonca som urobil sn\u00edmku pre konferencie:<\/p>\n

\"Potrebujeme
\n
\nV\u0161etko je ve\u013emi jednoduch\u00e9. Urob\u00edme fotografiu mobilom, fotografia sa ulo\u017e\u00ed do telef\u00f3nu a m\u00f4\u017ee by\u0165 ulo\u017een\u00e1 v iCloudu (\u00falo\u017eisko v oblaku). Telef\u00f3n tie\u017e zhroma\u017e\u010fuje meta\u00fadaje fotografie: \u010do je zobrazen\u00e9, geoloka\u010dn\u00e9 \u00fadaje, \u010das. Ako v\u00fdsledok, m\u00f4\u017eeme pou\u017ei\u0165 pohodln\u00e9 rozhranie iPhonu na n\u00e1jdenie na\u0161ej fotografie a pritom vid\u00edme aj ukazovatele, napr\u00edklad, ke\u010f h\u013ead\u00e1m fotografie so slovom ohe\u0148 (fire), n\u00e1jdem 3 fotografie so zobrazen\u00edm oh\u0148a. Pre m\u0148a je to ako n\u00e1stroj Business Intelligence, ktor\u00fd funguje ve\u013emi r\u00fdchlo a presne. <\/p>\n

A samozrejme, nesmieme zabudn\u00fa\u0165 na bezpe\u010dnos\u0165 (autoriz\u00e1ciu a autentifik\u00e1ciu), inak m\u00f4\u017eu na\u0161e \u00fadaje jednoducho prenikn\u00fa\u0165 do verejn\u00e9ho pr\u00edstupu. Je ve\u013ea spr\u00e1v o ve\u013ek\u00fdch korpor\u00e1ci\u00e1ch a startupoch, ktor\u00fdch \u00fadaje sa dostali do verejn\u00e9ho pr\u00edstupu z d\u00f4vodu nedbanlivosti v\u00fdvoj\u00e1rov a nedodr\u017eiavania jednoduch\u00fdch pravidiel.<\/p>\n

Aj tak\u00fd jednoduch\u00fd obr\u00e1zok n\u00e1m pom\u00e1ha predstavi\u0165 si, \u010do je to jazero d\u00e1t, jeho rozdiely od tradi\u010dn\u00e9ho \u00falo\u017eiska d\u00e1t a jeho z\u00e1kladn\u00e9 prvky:<\/p>\n

    \n
  1. Na\u010d\u00edtanie d\u00e1t <\/b>(Ingestion) \u2014 k\u013e\u00fa\u010dov\u00e1 zlo\u017eka jazera d\u00e1t. \u00dadaje m\u00f4\u017eu vstupova\u0165 do \u00falo\u017eiska d\u00e1t dvoma sp\u00f4sobmi \u2014 batch (nahr\u00e1vanie v intervaloch) a streaming (\u00fadr\u017eba d\u00e1tov\u00e9ho toku).<\/li>\n
  2. S\u00faborov\u00e9 \u00falo\u017eisko<\/b> (Storage) \u2014 hlavn\u00e1 zlo\u017eka jazera d\u00e1t. Potrebujeme, aby bolo \u00falo\u017eisko \u013eahko \u0161k\u00e1lovate\u013en\u00e9, mimoriadne spo\u013eahliv\u00e9 a malo n\u00edzke n\u00e1klady. Napr\u00edklad v AWS je to S3.<\/li>\n
  3. Katal\u00f3g a H\u013eadanie<\/b> (Katal\u00f3g a H\u013eadanie) \u2014 aby sme sa vyhli Ba\u017ein\u00e1m D\u00e1t (to je, ke\u010f nah\u00e1d\u017eeme v\u0161etky d\u00e1ta do jedn\u00e9ho miesta a potom s nimi nie je mo\u017en\u00e9 pracova\u0165), mus\u00edme vytvori\u0165 vrstvu metad\u00e1t na klasifik\u00e1ciu d\u00e1t, aby pou\u017e\u00edvatelia mohli \u013eahko n\u00e1js\u0165 d\u00e1ta, ktor\u00e9 potrebuj\u00fa na anal\u00fdzu. Navy\u0161e, m\u00f4\u017eeme pou\u017ei\u0165 \u010fal\u0161ie rie\u0161enia na h\u013eadanie, ako ElasticSearch. H\u013eadanie pom\u00e1ha pou\u017e\u00edvate\u013eovi n\u00e1js\u0165 potrebn\u00e9 d\u00e1ta cez pohodln\u00e9 rozhranie.<\/li>\n
  4. Spracovanie<\/b> (Proces) \u2014 tento krok zodpoved\u00e1 za spracovanie a transform\u00e1ciu d\u00e1t. M\u00f4\u017eeme transformova\u0165 d\u00e1ta, meni\u0165 ich \u0161trukt\u00fary, \u010disti\u0165 ich a mnoho \u010fal\u0161ieho. <\/li>\n
  5. Bezpe\u010dnos\u0165<\/b> (Bezpe\u010dnos\u0165) \u2014 je d\u00f4le\u017eit\u00e9 venova\u0165 \u010das n\u00e1vrhu bezpe\u010dnosti rie\u0161enia. Napr\u00edklad, \u0161ifrovanie d\u00e1t po\u010das ukladania, spracovania a preberania. D\u00f4le\u017eit\u00e9 je pou\u017e\u00edva\u0165 met\u00f3dy autentifik\u00e1cie a autoriz\u00e1cie. Na z\u00e1ver, potrebujeme n\u00e1stroj na audit.<\/li>\n<\/ol>\n

    \nZ praktick\u00e9ho h\u013eadiska m\u00f4\u017eeme charakterizova\u0165 jazero d\u00e1t troma atrib\u00fatmi:<\/p>\n

      \n
    1. Zhroma\u017e\u010fujte a ulo\u017ete \u010doko\u013evek<\/b> \u2014 jazero d\u00e1t obsahuje v\u0161etky d\u00e1ta, ako surov\u00e9 neopracovan\u00e9 d\u00e1ta za ak\u00e9ko\u013evek obdobie, tak aj spracovan\u00e9\/\u010disten\u00e9 d\u00e1ta.<\/li>\n
    2. Hlbok\u00e1 anal\u00fdza<\/b> \u2014 jazero d\u00e1t umo\u017e\u0148uje pou\u017e\u00edvate\u013eom sk\u00fama\u0165 a analyzova\u0165 d\u00e1ta.<\/li>\n
    3. Flexibiln\u00fd pr\u00edstup<\/b> \u2014 jazero d\u00e1t zabezpe\u010duje flexibiln\u00fd pr\u00edstup k r\u00f4znym d\u00e1tam a r\u00f4znym scen\u00e1rom.<\/li>\n<\/ol>\n

      \nTeraz m\u00f4\u017eeme hovori\u0165 o rozdieloch medzi \u00falo\u017eiskom d\u00e1t a jazerom d\u00e1t. Zvy\u010dajne sa \u013eudia p\u00fdtaj\u00fa:<\/p>\n