{"id":55701,"date":"2020-01-26T00:00:00","date_gmt":"2020-01-25T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh"},"modified":"2020-02-18T14:03:50","modified_gmt":"2020-02-18T11:03:50","slug":"nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","title":{"rendered":"Ali potrebujemo jezero podatkov? Kaj pa shranjevanje podatkov?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

To je \u010dlanek prevod moje objave na medium \u2014 Uvod v podatkovna jezera<\/a><\/noindex>, ki je bila precej priljubljena, verjetno zaradi svoje preprostosti. Zato sem se odlo\u010dil, da jo napi\u0161em tudi v sloven\u0161\u010dini in nekoliko dopolnim, da bi preprosti osebi, ki ni strokovnjak za podatke, postalo jasno, kaj je skladi\u0161\u010de podatkov (DW), kaj pa podatkovno jezero (Data Lake) in kako skupaj sobivata. <\/p>\n

Zakaj sem hotel napisati o podatkovnem jezeru? Z podatki in analitiko delam \u017ee ve\u010d kot 10 let, trenutno pa delam s skupnimi podatki pri Amazon Alexa AI v Cambridgeu, ki je blizu Bostonu, \u010deprav \u017eivim v Victorii na otoku Vancouver in pogosto sem tudi v Bostonu, Seattlu ter Vancouverju, v\u010dasih celo v Moskvi, kjer nastopam na konferencah. Tudi ob\u010dasno pi\u0161em, a ve\u010dinoma v angle\u0161\u010dini, in \u017ee sem napisal nekaj knjig<\/a><\/noindex>, poleg tega imam potrebo, da delim trende analitike iz Severne Amerike, zato ob\u010dasno pi\u0161em tudi v Telegramu<\/a><\/noindex>.<\/p>\n

Vedno sem delal s skladi\u0161\u010di podatkov, od leta 2015 pa intenzivno sodelujem z Amazon Web Services, sploh sem se preusmeril na obla\u010dno analitiko (AWS, Azure, GCP). Spremljal sem evolucijo re\u0161itev za analitiko od leta 2007 in sam sem celo delal pri ponudniku skladi\u0161\u010d podatkov Teradata ter jo implementiral v Sberbanki, takrat se je pojavila Big Data z Hadoopom. Vsi so govorili, da je era skladi\u0161\u010d minila in da zdaj vsi delajo na Hadoopu, nato so za\u010deli govoriti o podatkovnih jezerih, spet so trdili, da je zdaj za skladi\u0161\u010de podatkov kon\u010dno konec. A na sre\u010do (morda za nekatere pa nesre\u010do, ki so zaslu\u017eili veliko denarja s postavitvijo Hadoopa) skladi\u0161\u010de podatkov ni izginilo.
\n<\/a><\/noindex>
\nV tem \u010dlanku bomo preu\u010dili, kaj je podatkovno jezero. \u010clanek je namenjen ljudem, ki imajo malo ali ni\u010d izku\u0161enj s skladi\u0161\u010di podatkov.<\/p>\n

\"Ali
\n
\nNa sliki je Bledsko jezero, to je eno mojih najljub\u0161ih jezer, \u010deprav sem bil tam le enkrat, vendar sem si ga zapomnil za vse \u017eivljenje. A govorili bomo o drugem tipu jezera \u2014 podatkovnem jezeru. Mnogi med vami so \u017ee sli\u0161ali ta izraz, toda \u0161e ena definicija ne bo \u0161kodila.<\/p>\n

Prvi\u010d, tukaj so najbolj priljubljene definicije podatkovnega jezera:<\/p>\n

\"datote\u010dno skladi\u0161\u010de vseh tipov surovih podatkov, ki so na voljo za analizo komur koli v organizaciji\" \u2014 Martin Fowler.<\/p><\/blockquote>\n

\u201e\u010ce menite, da je podatkovna vitrina steklenica vode \u2014 filtrirane, zapakirane in razdeljene za udobno uporabo, pa je jezero podatkov ogromna rezervoar vode v njeni naravni obliki. Uporabniki lahko nabirajo vodo zase, potapljajo se v globine in raziskujejo\u201c \u2014 James Dickinson. <\/p><\/blockquote>\n

Zdaj natan\u010dno vemo, da je jezero podatkov o analitiki, omogo\u010da nam shranjevanje velikih koli\u010din podatkov v njihovem izvirnem stanju in imamo potreben in priro\u010den dostop do podatkov.<\/p>\n

Radi imam, da poenostavim stvari; \u010de lahko zapleten termin razlo\u017eim s preprostimi besedami, potem sem sam razumel, kako deluje in zakaj je to pomembno. Tako sem neko\u010d raziskoval svoj iPhone v fotogaleriji in spoznal, da je to pravo jezero podatkov, celo naredil sem diapozitiv za konference:<\/p>\n

\"Ali
\n
\nVse je zelo preprosto. Fotografiramo s telefonom, slika se shrani na telefon in lahko se shrani v iCloud (obla\u010dno shranjevanje). Telefon tudi zbira metapodatke fotografije: kaj je na sliki, geolokacija in \u010das. Kot rezultat lahko uporabimo priro\u010den vmesnik iPhona, da najdemo na\u0161o sliko in pri tem vidimo kazalnike; na primer, ko i\u0161\u010dem slike s besedo ogenj (fire), najdem 3 slike z ognjem. Zame je to kot orodje Business Intelligence, ki deluje zelo hitro in natan\u010dno. <\/p>\n

In seveda ne smemo pozabiti na varnost (avtorizacijo in autentifikacijo), sicer lahko na\u0161i podatki enostavno pridejo v javni dostop. Veliko novic je o velikih korporacijah in startupih, katerih podatki so pri\u0161li v javni dostop zaradi malomarnosti razvijalcev in nespo\u0161tovanja preprostih pravil.<\/p>\n

Tudi taka preprosta slika nam pomaga ponazoriti, kaj je jezero podatkov, njegove razlike od tradicionalnega skladi\u0161\u010da podatkov in njegove glavne elemente:<\/p>\n

    \n
  1. Na\u010d\u00edt\u00e1n\u00ed dat <\/b>(Ingestion) \u2014 klju\u010dna komponenta jezera podatkov. Podatki v skladi\u0161\u010de lahko pridejo na dva na\u010dina \u2014 batch (nalo\u017eitev z intervali) in streaming (podatkovni tok).<\/li>\n
  2. Obla\u010dno shranjevanje<\/b> (Storage) \u2014 glavna komponenta jezera podatkov. Potrebno je, da je skladi\u0161\u010de enostavno raz\u0161irljivo, izjemno zanesljivo in ima nizke stro\u0161ke. Na primer, v AWS je to S3.<\/li>\n
  3. Katalog in Iskanje<\/b> (Katalog i Iskanje) \u2014 da se izognemo Zaplati Podatkov (kar pomeni, da vse podatke zme\u0161amo v eno kup, kar onemogo\u010da delo z njimi), moramo ustvariti sloj meta-podatkov za klasifikacijo podatkov, da uporabniki enostavno najdejo podatke, ki jih potrebujejo za analizo. Dodatno lahko uporabimo dodatne re\u0161itve za iskanje, kot je ElasticSearch. Iskanje uporabnikom olaj\u0161a iskanje potrebnih podatkov prek enostavnih vmesnikov.<\/li>\n
  4. Obdelava<\/b> (Postopek) \u2014 ta korak je odgovoren za obdelavo in transformacijo podatkov. Lahko transformiramo podatke, spreminjamo njihove strukture, jih o\u010distimo in \u0161e veliko ve\u010d. <\/li>\n
  5. Sigurnost<\/b> (Varnost) \u2014 pomembno je, da namenimo \u010das za oblikovanje varnosti re\u0161itve. Na primer, \u0161ifriranje podatkov med shranjevanjem, obdelavo in prenosom. Uporabiti je treba metode avtentikacije in avtorizacije. Na koncu potrebujemo orodje za revizijo.<\/li>\n<\/ol>\n

    \nZ prakti\u010dnega vidika lahko podatkovno jezero opi\u0161emo s tremi atributi:<\/p>\n

      \n
    1. Zberite in shranite karkoli<\/b> \u2014 podatkovno jezero vsebuje vse podatke, tako nepredelane surove podatke za katerokoli \u010dasovno obdobje, kot tudi obdelane\/\u010diste podatke.<\/li>\n
    2. Globoka analiza<\/b> \u2014 podatkovno jezero uporabnikom omogo\u010da raziskovanje in analizo podatkov.<\/li>\n
    3. Fleksibilen dostop<\/b> \u2014 podatkovno jezero zagotavlja fleksibilen dostop do razli\u010dnih podatkov in razli\u010dnih scenarijev.<\/li>\n<\/ol>\n

      \nZdaj se lahko pogovorimo o razliki med skladi\u0161\u010dem podatkov in podatkovnim jezerom. Ljudje obi\u010dajno spra\u0161ujejo:<\/p>\n