{"id":55701,"date":"2020-01-26T00:00:00","date_gmt":"2020-01-25T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh"},"modified":"2020-02-18T14:03:50","modified_gmt":"2020-02-18T11:03:50","slug":"nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","title":{"rendered":"Kas meil on vaja andmej\u00e4rve? Kuidas on lood andmehoidla kasutamisega?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

See artikkel on t\u00f5lge minu artiklist Mediumis \u2014 Andmej\u00e4rvega alustamine<\/a><\/noindex>, mis osutus \u00fcsna populaarseks, ilmselt oma lihtsuse t\u00f5ttu. Seet\u00f5ttu otsustasin selle kirjutada eesti keeles ja veidi t\u00e4iendada, et tavaline inimene, kes ei ole andmeanal\u00fc\u00fctika spetsialist, saaks aru, mis on andmehoidla (DW) ja mis on andmej\u00e4rv (Data Lake) ning kuidas nad koos eksisteerivad. <\/p>\n

Miks soovisin kirjutada andmej\u00e4rvest? Olen t\u00f6\u00f6tanud andmete ja anal\u00fc\u00fctikaga \u00fcle 10 aasta ning hetkel tegelen kindlasti suurandmete kasutamisega Amazon Alexa AI-s Cambridges, mis asub Bostoni l\u00e4hedal, kuigi elan ise Victoria's Vancouveri saarel ja olen sageli Bostoni, Seattle'i ja Vancouveri vahel, vahel isegi Moskvas konverentsidel esinemas. Samuti kirjutan aeg-ajalt, kuid peamiselt inglise keeles, ja olen juba kirjutanud mitu raamatut<\/a><\/noindex>, samuti on mul vajadus jagada anal\u00fc\u00fctika trende P\u00f5hja-Ameerikas, ja vahel kirjutan ka Telegramis<\/a><\/noindex>.<\/p>\n

Olen alati t\u00f6\u00f6tanud andmehoidlate kallal ja alates 2015. aastast olen aktiivselt tegelenud Amazon Web Servicesiga, \u00fcldiselt olen suundunud pilveanal\u00fc\u00fctikale (AWS, Azure, GCP). Olen j\u00e4lginud anal\u00fc\u00fctikalahenduste arengut alates 2007. aastast ning t\u00f6\u00f6tasin isegi andmehoidlate tarnijana Teradata, rakendades seda Sberbankis, kus hakkas esmakordselt leidma kasutust Big Data koos Hadoopiga. K\u00f5ik hakkasid r\u00e4\u00e4kima, et andmehoidlate ajastu on m\u00f6\u00f6das ja n\u00fc\u00fcd on k\u00f5ik Hadoopis, hiljem hakati r\u00e4\u00e4kima andmej\u00e4rvest, j\u00e4lle v\u00e4ideti, et andmehoidlate aeg on t\u00f5eliselt l\u00f5ppenud. Kuid \u00f5nneks (v\u00f5ib-olla on see kellegi jaoks ka \u00f5nnetus, kes teenis palju raha Hadoopi seadistamisel) andmehoidla ei ole kadunud.
\n<\/a><\/noindex>
\nSelles artiklis vaatleme, mis on andmej\u00e4rv. Artikkel on suunatud inimestele, kellel on andmehoidlate kohta v\u00e4hene v\u00f5i \u00fcldse mitte teadmisi.<\/p>\n

\"Kas
\n
\nPildil on Bledi j\u00e4rv, see on \u00fcks minu lemmikj\u00e4rvi, kuigi olen seal olnud vaid korra, j\u00e4in selle meelde kogu eluks. Kuid r\u00e4\u00e4gime teisest j\u00e4rve t\u00fc\u00fcbist \u2014 andmej\u00e4rvest. V\u00f5imalik, et paljud teist on seda terminit korduvalt kuulnud, kuid veel \u00fcks m\u00e4\u00e4ratlus ei tee kellelegi paha.<\/p>\n

Esiteks, siin on k\u00f5ige populaarsemad m\u00e4\u00e4ratlused andmej\u00e4rvest:<\/p>\n

\u201eK\u00f5ikide toorandmete failide salvestamine, mis on kergesti kergesti k\u00e4ttesaadavad anal\u00fc\u00fcsimiseks organisatsioonis\u201c \u2014 Martin Fowler.<\/p><\/blockquote>\n

\u201eKui arvad, et andmevaade on pudel puhtast veest \u2014 puhastatud, pakendatud ja mugavaks tarbimiseks, siis andmej\u00e4rv on meile tohutu reservuaar veega selle looduslikus vormis. Kasutajad saavad sealt vett v\u00f5tta, s\u00fcgavale sukelduda, uurida\u201c \u2014 James Dixon. <\/p><\/blockquote>\n

N\u00fc\u00fcd teame kindlasti, et andmej\u00e4rv on seotud anal\u00fc\u00fcsi ja see v\u00f5imaldab meil hoida suuri andmemahtusid nende algses vormis ning meil on vajalik ja mugav juurdep\u00e4\u00e4s andmetele.<\/p>\n

Mulle meeldib asju lihtsustada, kui suudan keerulist m\u00f5istet lihtsate s\u00f5nadega selgitada, siis olen ise aru saanud, kuidas see t\u00f6\u00f6tab ja milleks see vajalik on. \u00dchel hetkel, kui uurisin oma iPhone'i fotoalbumit, sain aru, et see on t\u00f5eline andmej\u00e4rv, ma isegi tegin konverentside jaoks slaidi:<\/p>\n

\"Kas
\n
\nK\u00f5ik on v\u00e4ga lihtne. Teeme pildi telefoniga, pilt salvestatakse telefonisse ja seda saab salvestada iCloudi (pilveteenuse hoidla) ka. Samuti kogub telefon pildi metaandmeid: mis on pildil, geosildid, aeg. Tulemusena saame kasutada mugavat iPhone'i liidest, et leida meie pilt, ja n\u00e4eme isegi n\u00e4itajaid, n\u00e4iteks kui otsin pilte s\u00f5naga tuli (fire), leian 3 pilti l\u00f5kke pildiga. Minu jaoks on see justkui Business Intelligence t\u00f6\u00f6riist, mis t\u00f6\u00f6tab v\u00e4ga kiiresti ja t\u00e4pselt. <\/p>\n

Ja muidugi ei tohi me unustada turvalisust (autoriseerimist ja autentimist), vastasel juhul v\u00f5ivad meie andmed kergesti avalikku ruumi sattuda. Palju uudiseid suurte ettev\u00f5tete ja idufirmade kohta, kelle andmed sattusid avalikku ruumi arendajate hoolimatuse ja lihtsate reeglite j\u00e4rgimise eiramise t\u00f5ttu.<\/p>\n

Isegi selline lihtne pilt aitab meil m\u00f5ista, mis on and lake, selle erinevused traditsioonilisest andmete hoidlast ja selle p\u00f5hielemendid:<\/p>\n

    \n
  1. Andmete laadimine <\/b>(Ingestion) \u2014 andmete j\u00e4rve peamine koostisosa. Andmed v\u00f5ivad andmehoidlasse j\u00f5uda kahel viisil \u2014 batch (andmete laadimine intervallide kaupa) v\u00f5i streaming (andmevoog).<\/li>\n
  2. Failihaldus<\/b> (Storage) \u2014 andmej\u00e4rve p\u00f5hikomponent. Meie vajaduseks on, et hoidla oleks kergesti skaleeritav, \u00e4\u00e4rmiselt usaldusv\u00e4\u00e4rne ja madala hinnaga. N\u00e4iteks AWS-is on see S3.<\/li>\n
  3. Kataloog ja Otsing<\/b> (Catalog and Search) \u2014 et v\u00e4ltida andme sohu (mis juhtub, kui k\u00f5ik andmed visatakse \u00fchte kuhja ja hiljem on nendega keeruline t\u00f6\u00f6tada), peab olema loodud metaandmete kiht andmete klassifitseerimiseks, et kasutajad saaksid h\u00f5lpsasti leida anal\u00fc\u00fcsiks vajalikke andmeid. T\u00e4iendavalt saab kasutada t\u00e4iendavaid otsingulahendusi, n\u00e4iteks ElasticSearch. Otsing aitab kasutajal vajalikku teavet mugava liidese kaudu otsida.<\/li>\n
  4. T\u00f6\u00f6tlemine<\/b> (Process) \u2014 see etapp vastutab andmete t\u00f6\u00f6tlemise ja transformeermise eest. Saame andmeid \u00fcmber t\u00f6\u00f6tleda, nende struktuure muuta, puhastada ja palju muud. <\/li>\n
  5. Ohutus<\/b> (Security) \u2014 oluline on investeerida aega turvadesaini. N\u00e4iteks andmete kr\u00fcpteerimine nende s\u00e4ilitamise, t\u00f6\u00f6tlemise ja edastamise ajal. Oluline on kasutada autentimise ja autoriseerimise meetodeid. Kokkuv\u00f5ttes on vajalik auditeerimise t\u00f6\u00f6riist.<\/li>\n<\/ol>\n

    \nPraktilisest vaatenurgast v\u00f5ime andmej\u00e4rve iseloomustada kolme omadusega:<\/p>\n

      \n
    1. Koguge ja salvestage k\u00f5ike<\/b> \u2014 andmej\u00e4rv sisaldab k\u00f5iki andmeid, alates toores t\u00f6\u00f6tlemata andmetest mis tahes ajavahemiku jooksul kuni t\u00f6\u00f6deldud\/puhastatud andmeteni.<\/li>\n
    2. S\u00fcvaanal\u00fc\u00fcs<\/b> \u2014 andmej\u00e4rv v\u00f5imaldab kasutajatel andmeid uurida ja anal\u00fc\u00fcsida.<\/li>\n
    3. Paindlik ligip\u00e4\u00e4s<\/b> \u2014 andmej\u00e4rv tagab paindliku ligip\u00e4\u00e4su erinevatele andmetele ja erinevatele stsenaariumidele.<\/li>\n<\/ol>\n

      \nN\u00fc\u00fcd saame r\u00e4\u00e4kida andmehoidla ja andmej\u00e4rve vahetest. Tavaline k\u00fcsimus on:<\/p>\n