{"id":55701,"date":"2020-01-26T00:00:00","date_gmt":"2020-01-25T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh"},"modified":"2020-02-18T14:03:50","modified_gmt":"2020-02-18T11:03:50","slug":"nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","title":{"rendered":"Har vi brug for en datalake? Hvad med datalageret?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Denne artikel er en overs\u00e6ttelse af min artikel p\u00e5 Medium \u2014 Kom godt i gang med Data Lake<\/a><\/noindex>, som viste sig at v\u00e6re ret popul\u00e6r, m\u00e5ske p\u00e5 grund af sin enkelhed. Derfor besluttede jeg at skrive den p\u00e5 dansk og tilf\u00f8je lidt, s\u00e5 almindelige mennesker, der ikke er eksperter i databehandling, kan forst\u00e5, hvad et datalager (DW) er, hvad et Data Lake er, og hvordan de to eksisterer sammen. <\/p>\n

Hvorfor ville jeg skrive om Data Lakes? Jeg har arbejdet med data og analyser i over 10 \u00e5r, og i \u00f8jeblikket arbejder jeg bestemt med store data i Amazon Alexa AI i Cambridge, der ligger i Boston, selvom jeg bor p\u00e5 Vancouver Island i Victoria og ofte bes\u00f8ger b\u00e5de Boston, Seattle og Vancouver, og nogle gange endda taler til konferencer i Moskva. Jeg skriver ogs\u00e5 fra tid til anden, men jeg skriver prim\u00e6rt p\u00e5 engelsk, og jeg har allerede skrevet flere b\u00f8ger<\/a><\/noindex>, jeg har ogs\u00e5 et behov for at dele analyserelaterede trends fra Nordamerika, og jeg skriver nogle gange p\u00e5 Telegram<\/a><\/noindex>.<\/p>\n

Jeg har altid arbejdet med datalagre, og siden 2015 har jeg arbejdet intensivt med Amazon Web Services, og jeg er generelt g\u00e5et over til cloud-analyse (AWS, Azure, GCP). Jeg har overv\u00e5get udviklingen af analyse-l\u00f8sninger siden 2007 og har endda arbejdet hos en leverand\u00f8r af datalagre, Teradata, og implementeret det i Sberbank, det var dengang Big Data med Hadoop kom frem. Alle begyndte at sige, at \u00e6raen for datalagre var forbi, og nu var det hele p\u00e5 Hadoop, og derefter begyndte man at tale om Data Lakes, igen med p\u00e5standen om, at nu var datalagerets tid virkelig forbi. Men heldigvis (m\u00e5ske desv\u00e6rre for dem, der tjente mange penge p\u00e5 at s\u00e6tte Hadoop op) er datalageret ikke forsvundet.
\n<\/a><\/noindex>
\nI denne artikel vil vi se p\u00e5, hvad et Data Lake er. Artiklen er rettet mod mennesker, der har lidt eller ingen erfaring med datalagre.<\/p>\n

\"Har
\n
\nP\u00e5 billedet er Lake Bled, det er en af mine yndlingss\u00f8er, selvom jeg kun har v\u00e6ret der \u00e9n gang, men jeg husker det for livet. Men vi skal tale om en anden type s\u00f8 \u2014 data lake. M\u00e5ske har mange af jer allerede h\u00f8rt om dette begreb flere gange, men endnu en definition vil ikke skade.<\/p>\n

F\u00f8rst og fremmest er her de mest popul\u00e6re definitioner af Data Lake:<\/p>\n

\u00abet filsystem til alle typer r\u00e5 data, der er tilg\u00e6ngelige for analyse af hvem som helst i organisationen\u00bb \u2014 Martin Fowler.<\/p><\/blockquote>\n

\u00abHvis du tror, at et datavarehus er som en flaske vand \u2014 renset, pakket og portioneret til nem forbrug, s\u00e5 er et datalake vores enorme reservoir med vand i sin naturlige tilstand. Brugere kan hente vand til sig selv, dykke ned i dybden og udforske\u00bb \u2014 James Dickson. <\/p><\/blockquote>\n

Nu ved vi pr\u00e6cist, at et datalake handler om analyse; det g\u00f8r det muligt for os at opbevare store m\u00e6ngder data i deres oprindelige form, og vi har nem adgang til dataene.<\/p>\n

Jeg elsker ofte at forenkle ting, hvis jeg kan forklare et komplekst begreb med simple ord, s\u00e5 har jeg for mig selv forst\u00e5et, hvordan det fungerer, og hvad det er n\u00f8dvendigt for. For eksempel, jeg fandt p\u00e5 at unders\u00f8ge iPhone i fotogalleriet, og jeg inds\u00e5, at det er et rigtigt datalake; jeg lavede endda et slide til konferencer:<\/p>\n

\"Har
\n
\nDet er meget enkelt. Vi tager et billede med telefonen, billedet gemmes p\u00e5 telefonen og kan ogs\u00e5 gemmes i iCloud (cloud-lager). Telefonen indsamler ogs\u00e5 metadata om billedet: hvad der er afbilledet, geotag, tidspunkt. Som resultat kan vi bruge det praktiske interface p\u00e5 iPhone til at finde vores billede, og vi kan endda se indikatorer; for eksempel n\u00e5r jeg s\u00f8ger efter billeder med ordet ild (fire), finder jeg 3 billeder af et b\u00e5l. For mig er det ligesom et Business Intelligence-v\u00e6rkt\u00f8j, der fungerer meget hurtigt og pr\u00e6cist. <\/p>\n

Og selvf\u00f8lgelig m\u00e5 vi ikke glemme sikkerhed (autorisation og autentifikation), ellers kan vores data nemt blive offentliggjort. Der er mange nyheder om store virksomheder og startups, som har f\u00e5et deres data offentliggjort p\u00e5 grund af udvikleres fors\u00f8mmelighed og manglende overholdelse af enkle regler.<\/p>\n

Selv et s\u00e5 simpelt billede hj\u00e6lper os med at forst\u00e5, hvad et datalake er, dets forskelle fra traditionelle datalagre og dets vigtigste elementer:<\/p>\n

    \n
  1. Indl\u00e6sning af data <\/b>(Ingestion) \u2014 en n\u00f8glekomponent i et datalake. Data kan komme ind i datalageret p\u00e5 to m\u00e5der \u2014 batch (overf\u00f8rsel med intervaller) og streaming (dataflow).<\/li>\n
  2. Cloud-lager<\/b> (Storage) \u2014 hovedkomponenten i Datalake. Vi har brug for, at lageret er let skalerbart, ekstremt p\u00e5lideligt og omkostningseffektivt. For eksempel er det S3 i AWS.<\/li>\n
  3. Katalog og S\u00f8gning<\/b> (Katalog og s\u00f8gning) \u2014 for at undg\u00e5 datasyge (som er n\u00e5r vi samler alle data i \u00e9n bunke, og derefter er det umuligt at arbejde med dem), er vi n\u00f8dt til at oprette et lag med metadata til klassificering af data, s\u00e5 brugerne nemt kan finde de data, de har brug for til analyse. Derudover kan der anvendes ekstra s\u00f8gningsl\u00f8sninger, som for eksempel ElasticSearch. S\u00f8gning hj\u00e6lper brugeren med at finde de n\u00f8dvendige data gennem en brugervenlig gr\u00e6nseflade.<\/li>\n
  4. Behandling<\/b> (Proces) \u2014 dette skridt ansvarer for behandling og transformation af data. Vi kan transformere data, \u00e6ndre deres strukturer, rense dem og meget mere. <\/li>\n
  5. Sikkerhed<\/b> (Sikkerhed) \u2014 det er vigtigt at bruge tid p\u00e5 at designe sikkerheden i l\u00f8sningen. For eksempel kryptering af data under opbevaring, behandling og overf\u00f8rsel. Det er vigtigt at anvende autentificerings- og autorisationsmetoder. Afslutningsvis er et revisionsv\u00e6rkt\u00f8j n\u00f8dvendigt.<\/li>\n<\/ol>\n

    \nFra et praktisk synspunkt kan vi karakterisere datalageret med tre attributter:<\/p>\n

      \n
    1. Indsaml og opbevar hvad som helst<\/b> \u2014 datalageret indeholder alle data, b\u00e5de r\u00e5, ubehandlede data fra enhver tidsperiode samt behandlede\/rensede data.<\/li>\n
    2. Dybtg\u00e5ende analyse<\/b> \u2014 datalageret g\u00f8r det muligt for brugerne at udforske og analysere data.<\/li>\n
    3. Fleksibel adgang<\/b> \u2014 datalageret giver fleksibel adgang til forskellige data og forskellige scenarier.<\/li>\n<\/ol>\n

      \nNu kan vi tale om forskellen mellem datalager og datalager. Folk sp\u00f8rger ofte:<\/p>\n