{"id":55701,"date":"2020-01-26T00:00:00","date_gmt":"2020-01-25T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh"},"modified":"2020-02-18T14:03:50","modified_gmt":"2020-02-18T11:03:50","slug":"nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","title":{"rendered":"Beh\u00f6ver vi en datalake? Vad ska vi g\u00f6ra med datalagringen?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Den h\u00e4r artikeln \u00e4r en \u00f6vers\u00e4ttning av min artikel p\u00e5 medium \u2014 Komma ig\u00e5ng med Data Lake<\/a><\/noindex>, som visade sig vara ganska popul\u00e4r, kanske p\u00e5 grund av sin enkelhet. D\u00e4rf\u00f6r beslutade jag mig f\u00f6r att skriva den p\u00e5 ryska och l\u00e4gga till lite mer information, s\u00e5 att en vanlig person som inte \u00e4r specialist p\u00e5 databehandling kan f\u00f6rst\u00e5 vad datalager (DW) \u00e4r, vad ett datalake (Data Lake) \u00e4r och hur de tv\u00e5 samexisterar. <\/p>\n

Varf\u00f6r ville jag skriva om datalake? Jag har arbetat med data och analys i \u00f6ver 10 \u00e5r, och just nu arbetar jag med stordata inom Amazon Alexa AI i Cambridge, som ligger i Boston, \u00e4ven om jag sj\u00e4lv bor i Victoria p\u00e5 Vancouver Island och ofta \u00e4r i Boston, Seattle och Vancouver, och ibland till och med i Moskva f\u00f6r att tala p\u00e5 konferenser. Jag skriver ocks\u00e5 d\u00e5 och d\u00e5, men fr\u00e4mst p\u00e5 engelska, och jag har redan skrivit flera b\u00f6cker<\/a><\/noindex>, jag har \u00e4ven ett behov av att dela trender inom analys fr\u00e5n Nordamerika, och jag skriver ibland i Telegram<\/a><\/noindex>.<\/p>\n

Jag har alltid arbetat med datalager, och sedan 2015 har jag arbetat intensivt med Amazon Web Services och har \u00f6verlag g\u00e5tt \u00f6ver till molnanalys (AWS, Azure, GCP). Jag har bevittnat utvecklingen av analysl\u00f6sningar sedan 2007 och har till och med arbetat f\u00f6r datalagerv\u00e4rlden Teradata och implementerat det i Sberbank, d\u00e5 b\u00f6rjade Big Data med Hadoop. Alla b\u00f6rjade prata om att epoken f\u00f6r datalager var \u00f6ver och att nu var allt p\u00e5 Hadoop, och sen b\u00f6rjade man tala om Data Lake, igen att nu var det verkligen slutet f\u00f6r datalager. Men lyckligtvis (kanske olyckligt f\u00f6r dem som tj\u00e4nade mycket pengar p\u00e5 att konfigurera Hadoop), har datalagret inte f\u00f6rsvunnit.
\n<\/a><\/noindex>
\nI den h\u00e4r artikeln kommer vi att titta p\u00e5 vad ett datalake \u00e4r. Artikeln \u00e4r avsedd f\u00f6r personer med lite eller ingen erfarenhet av datalager.<\/p>\n

\"Beh\u00f6ver
\n
\nP\u00e5 bilden \u00e4r det Bledsj\u00f6n, en av mina favoritj\u00f6ar, \u00e4ven om jag bara har varit d\u00e4r en g\u00e5ng, men jag minns den f\u00f6r resten av mitt liv. Men vi kommer att prata om en annan typ av sj\u00f6 \u2014 datalake. M\u00e5nga av er har s\u00e4kert h\u00f6rt denna term flera g\u00e5nger, men ytterligare en definition skadar aldrig.<\/p>\n

F\u00f6rst och fr\u00e4mst h\u00e4r \u00e4r de mest popul\u00e4ra definitionerna av Datalake:<\/p>\n

\"en fillager av alla typer av r\u00e5data, som \u00e4r tillg\u00e4ngliga f\u00f6r analys av vem som helst i organisationen\" \u2014 Martin Fowler.<\/p><\/blockquote>\n

\u00abOm du t\u00e4nker att ett datalager \u00e4r som en flaska vatten \u2014 ren, f\u00f6rpackad och l\u00e4ttillg\u00e4nglig, s\u00e5 \u00e4r ett datalager som en stor beh\u00e5llare med vatten i sin naturliga form. Anv\u00e4ndare kan ta vatten f\u00f6r sig sj\u00e4lva, dyka djupt och utforska\u00bb \u2014 James Dixon. <\/p><\/blockquote>\n

Nu vet vi s\u00e4kert att ett datalager handlar om analys, det l\u00e5ter oss lagra stora m\u00e4ngder data i sin ursprungliga form och vi har den n\u00f6dv\u00e4ndiga och bekv\u00e4ma \u00e5tkomsten till datan.<\/p>\n

Jag gillar ofta att f\u00f6renkla saker; om jag kan f\u00f6rklara ett komplicerat begrepp med enkla ord, betyder det att jag har f\u00f6rst\u00e5tt hur det fungerar och varf\u00f6r det \u00e4r viktigt. P\u00e5 n\u00e5got s\u00e4tt granskade jag min iPhone i fotogalleriet, och jag ins\u00e5g att det verkligen \u00e4r ett datalager, jag gjorde till och med en slide f\u00f6r konferenser:<\/p>\n

\"Beh\u00f6ver
\n
\nDet \u00e4r mycket enkelt. Vi tar en bild med telefonen, bilden sparas p\u00e5 telefonen och kan ocks\u00e5 sparas i iCloud (molnlagring). Telefonnummer samlar \u00e4ven in metadata om bilden: vad som avbildas, geotaggning, tid. Som resultat kan vi anv\u00e4nda det bekv\u00e4ma gr\u00e4nssnittet i iPhone f\u00f6r att hitta v\u00e5r bild och vi kan till och med se statistik, till exempel n\u00e4r jag s\u00f6ker bilder med ordet eld, s\u00e5 hittar jag 3 bilder med en brasa. F\u00f6r mig \u00e4r detta som ett Business Intelligence-verktyg som fungerar snabbt och exakt. <\/p>\n

Och sj\u00e4lvklart f\u00e5r vi inte gl\u00f6mma s\u00e4kerheten (autentisering och auktorisering), annars kan v\u00e5ra data l\u00e4tt hamna i offentligheten. Det finns m\u00e5nga nyheter om stora f\u00f6retag och startups vars data har blivit offentliga p\u00e5 grund av utvecklarens f\u00f6rsumlighet och bristande efterlevnad av enkla regler.<\/p>\n

\u00c4ven en s\u00e5 enkel bild hj\u00e4lper oss att f\u00f6rst\u00e5 vad ett datalager \u00e4r, dess skillnader fr\u00e5n traditionell datalagring och dess grundl\u00e4ggande element:<\/p>\n

    \n
  1. Dataimport <\/b>(Ingestion) \u2014 en nyckelkomponent i ett datalager. Data kan komma in i datalagret p\u00e5 tv\u00e5 s\u00e4tt \u2014 batch (laddning med intervall) och streaming (datastreaming).<\/li>\n
  2. Filarkiv<\/b> (Storage) \u2014 huvudkomponenten i ett datalager. Vi beh\u00f6ver ett lagringssystem som \u00e4r l\u00e4tt skalbart, extremt p\u00e5litligt och har l\u00e5g kostnad. Till exempel, i AWS \u00e4r detta S3.<\/li>\n
  3. Katalog och S\u00f6k<\/b> (Katalog och S\u00f6kning) \u2014 f\u00f6r att undvika datamyren (detta \u00e4r n\u00e4r vi sl\u00e4nger alla data i en h\u00f6g, och sedan \u00e4r de om\u00f6jliga att arbeta med) beh\u00f6ver vi skapa ett lager av metadata f\u00f6r att klassificera data, s\u00e5 att anv\u00e4ndarna enkelt kan hitta den data de beh\u00f6ver f\u00f6r analys. Dessutom kan vi anv\u00e4nda ytterligare l\u00f6sningar f\u00f6r s\u00f6kning, till exempel ElasticSearch. S\u00f6kning hj\u00e4lper anv\u00e4ndaren att hitta den n\u00f6dv\u00e4ndiga datan genom ett enkelt gr\u00e4nssnitt.<\/li>\n
  4. Bearbetning<\/b> (Process) \u2014 detta steg ansvarar f\u00f6r bearbetning och transformation av data. Vi kan transformera data, \u00e4ndra deras strukturer, rensa dem och mycket mer. <\/li>\n
  5. S\u00e4kerhet<\/b> (S\u00e4kerhet) \u2014 det \u00e4r viktigt att avs\u00e4tta tid f\u00f6r att utforma s\u00e4kerhetsl\u00f6sningen. Till exempel data-kryptering vid lagring, bearbetning och \u00f6verf\u00f6ring. Det \u00e4r viktigt att anv\u00e4nda autentiserings- och auktoriseringsmetoder. I slut\u00e4ndan beh\u00f6vs ett revisionsverktyg.<\/li>\n<\/ol>\n

    \nFr\u00e5n ett praktiskt perspektiv kan vi karakterisera datal\u00e4get med tre attribut:<\/p>\n

      \n
    1. Samla och lagra vad som helst<\/b> \u2014 datal\u00e4get inneh\u00e5ller all data, b\u00e5de r\u00e5a oprocessade data under vilken tidsperiod som helst samt bearbetade\/rensade data.<\/li>\n
    2. Djup analys<\/b> \u2014 datal\u00e4get g\u00f6r det m\u00f6jligt f\u00f6r anv\u00e4ndarna att utforska och analysera data.<\/li>\n
    3. Flexibel \u00e5tkomst<\/b> \u2014 datal\u00e4get erbjuder flexibel \u00e5tkomst till olika data och olika scenarier.<\/li>\n<\/ol>\n

      \nNu kan vi prata om skillnaden mellan datalager och datal\u00e4ge. Vanligtvis undrar folk:<\/p>\n