{"id":55701,"date":"2020-01-26T00:00:00","date_gmt":"2020-01-25T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh"},"modified":"2020-02-18T14:03:50","modified_gmt":"2020-02-18T11:03:50","slug":"nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","title":{"rendered":"Sz\u00fcks\u00e9g\u00fcnk van-e adat-t\u00f3ra? Mi a teend\u0151 az adatb\u00e1zissal?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Ez a cikk a Mediumon \u00edrt cikkem ford\u00edt\u00e1sa \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/rock-your-data\/getting-started-with-data-lake-4bb13643f9\">Bevezet\u00e9s az Adat-t\u00f3hoz<\/a><\/noindex>, amely meglehet\u0151sen n\u00e9pszer\u0171v\u00e9 v\u00e1lt, val\u00f3sz\u00edn\u0171leg az egyszer\u0171s\u00e9ge miatt. Ez\u00e9rt d\u00f6nt\u00f6ttem \u00fagy, hogy meg\u00edrom oroszul, \u00e9s egy kicsit kib\u0151v\u00edtem, hogy egy egyszer\u0171 ember, aki nem adatelemz\u0151, meg\u00e9rtse, mi az adatgy\u0171jt\u0151 t\u00e1rol\u00f3 (DW) \u00e9s mi az adat-t\u00f3 (Data Lake), \u00e9s hogyan l\u00e9teznek egy\u00fctt. <\/p>\n<p>Mi\u00e9rt szerettem volna \u00edrni az adat-t\u00f3r\u00f3l? T\u00f6bb mint 10 \u00e9ve dolgozom az adatokkal \u00e9s az analitik\u00e1val, \u00e9s most pontosan az Amazon Alexa AI-n\u00e1l dolgozom Cambridge-ben, Bostonban, b\u00e1r \u00e9n Victoria sziget\u00e9n \u00e9lek, de gyakran j\u00e1rok Bostonban, Seattle-ben \u00e9s Vancouverben, n\u00e9ha pedig Moszkv\u00e1ban is konferenci\u00e1kon szerepelek. Id\u0151nk\u00e9nt \u00edrok, de f\u0151leg angolul, \u00e9s m\u00e1r \u00edrtam <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/Dmitry-Anoshin\/e\/B01A5PVT2M\">n\u00e9h\u00e1ny k\u00f6nyvet<\/a><\/noindex>, \u00e9s van egy ig\u00e9nyem arra is, hogy megosszam az \u00e9szak-amerikai analitika trendjeit, \u00e9s n\u00e9ha \u00edrok a <noindex><a rel=\"nofollow\" href=\"https:\/\/t.me\/rockyourdata\">Telegramra<\/a><\/noindex>.<\/p>\n<p>Mindig is dolgoztam adatgy\u0171jt\u0151 t\u00e1rol\u00f3kkal, \u00e9s 2015 \u00f3ta szorosan egy\u00fcttm\u0171k\u00f6d\u00f6m az Amazon Web Services-szel, \u00e9s val\u00f3j\u00e1ban \u00e1tt\u00e9rtem a felh\u0151alap\u00fa analitik\u00e1ra (AWS, Azure, GCP). 2007 \u00f3ta figyelemmel k\u00eds\u00e9rtem az analitikai megold\u00e1sok fejl\u0151d\u00e9s\u00e9t, \u00e9s magam is dolgoztam egy adatgy\u0171jt\u0151 t\u00e1rol\u00f3 sz\u00e1ll\u00edt\u00f3n\u00e1l, a Teradata-n\u00e1l, \u00e9s bevezett\u00fck a Sberbankn\u00e1l, akkor jelent meg a Big Data a Hadoopdal. Mindenki azt mondta, hogy elm\u00falt az adatgy\u0171jt\u0151 t\u00e1rol\u00f3k kora, \u00e9s most m\u00e1r minden a Hadoopon alapul, majd pedig a Data Lake-r\u0151l kezdtek besz\u00e9lni, ism\u00e9t azt \u00e1ll\u00edtva, hogy az adatgy\u0171jt\u0151 t\u00e1rol\u00f3nak most m\u00e1r val\u00f3ban v\u00e9ge. De szerencs\u00e9re (tal\u00e1n egyeseknek szerencs\u00e9tlens\u00e9g, akik sok p\u00e9nzt kerestek a Hadoop be\u00e1ll\u00edt\u00e1s\u00e1val) az adatgy\u0171jt\u0151 t\u00e1rol\u00f3 nem t\u0171nt el. <br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><br \/>\nA cikkben arra fogunk \u00f6sszpontos\u00edtani, mi az adat-t\u00f3. Az \u00edr\u00e1s olyan embereknek k\u00e9sz\u00fclt, akiknek kev\u00e9s tapasztalatuk van az adatgy\u0171jt\u0151 t\u00e1rol\u00f3kkal, vagy egy\u00e1ltal\u00e1n nincs.<\/p>\n<p><img decoding=\"async\" alt=\"Sz\u00fcks\u00e9g\u00fcnk van-e adat-t\u00f3ra? Mi a teend\u0151 az adatb\u00e1zissal?\" src=\"\/wp-content\/uploads\/2020\/01\/85b3eda809ce19fc33efb2fad4e93a41.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nA k\u00e9pen a Bledi t\u00f3 l\u00e1that\u00f3, ez az egyik kedvenc t\u00f3 a sz\u00e1momra, b\u00e1r csak egyszer voltam ott, de egy \u00e9leten \u00e1t eml\u00e9kezni fogok r\u00e1. De mi egy m\u00e1sik t\u00edpus\u00fa t\u00f3val fogunk foglalkozni \u2014 az adat-t\u00f3val. Tal\u00e1n sokan m\u00e1r hallottak err\u0151l a kifejez\u00e9sr\u0151l, de egy \u00fajabb meghat\u00e1roz\u00e1s senkinek sem \u00e1rt.<\/p>\n<p>El\u0151sz\u00f6r is, itt vannak a legn\u00e9pszer\u0171bb meghat\u00e1roz\u00e1sok az Adat-t\u00f3r\u00f3l:<\/p>\n<blockquote><p>\"minden t\u00edpus\u00fa nyers adat f\u00e1jlt\u00e1rol\u00f3ja, amely b\u00e1rki sz\u00e1m\u00e1ra hozz\u00e1f\u00e9rhet\u0151 a szervezeten bel\u00fcl\" \u2014 Martin Fowler.<\/p><\/blockquote>\n<blockquote><p>\u201eHa azt gondolja, hogy az adatok bemutat\u00f3ja olyan, mint egy \u00fcveg v\u00edz \u2014 tiszt\u00edtott, csomagolt \u00e9s k\u00e9nyelmes fogyaszt\u00e1sra k\u00e9sz, akkor az adat-t\u00f3 egy hatalmas v\u00edzt\u00e1rol\u00f3nk, amely a term\u00e9szetes form\u00e1j\u00e1ban van. A felhaszn\u00e1l\u00f3k b\u00e1rmikor mer\u00edthetnek bel\u0151le, lemer\u00fclhetnek a m\u00e9lys\u00e9gbe \u00e9s felfedezhetik\u201d \u2014 James Dixon. <\/p><\/blockquote>\n<p> Most m\u00e1r pontosan tudjuk, hogy az adat-t\u00f3 az analitik\u00e1r\u00f3l sz\u00f3l, lehet\u0151v\u00e9 teszi sz\u00e1munkra, hogy nagy mennyis\u00e9g\u0171 adatot t\u00e1roljunk eredeti form\u00e1ban, \u00e9s rendelkez\u00e9s\u00fcnkre \u00e1ll a sz\u00fcks\u00e9ges \u00e9s k\u00e9nyelmes hozz\u00e1f\u00e9r\u00e9s az adatokhoz.<\/p>\n<p>Gyakran szeretem leegyszer\u0171s\u00edteni a dolgokat, ha k\u00e9pes vagyok egy bonyolult kifejez\u00e9st egyszer\u0171 szavakkal elmagyar\u00e1zni, az azt jelenti, hogy m\u00e1r meg\u00e9rtettem, hogyan m\u0171k\u00f6dik \u00e9s mire van sz\u00fcks\u00e9g. Egy alkalommal az iPhone-omat b\u00f6ng\u00e9szve a fot\u00f3gal\u00e9ri\u00e1ban, eszembe jutott, hogy ez az igazi adat-t\u00f3, m\u00e9g egy di\u00e1t is k\u00e9sz\u00edtettem a konferenci\u00e1khoz:<\/p>\n<p><img decoding=\"async\" alt=\"Sz\u00fcks\u00e9g\u00fcnk van-e adat-t\u00f3ra? Mi a teend\u0151 az adatb\u00e1zissal?\" src=\"\/wp-content\/uploads\/2020\/01\/1956ddf4091ca00f6d86c33a6780d495.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nMinden nagyon egyszer\u0171. K\u00e9sz\u00edt\u00fcnk egy f\u00e9nyk\u00e9pet telefonunkkal, a f\u00e9nyk\u00e9p a telefonra ment\u0151dik, \u00e9s elmenthet\u0151 az iCloudba (felh\u0151alap\u00fa f\u00e1jlt\u00e1rol\u00f3). A telefon emellett \u00f6sszegy\u0171jti a f\u00e9nyk\u00e9p metaadatait: mi l\u00e1that\u00f3 rajta, geolocation, id\u0151pont. Ennek eredm\u00e9nyek\u00e9nt a k\u00e9nyelmes iPhone fel\u00fcleten kereszt\u00fcl megtal\u00e1lhatjuk a f\u00e9nyk\u00e9p\u00fcnket, \u00e9s m\u00e9g az adatokat is l\u00e1thatjuk, p\u00e9ld\u00e1ul, amikor a \u201et\u0171z\u201d (fire) sz\u00f3ra keresek, 3 f\u00e9nyk\u00e9pet tal\u00e1lok a t\u0171zrak\u00e1sr\u00f3l. Sz\u00e1momra ez olyasmi, mint egy \u00fczleti intelligencia eszk\u00f6z, amely nagyon gyorsan \u00e9s pontosan m\u0171k\u00f6dik. <\/p>\n<p>Term\u00e9szetesen nem feledkezhet\u00fcnk meg a biztons\u00e1gr\u00f3l (hiteles\u00edt\u00e9s \u00e9s azonos\u00edt\u00e1s), k\u00fcl\u00f6nben az adatok k\u00f6nnyen nyilv\u00e1noss\u00e1gra ker\u00fclhetnek. Nagyon sok h\u00edr kering arr\u00f3l, hogy nagyv\u00e1llalatok \u00e9s startupok adatainak nyilv\u00e1noss\u00e1gra ker\u00fcl\u00e9se a fejleszt\u0151k gondatlans\u00e1ga \u00e9s az egyszer\u0171 szab\u00e1lyok figyelmen k\u00edv\u00fcl hagy\u00e1sa miatt t\u00f6rt\u00e9nt.<\/p>\n<p>M\u00e9g egy ilyen egyszer\u0171 k\u00e9p is seg\u00edt nek\u00fcnk elk\u00e9pzelni, hogy mi is az adat-t\u00f3, milyen elt\u00e9r\u00e9sek vannak a hagyom\u00e1nyos adatt\u00e1rol\u00f3kkal szemben \u00e9s mik az alapvet\u0151 elemei:<\/p>\n<ol>\n<li><b>Adatok bet\u00f6lt\u00e9se <\/b>(Ingestion) \u2014 az adat-t\u00f3 kulcsfontoss\u00e1g\u00fa komponense. Az adatok k\u00e9t m\u00f3dszerrel \u00e9rkezhetnek az adatt\u00e1rol\u00f3ba \u2014 batch (id\u0151k\u00f6z\u00f6nk\u00e9nti bet\u00f6lt\u00e9s) \u00e9s streaming (folyamatos adat\u00e1raml\u00e1s).<\/li>\n<li><b>F\u00e1jlrendszer<\/b> (Storage) \u2014 az Adat-t\u00f3 f\u0151 komponense. Fontos, hogy a t\u00e1rol\u00f3nak k\u00f6nnyen sk\u00e1l\u00e1zhat\u00f3nak, rendk\u00edv\u00fcl megb\u00edzhat\u00f3nak \u00e9s alacsony k\u00f6lts\u00e9g\u0171nek kell lennie. P\u00e9ld\u00e1ul az AWS-ben ez az S3.<\/li>\n<li><b>Katal\u00f3gus \u00e9s Keres\u00e9s<\/b> (Katal\u00f3g \u00e9s Keres\u00e9s) \u2014 annak \u00e9rdek\u00e9ben, hogy elker\u00fclj\u00fck az Adatl\u00e1bujj\u00e1t (amikor minden adatot egy halomba dobunk, \u00e9s ut\u00e1na lehetetlen vel\u00fck dolgozni), sz\u00fcks\u00e9g\u00fcnk van egy metaadat r\u00e9teg l\u00e9trehoz\u00e1s\u00e1ra az adatok oszt\u00e1lyoz\u00e1s\u00e1hoz, hogy a felhaszn\u00e1l\u00f3k k\u00f6nnyen megtal\u00e1lj\u00e1k a sz\u00fcks\u00e9ges adatokat az elemz\u00e9shez. Tov\u00e1bb\u00e1 tov\u00e1bbi keres\u00e9si megold\u00e1sok, p\u00e9ld\u00e1ul ElasticSearch haszn\u00e1lata is lehets\u00e9ges. A keres\u00e9s seg\u00edt a felhaszn\u00e1l\u00f3nak a sz\u00fcks\u00e9ges adatok k\u00e9nyelmes fel\u00fcleten val\u00f3 keres\u00e9s\u00e9ben.<\/li>\n<li><b>Feldolgoz\u00e1s<\/b> (Folyamat) \u2014 ez a l\u00e9p\u00e9s felel\u0151s az adatok feldolgoz\u00e1s\u00e1\u00e9rt \u00e9s \u00e1talak\u00edt\u00e1s\u00e1\u00e9rt. Az adatokat \u00e1t tudjuk alak\u00edtani, strukt\u00far\u00e1ikat meg tudjuk v\u00e1ltoztatni, tiszt\u00edthatjuk \u00e9s sok m\u00e1st is csin\u00e1lhatunk. <\/li>\n<li><b>Biztons\u00e1g<\/b> (Biztons\u00e1g) \u2014 fontos id\u0151t sz\u00e1nni a megold\u00e1s biztons\u00e1gi tervez\u00e9s\u00e9re. P\u00e9ld\u00e1ul az adatok titkos\u00edt\u00e1sa t\u00e1rol\u00e1s, feldolgoz\u00e1s \u00e9s bet\u00f6lt\u00e9s sor\u00e1n. Fontos, hogy autentik\u00e1ci\u00f3s \u00e9s autoriz\u00e1ci\u00f3s m\u00f3dszereket haszn\u00e1ljunk. V\u00e9gezet\u00fcl sz\u00fcks\u00e9g van egy audit\u00e1l\u00f3 eszk\u00f6zre.<\/li>\n<\/ol>\n<p>\nGyakorlati szempontb\u00f3l a data lake-et h\u00e1rom attrib\u00fatummal jellemezhetj\u00fck:<\/p>\n<ol>\n<li><b>Gy\u0171jtsd \u00e9s t\u00e1rold, amit csak akarsz<\/b> \u2014 a data lake minden adatot tartalmaz, ak\u00e1r nyers, feldolgozatlan adatokat b\u00e1rmely id\u0151szakb\u00f3l, ak\u00e1r feldolgozott\/tiszt\u00edtott adatokat.<\/li>\n<li><b>M\u00e9lyelemz\u00e9s<\/b> \u2014 a data lake lehet\u0151s\u00e9get ad a felhaszn\u00e1l\u00f3knak az adatok felfedez\u00e9s\u00e9re \u00e9s elemz\u00e9s\u00e9re.<\/li>\n<li><b>Rugalmas hozz\u00e1f\u00e9r\u00e9s<\/b> \u2014 a data lake rugalmas hozz\u00e1f\u00e9r\u00e9st biztos\u00edt k\u00fcl\u00f6nb\u00f6z\u0151 adatokhoz \u00e9s k\u00fcl\u00f6nb\u00f6z\u0151 forgat\u00f3k\u00f6nyvekhez.<\/li>\n<\/ol>\n<p>\nMost besz\u00e9lhet\u00fcnk az adatb\u00e1zis \u00e9s a data lake k\u00f6zti k\u00fcl\u00f6nbs\u00e9gr\u0151l. Az emberek \u00e1ltal\u00e1ban azt k\u00e9rdezik:<\/p>\n<ul>\n<li>De mi a helyzet az adatb\u00e1zissal?<\/li>\n<li>Kicser\u00e9lj\u00fck az adatb\u00e1zist egy data lake-re, vagy kieg\u00e9sz\u00edtj\u00fck azt?<\/li>\n<li>Lehets\u00e9ges egy\u00e1ltal\u00e1n a data lake n\u00e9lk\u00fcl?<\/li>\n<\/ul>\n<p>\nR\u00f6viden mondva, egy\u00e9rtelm\u0171 v\u00e1lasz nincs. Minden a konkr\u00e9t helyzett\u0151l, a csapat k\u00e9szs\u00e9geit\u0151l \u00e9s a k\u00f6lts\u00e9gvet\u00e9st\u0151l f\u00fcgg. P\u00e9ld\u00e1ul az adatb\u00e1zis migr\u00e1l\u00e1sa Oracle-r\u00f3l AWS-re \u00e9s a Woot \u2014 Amazon le\u00e1nyv\u00e1llalata \u2014 data lake l\u00e9trehoz\u00e1sa \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/aws.amazon.com\/blogs\/big-data\/our-data-lake-story-how-woot-com-built-a-serverless-data-lake-on-aws\/\">Adatlake t\u00f6rt\u00e9net\u00fcnk: Hogyan \u00e9p\u00edtett a Woot.com egy szerver n\u00e9lk\u00fcli adatlake-et az AWS-en<\/a><\/noindex>. <\/p>\n<p>M\u00e1sr\u00e9szr\u0151l a Snowflake sz\u00e1ll\u00edt\u00f3 azt \u00e1ll\u00edtja, hogy m\u00e1r nem kell a data lake-r\u0151l gondolkodnia, mivel az adatplatformjuk (2020 el\u0151tt ez adatb\u00e1zis volt) lehet\u0151v\u00e9 teszi, hogy \u00f6tv\u00f6zz\u00e9k a data lake-et \u00e9s az adatb\u00e1zist. Kicsit dolgoztam a Snowflake-kel, \u00e9s val\u00f3ban egyedi term\u00e9k, amely ezt meg tudja csin\u00e1lni. Az \u00e1ra egy m\u00e1sik k\u00e9rd\u00e9s.<\/p>\n<p>\u00d6sszegz\u00e9sk\u00e9ppen, szem\u00e9lyes v\u00e9lem\u00e9nyem szerint m\u00e9g mindig sz\u00fcks\u00e9g\u00fcnk van egy adatt\u00e1rra, mint f\u0151 adatforr\u00e1sra a jelent\u00e9seinkhez, \u00e9s mindent, ami nem f\u00e9r el, az adat-\u00fczemanyag-t\u00f3ban t\u00e1rolunk. Az elemz\u00e9s szerepe az, hogy k\u00f6nnyen hozz\u00e1f\u00e9rhet\u0151v\u00e9 tegye az \u00fczleti d\u00f6nt\u00e9sekhez sz\u00fcks\u00e9ges inform\u00e1ci\u00f3kat. Ak\u00e1rhogy is, az \u00fczleti felhaszn\u00e1l\u00f3k hat\u00e9konyabban dolgoznak az adatt\u00e1rral, mint az adat-t\u00f3val, p\u00e9ld\u00e1ul az Amazonn\u00e1l \u2014 van Redshift (analitikus adatt\u00e1rol\u00f3), \u00e9s van Redshift Spectrum\/Athena (SQL interf\u00e9sz az S3 adat-t\u00f3hoz, a Hive\/Presto alapjain). Ugyanez vonatkozik m\u00e1s modern analitikus adatt\u00e1rol\u00f3kra is.<\/p>\n<p>N\u00e9zz\u00fck meg egy tipikus adatt\u00e1r architekt\u00far\u00e1j\u00e1t:<\/p>\n<p><img decoding=\"async\" alt=\"Sz\u00fcks\u00e9g\u00fcnk van-e adat-t\u00f3ra? Mi a teend\u0151 az adatb\u00e1zissal?\" src=\"\/wp-content\/uploads\/2020\/01\/a2015f7f5e28e8a671699682105e011e.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nEz a klasszikus megold\u00e1s. Van egy forr\u00e1sszerver\u00fcnk, az ETL\/ELT seg\u00edts\u00e9g\u00e9vel az adatokat \u00e1tm\u00e1soljuk az analitikus adatt\u00e1rba, \u00e9s csatlakoztatjuk egy Business Intelligence megold\u00e1shoz (az \u00e9n kedvencem a Tableau, a ti\u00e9d?). <\/p>\n<p>Ennek a megold\u00e1snak a k\u00f6vetkez\u0151 h\u00e1tr\u00e1nyai vannak:<\/p>\n<ul>\n<li>Az ETL\/ELT m\u0171veletek id\u0151t \u00e9s er\u0151forr\u00e1sokat ig\u00e9nyelnek.<\/li>\n<li>\u00c1ltal\u00e1ban az analitikus adatt\u00e1rol\u00f3ban az adatok t\u00e1rol\u00e1s\u00e1ra haszn\u00e1lt mem\u00f3ria nem olcs\u00f3 (p\u00e9ld\u00e1ul Redshift, BigQuery, Teradata), mivel egy teljes klaszter v\u00e1s\u00e1rl\u00e1s\u00e1ra van sz\u00fcks\u00e9g.<\/li>\n<li>Az \u00fczleti felhaszn\u00e1l\u00f3k hozz\u00e1f\u00e9rnek a tiszt\u00edtott \u00e9s gyakran aggreg\u00e1lt adatokhoz, ugyanakkor nincs lehet\u0151s\u00e9g\u00fck a nyers adatok el\u00e9r\u00e9s\u00e9re.<\/li>\n<\/ul>\n<p>\nTerm\u00e9szetesen minden az \u00f6n\u00f6k eset\u00e9t\u0151l f\u00fcgg. Ha nincs probl\u00e9ma az adatt\u00e1rukkal, akkor val\u00f3ban nincs sz\u00fcks\u00e9ge adat-t\u00f3ra. De amikor probl\u00e9m\u00e1k mer\u00fclnek fel a helyhi\u00e1ny, a teljes\u00edtm\u00e9ny vagy a k\u00f6lts\u00e9gek kapcs\u00e1n, akkor megfontolhat\u00f3 az adat-t\u00f3 lehet\u0151s\u00e9ge. \u00c9ppen ez\u00e9rt az adat-t\u00f3 nagyon n\u00e9pszer\u0171. \u00cdme egy p\u00e9lda az adat-t\u00f3 architekt\u00far\u00e1j\u00e1ra:<br \/>\n<img decoding=\"async\" alt=\"Sz\u00fcks\u00e9g\u00fcnk van-e adat-t\u00f3ra? Mi a teend\u0151 az adatb\u00e1zissal?\" src=\"\/wp-content\/uploads\/2020\/01\/c952e2202a6ce2c8d7d91215aa5390cc.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\nAz adat-t\u00f3 megk\u00f6zel\u00edt\u00e9se szerint nyers adatokat t\u00f6lt\u00fcnk be az adat-t\u00f3ba (batch vagy streaming), majd sz\u00fcks\u00e9g szerint dolgozzuk fel az adatokat. Az adat-t\u00f3 lehet\u0151v\u00e9 teszi az \u00fczleti felhaszn\u00e1l\u00f3k sz\u00e1m\u00e1ra, hogy saj\u00e1t adat-transzform\u00e1ci\u00f3kat (ETL\/ELT) v\u00e9gezzenek, vagy elemezz\u00e9k az adatokat a Business Intelligence megold\u00e1sokban (ha van megfelel\u0151 illeszt\u0151program).<\/p>\n<blockquote><p>B\u00e1rmely analitikus megold\u00e1s c\u00e9lja, hogy szolg\u00e1lja az \u00fczleti felhaszn\u00e1l\u00f3kat. Ez\u00e9rt mindig a v\u00e1llalati ig\u00e9nyekb\u0151l kell kiindulnunk. (Az Amazonn\u00e1l ez az egyik alapelv \u2014 visszafel\u00e9 dolgozni.)<\/p><\/blockquote>\n<p> Az adatt\u00e1rral \u00e9s az adat-t\u00f3val val\u00f3 munka sor\u00e1n \u00f6sszevethetj\u00fck a k\u00e9t megold\u00e1st:<\/p>\n<p><img decoding=\"async\" alt=\"Sz\u00fcks\u00e9g\u00fcnk van-e adat-t\u00f3ra? Mi a teend\u0151 az adatb\u00e1zissal?\" src=\"\/wp-content\/uploads\/2020\/01\/07b62ac9838438a0b28caf1b22b2dccd.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nA f\u0151 k\u00f6vetkeztet\u00e9s, amelyet levonhatunk, az, hogy az adatt\u00e1r nem versenyez az adatb\u00e1zissal, hanem ink\u00e1bb kieg\u00e9sz\u00edti azt. De ez \u00d6nre van r\u00e1b\u00edzva, hogy mi a megfelel\u0151 az \u00d6n eset\u00e9ben. Mindig \u00e9rdekes kipr\u00f3b\u00e1lni saj\u00e1t mag\u00e1t \u00e9s helyes k\u00f6vetkeztet\u00e9seket levonni.<\/p>\n<p>Szeretn\u00e9k mes\u00e9lni egy esetr\u0151l, amikor az adatb\u00e1zis megk\u00f6zel\u00edt\u00e9st kezdtem el haszn\u00e1lni. Minden el\u00e9g ban\u00e1lis, megpr\u00f3b\u00e1ltam haszn\u00e1lni egy ELT eszk\u00f6zt (volt Matillion ETL) \u00e9s az Amazon Redshiftet; a megold\u00e1som m\u0171k\u00f6d\u00f6tt, de nem felelt meg a k\u00f6vetelm\u00e9nyeknek.<\/p>\n<p>Sz\u00fcks\u00e9gem volt arra, hogy webes napl\u00f3kat vegyek, \u00e1talak\u00edtsam \u0151ket \u00e9s aggreg\u00e1ljam, hogy adatokat biztos\u00edtsak k\u00e9t esethez:<\/p>\n<ol>\n<li>A marketing csapat azt akarta elemezni, hogy a botok hogyan viselkednek az SEO \u00e9rdek\u00e9ben.<\/li>\n<li>Az IT a weboldalak teljes\u00edtm\u00e9ny\u00e9nek metrik\u00e1it szerette volna megvizsg\u00e1lni.<\/li>\n<\/ol>\n<p>\nNagyon egyszer\u0171, nagyon egyszer\u0171 napl\u00f3k. \u00cdme egy p\u00e9lda:<\/p>\n<pre><code class=\"plaintext\">https 2018-07-02T22:23:00.186641Z app\/my-loadbalancer\/50dc6c495c0c9188 \n192.168.131.39:2817 10.0.0.1:80 0.086 0.048 0.037 200 200 0 57 \n\"GET https:\/\/www.example.com:443\/ HTTP\/1.1\" \"curl\/7.46.0\" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2 \narn:aws:elasticloadbalancing:us-east-2:123456789012:targetgroup\/my-targets\/73e2d6bc24d8a067\n\"Root=1-58337281-1d84f3d73c47ec4e58577259\" \"www.example.com\" \"arn:aws:acm:us-east-2:123456789012:certificate\/12345678-1234-1234-1234-123456789012\"\n1 2018-07-02T22:22:48.364000Z \"authenticate,forward\" \"-\" \"-\"<\/code><\/pre>\n<p>\nEgy f\u00e1jl 1-4 megab\u00e1jt volt.<\/p>\n<p>De volt egy neh\u00e9zs\u00e9g. H\u00e9t dom\u00e9n\u00fcnk volt vil\u00e1gszerte, \u00e9s naponta 7000 f\u00e1jl keletkezett. Ez nem t\u00fal nagy mennyis\u00e9g, \u00f6sszesen 50 gigab\u00e1jt. De a Redshift klaszter\u00fcnk is kicsi volt (4 node). Egy f\u00e1jl hagyom\u00e1nyos m\u00f3dszerrel t\u00f6rt\u00e9n\u0151 bet\u00f6lt\u00e9se k\u00f6r\u00fclbel\u00fcl egy percet vett ig\u00e9nybe. Teh\u00e1t, a helyzetet nem lehetett k\u00f6zvetlen\u00fcl megoldani. Ez volt az a helyzet, amikor \u00fagy d\u00f6nt\u00f6ttem, hogy az adatb\u00e1zis megk\u00f6zel\u00edt\u00e9st haszn\u00e1lom. A megold\u00e1s k\u00f6r\u00fclbel\u00fcl \u00edgy n\u00e9zett ki:<\/p>\n<p><img decoding=\"async\" alt=\"Sz\u00fcks\u00e9g\u00fcnk van-e adat-t\u00f3ra? Mi a teend\u0151 az adatb\u00e1zissal?\" src=\"\/wp-content\/uploads\/2020\/01\/21ca33e82da56f83b3deab4c32eb2345.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nEz el\u00e9g egyszer\u0171 (felt\u0171n\u0151 a felh\u0151alap\u00fa munka el\u0151nye, hogy egyszer\u0171). Haszn\u00e1latba vettem:<\/p>\n<ul>\n<li>AWS Elastic Map Reduce (Hadoop) mint sz\u00e1m\u00edt\u00e1si kapacit\u00e1s <\/li>\n<li>AWS S3 mint f\u00e1jl t\u00e1rol\u00f3 titkos\u00edt\u00e1si lehet\u0151s\u00e9ggel \u00e9s hozz\u00e1f\u00e9r\u00e9s-nyilv\u00e1noss\u00e1ggal<\/li>\n<li>Spark mint InMemory sz\u00e1m\u00edt\u00e1si kapacit\u00e1s \u00e9s PySpark az adatok logikai \u00e9s \u00e1talak\u00edt\u00f3 feldolgoz\u00e1s\u00e1hoz<\/li>\n<li>Parquet mint a Spark munka eredm\u00e9nye<\/li>\n<li>AWS Glue Crawler mint \u00faj adatok \u00e9s part\u00edci\u00f3k metadata gy\u0171jt\u0151je<\/li>\n<li>Redshift Spectrum mint SQL fel\u00fclet az adatb\u00e1zisra a megl\u00e9v\u0151 Redshift felhaszn\u00e1l\u00f3k sz\u00e1m\u00e1ra<\/li>\n<\/ul>\n<p>\nA legkisebb EMR+Spark klaszter 30 perc alatt dolgozta fel az \u00f6sszes f\u00e1jlcsomagot. Vannak m\u00e1s esettanulm\u00e1nyok is az AWS-en, k\u00fcl\u00f6n\u00f6sen sok az Alexa k\u00f6r\u00fcli, ahol rengeteg adat tal\u00e1lhat\u00f3. <\/p>\n<p>Nemr\u00e9giben felfedeztem a data lake egyik h\u00e1tr\u00e1ny\u00e1t \u2014 ez a GDPR. A probl\u00e9ma az, hogy amikor egy \u00fcgyf\u00e9l azt k\u00e9ri, hogy t\u00f6r\u00f6lni kellene, \u00e9s az adatok egy f\u00e1jlban tal\u00e1lhat\u00f3k, nem tudjuk haszn\u00e1lni a Data Manipulation Language-t \u00e9s a DELETE m\u0171veletet, mint az adatb\u00e1zisban.<\/p>\n<p>Rem\u00e9lem, hogy a cikk vil\u00e1goss\u00e1 tette a k\u00fcl\u00f6nbs\u00e9get az adatb\u00e1zis \u00e9s a data lake k\u00f6z\u00f6tt. Ha \u00e9rdekesnek tal\u00e1ltad, sz\u00edvesen leford\u00edtom m\u00e1s cikkeimet vagy szak\u00e9rt\u0151k \u00edr\u00e1sait, akiket olvasok. Ezen k\u00edv\u00fcl mes\u00e9lhetek a megold\u00e1sokr\u00f3l, amelyekkel dolgozom, \u00e9s azok architekt\u00far\u00e1j\u00e1r\u00f3l.<br \/>\n<br \/>Forr\u00e1s: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/485180\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u042d\u0442\u043e \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u043c\u043e\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 medium \u2014 Getting Started with Data Lake, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0439, \u043d\u0430\u0432\u0435\u0440\u043d\u043e\u0435 \u0438\u0437-\u0437\u0430 \u0441\u0432\u043e\u0435\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0440\u0435\u0448\u0438\u043b \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0435\u0435 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u0438 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u043e\u043c \u043f\u043e \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0441\u0442\u0430\u043b\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 (DW), \u0430 \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u043e\u0437\u0435\u0440\u043e \u0434\u0430\u043d\u043d\u044b\u0445 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-55701","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u042d\u0442\u043e \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u043c\u043e\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 medium \u2014 Getting Started with Data Lake.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"hu_HU\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041d\u0443\u0436\u043d\u043e \u043b\u0438 \u043d\u0430\u043c \u043e\u0437\u0435\u0440\u043e \u0434\u0430\u043d\u043d\u044b\u0445? \u0410 \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0441 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0445? | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u042d\u0442\u043e \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u043c\u043e\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 medium \u2014 Getting Started with Data Lake.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-01-25T21:00:00+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-02-18T11:03:50+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Sz\u00fcks\u00e9g\u00fcnk van data lake-re? \u00c9s mi a helyzet az adatb\u00e1zissal? | ProHoster","description":"Ez a cikk a Mediumon k\u00f6zz\u00e9tett cikkem ford\u00edt\u00e1sa \u2014 Bevezet\u00e9s a Data Lake-be.","canonical_url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"hu_HU","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041d\u0443\u0436\u043d\u043e \u043b\u0438 \u043d\u0430\u043c \u043e\u0437\u0435\u0440\u043e \u0434\u0430\u043d\u043d\u044b\u0445? \u0410 \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0441 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0445? | ProHoster","og:description":"\u042d\u0442\u043e \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u043c\u043e\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 medium \u2014 Getting Started with Data Lake.","og:url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-01-25T21:00:00+00:00","article:modified_time":"2020-02-18T11:03:50+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"55701","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:38:32","updated":"2022-09-27 20:27:01","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/55701","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/comments?post=55701"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/55701\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/media?parent=55701"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/categories?post=55701"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/tags?post=55701"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}