{"id":33630,"date":"2019-10-31T21:53:49","date_gmt":"2019-10-31T18:53:49","guid":{"rendered":"https:\/\/prohoster.info\/blog\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit\/"},"modified":"2019-10-31T21:53:49","modified_gmt":"2019-10-31T18:53:49","slug":"chto-osobennogo-v-cloudera-i-kak-ee-gotovit","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit","title":{"rendered":"Mi k\u00fcl\u00f6nleges a Clouder\u00e1ban \u00e9s hogyan k\u00e9sz\u00edts\u00fck el","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

A elosztott sz\u00e1m\u00edt\u00e1sok \u00e9s nagy adatok piaca, ha hihet\u00fcnk statisztika<\/a><\/noindex>, \u00e9vente 18-19%-kal n\u00f6vekszik. Ez azt jelenti, hogy a megfelel\u0151 szoftver kiv\u00e1laszt\u00e1s\u00e1nak k\u00e9rd\u00e9se tov\u00e1bbra is aktu\u00e1lis. Ebben a bejegyz\u00e9sben elkezdj\u00fck azzal, hogy mi\u00e9rt van sz\u00fcks\u00e9g elosztott sz\u00e1m\u00edt\u00e1sokra, r\u00e9szletesebben megvizsg\u00e1ljuk a szoftverek kiv\u00e1laszt\u00e1s\u00e1t, besz\u00e9l\u00fcnk a Hadoop alkalmaz\u00e1s\u00e1r\u00f3l a Cloudera seg\u00edts\u00e9g\u00e9vel, \u00e9s v\u00e9g\u00fcl a hardver kiv\u00e1laszt\u00e1s\u00e1r\u00f3l, valamint arr\u00f3l, hogy ez hogyan befoly\u00e1solja a teljes\u00edtm\u00e9nyt k\u00fcl\u00f6nb\u00f6z\u0151 m\u00f3dokon.<\/p>\n

\"Mi<\/a><\/noindex>
\nMi\u00e9rt van sz\u00fcks\u00e9g elosztott sz\u00e1m\u00edt\u00e1sokra a hagyom\u00e1nyos \u00fczleti \u00e9letben? Itt minden egyszer\u0171 \u00e9s egyszerre bonyolult. Egyszer\u0171 \u2014 mert a legt\u00f6bb esetben viszonylag egyszer\u0171 sz\u00e1m\u00edt\u00e1sokat v\u00e9gz\u00fcnk egy inform\u00e1ci\u00f3egys\u00e9gre. Bonyolult \u2014 mert ilyen inform\u00e1ci\u00f3kb\u00f3l sok van. Nagyon sok. Ennek k\u00f6vetkezt\u00e9ben terab\u00e1jt adatot kell feldolgozni 1000 sz\u00e1lon.<\/a><\/noindex>\u00cdgy a felhaszn\u00e1l\u00e1si forgat\u00f3k\u00f6nyvek meglehet\u0151sen univerz\u00e1lisak: a sz\u00e1m\u00edt\u00e1sok b\u00e1rhol alkalmazhat\u00f3k, ahol figyelembe kell venni a sok metrik\u00e1t egy m\u00e9g nagyobb adathalmazon.<\/p>\n

Egyik legut\u00f3bbi p\u00e9lda: a Dodo Pizza pizz\u00e9ria l\u00e1nc meg\u00e1llap\u00edtotta<\/a><\/noindex> a v\u00e1s\u00e1rl\u00f3i megrendel\u00e9sek adatainak elemz\u00e9se alapj\u00e1n, miszerint a felhaszn\u00e1l\u00f3k \u00e1ltal\u00e1ban hat alapvet\u0151 hozz\u00e1val\u00f3val \u00e9s n\u00e9h\u00e1ny v\u00e9letlenszer\u0171vel dolgoznak, amikor b\u00e1rminek az \u00edz\u00e9t v\u00e1lasztj\u00e1k. Ennek megfelel\u0151en a pizz\u00e9ria a beszerz\u00e9seit ehhez igaz\u00edtotta. Emellett jobban tudt\u00e1k aj\u00e1nlani a felhaszn\u00e1l\u00f3knak a rendel\u00e9s sor\u00e1n felaj\u00e1nlott kieg\u00e9sz\u00edt\u0151 term\u00e9keket, ami n\u00f6velte a bev\u00e9teleket.<\/p>\n

M\u00e9g egy p\u00e9lda: elemz\u00e9s<\/a><\/noindex> a term\u00e9kek szempontj\u00e1b\u00f3l lehet\u0151v\u00e9 tette az H&M \u00fczlet sz\u00e1m\u00e1ra, hogy a v\u00e1laszt\u00e9kot 40%-kal cs\u00f6kkentse egyes \u00fczletekben, mik\u00f6zben a forgalm\u00e1t meg\u0151rizte. Ezt \u00fagy \u00e9rt\u00e9k el, hogy kiz\u00e1rt\u00e1k a gyeng\u00e9n teljes\u00edt\u0151 term\u00e9keket, figyelembe v\u00e9ve a szezon\u00e1lis hat\u00e1sokat.<\/p>\n

A megfelel\u0151 eszk\u00f6z kiv\u00e1laszt\u00e1sa<\/h2>\n

\nAz ilyen jelleg\u0171 sz\u00e1m\u00edt\u00e1sok ipar\u00e1gi szabv\u00e1nya a Hadoop. Mi\u00e9rt? Mert a Hadoop egy kiv\u00e1l\u00f3, j\u00f3l dokument\u00e1lt keretrendszer (ugyanaz a Habr sz\u00e1mos r\u00e9szletes cikket ad ki err\u0151l), amely egy sor seg\u00e9dprogramot \u00e9s k\u00f6nyvt\u00e1rat tartalmaz. \u00d3ri\u00e1si mennyis\u00e9g\u0171 struktur\u00e1lt \u00e9s struktur\u00e1latlan adatot is feldolgozhat, \u00e9s a rendszer automatikusan elosztja azokat a sz\u00e1m\u00edt\u00e1si kapacit\u00e1sok k\u00f6z\u00f6tt. R\u00e1ad\u00e1sul ezeket a kapacit\u00e1sokat b\u00e1rmikor n\u00f6velheti vagy kikapcsolhatja \u2014 ez a t\u00e9nyleges v\u00edzszintes sk\u00e1l\u00e1zhat\u00f3s\u00e1g m\u0171k\u00f6d\u00e9sben. <\/p>\n

2017-ben a befoly\u00e1sos Gartner tan\u00e1csad\u00f3 c\u00e9g megk\u00f6t\u00f6tt<\/a><\/noindex>, hogy a Hadoop hamarosan elavul. Az ok meglehet\u0151sen ban\u00e1lis: az elemz\u0151k \u00fagy v\u00e9lik, hogy a v\u00e1llalatok t\u00f6megesen fognak \u00e1tk\u00f6lt\u00f6zni a felh\u0151be, mivel ott csak a t\u00e9nylegesen haszn\u00e1lt sz\u00e1m\u00edt\u00e1si kapacit\u00e1s\u00e9rt kell fizetni\u00fck. A m\u00e1sodik fontos t\u00e9nyez\u0151, amely \u00e1ll\u00edt\u00f3lag \"eltemetheti\" a Hadoopot, a m\u0171k\u00f6d\u00e9si sebess\u00e9g. Mivel az olyan megold\u00e1sok, mint az Apache Spark vagy a Google Cloud DataFlow, gyorsabbak, mint a Hadoop alapj\u00e1t k\u00e9pez\u0151 MapReduce.<\/p>\n

A Hadoop t\u00f6bb pill\u00e9ren nyugszik, a legszembet\u0171n\u0151bbek a MapReduce technol\u00f3gi\u00e1k (adatok eloszt\u00e1si rendszere a sz\u00e1m\u00edt\u00f3g\u00e9pek k\u00f6z\u00f6tti sz\u00e1m\u00edt\u00e1sokhoz) \u00e9s a HDFS f\u00e1jlrendszer. Az ut\u00f3bbi kifejezetten a klaszter csom\u00f3pontjai k\u00f6z\u00f6tt elosztott inform\u00e1ci\u00f3k t\u00e1rol\u00e1s\u00e1ra szolg\u00e1l: minden, r\u00f6gz\u00edtett m\u00e9ret\u0171 blokk t\u00f6bb csom\u00f3ponton is elhelyezkedhet, \u00e9s a replik\u00e1ci\u00f3nak k\u00f6sz\u00f6nhet\u0151en a rendszer ellen\u00e1ll az egyes csom\u00f3pontok meghib\u00e1sod\u00e1s\u00e1nak. A f\u00e1jlt\u00e1bla helyett egy speci\u00e1lis szerver, az \u00fagynevezett NameNode haszn\u00e1latos.<\/p>\n

Az al\u00e1bbi illusztr\u00e1ci\u00f3n a MapReduce m\u0171k\u00f6d\u00e9si s\u00e9m\u00e1ja l\u00e1that\u00f3. Az els\u0151 szakaszban az adatokat egy adott jelleg szerint felosztj\u00e1k, a m\u00e1sodikban elosztj\u00e1k a sz\u00e1m\u00edt\u00e1si kapacit\u00e1sok k\u00f6z\u00f6tt, a harmadikban pedig a sz\u00e1m\u00edt\u00e1sok zajlanak. <\/p>\n

\"Mi
\nA MapReduce-t eredetileg a Google fejlesztette a saj\u00e1t keres\u0151je sz\u00e1m\u00e1ra. Ezut\u00e1n a MapReduce ny\u00edlt forr\u00e1sk\u00f3d\u00fa lett, \u00e9s az Apache vette \u00e1t a projektet. A Google pedig fokozatosan m\u00e1s megold\u00e1sokra t\u00e9rt \u00e1t. \u00c9rdekes dolog, hogy jelenleg a Google fejleszt egy projektet, amely Google Cloud Dataflow n\u00e9ven ismert, \u00e9s amelyet a Hadoop k\u00f6vetkez\u0151 l\u00e9p\u00e9sek\u00e9nt pozicion\u00e1lnak, mint gyors alternat\u00edva.<\/p>\n

K\u00f6zelebbr\u0151l megvizsg\u00e1lva l\u00e1that\u00f3, hogy a Google Cloud Dataflow az Apache Beam egyik variantej\u00e1ra alapoz, mik\u00f6zben az Apache Beam j\u00f3l dokument\u00e1lt Apache Spark keretrendszert tartalmaz, ami lehet\u0151v\u00e9 teszi, hogy gyakorlatilag azonos sebess\u00e9ggel hajts\u00e1k v\u00e9gre a megold\u00e1sokat. Az Apache Spark kiv\u00e1l\u00f3an m\u0171k\u00f6dik a HDFS f\u00e1jlrendszeren, ami lehet\u0151v\u00e9 teszi, hogy a Hadoop szervereken telep\u00edts\u00e9k.<\/p>\n

Ha ehhez hozz\u00e1vessz\u00fck a Hadoop \u00e9s Spark dokument\u00e1ci\u00f3s anyag\u00e1nak \u00e9s k\u00e9sz megold\u00e1sainak mennyis\u00e9g\u00e9t a Google Cloud Dataflowhoz k\u00e9pest, a v\u00e1laszt\u00e1s nyilv\u00e1nval\u00f3v\u00e1 v\u00e1lik. S\u0151t, a m\u00e9rn\u00f6k\u00f6k maguk d\u00f6nthetik el, hogy milyen k\u00f3dot futtatnak - Hadoop-ot vagy Spark-ot - az adott feladat, tapasztalat \u00e9s szakk\u00e9pzetts\u00e9g f\u00fcggv\u00e9ny\u00e9ben.<\/p>\n

Felh\u0151 vagy helyi szerver<\/h2>\n

\nA tendencia a uma migra\u00e7\u00e3o generalizada para a nuvem gerou at\u00e9 mesmo um termo interessante, como Hadoop-as-a-service. Nesse cen\u00e1rio, a administra\u00e7\u00e3o dos servidores conectados tornou-se muito importante. Infelizmente, apesar de sua popularidade, o Hadoop puro \u00e9 uma ferramenta bastante complexa de configurar, pois muito precisa ser feito manualmente. Por exemplo, \u00e9 necess\u00e1rio configurar servidores individualmente, monitorar seus indicadores e ajustar cuidadosamente diversas configura\u00e7\u00f5es. Enfim, \u00e9 um trabalho para entusiastas, e h\u00e1 uma grande chance de cometer erros ou deixar algo passar.<\/p>\n

Assim, diversas distribui\u00e7\u00f5es ganharam popularidade, sendo inicialmente equipadas com ferramentas convenientes para implanta\u00e7\u00e3o e administra\u00e7\u00e3o. Uma das distribui\u00e7\u00f5es mais populares que suportam o Spark e facilitam tudo \u00e9 a Cloudera. Ela possui vers\u00f5es gratuitas e pagas, sendo que a \u00faltima oferece toda a funcionalidade b\u00e1sica, sem restri\u00e7\u00e3o no n\u00famero de n\u00f3s. <\/p>\n

\"Mi
\n
\nDurante a configura\u00e7\u00e3o, o Cloudera Manager se conectar\u00e1 aos seus servidores via SSH. Um ponto interessante: ao instalar, \u00e9 melhor especificar que a instala\u00e7\u00e3o seja feita por meio de parcelas<\/i>: pacotes especiais, cada um contendo todos os componentes necess\u00e1rios, configurados para trabalhar entre si. Por ess\u00eancia, \u00e9 uma vers\u00e3o aprimorada de um gerenciador de pacotes.<\/p>\n

Ap\u00f3s a instala\u00e7\u00e3o, obt\u00e9m-se um console de gerenciamento do cluster, onde \u00e9 poss\u00edvel visualizar a telemetria dos clusters, os servi\u00e7os instalados, al\u00e9m de poder adicionar\/remover recursos e editar a configura\u00e7\u00e3o do cluster. <\/p>\n

\"Mi
\n
\nComo resultado, surge diante de voc\u00ea a se\u00e7\u00e3o daquela foguete que o levar\u00e1 ao brilhante futuro do Big Data. Mas antes de dizer 'vamos l\u00e1', vamos olhar sob o cap\u00f4.<\/p>\n

Requisitos de hardware<\/h2>\n

\nNo seu site, a Cloudera menciona diferentes configura\u00e7\u00f5es poss\u00edveis. Os princ\u00edpios gerais pelos quais elas s\u00e3o constru\u00eddas est\u00e3o ilustrados na imagem:<\/p>\n

\"Mi
\nEzt az optimista k\u00e9pet a MapReduce elhom\u00e1lyos\u00edthatja. Ha ism\u00e9t megn\u00e9zz\u00fck az el\u0151z\u0151 fejezetb\u0151l sz\u00e1rmaz\u00f3 diagramot, vil\u00e1goss\u00e1 v\u00e1lik, hogy a MapReduce feladat szinte minden esetben \"k\u00e9szletbeli sz\u0171k keresztmetszettel\" szembes\u00fclhet, amikor adatokat olvasnak le lemezr\u0151l vagy h\u00e1l\u00f3zatr\u00f3l. Ezt a Cloudera blogj\u00e1ban is megjegyzik. Ennek eredm\u00e9nyek\u00e9nt a gyors sz\u00e1m\u00edt\u00e1sokhoz, bele\u00e9rtve a Spark haszn\u00e1lat\u00e1t, amelyet gyakran val\u00f3s idej\u0171 sz\u00e1m\u00edt\u00e1sokhoz haszn\u00e1lnak, nagyon fontos a bemeneti\/kimeneti sebess\u00e9g. Ez\u00e9rt a Hadoop haszn\u00e1lata eset\u00e9n rendk\u00edv\u00fcl fontos, hogy a klaszterhez kiegyens\u00falyozott \u00e9s gyors g\u00e9pek ker\u00fcljenek, ami, enyh\u00e9n sz\u00f3lva, nem mindig biztos\u00edtott a felh\u0151infrastrukt\u00far\u00e1ban.<\/p>\n

A terhel\u00e9sek kiegyens\u00falyozotts\u00e1g\u00e1t az Openstack virtualiz\u00e1ci\u00f3j\u00e1nak haszn\u00e1lat\u00e1val \u00e9rj\u00fck el a sokmagos CPU-val rendelkez\u0151 szervereken. Az adatcsom\u00f3pontok saj\u00e1t processzorfelhaszn\u00e1l\u00e1ssal \u00e9s bizonyos lemezekkel rendelkeznek. A mi megold\u00e1sunkban Atos Codex Data Lake Engine<\/i> sz\u00e9les k\u00f6r\u0171 virtualiz\u00e1ci\u00f3t val\u00f3s\u00edtunk meg, aminek k\u00f6sz\u00f6nhet\u0151en nyer\u00fcnk a teljes\u00edtm\u00e9nyben (minimaliz\u00e1ljuk a h\u00e1l\u00f3zati infrastrukt\u00fara hat\u00e1s\u00e1t) \u00e9s a TCO-ban (kiz\u00e1rjuk a felesleges fizikai szervereket).<\/p>\n

\"Mi
\nBullSequana S200 szerverek haszn\u00e1lata eset\u00e9n egyenletes terhel\u00e9st kapunk, amely mentes a sz\u0171k keresztmetszetek egy r\u00e9sz\u00e9t\u0151l. A minim\u00e1lis konfigur\u00e1ci\u00f3 3 BullSequana S200 szervert tartalmaz, mindegyik k\u00e9t JBOD-dal, plusz opcion\u00e1lisan csatlakoztathatunk tov\u00e1bbi S200-at, amelyek n\u00e9gy adatcsom\u00f3pontot t\u00e1rolnak. \u00cdme egy p\u00e9lda a TeraGen teszt terhel\u00e9s\u00e9re:<\/p>\n

\"Mi
\n
\nA k\u00fcl\u00f6nb\u00f6z\u0151 adatmennyis\u00e9gekkel \u00e9s replik\u00e1ci\u00f3s \u00e9rt\u00e9kekkel v\u00e9gzett tesztek ugyanolyan eredm\u00e9nyeket mutatnak a klaszter csom\u00f3pontjai k\u00f6z\u00f6tti terhel\u00e9s eloszl\u00e1sa szempontj\u00e1b\u00f3l. Az al\u00e1bbiakban a teljes\u00edtm\u00e9nytesztek sor\u00e1n a lemezhozz\u00e1f\u00e9r\u00e9s eloszl\u00e1s\u00e1nak grafikonja l\u00e1that\u00f3.<\/p>\n

\"Mi
\n
\nA tesztek a 3 BullSequana S200 szerverb\u0151l \u00e1ll\u00f3 minim\u00e1lis konfigur\u00e1ci\u00f3n alapultak. Ez 9 adatcsom\u00f3pontot \u00e9s 3 f\u0151 csom\u00f3pontot tartalmaz, valamint fenntartott virtu\u00e1lis g\u00e9peket a nyitott OpenStack Virtualization v\u00e9delem telep\u00edt\u00e9se eset\u00e9re. A TeraSort teszt eredm\u00e9nye: 512 MB blokk m\u00e9ret\u0171 replik\u00e1ci\u00f3s ar\u00e1ny h\u00e1rommal, titkos\u00edt\u00e1ssal 23,1 perc.<\/p>\n

Hogyan b\u0151v\u00edthet\u0151 a rendszer? A Data Lake Engine k\u00fcl\u00f6nb\u00f6z\u0151 t\u00edpus\u00fa b\u0151v\u00edt\u00e9seket k\u00edn\u00e1l:<\/p>\n