{"id":33630,"date":"2019-10-31T21:53:49","date_gmt":"2019-10-31T18:53:49","guid":{"rendered":"https:\/\/prohoster.info\/blog\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit\/"},"modified":"2019-10-31T21:53:49","modified_gmt":"2019-10-31T18:53:49","slug":"chto-osobennogo-v-cloudera-i-kak-ee-gotovit","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sk\/blog\/administrirovanie\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit","title":{"rendered":"\u010co je zvl\u00e1\u0161tne na Cloudera a ako ju pripravi\u0165","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Trh distribuovan\u00fdch v\u00fdpo\u010dtov a ve\u013ek\u00fdch d\u00e1t sa, ak sa m\u00e1 veri\u0165 \u0161tatistiky<\/a><\/noindex>, zvy\u0161uje o 18-19% ro\u010dne. Znamen\u00e1 to, \u017ee ot\u00e1zka v\u00fdberu softv\u00e9ru na tento \u00fa\u010del zost\u00e1va aktu\u00e1lna. V tomto pr\u00edspevku za\u010dneme t\u00fdm, pre\u010do s\u00fa distribuovan\u00e9 v\u00fdpo\u010dty potrebn\u00e9, podrobnej\u0161ie sa zameriame na v\u00fdber softv\u00e9ru, porozpr\u00e1vame sa o pou\u017eit\u00ed Hadoopu pomocou Cloudera a nakoniec budeme hovori\u0165 o v\u00fdbere hardv\u00e9ru a o tom, ako r\u00f4znymi sp\u00f4sobmi ovplyv\u0148uje v\u00fdkon.<\/p>\n

\"\u010co<\/a><\/noindex>
\nPre\u010do s\u00fa distribuovan\u00e9 v\u00fdpo\u010dty potrebn\u00e9 v be\u017enom podnikan\u00ed? Tu je to jednoduch\u00e9 a z\u00e1rove\u0148 zlo\u017eit\u00e9. Jednoduch\u00e9 \u2014 preto\u017ee vo v\u00e4\u010d\u0161ine pr\u00edpadov vykon\u00e1vame relat\u00edvne jednoduch\u00e9 v\u00fdpo\u010dty na jednotku inform\u00e1ci\u00ed. Zlo\u017eit\u00e9 \u2014 preto\u017ee tak\u00fdchto inform\u00e1ci\u00ed je ve\u013ea. Ve\u013emi ve\u013ea. Ako d\u00f4sledok mus\u00edme spracov\u00e1va\u0165 terabajty d\u00e1t v 1000 pr\u00fadoch<\/a><\/noindex>. T\u00fdm p\u00e1dom s\u00fa scen\u00e1re pou\u017eitia ve\u013emi univerz\u00e1lne: v\u00fdpo\u010dty m\u00f4\u017eu by\u0165 aplikovan\u00e9 v\u0161ade, kde je potrebn\u00e9 zv\u00e1\u017ei\u0165 ve\u013ek\u00e9 mno\u017estvo metr\u00edk na e\u0161te v\u00e4\u010d\u0161om s\u00fabore d\u00e1t.<\/p>\n

Jeden z ned\u00e1vnych pr\u00edkladov: sie\u0165 pizzeri\u00ed Dodo Pizza ur\u010dil<\/a><\/noindex> na z\u00e1klade anal\u00fdzy datab\u00e1zy z\u00e1kazn\u00edckych objedn\u00e1vok, \u017ee pri v\u00fdbere pizze s n\u00e1hodnou n\u00e1pl\u0148ou pou\u017e\u00edvatelia zvy\u010dajne pracuj\u00fa len s \u0161iestimi z\u00e1kladn\u00fdmi sadami ingredienci\u00ed plus p\u00e1r n\u00e1hodn\u00fdch. V s\u00falade s t\u00fdm pizzeria prisp\u00f4sobila n\u00e1kupy. Okrem toho sa im podarilo lep\u0161ie odpor\u00fa\u010da\u0165 pou\u017e\u00edvate\u013eom \u010fal\u0161ie produkty, ktor\u00e9 s\u00fa pon\u00fakan\u00e9 v procese objedn\u00e1vania, \u010do umo\u017enilo zv\u00fd\u0161i\u0165 zisk.<\/p>\n

E\u0161te jeden pr\u00edklad: anal\u00fdza<\/a><\/noindex> rozsah produktov umo\u017enil obchodu H&M zn\u00ed\u017ei\u0165 sortiment v niektor\u00fdch obchodoch o 40%, pri\u010dom si zachoval \u00farove\u0148 predaja. Toho sa podarilo dosiahnu\u0165 vyl\u00fa\u010den\u00edm zle pred\u00e1van\u00fdch polo\u017eiek, pri\u010dom sa zoh\u013eadnila sez\u00f3nnos\u0165.<\/p>\n

V\u00fdber n\u00e1stroja<\/h2>\n

\nOdvetvov\u00fdm \u0161tandardom tak\u00fdchto v\u00fdpo\u010dtov je Hadoop. Pre\u010do? Preto\u017ee Hadoop je skvel\u00fd, dobre zdokumentovan\u00fd r\u00e1mec (rovnako ako Habr poskytuje mno\u017estvo podrobn\u00fdch \u010dl\u00e1nkov na t\u00fato t\u00e9mu), ktor\u00fd je sprev\u00e1dzan\u00fd cel\u00fdm s\u00faborom util\u00edt a kni\u017en\u00edc. M\u00f4\u017eete dod\u00e1va\u0165 obrovsk\u00e9 mno\u017estv\u00e1 ako \u0161trukt\u00farovan\u00fdch, tak aj ne\u0161trukt\u00farovan\u00fdch d\u00e1t, a syst\u00e9m ich s\u00e1m rozdel\u00ed medzi v\u00fdpo\u010dtov\u00e9 kapacity. A tieto kapacity m\u00f4\u017eete kedyko\u013evek zv\u00fd\u0161i\u0165 alebo vypn\u00fa\u0165 \u2014 t\u00e1to horizont\u00e1lna \u0161k\u00e1lovate\u013enos\u0165 je v praxi. <\/p>\n

V roku 2017 vplyvn\u00e1 konzulta\u010dn\u00e1 spolo\u010dnos\u0165 Gartner uzavrel<\/a><\/noindex>, \u017ee Hadoop \u010doskoro vyjde z m\u00f3dy. D\u00f4vod je celkom prost\u00fd: analytici sa domnievaj\u00fa, \u017ee firmy sa masovo presun\u00fa do cloudu, preto\u017ee tam bud\u00fa m\u00f4c\u0165 plati\u0165 za skuto\u010dn\u00e9 vyu\u017eitie v\u00fdpo\u010dtov\u00fdch zdrojov. Druh\u00fdm d\u00f4le\u017eit\u00fdm faktorom, ktor\u00fd \u00fadajne m\u00f4\u017ee \"poh\u0159bi\u0165\" Hadoop, je r\u00fdchlos\u0165 v\u00fdkonu. Preto\u017ee mo\u017enosti ako Apache Spark alebo Google Cloud DataFlow funguj\u00fa r\u00fdchlej\u0161ie ako MapReduce, na ktorom Hadoop stoj\u00ed.<\/p>\n

Hadoop spo\u010d\u00edva na nieko\u013ek\u00fdch pilieroch, pri\u010dom najv\u00fdraznej\u0161ie s\u00fa technol\u00f3gie MapReduce (syst\u00e9m rozde\u013eovania \u00fadajov na v\u00fdpo\u010dty medzi servermi) a s\u00faborov\u00fd syst\u00e9m HDFS. Posledn\u00fd je \u0161peci\u00e1lne navrhnut\u00fd na ukladanie \u00fadajov rozdelen\u00fdch medzi uzlovou klastre: ka\u017ed\u00fd blok pevnej ve\u013ekosti m\u00f4\u017ee by\u0165 umiestnen\u00fd na viacer\u00fdch uzloch a v\u010faka replik\u00e1cii sa zabezpe\u010duje odolnos\u0165 syst\u00e9mu vo\u010di poruch\u00e1m jednotliv\u00fdch uzlov. Namiesto tabu\u013eky s\u00faborov sa pou\u017e\u00edva \u0161peci\u00e1lny server naz\u00fdvan\u00fd NameNode.<\/p>\n

Na ilustrovan\u00ed ni\u017e\u0161ie je zobrazen\u00e1 sch\u00e9ma fungovania MapReduce. V prvom kroku sa \u00fadaje rozde\u013euj\u00fa pod\u013ea ur\u010dit\u00e9ho krit\u00e9ria, v druhom sa rozde\u013euj\u00fa medzi v\u00fdpo\u010dtov\u00e9 zdroje a v tre\u0165om prebieha v\u00fdpo\u010det. <\/p>\n

\"\u010co
\nP\u00f4vodne MapReduce vytvoril Google pre potreby svojho vyh\u013ead\u00e1vania. N\u00e1sledne sa MapReduce dostala do vo\u013en\u00e9ho k\u00f3du a projekt prevzala Apache. No Google sa postupne presunul na in\u00e9 rie\u0161enia. Zauj\u00edmav\u00e1 pozn\u00e1mka: v s\u00fa\u010dasnosti m\u00e1 Google projekt nazvan\u00fd Google Cloud Dataflow, ktor\u00fd je prezentovan\u00fd ako \u010fal\u0161\u00ed krok po Hadoop, ak\u00e1si r\u00fdchla n\u00e1hrada.<\/p>\n

Pri bli\u017e\u0161om sk\u00faman\u00ed je jasn\u00e9, \u017ee Google Cloud Dataflow je zalo\u017een\u00fd na variante Apache Beam, pri\u010dom Apache Beam obsahuje dobre zdokumentovan\u00fd framework Apache Spark, \u010do n\u00e1m umo\u017e\u0148uje hovori\u0165 o prakticky rovnakej r\u00fdchlosti vykon\u00e1vania rie\u0161en\u00ed. A Apache Spark skvelo funguje na s\u00faborovom syst\u00e9me HDFS, \u010do umo\u017e\u0148uje jeho nasadenie na serveroch Hadoop.<\/p>\n

Prid\u00e1me sem objem dokument\u00e1cie a hotov\u00fdch rie\u0161en\u00ed pre Hadoop a Spark oproti Google Cloud Dataflow a v\u00fdber n\u00e1stroja sa st\u00e1va zrejm\u00fdm. Viac ne\u017e to, in\u017einieri si m\u00f4\u017eu sami zvoli\u0165, ak\u00fd k\u00f3d - pre Hadoop alebo Spark - bud\u00fa vykon\u00e1va\u0165, pri\u010dom sa riadia \u00falohou, sk\u00fasenos\u0165ami a kvalifik\u00e1ciou.<\/p>\n

Cloud alebo lok\u00e1lny server<\/h2>\n

\nN\u00e1vrh celkov\u00e9ho prechodu do cloudu vytvoril zauj\u00edmav\u00fd term\u00edn ako Hadoop-as-a-service. V takomto scen\u00e1ri je d\u00f4le\u017eit\u00e9 spravovanie pripojen\u00fdch serverov. Preto\u017ee, \u017eia\u013e, napriek svojej popularite, \u010dist\u00fd Hadoop je pomerne zlo\u017eit\u00fdm n\u00e1strojom na nastavenie, preto\u017ee ve\u013ea sa mus\u00ed robi\u0165 ru\u010dne. Napr\u00edklad je potrebn\u00e9 samostatne konfigurova\u0165 servery, sledova\u0165 ich v\u00fdkon a starostlivo nastavi\u0165 mno\u017estvo parametrov. V podstate je to pr\u00e1ca pre nad\u0161encov a je tu ve\u013ek\u00e9 riziko, \u017ee sa nie\u010do pokaz\u00ed alebo prehliadne.<\/p>\n

Preto z\u00edskali ve\u013ek\u00fa popularitu r\u00f4zne distrib\u00facie, ktor\u00e9 s\u00fa od za\u010diatku vybaven\u00e9 pohodln\u00fdmi prostriedkami na nasadzovanie a spravovanie. Jedna z najpopul\u00e1rnej\u0161\u00edch distrib\u00faci\u00ed, ktor\u00e1 podporuje Spark a v\u0161etko u\u013eah\u010duje, je Cloudera. M\u00e1 platen\u00e9 aj bezplatn\u00e9 verzie \u2013 a v tej poslednej je dostupn\u00e1 v\u0161etka z\u00e1kladn\u00e1 funkcionalita, pri\u010dom nie je obmedzen\u00fd po\u010det n\u00f3d. <\/p>\n

\"\u010co
\n
\nPo\u010das nastavenia sa Cloudera Manager pripoj\u00ed k va\u0161im serverom cez SSH. Zauj\u00edmav\u00fd moment: pri in\u0161tal\u00e1cii je lep\u0161ie uvies\u0165, aby prebiehala takzvan\u00fdmi parcelami<\/i>: \u0161peci\u00e1lnymi bal\u00edkmi, v ktor\u00fdch sa nach\u00e1dzaj\u00fa v\u0161etky potrebn\u00e9 komponenty pripraven\u00e9 na spolupr\u00e1cu. V podstate ide o vylep\u0161en\u00fa verziu spr\u00e1vcu bal\u00edkov.<\/p>\n

Po in\u0161tal\u00e1cii dostaneme konzolu na spr\u00e1vu klastra, na ktorej m\u00f4\u017eete vidie\u0165 telemetriu klastra, nain\u0161talovan\u00e9 slu\u017eby a navy\u0161e m\u00f4\u017eete prid\u00e1va\u0165\/odstra\u0148ova\u0165 zdroje a upravova\u0165 konfigur\u00e1ciu klastra. <\/p>\n

\"\u010co
\n
\nAko v\u00fdsledok pred vami stoj\u00ed rozstrih tej rakety, ktor\u00e1 v\u00e1s vezme do jasnej bud\u00facnosti BigData. Ale predt\u00fdm ako poviete \u201eideme\u201c, po\u010fme sa pozrie\u0165 pod kapotu.<\/p>\n

Po\u017eiadavky na hardv\u00e9r<\/h2>\n

\nNa svojom webe Cloudera spom\u00edna r\u00f4zne mo\u017en\u00e9 konfigur\u00e1cie. V\u0161eobecn\u00e9 princ\u00edpy, pod\u013ea ktor\u00fdch s\u00fa postaven\u00e9, s\u00fa zobrazen\u00e9 na ilustr\u00e1cii:<\/p>\n

\"\u010co
\nOptimizmus tejto situ\u00e1cie m\u00f4\u017ee narazi\u0165 na MapReduce. Ak sa znova pozrieme na sch\u00e9mu z predch\u00e1dzaj\u00facej \u010dasti, je jasn\u00e9, \u017ee takmer vo v\u0161etk\u00fdch pr\u00edpadoch sa \u00faloha MapReduce m\u00f4\u017ee stretn\u00fa\u0165 s \u201e\u00fazkym hrdlom\u201c pri \u010d\u00edtan\u00ed \u00fadajov z disku alebo zo siete. To je tie\u017e spomenut\u00e9 na blogu Cloudera. Preto je pre ak\u00e9ko\u013evek r\u00fdchle v\u00fdpo\u010dty, vr\u00e1tane t\u00fdch prostredn\u00edctvom Sparku, ktor\u00fd sa \u010dasto pou\u017e\u00edva na v\u00fdpo\u010dty v re\u00e1lnom \u010dase, ve\u013emi d\u00f4le\u017eit\u00e1 r\u00fdchlos\u0165 vstupu\/v\u00fdstupu. Preto pri pou\u017e\u00edvan\u00ed Hadoopu je ve\u013emi d\u00f4le\u017eit\u00e9, aby do klastru pri\u0161li vyv\u00e1\u017een\u00e9 a r\u00fdchle stroje, \u010do, jemne povedan\u00e9, nie je v\u017edy zabezpe\u010den\u00e9 v cloudovej infra\u0161trukt\u00fare.<\/p>\n

Vyv\u00e1\u017eenos\u0165 v rozdelen\u00ed z\u00e1\u0165a\u017ee je dosiahnut\u00e1 pou\u017eit\u00edm virtualiz\u00e1cie Openstack na serveroch s v\u00fdkonn\u00fdmi viacjadrov\u00fdmi CPU. D\u00e1tov\u00fdm uzlom s\u00fa pridelen\u00e9 vlastn\u00e9 procesorov\u00e9 zdroje a ur\u010dit\u00e9 disky. V na\u0161om rie\u0161en\u00ed Atos Codex Data Lake Engine<\/i> dosahujeme \u0161irok\u00fa virtualiz\u00e1ciu, \u010do n\u00e1m prin\u00e1\u0161a v\u00fdhody ako z poh\u013eadu v\u00fdkonu (minimalizuje sa vplyv sie\u0165ovej infra\u0161trukt\u00fary), tak aj z poh\u013eadu TCO (vylu\u010duj\u00fa sa zbyto\u010dn\u00e9 fyzick\u00e9 servery).<\/p>\n

\"\u010co
\nPri pou\u017eit\u00ed serverov BullSequana S200 z\u00edskavame ve\u013emi rovnomerne rozlo\u017een\u00fa z\u00e1\u0165a\u017e, zbaven\u00fa \u010dast\u00ed \u00fazkych miest. Minim\u00e1lna konfigur\u00e1cia obsahuje 3 servery BullSequana S200, ka\u017ed\u00fd s dvoma JBOD, plus volite\u013ene sa prip\u00e1jaj\u00fa \u010fal\u0161ie S200, obsahuj\u00face po \u0161tyri d\u00e1tov\u00e9 uzly. Tu je pr\u00edklad z\u00e1\u0165a\u017ee v teste TeraGen:<\/p>\n

\"\u010co
\n
\nTesty s r\u00f4znymi objemami \u00fadajov a hodnotami replik\u00e1cie ukazuj\u00fa rovnak\u00e9 v\u00fdsledky z h\u013eadiska rozdelenia z\u00e1\u0165a\u017ee medzi uzly klastru. Ni\u017e\u0161ie je uveden\u00fd graf rozdelenia pr\u00edstupu na disk na z\u00e1klade testov v\u00fdkonu.<\/p>\n

\"\u010co
\n
\nV\u00fdpo\u010dty boli vykonan\u00e9 na z\u00e1klade minim\u00e1lnej konfigur\u00e1cie z 3 serverov BullSequana S200. T\u00e1to konfigur\u00e1cia obsahuje 9 d\u00e1tov\u00fdch uzlov a 3 hlavn\u00e9 uzly, ako aj rezervovan\u00e9 virtu\u00e1lne stroje v pr\u00edpade nasadenia ochrany na b\u00e1ze OpenStack Virtualization. V\u00fdsledok testu TeraSort: ve\u013ekos\u0165 bloku 512 MB s koeficientom replik\u00e1cie tri a \u0161ifrovan\u00edm trv\u00e1 23,1 min\u00faty.<\/p>\n

Ako je mo\u017en\u00e9 roz\u0161\u00edri\u0165 syst\u00e9m? Pre Data Lake Engine s\u00fa k dispoz\u00edcii r\u00f4zne druhy roz\u0161\u00edren\u00ed:<\/p>\n