{"id":33630,"date":"2019-10-31T21:53:49","date_gmt":"2019-10-31T18:53:49","guid":{"rendered":"https:\/\/prohoster.info\/blog\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit\/"},"modified":"2019-10-31T21:53:49","modified_gmt":"2019-10-31T18:53:49","slug":"chto-osobennogo-v-cloudera-i-kak-ee-gotovit","status":"publish","type":"post","link":"https:\/\/prohoster.info\/cs\/blog\/administrirovanie\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit","title":{"rendered":"Co je zvl\u00e1\u0161tn\u00edho na Cloudera a jak ji p\u0159ipravit","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Trh distribuovan\u00fdch v\u00fdpo\u010dt\u016f a velk\u00fdch dat, pokud se m\u00e1 v\u011b\u0159it statistik\u00e1ch<\/a><\/noindex>, roste o 18-19 % ro\u010dn\u011b. To znamen\u00e1, \u017ee ot\u00e1zka v\u00fdb\u011bru softwaru pro tyto \u00fa\u010dely z\u016fst\u00e1v\u00e1 aktu\u00e1ln\u00ed. V tomto p\u0159\u00edsp\u011bvku za\u010dneme t\u00edm, pro\u010d jsou distribuovan\u00e9 v\u00fdpo\u010dty pot\u0159eba, podrobn\u011b se zam\u011b\u0159\u00edme na v\u00fdb\u011br softwaru, pov\u00edme si o vyu\u017eit\u00ed Hadoopu pomoc\u00ed Cloudera a nakonec se budeme zab\u00fdvat v\u00fdb\u011brem hardwaru a t\u00edm, jak r\u016fzn\u00fdmi zp\u016fsoby ovliv\u0148uje v\u00fdkon.<\/p>\n

\"Co<\/a><\/noindex>
\nPro\u010d jsou distribuovan\u00e9 v\u00fdpo\u010dty pot\u0159ebn\u00e9 v b\u011b\u017en\u00e9m podnik\u00e1n\u00ed? Je to jednoduch\u00e9 a z\u00e1rove\u0148 slo\u017eit\u00e9. Jednoduch\u00e9 \u2014 proto\u017ee ve v\u011bt\u0161in\u011b p\u0159\u00edpad\u016f prov\u00e1d\u00edme relativn\u011b jednoduch\u00e9 v\u00fdpo\u010dty na jednotku informac\u00ed. Slo\u017eit\u011b \u2014 proto\u017ee takov\u00e9 informace je hodn\u011b. Opravdu hodn\u011b. V d\u016fsledku toho je zapot\u0159eb\u00ed zpracov\u00e1vat terabajty dat v 1000 toc\u00edch<\/a><\/noindex>. Sc\u00e9n\u00e1\u0159e pou\u017eit\u00ed jsou tak pom\u011brn\u011b univers\u00e1ln\u00ed: v\u00fdpo\u010dty lze aplikovat v\u0161ude tam, kde je t\u0159eba zohlednit velk\u00e9 mno\u017estv\u00ed metrik na je\u0161t\u011b v\u011bt\u0161\u00edm mno\u017estv\u00ed dat.<\/p>\n

Jedn\u00edm z ned\u00e1vn\u00fdch p\u0159\u00edklad\u016f je: s\u00ed\u0165 pizzeri\u00ed Dodo Pizza ur\u010dila<\/a><\/noindex> na z\u00e1klad\u011b anal\u00fdzy z\u00e1kaznick\u00e9 objedn\u00e1vkov\u00e9 datab\u00e1ze, \u017ee p\u0159i v\u00fdb\u011bru pizzy s libovolnou n\u00e1pln\u00ed u\u017eivatel\u00e9 obvykle operuj\u00ed jen \u0161esti z\u00e1kladn\u00edmi soubory ingredienc\u00ed plus p\u00e1r n\u00e1hodn\u00fdmi. S t\u00edmto p\u0159izp\u016fsobila pizzerie sv\u00e9 n\u00e1kupy. Nav\u00edc se j\u00ed poda\u0159ilo l\u00e9pe doporu\u010dovat z\u00e1kazn\u00edk\u016fm dal\u0161\u00ed produkty nab\u00eddnut\u00e9 b\u011bhem objedn\u00e1vky, co\u017e vedlo k zv\u00fd\u0161en\u00ed zisku.<\/p>\n

Dal\u0161\u00ed p\u0159\u00edklad: anal\u00fdza<\/a><\/noindex> sn\u00ed\u017een\u00ed po\u010dtu polo\u017eek umo\u017enilo obchod\u016fm H&M zkr\u00e1tit sortiment v jednotliv\u00fdch obchodech o 40 %, p\u0159i\u010dem\u017e \u00farove\u0148 prodeje z\u016fstala zachov\u00e1na. Toho se poda\u0159ilo dos\u00e1hnout vylou\u010den\u00edm \u0161patn\u011b prod\u00e1van\u00fdch polo\u017eek, p\u0159i\u010dem\u017e se zohlednila sez\u00f3nnost.<\/p>\n

V\u00fdb\u011br n\u00e1stroje<\/h2>\n

\nOdv\u011btvov\u00fdm standardem v\u00fdpo\u010dt\u016f tohoto druhu je Hadoop. Pro\u010d? Proto\u017ee Hadoop je skv\u011bl\u00fd, dob\u0159e zdokumentovan\u00fd r\u00e1mec (stejn\u011b jako Habr poskytuje mno\u017estv\u00ed podrobn\u00fdch \u010dl\u00e1nk\u016f na toto t\u00e9ma), kter\u00fd je doprov\u00e1zen celou sadou utilit a knihoven. M\u016f\u017eete do n\u011bj dod\u00e1vat obrovsk\u00e9 sady strukturovan\u00fdch i nestrukturovan\u00fdch dat, a syst\u00e9m je s\u00e1m rozd\u011bl\u00ed mezi v\u00fdpo\u010detn\u00ed zdroje. Tyto zdroje m\u016f\u017eete kdykoli roz\u0161\u00ed\u0159it nebo deaktivovat \u2014 to je horizont\u00e1ln\u00ed \u0161k\u00e1lovatelnost v akci. <\/p>\n

V roce 2017 vlivn\u00e1 konzulta\u010dn\u00ed spole\u010dnost Gartner uzav\u0159ela<\/a><\/noindex>, \u017ee Hadoop brzy vyjde z m\u00f3dy. D\u016fvod je pom\u011brn\u011b ban\u00e1ln\u00ed: analytici se domn\u00edvaj\u00ed, \u017ee spole\u010dnosti masivn\u011b migruj\u00ed do cloudu, kde budou moci platit za skute\u010dn\u00e9 vyu\u017eit\u00ed v\u00fdpo\u010detn\u00edch zdroj\u016f. Druh\u00fdm d\u016fle\u017eit\u00fdm faktorem, kter\u00fd \u00fadajn\u011b m\u016f\u017ee \"poh\u0159b\u00edt\" Hadoop, je rychlost pr\u00e1ce. Mo\u017enosti jako Apache Spark nebo Google Cloud DataFlow toti\u017e pracuj\u00ed rychleji ne\u017e MapReduce, co\u017e je z\u00e1klad Hadoopu.<\/p>\n

Hadoop spo\u010d\u00edv\u00e1 na n\u011bkolika pil\u00ed\u0159\u00edch, mezi nimi\u017e jsou nejv\u00fdrazn\u011bj\u0161\u00ed technologie MapReduce (syst\u00e9m distribuce dat pro v\u00fdpo\u010dty mezi servery) a souborov\u00fd syst\u00e9m HDFS. Ten je speci\u00e1ln\u011b navr\u017een pro ukl\u00e1d\u00e1n\u00ed informac\u00ed rozd\u011blen\u00fdch mezi uzly clustera: ka\u017ed\u00fd blok pevn\u00e9 velikosti m\u016f\u017ee b\u00fdt um\u00edst\u011bn na n\u011bkolika uzlech, a d\u00edky replikaci se zaji\u0161\u0165uje odolnost syst\u00e9mu v\u016f\u010di selh\u00e1n\u00ed jednotliv\u00fdch uzl\u016f. M\u00edsto tabulky soubor\u016f se pou\u017e\u00edv\u00e1 speci\u00e1ln\u00ed server naz\u00fdvan\u00fd NameNode.<\/p>\n

Na ilustraci n\u00ed\u017ee je sch\u00e9ma pr\u00e1ce MapReduce. V prvn\u00edm kroku se data d\u011bl\u00ed podle ur\u010dit\u00e9ho krit\u00e9ria, ve druh\u00e9m se distribuuje podle v\u00fdpo\u010detn\u00edch kapacit, ve t\u0159et\u00edm prob\u00edh\u00e1 v\u00fdpo\u010det. <\/p>\n

\"Co
\nP\u016fvodn\u011b MapReduce vytvo\u0159il Google pro pot\u0159eby sv\u00e9ho vyhled\u00e1v\u00e1n\u00ed. Pot\u00e9 p\u0159e\u0161la MapReduce do svobodn\u00e9ho k\u00f3du a projektu se ujal Apache. Google p\u0159itom postupn\u011b migroval na jin\u00e9 \u0159e\u0161en\u00ed. Zaj\u00edmav\u00fd detail: v sou\u010dasnosti m\u00e1 Google projekt naz\u00fdvan\u00fd Google Cloud Dataflow, kter\u00fd je prezentov\u00e1n jako dal\u0161\u00ed krok po Hadoopu, jako jeho rychl\u00e1 n\u00e1hrada.<\/p>\n

P\u0159i bli\u017e\u0161\u00edm zkoum\u00e1n\u00ed je z\u0159ejm\u00e9, \u017ee Google Cloud Dataflow je zalo\u017een na variant\u011b Apache Beam, p\u0159i\u010dem\u017e Apache Beam obsahuje dob\u0159e zdokumentovan\u00fd framework Apache Spark, co\u017e umo\u017e\u0148uje hovo\u0159it o t\u00e9m\u011b\u0159 stejn\u00e9 rychlosti realizace \u0159e\u0161en\u00ed. Apache Spark v\u00fdborn\u011b funguje na souborov\u00e9m syst\u00e9mu HDFS, co\u017e umo\u017e\u0148uje jeho nasazen\u00ed na serverech Hadoop.<\/p>\n

P\u0159i\u010dteme sem objem dokumentace a hotov\u00fdch \u0159e\u0161en\u00ed pro Hadoop a Spark ve srovn\u00e1n\u00ed s Google Cloud Dataflow, a volba n\u00e1stroje se st\u00e1v\u00e1 z\u0159ejmou. Nav\u00edc mohou in\u017een\u00fd\u0159i sami rozhodovat, kter\u00fd k\u00f3d \u2014 pro Hadoop nebo Spark \u2014 budou prov\u00e1d\u011bt, p\u0159i\u010dem\u017e se orientuj\u00ed na \u00fakol, zku\u0161enosti a kvalifikaci.<\/p>\n

Cloud nebo lok\u00e1ln\u00ed server<\/h2>\n

\nTendence ke v\u0161eobecn\u00e9mu p\u0159echodu do cloudu p\u0159ivedla k zaj\u00edmav\u00e9mu term\u00ednu jako Hadoop-as-a-service. V tomto sc\u00e9n\u00e1\u0159i se stalo velmi d\u016fle\u017eit\u00fdm spravov\u00e1n\u00ed p\u0159ipojen\u00fdch server\u016f. Proto\u017ee, bohu\u017eel, navzdory sv\u00e9 popularit\u011b je \u010dist\u00fd Hadoop pom\u011brn\u011b slo\u017eit\u00fd n\u00e1stroj na nastaven\u00ed, nebo\u0165 mnoho v\u011bc\u00ed je t\u0159eba d\u011blat manu\u00e1ln\u011b. Nap\u0159\u00edklad jednotliv\u011b konfigurovat servery, sledovat jejich parametry, pe\u010dliv\u011b nastavovat \u0159adu parametr\u016f. Celkov\u011b je to pr\u00e1ce pro nad\u0161ence a existuje velk\u00e9 riziko, \u017ee se n\u011bkde n\u011bco pokaz\u00ed nebo n\u011bco p\u0159ehl\u00e9dnete.<\/p>\n

Proto z\u00edskaly velkou popularitu r\u016fzn\u00e9 distribuce, kter\u00e9 jsou od za\u010d\u00e1tku vybaveny pohodln\u00fdmi prost\u0159edky pro nasazen\u00ed a administraci. Jedna z nejpopul\u00e1rn\u011bj\u0161\u00edch distribuc\u00ed, kter\u00e9 podporuj\u00ed Spark a v\u0161echno usnad\u0148uj\u00ed, je Cloudera. Ta m\u00e1 jak placenou, tak bezplatnou verzi \u2014 a v t\u00e9 posledn\u00ed je dostupn\u00e1 ve\u0161ker\u00e1 z\u00e1kladn\u00ed funk\u010dnost, a to bez omezen\u00ed po\u010dtu uzl\u016f. <\/p>\n

\"Co
\n
\nB\u011bhem nastaven\u00ed Cloudera Manager se bude p\u0159ipojovat p\u0159es SSH k va\u0161im server\u016fm. Zaj\u00edmav\u00fd detail: p\u0159i instalaci je lep\u0161\u00ed uv\u00e9st, aby se to prov\u00e1d\u011blo takzvan\u00fdmi parcelami<\/i>: speci\u00e1ln\u00edmi bal\u00ed\u010dky, kter\u00e9 obsahuj\u00ed v\u0161echny pot\u0159ebn\u00e9 komponenty nakonfigurovan\u00e9 pro vz\u00e1jemnou spolupr\u00e1ci. V podstat\u011b jde o vylep\u0161enou verzi spr\u00e1vce bal\u00ed\u010dk\u016f.<\/p>\n

Po instalaci z\u00edsk\u00e1me konzoli pro spr\u00e1vu clusteru, na kter\u00e9 lze vid\u011bt telemetrii cluster\u016f, nainstalovan\u00e9 slu\u017eby a nav\u00edc budete moci p\u0159id\u00e1vat\/odeb\u00edrat zdroje a upravovat konfiguraci clusteru. <\/p>\n

\"Co
\n
\nV d\u016fsledku toho se p\u0159ed v\u00e1mi objev\u00ed startovn\u00ed pozice rakety, kter\u00e1 v\u00e1s vynese do sv\u011btl\u00e9 budoucnosti BigData. Ale ne\u017e \u0159eknete \u201ejedeme\u201c, p\u0159esu\u0148me se pod kapotu.<\/p>\n

Po\u017eadavky na hardware<\/h2>\n

\nNa sv\u00e9m webu Cloudera zmi\u0148uje r\u016fzn\u00e9 mo\u017en\u00e9 konfigurace. Obecn\u00e9 principy, podle kter\u00fdch jsou stav\u011bny, jsou uvedeny na ilustraci:<\/p>\n

\"Co
\nOptimistick\u00fd obr\u00e1zek m\u016f\u017ee pokazit MapReduce. P\u0159i pohledu na sch\u00e9ma z p\u0159edchoz\u00edho odd\u00edlu je jasn\u00e9, \u017ee se t\u00e9m\u011b\u0159 ve v\u0161ech p\u0159\u00edpadech m\u016f\u017ee \u00faloha MapReduce setkat s \"\u00fazk\u00fdm hrdlem\" p\u0159i \u010dten\u00ed dat z disku nebo s\u00edt\u011b. To je tak\u00e9 zm\u00edn\u011bno v blogu Cloudera. V\u00fdsledkem je, \u017ee pro jak\u00e9koli rychl\u00e9 v\u00fdpo\u010dty, v\u010detn\u011b t\u011bch p\u0159es Spark, kter\u00fd se \u010dasto pou\u017e\u00edv\u00e1 pro v\u00fdpo\u010dty v re\u00e1ln\u00e9m \u010dase, je d\u016fle\u017eit\u00e1 rychlost vstupu\/v\u00fdstupu. Proto je p\u0159i pou\u017e\u00edv\u00e1n\u00ed Hadoopu velmi d\u016fle\u017eit\u00e9, aby do clusteru p\u0159ipadaly vyv\u00e1\u017een\u00e9 a rychl\u00e9 stroje, co\u017e, m\u00edrn\u011b \u0159e\u010deno, nen\u00ed v\u017edy zaji\u0161t\u011bno v cloudov\u00e9 infrastruktu\u0159e.<\/p>\n

Vyv\u00e1\u017eenost v distribuci z\u00e1t\u011b\u017ee se dosahuje d\u00edky pou\u017eit\u00ed virtualizace OpenStack na serverech s v\u00fdkonn\u00fdmi v\u00edcej\u00e1drov\u00fdmi CPU. Datov\u00fdm uzl\u016fm jsou vyhrazeny vlastn\u00ed procesorov\u00e9 zdroje a ur\u010dit\u00e9 disky. V na\u0161em \u0159e\u0161en\u00ed Atos Codex Data Lake Engine<\/i> se dosahuje \u0161irok\u00e9 virtualizace, tak\u017ee z\u00edsk\u00e1v\u00e1me v\u00fdhody jak v oblasti v\u00fdkonu (minimalizuje se dopad s\u00ed\u0165ov\u00e9 infrastruktury), tak v TCO (vylu\u010duj\u00ed se nadbyte\u010dn\u00e9 fyzick\u00e9 servery).<\/p>\n

\"Co
\nP\u0159i pou\u017eit\u00ed server\u016f BullSequana S200 dosahujeme pom\u011brn\u011b rovnom\u011brn\u00e9ho zat\u00ed\u017een\u00ed, zbaven\u00e9ho n\u011bkter\u00fdch \u00fazk\u00fdch m\u00edst. Minim\u00e1ln\u00ed konfigurace zahrnuje 3 servery BullSequana S200, ka\u017ed\u00fd se dv\u011bma JBOD, plus voliteln\u011b jsou p\u0159ipojeny dal\u0161\u00ed S200, obsahuj\u00edc\u00ed \u010dty\u0159i datov\u00e9 uzly. Zde je p\u0159\u00edklad zat\u00ed\u017een\u00ed z testu TeraGen:<\/p>\n

\"Co
\n
\nTesty s r\u016fzn\u00fdmi objemy dat a hodnotami replikace ukazuj\u00ed shodn\u00e9 v\u00fdsledky z hlediska distribuce z\u00e1t\u011b\u017ee mezi uzly clusteru. N\u00ed\u017ee je graf distribuce p\u0159\u00edstupu k disku v testech v\u00fdkonu.<\/p>\n

\"Co
\n
\nV\u00fdpo\u010dty byly provedeny na b\u00e1zi minim\u00e1ln\u00ed konfigurace ze 3 server\u016f BullSequana S200. Ta zahrnuje 9 datov\u00fdch uzl\u016f a 3 hlavn\u00ed uzly, stejn\u011b jako rezervovan\u00e9 virtu\u00e1ln\u00ed stroje pro p\u0159\u00edpad nasazen\u00ed ochrany na z\u00e1klad\u011b virtualizace OpenStack. V\u00fdsledek testu TeraSort: velikost bloku 512 MB s koeficientem replikace t\u0159i a s \u0161ifrov\u00e1n\u00edm \u010din\u00ed 23,1 min.<\/p>\n

Jak lze syst\u00e9m roz\u0161\u00ed\u0159it? Pro Data Lake Engine jsou k dispozici r\u016fzn\u00e9 typy roz\u0161\u00ed\u0159en\u00ed:<\/p>\n