{"id":33630,"date":"2019-10-31T21:53:49","date_gmt":"2019-10-31T18:53:49","guid":{"rendered":"https:\/\/prohoster.info\/blog\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit\/"},"modified":"2019-10-31T21:53:49","modified_gmt":"2019-10-31T18:53:49","slug":"chto-osobennogo-v-cloudera-i-kak-ee-gotovit","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit","title":{"rendered":"Mis on Cloudera eriline ja kuidas seda kasutada?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Jaotatud arvutuste ja suurte andmete turg, kui uskuda statistikat<\/a><\/noindex>, kasvab 18\u201319% aastas. See t\u00e4hendab, et tarkvara valiku k\u00fcsimus j\u00e4\u00e4b endiselt \u0430\u043a\u0442\u0443\u00e1lseks. Selles postituses r\u00e4\u00e4gime sellest, miks on jaotatud arvutused vajalikud, keskendume tarkvara valikule, tutvustame Hadoopi rakendamist Cloudera abil ning l\u00f5puks arutame riistvara valikut ja seda, kuidas see erinevates viisides tootlikkusele m\u00f5jub.<\/p>\n

\"Mis<\/a><\/noindex>
\nMiks on jaotatud arvutused tavalisel \u00e4ril vajalikud? Siin on k\u00f5ik lihtsalt ja keeruliselt samal ajal. Lihtne \u2014 sest enamikul juhtudel teeme me suhteliselt lihtsaid arvutusi teabe\u00fchiku kohta. Keeruline \u2014 sest sellist teavet on palju. \u00dcksnes v\u00e4ga palju. Seet\u00f5ttu tuleb t\u00f6\u00f6tleda terabaiti andmeid 1000 voos<\/a><\/noindex>. Seega on kasutusstsenaariumid \u00fcsna universaalsed: arvutusi saab rakendada igal pool, kus on vajalik arvesse v\u00f5tta suurt hulka m\u00f5\u00f5dikuid veelgi suuremas andmemassis.<\/p>\n

\u00dcks hiljutine n\u00e4ide: pizzeriate kett Dodo Pizza m\u00e4\u00e4ras<\/a><\/noindex> kunde tellimuste andmebaasi anal\u00fc\u00fcsi p\u00f5hjal selgus, et kui valida pitsat juhuslikke koostisosadega, siis opereerivad kasutajad tavaliselt vaid kuue p\u00f5hikoostisosade komplektiga pluss paar juhuslikku. Selle alusel kohandas pitsabaar oma ostustrateegiat. Lisaks suudeti paremini soovitada kasutajatele lisatooteid, mis pakuti tellimise k\u00e4igus, mis t\u00f5stis kasumlikkust.<\/p>\n

Veel \u00fcks n\u00e4ide: anal\u00fc\u00fcs<\/a><\/noindex> toodete valik v\u00f5imaldas H&M-l v\u00e4hendada teatud kauplustes valikut 40% v\u00f5rra, s\u00e4ilitades siiski m\u00fc\u00fcgitaseme. Seda \u00f5nnestus saavutada halvasti m\u00fc\u00fcdavate toodete v\u00e4listamisega, arvesse v\u00f5ttes hooajalisust.<\/p>\n

T\u00f6\u00f6riista valik<\/h2>\n

\nHadoop on t\u00f6\u00f6stusstandard, kui r\u00e4\u00e4gime sellistest arvutustest. Miks? Sest Hadoop on suurep\u00e4rane, h\u00e4sti dokumenteeritud raamistik (isegi Habr avaldab sellel teemal hulgaliselt \u00fcksikasjalikke artikleid), mis kaasneb terve hulga utiliitide ja teekidega. Saate esitada tohutuid koguseid nii struktureeritud kui ka struktureerimata andmeid, ning s\u00fcsteem jaotab need automaatselt arvutusressursside vahel. Neid ressursse saab igal ajal suurendada v\u00f5i v\u00e4hendada \u2014 see ongi horisontaalne skaleeritavus. <\/p>\n

2017. aastal j\u00f5udis m\u00f5juka konsultatsioonifirma Gartner j\u00e4reldusele<\/a><\/noindex>, et Hadoop kaotab peagi oma t\u00e4htsuse. P\u00f5hjus on \u00fcsna lihtne: anal\u00fc\u00fctikud usuvad, et ettev\u00f5tted hakkavad massiliselt liikuma pilve, kus nad saavad maksta tegelike arvutusressursside kasutamise eest. Teine oluline tegur, mis v\u00f5ib Hadoopi \"hauda kanda\", on t\u00f6\u00f6 kiirus. Sest sellised valikud nagu Apache Spark v\u00f5i Google Cloud DataFlow t\u00f6\u00f6tavad kiiremini kui Hadoopi aluseks olev MapReduce.<\/p>\n

Hadoop toetub mitmele suurele tehnoloogiale, mille seas on k\u00f5ige silmapaistvamad MapReduce (andmete jagamise s\u00fcsteem arvutamisel serverite vahel) ja HDFS faili s\u00fcsteem. Viimane on spetsiaalselt loodud jagatud teabe salvestamiseks klastrite s\u00f5lmede vahel: iga fikseeritud suurusega plokk v\u00f5ib olla paigutatud mitmesse s\u00f5lme ja replikatsiooni kaudu tagatakse s\u00fcsteemi vastupidavus \u00fcksikute s\u00f5lmede riketest. Failide tabeli asemel kasutatakse spetsiaalset serverit, mida nimetatakse NameNode'iks.<\/p>\n

Alloleval illustratsioonil on kujutatud MapReduce'i t\u00f6\u00f6 skeemi. Esimeses etapis jagatakse andmed teatud tunnuse j\u00e4rgi, teises - jagatakse need arvutusv\u00f5imsuse vahel ning kolmandas - toimub arvutamine. <\/p>\n

\"Mis
\nMapReduce loodi algselt Google'i vajadustele oma otsingu jaoks. Seej\u00e4rel l\u00e4ks MapReduce vabakoodiks ja projekti v\u00f5ttis \u00fcle Apache. Google liikus j\u00e4rk-j\u00e4rgult teiste lahenduste suunas. Huvitav n\u00fcanss: hetkel on Google'il projekt nimega Google Cloud Dataflow, mis on positsioneeritud j\u00e4rgmise sammuna p\u00e4rast Hadoopi, nagu kiire asend.<\/p>\n

P\u00f6\u00f6rates t\u00e4helepanu n\u00e4eme, et Google Cloud Dataflow p\u00f5hineb Apache Beami variandil, samas kui Apache Beam sisaldab h\u00e4sti dokumenteeritud Apache Spark raamistikku, mis v\u00f5imaldab r\u00e4\u00e4kida praktiliselt sama t\u00e4itmise kiirusest. Apache Spark t\u00f6\u00f6tab suurep\u00e4raselt HDFS-failis\u00fcsteemis, mis v\u00f5imaldab selle seadistamist Hadoopi serverites.<\/p>\n

Lisame siia Hadoopi ja Sparki dokumentatsiooni ja valmislahenduste mahu v\u00f5rreldes Google Cloud Dataflow'ga ning t\u00f6\u00f6riista valik muutub ilmseks. Veelgi enam, insenerid saavad ise otsustada, millist koodi - Hadoopi v\u00f5i Sparki - nad peavad t\u00e4itma, l\u00e4htudes \u00fclesandest, kogemusest ja kvalifikatsioonist.<\/p>\n

Pilv v\u00f5i kohalik server<\/h2>\n

\nPilve k\u00f5ikeh\u00f5lmavaks \u00fcleminekuks on tekkinud isegi selline huvitav m\u00f5isted nagu Hadoop-as-a-service. Sellises stsenaariumis on serverite haldamine muutunud \u00e4\u00e4rmiselt oluliseks. Kahjuks, hoolimata oma populaarsusest, on puhas Hadoop \u00fcsna keeruline seadistada, kuna palju tuleb teha k\u00e4sitsi. N\u00e4iteks serverite eraldi konfigureerimine, nende n\u00e4itajate j\u00e4lgimine, erinevate parameetrite ettevaatlik seadistamine. \u00dches\u00f5naga, see on amat\u00f6\u00f6ride t\u00f6\u00f6 ja on suur oht, et kuskil tehakse viga v\u00f5i midagi j\u00e4etakse t\u00e4helepanuta.<\/p>\n

Seet\u00f5ttu on populaarsust kogunud erinevad distributsioonid, mis on algselt varustatud mugavate juurutamise ja haldamise vahenditega. \u00dcks k\u00f5ige populaarsemaid distributsioone, mis toetavad Spark\u2019i ja muudavad k\u00f5ike lihtsamaks, on Cloudera. Sellel on nii tasuline kui ka tasuta versioon \u2014 ja tasuta versioonis on kogu peamine funktsionaalsus saadaval, ilma s\u00f5lmede arvu piiranguta. <\/p>\n

\"Mis
\n
\nCloudera Manager seondub teie serveritega SSH kaudu seadistamise ajal. Huvitav detail: paigaldamisel on parem m\u00e4rkida, et see toimuks nn parsellid<\/i>: spetsiaalsete pakettidega, milles on k\u00f5ik vajalikud komponendid, mis on omavahel t\u00f6\u00f6tamiseks seadistatud. Sisuliselt on see t\u00e4iustatud versioon pakettide haldurist.<\/p>\n

P\u00e4rast installimist saame klastrite halduskeskkonna, kust on v\u00f5imalik n\u00e4ha klastrite telemeetriat, paigaldatud teenuseid ning saate lisada\/maha v\u00f5tta ressursse ja muuta klastrite konfiguratsiooni. <\/p>\n

\"Mis
\n
\nTulemuseks on teie ees raketi salong, mis viib teid BigData s\u00e4ravasse tulevikku. Kuid enne, kui \u00fctlete \u201eminema\u201d, v\u00f5tame l\u00e4hemalt pilgu kaanelt.<\/p>\n

Riistvaran\u00f5uded<\/h2>\n

\nOma veebisaidil mainib Cloudera erinevaid v\u00f5imalikke konfiguratsioone. \u00dcldised p\u00f5him\u00f5tted, mille alusel need koostatakse, on illustratsioonil:<\/p>\n

\"Mis
\nSeda optimistlikku pilti v\u00f5ib rikkuda MapReduce. Kui vaadata uuesti eelnevas jaotises esitatud skeemi, muutub selgeks, et peaaegu k\u00f5igil juhtudel v\u00f5ib MapReduce'i \u00fclesanne kohtuda 'kitsaskoha' probleemiga andmete lugemisel kettalt v\u00f5i v\u00f5rgust. Seda on m\u00e4rgitud ka Cloudera blogis. Seet\u00f5ttu on igasuguste kiirete arvutuste, sealhulgas Spark'i kaudu, mis on sageli kasutusel reaalajas arvutustes, sisend\/v\u00e4ljund kiirus \u00fclioluline. Seega on Hadoop-i kasutamisel v\u00e4ga oluline, et klastrisse j\u00f5uavad tasakaalustatud ja kiired masinad, mis, pehmelt \u00f6eldes, ei pruugi alati pilvetehnoloogias tagatud olla.<\/p>\n

Koormuse tasakaalu saavutatakse Openstack virtualiseerimise abil v\u00f5imsates mitme tuumaga protsessoritega serverites. Andmepunktidele on eraldatud oma protsessoriv\u00f5imsus ja kindlad kettad. Meie lahenduses Atos Codex Data Lake Engine<\/i> saavutatakse ulatuslik virtualiseerimine, mille t\u00f5ttu v\u00f5idame nii j\u00f5udluses (minimeeritakse v\u00f5rgu infrastruktuuri m\u00f5ju) kui ka TCO-s (v\u00e4listatakse liigsed f\u00fc\u00fcsilised serverid).<\/p>\n

\"Mis
\nBullSequana S200 serverite kasutamisel saavutame v\u00e4ga \u00fchtlase koormuse, ilma kitsaskohtade osaluseta. Minimummoodul sisaldab 3 BullSequana S200 serverit, kummaski kahe JBOD-iga, lisaks on valikuliselt v\u00f5imalik \u00fchendada t\u00e4iendavaid S200 servereid, milles on neli andmemoodulit. Siin on koormuse n\u00e4ide TeraGen testis:<\/p>\n

\"Mis
\n
\nErinevate andmete mahtude ja replikatsiooni v\u00e4\u00e4rtustega testid n\u00e4itavad koormuse jaotuse osas klastrite s\u00f5lmede vahel \u00fchtlaseid tulemusi. Allpool on diskreetsete testide tulemustele tuginev graafik andmesalvestuse juurdep\u00e4\u00e4su jaotusest.<\/p>\n

\"Mis
\n
\nArvutused on tehtud 3 BullSequana S200 serverist koosneva minimaalse konfigureerimise p\u00f5hjal. See sisaldab 9 andmemoodulit ja 3 peamoodulit, samuti reserveeritud virtuaalmasinaid OpenStack Virtualization p\u00f5hjaliku kaitse rakendamise juhtudeks. TeraSort testi tulemus: ploki suurus 512 MB kolmekordse replikatsiooni koefitsiendiga salastatuna on 23,1 min.<\/p>\n

Kuidas saab s\u00fcsteemi laiendada? Data Lake Engine'i jaoks on saadaval mitmesugused laiendused:<\/p>\n