{"id":33630,"date":"2019-10-31T21:53:49","date_gmt":"2019-10-31T18:53:49","guid":{"rendered":"https:\/\/prohoster.info\/blog\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit\/"},"modified":"2019-10-31T21:53:49","modified_gmt":"2019-10-31T18:53:49","slug":"chto-osobennogo-v-cloudera-i-kak-ee-gotovit","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit","title":{"rendered":"Mis on Cloudera erilist ja kuidas seda kasutada","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Jaotatud arvutuse ja suurte andmete turg kasvab 18-19% aastas, kui uskuda Google'i 23% ameeriklastest kasutavad selliseid salas\u00f5nu), v\u00f5i sama parooli kasutamisel mitmel saidil.<\/a><\/noindex>. Seega on tarkvara valiku teema endiselt aktuaalne. Selles postituses alustame sellest, miks on vajalikke jaotatud arvutusi, k\u00e4sitleme l\u00e4hemalt tarkvara valikut, r\u00e4\u00e4gime Hadoopi kasutamisest Cloudera abil ning l\u00f5puks arutame riistvaravalikut ja seda, kuidas see mitmesuguseid viise t\u00f6\u00f6tluse t\u00f5husust m\u00f5jutab.<\/p>\n

\"Mis<\/a><\/noindex>
\nMiks on jaotatud arvutused igap\u00e4evases \u00e4ritegevuses vajalikud? Siin on k\u00f5ik samal ajal lihtne ja keeruline. Lihtne, kuna enamasti teeme me suhteliselt lihtsaid arvutusi \u00fche info\u00fcksuse kohta. Keeruline, kuna selliseid andmeid on palju. V\u00e4ga palju. Selle tulemusena tuleb meil t\u00f6\u00f6tleda terabaitide andmeid 1000 voos<\/a><\/noindex>. Seega on kasutusstsenaariumid \u00fcsna universaalsed: arvutused v\u00f5ivad kehtida k\u00f5ikjal, kus on vajalik arvesse v\u00f5tta suurt hulka n\u00e4itajaid veelgi suuremas andmemassis.<\/p>\n

\u00dcks hiljutine n\u00e4ide: Dodo Pizza m\u00e4\u00e4ra<\/a><\/noindex> kliendi tellimuste andmebaasi anal\u00fc\u00fcsi p\u00f5hjal, et kui kasutajad valivad pitsat juhuslike koostisosadega, kasutavad nad tavaliselt ainult kuut p\u00f5hikomplekti koostisosade kohta, pluss paar juhuslikku. Selle alusel kohandas pitsafirma oma ostupoliitikat. Lisaks suudeti paremini soovitada kasutajatele t\u00e4iendavaid tooteid, mis pakuti tellimuse tegemise ajal, mis aitas suurendada kasumit.<\/p>\n

Veel \u00fcks n\u00e4ide: ainult m\u00fc\u00fcgi- ja unicornide kohta \u00fctleb meile, et vaid 20% neist on loodud \u00fche inimese poolt. Kas peaksime seda numbrit arvesse v\u00f5tma, kui iga miljard dollarit teeniv ettev\u00f5te on ainulaadne ja kordumatu lugu? Lisaks on suurem statistiline valim alati t\u00e4psem. My\u00fct on purustatud.<\/a><\/noindex> tooteartiklid v\u00f5imaldasid H&M kauplusel v\u00e4hendada valikut teatud kauplustes 40% v\u00f5rra, samal ajal m\u00fc\u00fcgitaset s\u00e4ilitades. Seda \u00f5nnestus saavutada, v\u00e4listades halvasti m\u00fc\u00fcdavad tooted, arvestades samas hooajalisust.<\/p>\n

T\u00f6\u00f6riista valik<\/h2>\n

\nSelliste arvutuste valdkonna standardiks on Hadoop. Miks? Sest Hadoop on suurep\u00e4rane, h\u00e4sti dokumenteeritud raamistik (samas tuleb Habrist palju p\u00f5hjalikke artikleid selle kohta), mis on varustatud terve komplekti utiliitide ja raamatukogudega. Saate esitada tohutuid koguseid nii struktureeritud kui ka struktureerimata andmeid, samas kui s\u00fcsteem jaotab need iseseisvalt arvutusv\u00f5imsustele. Ja neid v\u00f5imsusi saab igal ajal suurendada v\u00f5i v\u00e4lja l\u00fclitada \u2014 see ongi horisontaalne skaleeritavus tegevuses. <\/p>\n

2017. aastal s\u00f5lmis mainekas konsultatsioonifirma Gartner kokkuleppe<\/a><\/noindex>, et Hadoop kaotab varsti oma t\u00e4htsuse. P\u00f5hjus on \u00fcsna banaalne: anal\u00fc\u00fctikud usuvad, et ettev\u00f5tted hakkavad massiliselt pilve migreerima, kuna seal saavad nad maksta vastavalt kasutatud arvutusv\u00f5imsusele. Teine oluline tegur, mis suudab Hadoopi \"maha matta\", on t\u00f6\u00f6kiirus. Sest sellised lahendused nagu Apache Spark v\u00f5i Google Cloud DataFlow t\u00f6\u00f6vad kiiremini kui MapReduce, mis on Hadoopi alus.<\/p>\n

Hadoop toetub mitmele suurele alusele, mille seas on k\u00f5ige silmapaistvamad tehnoloogiad MapReduce (andmete jagamise s\u00fcsteem arvutuste tegemiseks serverite vahel) ja failis\u00fcsteem HDFS. Viimane on spetsiaalselt loodud klastrisse jaotatud teabe salvestamiseks: iga fikseeritud suurusega blokk v\u00f5ib asuda mitmes s\u00f5lmes ning replikatsiooni t\u00f5ttu tagatakse s\u00fcsteemi vastupidavus \u00fcksikute s\u00f5lmede t\u00f5rgetele. Failitabeli asemel kasutatakse spetsiaalset serverit, mida nimetatakse NameNode'iks.<\/p>\n

Alloleval joonisel on n\u00e4idatud MapReduce t\u00f6\u00f6diagramm. Esimeses etapis jagatakse andmed kindla kriteeriumi j\u00e4rgi, teises - jaotatakse need arvutusv\u00f5imsuse vahel, kolmandas - toimub arvutus. <\/p>\n

\"Mis
\nAlgul t\u00f6\u00f6tas Google MapReduce v\u00e4lja oma otsingu vajaduste jaoks. Siis muutus MapReduce avatud l\u00e4htekoodiga ja projekti asus arendama Apache. Ja Google liikus j\u00e4rk-j\u00e4rgult teiste lahenduste suunas. Huvitav n\u00fcanss on see, et hetkel on Googlel projekt nimelt Google Cloud Dataflow, mis positsioneeritakse j\u00e4rgmise sammuna p\u00e4rast Hadoopit, kiire asendajana.<\/p>\n

L\u00e4hedal vaatamisel on selge, et Google Cloud Dataflow p\u00f5hineb Apache Beami variandil, kusjuures Apache Beam sisaldab h\u00e4sti dokumenteeritud raamistikku Apache Spark, mis t\u00e4hendab, et lahenduste t\u00f6\u00f6kiirus on praktiliselt identne. Samuti t\u00f6\u00f6tab Apache Spark suurep\u00e4raselt HDFS failis\u00fcsteemil, mis v\u00f5imaldab seda Hadoopi serverites rakendada.<\/p>\n

Lisame siia Hadoopi ja Sparki dokumentatsiooni ja valmislahenduste mahu v\u00f5rreldes Google Cloud Dataflow'ga, ja t\u00f6\u00f6riista valik muutub ilmseks. Veelgi enam, insenerid saavad ise otsustada, millist koodi - Hadoopi v\u00f5i Sparki - nad soovivad t\u00e4ita, tuginedes \u00fclesandele, kogemusele ja kvalifikatsioonile.<\/p>\n

Pilv v\u00f5i kohalik server<\/h2>\n

\n\u00dcldine suundumus pilveteenustele viis sellise huvitava termini nagu Hadoop-as-a-service kasutuselev\u00f5tuni. Sellises stsenaariumis on serverite haldamine \u00e4\u00e4rmiselt oluline. Kahjuks on puhas Hadoop oma populaarsusest hoolimata \u00fcsna keeruline seadistamisvahend, kuna palju tuleb teha k\u00e4sitsi. N\u00e4iteks peab iga serverit eraldi konfigureerima, j\u00e4lgima nende n\u00e4itajaid ja hoolikalt seadistama mitmeid parameetreid. \u00dcldiselt on see hobi jaoks sobiv t\u00f6\u00f6 ja on suur oht midagi valesti teha v\u00f5i midagi t\u00e4helepanuta j\u00e4tta.<\/p>\n

Seet\u00f5ttu on populaarsust kogunud erinevad jaotised, mis on algselt varustatud mugavate paigaldus- ja haldust\u00f6\u00f6riistadega. \u00dcks populaarsemaid jaotusi, mis toetab Spark'i ja muudab elu lihtsamaks, on Cloudera. Sellel on nii tasuline kui ka tasuta versioon \u2014 ja viimasena on saadaval kogu p\u00f5hifunktsionaalsus, ilma s\u00f5lmede arvu piiranguta. <\/p>\n

\"Mis
\n
\nCloudera Manager'i seadistamise ajal \u00fchendub see SSH kaudu teie serveritega. Huvi\u00e4ratav on see, et installimisel on parem n\u00e4idata, et see toimub nii-\u00f6elda pakettide<\/i>: spetsiaalsete paketide abil, milles on k\u00f5ik vajalikud komponendid, mis on seadistatud omavaheliseks t\u00f6\u00f6tamiseks. P\u00f5him\u00f5tteliselt on see t\u00e4iustatud versioon pakihaldurist.<\/p>\n

P\u00e4rast installatsiooni saame klastrihalduri konsoli, kus on n\u00e4ha klastrite telemeetria, paigaldatud teenused, lisaks v\u00f5ite ressursse lisada\/eemaldada ja klastrikonfiguratsiooni redigeerida. <\/p>\n

\"Mis
\n
\nKuna tulete silmitsi raketi l\u00f5ikega, mis viib teid BigData tulevikku. Kuid enne kui \u00fctlete \u201eminema\u201d, liikuge kapoti alla.<\/p>\n

Riistvara n\u00f5uded<\/h2>\n

\nCloudera mainib oma saidil erinevaid v\u00f5imalikke konfiguratsioone. \u00dcldised p\u00f5him\u00f5tted, mille j\u00e4rgi need on koostatud, on toodud illustratsioonil:<\/p>\n

\"Mis
\nMapReduce v\u00f5ib seda optimistlikku pilti moonutada. Kui vaadata uuesti eelmise jaotise skeemi, on selge, et peaaegu k\u00f5ikides olukordades v\u00f5ib MapReduce'i \u00fclesanne kokku puutuda \u201epudelikaelaga\u201d andmete lugemisel kettalt v\u00f5i v\u00f5rgust. Seda mainitakse ka Cloudera blogis. Seet\u00f5ttu on kiiresti arvutamiseks, sealhulgas Sparkiga, mis on sageli kasutatav reaalajas arvutustes, sisendi\/v\u00e4ljundi kiirus v\u00e4ga oluline. Seega on Hadoopi kasutamisel \u00e4\u00e4rmiselt oluline, et klastrisse j\u00f5uaksid tasakaalustatud ja kiirete masinate komplektid, mis, \u00f5rnalt \u00f6eldes, ei ole alati tagatud pilveinfrastruktuuris.<\/p>\n

Laadimise tasakaalustamine saavutatakse Openstacki virtualiseerimise abil v\u00f5imsates mitme tuumaga protsessoritega serverites. Andme-s\u00f5lmedele on eraldatud oma protsessoriv\u00f5imsus ja kindlad kettad. Meie lahenduses Atos Codex Data Lake Engine<\/i> saavutatakse lai virtualiseerimine, mis toob meile kasu nii j\u00f5udluse osas (minimeeritakse v\u00f5rguinfrastruktuuri m\u00f5ju) kui ka TCO (v\u00e4listatakse soovimatud f\u00fc\u00fcsilised serverid).<\/p>\n

\"Mis
\nBullSequana S200 serverite kasutamisel saavutame \u00fcsna tasakaalustatud koormuse, mis on vaba osa pudelikaeladest. Minimaalsesse konfiguratsiooni kuulub 3 BullSequana S200 serverit, iga\u00fchel on kaks JBOD, lisaks saab valikuliselt \u00fchendada t\u00e4iendavaid S200, millel on neli andme-s\u00f5lme. Siin on n\u00e4ide koormusest TeraGen testis:<\/p>\n

\"Mis
\n
\nTestid erinevate andmehulga ja replikatsiooniv\u00e4\u00e4rtustega n\u00e4itavad klastris\u00f5lmede koormuse jaotuses sama tulemuste taset. Allpool on graafik ketta juurdep\u00e4\u00e4su jaotuse kohta j\u00f5udlustestide p\u00f5hjal.<\/p>\n

\"Mis
\n
\nArvutused tehti 3 BullSequana S200 serveri minimaalses konfiguratsioonis. See sisaldab 9 andme-s\u00f5lme ja 3 peamist s\u00f5lme, samuti reserveeritud virtuaalmasinaid OpenStack Virtualiseerimise kaitse rakendamiseks. TeraSort testitulemus: ploki suurus 512 MB replikatsioonikordaja kolm, kr\u00fcpteerimisega 23,1 min.<\/p>\n

Kuidas saaks s\u00fcsteemi laiendada? Data Lake Engine jaoks on saadaval erinevad laiendamise v\u00f5imalused:<\/p>\n