{"id":33630,"date":"2019-10-31T21:53:49","date_gmt":"2019-10-31T18:53:49","guid":{"rendered":"https:\/\/prohoster.info\/blog\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit\/"},"modified":"2019-10-31T21:53:49","modified_gmt":"2019-10-31T18:53:49","slug":"chto-osobennogo-v-cloudera-i-kak-ee-gotovit","status":"publish","type":"post","link":"https:\/\/prohoster.info\/ro\/blog\/administrirovanie\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit","title":{"rendered":"Ce are special Cloudera \u0219i cum se prepar\u0103","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Pia\u021ba calculului distribuit \u0219i a big data, dac\u0103 este s\u0103 credem statisticilor<\/a><\/noindex>, cre\u0219te cu 18-19% anual. Asta \u00eenseamn\u0103 c\u0103 alegerea software-ului pentru aceste scopuri r\u0103m\u00e2ne un subiect actual. \u00cen aceast\u0103 postare vom \u00eencepe cu necesitatea calculului distribuit, vom detalia alegerea software-ului, vom discuta despre aplicarea Hadoop prin intermediul Cloudera \u0219i, \u00een final, vom vorbi despre alegerea hardware-ului \u0219i cum acesta influen\u021beaz\u0103 performan\u021ba \u00een diverse moduri.<\/p>\n

\"Ce<\/a><\/noindex>
\nDe ce este nevoie de calcul distribuit \u00een afacerile obi\u0219nuite? Aici totul este simplu \u0219i complicat \u00een acela\u0219i timp. Simplu - deoarece, \u00een cele mai multe cazuri, realiz\u0103m calcule relativ simple pe unitate de informa\u021bie. Complicat - deoarece astfel de informa\u021bii sunt foarte multe. Extrem de multe. Drept urmare, trebuie s\u0103 proces\u0103m teraby\u021bi de date \u00een 1000 de fluxuri<\/a><\/noindex>. Astfel, scenariile de utilizare sunt destul de universale: calculele pot fi aplicate oriunde unde este nevoie de un num\u0103r mare de metrici pe un set de date \u0219i mai mare.<\/p>\n

Unul dintre exemplele recente: re\u021beaua de pizzerii Dodo Pizza a determinat<\/a><\/noindex> pe baza analizei bazei de date a comenzilor clien\u021bilor, care a ar\u0103tat c\u0103, atunci c\u00e2nd aleg o pizza cu umplutur\u0103 aleatorie, utilizatorii de obicei opereaz\u0103 doar cu \u0219ase seturi de ingrediente de baz\u0103 plus c\u00e2teva aleatorii. \u00cen consecin\u021b\u0103, pizzeria \u0219i-a adaptat achizi\u021biile. \u00cen plus, a reu\u0219it s\u0103 recomande mai bine utilizatorilor produse suplimentare oferite \u00een timpul comenzii, ceea ce a permis cre\u0219terea profitului.<\/p>\n

\u00cenc\u0103 un exemplu: \u00eempreun\u0103 cu toate linkurile \u0219i<\/a><\/noindex> reducerea num\u0103rului de articole a permis magazinului H&M s\u0103 scad\u0103 sortimentul \u00een anumite magazine cu 40%, men\u021bin\u00e2nd \u00een acela\u0219i timp nivelul v\u00e2nz\u0103rilor. Acest lucru a fost realizat prin eliminarea articolelor cu v\u00e2nz\u0103ri slabe, av\u00e2nd \u00een vedere sezonalitatea \u00een calcule.<\/p>\n

Alegerea instrumentului<\/h2>\n

\nStandardul industrial pentru acest tip de calcul este Hadoop. De ce? Pentru c\u0103 Hadoop este un cadru excelent, bine documentat (acela\u0219i Habr public\u0103 o mul\u021bime de articole detaliate pe acest subiect), \u00eenso\u021bit de un set de utilitare \u0219i biblioteci. Pute\u021bi introduce seturi uria\u0219e de date at\u00e2t structurate, c\u00e2t \u0219i nestructurate, iar sistemul le va distribui \u00eentre puterile de calcul. \u00cen plus, aceste puteri pot fi extinse sau dezactivate \u00een orice moment - aceasta este scalabilitatea orizontal\u0103 \u00een ac\u021biune. <\/p>\n

\u00cen 2017, compania de consultan\u021b\u0103 influent\u0103 Gartner a concluzionat<\/a><\/noindex>, c\u0103 Hadoop \u00ee\u0219i va pierde relevan\u021ba \u00een cur\u00e2nd. Motivul este destul de banal: anali\u0219tii consider\u0103 c\u0103 companiile vor migra masiv \u00een cloud, deoarece acolo vor putea pl\u0103ti \u00een func\u021bie de utilizarea puterii de calcul. Al doilea factor important care ar putea \u201e\u00eengropa\u201d Hadoop este viteza de lucru. Deoarece solu\u021bii precum Apache Spark sau Google Cloud DataFlow func\u021bioneaz\u0103 mai repede dec\u00e2t MapReduce, pe care se bazeaz\u0103 Hadoop.<\/p>\n

Hadoop se bazeaz\u0103 pe c\u00e2teva funda\u021bii, cele mai notabile dintre ele fiind tehnologiile MapReduce (sistem de distribu\u021bie a datelor pentru calcul \u00eentre servere) \u0219i sistemul de fi\u0219iere HDFS. Acesta din urm\u0103 este destinat \u00een mod special stoc\u0103rii informa\u021biei distribuite \u00eentre nodurile clusterului: fiecare bloc de dimensiune fix\u0103 poate fi plasat pe mai multe noduri, iar prin replicare se asigur\u0103 rezisten\u021ba sistemului la defectarea unor noduri individuale. \u00cen locul unei tabeli de fi\u0219iere se folose\u0219te un server special numit NameNode.<\/p>\n

\u00cen ilustra\u021bia de mai jos este prezentat\u0103 schema de func\u021bionare a MapReduce. \u00cen prima etap\u0103, datele sunt \u00eemp\u0103r\u021bite dup\u0103 un anumit criteriu, \u00een a doua - sunt repartizate pe puterile de calcul, iar \u00een a treia - se efectueaz\u0103 calculul. <\/p>\n

\"Ce
\nIni\u021bial, MapReduce a fost creat de Google pentru necesit\u0103\u021bile c\u0103ut\u0103rii sale. Apoi, MapReduce a devenit liber \u0219i proiectul a fost preluat de Apache. \u00centre timp, Google a migrat c\u0103tre alte solu\u021bii. Un detaliu interesant: \u00een prezent, Google are un proiect numit Google Cloud Dataflow, pozi\u021bionat ca urm\u0103torul pas dup\u0103 Hadoop, ca o \u00eenlocuire rapid\u0103.<\/p>\n

La o examinare mai atent\u0103, se observ\u0103 c\u0103 Google Cloud Dataflow se bazeaz\u0103 pe o variant\u0103 a Apache Beam, iar \u00een Apache Beam este inclus un cadru bine documentat Apache Spark, ceea ce permite afirmarea c\u0103 viteza de execu\u021bie a solu\u021biilor este aproape identic\u0103. Iar Apache Spark func\u021bioneaz\u0103 excelent pe sistemul de fi\u0219iere HDFS, ceea ce permite desf\u0103\u0219urarea acestuia pe serverele Hadoop.<\/p>\n

Ad\u0103ug\u00e2nd la acest lucru volumul de documenta\u021bie \u0219i solu\u021bii gata f\u0103cute pentru Hadoop \u0219i Spark \u00een compara\u021bie cu Google Cloud Dataflow, alegerea instrumentului devine evident\u0103. Mai mult, inginerii pot decide singuri ce cod - pentru Hadoop sau Spark - s\u0103 execute, \u00een func\u021bie de sarcin\u0103, experien\u021b\u0103 \u0219i calificare.<\/p>\n

Cloud sau server local<\/h2>\n

\nTendin\u021ba de a trece complet la cloud a generat chiar \u0219i un termen interesant precum Hadoop-as-a-service. \u00cen acest scenariu, administrarea serverelor conectate devine extrem de important\u0103. Deoarece, din p\u0103cate, \u00een ciuda popularit\u0103\u021bii sale, Hadoop-ul simplu este un instrument destul de complex de configurat, necesit\u00e2nd multe ajust\u0103ri manuale. De exemplu, trebuie s\u0103 configura\u021bi serverele individual, s\u0103 monitoriza\u021bi performan\u021bele acestora \u0219i s\u0103 seta\u021bi cu aten\u021bie numeroase parametrii. Cu alte cuvinte, este o munc\u0103 pentru pasiona\u021bi \u0219i exist\u0103 o mare \u0219ans\u0103 s\u0103 face\u021bi vreo gre\u0219eal\u0103 sau s\u0103 omite\u021bi ceva.<\/p>\n

Din acest motiv, au c\u00e2\u0219tigat popularitate diferite distribu\u021bii care sunt echipate ini\u021bial cu instrumente convenabile de implementare \u0219i administrare. Una dintre cele mai populare distribu\u021bii care suport\u0103 Spark \u0219i simplific\u0103 totul este Cloudera. Aceasta are at\u00e2t versiuni pl\u0103tite, c\u00e2t \u0219i gratuite \u2014 iar \u00een cea din urm\u0103, toat\u0103 func\u021bionalitatea principal\u0103 este disponibil\u0103, f\u0103r\u0103 restric\u021bionarea num\u0103rului de noduri. <\/p>\n

\"Ce
\n
\n\u00cen timpul configur\u0103rii Cloudera Manager se va conecta la serverele dvs. prin SSH. Un detaliu interesant: la instalare, este recomandat s\u0103 specifica\u021bi c\u0103 se face prin a\u0219a-numitele parceli<\/i>: pachete speciale, fiecare con\u021bin\u00e2nd toate componentele necesare, configurate s\u0103 func\u021bioneze \u00eempreun\u0103. Practic, aceasta este o versiune \u00eembun\u0103t\u0103\u021bit\u0103 a managerului de pachete.<\/p>\n

Dup\u0103 instalare, ob\u021binem o consol\u0103 de control a clusterului, unde putem vedea telemetria clusterelor, serviciile instalate \u0219i, de asemenea, ve\u021bi putea ad\u0103uga\/elimina resurse \u0219i edita configura\u021bia clusterului. <\/p>\n

\"Ce
\n
\nCa rezultat, \u00een fa\u021ba dvs. apare t\u0103ierea acelei rachete care v\u0103 va duce spre viitorul luminos al BigData. Dar \u00eenainte de a spune \u00abs\u0103 plec\u0103m\u00bb, haide\u021bi s\u0103 ne uit\u0103m sub capot\u0103.<\/p>\n

Cerin\u021bele hardware<\/h2>\n

\nPe site-ul s\u0103u, Cloudera men\u021bioneaz\u0103 diferite configura\u021bii posibile. Principiile generale pe care se bazeaz\u0103 acestea sunt prezentate \u00een ilustra\u021bie:<\/p>\n

\"Ce
\nAceast\u0103 imagine optimist\u0103 poate fi estompat\u0103 de MapReduce. Dac\u0103 ne uit\u0103m din nou la diagrama din sec\u021biunea anterioar\u0103, devine evident c\u0103, \u00een majoritatea cazurilor, sarcina MapReduce se poate confrunta cu un \"g\u00e2t de sticl\u0103\" atunci c\u00e2nd cite\u0219te date de pe disk sau din re\u021bea. Acest lucru este, de asemenea, men\u021bionat \u00een blogul Cloudera. Ca urmare, pentru orice calcule rapide, inclusiv prin Spark, care este adesea utilizat pentru calcule \u00een timp real, viteza de intrare\/ie\u0219ire este foarte important\u0103. Prin urmare, atunci c\u00e2nd se folose\u0219te Hadoop, este esen\u021bial ca \u00een cluster s\u0103 fie incluse ma\u0219ini echilibrate \u0219i rapide, ceea ce, pentru a fi bl\u00e2nd, nu este \u00eentotdeauna asigurat \u00een infrastructura cloud.<\/p>\n

Echilibrul \u00een distribu\u021bia sarcinilor este realizat prin utilizarea virtualiz\u0103rii OpenStack pe servere dotate cu procesoare multicore puternice. Nodurile de date au alocate resursele proprii de procesare \u0219i discuri specifice. \u00cen solu\u021bia noastr\u0103 Atos Codex Data Lake Engine<\/i> se ob\u021bine o virtualizare extins\u0103, ceea ce ne aduce beneficii at\u00e2t \u00een termeni de performan\u021b\u0103 (impactul infrastructurii de re\u021bea este minimizat), c\u00e2t \u0219i de TCO (se elimin\u0103 serverele fizice inutile).<\/p>\n

\"Ce
\n\u00cen cazul utiliz\u0103rii serverelor BullSequana S200, ob\u021binem o sarcin\u0103 destul de uniform\u0103, lipsit\u0103 de p\u0103r\u021bi \u00eenguste. Configura\u021bia minim\u0103 include 3 servere BullSequana S200, fiecare cu dou\u0103 JBOD, plus op\u021bional se pot conecta servere S200 suplimentare, fiecare av\u00e2nd patru noduri de date. Iat\u0103 un exemplu de sarcin\u0103 \u00een testul TeraGen:<\/p>\n

\"Ce
\n
\nTestele cu diverse volume de date \u0219i valori de replicare arat\u0103 rezultate similare \u00een ceea ce prive\u0219te distribu\u021bia sarcinii \u00eentre nodurile clusterului. Mai jos este un grafic al distribu\u021biei accesului la disk din teste de performan\u021b\u0103.<\/p>\n

\"Ce
\n
\nCalculul a fost realizat pe baza configura\u021biei minime din 3 servere BullSequana S200. Aceasta include 9 noduri de date \u0219i 3 noduri principale, precum \u0219i ma\u0219ini virtuale rezervate pentru eventuale desf\u0103\u0219ur\u0103ri de protec\u021bie pe baz\u0103 de Virtualizare OpenStack. Rezultatul testului TeraSort: dimensiunea blocului de 512 MB cu un coeficient de replicare de trei \u0219i criptare este de 23,1 minute.<\/p>\n

Cum poate fi extins sistemul? Pentru Data Lake Engine sunt disponibile diverse tipuri de extensii:<\/p>\n