{"id":33630,"date":"2019-10-31T21:53:49","date_gmt":"2019-10-31T18:53:49","guid":{"rendered":"https:\/\/prohoster.info\/blog\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit\/"},"modified":"2019-10-31T21:53:49","modified_gmt":"2019-10-31T18:53:49","slug":"chto-osobennogo-v-cloudera-i-kak-ee-gotovit","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit","title":{"rendered":"Co jest wyj\u0105tkowego w Cloudera i jak j\u0105 przygotowa\u0107","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Rynek oblicze\u0144 rozproszonych i wielkich danych, je\u015bli wierzy\u0107 statystyk<\/a><\/noindex>, ro\u015bnie o 18-19% rocznie. Oznacza to, \u017ce wyb\u00f3r oprogramowania do tych cel\u00f3w pozostaje aktualny. W tym wpisie zaczniemy od tego, dlaczego obliczenia rozproszone s\u0105 potrzebne, szczeg\u00f3\u0142owo om\u00f3wimy wyb\u00f3r oprogramowania, opowiemy o zastosowaniu Hadoopa za pomoc\u0105 Cloudera, a na koniec porozmawiamy o wyborze sprz\u0119tu i tym, jak r\u00f3\u017cnymi sposobami wp\u0142ywa on na wydajno\u015b\u0107.<\/p>\n

\"Co<\/a><\/noindex>
\nDlaczego obliczenia rozproszone s\u0105 potrzebne w zwyk\u0142ym biznesie? Tutaj wszystko jest proste i jednocze\u015bnie skomplikowane. Proste \u2014 poniewa\u017c w wi\u0119kszo\u015bci przypadk\u00f3w wykonujemy stosunkowo nieskomplikowane obliczenia na jednostk\u0119 informacji. Skomplikowane \u2014 poniewa\u017c informacji jest du\u017co. Bardzo du\u017co. W zwi\u0105zku z tym musimy przetwarza\u0107 terabajty danych w 1000 strumieni<\/a><\/noindex>. W ten spos\u00f3b scenariusze u\u017cycia s\u0105 do\u015b\u0107 uniwersalne: obliczenia mog\u0105 by\u0107 stosowane wsz\u0119dzie tam, gdzie trzeba uwzgl\u0119dni\u0107 du\u017c\u0105 liczb\u0119 metryk na jeszcze wi\u0119kszym zbiorze danych.<\/p>\n

Jednym z niedawnych przyk\u0142ad\u00f3w jest sie\u0107 pizzerii Dodo Pizza okre\u015bli\u0142<\/a><\/noindex> na podstawie analizy bazy zam\u00f3wie\u0144 klient\u00f3w, kt\u00f3ra pokazuje, \u017ce przy wyborze pizzy z dowolnym nadzieniem u\u017cytkownicy zazwyczaj pos\u0142uguj\u0105 si\u0119 tylko sze\u015bcioma podstawowymi zestawami sk\u0142adnik\u00f3w oraz par\u0105 losowych. W zwi\u0105zku z tym pizzeria dostosowa\u0142a zakupy. Ponadto uda\u0142o si\u0119 lepiej poleca\u0107 u\u017cytkownikom dodatkowe produkty oferowane na etapie zam\u00f3wienia, co przyczyni\u0142o si\u0119 do zwi\u0119kszenia zysku.<\/p>\n

Kolejny przyk\u0142ad: analiza<\/a><\/noindex> pozycje towarowe pozwoli\u0142y sklepom H&M zmniejszy\u0107 asortyment w niekt\u00f3rych lokalizacjach o 40%, zachowuj\u0105c przy tym poziom sprzeda\u017cy. Uda\u0142o si\u0119 to osi\u0105gn\u0105\u0107 poprzez wykluczenie s\u0142abo sprzedaj\u0105cych si\u0119 pozycji, przy czym uwzgl\u0119dniono sezonowo\u015b\u0107.<\/p>\n

Wyb\u00f3r narz\u0119dzia<\/h2>\n

\nStandardem bran\u017cowym w obliczeniach tego typu jest Hadoop. Dlaczego? Poniewa\u017c Hadoop to doskona\u0142y, dobrze udokumentowany framework (ten sam Habr dostarcza mn\u00f3stwo szczeg\u00f3\u0142owych artyku\u0142\u00f3w na ten temat), kt\u00f3ry jest wspierany przez szereg narz\u0119dzi i bibliotek. Mo\u017cesz dostarcza\u0107 do systemu ogromne zbiory zar\u00f3wno danych strukturalnych, jak i niestrukturalnych, a system sam b\u0119dzie je rozdziela\u0142 mi\u0119dzy zasoby obliczeniowe. Co wi\u0119cej, te zasoby mo\u017cna w ka\u017cdej chwili powi\u0119kszy\u0107 lub wy\u0142\u0105czy\u0107 \u2014 w\u0142a\u015bnie taka jest horizontalna skalowalno\u015b\u0107 w akcji. <\/p>\n

W 2017 roku wp\u0142ywowa firma doradcza Gartner zawar\u0142a<\/a><\/noindex>, \u017ce Hadoop wkr\u00f3tce wyginie. Pow\u00f3d jest do\u015b\u0107 banalny: analitycy uwa\u017caj\u0105, \u017ce firmy masowo przejd\u0105 do chmury, poniewa\u017c tam b\u0119d\u0105 mog\u0142y p\u0142aci\u0107 tylko za rzeczywiste wykorzystanie mocy obliczeniowych. Drugim wa\u017cnym czynnikiem, kt\u00f3ry rzekomo mo\u017ce \u201epogrzeba\u0107\u201d Hadoop, jest pr\u0119dko\u015b\u0107 dzia\u0142ania. Poniewa\u017c opcje takie jak Apache Spark czy Google Cloud DataFlow dzia\u0142aj\u0105 szybciej ni\u017c MapReduce, na kt\u00f3rym oparty jest Hadoop.<\/p>\n

Hadoop opiera si\u0119 na kilku filarach, z kt\u00f3rych najbardziej zauwa\u017calne to technologie MapReduce (system dystrybucji danych do oblicze\u0144 mi\u0119dzy serwerami) oraz system plik\u00f3w HDFS. Ten ostatni zosta\u0142 stworzony specjalnie do przechowywania informacji rozdzielonej mi\u0119dzy w\u0119z\u0142ami klastra: ka\u017cdy blok o sta\u0142ej wielko\u015bci mo\u017ce by\u0107 umieszczony na kilku w\u0119z\u0142ach, a dzi\u0119ki replikacji system jest odporny na awarie poszczeg\u00f3lnych w\u0119z\u0142\u00f3w. Zamiast tablicy plik\u00f3w u\u017cywana jest specjalna maszyna serwerowa, nazywana NameNode.<\/p>\n

Na poni\u017cszej ilustracji przedstawiono schemat dzia\u0142ania MapReduce. W pierwszym etapie dane s\u0105 dzielone wed\u0142ug okre\u015blonego kryterium, w drugim \u2014 rozdzielane wed\u0142ug mocy obliczeniowej, a w trzecim \u2014 nast\u0119puje obliczenie. <\/p>\n

\"Co
\nPocz\u0105tkowo MapReduce zosta\u0142a stworzona przez Google dla potrzeb swojej wyszukiwarki. Nast\u0119pnie MapReduce przesz\u0142a na wolny kod, a projektem zaj\u0119\u0142a si\u0119 organizacja Apache. Z kolei Google stopniowo przeszed\u0142 na inne rozwi\u0105zania. Ciekawostk\u0105 jest to, \u017ce obecnie Google ma projekt o nazwie Google Cloud Dataflow, kt\u00f3ry jest przedstawiany jako nast\u0119pny krok po Hadoop, swoiste szybkie zast\u0105pienie.<\/p>\n

Przy bli\u017cszym zbadaniu wida\u0107, \u017ce Google Cloud Dataflow bazuje na odmianie Apache Beam, a w Apache Beam znajduje si\u0119 dobrze udokumentowany framework Apache Spark, co pozwala m\u00f3wi\u0107 o praktycznie tej samej pr\u0119dko\u015bci wykonywania rozwi\u0105za\u0144. A Apache Spark doskonale wsp\u00f3\u0142pracuje z systemem plik\u00f3w HDFS, co pozwala na jego uruchomienie na serwerach Hadoop.<\/p>\n

Dodajmy do tego obj\u0119to\u015b\u0107 dokumentacji i gotowych rozwi\u0105za\u0144 dotycz\u0105cych Hadoop i Spark w por\u00f3wnaniu do Google Cloud Dataflow, a wyb\u00f3r narz\u0119dzia staje si\u0119 oczywisty. Co wi\u0119cej, in\u017cynierowie mog\u0105 sami decydowa\u0107, jaki kod \u2014 dla Hadoop czy Spark \u2014 maj\u0105 uruchomi\u0107, kieruj\u0105c si\u0119 zadaniem, do\u015bwiadczeniem i kwalifikacjami.<\/p>\n

Chmura czy lokalny serwer<\/h2>\n

\nTendencja do og\u00f3lnego przej\u015bcia do chmury stworzy\u0142a nawet tak interesuj\u0105cy termin jak Hadoop jako us\u0142uga. W takim scenariuszu niezwykle wa\u017cne sta\u0142o si\u0119 zarz\u0105dzanie pod\u0142\u0105czonymi serwerami. Poniewa\u017c, niestety, mimo swojej popularno\u015bci, czysty Hadoop jest do\u015b\u0107 skomplikowanym narz\u0119dziem do konfiguracji, poniewa\u017c wiele rzeczy trzeba robi\u0107 r\u0119cznie. Na przyk\u0142ad, osobno konfigurowa\u0107 serwery, monitorowa\u0107 ich parametry, starannie ustawia\u0107 wiele parametr\u00f3w. Generalnie, to praca dla pasjonat\u00f3w i istnieje du\u017ce ryzyko, \u017ce gdzie\u015b pope\u0142nimy b\u0142\u0105d lub co\u015b przegapimy.<\/p>\n

Dlatego du\u017c\u0105 popularno\u015b\u0107 zyska\u0142y r\u00f3\u017cne dystrybucje, kt\u00f3re pierwotnie wyposa\u017cone s\u0105 w wygodne narz\u0119dzia do wdra\u017cania i administracji. Jedn\u0105 z najpopularniejszych dystrybucji, kt\u00f3re wspieraj\u0105 Spark i wszystko u\u0142atwiaj\u0105, jest Cloudera. Ma zar\u00f3wno wersj\u0119 p\u0142atn\u0105, jak i darmow\u0105 \u2014 w tej ostatniej dost\u0119pna jest ca\u0142a podstawowa funkcjonalno\u015b\u0107, bez ograniczenia liczby w\u0119z\u0142\u00f3w. <\/p>\n

\"Co
\n
\nPodczas konfiguracji Cloudera Manager po\u0142\u0105czy si\u0119 przez SSH z twoimi serwerami. Interesuj\u0105cy moment: podczas instalacji lepiej wskaza\u0107, \u017ceby odbywa\u0142a si\u0119 ona za pomoc\u0105 tak zwanych pakiet\u00f3w<\/i>: specjalnych paczek, w ka\u017cdej z nich znajduj\u0105 si\u0119 wszystkie potrzebne komponenty, skonfigurowane do wsp\u00f3\u0142pracy ze sob\u0105. Zasadniczo to ulepszona wersja mened\u017cera pakiet\u00f3w.<\/p>\n

Po instalacji otrzymujemy konsol\u0119 zarz\u0105dzania klastrem, na kt\u00f3rej mo\u017cna zobaczy\u0107 telemetri\u0119 dotycz\u0105c\u0105 klastr\u00f3w, zainstalowane us\u0142ugi, a tak\u017ce b\u0119dzie mo\u017cna dodawa\u0107\/usuwa\u0107 zasoby i edytowa\u0107 konfiguracj\u0119 klastra. <\/p>\n

\"Co
\n
\nW rezultacie przed tob\u0105 pojawia si\u0119 wizja tej rakiety, kt\u00f3ra zabierze ci\u0119 w \u015bwietlan\u0105 przysz\u0142o\u015b\u0107 Big Data. Ale zanim powiesz \u201estart\u201d, przenie\u015bmy si\u0119 pod mask\u0119.<\/p>\n

Wymagania dotycz\u0105ce sprz\u0119tu<\/h2>\n

\nNa swojej stronie Cloudera wspomina r\u00f3\u017cne mo\u017cliwe konfiguracje. Og\u00f3lne zasady, na podstawie kt\u00f3rych s\u0105 one budowane, przedstawione s\u0105 na ilustracji:<\/p>\n

\"Co
\nOptymistyczny obraz mo\u017ce zepsu\u0107 MapReduce. Patrz\u0105c ponownie na schemat z poprzedniego rozdzia\u0142u, staje si\u0119 oczywiste, \u017ce w prawie wszystkich przypadkach zadanie MapReduce mo\u017ce napotka\u0107 \"w\u0105skie gard\u0142o\" przy odczycie danych z dysku lub sieci. Zauwa\u017ca to r\u00f3wnie\u017c blog Cloudera. W rezultacie, dla szybkich oblicze\u0144, w tym za pomoc\u0105 Sparka, kt\u00f3ry jest cz\u0119sto wykorzystywany do oblicze\u0144 w czasie rzeczywistym, bardzo wa\u017cna jest pr\u0119dko\u015b\u0107 wej\u015bcia\/wyj\u015bcia. Dlatego przy u\u017cyciu Hadoop bardzo wa\u017cne jest, aby w klastrze znajdowa\u0142y si\u0119 zbalansowane i szybkie maszyny, co, delikatnie m\u00f3wi\u0105c, nie zawsze jest zapewnione w infrastrukturze chmurowej.<\/p>\n

Zbalansowanie obci\u0105\u017cenia osi\u0105ga si\u0119 dzi\u0119ki wykorzystaniu wirtualizacji Openstack na serwerach z pot\u0119\u017cnymi wielordzennymi procesorami. W\u0119z\u0142y danych maj\u0105 przypisane w\u0142asne zasoby procesora i okre\u015blone dyski. W naszym rozwi\u0105zaniu Atos Codex Data Lake Engine<\/i> osi\u0105gamy szerok\u0105 wirtualizacj\u0119, co przynosi korzy\u015bci zar\u00f3wno w wydajno\u015bci (minimalizuje wp\u0142yw infrastruktury sieciowej), jak i TCO (eliminacja zb\u0119dnych fizycznych serwer\u00f3w).<\/p>\n

\"Co
\nW przypadku u\u017cywania serwer\u00f3w BullSequana S200 uzyskujemy bardzo r\u00f3wnomierne obci\u0105\u017cenie, pozbawione cz\u0119\u015bci w\u0105skich garde\u0142. W minimalnej konfiguracji obejmuje 3 serwery BullSequana S200, ka\u017cdy z dwoma JBOD, dodatkowo opcjonalnie mo\u017cna pod\u0142\u0105czy\u0107 dodatkowe S200, kt\u00f3re zawieraj\u0105 cztery w\u0119z\u0142y danych. Oto przyk\u0142ad obci\u0105\u017cenia w te\u015bcie TeraGen:<\/p>\n

\"Co
\n
\nTesty z r\u00f3\u017cnymi rozmiarami danych i warto\u015bciami replikacji wykazuj\u0105 podobne wyniki pod wzgl\u0119dem rozk\u0142adu obci\u0105\u017cenia mi\u0119dzy w\u0119z\u0142ami klastra. Poni\u017cej znajduje si\u0119 wykres rozk\u0142adu dost\u0119pu do dysku w testach wydajno\u015bci.<\/p>\n

\"Co
\n
\nObliczenia wykonano na podstawie minimalnej konfiguracji z 3 serwer\u00f3w BullSequana S200. Obejmuje ona 9 w\u0119z\u0142\u00f3w danych i 3 g\u0142\u00f3wne w\u0119z\u0142y, a tak\u017ce zarezerwowane maszyny wirtualne na wypadek wdro\u017cenia ochrony na bazie Wirtualizacji OpenStack. Wynik testu TeraSort: rozmiar bloku 512 MB przy wsp\u00f3\u0142czynniku replikacji r\u00f3wnym trzy z szyfrowaniem wynosi 23,1 min.<\/p>\n

Jak mo\u017cna rozszerzy\u0107 system? Dla Data Lake Engine dost\u0119pne s\u0105 r\u00f3\u017cne rodzaje rozszerze\u0144:<\/p>\n