{"id":33630,"date":"2019-10-31T21:53:49","date_gmt":"2019-10-31T18:53:49","guid":{"rendered":"https:\/\/prohoster.info\/blog\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit\/"},"modified":"2019-10-31T21:53:49","modified_gmt":"2019-10-31T18:53:49","slug":"chto-osobennogo-v-cloudera-i-kak-ee-gotovit","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit","title":{"rendered":"Vad \u00e4r speciellt med Cloudera och hur man arbetar med den","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Marknaden f\u00f6r distribuerad databehandling och big data v\u00e4xer, om man f\u00e5r tro statistik<\/a><\/noindex>, med 18-19 % per \u00e5r. Det inneb\u00e4r att valet av programvara f\u00f6r dessa \u00e4ndam\u00e5l f\u00f6rblir aktuellt. I detta inl\u00e4gg b\u00f6rjar vi med att f\u00f6rklara varf\u00f6r distribuerad databehandling beh\u00f6vs, vi g\u00e5r n\u00e4rmare in p\u00e5 urvalet av mjukvara, ber\u00e4ttar om anv\u00e4ndningen av Hadoop med hj\u00e4lp av Cloudera, och avslutningsvis diskuterar vi valet av h\u00e5rdvara och hur detta p\u00e5 olika s\u00e4tt p\u00e5verkar prestandan.<\/p>\n

\"Vad<\/a><\/noindex>
\nVarf\u00f6r \u00e4r distribuerad databehandling viktigt i vanlig aff\u00e4rsverksamhet? Det \u00e4r b\u00e5de enkelt och komplicerat samtidigt. Enkelt \u2014 eftersom vi i de flesta fall g\u00f6r relativt okomplicerade ber\u00e4kningar p\u00e5 enheter av information. Komplicerat \u2014 eftersom det finns mycket av s\u00e5dan information. V\u00e4ldigt mycket. Som en f\u00f6ljd m\u00e5ste vi bearbeta terabyter av data i 1000 fl\u00f6den<\/a><\/noindex>. P\u00e5 s\u00e5 s\u00e4tt \u00e4r anv\u00e4ndningsscenarierna ganska universella: ber\u00e4kningar kan till\u00e4mpas \u00f6verallt d\u00e4r man beh\u00f6ver ta h\u00e4nsyn till ett stort antal m\u00e4tv\u00e4rden p\u00e5 en \u00e4nnu st\u00f6rre datam\u00e4ngd.<\/p>\n

Ett av de senaste exemplen: pizza kedjan Dodo Pizza , att de celler som finns d\u00e4r \u00e4r makrofager, en del av immunf\u00f6rsvaret. N\u00e5gra m\u00e5nader senare f\u00f6reslog David Dikman och Le-Chin Wu<\/a><\/noindex> baserat p\u00e5 analys av kundernas best\u00e4llningsdatabas, vilket visar att n\u00e4r de v\u00e4ljer pizza med en valfri topping anv\u00e4nder anv\u00e4ndarna vanligtvis bara sex grundl\u00e4ggande ingrediensupps\u00e4ttningar plus n\u00e5gra slumpm\u00e4ssiga. I enlighet med detta anpassade pizzerian sina ink\u00f6p. Dessutom lyckades de b\u00e4ttre rekommendera ytterligare produkter till kunderna under best\u00e4llningsprocessen, vilket ledde till \u00f6kad l\u00f6nsamhet.<\/p>\n

Ett annat exempel: analys<\/a><\/noindex> produkter gjorde att butiken H&M kunde minska sortimentet i vissa butiker med 40 %, samtidigt som f\u00f6rs\u00e4ljningsniv\u00e5n uppr\u00e4tth\u00f6lls. Detta \u00e5stadkoms genom att utesluta d\u00e5ligt s\u00e4ljande artiklar, d\u00e4r s\u00e4songsvariationer beaktades.<\/p>\n

Val av verktyg<\/h2>\n

\nBranschstandarden f\u00f6r denna typ av ber\u00e4kningar \u00e4r Hadoop. Varf\u00f6r? F\u00f6r att Hadoop \u00e4r ett utm\u00e4rkt, v\u00e4l dokumenterat ramverk (den samme Habr publicerar m\u00e5nga detaljerade artiklar om detta), som kommer med ett helt set av verktyg och bibliotek. Du kan mata in stora m\u00e4ngder b\u00e5de strukturerade och ostrukturerade data, och systemet kommer automatiskt att f\u00f6rdela dem mellan ber\u00e4kningsresurserna. Dessutom kan dessa resurser n\u00e4r som helst \u00f6kas eller st\u00e4ngas av \u2014 den horisontella skalbarheten i aktion. <\/p>\n

\u00c5r 2017 h\u00e4vdade det inflytelserika konsultf\u00f6retaget Gartner har ing\u00e5tt<\/a><\/noindex>, att Hadoop snart skulle bli f\u00f6r\u00e5ldrat. Anledningen \u00e4r ganska banal: analytiker tror att f\u00f6retag kommer att migrera massivt till molnet, eftersom de d\u00e4r kan betala f\u00f6r faktisk anv\u00e4ndning av ber\u00e4kningsresurser. En annan viktig faktor som p\u00e5st\u00e5s kunna 'begravda' Hadoop \u00e4r hastigheten. Alternativ som Apache Spark eller Google Cloud DataFlow arbetar snabbare \u00e4n MapReduce, som ligger till grund f\u00f6r Hadoop.<\/p>\n

Hadoop vilar p\u00e5 flera pelare, de mest framtr\u00e4dande \u00e4r MapReduce-teknologierna (ett system f\u00f6r datadistribution f\u00f6r ber\u00e4kningar mellan servrar) och filsystemet HDFS. Det senare \u00e4r speciellt utformat f\u00f6r att lagra information som \u00e4r distribuerad \u00f6ver klusterets noder: varje block av fast storlek kan placeras p\u00e5 flera noder, och genom replikering s\u00e4kerst\u00e4lls systemets motst\u00e5ndskraft mot fel p\u00e5 enskilda noder. Ist\u00e4llet f\u00f6r en filtabell anv\u00e4nds en speciell server som kallas NameNode.<\/p>\n

I illustrationen nedan visas hur MapReduce fungerar. I det f\u00f6rsta steget delas data upp utifr\u00e5n ett visst k\u00e4nnetecken, i det andra distribueras de \u00f6ver ber\u00e4kningsresurserna, och i det tredje sker ber\u00e4kningen. <\/p>\n

\"Vad
\nUrsprungligen utvecklades MapReduce av Google f\u00f6r deras s\u00f6kmotor. Tv\u00e5 d\u00e4refter gjorde MapReduce \u00f6ppen k\u00e4llkod, och projektet togs \u00f6ver av Apache. Google har gradvis migrerat till andra l\u00f6sningar. En intressant detalj \u00e4r att Google f\u00f6r n\u00e4rvarande har ett projekt kallat Google Cloud Dataflow, som positioneras som n\u00e4sta steg efter Hadoop, som en snabb ers\u00e4ttning.<\/p>\n

Vid n\u00e4rmare granskning framg\u00e5r det att Google Cloud Dataflow baseras p\u00e5 en variant av Apache Beam, och att Apache Beam inkluderar det v\u00e4ldokumenterade ramverket Apache Spark, vilket g\u00f6r att man kan s\u00e4ga att hastigheten p\u00e5 utf\u00f6randet \u00e4r praktiskt taget identisk. Dessutom fungerar Apache Spark utm\u00e4rkt p\u00e5 HDFS, vilket g\u00f6r att det kan implementeras p\u00e5 Hadoop-servrar.<\/p>\n

Om vi l\u00e4gger till m\u00e4ngden dokumentation och f\u00e4rdiga l\u00f6sningar f\u00f6r Hadoop och Spark j\u00e4mf\u00f6rt med Google Cloud Dataflow, blir valet av verktyg uppenbart. Dessutom kan ingenj\u00f6rerna sj\u00e4lva avg\u00f6ra vilken kod - f\u00f6r Hadoop eller Spark - de ska k\u00f6ra, beroende p\u00e5 uppgiften, erfarenheten och kvalifikationen.<\/p>\n

Molnet eller lokal server<\/h2>\n

\nTrenden att \u00f6verg\u00e5 till molnet har skapat ett intressant begrepp som Hadoop-as-a-service. I detta scenario har administrationen av anslutna servrar blivit mycket viktig. Tyv\u00e4rr \u00e4r ren Hadoop ganska komplicerat att konfigurera, eftersom mycket m\u00e5ste g\u00f6ras manuellt. Till exempel att konfigurera servrarna enskilt, \u00f6vervaka deras prestanda och noggrant st\u00e4lla in m\u00e5nga parametrar. Sammanfattningsvis \u00e4r det arbete f\u00f6r entusiaster, och det finns en stor risk att n\u00e5got g\u00e5r fel eller att n\u00e5got f\u00f6rbises.<\/p>\n

D\u00e4rf\u00f6r har olika distributioner som fr\u00e5n b\u00f6rjan kommer med anv\u00e4ndarv\u00e4nliga verktyg f\u00f6r distribution och administration blivit mycket popul\u00e4ra. En av de mest popul\u00e4ra distributionerna som st\u00f6der Spark och f\u00f6renklar allt \u00e4r Cloudera. Den har b\u00e5de betalversioner och gratisversioner \u2013 och den senare har all grundl\u00e4ggande funktionalitet utan begr\u00e4nsning av antalet noder. <\/p>\n

\"Vad
\n
\nUnder installationen kommer Cloudera Manager att ansluta till dina servrar via SSH. En intressant punkt: vid installationen \u00e4r det b\u00e4st att ange att den ska utf\u00f6ras med s\u00e5 kallade paket<\/i>: speciella paket som inneh\u00e5ller alla n\u00f6dv\u00e4ndiga komponenter som \u00e4r inst\u00e4llda f\u00f6r att fungera tillsammans. I grunden \u00e4r detta en f\u00f6rb\u00e4ttrad version av en pakethanterare.<\/p>\n

Efter installationen f\u00e5r vi en kontrollpanel f\u00f6r klustret d\u00e4r vi kan se telemetri f\u00f6r kluster, installerade tj\u00e4nster, plus att du kan l\u00e4gga till\/ta bort resurser och redigera klusterkonfigurationen. <\/p>\n

\"Vad
\n
\nSom resultat f\u00e5r du en sektion av den raket som kommer att f\u00f6ra dig mot en ljus framtid inom Big Data. Men innan vi s\u00e4ger \"bekv\u00e4m resa\", l\u00e5t oss titta under huven.<\/p>\n

Krav p\u00e5 h\u00e5rdvara<\/h2>\n

\nP\u00e5 sin webbplats n\u00e4mner Cloudera olika m\u00f6jliga konfigurationer. De allm\u00e4nna principerna f\u00f6r hur de byggs visas i illustrationen:<\/p>\n

\"Vad
\nEn optimistisk bild kan d\u00e4mpas av MapReduce. Om man ser p\u00e5 schemat fr\u00e5n f\u00f6reg\u00e5ende avsnitt igen blir det uppenbart att n\u00e4stan alla MapReduce-uppgifter kan st\u00f6ta p\u00e5 en \"flaskhals\" vid l\u00e4sning av data fr\u00e5n disken eller n\u00e4tverket. Detta p\u00e5pekas ocks\u00e5 i Clouderas blogg. D\u00e4rf\u00f6r, f\u00f6r alla snabba ber\u00e4kningar, inklusive genom Spark, som ofta anv\u00e4nds f\u00f6r realtidsber\u00e4kningar, \u00e4r hastigheten p\u00e5 in-\/utmatning mycket viktigt. Det \u00e4r d\u00e4rf\u00f6r viktigt att klustret inneh\u00e5ller balanserade och snabba maskiner, vilket medgivetvis inte alltid garanteras i molninfrastrukturen.<\/p>\n

Balanseringen i belastningsf\u00f6rdelningen uppn\u00e5s genom att anv\u00e4nda OpenStack-virtualisering p\u00e5 servrar med kraftfulla flerk\u00e4rniga CPU:er. Dataknutarna tilldelas sina egna processorresurser och specifika diskar. I v\u00e5r l\u00f6sning Atos Codex Data Lake Engine<\/i> uppn\u00e5s omfattande virtualisering, vilket ger oss f\u00f6rdelar b\u00e5de i prestanda (p\u00e5verkan fr\u00e5n det n\u00e4tverksinfrastrukturen minimeras) och i TCO (\u00f6verskott av fysiska servrar undviks).<\/p>\n

\"Vad
\nVid anv\u00e4ndning av BullSequana S200-servrar uppn\u00e5r vi en ganska j\u00e4mn belastning, fri fr\u00e5n vissa flaskhalsar. I den minimi-konfiguration ing\u00e5r 3 BullSequana S200-servrar, var och en med tv\u00e5 JBOD, plus valfritt kopplade ytterligare S200 som inneh\u00e5ller fyra dataknutar vardera. H\u00e4r \u00e4r ett exempel p\u00e5 belastningen fr\u00e5n TeraGen-testet:<\/p>\n

\"Vad
\n
\nTester med olika datavolymer och replikationsv\u00e4rden visar liknande resultat n\u00e4r det g\u00e4ller belastningsf\u00f6rdelning mellan klustrets noder. Nedan visas en graf \u00f6ver disk\u00e5tkomstf\u00f6rdelningen fr\u00e5n prestandatesterna.<\/p>\n

\"Vad
\n
\nBer\u00e4kningarna har genomf\u00f6rts baserat p\u00e5 den minimala konfigurationen av 3 BullSequana S200-servrar. Den inkluderar 9 dataknutar och 3 huvudnoder samt reserverade virtuella maskiner f\u00f6r eventuellt skydd baserat p\u00e5 OpenStack-virtualisering. Resultatet av TeraSort-testet: blockstorlek p\u00e5 512 MB med en replikationskoefficient av tre med kryptering tar 23,1 minuter.<\/p>\n

Hur kan systemet utvidgas? F\u00f6r Data Lake Engine finns olika typer av utvidgningar tillg\u00e4ngliga:<\/p>\n