{"id":33630,"date":"2019-10-31T21:53:49","date_gmt":"2019-10-31T18:53:49","guid":{"rendered":"https:\/\/prohoster.info\/blog\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit\/"},"modified":"2019-10-31T21:53:49","modified_gmt":"2019-10-31T18:53:49","slug":"chto-osobennogo-v-cloudera-i-kak-ee-gotovit","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit","title":{"rendered":"Cosa rende speciale Cloudera e come si prepara","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Il mercato del calcolo distribuito e dei big data, a quanto pare statistiche<\/a><\/noindex>, cresce del 18-19% all'anno. Pertanto, la scelta del software per questi scopi rimane attuale. In questo articolo inizieremo spiegando perch\u00e9 il calcolo distribuito \u00e8 necessario, approfondiremo la scelta del software, parleremo dell'applicazione di Hadoop attraverso Cloudera e, per finire, discuteremo della selezione dell'hardware e di come influisce sulla prestazione in modi diversi.<\/p>\n

\"Cosa<\/a><\/noindex>
\nPerch\u00e9 il calcolo distribuito \u00e8 necessario nelle aziende comuni? Qui la situazione \u00e8 semplice e complicata allo stesso tempo. Semplice perch\u00e9, nella maggior parte dei casi, eseguiamo calcoli relativamente semplici per unit\u00e0 di informazione. Complicato perch\u00e9 ci sono molte informazioni. Moltissime. Di conseguenza, dobbiamo elaborare terabyte di dati in 1000 flussi<\/a><\/noindex>. Cos\u00ec, gli scenari di utilizzo sono abbastanza universali: i calcoli possono essere applicati ovunque sia necessario tenere conto di un grande numero di metriche su un insieme ancora pi\u00f9 grande di dati.<\/p>\n

Uno dei recenti esempi: la rete di pizzerie Dodo Pizza ha definito<\/a><\/noindex> sulla base dell'analisi del database degli ordini dei clienti, quando scelgono una pizza con ingredienti a scelta, gli utenti di solito si orientano solo su sei combinazioni di ingredienti di base pi\u00f9 un paio casuali. Di conseguenza, la pizzeria ha adattato gli acquisti. Inoltre, \u00e8 riuscita a consigliare meglio agli utenti i prodotti aggiuntivi offerti durante il processo di ordinazione, aumentando cos\u00ec i profitti.<\/p>\n

Un altro esempio: analisi<\/a><\/noindex> di prodotto ha permesso al negozio H&M di ridurre l'assortimento in alcuni punti vendita del 40%, mantenendo allo stesso tempo il livello delle vendite. Ci\u00f2 \u00e8 stato possibile escludendo articoli con scarse vendite, considerando anche la stagionalit\u00e0.<\/p>\n

Scelta dello strumento<\/h2>\n

\nLo standard di settore per calcoli di questo tipo \u00e8 Hadoop. Perch\u00e9? Perch\u00e9 Hadoop \u00e8 un ottimo framework ben documentato (questo stesso Habr pubblica numerosi articoli dettagliati in merito), accompagnato da un insieme di utilit\u00e0 e librerie. \u00c8 possibile fornire set di dati enormi, sia strutturati che non strutturati, e il sistema si occuper\u00e0 di distribuirli tra le risorse calcolative. Inoltre, queste risorse possono essere aumentate o disattivate in qualsiasi momento \u2014 proprio quella scalabilit\u00e0 orizzontale in azione. <\/p>\n

Nel 2017, la rinomata societ\u00e0 di consulenza Gartner ha dichiarato<\/a><\/noindex>, che Hadoop presto si estinguer\u00e0. Il motivo \u00e8 abbastanza banale: gli analisti ritengono che le aziende inizieranno a migrare massicciamente nel cloud, poich\u00e9 l\u00ec possono pagare in base all'utilizzo delle risorse computazionali. Un secondo fattore importante che potrebbe 'seppellire' Hadoop \u00e8 la velocit\u00e0 di lavoro. Perch\u00e9 opzioni come Apache Spark o Google Cloud DataFlow funzionano pi\u00f9 velocemente di MapReduce, alla base di Hadoop.<\/p>\n

Hadoop si basa su diversi pilastri, i pi\u00f9 importanti dei quali sono le tecnologie MapReduce (un sistema di distribuzione dei dati per i calcoli tra server) e il file system HDFS. Quest'ultimo \u00e8 progettato specificamente per memorizzare informazioni distribuite tra i nodi di un cluster: ogni blocco di dimensioni fisse pu\u00f2 essere posizionato su pi\u00f9 nodi, e grazie alla replica, il sistema garantisce resilienza ai guasti di singoli nodi. Al posto di una tabella dei file, si utilizza un server speciale chiamato NameNode.<\/p>\n

Nell'illustrazione qui sotto \u00e8 mostrato il funzionamento di MapReduce. Nella prima fase, i dati vengono suddivisi secondo un certo criterio; nella seconda, vengono distribuiti in base alle capacit\u00e0 di calcolo; nella terza, avviene il calcolo. <\/p>\n

\"Cosa
\nInizialmente, MapReduce \u00e8 stato creato da Google per le esigenze del proprio motore di ricerca. Successivamente, MapReduce \u00e8 diventato open source e il progetto \u00e8 stato gestito da Apache. Nel frattempo, Google ha gradualmente migrato verso altre soluzioni. Un dettaglio interessante: attualmente Google ha un progetto chiamato Google Cloud Dataflow, posizionato come il passo successivo dopo Hadoop, come una sua rapida sostituzione.<\/p>\n

Esaminando da vicino, si nota che Google Cloud Dataflow si basa su una variante di Apache Beam, che include un framework ben documentato di Apache Spark, il che significa che le soluzioni raggiungono praticamente la stessa velocit\u00e0 di esecuzione. Inoltre, Apache Spark funziona perfettamente su un file system HDFS, consentendo il suo deployment su server Hadoop.<\/p>\n

Considerando anche la quantit\u00e0 di documentazione e soluzioni pronte per Hadoop e Spark rispetto a Google Cloud Dataflow, la scelta dello strumento diventa ovvia. Inoltre, gli ingegneri possono decidere autonomamente quale codice eseguire - sotto Hadoop o Spark - in base al compito, all'esperienza e alle competenze.<\/p>\n

Cloud o server locale<\/h2>\n

\nLa tendenza verso una transizione globale verso il cloud ha persino generato un termine interessante come Hadoop-as-a-service. In questo scenario, la gestione dei server collegati \u00e8 diventata fondamentale. Purtroppo, nonostante la sua popolarit\u00e0, Hadoop puro \u00e8 uno strumento piuttosto complesso da configurare, poich\u00e9 richiede molte operazioni manuali. Ad esempio, \u00e8 necessario configurare i server singolarmente, monitorare le loro prestazioni e regolare con precisione numerosi parametri. In sostanza, \u00e8 un lavoro da appassionati e c'\u00e8 un grande rischio di commettere errori o di trascurare qualcosa.<\/p>\n

Pertanto, vari distribuzioni che includono strumenti di distribuzione e gestione user-friendly hanno guadagnato grande popolarit\u00e0. Una delle distribuzioni pi\u00f9 popolari, che supportano Spark e semplificano tutto, \u00e8 Cloudera. Ha versioni sia a pagamento che gratuite, e nell'ultima \u00e8 disponibile tutta la funzionalit\u00e0 principale, senza limitazioni sul numero di nodi. <\/p>\n

\"Cosa
\n
\nDurante la configurazione, Cloudera Manager si connetter\u00e0 via SSH ai vostri server. Un aspetto interessante: durante l'installazione, \u00e8 meglio specificare che dovrebbe avvenire in modo chiamato con pacchetti<\/i>: pacchetti speciali, ciascuno dei quali contiene tutti i componenti necessari, configurati per funzionare insieme. Di fatto, \u00e8 una versione migliorata del gestore di pacchetti.<\/p>\n

Dopo l'installazione, otteniamo una console di gestione del cluster, dove \u00e8 possibile visualizzare la telemetria dei cluster, i servizi installati, e inoltre potrete aggiungere\/rimuovere risorse e modificare la configurazione del cluster. <\/p>\n

\"Cosa
\n
\nIl risultato \u00e8 che davanti a voi si presenta la cabina di quella navetta che vi porter\u00e0 verso un luminoso futuro nel Big Data. Ma prima di dire \"partiamo\", diamo un'occhiata sotto il cofano.<\/p>\n

Requisiti hardware<\/h2>\n

\nSul sito di Cloudera vengono menzionate diverse configurazioni possibili. I principi generali su cui si basano sono illustrati nella figura:<\/p>\n

\"Cosa
\nUn aspetto ottimistico pu\u00f2 essere influenzato da MapReduce. Se si osserva nuovamente il diagramma della sezione precedente, diventa chiaro che, nella maggior parte dei casi, il compito di MapReduce pu\u00f2 affrontare un 'collo di bottiglia' quando legge i dati dal disco o dalla rete. Questo \u00e8 anche menzionato nel blog di Cloudera. Di conseguenza, per qualsiasi calcolo rapido, incluso tramite Spark, spesso usato per elaborazioni in tempo reale, la velocit\u00e0 di input\/output \u00e8 cruciale. Pertanto, quando si utilizza Hadoop, \u00e8 fondamentale che nel cluster siano presenti macchine bilanciate e veloci, il che, per non dire altro, non \u00e8 sempre garantito nell'infrastruttura cloud.<\/p>\n

L'equilibrio nella distribuzione dei carichi \u00e8 raggiunto grazie all'uso della virtualizzazione OpenStack su server con potenti CPU multi-core. I nodi dati sono dotati di risorse di elaborazione dedicate e dischi specifici. Nella nostra soluzione Atos Codex Data Lake Engine<\/i> si ottiene una virtualizzazione estesa, il che ci consente di guadagnare sia in termini di prestazioni (minimizzando l'impatto dell'infrastruttura di rete) sia in TCO (eliminando server fisici superflui).<\/p>\n

\"Cosa
\nNel caso dell'utilizzo dei server BullSequana S200, otteniamo un carico piuttosto uniforme, privo di alcuni colli di bottiglia. La configurazione minima include 3 server BullSequana S200, ognuno con due JBOD, e opzionalmente possono essere collegati ulteriori S200 contenenti quattro nodi di dati. Ecco un esempio del carico nel test TeraGen:<\/p>\n

\"Cosa
\n
\nI test con diversi volumi di dati e valori di replicazione mostrano risultati equivalenti in termini di distribuzione del carico tra i nodi del cluster. Di seguito \u00e8 riportato un grafico della distribuzione dell'accesso al disco nei test di prestazioni.<\/p>\n

\"Cosa
\n
\nI calcoli sono stati eseguiti su una configurazione minima composta da 3 server BullSequana S200. Essa include 9 nodi dati e 3 nodi principali, oltre a macchine virtuali riservate nel caso di un'implementazione della protezione basata su OpenStack Virtualization. Risultato del test TeraSort: dimensione del blocco di 512 MB con un fattore di replicazione pari a tre e crittografia che richiede 23,1 minuti.<\/p>\n

Come pu\u00f2 essere espanso il sistema? Sono disponibili diverse forme di espansione per il Data Lake Engine:<\/p>\n