{"id":33630,"date":"2019-10-31T21:53:49","date_gmt":"2019-10-31T18:53:49","guid":{"rendered":"https:\/\/prohoster.info\/blog\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit\/"},"modified":"2019-10-31T21:53:49","modified_gmt":"2019-10-31T18:53:49","slug":"chto-osobennogo-v-cloudera-i-kak-ee-gotovit","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/chto-osobennogo-v-cloudera-i-kak-ee-gotovit","title":{"rendered":"Cosa c'\u00e8 di speciale in Cloudera e come prepararla","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Il mercato dell'elaborazione distribuita e dei big data, a quanto pare, statistiche<\/a><\/noindex>cresce del 18-19% all'anno. Questo significa che la questione della scelta del software per questi scopi rimane attuale. In questo post inizieremo da perch\u00e9 sono necessari i calcoli distribuiti, approfondiremo la scelta del software, parleremo dell'uso di Hadoop tramite Cloudera e, infine, discuteremo della scelta dell'hardware e di come influisca in vari modi sulle prestazioni.<\/p>\n

\"Cosa<\/a><\/noindex>
\nPerch\u00e9 sono necessari i calcoli distribuiti nel business comune? Qui tutto \u00e8 semplice e complicato allo stesso tempo. Semplice \u2014 perch\u00e9 nella maggior parte dei casi svolgiamo calcoli relativamente semplici su singole informazioni. Complicato \u2014 perch\u00e9 tali informazioni sono molte. Davvero molte. Di conseguenza, \u00e8 necessario elaborare terabyte di dati in 1000 flussi<\/a><\/noindex>. Pertanto, gli scenari di utilizzo sono piuttosto universali: i calcoli possono essere applicati ovunque sia necessario considerare un numero elevato di metriche su un ancora maggiore insieme di dati.<\/p>\n

Uno dei recenti esempi: la rete di pizzerie Dodo Pizza ha determinato<\/a><\/noindex> sulla base dell'analisi del database degli ordini dei clienti che, quando si tratta di scegliere una pizza con condimenti a piacere, gli utenti in genere operano solo con sei set di ingredienti di base pi\u00f9 un paio di casuali. Di conseguenza, la pizzeria ha adattato gli acquisti. Inoltre, \u00e8 riuscita a consigliare meglio agli utenti prodotti aggiuntivi offerti nel processo d'ordine, il che ha aiutato ad aumentare i profitti.<\/p>\n

Un altro esempio: l'analisi<\/a><\/noindex> la razionalizzazione delle posizioni merceologiche ha permesso al negozio H&M di ridurre l'assortimento in alcuni negozi del 40%, mantenendo nel contempo il livello delle vendite. Questo \u00e8 stato ottenuto escludendo le posizioni a bassa vendita, tenendo conto della stagionalit\u00e0.<\/p>\n

Scelta dello strumento<\/h2>\n

\nLo standard di settore per questo tipo di calcolo \u00e8 Hadoop. Perch\u00e9? Perch\u00e9 Hadoop \u00e8 un'ottima e ben documentata framework (quello stesso Habr offre molti articoli dettagliati su questo argomento), accompagnato da un insieme di utilit\u00e0 e librerie. \u00c8 possibile fornire enormi insiemi di dati sia strutturati che non strutturati, e il sistema li distribuir\u00e0 autonomamente tra le risorse computazionali. Inoltre, queste stesse risorse possono essere ampliate o disattivate in qualsiasi momento: \u00e8 l'orizzontale scalabilit\u00e0 in azione. <\/p>\n

Nel 2017, una influente societ\u00e0 di consulenza, Gartner, ha firmato<\/a><\/noindex>, ha affermato che Hadoop presto si estinguer\u00e0. La ragione \u00e8 piuttosto banale: gli analisti ritengono che le aziende inizieranno a migrare massicciamente verso il cloud, dove potranno pagare in base all'uso delle risorse di calcolo. Un secondo fattore importante che potrebbe \"seppellire\" Hadoop \u00e8 la velocit\u00e0 operativa. Infatti, alternative come Apache Spark o Google Cloud DataFlow operano pi\u00f9 velocemente di MapReduce, che \u00e8 alla base di Hadoop.<\/p>\n

Hadoop si basa su alcune colonne portanti, le pi\u00f9 evidenti delle quali sono le tecnologie MapReduce (sistema di distribuzione dei dati per calcoli tra server) e il file system HDFS. Quest'ultimo \u00e8 specificamente progettato per memorizzare informazioni distribuite tra i nodi del cluster: ogni blocco di dimensione fissa pu\u00f2 essere posizionato su pi\u00f9 nodi e, grazie alla replicazione, si garantisce la resilienza del sistema alle guasti dei singoli nodi. Invece della tabella dei file, si utilizza un server speciale denominato NameNode.<\/p>\n

Nell'illustrazione qui sotto \u00e8 riportato lo schema di funzionamento di MapReduce. Nella prima fase, i dati vengono suddivisi in base a un certo criterio; nella seconda fase, vengono distribuiti alle risorse di calcolo; nella terza fase, avviene il calcolo. <\/p>\n

\"Cosa
\nInizialmente, MapReduce fu creato da Google per le esigenze del suo motore di ricerca. Successivamente, MapReduce \u00e8 diventato open source, e il progetto \u00e8 stato preso in carico da Apache. Google, nel frattempo, ha gradualmente migrato verso altre soluzioni. Un aspetto interessante: attualmente Google ha un progetto chiamato Google Cloud Dataflow, posizionato come il passo successivo dopo Hadoop, una sua veloce sostituzione.<\/p>\n

Esaminando pi\u00f9 da vicino, si nota che Google Cloud Dataflow si basa su una variante di Apache Beam, che include un framework ben documentato di Apache Spark, il che permette di affermare che la velocit\u00e0 di esecuzione delle soluzioni \u00e8 praticamente identica. Inoltre, Apache Spark funziona ottimamente sul file system HDFS, permettendo di implementarlo sui server Hadoop.<\/p>\n

Aggiungendo qui il volume della documentazione e delle soluzioni pronte su Hadoop e Spark rispetto a Google Cloud Dataflow, la scelta dello strumento diventa evidente. Inoltre, gli ingegneri possono decidere autonomamente quale codice eseguire \u2014 per Hadoop o Spark \u2014 in base al compito, all'esperienza e alla qualificazione.<\/p>\n

Cloud o server locale<\/h2>\n

\nLa tendenza verso il passaggio globale al cloud ha dato vita a un termine interessante come Hadoop-as-a-service. In questo scenario, la gestione dei server connessi \u00e8 diventata fondamentale. Purtroppo, nonostante la sua popolarit\u00e0, l'Hadoop puro \u00e8 uno strumento piuttosto complesso da configurare, poich\u00e9 molto deve essere fatto manualmente. Ad esempio, configurare singolarmente i server, monitorare le loro prestazioni e impostare con attenzione numerosi parametri. In breve, \u00e8 un lavoro per appassionati, con un alto rischio di commettere errori o di trascurare qualcosa.<\/p>\n

Per questo motivo, vari distributori hanno guadagnato particolare popolarit\u00e0, poich\u00e9 sono forniti fin dall'inizio di strumenti convenienti per il deploy e l'amministrazione. Uno dei pi\u00f9 popolari \u00e8 Cloudera, che supporta Spark e semplifica molte operazioni. Ha versioni sia a pagamento che gratuite, e quest'ultima offre tutte le funzionalit\u00e0 principali senza limitazioni sul numero di nodi. <\/p>\n

\"Cosa
\n
\nDurante la configurazione, Cloudera Manager si collegher\u00e0 ai vostri server tramite SSH. Un aspetto interessante: durante l'installazione \u00e8 meglio specificare che si utilizzi il cosiddetto parcel<\/i>: pacchetti speciali, ciascuno dei quali contiene tutti i componenti necessari, configurati per funzionare insieme. In sostanza, \u00e8 una versione migliorata di un gestore di pacchetti.<\/p>\n

Dopo l'installazione, si ottiene una console di gestione del cluster, dove \u00e8 possibile visualizzare la telemetria dei cluster, i servizi installati, oltre a poter aggiungere\/rimuovere risorse e modificare la configurazione del cluster. <\/p>\n

\"Cosa
\n
\nDi conseguenza, davanti a voi si presenta il varco per quella navicella che vi porter\u00e0 verso un luminoso futuro nel mondo del Big Data. Ma prima di dire 'partiamo', facciamo un passo indietro e vediamo cosa c'\u00e8 sotto il cofano.<\/p>\n

Requisiti hardware<\/h2>\n

\nSul suo sito Cloudera menziona diverse configurazioni possibili. I principi generali su cui vengono costruite sono illustrati nell'immagine:<\/p>\n

\"Cosa
\nUn'immagine ottimistica pu\u00f2 essere rovinata da MapReduce. Se si guarda di nuovo allo schema della sezione precedente, \u00e8 chiaro che in quasi tutti i casi un'attivit\u00e0 MapReduce pu\u00f2 affrontare un \"collo di bottiglia\" durante la lettura dei dati dal disco o dalla rete. Questo \u00e8 anche evidenziato nel blog di Cloudera. Di conseguenza, per qualsiasi calcolo rapido, incluso Spark, che \u00e8 spesso usato per il calcolo in tempo reale, la velocit\u00e0 di input\/output \u00e8 molto importante. Pertanto, quando si utilizza Hadoop, \u00e8 fondamentale che nel cluster siano presenti macchine bilanciate e veloci, che, a dirla tutta, non \u00e8 sempre garantito nelle infrastrutture cloud.<\/p>\n

L'equilibrio nella distribuzione dei carichi si ottiene utilizzando la virtualizzazione Openstack su server con potenti CPU multi-core. Ai data node sono assegnate le proprie risorse di elaborazione e dischi specifici. Nella nostra soluzione Atos Codex Data Lake Engine<\/i> si ottiene un'ampia virtualizzazione, da cui beneficiamo sia in termini di prestazioni (si minimizza l'impatto delle infrastrutture di rete) sia in termini di TCO (si escludono server fisici superflui).<\/p>\n

\"Cosa
\nNel caso di server BullSequana S200, otteniamo un carico piuttosto uniforme, privo di alcune strozzature. Nella configurazione minima sono inclusi 3 server BullSequana S200, ciascuno con due JBOD, e si possono opzionalmente collegare ulteriori S200, contenenti quattro data node. Ecco un esempio di carico nel test TeraGen:<\/p>\n

\"Cosa
\n
\nI test con diversi volumi di dati e valori di replica mostrano risultati identici in termini di distribuzione del carico tra i nodi del cluster. Di seguito \u00e8 riportato un grafico della distribuzione dell'accesso al disco nei test di prestazioni.<\/p>\n

\"Cosa
\n
\nI calcoli sono stati eseguiti sulla base della configurazione minima di 3 server BullSequana S200. Essa include 9 nodi dati e 3 nodi master, oltre a macchine virtuali riservate nel caso di implementazione della protezione basata su OpenStack Virtualization. Risultato del test TeraSort: dimensione del blocco di 512 MB con un fattore di replicazione pari a tre e crittografia di 23,1 minuti.<\/p>\n

Come si pu\u00f2 espandere il sistema? Per il Data Lake Engine sono disponibili vari tipi di espansioni:<\/p>\n