server<\/a>, circa un trilione di record al giorno. Record per numero di record.<\/li>\n<\/ul>\n<\/p>\n
![\"Teoria](\"\/wp-content\/uploads\/2020\/07\/49194030b6586221cb17029889ce33da.png\")
<\/p>\n
<\/p>\n
Geograficamente, anche questo \u00e8 molto. Questa mappa mostra la heatmap in cui ClickHouse \u00e8 utilizzato nel mondo. Qui si evidenzia chiaramente la Russia, la Cina e l'America. Ci sono poche nazioni europee. Si possono individuare 4 cluster.<\/p>\n
<\/p>\n
Questa \u00e8 un'analisi comparativa, qui non bisogna cercare cifre assolute. \u00c8 un'analisi dei visitatori che leggono materiali in lingua inglese sul sito di Altinity, perch\u00e9 non ci sono parlanti russi. E Russia, Ucraina, Bielorussia, quindi la parte di lingua russa della comunit\u00e0, sono gli utenti pi\u00f9 numerosi. Poi ci sono gli Stati Uniti e il Canada. La Cina sta recuperando rapidamente. Sei mesi fa, la Cina era quasi assente, ora ha gi\u00e0 superato l'Europa e continua a crescere. Anche l'anziana Europa non resta indietro, e, stranamente, la Francia \u00e8 il leader nell'uso di ClickHouse. <\/p>\n
<\/p>\n
![\"Teoria](\"\/wp-content\/uploads\/2020\/07\/3a8305c51b1bd62f3467b795402df4ed.png\")
<\/p>\n
<\/p>\n
Perch\u00e9 sto raccontando tutto questo? Per mostrare che ClickHouse sta diventando la soluzione standard per l'analisi dei big data ed \u00e8 gi\u00e0 molto utilizzato in vari ambiti.<\/strong> Se lo stai gi\u00e0 utilizzando, sei sulla strada giusta. Se non lo stai ancora usando, non preoccuparti: non sarai solo e non mancher\u00e0 il supporto, poich\u00e9 molte persone gi\u00e0 lo stanno adottando.<\/p>\n<\/p>\n
![\"Teoria](\"\/wp-content\/uploads\/2020\/07\/6aa635f3a35034d3af837c78b2c8fe60.png\")
<\/p>\n
<\/p>\n
Questi sono esempi di utilizzo reale di ClickHouse in diverse aziende. <\/p>\n
<\/p>\n
\n- Il primo esempio \u00e8 una rete pubblicitaria: la migrazione da Vertica a ClickHouse. Conosco diverse aziende che hanno gi\u00e0 effettuato il passaggio da Vertica o sono in fase di migrazione. <\/li>\n
- Il secondo esempio riguarda un data warehouse transazionale su ClickHouse. Questo esempio \u00e8 costruito su anti-pattern. Tutto ci\u00f2 che non si dovrebbe fare in ClickHouse secondo i consigli degli sviluppatori \u00e8 stato fatto qui. E nonostante ci\u00f2, funziona cos\u00ec bene che \u00e8 decisamente pi\u00f9 efficace rispetto a una tipica soluzione transazionale. <\/li>\n
- Il terzo esempio riguarda il calcolo distribuito su ClickHouse. C'era una domanda su come integrare ClickHouse nell'ecosistema Hadoop. Mostrer\u00f2 un esempio di come un'azienda ha realizzato su ClickHouse qualcosa di simile a un contenitore map reduce, gestendo la localizzazione dei dati, per affrontare un compito molto complesso. <\/li>\n<\/ul>\n
<\/p>\n
![\"Teoria](\"\/wp-content\/uploads\/2020\/07\/e08ab5418500599f08d40324ccdfbcd0.png\")
<\/p>\n
<\/p>\n
\n- LifeStreet \u00e8 un'azienda Ad Tech che dispone di tutte le tecnologie correlate a una rete pubblicitaria. <\/li>\n
- Si occupa dell'ottimizzazione degli annunci e del bidding programmatico. <\/li>\n
- Una grande quantit\u00e0 di dati: circa 10 miliardi di eventi al giorno. Inoltre, gli eventi possono suddividersi in diversi sotto-eventi.<\/li>\n
- Molti clienti utilizzano questi dati, non solo persone, ma anche vari algoritmi che si occupano del bidding programmatico. <\/li>\n<\/ul>\n
<\/p>\n
![\"Teoria](\"\/wp-content\/uploads\/2020\/07\/2da99b53eb25f675a2431027f86db934.png\")
<\/p>\n
<\/p>\n
L'azienda ha percorso un lungo e difficile cammino. Ne ho parlato al HighLoad. Inizialmente, LifeStreet \u00e8 passata da MySQL (con una breve sosta su Oracle) a Vertica. \u00c8 possibile trovare questa storia. <\/p>\n
<\/p>\n
All'inizio tutto \u00e8 andato molto bene, ma \u00e8 diventato chiaro abbastanza rapidamente che i dati crescevano e Vertica era costoso. Pertanto, abbiamo cercato diverse alternative. Alcune di esse sono elencate qui. In effetti, abbiamo realizzato un proof of concept o talvolta dei test di prestazioni su quasi tutti i database disponibili sul mercato dal 2013 al 2016, che erano compatibili con le funzionalit\u00e0 richieste. E su alcuni di essi ne ho parlato anche al HighLoad.<\/p>\n
<\/p>\n
![\"Teoria](\"\/wp-content\/uploads\/2020\/07\/4bebd2f43892cbef9249ddded1b8a70a.png\")
<\/p>\n
<\/p>\n
C'era la necessit\u00e0 di migrare da Vertica in primo luogo, poich\u00e9 i dati stavano crescendo. E cresceva in modo esponenziale da diversi anni. Poi hanno raggiunto un punto di stallo, ma nonostante ci\u00f2. Prevedendo questa crescita, le esigenze aziendali riguardo al volume di dati per cui fare analytics, era chiaro che presto si sarebbe parlato di petabyte. E pagare per i petabyte \u00e8 gi\u00e0 molto costoso, quindi si cercava un'alternativa dove andare. <\/p>\n
<\/p>\n
![\"Teoria](\"\/wp-content\/uploads\/2020\/07\/f170a4307168e8560122966eab85c24e.png\")
<\/p>\n
<\/p>\n
Dove andare? Per un lungo periodo, non era affatto chiaro dove dirigersi, perch\u00e9 da un lato ci sono database commerciali, che sembrano funzionare bene. Alcuni funzionano quasi altrettanto bene di Vertica, altri meno. Ma sono tutti costosi, non si riusciva a trovare nulla di pi\u00f9 economico e migliore. <\/p>\n
<\/p>\n
Dall'altro lato, ci sono soluzioni open source, che non sono molte, cio\u00e8, per l'analisi, si possono contare sulle dita. E sono gratuite o a basso costo, ma funzionano lentamente. E spesso mancano delle funzionalit\u00e0 necessarie e utili.<\/p>\n
<\/p>\n
E per unire ci\u00f2 che c'\u00e8 di buono nei database commerciali e tutto ci\u00f2 che \u00e8 gratuito nel mondo open source, non c'era nulla. <\/p>\n
<\/p>\n
![\"Teoria](\"\/wp-content\/uploads\/2020\/07\/abbefbf0d9578b554f81579b87213a50.png\")
<\/p>\n
<\/p>\n
Non c'era nulla fino a quando improvvisamente Yandex non tir\u00f2 fuori, come un coniglio da un cappello, ClickHouse. E fu una soluzione inaspettata, ma ancora oggi ci si domanda: \u00abPerch\u00e9?\u00bb, eppure. <\/p>\n
<\/p>\n
![\"Teoria](\"\/wp-content\/uploads\/2020\/07\/c88981aace9d5925396ca5171241b7d2.png\")
<\/p>\n
<\/p>\n
E subito nell'estate del 2016 abbiamo iniziato a esplorare cos'\u00e8 ClickHouse. E si \u00e8 rivelato che a volte pu\u00f2 essere pi\u00f9 veloce di Vertica. Abbiamo testato diversi scenari su diverse query. E se la query utilizzava solo una tabella, ossia senza join, ClickHouse era due volte pi\u00f9 veloce di Vertica. <\/p>\n
<\/p>\n
Non mi sono risparmiato e ho controllato altri test di Yandex qualche giorno fa. L\u00ec la situazione \u00e8 la stessa: ClickHouse \u00e8 due volte pi\u00f9 veloce di Vertica, quindi ne parlano frequentemente. <\/p>\n
<\/p>\n
Ma se ci sono join nelle query, le cose diventano meno chiare. E ClickHouse pu\u00f2 risultare pi\u00f9 lento di Vertica di due volte. Ma se si modifica leggermente la query e la si riscrive, sono pi\u00f9 o meno equivalenti. Non male. E gratis. <\/p>\n
<\/p>\n
![\"Teoria](\"\/wp-content\/uploads\/2020\/07\/188bf56b72123175a18d2cb97d989a47.png\")
<\/p>\n
<\/p>\n
E avendo ottenuto i risultati dei test e avendo guardato la situazione da diversi angoli, LifeStreet ha optato per ClickHouse.<\/p>\n
<\/p>\n
![\"Teoria](\"\/wp-content\/uploads\/2020\/07\/1183b9b7681916686c52786fc95ccb45.png\")
<\/p>\n
<\/p>\n
Ricordo che era il 2016. Era come nella barzelletta sui topi che piangevano e si pungerebbero, ma continuavano a mangiare il cactus. E se ne \u00e8 parlato dettagliatamente, ci sono video e altro. <\/p>\n
<\/p>\n
![\"Teoria](\"\/wp-content\/uploads\/2020\/07\/993052ed83dc295c3777e614c7703456.png\")
<\/p>\n
<\/p>\n
Per questo motivo non entrer\u00f2 nei dettagli, ma condivider\u00f2 solo i risultati e alcune cose interessanti di cui non avevo parlato all'epoca. <\/p>\n
<\/p>\n
I risultati sono:<\/p>\n
<\/p>\n
![\"Teoria](\"\/wp-content\/uploads\/2020\/07\/b46b964324a3311157d5df737526b1d1.png\")
<\/p>\n