Predlažem da pročitate transkript izvješća Igora Stryhara iz 2017. “ClickHouse - vizualno brza i pregledna analiza podataka u Tabixu.”
Web sučelje za ClickHouse u projektu Tabix.
Glavne značajke:
- Radi s ClickHouseom izravno iz preglednika, bez potrebe za instaliranjem dodatnog softvera;
- Uređivač upita s označavanjem sintakse;
- Automatsko dovršavanje naredbi;
- Alati za grafičku analizu izvršavanja upita;
- Sheme boja koje možete izabrati.
Ja sam tehnički direktor SMI2. Mi smo agregator vijesti za razmjenu vijesti. Puno podataka koje dobijemo od partnera pohranjujemo i registriramo u ClickHouseu – oko 30 zahtjeva u sekundi.
Ovo su podaci kao što su:
- Klikovi na vijesti.
- Vijesti se prikazuju u agregatoru.
- Prikaz bannera na našoj mreži.
- I registriramo događaje s vlastitog brojača, koji je sličan Yandex.Metrici. Ovo je naša vlastita mikroanalitika.
Imali smo vrlo buran život prije ClickHousea. Mnogo smo patili pokušavajući te podatke negdje pohraniti i nekako analizirati.
Život prije ClickHousea – infiniDB
Prvo što smo imali bio je infiniDB. Živjela je s nama 4 godine. S mukom smo ga pokrenuli.
- Ne podržava klasteriranje ili dijeljenje. Nijedna tako pametna stvar nije standardno izašla iz kutije.
- Ima poteškoća s učitavanjem podataka. Samo određeni uslužni program konzole koji je mogao učitati samo CSV datoteke i to samo na neki vrlo nejasan način.
- Baza podataka je jednonitna. Mogao si pisati ili čitati. Ali omogućio je obradu velike količine podataka.
- A imala je i zanimljivu štaku. Svake večeri poslužitelj je morao biti ponovno pokrenut, inače ne bi radio.
Kod nas je radila do kraja 2016. kada smo u potpunosti prešli u ClickHouse.
Život prije ClickHousea – Cassandra
Budući da je infiniDB bio jednonitni, odlučili smo da nam treba neka vrsta višenitne baze podataka u koju bismo mogli pisati mnogo niti istovremeno.
Probali smo puno zanimljivih stvari. Onda smo odlučili isprobati Cassandru. S Cassandrom je sve bilo super. 10 zahtjeva u sekundi po ponudi. 000 zahtjeva negdje za čitanje.
Ali imala je i svoje interese. Jednom mjesečno ili jednom svaka dva mjeseca doživjela je desinhronizaciju baze podataka. I morao sam se probuditi i otrčati popraviti Cassandru. Poslužitelji su ponovno pokrenuti jedan po jedan. I sve je postalo glatko i lijepo.
Život prije ClickHousea – Druid
Tada smo shvatili da moramo napisati još više podataka. 2016. počeli smo gledati Druida.
Druid je softver otvorenog koda napisan u Javi. Vrlo specifično. I to je bilo prikladno za clickstream, kada trebamo pohraniti neku vrstu toka događaja i zatim vršiti agregaciju na njima ili napraviti analitička izvješća.
Druid je imao verziju 0.9.X.
Samu bazu podataka vrlo je teško implementirati. To je složenost infrastrukture. Za njegovu implementaciju bilo je potrebno ugraditi puno, puno željeza. I svaki je dio hardvera bio odgovoran za svoju zasebnu ulogu.
Za učitavanje podataka u njega bilo je potrebno upotrijebiti neku vrstu šamanizma. Postoji OpenSource projekt - Tranquility, koji je gubio podatke od nas u streamu. Kad smo u njega učitali podatke, izgubio ih je.
Ali nekako smo to počeli provoditi. Mi smo ga, kao ježevi koji su se drogirali, a nastavili jesti kaktus, počeli uvoditi. Trebalo nam je oko mjesec dana da pripremimo svu infrastrukturu za to. To jest, naručite poslužitelje, konfigurirajte uloge i potpuno automatizirajte implementaciju. To jest, u slučaju kvara klastera, drugi će se klaster automatski postaviti.
Ali onda se dogodilo čudo. Bio sam na odmoru i kolege su mi poslali link na , koji kaže da je Yandex odlučio otvoriti ClickHouse. Kažem da probamo.
I doslovno u 2 dana implementirali smo ClickHouse testni klaster. Počeli smo u njega učitavati podatke. U usporedbi s infiniDB, ovo je elementarno; u usporedbi s Druidom, ovo je elementarno. U usporedbi s Cassandrom, također je elementaran. Jer ako učitavate podatke iz PHP-a u Cassandru, onda to nije elementarno.
Što smo dobili? Performanse u brzini. Izvedba u pohrani podataka. Odnosno, koristi se mnogo manje prostora na disku. ClickHouse je brz, vrlo je brz u usporedbi s drugim proizvodima.
U vrijeme pokretanja, kada je Yandex objavio ClickHouse u OpenSourceu, postojao je samo klijent konzole. Mi u našoj tvrtki SMI2 odlučili smo pokušati napraviti nativni klijent za web, kako bismo mogli otvoriti stranicu iz preglednika, napisati zahtjev i dobiti rezultat, jer smo počeli pisati puno zahtjeva. Pisanje u konzoli je teško. I napravili smo našu prvu verziju.
I negdje bliže zimi prošle godine počeli su se pojavljivati alati trećih strana za rad s ClickHouseom. To su alati kao što su:
- .
- .
- . (Sada )
- .
- .
Pogledat ću neke od ovih alata, odnosno one s kojima sam radio.
Dobar alat, ali za Druida. Kad se Druid implementirao, testirao sam SuperSet. svidio mi se. Za Druida je vrlo brz.
Nije prikladan za ClickHouse. Odnosno, odgovara, pokreće se, ali je spreman za obradu samo elementarnih upita kao što su: SELECT događaj, GROUP BY događaj. Ne podržava složeniju ClickHouse sintaksu.
Sljedeći alat je Apache Zeppelin. Ovo je dobra i zanimljiva stvar. Djela. Podržava prijenosna računala, nadzorne ploče i podržava varijable. Znam da ga netko u ClickHouse zajednici koristi.
Ali ne postoji podrška za ClickHouse sintaksu, tj. morat ćete pisati upite ili u konzoli ili negdje drugdje. Zatim provjerite radi li sve. Samo je nezgodno. Ali ima dobru podršku za nadzornu ploču.
Sljedeći alat je Redash.IO. Redash se nalazi na Internetu. To jest, za razliku od prethodnih alata, ne treba ga instalirati. A ovo je nadzorna ploča s mogućnošću konsolidacije podataka iz različitih izvora podataka. Odnosno, možete preuzeti s ClickHousea, s MySQL-a, s PostgreSQL-a i iz drugih baza podataka.
Prije samo mjesec dana (ožujak 2017.) pojavila se podrška u Grafani. Kada u Grafani gradite izvješća, na primjer, o stanju vašeg hardvera ili nekim metrikama, sada možete graditi isti grafikon ili neku vrstu panela iz podataka izravno iz ClickHousea. Ovo je vrlo zgodno i sami ga koristimo. To vam omogućuje pronalaženje anomalija. Odnosno, ako se nešto dogodi i neki hardver padne ili se napne, onda možete pogledati razlog ako su ti podaci uspjeli ući u ClickHouse.
Bilo mi je vrlo nezgodno pisati u ovim alatima ili u konzoli. I odlučio sam poboljšati naše prvo sučelje. I dobio sam ideju od EventSQL-a, SeperSeta, Zeppelina.
Što si htio? Želio sam dobiti grafiku, poboljšani uređivač i implementirati podršku za rječnike savjeta. Zato što ClickHouse ima sjajnu značajku - rječnike. Ali teško je raditi s rječnicima, jer morate zapamtiti format pohranjenih vrijednosti, tj. je li to broj ili niz, itd. A kako često koristimo rječnike u njihovim različitim varijantama, bilo je prilično teško pisati upite.
Prošla su 3 mjeseca od izlaska naše prve verzije. Napravio sam oko 330 obveza na privatnu granu i pokazalo se da je to Tabix.
Za razliku od prethodne verzije, koja se zvala ClickHouse-Frontend, odlučio sam je preimenovati u jednostavno ime. I ispalo je Tabix.
Što se pojavilo?
Crta grafikone. Podržava ClickHouse SQL sintaksu. Daje savjete o funkcijama i može učiniti puno zanimljivih stvari.
Ovako izgleda opća tabix shema. S lijeve strane je drvo. U sredini je uređivač upita. A ispod je rezultat ovog zahtjeva.
Zatim ću vam pokazati kako radi uređivač upita.
Ovdje automatsko dovršavanje automatski radi na tablici i u skladu s tim traži automatsko dovršavanje za polja. I savjeti o funkcijama. Ako pritisnete ctrl enter, zahtjev će biti izvršen ili neće uspjeti s pogreškom. Najjednostavniji zahtjev šalje se Tabixu i dobiva se rezultat, tj. možete brzo raditi s ClickHouseom.
Rječnici su, kao što sam već rekao, vrlo zanimljiva stvar s kojom puno radimo. I što nam je omogućilo mnoge stvari. Recimo da sve gradove pohranimo u rječnike. Pohranjujemo identifikator grada i ime grada, njegovu geografsku širinu i dužinu. A u bazi podataka pohranjujemo samo identifikator grada. Sukladno tome, podatke komprimiramo vrlo snažno.
Čini se da je to jednostavna stvar, ali u ClickHouseu pomaže na vrlo zanimljiv način. Zbog činjenice da ClickHouse podržava samo ugniježđene spojeve, upit raste prema dolje i dovoljno širok. A kada se zagrada otvori i uđe neki dugi izraz, tada nešto tako jednostavno kao što je sažimanje upita olakšava rad sa samim upitom. Jer kada je upit dugačak 200-300 redaka i vrlo širok, vrlo je korisno sažeti upit i zatim pronaći neko mjesto ili ga nekako lokalizirati.
Stablo objekata, višestruki upiti i kartice (Video 13:46 )
Zatim ću vam pokazati nešto o stablu i karticama. S lijeve strane je stablo; na vrhu možete stvoriti nekoliko kartica. Kartice su poput radnog prostora. Možete stvoriti nekoliko kartica i svaku nazvati drugačije. To je poput mini sustava za izradu izvješća.
Kartice se automatski spremaju. Ako ponovno pokrenete preglednik ili zatvorite ili otvorite Tabix, sve će to biti spremljeno.
Prečac - pogodan (Video 14:39 )
Postoje prečaci i ima ih dosta. Ovdje sam izdvojio neke od njih kao primjer. Ovo je prebacivanje kartica, izvršavanje zahtjeva ili izvršavanje nekoliko zahtjeva.
Pokazat ću vam kako raditi s rezultatom. Šaljemo upit. Ovdje crtam sin, cos i tg. Možete označiti rezultat, tj. nacrtati tipičnu kartu za stupac. Možete istaknuti pozitivne ili negativne vrijednosti. Ili jednostavno obojite određeni element stola. Ovo je zgodno kada je stol ogroman i morate očima pronaći neku anomaliju. Kad sam tražio anomalije, označio sam neke linije, neke elemente zelenom ili crvenom bojom.
Ima tu puno zanimljivih stvari. Na primjer, kako kopirati u Redmine Markdown. Ako trebate negdje kopirati rezultat, ovo je vrlo zgodno. Možete jednostavno odabrati područje, reći "Kopiraj u Redmine" i ono će se kopirati u Redmine Markdown ili stvoriti upit Where.
Sljedeća je optimizacija upita. Jednom sam zaboravio navesti polje "datum". A moj zahtjev u ClickHouseu nije obrađen jako, jako brzo, nego brzo, tj. manje od sekunde. Kad sam vidio koliko je redova pretrčao, uplašio sam se. U ovu tablicu ne upisujemo toliko redaka dnevno. Počeo sam analizirati zahtjev i vidio da sam na jednom mjestu propustio datum. Odnosno, zaboravio sam naznačiti da ne trebam podatke za cijelu tablicu, već za određeno razdoblje.
Tabix ima karticu “Stats” koja pohranjuje cjelokupnu povijest poslanih zahtjeva, tj. tamo možete vidjeti koliko je redaka taj zahtjev pročitao i koliko je vremena trebalo da se izvrši. To omogućuje optimizaciju.
Možete napraviti zaokretnu tablicu iznad rezultata upita. Poslali ste upit ClickHouseu i dobili neke podatke. A onda možete pomicati ove podatke mišem i izgraditi neku vrstu zaokretne tablice.
Sljedeća zanimljiva stvar je zaplet. Recimo da imamo sljedeći zahtjev: za sin, cos od 0 do 299. A da biste to nacrtali, morate odabrati karticu "Draw" i dobit ćete graf sa svojim sin i cos.
Možete to podijeliti na različite osi, tj. možete nacrtati dva grafikona jedan pored drugog odjednom. Napišite jednu naredbu i drugu naredbu.
Možete crtati histograme.
Možete to rastaviti na matricu grafikona.
Možete napraviti toplinsku kartu.
Možete izgraditi toplinski kalendar. Usput, ovo je vrlo zgodna stvar kada trebate analizirati anomalije tijekom godinu dana, tj. pronaći skokove ili padove. U tome mi je pomogla ova vizualizacija podataka.
Sljedeći je Treemap.
Sankeys je zanimljiv grafikon. On je ili Streamgrahps ili River. Ali ja to zovem Rijeka. Također vam omogućuje traženje bilo kakvih anomalija. Vrlo je udoban. Preporučujem da ga koristite za pretraživanje.
Sljedeća zanimljiva stvar je crtanje dinamičke karte. Ako pohranjujete zemljopisnu širinu, dužinu u svoju bazu podataka i, recimo, pohranjujete odredište, ako, na primjer, vozite kamione ili letite avionom, tada možete nacrtati odredišne staze. Također tamo možete postaviti brzinu i veličinu tih objekata u koje lete.
Ali problem s ovom kartom je što samo crta kartu svijeta, nema detalja.
Kasnije sam dodao Google kartu. Ako pohranite zemljopisnu širinu, dužinu, tada možete nacrtati rezultat na Google karti, ali bez podrške aviona.
Raspravljali smo o glavnim funkcijama rada s rezultatima i upitima u Tabixu.
Sljedeća je analiza vašeg ClickHouse poslužitelja. Postoji zasebna kartica "Mjerni podaci", gdje možete vidjeti veličinu pohranjenih podataka za svaki stupac. Snimka zaslona pokazuje da ovo polje "referrer" zauzima oko 730 Gb. Ako odustanemo od ovog polja, sačuvat ćemo tri sharda od po 700 GB, dakle oko 2 TB koja nam ne trebaju.
Također imamo polje "request_id" koje spremamo u niz. Ali ako ga počnemo pohranjivati u numeričkom obliku, ovo polje će se enormno smanjiti.
Također prikazuje konfiguraciju poslužitelja i popis čvorova u vašem klasteru.
Sljedeća kartica je metrika. Oni ulaze u stvarno vrijeme s ClickHouseom i jednostavno vam omogućuju da analizirate stanje poslužitelja i shvatite što se s njim događa. Ovo nije zamjena za punu Grafanu. Ovo je neophodno za brzu analizu.
Sljedeća kartica su procesi. Iz njih možete razumjeti što se događa na poslužitelju. Shvatite što se tamo događa. Imao sam zahtjev koji je svaki put trošio 200 GB čitanja. Vidio sam ovo zahvaljujući ovom sučelju. Uhvatio sam ga i ispravio. I pokazalo se da je oko 30 GB, tj. izvedba na trenutke.
Hvala vam! I to u OpenSourceu
Završio sam. I usput, to je OpenSource, besplatan je i ne morate ga čak ni preuzimati. Otvorite ga u pregledniku i sve će raditi.
pitanja
Igore, što je sljedeće? Gdje ćete razvijati ovaj alat?
Zatim će se pojaviti nadzorne ploče, tj. možda će se pojaviti nadzorne ploče. Integracija s drugim bazama podataka. Napravio sam to, ali još nisam objavio u OpenSourceu. Ovo je MySQL i možda PostgreSQL. Odnosno, bit će moguće slati zahtjeve s Tabixa ne samo ClickHouseu, već i drugim alatima.
Jasno je da je napravljen ogroman posao. Pokazalo se da je to prilično cjelovita ideja. To je učinjeno u pregledniku, očito, kako bi se uklonile štake na svim vrstama sjekira i brzo bacila cijelu stvar zajedno. Čuo sam da si uključen php rade, pa je najlakše upisati u preglednik i radit će posvuda. O ovome nema pitanja. Pitanje je ovo. Tu se stvarno puno napravilo. Koliko je ljudi radilo na ovome? I koliko je sve to trajalo? Jer prilagođeni alati obično nemaju toliko funkcionalnosti.
Jedna osoba iz našeg tima radila je od ljeta do jeseni. Ovo je bila prva verzija. Tada sam sam napravio 330 obveza. Ovo što vidite, moj kolega i ja smo to napravili na pola. U 3 mjeseca, od prve do posljednje verzije, uglavnom sam to radio sam. Ali ne znam dobro Javascript. Ovo je bio moj jedini i, nadam se, zadnji Javascript projekt na kojem sam radio. Dobio sam, pogledao sam - o, užas. Ali stvarno sam želio dovršiti proizvod i evo što se dogodilo.
Hvala vam puno na izvješću! Ovo je izvrstan alat. S Tablo Jeste li usporedili?
Hvala vam. Zato sam ga i nazvao Tabix, jer su prva slova ista.
Jer se natječeš?
Bit će puno ulaganja, natjecat ćemo se.
Kako možete ponuditi prodaju internim analitičarima koje će ovaj alat u potpunosti zamijeniti *Tablica*? Koji će biti argumenti?
Izvorno radi s ClickHousom. Probao sam Tableau, ali tamo se ne može napisati podrška za rječnike i slično. Znam kako ljudi rade s Tabixom. Napišu upit, uploadaju ga u CSV i uploadaju u BI. I tamo već nešto rade. Ali teško mi je zamisliti kako to rade, jer je to grafički alat. Može istovariti 5 redaka, maksimalno 000 redaka, ali ne više, inače se preglednik neće nositi.
Odnosno, postoje neka ozbiljna ograničenja u količini podataka, zar ne?
Da. Ne mogu zamisliti da biste htjeli prenijeti 10 000 redaka u svoju tablicu na zaslon preglednika. Za što?
Znači li to da je ovo sučelje za brzi pregled podataka? Zavrti malo, zavrti?
Da, brzo pogledajte kako radi i samo napravite sažeti grafikon. I onda ga nekamo daj. Imamo vlastiti sustav prijavljivanja, odakle jednostavno preuzimam ovaj zahtjev. Crtam u Tabixu i šaljem na naše izvješće.
I još jedno pitanje. Kohortna analiza?
Ako bude bilo kakvih zahtjeva, mi ćemo ih dodati.
Kada ste ga tek počeli koristiti? ClickHouse, koliko je trajala implementacija? klikanica i dovođenje do stanje proizvodnje?
Kao što rekoh, testni klaster implementirali smo u vrlo kratkom roku. Rasporedili smo ga za dva dana. I testirali smo ga još nekoliko tjedana. I došli smo do proizvodnje za 3 mjeseca, ali smo imali svoj ETL, tj. alat za snimanje podataka. I pisao je sve što je mogao. Zna pisati u MongoDB, Cassandra, MySQL. Bilo ga je lako naučiti pisati u ClickHouseu. Imali smo gotovu infrastrukturu za brzu implementaciju. U roku od 3 mjeseca počeli smo izbacivati prvu komponentu. U 6 mjeseci potpuno smo napustili sve ostalo. Ostao nam je samo jedan ClickHouse.
Igore, hvala puno na izvješću. Stvarno mi se svidjela funkcionalnost izgradnje staza pomoću karata. Postoje li planovi za integraciju s Yandex.Maps, a posebno s prilagođenim Yandex.Maps?
Pokušao sam integrirati umjesto Google karte, ali nisam našao tamnu temu na Yandex.Maps. Nisam ti ništa rekao. Premotat ću da dodam.
Slajd – Google karta. Postoji naredba “DRAW_GMAPS”, koja crta kartu. Postoji naredba "DRAW_YMAPS", tj. može nacrtati Yandex.Map. No zapravo pod ovom naredbom postoji Javascript, odnosno podaci koje dobijete od ClickHousea mogu se prebaciti u Javascript koji ovdje napišete. I imate izlazno područje gdje bi trebalo biti nacrtano. Možete nacrtati bilo koji graf, tj. bilo koji graf, kartu, možete nacrtati svoju komponentu. Prije ovoga sam imao još jednu biblioteku za crtanje samih grafikona.
Odnosno, postoji li alat za prilagodbu funkcionalnosti zaslona?
Bilo koje. Možete uzeti i prebojiti ove točke, čineći ih ne crvenim, već plavim, zelenim.
Hvala na izvješću! Imali ste slajd koji je predstavljao alternativne alate za upite klikanica za izradu nadzornih ploča i analitičkih izvješća. Razumijem to u trenutku kada ste počeli raditi sa ClickHouse, za ove alate nisu napisani adapteri. I pitam se zašto si odlučio napraviti svoj alat, umjesto da si napisao adapter za neki gotov alat? Mislim da je podešavanje test editora brzo. Zašto ste se odlučili za toliko posla?
Tu postoji jedna zanimljivost – činjenica je da sam tehnički direktor, a ne data scientist. U vrijeme kada smo počeli implementirati Druid, moj plan puta imao je oko 50% zadataka - izračunajmo ovo, ili izračunajmo ovo, ili analizirajmo ovo. I pokazalo se da smo implementirali ClickHouse. I počeo je brzo sve graditi, brojati i brzo zatvorio svoj putokaz. I do tada sam shvatio da mi nedostaje znanja o znanosti o podacima i vizualizaciji podataka. Tabix je neka vrsta moje domaće zadaće za učenje vizualizacije podataka. Gledao sam kako nadopuniti Zeppelin. Malo mi se ne sviđa njegovo programiranje. Redash Gledao sam kako to dodati, ali normalan editor mi je bio dovoljan. A SuperSet je također napisan na jeziku koji mi se baš i ne sviđa. I tako sam odlučio voziti bicikl, i evo što se dogodilo.
Igore, prihvaćaš li zahtjeve za povlačenjem?
Da.
Hvala vam puno na izvješću! I dva pitanja. Prvo, ne govorite baš laskavo Javascript. Jeste li pisali u golom Javascriptu ili je to neka vrsta okvira?*
Bolje u golom Javascriptu.
Pa kakav okvir?
Kutni.
To je jasno. I drugo pitanje. Jeste li razmislili R и *Sjajan**?*
Razmotrio to. Igrao.
Također možete samo napisati adapter.
On je. Čini se da je zajednica to napravila, ali, kao što sam odgovorio na prethodno pitanje, želio sam to i sam isprobati.
*Ne, što se tiče vizualizacije, i ona postoji.
Kažete da postoji takva stvar i nacrtat će vam grafikon. Otvorio sam knjigu o vizualizaciji podataka. I pomislio sam: “Dopustite da pokušam vizualizirati ove podatke. Pisaću mu da može obnoviti podatke.” I počeo sam bolje razumijevati tehnologiju opskrbe podacima. A da sam uzeo gotovu komponentu, osobno bih se lošije naučio koristiti, odnosno vizualizaciju. Ali da, svidjela mi se R, ali nisam još pročitala knjigu "R for Dummies".
Hvala vam!
Jednostavno pitanje. Postoje li načini za brzo učitavanje znaka ili rasporeda?
Može se učitati u CSV ili Excel.
Ne podaci, već gotova ploča, gotov grafikon? Na primjer, pokazati šefu.
Postoji gumb "Učitaj" i postoji gumb "Učitaj grafikon u png, u jpg".
Hvala vam!
PS Mini-upute za instaliranje tabixa
- Preuzimanje
- Raspakiraj, kopiraj imenik
buildu nginx root_path - Konfigurirajte nginx
Izvor: www.habr.com