Predlažem da se upoznate sa transkriptom izvještaja Igora Strykhara za 2017. "ClickHouse - vizuelno brza i vizuelna analiza podataka u Tabixu".
Web interfejs za ClickHouse u projektu Tabix.
Osnovne mogućnosti:
- Radi sa ClickHouse direktno iz pretraživača, bez potrebe za instaliranjem dodatnog softvera;
- Editor upita sa isticanjem sintakse;
- Završetak naredbe;
- Alati za grafičku analizu izvršenja upita;
- Šeme boja koje možete izabrati.
Ja sam tehnički direktor medija2. Mi smo agregator vijesti za razmjenu vijesti. Pohranjujemo mnogo podataka koje dobijemo od naših partnera i registrujemo ih u ClickHouse - oko 30 zahtjeva u sekundi.
To su podaci kao što su:
- News klikovi.
- Prikaz vijesti u agregatoru.
- Prikaz banera u našoj mreži.
- I registrujemo događaje sa sopstvenog brojača, koji je sličan Yandex.Metrics. Ovo je naša vlastita mikroanalitika.
Imali smo veoma naporan život prije ClickHousea. Mnogo smo patili, pokušavajući te podatke negdje pohraniti i nekako analizirati.
Život prije ClickHouse - infiniDB
Prva stvar koju smo imali je infiniDB. Živjela je sa nama 4 godine. Pokrenuli smo ga s mukom.
- Ne podržava grupisanje ili dijeljenje. Nije pokrenula nijednu tako pametnu stvar po defaultu.
- Ima problema sa učitavanjem podataka. Samo određeni uslužni program za konzolu koji je mogao učitavati samo CSV datoteke i bio je nekako vrlo nerazumljiv.
- Baza podataka je jednostruka. Možete ili pisati ili čitati. Ali to je omogućilo obradu velike količine podataka.
- A imala je i zanimljivu štaku. Svake noći je bilo potrebno ponovo pokrenuti server, inače neće raditi.
Sa nama je radila do kraja 2016. godine, kada smo u potpunosti prešli na ClickHouse.
Život prije ClickHouse - Cassandra
Pošto je infiniDB bio jednonitni, odlučili smo da nam je potrebna neka vrsta baze podataka sa više niti u koju bismo mogli pisati mnogo niti u isto vrijeme.
Probali smo mnogo zanimljivih stvari. Onda smo odlučili da probamo Cassandru. Sve je bilo super sa Kasandrom. 10 zahtjeva u sekundi po opkladi. 000 zahtjeva negdje za čitanje.
Ali imala je i svoje interese. Jednom mjesečno ili svaka dva mjeseca imala je neusklađenu bazu podataka. I morao sam da se probudim i trčim da popravim Kasandru. Ponovo pokrenuo servere jedan po jedan. I sve je postalo glatko i lijepo.
Život prije ClickHouse – Druid
Tada smo shvatili da moramo napisati još više podataka. 2016. smo počeli da gledamo Druid.
Druid je otvorena baza napisana u Javi. Vrlo specifično. I to je odgovaralo clickstreamu kada trebamo pohraniti neku vrstu toka događaja, a zatim ih agregirati ili napraviti analitičke izvještaje.
Druid je imao verziju 0.9.X.
Samu bazu podataka je veoma teško implementirati. To je kompleksnost infrastrukture. Da bi se rasporedio, bilo je potrebno staviti mnogo gvožđa. I svako gvožđe je bilo odgovorno za svoju posebnu ulogu.
Za učitavanje podataka u njega bilo je potrebno primijeniti neku vrstu šamanizma. Postoji OpenSource projekat - Tranquility, koji je izgubio podatke od nas u streamu. Kada smo u njega učitali podatke, izgubio ih je.
Ali nekako smo to počeli implementirati. Mi smo, poput ježeva koji su se sami ubrizgali, ali su nastavili da jedu kaktus, počeli da ga uvodimo. Trebalo nam je oko mjesec dana da pripremimo cjelokupnu infrastrukturu za to. To jest, naručite servere, postavite uloge i potpuno automatizirajte implementaciju. Odnosno, u slučaju pada klastera, tako da se drugi klaster automatski raspoređuje.
Ali onda se dogodilo čudo. Bio sam na odmoru i kolege su mi poslale link , koji kaže da je Yandex odlučio otvoriti ClickHouse. Kažem da probamo.
I bukvalno za 2 dana postavili smo ClickHouse testni klaster. Počeli smo učitavati podatke u njega. U poređenju sa infiniDB-om, ovo je elementarno; u poređenju sa Druidom, ovo je elementarno. U poređenju sa Kasandrom, takođe je elementarna. Jer ako učitate podatke iz php-a u Cassandru, onda to nije elementarno.
Šta smo dobili? Performanse u brzini. Performanse u skladištenju podataka. Odnosno, koristi se mnogo manje prostora na disku. ClickHouse je brz, veoma je brz u poređenju sa drugim proizvodima.
U vrijeme lansiranja, kada je Yandex objavio ClickHouse u OpenSource-u, postojao je samo klijent konzole. Mi u našoj kompaniji SMI2 odlučili smo pokušati napraviti nativni klijent za web, tako da možete otvoriti stranicu iz pretraživača, napisati zahtjev i dobiti rezultat, jer smo počeli pisati dosta zahtjeva. Pisanje na konzolu je teško. I napravili smo našu prvu verziju.
A negdje bliže zimi prošle godine počeli su se pojavljivati alati trećih strana za rad s ClickHouseom. To su alati kao što su:
- .
- .
- . (Sad )
- .
- .
Pregledaću neke od ovih alata, odnosno one sa kojima sam radio.
Dobar alat, ali za Druida. Kada je Druid predstavljen, osjetio sam SuperSet. Svideo mi se. Za Druida, radi vrlo brzo.
Nije prikladno za ClickHouse. Odnosno, uklapa se, počinje, ali je spreman za obradu samo elementarnih upita kao što su: SELECT događaj, GROUP BY događaj. Ne podržava složeniju ClickHouse sintaksu.
Sljedeći alat je Apache Zeppelin. Ovo je dobra i zanimljiva stvar. Radi. Podržava notebook računare, kontrolne table, podržava varijable. Znam da ga neko iz ClickHouse zajednice koristi.
Ali ne postoji podrška za ClickHouse sintaksu, tj. morat ćete pisati upite bilo u konzoli ili negdje drugdje. Zatim provjerite da li sve radi. To je jednostavno nezgodno. Ali ima dobru podršku za dashboarding.
Sljedeći alat je Redash.IO. Redash se nalazi na internetu. To jest, za razliku od prethodnih alata, ne treba ga instalirati. A ovo je takva kontrolna ploča s mogućnošću konsolidacije podataka iz različitih izvora podataka. Odnosno, možete učitati sa ClickHouse, iz MySQL-a, iz PostgreSQL-a i iz drugih baza podataka.
Prije samo mjesec dana (u martu 2017.) pojavila se podrška u Grafani. Kada pravite izvještaje u Grafani, na primjer, prema stanju vašeg hardvera ili prema nekim metrikama, sada možete izgraditi isti grafikon ili neku vrstu panela iz podataka iz ClickHouse-a direktno. Veoma je zgodan i koristimo ga kod kuće. Ovo vam omogućava da pronađete anomalije. Odnosno, ako se nešto dogodi i neki hardver padne ili se istegne, onda možete vidjeti razlog ako su ovi podaci uspjeli ući u ClickHouse.
Bilo mi je veoma neprijatno da pišem u ovim alatima ili u konzoli. I odlučio sam da finaliziram naš prvi interfejs. I špijunirao sam ideju iz EventSQL, SeperSet, Zeppelin.
šta si hteo? Želeo sam da dobijem grafiku, poboljšani uređivač, implementiram podršku za rečnike nagoveštaja. Jer ClickHouse ima odličnu funkciju - to su rječnici. Ali teško je raditi s rječnicima, jer morate zapamtiti format pohranjenih vrijednosti, tj. da li je to broj ili niz, itd. A pošto često koristimo rječnike u njihovim različitim varijacijama, bilo je prilično teško pisati upite.
Prošlo je 3 mjeseca od izlaska naše prve verzije. Napravio sam oko 330 urezivanja na zatvorenu granu i dobio Tabix.
Za razliku od prethodne verzije, koja se zvala ClickHouse-Frontend, odlučio sam da je preimenujem u jednostavno ime. I ispostavilo se Tabix.
Šta se pojavilo?
Crta grafike. Podržava ClickHouse SQL sintaksu. Govori o funkcijama i zna raditi mnogo zanimljivih stvari.
Ovako izgleda generalni izgled Tabixa. Na lijevoj strani je drvo. U sredini je uređivač upita. A ispod je rezultat ovog upita.
Zatim ću pokazati kako radi uređivač upita.
Ovdje je autodovršavanje automatski radilo na tablici i upitima, odnosno autodovršavanje po poljima. I nagoveštaji. Ako pritisnete ctrl enter, zahtjev će biti izvršen ili će propasti uz grešku. Najjednostavniji zahtjev se šalje Tabixu i dobije se rezultat, odnosno možete brzo raditi sa ClickHouse.
Rečnici su, kao što sam rekao, veoma interesantna stvar sa kojom dosta radimo. I što je omogućilo da se urade mnoge stvari. Pretpostavimo da pohranjujemo sve gradove u rječnicima. Pohranjujemo identifikator grada i naziv grada, njegovu geografsku širinu i dužinu. A u bazi podataka čuvamo samo identifikator grada. U skladu s tim, vrlo snažno kompresujemo podatke.
Čini se da je ovo jednostavna stvar, ali u ClickHouse-u pomaže na vrlo zanimljiv način. Zbog činjenice da ClickHouse podržava samo ugniježđene spojeve, upit raste prema dolje i dovoljno širok. A kada se otvori zagrada i ode neki dugi izraz, onda tako prilično jednostavna stvar kao što je preklapanje upita olakšava rad sa samim upitom. Jer kada je zahtjev širok 200-300 redova i jako je ogroman, mnogo se štedi tako što se zahtjev presavije i onda nađe neko mjesto ili ga nekako lokalizuje.
Stablo objekata, multiupit i tabovi (Video 13:46 )
Sljedeće ću vam pokazati o stablu, karticama. Na lijevoj strani je drvo, na vrhu možete kreirati nekoliko kartica. Kartice su poput radnog prostora. Možete kreirati više kartica i imenovati svaku drugačije. To je kao mini-sistem za pravljenje izveštaja.
Kartice se automatski spremaju. Ako ponovo pokrenete pretraživač, ili zatvorite ili otvorite Tabix, sve će biti sačuvano.
Prečica je zgodna (Video 14:39 )
Postoje prečice i ima ih puno. Ovdje sam uključio neke od njih kao primjer. Ovo je prebacivanje kartice, izvršavanje zahtjeva ili izvršavanje više zahtjeva.
Pokazat ću vam kako raditi s rezultatom. Šaljemo zahtjev. Ovdje crtam sin, cos i tg. Možete istaknuti rezultat, tj. nacrtati tipičnu kartu za kolonu. Možete istaknuti pozitivne ili negativne vrijednosti. Ili samo obojite neki određeni element tabele. Ovo je zgodno kada je stol ogroman i morate očima pronaći neku vrstu anomalije. Kada sam tražio anomalije, neke linije, neke elemente sam isticao zelenom ili crvenom bojom.
Ima tu mnogo zanimljivih stvari. Na primjer, kako kopirati u Redmine Markdown. Ako trebate negdje kopirati rezultat, to je vrlo zgodno. Možete samo odabrati područje, reći "Kopiraj u Redmine" i ono će se kopirati u Redmine Markdown ili kreirati Gdje upit.
Sljedeća je optimizacija upita. Jednom sam zaboravio navesti polje "datum". I moj zahtjev u ClickHouse-u je obrađen ne baš, vrlo brzo, ali brzo, odnosno manje od sekunde. Kada sam vidio koliko je redova pretrčao, uplašio sam se. Ne upisujemo toliko redova u ovu tabelu u jednom danu. Počeo sam da analiziram zahtev i video da sam na jednom mestu propustio datum. Odnosno, zaboravio sam naznačiti da mi ne trebaju podaci za cijelu tabelu, već za određeni period.
Tabix ima karticu “Statistika” koja pohranjuje cjelokupnu historiju poslanih zahtjeva, odnosno tamo možete vidjeti koliko je redova pročitao ovaj zahtjev i koliko je vremena trebalo da se pokrene. Ovo omogućava optimizaciju.
Možete napraviti zaokretnu tabelu preko rezultata upita. Poslali ste zahtjev ClickHouseu i dobili neke podatke. A onda se ovi podaci mogu povući mišem i napraviti neku vrstu pivot tablice.
Sljedeća zanimljiva stvar je crtanje. Recimo da imamo sljedeći zahtjev: za sin, cos od 0 do 299. A da biste ga nacrtali, potrebno je da odaberete karticu “Draw” i dobićete grafik sa vašim grijehom i cos.
Možete ga razbiti na različite ose, tj. možete nacrtati dva grafikona odjednom jedan pored drugog. Napišite jednu i drugu naredbu.
Možete crtati histograme.
Možete ga rastaviti u matricu grafova.
Možete napraviti toplotnu kartu.
Možete napraviti termalni kalendar. Usput, vrlo zgodna stvar kada trebate analizirati anomalije za godinu dana, odnosno pronaći ili rafale ili padove. Ova vizualizacija podataka mi je pomogla u tome.
Sljedeći je Treemap.
Sankeys je zanimljiv grafikon. On je ili Streamgrahps ili River. Ali ja to zovem reka. Takođe vam omogućava da potražite bilo kakve anomalije. Veoma je udoban. Preporučujem da ga koristite za pretraživanje.
Sljedeća zanimljiva stvar je renderiranje dinamičke karte. Ako imate geografsku širinu, geografsku dužinu pohranjenu u vašoj bazi podataka i, na primjer, pohranjen je sastanak, ako imate, na primjer, prijevoz ili lete avioni, tada možete nacrtati odredišne putanje. Takođe tamo možete podesiti brzinu, veličinu ovih objekata u kojima dolaze.
Ali problem sa ovom mapom je što ona samo crta kartu svijeta, nema detalja.
Kasnije sam dodao Google mapu. Ako pohranjujete geografsku širinu, dužinu, onda možete nacrtati rezultat na Google mapi, ali bez podrške za avion.
Razgovarali smo o glavnim funkcijama rada s rezultatom, uz upit u Tabixu.
Sljedeća je analiza vašeg ClickHouse servera. Postoji posebna kartica "Metrike" na kojoj možete vidjeti veličinu pohranjenih podataka za svaku kolonu. Snimak ekrana pokazuje da ovo polje “referrer” zauzima nešto od 730 Gb. Ako odbijemo ovo polje, tada ćemo sačuvati tri šarda od 700 GB, odnosno oko 2 TB, koji nam nisu potrebni.
Također imamo polje "request_id" koje pohranjujemo u nizu. Ali ako ga počnemo pohranjivati u numeričkom obliku, onda će ovo polje biti kolosalno komprimirano.
Takođe prikazuje konfiguraciju servera i listu čvorova u vašem klasteru.
Sljedeća kartica je metrika. Oni ulaze u realno vrijeme iz ClickHouse-a i jednostavno vam omogućavaju da analizirate stanje servera i shvatite šta mu se događa. Ovo nije zamjena za punopravnu Grafanu. Ovo je neophodno za brzu analizu.
Sljedeća kartica su procesi. Iz njih možete razumjeti šta se dešava na serveru. Shvati šta se tamo dešava. Imao sam upit koji je svaki put čitao 200 GB. Vidio sam to zahvaljujući ovom interfejsu. Uhvatio i ispravio. I pokazalo se oko 30 GB, odnosno performanse na momente.
Hvala ti! I to je u OpenSourceu
Završio sam. I usput, u OpenSource je, besplatan je i ne morate ga ni preuzimati. Otvorite u pretraživaču i sve će raditi.
Vaša pitanja
Igore, šta je sledeće? Gdje ćete razviti ovaj alat?
Dashboard će se pojaviti sljedeće, tj. možda će se pojaviti nadzorna ploča. Integracija sa drugim bazama podataka. Ovo sam uradio, ali još nisam objavio na OpenSource-u. To je MySQL i možda PostgreSQL. Odnosno, biće moguće slati zahtjeve iz Tabixa ne samo ClickHouseu, već i drugim alatima.
Jasno je da je urađen ogroman posao. Ispostavilo se da je to prilično kompletna ideja. U pretraživaču je to učinjeno, očigledno, kako bi se isključile štake na bilo kojoj sjekiri i brzo bacila cijelu stvar. Čuo sam da jesi PHP radi, tako da je najlakši način da ubacite pretraživač i on će raditi svuda. Za ovo nema pitanja. Pitanje je. Tu je zaista mnogo urađeno. Koliko je ljudi radilo na tome? I koliko je sve to trajalo? Jer alati za sebe obično nemaju tako veliku funkcionalnost.
Jedna osoba iz našeg tima radila je od ljeta do jeseni. Ovo je bila prva verzija. Onda sam napravio 330 samo urezivanja. Šta vidite, moj kolega i ja smo to uradili na pola. Za 3 mjeseca od prve do posljednje verzije, uglavnom sam to radio sam. Ali ne poznajem baš najbolje Javascript. Ovo je bio moj jedini i nadam se posljednji Javascript projekat na kojem sam radio. Shvatio sam, pogledao sam - oh, užas. Ali stvarno sam želio da završim proizvod i to se dogodilo.
Hvala puno na izvještaju! Ovo je odličan alat. WITH tablo porediti?
Hvala ti. Zato ga je Tabix nazvao, jer su prva slova ista.
Zato što se takmičite?
Biće mnogo ulaganja, takmičićemo se.
Kako ponuditi na prodaju internim analitičarima ono što će ovaj alat u potpunosti zamijeniti *Tabela*? Šta će biti argumenti?
Nativno radi sa ClickHouse. Probao sam Tableau, ali tamo ne možeš napisati podršku za rječnike i slično. Znam kako ljudi rade sa Tabixom. Oni pišu zahtjev, uploaduju u CSV i uploaduju u BI. I već nešto rade. Ali teško mogu zamisliti kako to rade, jer je to grafički alat. Može učitati 5 redova, maksimalno 000 redova, ali ne više, inače pretraživač neće preživjeti.
Odnosno, postoje neka ozbiljna ograničenja u pogledu količine podataka, zar ne?
Da. Ne mogu da zamislim da želite da otpremite 10 redova u svoju tabelu na ekranu pretraživača. Za što?
Da li je zamišljeno da bude interfejs za brzi pregled podataka? Okrenuti malo, uvrnuti?
Da, brzo pogledajte kako funkcionira i samo napravite zbirni grafikon. I onda dajte negde. Imamo sopstveni sistem izveštavanja, odakle ja samo preuzimam ovaj zahtev. Ucrtavam u Tabixu i šaljem ga u našu reportažu.
I još jedno pitanje. Kohortna analiza?
Ako bude zahtjeva, dodaćemo.
Kada ste prvi put počeli koristiti ClickHouse, koliko je vremena trebalo za implementaciju clickhouse i dovođenje do stanja proizvodnje?
Kao što sam rekao, implementirali smo testni klaster u vrlo kratkom vremenu. Odmotali smo ga za dva dana. I testirali smo ga još nekoliko sedmica. I došli smo do proizvodnje za 3 mjeseca, ali smo imali svoj ETL, odnosno alat za snimanje podataka. I pisao nam je sve što je moguće. Može pisati u MongoDB, Cassandra, MySQL. Bilo je lako naučiti ga kako pisati u ClickHouseu. Imali smo gotovu infrastrukturu za brzu implementaciju. Za 3 mjeseca smo počeli izbacivati prvu komponentu. Za 6 mjeseci smo potpuno napustili sve ostalo. Ostao nam je jedan ClickHouse.
Igore, hvala ti puno na izvještaju. Stvarno mi se svidjela funkcionalnost izgradnje staza na kartama. Planirate li integraciju s Yandex.Maps-om, a posebno s prilagođenim Yandex.Maps-om?
Pokušao sam integrirati umjesto Google mape, ali nisam našao tamnu temu na Yandex.Maps. Izostavio sam jedan komad. Premotaću unazad da dodam.
Slajd - Google mapa. Ovdje postoji komanda "DRAW_GMAPS", koja crta mapu. Postoji komanda "DRAW_YMAPS", tj. može nacrtati Yandex.Map. Ali u stvari, pod ovom komandom je Javascript, odnosno podaci koje dobijete od ClickHouse-a mogu se prenijeti u Javascript, koji ovdje pišete. I imate izlazno područje gdje treba biti nacrtano. Možete nacrtati bilo koji grafikon, odnosno bilo koji grafikon, kartu, možete nacrtati svoju komponentu. Prije toga sam imao još jednu biblioteku za crtanje samih grafova.
Odnosno, postoji li alat za prilagođavanje funkcionalnosti ekrana?
Bilo koji. Možete uzeti i prebojiti ove točke, čineći ih ne crvenim, već plavim, zelenim.
Hvala na izvještaju! Imali ste slajd koji prikazuje alternativne alate za upite clickhouse za izradu nadzornih ploča, analitičkih izvještaja. Razumijem to u trenutku kada ste počeli da radite sa ClickHouse, za ove alate nisu napisani adapteri. I pitam se zašto ste odlučili napraviti svoj alat, umjesto da pišete adapter za neki gotov alat? Mislim da je podešavanje uređivača testova brzo. Zašto ste se odlučili za toliko posla?
Zanimljiv je takav momenat - činjenica je da sam ja tehnički direktor, a ne data science. Do trenutka kada smo počeli da implementiramo Druid, imao sam oko 50% zadataka u mapi puta - hajde da izračunamo ovo, ili da izračunamo ovo, ili da analiziramo ovo. I pokazalo se da smo implementirali ClickHouse. I počeo je brzo sve graditi, brojati, brzo zatvorio svoj putokaz. I do tada sam shvatio da mi nedostaje znanje o nauci o podacima, vizualizaciji podataka. Tabix je neka vrsta moje domaće zadaće za učenje vizualizacije podataka. Gledao sam kako da upotpunim Zeppelin. Malo mi se ne sviđa njegov program. Pogledao sam kako da dodam Redash, ali mi je bio dovoljan normalan editor. I SuperSet je takođe napisan na jeziku koji mi se baš i ne sviđa. I tako sam odlučio da vozim bicikl, i evo šta se desilo.
Igore, prihvataš li zahtjeve za povlačenjem?
Da.
Hvala puno na izvještaju! I dva pitanja. Prvo, niste baš laskavi javascript. Jeste li pisali u čistom Javascriptu ili je to neka vrsta okvira?*
Bolje na golom Javascriptu.
Pa kakav okvir?
Ugaoni.
To je jasno. I drugo pitanje. Jeste li razmislili R и *sjajno**?*
Razmatrano. Igrao.
Možete i samo napisati adapter.
On je. Čini se da je zajednica to uspjela, ali, kako sam odgovorio na prethodno pitanje, htio sam to i sam osjetiti.
* Ne, što se tiče vizualizacije, postoji.
Kažete da postoji takva stvar i to će vam nacrtati grafikon. Otvorio sam knjigu vizualizacije podataka. I pomislio sam: “Hajde da pokušamo vizualizirati ove podatke. Napisat ću ga sam kako bi mogao obnoviti podatke.” I počeo sam bolje razumijevati tehnologiju prijenosa podataka. A da sam uzeo gotovu komponentu, lično bih naučio kako da je lošije koristim, odnosno vizualizaciju. Ali tako - da, svidio mi se R, ali još nisam pročitao knjigu "R za lutke".
Hvala vam!
Jednostavno pitanje. Postoje li načini da se brzo istovari tanjir, grafikon?
Može se učitati u CSV, u Excel.
Ne podaci, već gotova tabela, gotov graf? Na primjer, da pokaže vlastima.
Postoji dugme "Pošalji" i postoji dugme "Pošalji grafikon u png, u jpg".
Hvala vam!
PS Mini tabix upute za instalaciju
- Preuzimanje
- Raspakujte, kopirajte direktorij
buildu nginx root_path - Postavite nginx
izvor: www.habr.com