Jeg foreslår at du leser utskriften av 2017-rapporten av Igor Stryhar "ClickHouse - visuelt rask og tydelig dataanalyse i Tabix."
Webgrensesnitt for ClickHouse i Tabix-prosjektet.
Nøkkelegenskaper:
- Fungerer med ClickHouse direkte fra nettleseren, uten behov for å installere ekstra programvare;
- Spørringsredigering med syntaksutheving;
- Autofullføring av kommandoer;
- Verktøy for grafisk analyse av utførelse av spørringer;
- Fargevalg å velge mellom.
Jeg er teknisk direktør for SMI2. Vi er en nyhetsutvekslingsaggregator. Vi lagrer mye data som vi mottar fra våre partnere og registrerer det i ClickHouse – ca 30 000 forespørsler per sekund.
Dette er data som:
- Klikker på nyheter.
- Nyheter vises i aggregatoren.
- Banner vises på nettverket vårt.
- Og vi registrerer hendelser fra vår egen skranke, som ligner på Yandex.Metrica. Dette er vår egen mikroanalyse.
Vi hadde et veldig hektisk liv før ClickHouse. Vi led mye, og prøvde å lagre disse dataene et sted og på en eller annen måte analysere dem.
Livet før ClickHouse – infiniDB
Det første vi hadde var infiniDB. Hun bodde hos oss i 4 år. Vi lanserte det med vanskeligheter.
- Den støtter ikke clustering eller sharding. Ingen slike smarte ting kom ut av esken som standard.
- Hun har problemer med å laste inn data. Bare et spesifikt konsollverktøy som bare kunne laste inn CSV-filer og bare på en veldig uklar måte.
- Databasen er entrådet. Du kan enten skrive eller lese. Men det gjorde det mulig å behandle en stor mengde data.
- Og hun hadde også en interessant krykke. Hver natt måtte serveren startes på nytt, ellers ville den ikke fungere.
Hun jobbet for oss til slutten av 2016, da vi gikk helt over til ClickHouse.
Livet før ClickHouse – Cassandra
Siden infiniDB var entråds, bestemte vi oss for at vi trengte en slags flertråds database der vi kunne skrive mange tråder samtidig.
Vi prøvde mye interessant. Så bestemte vi oss for å prøve Cassandra. Alt var bra med Cassandra. 10 000 forespørsler per sekund per bud. 2 forespørsler et sted for lesing.
Men hun hadde også sine egne interesser. En gang i måneden eller en gang annenhver måned opplevde hun en databasedesynkronisering. Og jeg måtte våkne og løpe for å fikse Cassandra. Serverne ble startet på nytt én etter én. Og alt ble glatt og vakkert.
Livet før ClickHouse – Druid
Da skjønte vi at vi trengte å skrive enda mer data. I 2016 begynte vi å se Druid.
Druid er en åpen kildekode-programvare skrevet i Java. Veldig spesifikk. Og det var egnet for clickstream, når vi trenger å lagre en slags strøm av hendelser og deretter utføre aggregering på dem eller lage analytiske rapporter.
Druid hadde versjon 0.9.X.
Selve databasen er svært vanskelig å distribuere. Dette er kompleksiteten til infrastrukturen. For å distribuere det var det nødvendig å installere mye, mye jern. Og hver maskinvare var ansvarlig for sin egen separate rolle.
For å laste data inn i den, var det nødvendig å bruke en slags sjamanisme. Det er et OpenSource-prosjekt - Tranquility, som mistet data fra oss i en strøm. Da vi lastet inn data i den, mistet den den.
Men på en eller annen måte begynte vi å implementere det. Vi, som pinnsvin som tok narkotika, men fortsatte å spise kaktus, begynte å introdusere det. Det tok oss omtrent en måned å forberede all infrastrukturen for det. Det vil si bestille servere, konfigurere roller og fullautomatisere distribusjon. Det vil si at i tilfelle en klyngefeil, vil den andre klyngen automatisk distribueres.
Men så skjedde et mirakel. Jeg var på ferie og kollegene mine sendte meg en link til , som sier at Yandex bestemte seg for å åpne ClickHouse. Jeg sier la oss prøve det.
Og bokstavelig talt på 2 dager implementerte vi en ClickHouse-testklynge. Vi begynte å laste inn data i den. Sammenlignet med infiniDB er dette elementært; sammenlignet med Druid er dette elementært. Sammenlignet med Cassandra er det også elementært. For hvis du laster data fra PHP inn i Cassandra, så er ikke dette elementært.
Hva fikk vi? Ytelse i hastighet. Ytelse i datalagring. Det vil si at mye mindre diskplass brukes. ClickHouse er raskt, det er veldig raskt sammenlignet med andre produkter.
På lanseringstidspunktet, da Yandex publiserte ClickHouse i OpenSource, var det bare en konsollklient. Vi i vårt firma SMI2 bestemte oss for å prøve å lage en innfødt klient for nettet, slik at vi kunne åpne en side fra en nettleser, skrive en forespørsel og få resultatet, fordi vi begynte å skrive mange forespørsler. Det er vanskelig å skrive i konsollen. Og vi laget vår første versjon.
Og et sted nærmere vinteren i fjor begynte tredjepartsverktøy for å jobbe med ClickHouse å dukke opp. Dette er verktøy som:
- .
- .
- . (Nå )
- .
- .
Jeg skal se på noen av disse verktøyene, det vil si de jeg har jobbet med.
Et godt verktøy, men for Druid. Da Druid ble implementert, testet jeg SuperSet. Jeg likte ham. For Druid er det veldig raskt.
Den er ikke egnet for ClickHouse. Det vil si at den passer, den starter, men er klar til å behandle bare elementære spørringer som: SELECT event, GROUP BY event. Den støtter ikke den mer komplekse ClickHouse-syntaksen.
Det neste verktøyet er Apache Zeppelin. Dette er en god og interessant ting. Virker. Den støtter bærbare datamaskiner, dashbord og støtter variabler. Jeg vet at noen i ClickHouse-fellesskapet bruker det.
Men det er ingen støtte for ClickHouse-syntaks, det vil si at du må skrive spørsmål enten i konsollen eller et annet sted. Deretter kontrollerer du at alt fungerer. Det er bare upraktisk. Men den har god dashbordstøtte.
Det neste verktøyet er Redash.IO. Redash er vert på Internett. Det vil si at i motsetning til tidligere verktøy, trenger det ikke å installeres. Og dette er et dashbord med muligheten til å konsolidere data fra forskjellige datakilder. Det vil si at du kan laste ned fra ClickHouse, fra MySQL, fra PostgreSQL og fra andre databaser.
For bare en måned siden (mars 2017) dukket det opp støtte i Grafana. Når du bygger rapporter i Grafana, for eksempel om tilstanden til maskinvaren din eller på noen beregninger, kan du nå bygge den samme grafen eller et slags panel fra data fra ClickHouse direkte. Dette er veldig praktisk, og vi bruker det selv. Dette lar deg finne anomalier. Det vil si at hvis noe skjer og noe maskinvare faller eller blir anstrengt, så kan du se på årsaken om disse dataene klarte å komme inn i ClickHouse.
Jeg syntes det var veldig vanskelig å skrive i disse verktøyene eller i konsollen. Og jeg bestemte meg for å forbedre vårt første grensesnitt. Og jeg fikk ideen fra EventSQL, SeperSet, Zeppelin.
Hva var det du ville? Jeg ønsket å få grafikk, en forbedret editor og implementere støtte for hintordbøker. Fordi ClickHouse har en flott funksjon - ordbøker. Men det er vanskelig å jobbe med ordbøker, fordi du må huske formatet på de lagrede verdiene, det vil si er det et tall eller en streng osv. Og siden vi ofte bruker ordbøker i de forskjellige variantene, var det ganske vanskelig å skrive spørringer.
3 måneder har gått siden utgivelsen av vår første versjon. Jeg foretok omtrent 330 forpliktelser til en privat filial, og det viste seg å være Tabix.
I motsetning til den forrige versjonen, som ble kalt ClickHouse-Frontend, bestemte jeg meg for å gi den et enkelt navn. Og det viste seg Tabix.
Hva dukket opp?
Tegner grafer. Støtter ClickHouse SQL-syntaks. Gir råd om funksjoner og kan gjøre mye interessant.
Slik ser den generelle Tabix-ordningen ut. Til venstre er et tre. I midten er spørringsredaktøren. Og nedenfor er resultatet av denne forespørselen.
Deretter skal jeg vise deg hvordan spørringsredigeringsprogrammet fungerer.
Her fungerer autofullføring automatisk på tabellen og ber følgelig autofullføring for feltene. Og tips om funksjoner. Hvis du trykker ctrl enter, vil forespørselen bli utført eller mislykkes med en feil. Den enkleste forespørselen sendes til Tabix og resultatet er oppnådd, det vil si at du raskt kan jobbe med ClickHouse.
Ordbøker, som jeg allerede har sagt, er en veldig interessant ting som vi jobber mye med. Og som tillot oss å gjøre mange ting. La oss si at vi lagrer alle byer i ordbøker. Vi lagrer byidentifikatoren og bynavnet, breddegrad og lengdegrad. Og i databasen lagrer vi kun byidentifikatoren. Følgelig komprimerer vi dataene veldig sterkt.
Dette ser ut til å være en enkel ting, men det hjelper i ClickHouse på en veldig interessant måte. På grunn av det faktum at ClickHouse kun støtter nestede sammenføyninger, vokser spørringen nedover og bred nok. Og når parentesen åpnes og et langt uttrykk kommer inn, så gjør noe så enkelt som å kollapse spørringen det lettere å jobbe med selve spørringen. For når søket er 200-300 linjer langt og veldig stort i bredden, er det veldig nyttig å kollapse søket og deretter finne et sted eller på en eller annen måte lokalisere det.
Objekttre, multiqueries og faner (Video 13:46 )
Deretter skal jeg vise deg om treet og fanene. Til venstre er et tre, på toppen kan du lage flere faner. Faner er som et arbeidsområde. Du kan opprette flere faner og navngi hver enkelt forskjellig. Det er som et minisystem for å bygge en rapport.
Faner lagres automatisk. Hvis du starter nettleseren på nytt eller lukker eller åpner Tabix, vil alt dette lagres.
Hurtigtast - praktisk (Video 14:39 )
Det er hurtigtaster og det er ganske mange av dem. Jeg har hentet ut noen av dem her som et eksempel. Dette er å bytte fane, utføre en forespørsel eller utføre flere forespørseler.
Jeg skal vise deg hvordan du jobber med resultatet. Vi sender en forespørsel. Her tegner jeg synd, cos og tg. Du kan markere resultatet, dvs. tegne et typisk kart for en kolonne. Du kan fremheve positive eller negative verdier. Eller ganske enkelt fargelegg et spesifikt bordelement. Dette er praktisk når bordet er stort og du trenger å finne en anomali med øynene. Da jeg lette etter anomalier, fremhevet jeg noen linjer, noen elementer i grønt eller rødt.
Det er mye interessant der. For eksempel hvordan kopiere til Redmine Markdown. Hvis du trenger å kopiere resultatet et sted, er dette veldig praktisk. Du kan ganske enkelt velge et område, si "Kopier til Redmine", og det vil kopiere til Redmine Markdown eller opprette en Where-spørring.
Neste er søkeoptimalisering. Jeg glemte en gang å spesifisere "dato"-feltet. Og forespørselen min i ClickHouse ble ikke behandlet veldig, veldig raskt, men raskt, dvs. mindre enn et sekund. Da jeg så hvor mange linjer han løp gjennom, ble jeg redd. Vi skriver ikke så mange rader til denne tabellen på en dag. Jeg begynte å analysere forespørselen og så at jeg hadde gått glipp av en date på ett sted. Det vil si at jeg glemte å angi at jeg ikke trenger data for hele tabellen, men for en bestemt periode.
Tabix har en "Stats"-fane, som lagrer hele historikken for sendte forespørsler, dvs. der kan du se hvor mange linjer som ble lest av denne forespørselen og hvor lang tid det tok å utføre. Dette tillater optimalisering.
Du kan bygge en pivottabell over søkeresultatet. Du sendte en forespørsel til ClickHouse og mottok noen data. Og så kan du flytte disse dataene med musen og bygge en slags pivottabell.
Den neste interessante tingen er plotting. La oss si at vi har følgende forespørsel: for sin, cos fra 0 til 299. Og for å tegne den, må du velge "Tegn"-fanen og du vil få en graf med sin sin og cos.
Du kan dele dette opp i forskjellige akser, dvs. du kan tegne to grafer side ved side samtidig. Skriv en kommando og en annen kommando.
Du kan tegne histogrammer.
Du kan dele dette ned i en matrise med grafer.
Du kan bygge et varmekart.
Du kan bygge en termisk kalender. Forresten, dette er en veldig praktisk ting når du trenger å analysere anomalier over et år, dvs. finne enten pigger eller dråper. Denne datavisualiseringen hjalp meg med dette.
Neste er Treemap.
Sankeys er et interessant diagram. Han er enten Streamgrahps eller River. Men jeg kaller det River. Det lar deg også se etter eventuelle uregelmessigheter. Det er veldig behagelig. Jeg anbefaler å bruke den til søk.
Den neste interessante tingen er å tegne et dynamisk kart. Hvis du lagrer breddegrad, lengdegrad i databasen din og for eksempel lagrer en destinasjon, hvis du for eksempel har lastebiltransport eller fly som flyr, så kan du tegne destinasjonsstier. Også der kan du stille inn hastigheten og størrelsen på disse objektene de flyr inn i.
Men problemet med dette kartet er at det bare tegner et kart over verden, det er ingen detaljer.
Senere la jeg til Google map. Hvis du lagrer breddegrad, lengdegrad, kan du tegne resultatet på Google map, men uten flystøtte.
Vi har diskutert hovedfunksjonene ved å jobbe med resultater og spørringer i Tabix.
Den neste er en analyse av ClickHouse-serveren din. Det er en egen "Metrics"-fane, der du kan se størrelsen på de lagrede dataene for hver kolonne. Skjermbildet viser at dette "henviser"-feltet tar opp omtrent 730 Gb. Hvis vi forlater dette feltet, sparer vi tre shards på 700 GB, det vil si omtrent 2 TB, som vi ikke trenger.
Vi har også et "request_id"-felt som vi lagrer i en streng. Men hvis vi begynner å lagre det i numerisk form, vil dette feltet krympe enormt.
Den viser også serverkonfigurasjonen og en liste over noder i klyngen din.
Den neste fanen er beregninger. De kommer inn i sanntid med ClickHouse og lar deg ganske enkelt analysere tilstanden til serveren og forstå hva som skjer med den. Dette er ikke en erstatning for full Grafana. Dette er nødvendig for rask analyse.
Den neste fanen er prosesser. Fra dem kan du forstå hva som skjer på serveren. Forstå hva som skjer der. Jeg hadde en forespørsel som forbrukte 200 GB lesing hver gang. Jeg så dette takket være dette grensesnittet. Jeg tok ham og korrigerte ham. Og det viste seg å være ca 30 GB, altså en ytelse til tider.
Takk skal du ha! Og det er i OpenSource
Jeg er ferdig. Og forresten, det er OpenSource, det er gratis og du trenger ikke engang å laste det ned. Åpne den i en nettleser og alt vil fungere.
spørsmål
Igor, hva er det neste? Hvor vil du utvikle dette verktøyet?
Deretter vises dashboards, det vil si kanskje dashboards. Integrasjon med andre databaser. Jeg gjorde dette, men har ennå ikke publisert det i OpenSource. Dette er MySQL og muligens PostgreSQL. Det vil si at det vil være mulig å sende forespørsler fra Tabix ikke bare til ClickHouse, men også til andre verktøy.
Det er tydelig at det er gjort et enormt arbeid. Det viste seg å være en ganske komplett idé. Dette ble gjort i nettleseren, tilsynelatende, for å eliminere krykker på alle slags akser og raskt kaste det hele sammen. Jeg hørte at du er på php fungerer, så den enkleste måten er å skrive det i nettleseren, og det vil fungere overalt. Det er ingen spørsmål om dette. Spørsmålet er dette. Det er virkelig gjort mye der. Hvor mange har jobbet med dette? Og hvor lang tid tok det hele? Fordi tilpassede verktøy vanligvis ikke har så mye funksjonalitet.
En person fra vårt team jobbet fra sommer til høst. Dette var den første versjonen. Så gjorde jeg 330 commits alene. Det du ser, min kollega og jeg gjorde det i to. På 3 måneder, fra den aller første versjonen til den siste, gjorde jeg det stort sett alene. Men jeg kan ikke Javascript så godt. Dette var mitt eneste og, håper jeg, mitt siste Javascript-prosjekt jeg jobbet med. Jeg skjønte det, jeg så - å, skrekk. Men jeg ønsket virkelig å fullføre produktet, og dette er hva som skjedde.
Tusen takk for rapporten! Dette er et flott verktøy. MED Tableau Har du sammenlignet?
Takk skal du ha. Det er derfor jeg kalte den Tabix, fordi de første bokstavene er de samme.
Fordi du konkurrerer?
Det blir mye satsing, vi skal konkurrere.
Hvordan kan du tilby å selge til interne analytikere som dette verktøyet vil erstatte fullstendig *Tableau*? Hva blir argumentene?
Fungerer naturlig med ClickHouse. Jeg prøvde Tableau, men du kan ikke skrive støtte for ordbøker og lignende der. Jeg vet hvordan folk jobber med Tabix. De skriver en spørring, laster den opp til CSV og laster den opp til BI. Og de gjør allerede noe der. Men jeg har vanskelig for å forestille meg hvordan de gjør dette, for det er et grafisk verktøy. Den kan laste ut 5 rader, maksimalt 000 rader, men ikke mer, ellers vil ikke nettleseren takle det.
Det vil si at det er noen alvorlige begrensninger på mengden data, ikke sant?
Ja. Jeg kan ikke forestille meg at du vil laste opp 10 000 rader til tabellen din til nettleserskjermen. For hva?
Betyr dette at dette er et grensesnitt for rask visning av data? Vri det litt, vri det?
Ja, se raskt hvordan det fungerer og bare bygg en oppsummeringsgraf. Og så gi den et sted. Vi har vårt eget rapporteringssystem, hvor jeg rett og slett tar denne forespørselen. Jeg tegner inn Tabix og sender til vår rapportering.
Og et annet spørsmål. Kohortanalyse?
Hvis det er noen forespørsler, legger vi det til.
Når begynte du å bruke det? ClickHouse, hvor lang tid tok implementeringen? ClickHouse og bringe til produksjonstilstand?
Som sagt implementerte vi en testklynge på veldig kort tid. Vi distribuerte den på to dager. Og vi testet den i et par uker til. Og vi nådde produksjonen på 3 måneder. Men vi hadde vår egen ETL, det vil si et verktøy for å registrere data. Og han skrev i alt han kunne. Han kan skrive i MongoDB, Cassandra, MySQL. Det var lett å lære ham å skrive i ClickHouse. Vi hadde en ferdig infrastruktur for rask implementering. I løpet av 3 måneder begynte vi å kaste ut den første komponenten. På 6 måneder forlot vi alt annet. Vi har bare ett ClickHouse igjen.
Igor, tusen takk for rapporten. Jeg likte veldig godt funksjonaliteten ved å bygge stier ved hjelp av kart. Er det noen planer for integrasjon med Yandex.Maps og spesielt med tilpassede Yandex.Maps?
Jeg prøvde å integrere i stedet for Google map, men jeg fant ikke et mørkt tema på Yandex.Maps. Jeg fortalte deg ikke ett stykke. Jeg spoler tilbake for å legge til.
Lysbilde – Google map. Det er en kommando "DRAW_GMAPS", som tegner et kart. Det er en kommando "DRAW_YMAPS", det vil si at den kan tegne et Yandex.Map. Men faktisk, under denne kommandoen er det Javascript, det vil si at dataene du mottar fra ClickHouse kan overføres til Javascript, som du skriver her. Og du har et utdataområde der det skal tegnes. Du kan tegne hvilken som helst graf, dvs. hvilken som helst graf, kart, du kan tegne din egen komponent. Før dette hadde jeg et annet bibliotek for å tegne selve grafene.
Det vil si, finnes det et verktøy for å tilpasse skjermfunksjonaliteten?
Noen. Du kan ta og farge disse prikkene på nytt, slik at de ikke blir røde, men blå, grønne.
Takk for rapporten! Du hadde et lysbilde som presenterte alternative søkeverktøy ClickHouse for å bygge dashbord og analytiske rapporter. Jeg forstår det i det øyeblikket du begynte å jobbe med ClickHouse, ingen adaptere er skrevet for disse verktøyene. Og jeg lurer på hvorfor du bestemte deg for å lage ditt eget verktøy, i stedet for å skrive en adapter for et eller annet ferdig verktøy? Jeg tror det er raskt å justere testredigeringsprogrammet. Hvorfor bestemte du deg for å gjøre så mye arbeid?
Det er et interessant poeng her - faktum er at jeg er en teknisk direktør, ikke en dataforsker. Da vi begynte å implementere Druid, hadde veikartet mitt omtrent 50 % av oppgavene – la oss beregne dette, eller la oss beregne dette, eller analysere dette. Og det viste seg at vi implementerte ClickHouse. Og han begynte raskt å bygge alt, telle og lukket raskt veikartet sitt. Og på den tiden innså jeg at jeg manglet kunnskap innen datavitenskap og datavisualisering. Tabix er en slags lekser for å lære datavisualisering. Jeg så på hvordan jeg skulle utfylle Zeppelin. Jeg har en liten motvilje mot programmeringen hans. Redash Jeg så på hvordan jeg skulle legge det til, men en vanlig editor var nok for meg. Og SuperSet er også skrevet på et språk jeg egentlig ikke liker. Så jeg bestemte meg for å sykle, og dette er hva som skjedde.
Igor, godtar du Pull-forespørsler?
Ja.
Tusen takk for rapporten! Og to spørsmål. For det første snakker du ikke veldig smigrende om Javascript. Skrev du i bare Javascript eller er det en slags rammeverk?*
Bedre i bare Javascript.
Så hvilket rammeverk?
Kantete.
Det er klart. Og det andre spørsmålet. Har du vurdert R и *Skinnende**?*
Vurderte det. Spilt.
Du kan også bare skrive en adapter.
Han er. Det virker som om fellesskapet klarte det, men da jeg svarte på det forrige spørsmålet, ønsket jeg å prøve det selv.
*Nei, angående visualisering, den er der også.
Du sier at det er noe slikt, og det vil tegne deg en graf. Jeg åpnet en bok om datavisualisering. Og jeg tenkte: «La meg prøve å visualisere disse dataene. Jeg skal skrive til ham slik at han kan gjenoppbygge dataene." Og jeg begynte å forstå datamatingsteknologien bedre. Og hvis jeg hadde tatt en ferdig komponent, ville jeg personlig ha lært verre å bruke den, altså visualisering. Men ja, jeg likte R, men jeg har ikke lest boken «R for Dummies» ennå.
Takk!
Enkelt spørsmål. Er det noen måter å raskt laste opp et skilt eller tidsplan?
Kan lastes opp til CSV eller Excel.
Ikke data, men en ferdig plate, en ferdig graf? For eksempel for å vise sjefen.
Det er en knapp "Last opp" og det er en knapp "Last opp graf i png, i jpg".
Takk!
PS Mini-instruksjoner for installasjon av tabix
- nedlasting
- Pakk ut, kopier katalogen
buildi nginx root_path - Konfigurer nginx
Kilde: www.habr.com