Jeg foreslår, at du gør dig bekendt med udskriften af 2017-rapporten af Igor Strykhar "ClickHouse - Visuel hurtig og visuel dataanalyse i Tabix".
Webgrænseflade til ClickHouse i Tabix-projektet.
Nøglefunktioner:
- Fungerer med ClickHouse direkte fra browseren, uden behov for at installere yderligere software;
- Forespørgselseditor med syntaksfremhævning;
- Kommandofuldførelse;
- Værktøjer til grafisk analyse af udførelse af forespørgsler;
- Farveskemaer at vælge imellem.
Jeg er teknisk direktør for media2. Vi er en nyhedsudvekslingsaggregator. Vi gemmer en masse data, som vi modtager fra vores partnere og registrerer dem i ClickHouse – omkring 30 forespørgsler i sekundet.
Det er data som:
- Nyhedsklik.
- Viser nyheder i aggregatoren.
- Viser bannere i vores netværk.
- Og vi registrerer begivenheder fra vores egen tæller, som ligner Yandex.Metrics. Dette er vores egen mikroanalyse.
Vi havde et meget hektisk liv før ClickHouse. Vi led meget, da vi prøvede at gemme disse data et sted og på en eller anden måde analysere dem.
Livet før ClickHouse - infiniDB
Det første vi havde var infiniDB. Hun boede hos os i 4 år. Vi lancerede det med besvær.
- Det understøtter ikke clustering eller sharding. Hun startede ikke sådan nogle smarte ting ud af boksen som standard.
- Hun har problemer med at indlæse data. Kun et specifikt konsolværktøj, der kun kunne indlæse CSV-filer og var på en eller anden måde meget uforståeligt.
- Databasen er enkelttrådet. Du kan enten skrive eller læse. Men det gjorde det muligt at behandle en stor mængde data.
- Og hun havde også en interessant krykke. Hver nat var det nødvendigt at genstarte serveren, ellers ville den ikke virke.
Hun arbejdede hos os indtil slutningen af 2016, hvor vi helt skiftede til ClickHouse.
Livet før ClickHouse - Cassandra
Da infiniDB var single-threaded, besluttede vi, at vi havde brug for en slags multi-threaded database, hvori vi kunne skrive en masse tråde på samme tid.
Vi prøvede mange interessante ting. Så besluttede vi at prøve Cassandra. Alt var fantastisk med Cassandra. 10 anmodninger pr. sekund pr. indsats. 000 forespørgsler et eller andet sted om at læse.
Men hun havde også sine egne interesser. En gang om måneden eller hver anden måned havde hun en database ude af sync. Og jeg var nødt til at vågne op og løbe for at ordne Cassandra. Genstartede serverne én efter én. Og alt blev glat og smukt.
Livet før ClickHouse – Druid
Så indså vi, at vi er nødt til at skrive endnu flere data. I 2016 begyndte vi at se Druid.
Druid er en åben base skrevet i Java. Meget specifik. Og det passede til clickstream, når vi skal gemme en form for strøm af begivenheder og derefter samle dem eller lave analytiske rapporter.
Druid havde version 0.9.X.
Selve databasen er meget svær at implementere. Dette er kompleksiteten af infrastrukturen. For at implementere det var det nødvendigt at lægge en masse jern. Og hvert jern var ansvarlig for sin separate rolle.
For at indlæse data i det var det nødvendigt at anvende en form for shamanisme. Der er et OpenSource-projekt - Tranquility, som mistede data fra os i strømmen. Da vi indlæste data i den, mistede den dem.
Men på en eller anden måde begyndte vi at implementere det. Vi, ligesom pindsvin, der sprøjtede sig selv, men fortsatte med at spise kaktussen, begyndte at introducere den. Det tog os omkring en måned at forberede hele infrastrukturen til det. Det vil sige bestille servere, opsætte roller og fuldautomatisere udrulningen. Det vil sige i tilfælde af et klyngefald, således at den anden klynge automatisk udsættes.
Men så skete der et mirakel. Jeg var på ferie, og mine kolleger sendte mig et link til , som siger, at Yandex besluttede at åbne ClickHouse. Jeg siger, lad os prøve.
Og bogstaveligt talt på 2 dage implementerede vi en ClickHouse-testklynge. Vi begyndte at indlæse data i den. Sammenlignet med infiniDB er dette elementært; sammenlignet med Druid er dette elementært. Sammenlignet med Cassandra er det også elementært. For hvis du indlæser data fra php i Cassandra, så er dette ikke elementært.
Hvad fik vi? Ydeevne i hastighed. Ydeevne i datalagring. Det vil sige, at der bruges meget mindre diskplads. ClickHouse er hurtigt, det er meget hurtigt sammenlignet med andre produkter.
På tidspunktet for lanceringen, da Yandex udgav ClickHouse i OpenSource, var der kun en konsolklient. Vi i vores virksomhed SMI2 besluttede at prøve at lave en native klient til nettet, så du kan åbne en side fra en browser, skrive en anmodning og få resultatet, fordi vi begyndte at skrive en masse anmodninger. Det er svært at skrive til konsollen. Og vi lavede vores første version.
Og et sted tættere på vinteren sidste år begyndte tredjepartsværktøjer til at arbejde med ClickHouse at dukke op. Det er værktøjer som:
- .
- .
- . (Nu )
- .
- .
Jeg vil gennemgå nogle af disse værktøjer, altså dem jeg har arbejdet med.
Godt værktøj, men til Druid. Da Druid blev introduceret, følte jeg mig SuperSet. Jeg kunne godt lide ham. For en Druid virker det meget hurtigt.
Den er ikke egnet til ClickHouse. Det vil sige, det passer, det starter, men det er klar til kun at behandle elementære forespørgsler som: SELECT begivenhed, GROUP BY begivenhed. Det understøtter ikke den mere komplekse ClickHouse-syntaks.
Det næste værktøj er Apache Zeppelin. Det er en god og interessant ting. Arbejder. Det understøtter notebooks, dashboards, understøtter variabler. Jeg ved, at nogen fra ClickHouse-fællesskabet bruger det.
Men der er ingen understøttelse af ClickHouse-syntaksen, dvs. du bliver nødt til at skrive forespørgsler enten i konsollen eller et andet sted. Dernæst skal du kontrollere, at det hele fungerer. Det er bare ubelejligt. Men han har god støtte til dashboarding.
Det næste værktøj er Redash.IO. Redash er hostet på internettet. Det vil sige, at det i modsætning til tidligere værktøjer ikke skal installeres. Og dette er sådan et dashboard med mulighed for at konsolidere data fra forskellige datakilder. Det vil sige, at du kan uploade fra ClickHouse, fra MySQL, fra PostgreSQL og fra andre databaser.
For bare en måned siden (i marts 2017) dukkede support op i Grafana. Når du bygger rapporter i Grafana, for eksempel i henhold til din hardwares tilstand eller ifølge nogle målinger, kan du nu bygge den samme graf eller en form for panel fra data fra ClickHouse direkte. Det er meget praktisk, og vi bruger det derhjemme. Dette giver dig mulighed for at finde anomalier. Det vil sige, hvis der sker noget, og noget hardware falder eller belaster, så kan du se årsagen, hvis det er lykkedes disse data at komme ind i ClickHouse.
Det var meget ubehageligt for mig at skrive i disse værktøjer eller i konsollen. Og jeg besluttede at færdiggøre vores første grænseflade. Og jeg spionerede ideen fra EventSQL, SeperSet, Zeppelin.
Hvad vil du have? Jeg ønskede at få grafik, en forbedret editor, implementere støtte til tipordbøger. Fordi ClickHouse har en fantastisk funktion - det er ordbøger. Men det er svært at arbejde med ordbøger, fordi du skal huske formatet på de lagrede værdier, det vil sige er det et tal eller en streng osv. Og da vi ofte bruger ordbøger i deres forskellige varianter, var det ret svært at skrive forespørgsler.
Det er 3 måneder siden udgivelsen af vores første version. Jeg lavede omkring 330 commits til en lukket filial og fik Tabix.
I modsætning til den tidligere version, som blev kaldt ClickHouse-Frontend, besluttede jeg at omdøbe den til et simpelt navn. Og det viste sig Tabix.
Hvad er dukket op?
Tegner grafik. Understøtter ClickHouse SQL-syntaks. Fortæller om funktioner og ved, hvordan man laver en masse interessante ting.
Sådan ser det generelle layout af Tabix ud. Til venstre er et træ. I midten er forespørgselseditoren. Og nedenfor er resultatet af denne forespørgsel.
Dernæst vil jeg vise, hvordan forespørgselseditoren fungerer.
Her fungerede autofuldførelse automatisk på tabellen og prompter henholdsvis autofuldførelse efter felter. Og funktionstip. Hvis du trykker på ctrl enter, vil anmodningen blive udført eller falde ned med en fejl. Den enkleste anmodning sendes til Tabix og resultatet er opnået, det vil sige, at du hurtigt kan arbejde med ClickHouse.
Ordbøger er som sagt en meget interessant ting, som vi arbejder meget med. Og som tillod mange ting at blive gjort. Antag, at vi gemmer alle byer i ordbøger. Vi gemmer byens identifikator og bynavn, dens bredde- og længdegrad. Og i databasen gemmer vi kun byens id. Derfor komprimerer vi dataene meget kraftigt.
Dette ser ud til at være en simpel ting, men i ClickHouse hjælper det på en meget interessant måde. På grund af det faktum, at ClickHouse kun understøtter indlejrede joinforbindelser, vokser forespørgslen ned og bred nok. Og når parentesen åbner, og der går et eller andet langt udtryk, så gør sådan en ret simpel ting som forespørgselsfoldning det nemmere at arbejde med selve forespørgslen. For når en forespørgsel er 200-300 linjer bred, og den er meget stor, sparer den meget ved at folde forespørgslen og derefter finde et sted eller på en eller anden måde lokalisere den.
Objekttræ, multiforespørgsler og faner (Video 13:46 )
Næste vil jeg vise dig om træet, faner. Til venstre er et træ, øverst kan du oprette flere faner. Faner er som et arbejdsområde. Du kan oprette flere faner og navngive hver enkelt forskelligt. Det er som et minisystem til at lave en rapport.
Faner gemmes automatisk. Hvis du genstarter din browser, eller lukker eller åbner Tabix, vil det hele blive gemt.
Genvejstast er praktisk (Video 14:39 )
Der er genvejstaster, og der er mange af dem. Jeg har inkluderet nogle af dem her som et eksempel. Dette er et faneskift, udfør en anmodning, eller udfør flere anmodninger.
Jeg viser dig, hvordan du arbejder med resultatet. Vi sender en anmodning. Her tegner jeg synd, cos og tg. Du kan fremhæve resultatet, dvs. tegne et typisk kort for en kolonne. Du kan fremhæve positive eller negative værdier. Eller bare farve et bestemt element i bordet. Dette er praktisk, når bordet er stort, og du skal finde en form for anomali med dine øjne. Da jeg ledte efter anomalier, fremhævede jeg nogle linjer, nogle elementer i grønt eller rødt.
Der er mange interessante ting der. For eksempel hvordan man kopierer i Redmine Markdown. Hvis du skal kopiere resultatet et sted, er det meget praktisk. Du kan bare vælge et område, sige "Kopier til Redmine", og det vil kopiere til Redmine Markdown eller oprette en Where-forespørgsel.
Det næste er forespørgselsoptimering. Jeg glemte engang at angive "dato"-feltet. Og min anmodning i ClickHouse blev behandlet ikke meget, meget hurtigt, men hurtigt, det vil sige mindre end et sekund. Da jeg så, hvor mange linjer han løb igennem, blev jeg bange. Vi skriver ikke så mange rækker i denne tabel på en dag. Jeg begyndte at analysere anmodningen og så, at jeg gik glip af en date ét sted. Det vil sige, at jeg glemte at angive, at jeg ikke har brug for data for hele tabellen, men for en bestemt periode.
Tabix har en "Stats"-fane, som gemmer hele historikken for sendte anmodninger, dvs. der kan du se, hvor mange rækker der blev læst af denne anmodning, og hvor lang tid det tog at køre. Dette giver mulighed for optimering.
Du kan bygge en pivottabel over forespørgselsresultatet. Du sendte en anmodning til ClickHouse og modtog nogle data. Og så kan disse data trækkes med musen og bygge en slags pivottabel.
Den næste interessante ting er grafer. Lad os sige, at vi har følgende anmodning: for sin, cos fra 0 til 299. Og for at tegne det, skal du vælge fanen "Tegn", og du vil få en graf med din sin og cos.
Du kan opdele det i forskellige akser, dvs. du kan tegne to grafer på én gang side om side. Skriv en kommando og den anden kommando.
Du kan tegne histogrammer.
Du kan opdele det i en matrix af grafer.
Du kan bygge et varmekort.
Du kan bygge en termisk kalender. Forresten en meget praktisk ting, når du skal analysere anomalier i et år, dvs. finde enten udbrud eller fald. Denne datavisualisering hjalp mig med dette.
Den næste er Treemap.
Sankeys er et interessant diagram. Han er enten Streamgrahps eller River. Men jeg kalder det River. Det giver dig også mulighed for at lede efter eventuelle anomalier. Det er meget behageligt. Jeg anbefaler at bruge det til søgning.
Den næste interessante ting er gengivelsen af det dynamiske kort. Hvis du har latitude, longitude gemt i din database og der f.eks. gemmes en aftale, hvis du f.eks har lastbilkørsel eller flyver, så kan du tegne destinationsstier. Også der kan du indstille hastigheden, størrelsen af disse objekter, hvor de ankommer.
Men problemet med dette kort er, at det kun tegner et kort over verden, der er ingen detaljer.
Senere tilføjede jeg et Google-kort. Hvis du gemmer breddegrad, længdegrad, så kan du tegne resultatet på et Google-kort, men uden flystøtte.
Vi diskuterede hovedfunktionerne ved at arbejde med resultatet med en forespørgsel i Tabix.
Den næste er analysen af din ClickHouse-server. Der er en separat "Metrics"-fane, hvor du kan se størrelsen af de lagrede data for hver kolonne. Skærmbilledet viser, at dette "henviser"-felt fylder noget i størrelsesordenen 730 Gb. Hvis vi nægter dette felt, sparer vi tre 700 GB shards, det vil sige omkring 2 TB, som vi ikke har brug for.
Vi har også et "request_id" felt, som vi gemmer i en streng. Men hvis vi begynder at gemme det i numerisk form, så vil dette felt blive kolossalt komprimeret.
Den viser også serverkonfigurationen og listen over noder i din klynge.
Den næste fane er metrics. De kommer ind i realtid fra ClickHouse og giver dig simpelthen mulighed for at analysere serverens tilstand og forstå, hvad der sker med den. Dette er ikke en erstatning for den fuldgyldige Grafana. Dette er nødvendigt for hurtigt at kunne analysere.
Den næste fane er processer. Fra dem kan du forstå, hvad der sker på serveren. Forstå hvad der foregår der. Jeg havde en forespørgsel, der tog 200 GB at læse hver gang. Jeg så det takket være denne grænseflade. Fangede det og rettede det. Og det blev til omkring 30 GB, altså ydelse til tider.
Tak skal du have! Og det er i OpenSource
Jeg er færdig. Og forresten, det er i OpenSource, det er gratis, og du behøver ikke engang at downloade det. Åbn i en browser og alt vil virke.
R'RѕRїSЂRѕSЃS <
Igor, hvad er det næste? Hvor vil du udvikle dette værktøj?
Dashboarding vises derefter, dvs. måske dashboarding vises. Integration med andre databaser. Dette har jeg gjort, men har endnu ikke udgivet til OpenSource. Det er MySQL og muligvis PostgreSQL. Det vil sige, at det vil være muligt at sende anmodninger fra Tabix ikke kun til ClickHouse, men også til andre værktøjer.
Det er tydeligt, at der er blevet gjort et kæmpe arbejde. Det viste sig at være en ganske komplet idé. I browseren blev det tilsyneladende gjort for at udelukke krykker på eventuelle akser og hurtigt smide det hele. Det har jeg hørt, at du er php arbejde, så den nemmeste måde er at smide browseren ind, og den vil virke overalt. Der er ingen spørgsmål til dette. Spørgsmålet er. Der er virkelig blevet gjort meget der. Hvor mange mennesker arbejdede på det? Og hvor lang tid tog det hele? Fordi værktøjer til sig selv normalt ikke har så stor funktionalitet.
En person fra vores team arbejdede fra sommer til efterår. Dette var den første version. Så foretog jeg 330 commits alene. Hvad du ser, gjorde min kollega og jeg det halvt. I 3 måneder fra den allerførste version til den sidste gjorde jeg det for det meste alene. Men jeg kender ikke Javascript så godt. Dette var mit eneste og forhåbentlig sidste Javascript-projekt, jeg arbejdede på. Jeg fik det, jeg så - åh, rædsel. Men jeg ville virkelig gerne færdiggøre produktet, og det er, hvad der skete.
Mange tak for rapporten! Dette er et fantastisk værktøj. MED Tableau sammenlignet?
Tak skal du have. Det er derfor Tabix navngav det, fordi de første bogstaver er de samme.
Fordi du konkurrerer?
Der vil være mange investeringer, vi vil konkurrere.
Sådan tilbyder du at sælge til interne analytikere, hvad dette værktøj helt vil erstatte *Tableau*? Hvad vil argumenterne være?
Fungerer indbygget med ClickHouse. Jeg prøvede Tableau, men der kan man ikke skrive support til ordbøger og lignende. Jeg ved, hvordan folk arbejder med Tabix. De skriver en anmodning, uploader til CSV og uploader til BI. Og de gør allerede noget. Men jeg kan næsten ikke forestille mig, hvordan de gør det, for det er et grafisk værktøj. Den kan uploade 5 linjer, maksimalt 000 linjer, men ikke mere, ellers vil browseren ikke overleve.
Det vil sige, at der er nogle alvorlige begrænsninger på mængden af data, ikke?
Ja. Jeg kan ikke forestille mig, at du vil uploade 10 rækker til din tabel på browserskærmen. For hvad?
Er det meningen, at det skal være en grænseflade til et hurtigt overblik over dataene? Snurre lidt, drej?
Ja, se hurtigt, hvordan det virker, og opbyg bare et oversigtsdiagram. Og så give et sted. Vi har vores eget rapporteringssystem, hvorfra jeg bare tager denne anmodning. Jeg tegner i Tabix og sender det til vores rapportering.
Og endnu et spørgsmål. Kohorteanalyse?
Hvis der er ønsker, tilføjer vi.
Da du først begyndte at bruge ClickHouse, hvor lang tid tog det at implementere klikhus og bringe til produktionstilstande?
Som sagt implementerede vi en testklynge på meget kort tid. Vi pakkede den ud på to dage. Og vi testede det i et par uger mere. Og vi nåede produktion på 3 måneder, men vi havde vores egen ETL, altså et værktøj til at registrere data. Og han skrev til os i alt, hvad der er muligt. Han kan skrive i MongoDB, Cassandra, MySQL. Det var nemt at lære ham at skrive i ClickHouse. Vi havde en færdiglavet infrastruktur til hurtig implementering. I 3 måneder begyndte vi at smide den første komponent ud. I 6 måneder opgav vi fuldstændigt alt andet. Vi har et ClickHouse tilbage.
Igor, mange tak for rapporten. Jeg kunne virkelig godt lide funktionaliteten ved at bygge stier på kort. Planlægger du at integrere med Yandex.Maps og i særdeleshed med brugerdefinerede Yandex.Maps?
Jeg forsøgte at integrere i stedet for Google map, men jeg fandt ikke et mørkt tema på Yandex.Maps. Jeg udelod et stykke. Jeg spoler tilbage for at tilføje.
Slide - Google map. Her er der en kommando "DRAW_GMAPS", som tegner et kort. Der er en "DRAW_YMAPS" kommando, dvs. den kan tegne et Yandex.Map. Men faktisk ligger Javascript under denne kommando, det vil sige, at de data, du får fra ClickHouse, kan overføres til Javascript, som du skriver her. Og du har et outputområde, hvor det skal tegnes. Du kan tegne ethvert diagram, dvs. ethvert diagram, kort, du kan tegne din egen komponent. Før det havde jeg et andet bibliotek til at tegne selve graferne.
Det vil sige, er der et værktøj til at tilpasse skærmfunktionaliteten?
Nogen. Du kan tage og omfarve disse punkter, så de ikke bliver røde, men blå, grønne.
Tak for rapporten! Du havde et dias med alternative forespørgselsværktøjer klikhus til opbygning af dashboards, analytiske rapporter. Det forstår jeg i det øjeblik, hvor du begyndte at arbejde med ClickHouse, ingen adaptere blev skrevet til disse værktøjer. Og jeg undrer mig over, hvorfor du besluttede dig for at lave dit eget værktøj, i stedet for at skrive en adapter til et eller andet færdiglavet værktøj? Jeg synes, det er hurtigt at justere testeditoren. Hvorfor valgte du at lave så meget arbejde?
Der er et interessant sådant øjeblik - faktum er, at jeg er teknisk direktør og ikke dataforsker. Da vi begyndte at implementere Druid, havde jeg omkring 50% af opgaverne i køreplanen - lad os beregne dette, eller lad os beregne dette, eller analysere dette. Og det viste sig, at vi implementerede ClickHouse. Og han begyndte hurtigt at bygge alt, tælle, lukkede hurtigt sin køreplan. Og på det tidspunkt indså jeg, at jeg manglede viden om Data Science, datavisualisering. Tabix er en slags hjemmearbejde til at lære datavisualisering. Jeg kiggede på, hvordan jeg kunne supplere Zeppelin. Jeg har en lille modvilje til hans programmering. Jeg så på, hvordan man tilføjer Redash, men en normal editor var nok for mig. Og SuperSet er også skrevet i et sprog, som jeg egentlig ikke bryder mig om. Og så besluttede jeg mig for at cykle, og det er, hvad der skete.
Igor, accepterer du pull-anmodninger?
Ja.
Mange tak for rapporten! Og to spørgsmål. For det første er du ikke særlig smigrende over javascript. Skrev du i rent Javascript eller er det en form for ramme?*
Bedre på bare Javascript.
Så hvilken ramme?
Kantet.
Det er klart. Og det andet spørgsmål. har du overvejet R и *Skinnende**?*
Taget i betragtning. Spillede.
Du kan også bare skrive en adapter.
Han er. Det ser ud til, at fællesskabet klarede det, men da jeg svarede på det forrige spørgsmål, ville jeg selv mærke det.
* Nej, om visualiseringen, der er.
Du siger, at der er sådan noget, og det vil tegne en graf for dig. Jeg åbnede en datavisualiseringsbog. Og jeg tænkte: “Lad os prøve at visualisere disse data. Jeg skriver det selv, så han kan genopbygge dataene." Og jeg begyndte bedre at forstå teknologien til datafeed. Og hvis jeg tog en færdiglavet komponent, ville jeg personligt have lært at bruge den dårligere, det vil sige visualisering. Men så - ja, jeg kunne godt lide R, men jeg har ikke læst bogen "R for Dummies" endnu.
Tak!
Simpelt spørgsmål. Er der nogen måder, hvorpå man hurtigt kan aflæse en plade, en graf?
Kan uploades til CSV, til Excel.
Ikke data, men en færdiglavet tabel, en færdiglavet graf? For eksempel for at vise myndighederne.
Der er en "Upload" knap og der er en knap "Upload diagram i png, i jpg".
Tak!
PS Mini tabix installationsvejledning
- downloade
- Pak ud, kopier mappe
buildi nginx root_path - Konfigurer nginx
Kilde: www.habr.com