🥇ClickHouse – visuellt snabb och tydlig dataanalys i Tabix. Igor Strykhar

Jag föreslår att ni bekantar er med avrapporteringen från 2017 av Igor Strychar «ClickHouse – en visuell, snabb och tydlig datanalys i Tabix».

Webbgränssnittet för ClickHouse i projektet Tabix.
Key features:

Arbetar med ClickHouse direkt från webbläsaren, utan behov av att installera ytterligare programvara;
Frågeredigerare med syntaxmarkering;
Autokomplettering av kommandon;
Verktyg för grafisk analys av frågors prestanda;
Färgscheman att välja mellan.

Jag är teknisk direktör på СМИ2. Vi är en nyhetsaggregator. Vi lagrar stora mängder data som vi får från våra partners och registrerar dem i ClickHouse – ungefär 30 000 förfrågningar per sekund.

Det handlar om sådana data som:

Klick på nyheter.
Visningar av nyheter i aggregatorsystemet.
Visningar av banners i vårt nätverk.
Och vi registrerar händelser från vår egen räknare, som liknar Yandex.Metrika. Det är vår egen mikroanalys.

Vi hade ett mycket turbulent liv före ClickHouse. Vi hade stora problem med att lagra dessa data någonstans och att analysera dem på något sätt.

Livet före ClickHouse — infiniDB

Det första vi hade var infiniDB. Den var i drift i 4 år. Vi fick igång den med svårighet.

Den stödde inte klustring eller sharding. Inga sådana smarta funktioner fanns tillgängliga från början.
Den hade problem med datalastning. Det finns bara ett specifikt kommandoradsverktyg som bara kunde ladda CSV-filer och på ett ganska oklart sätt.
Databasen var enkeltrådad. Man kunde antingen skriva eller läsa. Men den tillät att bearbeta stora mängder data.
Och den hade en intressant workaround. Varje natt var vi tvungna att starta om servern, annars fungerade den inte.

Den var i drift hos oss tills slutet av 2016 när vi helt bytte till ClickHouse.

Livet före ClickHouse — Cassandra

Eftersom infiniDB var enkeltrådad, bestämde vi att vi behövde en flertrådad databas där vi kunde skriva mycket med flera trådar samtidigt.

Vi testade många intressanta alternativ. Sedan bestämde vi oss för att prova Cassandra. Med Cassandra gick allt fantastiskt. 10 000 förfrågningar per sekund vid insättning. 2 000 förfrågningar någonstans vid läsning.

Men den hade också sina intressanta problem. En gång i månaden eller varannan månad råkade den ut för databassynkronisering. Vi var tvungna att vakna och springa för att fixa Cassandra. Vi startade om servrarna en efter en. Och allt blev smidigt och vackert.

Livet före ClickHouse – Druid

Sedan insåg vi att vi behövde skriva ännu mer data. År 2016 började vi titta på Druid.

Druid är en öppen databas, skriven i Java. Väldigt specifik. Den passade för clickstream, när vi behövde lagra en ström av händelser och sedan utföra aggregering eller göra analytiska rapporter.

Druid hade version 0.9.X.

Själva databasen är väldigt svår att implementera. Det handlar om infrastrukturens komplexitet. För att ställa in den behövde man sätta upp mycket och mycket hårdvara. Och varje hårdvara ansvarade för sin specifika roll.

För att ladda data i den var man tvungen att tillämpa någon form av häxkonst. Det finns ett OpenSource-projekt – Tranquility, som förlorade vår data i processen. När vi laddade data i den, förlorade den dem.

Men på något sätt började vi implementera den. Vi, som igelkottar som fick taggar men fortsatte att äta kaktus, började implementera den. Det tog oss ungefär en månad att förbereda hela infrastrukturen för den. D.v.s. beställa servrar, ställa in roller, genomföra full automatisering av implementeringen. D.v.s. i händelse av att klustret faller, för att automatiskt ställa in ett andra kluster.

Men plötsligt hände ett mirakel. Jag var på semester, och mina kollegor skickade mig en länk till habr, där det stod att Yandex hade beslutat att öppna ClickHouse. Jag sa att låt oss testa.

Och bokstavligt talat på 2 dagar ställde vi in ett testkluster för ClickHouse. Vi började ladda data i det. Jämfört med infinDB – det var elementärt, jämfört med Druid – det var elementärt. Jämfört med Cassandra också elementärt. För eftersom man laddar data i Cassandra från php, så är det inte elementärt.

Vad fick vi? Prestanda i hastighet. Prestanda i datalagring. D.v.s. det används mycket mindre lagringsutrymme. ClickHouse är snabbt, det är mycket snabbt jämfört med andra produkter.

Vid tidpunkten för lanseringen, när Yandex publicerade ClickHouse i OpenSource, fanns det bara en konsolklient. Vi på vårt företag, СМИ2, bestämde oss för att försöka göra en inbyggd klient för webben, så att man kunde öppna en sida i webbläsaren, skriva en fråga och få resultatet, eftersom vi började skriva många frågor. Att skriva i konsolen är kämpigt. Och vi gjorde vår första version.

Och någon gång närmare vintern förra året började oberoende verktyg för att arbeta med ClickHouse dyka upp. Det handlar om verktyg som:

Jag kommer att gå igenom några av dessa verktyg, det vill säga de som jag har arbetat med.

Ett bra verktyg, men för Druid. När vi implementerade Druid, provade jag SuperSet. Jag gillade det. För Druid arbetar det mycket snabbt.

Det passar inte för ClickHouse. Det vill säga, det fungerar, men är bara redo att hantera grundläggande frågor som: SELECT event, GROUP BY event. Den stödjer inte mer komplex syntaks för ClickHouse.

Nästa verktyg är Apache Zeppelin. Det är en bra och intressant sak. Det fungerar. Den stödjer anteckningsböcker, dashboards och variabler. Jag vet att någon från ClickHouse-gemenskapen använder det.

Men det finns ingen stöd för ClickHouse-syntax, det vill säga du måste skriva frågor antingen i konsolen eller någon annanstans. Därefter kontrollera att allt fungerar. Det är helt enkelt obekvämt. Men stödet för dashboarding är bra.

Nästa verktyg är Redash.IO. Redash hostas på internet. Det vill säga, till skillnad från de tidigare verktygen behöver det inte installeras. Och det är en sådan dashboarding med möjlighet till datakonsolidering från olika datakällor. Det vill säga, du kan exportera från ClickHouse, MySQL, PostgreSQL och andra databaser.

Bokstavligen för en månad sedan (i mars 2017) kom stöd för Grafana. När du bygger rapporter i Grafana, låt oss säga, om din hårdvaras status eller några metrik, så kan du nu bygga samma grafik eller en sådan panel med data från ClickHouse direkt. Det är mycket bekvämt, och vi använder det hos oss. Det gör det möjligt att hitta avvikelser. Det vill säga, om något händer och viss hårdvara går ner eller spänns, så kan man se orsaken, om dessa data har hunnit komma in i ClickHouse.

Jag tyckte att det var mycket besvärligt att skriva i dessa verktyg eller i konsolen. Och jag beslöt mig för att förbättra vårt första gränssnitt. Och jag sneglade på idén från EventSQL, SeperSet, Zeppelin.

Vad ville jag? Jag ville ha grafer, en förbättrad redigerare, implementera stöd för ordlistor och förslag. Eftersom ClickHouse har en utmärkt funktion - det är ordlistor. Men det är svårt att arbeta med ordlistor eftersom man måste komma ihåg formatet på de lagrade värdena, det vill säga om det är ett nummer eller en sträng och så vidare. Eftersom vi ofta använder ordlistor i deras olika varianter, så var det ganska svårt att skriva frågor.

Det har gått 3 månader sedan lanseringen av vår första version. Jag har gjort cirka 330 commits i den stängda grenen och Tabix blev resultatet.

Till skillnad från den tidigare versionen som kallades ClickHouse-Frontend, beslöt jag mig för att ge den ett enklare namn. Så här blev det Tabix.

Vad har kommit?

Ritar diagram. Stöder SQL-syntax för ClickHouse. Ger förslag på funktioner och kan mycket annat intressant.

Så här ser den övergripande schemat för Tabix ut. Till vänster finns trädet. I mitten – det är frågeredigeraren. Och längst ner – resultatet av denna förfrågan.

Nästa kommer jag att visa hur frågeredigeraren fungerar.

Här aktiverades automatisk autocompletion på tabellen och ger förslag, och sedan autocompletion på fälten. Och förslag på funktioner. Om du trycker ctrl enter, så kommer förfrågan att köras eller ge ett fel. Den enklaste förfrågan skickas till Tabix och resultatet erhålls, det vill säga, man kan snabbt arbeta med ClickHouse.

Ordböcker, som jag redan nämnt, är en mycket intressant sak som vi arbetar mycket med. Och som har möjliggjort många saker. Till exempel lagrar vi i ordböcker alla städer. Vi lagrar stadens identifierare och namn, dess latitud och longitud. Och i databasen lagrar vi endast stadsidentifieraren. Därmed komprimerar vi datan mycket kraftigt.

Detta kan tyckas vara en enkel sak, men i ClickHouse hjälper det på ett intressant sätt. Eftersom ClickHouse endast stöder inbäddade join, växer förfrågan nedåt och åt sidorna ganska kraftigt. Och när en parentes öppnas och det finns ett långt uttryck, så hjälps en ganska enkel sak som att dölja förfrågan till att lättare arbeta med själva förfrågan. För när förfrågan är 200-300 rader lång och mycket bred, så är det mycket till hjälp att dölja den och sedan hitta något ställe eller på något sätt lokalisera det.

Objektträd, multipla förfrågningar och flikar (Video 13:46) https://youtu.be/w1-XsL3nbRg?t=826)

Nästa visar jag om trädet och flikarna. Till vänster – det är trädet, upptill kan man skapa flera flikar. Flikarna fungerar som arbetsytor. Du kan skapa flera flikar och ge varje en egen benämning. Det fungerar som ett minisystem för att skapa rapporter.

Flikarna sparas automatiskt. Om du laddar om webbläsaren eller stänger den eller öppnar Tabix igen, så sparas allt detta.

Heta tangenter – bekvämt (Video 14:39) https://youtu.be/w1-XsL3nbRg?t=879)

Det finns heta tangenter och de är ganska många. Jag har tagit med några av dem här som exempel. Det handlar om att växla flik, köra en förfrågan eller köra flera förfrågningar.

Jag ska visa hur man arbetar med resultatet. Vi skickar en förfrågan. Här ritar jag sin, cos och tg. Man kan markera resultatet, dvs. rita en typisk karta i kolumn. Man kan markera positiva eller negativa värden. Eller helt enkelt färga ett specifikt element i tabellen. Detta är praktiskt när tabellen är enorm och man behöver hitta en viss avvikelse med ögonen. När jag letade efter avvikelser markerade jag vissa rader, vissa element i grönt eller rött.

Det finns många intressanta saker där. Till exempel, hur man kopierar till Redmine Markdown. Om man behöver kopiera resultatet någonstans är det väldigt praktiskt. Man kan helt enkelt markera området, säga "Copy to Redmine" och den kopierar till Redmine Markdown eller skapar en förfrågan Where.

Vidare – det handlar om att optimera förfrågningar. Jag glömde en gång att ange fältet "date". Och min förfrågan i ClickHouse behandlades inte särskilt snabbt, men snabbt, dvs. på mindre än en sekund. När jag såg hur många rader den gick igenom kände jag mig skrämd. Vi skriver inte så många rader i denna tabell på en hel dag. Jag började analysera förfrågan och såg att jag hade missat datumet på ett ställe. Dvs. jag glömde ange att jag behövde data för en specifik period, inte för hela tabellen.

I Tabix finns det en flik "Stats", där hela historiken av skickade förfrågningar lagras, dvs. där kan man se hur många rader som lästes av denna förfrågan och hur lång tid den tog. Detta gör det möjligt att optimera.

Över resultatet av förfrågan kan man bygga en pivot-tabell. Du skickade en förfrågan till ClickHouse, fick några data. Och sedan kan dessa data manipuleras med musen och en pivot-tabell kan byggas.

Nästa intressanta sak – det är att rita diagram. Anta att vi har en sådan förfrågan: på sin, cos från 0 till 299. Och för att rita det behöver man välja fliken "Draw" och du får ett diagram med dina sin och cos.

Man kan dela upp detta på olika axlar, dvs. man kan rita två diagram bredvid varandra. Skriva ett kommando och ett annat kommando.

Man kan rita histogram.

Man kan dela upp detta i en matris av diagram.

Man kan bygga en värmekarta.

Man kan bygga en värme-kalender. Förresten, det är en mycket praktisk sak när man behöver analysera avvikelser under ett år, dvs. hitta antingen toppar eller nedgångar. Denna datavisualisering hjälpte mig med detta.

Nästa - det är Treemap.

Sankeys – en intressant graf. Den är antingen Streamgraphs eller River. Men jag kallar den River. Den gör det också möjligt att söka efter anomalier. Den är väldigt användarvänlig. Jag rekommenderar att använda den för att göra sökningar.

Nästa intressanta sak är att rita en dynamisk karta. Om ni har latitud, longitud och, låt oss säga, ett syfte lagrat i databasen, om ni till exempel har transportföretag eller flygplan, så kan ni rita destinationernas vägar. Där kan ni också ange hastighet, storlek på dessa objekt och hur de kommer att anlända.

Men problemet med den här kartan är att den bara ritar en världskarta, det finns ingen detaljering.

Senare lade jag till Google Maps. Om ni lagrar latitud och longitud kan ni rita resultatet på Google Maps, men utan stöd för små flygplan.

De huvudsakliga funktionerna för att arbeta med resultatet och förfrågningar i Tabix har vi diskuterat.

Nästa är analysen av er ClickHouse-server. Det finns en separat flik "Metrik" där man kan se storleken på lagrade data per kolumn. På skärmdumpen syns det att detta fält "referrer" tar upp cirka 730 GB. Om vi skulle överge detta fält skulle vi spara tre shards på 700 GB, det vill säga omkring 2 TB, som vi inte behöver.

Vi har också fältet "request_id" som vi lagrar som en sträng. Men om vi börjar lagra det som ett numeriskt värde skulle detta fält krympa avsevärt.

Här visas också serverkonfigurationen och listan över noder i ert kluster.

Nästa flik är metrik. De hämtas i realtid från ClickHouse och gör det möjligt att analysera serverns tillstånd och förstå vad som händer med den. Det är inte en fullständig ersättning för Grafana. Det behövs för att snabbt analysera.

Nästa flik handlar om processer. Genom dem kan man förstå vad som händer på servern. Förstå vad som pågår där. Jag hade en fråga som tog 200 GB i läsning varje gång. Jag upptäckte det tack vare detta gränssnitt. Jag fångade det och justerade det. Och nu ligger vi på cirka 30 GB, det vill säga prestandan har ökat många gånger.

Tack! Och detta är i OpenSource

Jag har avslutat. Och för övrigt, detta är i OpenSource, det är gratis och ni behöver inte ens ladda ner det. Öppna det i webbläsaren så fungerar allt.

Frågor

Igor, vad händer härnäst? Hur tänker du utveckla det här verktyget?

Därefter kommer dashboarden att dyka upp, det vill säga, det kan hända att dashboarden kommer. Integration med andra databaser. Det här gjorde jag, men har ännu inte publicerat det som öppen källkod. Det gäller MySQL och möjligtvis PostgreSQL. Det vill säga, det kommer att vara möjligt att skicka förfrågningar från Tabix inte bara till ClickHouse, utan även till andra verktyg.

Det är uppenbart att en enorm mängd arbete har lagts ner. Resultatet är en relativt komplett idé. Det görs i webbläsaren, tydligen för att undvika knepiga lösningar på olika axlar och snabbt få ihop allt detta. Jag har hört att ni arbetar med det, så det är enklast att få ihop det i webbläsaren så fungerar det överallt. php Det finns inga frågor om det. Det är verkligen mycket arbete nedlagt där. Hur många personer har arbetat med detta? Och hur lång tid har allt detta tagit? För verktyg anpassade till ett projekt brukar normalt sett inte ha så mycket funktionalitet.

Från sommaren till hösten arbetade en person från vårt team. Det var den första versionen. Sedan gjorde jag 330 commits ensam. Det ni ser är något vi gjorde tillsammans, min kollega och jag. På tre månader gick jag från den första versionen till den senaste, mycket av det gjorde jag själv. Men jag är mycket dålig på Javascript. Det här var mitt enda och, förhoppningsvis, sista projekt med Javascript som jag arbetade med. Det kom till mig, jag tittade på det – oh, hemskt. Men jag ville verkligen slutföra produkten och så här blev det.

Stort tack för presentationen! Det är ett utmärkt verktyg. Har ni jämfört med *Tableau*? Tack. Därför kallade jag det Tabix, eftersom de första bokstäverna överlappar.

För att ni konkurrerar?

Det kommer att bli mycket investeringar, vi kommer att konkurrera.

Hur föreslår ni att sälja det till interna analytiker, att det här verktyget helt kommer att ersätta *Tableau*?

*Tableau* fungerar nativt med ClickHouse. Jag har provat Tableau, men där kan man inte skriva stöd för ordböcker och sådana saker. Jag vet hur folk arbetar med Tabix. De skriver en förfrågan, laddar ner i CSV och laddar upp i BI.? Какие будут аргументы?

Och redan där gör de något. Men jag har svårt att föreställa mig hur de gör detta, eftersom det är ett grafiskt verktyg. Det kan ladda ner 5 000 rader, max 6 000 rader, men inte mer, annars klarar inte webbläsaren av det. Det finns så att säga allvarliga begränsningar för datavolymen, eller hur? Ja. Jag kan inte föreställa mig att ni skulle vilja ladda ner 10 000 rader till er tabell på webbläsarens skärm. Varför?

Det förutsätts att det är ett gränssnitt för snabb visning av data? Att snurra lite, vända och vrida?

Ja. För att det är ett gränssnitt för snabbt dataöversikt?

Detta verkar vara ett gränssnitt för snabb visning av data?

Ja, det är snabbt att se hur det fungerar och enkelt att bygga en sammanställningsgraf. Sedan kan man skicka den någonstans. Vi har vårt eget rapporteringssystem, där jag bara tar den här frågan. Jag ritar i Tabix och skickar till vår rapportering.

Och en fråga till. Kohortanalys?

Om det finns önskemål, lägger vi till det.

När vi just började använda det ClickHouse, hur lång tid tog implementeringen ClickHouse och att nå produktionsläge?

Som jag sa, vi implementerade en testkluster på mycket kort tid. På två dagar satte vi upp det. Och ytterligare ett par veckor testade vi det. Och vi kom till produktion efter cirka 3 månader. Men vi hade vår egen ETL, det vill säga verktyg för att skriva data. Och den kunde skriva till allt möjligt. Den kan skriva till MongoDB, Cassandra, MySQL. Att lära den att skriva till ClickHouse var enkelt. Vi hade en färdig infrastruktur för snabb implementering. Efter ungefär 3 månader började vi ta bort den första komponenten. Efter 6 månader hade vi helt övergett allt annat. Vi hade kvar bara ClickHouse.

Igor, stort tack för presentationen. Jag gillade verkligen funktionaliteten för att bygga vägar på kartorna. Planeras det någon integration med Yandex.Kartor och specifikt med anpassade Yandex.Kartor?

Jag försökte integrera istället för Google-kartan, men jag hittade inget mörkt tema på Yandex.Kartor. Jag nämnde inte en bit. Jag spolar tillbaka för att komplettera.

Bild – Google-karta. Där finns det en kommando "DRAW_GMAPS", som ritar kartan. Det finns en kommando "DRAW_YMAPS", det vill säga den kan rita Yandex.Kartan. Och faktiskt ligger det Javascript under det kommandot, det vill säga data som du får från ClickHouse kan överföras till Javascript som du skriver här. Och du har en yta där det ska ritas. Man kan rita vilken graf som helst, det vill säga vilken graf som helst, en karta, du kan rita din egen komponent. Jag hade tidigare ett annat bibliotek för att rita själva graferna.

Det vill säga, det finns ett verktyg för att anpassa visningsfunktionen?

Vilka som helst. Man kan ta och färga dessa punkter så att de inte är röda, utan blåa, gröna.

Tack för presentationen! Ni hade en bild som presenterade alternativa verktyg för förfrågningar ClickHouse för att bygga dashboards, analytiska rapporter. Jag förstod det som att vid den tidpunkt då ni började arbeta med ClickHouse, ingen adaptrar har skrivits för dessa verktyg. Jag undrar varför ni valde att göra ert eget verktyg istället för att skriva en adapter för något färdigt verktyg? Jag tycker att det borde vara snabbt att justera testredaktören. Varför valde ni att göra så mycket arbete?

Det finns en intressant punkt – jag är teknisk chef, inte data scientist. Vid den tidpunkt då vi började implementera Druid, hade jag ungefär 50 % av uppgifterna på min vägkarta – låt oss räkna detta eller låt oss räkna det, eller analysera detta. Och det blev så att vi implementerade ClickHouse. Jag började snabbt bygga, räkna och stängde snabbt min vägkarta. Och vid den tiden insåg jag att jag saknade kunskaper inom Data Science och datavisualisering. Tabix är mitt sätt att lära mig datavisualisering. Jag tittade på hur jag kunde komplettera Zeppelin. Jag har en lätt motvilja mot dess programmering. Jag tittade på Redash och hur jag kunde komplettera det, men jag saknade en ordentlig redigerare där. SuperSet är också skrivet på det språk jag inte riktigt tycker om. Så jag bestämde mig för att bygga något själv, och här är vad som kom ut av det.

Igor, accepterar ni pull requests?

Ja.

Tack så mycket för presentationen! Jag har två frågor. Första – ni pratar inte särskilt positivt om Javascript. Skrev ni i rent Javascript eller använder ni något ramverk?*

Bättre i rent Javascript.

Så vilket ramverk?

Angular.

Förstått. Och den andra frågan. Har ni övervägt R och *Shiny**?*

Ja, jag har övervägt det. Testat lite.

Man kunde bara ha skrivit en adapter också.

Det finns en. Det verkar som att gemenskapen har gjort den, men som jag svarade på föregående fråga, ville jag själv pröva.

*Nej, angående visualisering, det finns ju.

Du säger att det finns en grej som ritar en graf åt dig. Jag öppnade en bok om datavisualisering och tänkte: 'Låt mig försöka visualisera dessa data. Jag skriver själv, så att den kan bygga upp data.' Och jag började förstå tekniken för datadistribution bättre. Om jag hade använt en färdig komponent, skulle jag personligen ha lärt mig att använda den sämre, det vill säga specifikt visualisering. Men ja, R tyckte jag om, men jag har ännu inte läst boken 'R för dummies'.

Tack!

En enkel fråga. Finns det några möjligheter att snabbt exportera en tabell, en graf?

Man kan exportera till CSV, till Excel.

Inte data, utan en färdig tabell, en färdig graf? Till exempel för att visa för cheferna.

Det finns en knapp "Ladda ner" och en knapp "Ladda ner grafiken i png, i jpg".

Tack!

P.S. En liten installationsguide för tabix