ClickHouse – visuellt snabb och intuitiv dataanalys i Tabix. Igor Stryhar

Jag föreslår att du läser utskriften av 2017 års rapport av Igor Stryhar "ClickHouse - visuellt snabb och tydlig dataanalys i Tabix."

Webbgränssnitt för ClickHouse i Tabix-projektet.
Viktiga funktioner:

• Fungerar med ClickHouse direkt från webbläsaren, utan att behöva installera ytterligare programvara;
• Frågeredigerare med syntaxmarkering;
• Autoslutförande av kommandon;
• Verktyg för grafisk analys av frågekörning;
• Färgscheman att välja mellan.
  

Jag är teknisk chef för SMI2. Vi är en nyhetsförmedlare för nyhetsutbyten. Vi lagrar mycket data som vi får från våra partners och registrerar det i ClickHouse – cirka 30 000 förfrågningar per sekund.

Detta är data som:

• Klickar på nyheter.
• Nyheter visas i aggregatorn.
• Banner visas i vårt nätverk.
• Och vi registrerar händelser från vår egen disk, som liknar Yandex.Metrica. Detta är vår egen mikroanalys.

Vi hade ett väldigt hektiskt liv innan ClickHouse. Vi led mycket, försökte lagra denna data någonstans och på något sätt analysera den.

Livet före ClickHouse – infiniDB

Det första vi hade var infiniDB. Hon bodde hos oss i 4 år. Vi lanserade det med svårighet.

• Det stöder inte klustring eller skärning. Inga sådana smarta saker kom ur lådan som standard.
• Hon har svårt att ladda data. Endast ett specifikt konsolverktyg som bara kunde ladda CSV-filer och bara på något mycket otydligt sätt.
• Databasen är entrådig. Du kan antingen skriva eller läsa. Men det gjorde det möjligt att bearbeta en stor mängd data.
• Och hon hade också en intressant krycka. Varje natt behövde servern startas om, annars skulle den inte fungera.

Hon arbetade för oss fram till slutet av 2016, då vi helt bytte till ClickHouse.

Livet före ClickHouse – Cassandra

Eftersom infiniDB var enkeltrådad bestämde vi oss för att vi behövde någon form av flertrådad databas där vi kunde skriva många trådar samtidigt.

Vi provade många intressanta saker. Sedan bestämde vi oss för att prova Cassandra. Allt var bra med Cassandra. 10 000 förfrågningar per sekund per bud. 2 000 förfrågningar någonstans för läsning.

Men hon hade också sina egna intressen. En gång i månaden eller en gång varannan månad upplevde hon en databasavsynkronisering. Och jag var tvungen att vakna och springa för att fixa Cassandra. Servrarna startades om en efter en. Och allt blev smidigt och vackert.

Livet före ClickHouse – Druid

Då insåg vi att vi behövde skriva ännu mer data. 2016 började vi titta på Druid.

Druid är en programvara med öppen källkod skriven i Java. Mycket specifik. Och det var lämpligt för clickstream, när vi behöver lagra någon slags ström av händelser och sedan utföra aggregering på dem eller göra analytiska rapporter.

Druid hade version 0.9.X.

Själva databasen är mycket svår att distribuera. Detta är komplexiteten i infrastrukturen. För att distribuera det var det nödvändigt att installera mycket, mycket järn. Och varje hårdvara var ansvarig för sin egen separata roll.

För att ladda in data i den var det nödvändigt att använda någon form av shamanism. Det finns ett OpenSource-projekt - Tranquility, som förlorade data från oss i en ström. När vi laddade in data i den tappade den bort den.

Men på något sätt började vi implementera det. Vi, som igelkottar som tog droger men fortsatte att äta kaktus, började introducera det. Det tog oss ungefär en månad att förbereda all infrastruktur för det. Det vill säga beställa servrar, konfigurera roller och helt automatisera distributionen. Det vill säga, i händelse av ett klusterfel kommer det andra klustret automatiskt att distribueras.

Men så hände ett mirakel. Jag var på semester och mina kollegor skickade en länk till mig habr, som säger att Yandex bestämde sig för att öppna ClickHouse. Jag säger låt oss prova det.

Och bokstavligen på två dagar distribuerade vi ett ClickHouse-testkluster. Vi började ladda in data i den. Jämfört med infiniDB är detta elementärt; jämfört med Druid är detta elementärt. Jämfört med Cassandra är det också elementärt. För om du laddar data från PHP till Cassandra, så är detta inte elementärt.

Vad fick vi? Prestanda i hastighet. Prestanda i datalagring. Det vill säga mycket mindre diskutrymme används. ClickHouse är snabbt, det är väldigt snabbt jämfört med andra produkter.

Vid tidpunkten för lanseringen, när Yandex publicerade ClickHouse i OpenSource, fanns det bara en konsolklient. Vi på vårt företag SMI2 bestämde oss för att försöka skapa en inbyggd klient för webben, så att vi kunde öppna en sida från en webbläsare, skriva en förfrågan och få resultatet, eftersom vi började skriva många förfrågningar. Att skriva i konsolen är svårt. Och vi gjorde vår första version.

Och någonstans närmare vintern förra året började tredjepartsverktyg för att arbeta med ClickHouse dyka upp. Dessa är verktyg som:

• Redash.IO.
• Apache Zeppelin.
• Superset Airbnb. (Nu https://github.com/apache/incubator-superset)
• Jetbrains IDE.
• Vertamedia/clickhouse-grafana.

Jag ska titta på några av dessa verktyg, det vill säga de som jag har arbetat med.

Ett bra verktyg, men för Druid. När Druid implementerades testade jag SuperSet. Jag gillade honom. För Druid är det väldigt snabbt.

Den är inte lämplig för ClickHouse. Det vill säga, det passar, det startar, men är redo att endast behandla elementära frågor som: SELECT-händelse, GROUP BY-händelse. Den stöder inte den mer komplexa ClickHouse-syntaxen.

Nästa verktyg är Apache Zeppelin. Det här är en bra och intressant sak. Arbetar. Den stöder bärbara datorer, instrumentpaneler och stöder variabler. Jag vet att någon i ClickHouse-gemenskapen använder det.

Men det finns inget stöd för ClickHouse-syntax, det vill säga du måste skriva frågor antingen i konsolen eller någon annanstans. Kontrollera sedan att allt fungerar. Det är bara obekvämt. Men den har bra stöd för instrumentpanelen.

Nästa verktyg är Redash.IO. Redash finns på Internet. Det vill säga, till skillnad från tidigare verktyg behöver det inte installeras. Och det här är en instrumentpanel med möjligheten att konsolidera data från olika datakällor. Det vill säga att du kan ladda ner från ClickHouse, från MySQL, från PostgreSQL och från andra databaser.

För bara en månad sedan (mars 2017) dök support upp i Grafana. När du bygger rapporter i Grafana, till exempel om tillståndet för din hårdvara eller på vissa mätvärden, kan du nu bygga samma graf eller någon form av panel från data från ClickHouse direkt. Detta är väldigt bekvämt och vi använder det själva. Detta gör att du kan hitta anomalier. Det vill säga, om något händer och någon hårdvara faller eller blir ansträngd, då kan du titta på orsaken om denna data lyckades komma in i ClickHouse.

Jag tyckte att det var väldigt besvärligt att skriva i dessa verktyg eller i konsolen. Och jag bestämde mig för att förbättra vårt första gränssnitt. Och jag fick idén från EventSQL, SeperSet, Zeppelin.

Vad ville du? Jag ville skaffa grafik, en förbättrad redigerare och implementera stöd för tipsordböcker. Eftersom ClickHouse har en fantastisk funktion - ordböcker. Men det är svårt att arbeta med ordböcker, eftersom du måste komma ihåg formatet på de lagrade värdena, det vill säga är det ett nummer eller en sträng, etc. Och eftersom vi ofta använder ordböcker i deras olika varianter, var det ganska svårt att skriva frågor.

3 månader har gått sedan släppet av vår första version. Jag gjorde cirka 330 commits till en privat filial och det visade sig vara Tabix.

Till skillnad från den tidigare versionen, som hette ClickHouse-Frontend, bestämde jag mig för att döpa om den till ett enkelt namn. Och det blev Tabix.

Vad dök upp?

Ritar grafer. Stöder ClickHouse SQL-syntax. Ger råd om funktioner och kan göra mycket intressant.

Så här ser det allmänna Tabix-schemat ut. Till vänster är ett träd. I mitten finns frågeredigeraren. Och nedan är resultatet av denna begäran.

Nästa ska jag visa dig hur frågeredigeraren fungerar.

Här fungerar autocomplete automatiskt på tabellen och uppmanar, följaktligen, autocomplete för fälten. Och tips om funktioner. Om du trycker på ctrl enter kommer begäran att exekveras eller misslyckas med ett fel. Den enklaste förfrågan skickas till Tabix och resultatet erhålls, det vill säga du kan snabbt arbeta med ClickHouse.

Ordböcker är som jag redan har sagt en väldigt intressant sak som vi jobbar mycket med. Och som gjorde att vi kunde göra många saker. Låt oss säga att vi lagrar alla städer i ordböcker. Vi lagrar stadsidentifieraren och stadens namn, dess latitud och longitud. Och i databasen lagrar vi bara stadsidentifieraren. Därför komprimerar vi data mycket kraftigt.

Detta verkar vara en enkel sak, men det hjälper i ClickHouse på ett mycket intressant sätt. På grund av det faktum att ClickHouse endast stöder kapslade kopplingar, växer frågan nedåt och tillräckligt bred. Och när parentesen öppnas och något långt uttryck kommer in, då gör något så enkelt som att komprimera frågan det lättare att arbeta med själva frågan. För när frågan är 200-300 rader lång och väldigt stor i bredd är det mycket användbart att komprimera frågan och sedan hitta någon plats eller på något sätt lokalisera den.

Objektträd, multiqueries och flikar (Video 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

Härnäst ska jag visa dig om trädet och flikarna. Till vänster finns ett träd, överst kan du skapa flera flikar. Flikar är som en arbetsyta. Du kan skapa flera flikar och namnge var och en på ett annat sätt. Det är som ett minisystem för att bygga en rapport.

Flikar sparas automatiskt. Om du startar om din webbläsare eller stänger eller öppnar Tabix kommer allt detta att sparas.

Snabbtangent - bekvämt (Video 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

Det finns snabbtangenter och det finns ganska många av dem. Jag har tagit fram några av dem här som exempel. Detta är att byta flik, utföra en begäran eller utföra flera förfrågningar.

Jag ska visa dig hur du arbetar med resultatet. Vi skickar en förfrågan. Här ritar jag synd, cos och tg. Du kan markera resultatet, det vill säga rita en typisk karta för en kolumn. Du kan markera positiva eller negativa värden. Eller helt enkelt färglägg ett specifikt bordselement. Detta är praktiskt när bordet är stort och du behöver hitta en anomali med dina ögon. När jag letade efter anomalier markerade jag några linjer, några element i grönt eller rött.

Det finns mycket intressant där. Till exempel hur man kopierar till Redmine Markdown. Om du behöver kopiera resultatet någonstans är detta väldigt bekvämt. Du kan helt enkelt välja ett område, säga "Kopiera till Redmine" så kopieras det till Redmine Markdown eller skapa en Where-fråga.

Nästa är frågeoptimering. Jag glömde en gång att ange "datum"-fältet. Och min förfrågan i ClickHouse behandlades inte särskilt, väldigt snabbt, utan snabbt, dvs mindre än en sekund. När jag såg hur många rader han sprang igenom blev jag rädd. Vi skriver inte så många rader till den här tabellen på en dag. Jag började analysera förfrågan och såg att jag hade missat en dejt på ett ställe. Det vill säga jag glömde att ange att jag inte behöver data för hela tabellen, utan för en specifik period.

Tabix har en "Stats"-flik, som lagrar hela historiken för skickade förfrågningar, det vill säga där kan du se hur många rader som lästes av denna begäran och hur lång tid det tog att exekvera. Detta möjliggör optimering.

Du kan bygga en pivottabell över frågeresultatet. Du skickade en förfrågan till ClickHouse och fick lite data. Och sedan kan du flytta denna data med musen och bygga någon form av pivottabell.

Nästa intressanta sak är plottning. Låt oss säga att vi har följande begäran: för sin, cos från 0 till 299. Och för att rita den måste du välja fliken "Rita" och du får en graf med din sin och cos.

Du kan dela upp detta i olika axlar, dvs du kan rita två grafer sida vid sida samtidigt. Skriv ett kommando och ett andra kommando.

Du kan rita histogram.

Du kan dela upp detta i en matris med grafer.

Du kan bygga en värmekarta.

Du kan bygga en termisk kalender. Detta är förresten en mycket bekväm sak när du behöver analysera anomalier under ett år, d.v.s. hitta antingen spikar eller droppar. Denna datavisualisering hjälpte mig med detta.

Nästa är Treemap.

Sankeys är ett intressant diagram. Han är antingen Streamgrahps eller River. Men jag kallar det River. Det låter dig också leta efter eventuella anomalier. Det är väldigt bekvämt. Jag rekommenderar att du använder den för att söka.

Nästa intressanta sak är att rita en dynamisk karta. Om du lagrar latitud, longitud i din databas och till exempel lagrar en destination, om du till exempel har lastbil eller flygplan som flyger, så kan du rita destinationsvägar. Även där kan du ställa in hastigheten och storleken på dessa objekt som de flyger in i.

Men problemet med den här kartan är att den bara ritar en karta över världen, det finns ingen detalj.

Senare la jag till Google map. Om du lagrar latitud, longitud kan du rita resultatet på Google map, men utan flygplansstöd.

Vi har diskuterat huvudfunktionerna för att arbeta med resultat och frågor i Tabix.

Nästa är en analys av din ClickHouse-server. Det finns en separat "Mätrik"-flik, där du kan se storleken på lagrad data för varje kolumn. Skärmdumpen visar att detta "referrer"-fält tar upp cirka 730 Gb. Om vi ​​överger det här fältet kommer vi att spara tre skärvor på 700 GB vardera, det vill säga cirka 2 TB som vi inte behöver.

Vi har också ett "request_id"-fält som vi lagrar i en sträng. Men om vi börjar lagra det i numerisk form kommer detta fält att krympa enormt.

Den visar också serverkonfigurationen och en lista över noder i ditt kluster.

Nästa flik är mätvärden. De kommer in i realtid med ClickHouse och låter dig helt enkelt analysera serverns tillstånd och förstå vad som händer med den. Detta är inte en ersättning för hela Grafana. Detta är nödvändigt för snabb analys.

Nästa flik är processer. Från dem kan du förstå vad som händer på servern. Förstår vad som händer där. Jag hade en förfrågan som förbrukade 200 GB läsning varje gång. Jag såg detta tack vare det här gränssnittet. Jag fångade honom och rättade honom. Och det visade sig handla om 30 GB, d.v.s en prestanda ibland.

Tack! Och det är i OpenSource

Jag avslutade. Och förresten, det är OpenSource, det är gratis och du behöver inte ens ladda ner det. Öppna den i en webbläsare och allt fungerar.

frågor

Igor, vad händer härnäst? Var kommer du att utveckla det här verktyget?

Därefter kommer instrumentpaneler att dyka upp, det vill säga kanske instrumentpaneler dyker upp. Integration med andra databaser. Jag gjorde detta, men har ännu inte publicerat det i OpenSource. Detta är MySQL och möjligen PostgreSQL. Det vill säga att det kommer att vara möjligt att skicka förfrågningar från Tabix inte bara till ClickHouse, utan även till andra verktyg.

Det är tydligt att ett enormt arbete har lagts ned. Det visade sig vara en ganska komplett idé. Detta gjordes tydligen i webbläsaren för att eliminera kryckor på alla möjliga yxor och snabbt slänga ihop det hela. Jag hörde att du är på php fungerar, så det enklaste sättet är att skriva det i webbläsaren så fungerar det överallt. Det finns inga frågor om detta. Frågan är denna. Det har verkligen gjorts mycket där. Hur många arbetade med detta? Och hur lång tid tog det hela? Eftersom anpassade verktyg vanligtvis inte har så mycket funktionalitet.

En person från vårt team arbetade från sommar till höst. Detta var den första versionen. Sedan gjorde jag 330 commits ensam. Vad du ser, min kollega och jag gjorde det på hälften. På 3 månader, från den allra första versionen till den sista, gjorde jag det mestadels ensam. Men jag kan inte Javascript så bra. Detta var mitt enda och, hoppas jag, mitt sista Javascript-projekt som jag arbetade med. Jag fick det, jag tittade - åh, skräck. Men jag ville verkligen avsluta produkten och det här är vad som hände.

Tack så mycket för rapporten! Detta är ett utmärkt verktyg. MED Tableau Har du jämfört?

Tack. Det var därför jag döpte den till Tabix, eftersom de första bokstäverna är desamma.

För att du tävlar?

Det blir mycket investeringar, vi ska konkurrera.

Hur kan du erbjuda att sälja till interna analytiker som detta verktyg helt kommer att ersätta *Tablå*? Vilka blir argumenten?

Fungerar inbyggt med ClickHouse. Jag provade Tableau, men där kan man inte skriva stöd för ordböcker och liknande. Jag vet hur människor arbetar med Tabix. De skriver en fråga, laddar upp den till CSV och laddar upp den till BI. Och de gör redan något där. Men jag har svårt att föreställa mig hur de gör det här, eftersom det är ett grafiskt verktyg. Den kan ladda 5 000 rader, max 6 000 rader, men inte fler, annars klarar inte webbläsaren.

Det vill säga att det finns några allvarliga begränsningar för mängden data, eller hur?

Ja. Jag kan inte föreställa mig att du skulle vilja ladda upp 10 000 rader till din tabell på din webbläsarskärm. För vad?

Betyder detta att detta är ett gränssnitt för att snabbt kunna se data? Vrid det lite, vrid det?

Ja, se snabbt hur det fungerar och bygg bara en sammanfattningsgraf. Och sedan ge det någonstans. Vi har ett eget rapporteringssystem, varifrån jag helt enkelt tar denna begäran. Jag ritar in Tabix och skickar till vår rapportering.

Och en annan fråga. Kohortanalys?

Om det finns några önskemål kommer vi att lägga till det.

När började du använda den? ClickHouse, hur lång tid tog implementeringen? klickhus och föra till produktionsläge?

Vi implementerade som sagt ett testkluster på väldigt kort tid. Vi installerade den på två dagar. Och vi testade det i ett par veckor till. Och vi nådde produktion på 3 månader. Men vi hade vår egen ETL, det vill säga ett verktyg för att registrera data. Och han skrev i allt han kunde. Han kan skriva i MongoDB, Cassandra, MySQL. Det var lätt att lära honom hur man skriver i ClickHouse. Vi hade en färdig infrastruktur för snabb implementering. Inom 3 månader började vi kasta ut den första komponenten. På 6 månader övergav vi allt annat helt. Vi har bara ett ClickHouse kvar.

Igor, tack så mycket för rapporten. Jag gillade verkligen funktionaliteten i att bygga banor med hjälp av kartor. Finns det några planer på integration med Yandex.Maps och i synnerhet med anpassade Yandex.Maps?

Jag försökte integrera istället för Google map, men jag hittade inget mörkt tema på Yandex.Maps. Jag sa inte till dig en bit. Jag spola tillbaka för att lägga till.

Slide – Google map. Där finns kommandot "DRAW_GMAPS", som ritar en karta. Det finns ett kommando "DRAW_YMAPS", dvs det kan rita en Yandex.Map. Men i själva verket, under detta kommando finns Javascript, det vill säga data som du får från ClickHouse kan överföras till Javascript, som du skriver här. Och du har ett utdataområde där det ska ritas. Du kan rita vilken graf som helst, d.v.s. vilken graf som helst, karta, du kan rita din egen komponent. Innan detta hade jag ett annat bibliotek för att rita graferna själva.

Det vill säga, finns det något verktyg för att anpassa displayens funktionalitet?

Några. Du kan ta och färga om dessa prickar, vilket gör dem inte röda, utan blå, gröna.

Tack för rapporten! Du hade en bild som presenterade alternativa frågeverktyg klickhus för att bygga instrumentpaneler och analytiska rapporter. Det förstår jag just nu när du började jobba med ClickHouse, inga adaptrar har skrivits för dessa verktyg. Och jag undrar varför du bestämde dig för att göra ditt eget verktyg, istället för att skriva en adapter för något färdigt verktyg? Jag tror att det går snabbt att justera testredigeraren. Varför bestämde du dig för att göra så mycket arbete?

Det finns en intressant poäng här - faktum är att jag är en teknisk chef, inte en datavetare. När vi började implementera Druid hade min färdplan ungefär 50 % av uppgifterna - låt oss beräkna detta, eller låt oss beräkna detta, eller analysera det här. Och det visade sig att vi implementerade ClickHouse. Och han började snabbt bygga allt, räkna och stängde snabbt sin färdplan. Och vid det laget insåg jag att jag saknade kunskap inom datavetenskap och datavisualisering. Tabix är typ av min hemläxa för att lära mig datavisualisering. Jag tittade på hur jag skulle komplettera Zeppelin. Jag har en liten motvilja mot hans programmering. Redash Jag tittade på hur man lägger till det, men en normal editor räckte för mig. Och SuperSet är också skrivet på ett språk som jag inte riktigt gillar. Och så jag bestämde mig för att cykla, och det här är vad som hände.

Igor, accepterar du Pull-förfrågningar?

Ja.

Tack så mycket för rapporten! Och två frågor. För det första pratar du inte särskilt smickrande om Javascript. Skrev du i blott Javascript eller är det någon form av ramverk?*

Bättre i bara Javascript.

Så vilken ram?

Vinkel.

Kusten är klar. Och den andra frågan. Har du övervägt R и *Skinande**?*

Övervägde det. Spelade.

Du kan också bara skriva en adapter.

Han är. Det verkar som om samhället klarade det, men när jag svarade på föregående fråga ville jag testa det själv.

*Nej, när det gäller visualisering, den finns där också.

Du säger att det finns något sådant och det kommer att rita dig en graf. Jag öppnade en bok om datavisualisering. Och jag tänkte: "Låt mig försöka visualisera denna data. Jag kommer att skriva till honom så att han kan bygga om data." Och jag började bättre förstå dataförsörjningstekniken. Och om jag hade tagit en färdig komponent hade jag personligen lärt mig sämre hur man använder den, det vill säga visualisering. Men ja, jag gillade R, men jag har inte läst boken "R for Dummies" än.

Tack!

Enkel fråga. Finns det några sätt att snabbt ladda upp en skylt eller ett schema?

Kan laddas upp till CSV eller Excel.

Inte data, utan en färdig platta, en färdig graf? Till exempel för att visa chefen.

Det finns en knapp "Ladda upp" och det finns en knapp "Ladda upp graf i png, i jpg".

Tack!

PS Mini-instruktioner för installation av tabix

• nedladdning senaste släppningen
• Packa upp, kopiera katalogen build i nginx root_path
• Konfigurera nginx

Källa: will.com