Navrhuji, abyste se seznámili s přepisem zprávy Igora Strykhara za rok 2017 „ClickHouse – vizuálně rychlá a vizuální analýza dat v Tabix“.
Webové rozhraní pro ClickHouse v projektu Tabix.
Základní možnosti:
- Pracuje s ClickHouse přímo z prohlížeče, bez nutnosti instalovat další software;
- Editor dotazů se zvýrazněním syntaxe;
- Dokončení příkazu;
- Nástroje pro grafickou analýzu provádění dotazů;
- Barevná schémata na výběr.
Jsem technický ředitel media2. Jsme agregátor novinek na burze zpráv. Uchováváme mnoho dat, která dostáváme od našich partnerů, a registrujeme je v ClickHouse – asi 30 000 požadavků za sekundu.
Jsou to údaje jako:
- Kliknutí na novinky.
- Zobrazování novinek v agregátoru.
- Zobrazování bannerů v naší síti.
- A události registrujeme z vlastního počítadla, které je podobné Yandex.Metrics. Toto je naše vlastní mikroanalytika.
Před ClickHouse jsme měli velmi hektický život. Hodně jsme trpěli tím, že jsme se snažili tato data někam uložit a nějak je analyzovat.
Život před ClickHouse - infiniDB
První věc, kterou jsme měli, byla infiniDB. Bydlela s námi 4 roky. Spustili jsme to s obtížemi.
- Nepodporuje shlukování ani sharding. Žádné takové chytré věci ve výchozím nastavení nespustila z krabice.
- Má potíže s načítáním dat. Pouze specifická konzolová utilita, která uměla načítat pouze CSV soubory a byla nějak velmi nesrozumitelná.
- Databáze je jednovláknová. Mohli jste psát nebo číst. Umožnil ale zpracovat velké množství dat.
- A měla i zajímavou berličku. Každou noc bylo nutné server restartovat, jinak to nefungovalo.
Spolupracovala s námi do konce roku 2016, kdy jsme kompletně přešli na ClickHouse.
Život před ClickHouse - Cassandra
Vzhledem k tomu, že infiniDB bylo jednovláknové, rozhodli jsme se, že potřebujeme nějakou vícevláknovou databázi, ve které bychom mohli psát mnoho vláken současně.
Vyzkoušeli jsme spoustu zajímavých věcí. Pak jsme se rozhodli zkusit Cassandru. S Cassandrou bylo všechno skvělé. 10 000 žádostí za sekundu na sázku. 2 žádostí někde o přečtení.
Ale měla i své zájmy. Jednou za měsíc nebo za dva měsíce měla databázi nesynchronizovanou. A musel jsem se probudit a běžet opravit Cassandru. Restartoval servery jeden po druhém. A vše bylo hladké a krásné.
Život před ClickHouse – Druid
Pak jsme si uvědomili, že potřebujeme zapsat ještě více dat. V roce 2016 jsme začali sledovat Druida.
Druid je otevřená základna napsaná v Javě. Velmi konkrétní. A clickstream se hodil, když potřebujeme uložit nějaký druh proudu událostí a pak je agregovat nebo vytvořit analytické zprávy.
Druid měl verzi 0.9.X.
Samotná databáze se velmi obtížně nasazuje. To je složitost infrastruktury. K jeho nasazení bylo potřeba dát hodně železa. A každé železo bylo zodpovědné za svou samostatnou roli.
K načtení dat do něj bylo nutné aplikovat jakýsi šamanismus. Existuje projekt OpenSource - Tranquility, který od nás ztratil data ve streamu. Když jsme do něj nahráli data, ztratil je.
Ale nějak jsme to začali realizovat. My, jako ježci, kteří si píchli injekci, ale kaktus dál jedli, jsme ho začali zavádět. Příprava celé infrastruktury nám zabrala zhruba měsíc. To znamená objednávat servery, nastavovat role a plně automatizovat nasazení. Tedy v případě pádu clusteru, aby se automaticky nasadil druhý cluster.
Pak se ale stal zázrak. Byl jsem na dovolené a kolegové mi poslali odkaz na , který říká, že Yandex se rozhodl otevřít ClickHouse. Říkám, zkusme to.
A doslova za 2 dny jsme nasadili testovací cluster ClickHouse. Začali jsme do něj načítat data. Ve srovnání s infiniDB je to elementární, ve srovnání s Druidem je to elementární. Ve srovnání s Cassandrou je to také elementární. Protože pokud načtete data z php do Cassandry, tak to není elementární.
co jsme dostali? Výkon v rychlosti. Výkon při ukládání dat. To znamená, že se na disku používá mnohem méně místa. ClickHouse je rychlý, ve srovnání s jinými produkty je velmi rychlý.
V době spuštění, kdy Yandex publikoval ClickHouse v OpenSource, existoval pouze konzolový klient. My v naší společnosti SMI2 jsme se rozhodli zkusit udělat nativního klienta pro web, abyste mohli otevřít stránku z prohlížeče, napsat požadavek a získat výsledek, protože jsme začali psát spoustu požadavků. Zápis do konzole je těžký. A vytvořili jsme naši první verzi.
A někde blíž k zimě loňského roku se začaly objevovat nástroje třetích stran pro práci s ClickHouse. Jedná se o nástroje jako:
- .
- .
- . (Nyní )
- .
- .
Přezkoumám některé z těchto nástrojů, tedy ty, se kterými jsem pracoval.
Dobrý nástroj, ale pro Druida. Když byl představen Druid, cítil jsem SuperSet. Měl jsem ho rád. Pro Druida to funguje velmi rychle.
Není vhodný pro ClickHouse. To znamená, že se hodí, spustí se, ale je připraven zpracovávat pouze elementární dotazy typu: událost SELECT, událost GROUP BY. Nepodporuje složitější syntaxi ClickHouse.
Dalším nástrojem je Apache Zeppelin. To je dobrá a zajímavá věc. funguje. Podporuje notebooky, dashboardy, podporuje proměnné. Vím, že to někdo z komunity ClickHouse používá.
Neexistuje však žádná podpora syntaxe ClickHouse, tj. budete muset psát dotazy buď v konzole, nebo někde jinde. Dále zkontrolujte, zda vše funguje. Je to prostě nepohodlné. Ale má dobrou podporu pro dashboarding.
Dalším nástrojem je Redash.IO. Redash je hostován na internetu. To znamená, že na rozdíl od předchozích nástrojů se nemusí instalovat. A to je takový dashboard s možností konsolidace dat z různých DataSources. To znamená, že můžete nahrávat z ClickHouse, z MySQL, z PostgreSQL az jiných databází.
Právě před měsícem (v březnu 2017) se v Grafaně objevila podpora. Když sestavujete reporty například v Grafaně podle stavu vašeho hardwaru nebo podle nějakých metrik, nyní můžete stejný graf nebo nějaký panel sestavit přímo z dat z ClickHouse. Je to velmi pohodlné a používáme to doma. To vám umožní najít anomálie. To znamená, že pokud se něco stane a nějaký hardware spadne nebo se napne, pak můžete vidět důvod, pokud se tato data podařilo dostat do ClickHouse.
Bylo pro mě velmi nepříjemné psát v těchto nástrojích nebo v konzoli. A rozhodl jsem se dokončit naše první rozhraní. A vyzvedl jsem nápad z EventSQL, SeperSet, Zeppelin.
Co jsi chtěl? Chtěl jsem získat grafiku, vylepšený editor, implementovat podporu pro slovníky nápovědy. Protože ClickHouse má skvělou funkci – jsou to slovníky. Práce se slovníky je ale obtížná, protože si musíte pamatovat formát uložených hodnot, tedy číslo nebo řetězec atd. A protože často používáme slovníky v různých obměnách, bylo docela obtížné psát dotazy.
Od vydání naší první verze uplynuly 3 měsíce. Udělal jsem asi 330 commitů do uzavřené pobočky a dostal jsem Tabix.
Na rozdíl od předchozí verze, která se jmenovala ClickHouse-Frontend, jsem se rozhodl ji přejmenovat na jednoduchý název. A ukázalo se, že Tabix.
Co se objevilo?
Kreslí grafiku. Podporuje syntaxi ClickHouse SQL. Vypráví o funkcích a ví, jak dělat spoustu zajímavých věcí.
Takto vypadá celkové rozložení Tabixu. Vlevo je strom. Uprostřed je editor dotazů. A níže je výsledek tohoto dotazu.
Dále ukážu, jak funguje editor dotazů.
Zde automatické doplňování automaticky fungovalo na tabulce a vyzývá k automatickému doplňování podle polí. A tipy na funkce. Pokud stisknete ctrl enter, požadavek bude proveden nebo selže s chybou. Nejjednodušší požadavek je odeslán do Tabix a je získán výsledek, tj. můžete rychle pracovat s ClickHouse.
Slovníky, jak jsem řekl, jsou velmi zajímavá věc, se kterou hodně pracujeme. A která umožnila udělat mnoho věcí. Předpokládejme, že uložíme všechna města do slovníků. Ukládáme identifikátor města a název města, jeho zeměpisnou šířku a délku. A v databázi ukládáme pouze identifikátor města. V souladu s tím data velmi silně komprimujeme.
Zdá se to být jednoduchá věc, ale v ClickHouse to pomáhá velmi zajímavým způsobem. Vzhledem k tomu, že ClickHouse podporuje pouze vnořená spojení, dotaz roste dolů a dostatečně široký. A když se otevře závorka a odejde nějaký dlouhý výraz, pak taková docela jednoduchá věc, jako je skládání dotazu, usnadňuje práci s dotazem samotným. Protože když je požadavek široký 200-300 řádků a je hodně velký, tak se hodně ušetří tím, že se požadavek složí a pak se najde nějaké místo nebo se to nějak lokalizuje.
Strom objektů, multidotazy a karty (Video 13:46 )
Dále vám ukážu o stromu, kartách. Vlevo je strom, nahoře můžete vytvořit několik záložek. Karty jsou jako pracovní prostor. Můžete vytvořit více karet a každou z nich pojmenovat jinak. Je to jako minisystém pro vytváření sestavy.
Karty se automaticky ukládají. Pokud restartujete prohlížeč nebo zavřete nebo otevřete Tabix, vše se uloží.
Klávesová zkratka je pohodlná (Video 14:39 )
Existují klávesové zkratky a je jich hodně. Některé z nich jsem zde uvedl jako příklad. Jedná se o přepínač karet, provedení požadavku nebo provedení více požadavků.
Ukážu vám, jak s výsledkem pracovat. Posíláme žádost. Zde kreslím sin, cos a tg. Výsledek můžete zvýraznit, tj. nakreslit typickou mapu pro sloupec. Můžete zvýraznit kladné nebo záporné hodnoty. Nebo jen vybarvěte nějaký konkrétní prvek tabulky. To se hodí, když je stůl obrovský a potřebujete očima najít nějakou anomálii. Když jsem hledal anomálie, zvýraznil jsem některé linie, některé prvky zeleně nebo červeně.
Je tam mnoho zajímavých věcí. Například, jak kopírovat v Redmine Markdown. Pokud potřebujete výsledek někam zkopírovat, je to velmi pohodlné. Stačí vybrat oblast, říct „Copy to Redmine“ a ta se zkopíruje do Redmine Markdown nebo vytvoří dotaz Where.
Další je optimalizace dotazů. Jednou jsem zapomněl uvést pole "datum". A můj požadavek v ClickHouse byl zpracován ne velmi, velmi rychle, ale rychle, to znamená méně než sekundu. Když jsem viděl, kolik řádků proběhl, vyděsil jsem se. Za den do této tabulky nenapíšeme tolik řádků. Začal jsem žádost analyzovat a zjistil jsem, že jsem na jednom místě zmeškal rande. To znamená, že jsem zapomněl uvést, že nepotřebuji data za celou tabulku, ale za konkrétní období.
Tabix má záložku „Statistiky“, kde je uložena celá historie odeslaných požadavků, tedy zde vidíte, kolik řádků bylo tímto požadavkem přečteno a jak dlouho trvalo. To umožňuje optimalizaci.
Přes výsledek dotazu můžete vytvořit kontingenční tabulku. Odeslali jste požadavek do ClickHouse a obdrželi jste nějaká data. A pak lze tato data vytáhnout pomocí myši a vytvořit nějakou kontingenční tabulku.
Další zajímavostí je graf. Řekněme, že máme následující požadavek: pro hřích cos od 0 do 299. A abyste jej mohli nakreslit, musíte vybrat záložku „Draw“ a dostanete graf s vaším hříchem a cos.
Můžete jej rozdělit na různé osy, tj. můžete nakreslit dva grafy najednou vedle sebe. Napište jeden příkaz a druhý příkaz.
Můžete kreslit histogramy.
Můžete to rozdělit do matice grafů.
Můžete sestavit tepelnou mapu.
Můžete sestavit termální kalendář. Mimochodem, velmi šikovná věc, když potřebujete rok analyzovat anomálie, tedy najít buď výbuchy nebo poklesy. Tato vizualizace dat mi v tom pomohla.
Další je Treemap.
Sankeys je zajímavý graf. Je to buď Streamgrahps nebo River. Ale já tomu říkám řeka. Umožňuje také hledat jakékoli anomálie. Je to velmi pohodlné. Doporučuji použít pro vyhledávání.
Další zajímavostí je vykreslování dynamické mapy. Pokud máte v databázi uloženou zeměpisnou šířku, délku a např. schůzku, pokud máte např. kamionovou dopravu nebo létáte letadly, můžete kreslit cílové cesty. Také tam můžete nastavit rychlost, velikost těchto objektů, ve kterých dorazí.
Problém této mapy je ale v tom, že kreslí pouze mapu světa, není tam žádný detail.
Později jsem přidal mapu Google. Pokud uložíte zeměpisnou šířku a délku, pak můžete výsledek zakreslit na mapu Google, ale bez podpory letadla.
Hlavní funkce práce s výsledkem jsme probrali dotazem v Tabixu.
Další je analýza vašeho serveru ClickHouse. Existuje samostatná karta "Metrics", kde můžete vidět velikost uložených dat pro každý sloupec. Snímek obrazovky ukazuje, že toto pole „referrer“ zabírá něco v řádu 730 Gb. Pokud toto pole odmítneme, pak ušetříme tři 700 GB shardy, tedy asi 2 TB, které nepotřebujeme.
Máme také pole „request_id“, které ukládáme do řetězce. Pokud jej ale začneme ukládat v číselné podobě, pak se toto pole kolosálně zkomprimuje.
Zobrazuje také konfiguraci serveru a seznam uzlů ve vašem clusteru.
Další záložkou jsou metriky. Dostanou se do reálného času z ClickHouse a jednoduše vám umožní analyzovat stav serveru a pochopit, co se s ním děje. Nejedná se o náhradu za plnohodnotnou Grafanu. To je nezbytné pro rychlou analýzu.
Další záložkou jsou procesy. Z nich můžete pochopit, co se děje na serveru. Pochopte, co se tam děje. Měl jsem dotaz, jehož čtení pokaždé zabralo 200 GB. Viděl jsem to díky tomuto rozhraní. Chytil to a napravil. A vyšlo z toho asi 30 GB, tedy občas výkon.
Děkuji! A je to v OpenSource
Skončil jsem. A mimochodem, je to v OpenSource, je to zdarma a ani si to nemusíte stahovat. Otevřete v prohlížeči a vše bude fungovat.
otázky
Igore, co bude dál? Kde budete tento nástroj vyvíjet?
Jako další se zobrazí řídicí panel, tj. možná se objeví řídicí panel. Integrace s jinými databázemi. To jsem udělal, ale ještě jsem to nepublikoval na OpenSource. Je to MySQL a možná PostgreSQL. To znamená, že z Tabixu bude možné posílat požadavky nejen ClickHouse, ale i dalším nástrojům.
Je vidět, že se udělal obrovský kus práce. Ukázalo se, že je to docela ucelený nápad. V prohlížeči to bylo zjevně provedeno proto, aby se vyloučily berle na jakékoli osy a rychle to celé vyhodilo. Slyšel jsem, že jsi php práce, tak nejjednodušší je hodit prohlížeč a bude to fungovat všude. Na to nejsou žádné otázky. Otázkou je. Udělalo se tam opravdu hodně. Kolik lidí na tom pracovalo? A jak dlouho to všechno trvalo? Protože nástroje samy o sobě obvykle nemají tak velkou funkčnost.
Jeden člověk z našeho týmu pracoval od léta do podzimu. Toto byla první verze. Pak jsem sám udělal 330 závazků. Co vidíte, udělali jsme to s kolegou napůl. 3 měsíce od úplně první verze až po tu poslední jsem to dělal z velké části sám. Javascript ale moc neumím. Toto byl můj jediný a doufejme poslední Javascriptový projekt, na kterém jsem pracoval. Mám to, koukal jsem - oh, hrůza. Ale opravdu jsem chtěl produkt dokončit a tak se stalo.
Díky moc za zprávu! To je skvělý nástroj. S Výjev v porovnání?
Děkuji. Proto to Tabix pojmenoval, protože první písmena jsou stejná.
Protože soutěžíte?
Bude se hodně investovat, budeme soutěžit.
Jak nabídnout k prodeji interním analytikům to, co tento nástroj zcela nahradí *Živý obraz*? Jaké budou argumenty?
Nativně funguje s ClickHouse. Zkoušel jsem Tableau, ale nedá se tam napsat podpora pro slovníky a podobně. Vím, jak lidé s Tabixem pracují. Napíšou žádost, nahrají do CSV a nahrají do BI. A už něco dělají. Těžko si ale dokážu představit, jak to dělají, protože jde o grafický nástroj. Může nahrát 5 000 řádků, maximálně 6 000 řádků, ale ne více, jinak prohlížeč selže.
To znamená, že existují vážná omezení množství dat, že?
Ano. Nedokážu si představit, že chcete nahrát 10 000 řádků do tabulky na obrazovce prohlížeče. Proč?
Má to být rozhraní pro rychlý náhled na data? Trochu zakroutit, zakroutit?
Ano, rychle se podívejte, jak to funguje, a vytvořte si souhrnný graf. A pak někam dát. Máme vlastní systém hlášení, odkud tento požadavek jen přebírám. Kreslím v Tabixu a posílám do našeho zpravodajství.
A další otázka. Skupinová analýza?
Pokud budou požadavky, doplníme.
Když jste poprvé začali používat ClickHouse, jak dlouho trvala implementace clickhouse a přivedení do výrobní stavy?
Jak jsem řekl, implementovali jsme testovací cluster ve velmi krátké době. Za dva dny jsme to rozbalili. A testovali jsme to ještě pár týdnů. A do výroby jsme se dostali za 3 měsíce, ale měli jsme vlastní ETL, tedy nástroj pro záznam dat. A psal nám ve všem, co se dalo. Umí psát v MongoDB, Cassandra, MySQL. Bylo snadné ho naučit psát v ClickHouse. Měli jsme připravenou infrastrukturu pro rychlou implementaci. Na 3 měsíce jsme začali vyhazovat první součástku. Na 6 měsíců jsme úplně opustili všechno ostatní. Zbývá nám jeden ClickHouse.
Igore, moc děkuji za zprávu. Moc se mi líbila funkčnost budování cest na mapách. Plánujete integraci s Yandex.Maps a zejména s vlastními Yandex.Maps?
Zkoušel jsem integrovat místo Google mapy, ale na Yandex.Maps jsem nenašel tmavé téma. Jeden kousek jsem vynechal. Přetočím a přidám.
Snímek – mapa Google. Zde je příkaz "DRAW_GMAPS", který nakreslí mapu. Existuje příkaz "DRAW_YMAPS", tj. může nakreslit Yandex.Map. Ale ve skutečnosti je pod tímto příkazem Javascript, to znamená, že data, která získáte z ClickHouse, lze přenést do Javascriptu, který zde napíšete. A máte výstupní oblast, kde by se to mělo kreslit. Můžete nakreslit libovolný graf, tedy jakýkoli graf, mapu, můžete si nakreslit vlastní komponentu. Předtím jsem měl jinou knihovnu pro kreslení samotných grafů.
To znamená, že existuje nástroj pro přizpůsobení funkčnosti zobrazení?
Žádný. Tyto body můžete vzít a přebarvit, takže nebudou červené, ale modré, zelené.
Díky za zprávu! Měli jste snímek zobrazující alternativní nástroje pro dotazy clickhouse pro vytváření řídicích panelů, analytických zpráv. Chápu to ve chvíli, kdy jsi začal pracovat s ClickHouse, pro tyto nástroje nebyly napsány žádné adaptéry. A zajímalo by mě, proč jste se rozhodli vyrobit si vlastní nástroj, místo abyste psali adaptér pro nějaký hotový nástroj? Myslím, že ladění testovacího editoru je rychlé. Proč jste se rozhodl dělat tolik práce?
Je tu jeden zajímavý moment - faktem je, že jsem technický ředitel, a ne datový vědec. V době, kdy jsme začali implementovat Druid, jsem měl asi 50 % úkolů v plánu – pojďme spočítat toto, nebo spočítat toto, nebo analyzovat toto. A ukázalo se, že jsme implementovali ClickHouse. A začal rychle vše stavět, počítat, rychle uzavřel svůj plán. A v té době jsem si uvědomil, že mi chybí znalosti Data Science, vizualizace dat. Tabix je takový můj domácí úkol pro učení vizualizace dat. Díval jsem se, jak doplnit Zeppelin. Jeho programování se mi trochu nelíbí. Koukal jsem, jak přidat Redash, ale stačil mi normální editor. A SuperSet je také napsaný jazykem, který se mi moc nelíbí. A tak jsem se rozhodl jet na kole a stalo se toto.
Igore, přijímáš žádosti o stažení?
Ano.
Díky moc za zprávu! A dvě otázky. Za prvé, nejsi příliš lichotivý javascript. Psal jsi v čistém Javascriptu nebo je to nějaký framework?*
Lepší na holém Javascriptu.
Tak jaký rámec?
Hranatý.
To je jasné. A druhá otázka. Zvažovali jste? R и *Lesklý**?*
Považováno. Hráno.
Můžete také napsat adaptér.
On je. Zdá se, že to komunita dokázala, ale jak jsem odpověděl na předchozí otázku, chtěl jsem to sám pocítit.
* Ne, pokud jde o vizualizaci, existuje.
Řeknete si, že něco takového existuje a nakreslí vám to graf. Otevřel jsem knihu vizualizace dat. A pomyslel jsem si: „Zkusme si tato data představit. Napíšu to sám, aby mohl data znovu sestavit.“ A začal jsem lépe rozumět technologii podávání dat. A kdybych vzal hotovou součástku, osobně bych se ji naučil hůře používat, tedy vizualizaci. Ale tak - ano, R se mi líbil, ale knihu "R for Dummies" jsem ještě nečetl.
Děkujeme!
Jednoduchá otázka. Existují nějaké způsoby, jak rychle vyložit talíř, graf?
Lze nahrát do CSV, do Excelu.
Ne data, ale hotová tabulka, hotový graf? Například ukázat úřadům.
Je tam tlačítko "Nahrát" a je tam tlačítko "Nahrát graf v png, v jpg".
Děkujeme!
Pokyny k instalaci PS Mini tabix
- download
- Rozbalte, zkopírujte adresář
buildv kořenové_cestě nginx - Nastavte nginx
Zdroj: www.habr.com