ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Azt javaslom, hogy olvassa el Igor Stryhar 2017-es jelentésének átiratát: „ClickHouse – vizuálisan gyors és egyértelmű adatelemzés a Tabixban”.

Webes felület a ClickHouse számára a Tabix projektben.
Főbb jellemzők:

  • Közvetlenül a böngészőből működik a ClickHouse-szal, további szoftverek telepítése nélkül;
  • Lekérdezésszerkesztő szintaktikai kiemeléssel;
  • Parancsok automatikus kiegészítése;
  • Eszközök a lekérdezés végrehajtásának grafikus elemzéséhez;
  • Választható színséma.
    ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar


ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Az SMI2 műszaki igazgatója vagyok. Mi egy hírcsere hírösszesítő vagyunk. Rengeteg adatot tárolunk, amelyet partnereinktől kapunk, és regisztrálunk a ClickHouse-ban – körülbelül 30 000 kérés másodpercenként.

Ezek olyan adatok, mint:

  • Kattintások a hírekre.
  • A hírek megjelennek az összesítőben.
  • Bannerek megjelenítése hálózatunkon.
  • Az eseményeket pedig saját számlálónkból regisztráljuk, amely hasonló a Yandex.Metricához. Ez a saját mikroelemzésünk.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Nagyon mozgalmas életünk volt a ClickHouse előtt. Sokat szenvedtünk, megpróbáltuk valahol tárolni ezeket az adatokat, és valahogy elemezni.

Élet a ClickHouse előtt – infiniDB

Az első dolgunk az infiniDB volt. 4 évig élt velünk. Nehezen indítottuk el.

  • Nem támogatja a fürtözést vagy a felosztást. Ilyen okos dolgok alapból nem kerültek ki a dobozból.
  • Nehézségei vannak az adatok betöltésével. Csak egy speciális konzol-segédprogram, amely csak CSV-fájlokat tudott betölteni, és csak valami nagyon homályos módon.
  • Az adatbázis egyszálú. Lehet írni vagy olvasni. De nagy mennyiségű adat feldolgozását tette lehetővé.
  • És volt egy érdekes mankója is. Minden este újra kellett indítani a szervert, különben nem működött.

2016 végéig dolgozott nálunk, amikor is teljesen áttértünk a ClickHouse-ra.

Élet a ClickHouse előtt – Cassandra

Mivel az infiniDB egyszálú volt, úgy döntöttünk, hogy szükségünk van valamiféle többszálú adatbázisra, amelybe egyszerre több szálat is írhatunk.

Sok érdekes dolgot kipróbáltunk. Aztán úgy döntöttünk, hogy megpróbáljuk Cassandrát. Minden nagyszerű volt Cassandrával. 10 000 kérés másodpercenként ajánlatonként. 2 kérés valahol olvasásra.

De neki is megvoltak a maga érdekei. Havonta vagy kéthavonta egyszer tapasztalt adatbázis-deszinkronizálást. És fel kellett ébrednem, és rohannom kellett megjavítani Cassandrát. A szervereket egyenként újraindították. És minden sima és szép lett.

Élet a ClickHouse előtt – Druid

Aztán rájöttünk, hogy még több adatot kell írnunk. 2016-ban kezdtük el nézni a Druidot.

A Druid egy Java nyelven írt nyílt forráskódú szoftver. Nagyon konkrét. Illetve alkalmas volt clickstream-re, amikor valamilyen eseményfolyamot kell tárolnunk, majd összesítést végezni rajtuk, vagy elemző jelentéseket kell készíteni.

A Druidnak a 0.9.X verziója volt.

Maga az adatbázis nagyon nehezen telepíthető. Ez az infrastruktúra összetettsége. A telepítéshez sok-sok vasat kellett telepíteni. És minden hardver a saját külön szerepéért volt felelős.

Az adatok betöltéséhez valamiféle sámánizmust kellett alkalmazni. Van egy nyílt forráskódú projekt, a Tranquility, amely adatfolyamban veszített tőlünk. Amikor adatokat töltöttünk be, elvesztette azokat.

De valahogy elkezdtük megvalósítani. Mi, mint a sünök, akik drogoztak, de továbbra is kaktuszt ettek, elkezdtük bevezetni. Körülbelül egy hónapba telt, mire előkészítettük az összes infrastruktúrát. Vagyis kiszolgálók rendelése, szerepkörök konfigurálása és a telepítés teljes automatizálása. Ez azt jelenti, hogy a fürt meghibásodása esetén a második fürt automatikusan telepítésre kerül.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

De aztán csoda történt. Nyaralni voltam, és a kollégáim küldtek egy linket habr, amely szerint a Yandex a ClickHouse megnyitása mellett döntött. Azt mondom, próbáljuk ki.

És szó szerint 2 nap alatt telepítettük a ClickHouse tesztfürtöt. Elkezdtük az adatok betöltését. Az infiniDB-hez képest ez elemi, a Druidhoz képest ez elemi. Cassandrához képest ez is elemi. Mert ha PHP-ről töltesz be adatokat a Cassandrába, akkor ez nem elemi.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Mit kaptunk? Teljesítmény sebességben. Teljesítmény az adattárolásban. Vagyis sokkal kevesebb lemezterületet használnak. A ClickHouse gyors, más termékekhez képest nagyon gyors.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Az induláskor, amikor a Yandex közzétette a ClickHouse-t az OpenSource-ban, csak egy konzolkliens volt. Mi az SMI2 cégünknél úgy döntöttünk, hogy megpróbálunk natív klienst készíteni a webre, hogy böngészőből tudjunk megnyitni egy oldalt, megírni egy kérést és megkapjuk az eredményt, mert rengeteg kérést kezdtünk el írni. A konzolon nehéz írni. És elkészítettük az első verziót.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

És valahol közelebb a tavalyi év teléhez kezdtek megjelenni harmadik féltől származó eszközök a ClickHouse-szal való együttműködéshez. Ezek olyan eszközök, mint például:

Megnézek néhány ilyen eszközt, vagyis azokat, amelyekkel dolgoztam.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Jó eszköz, de Druidnak. Amikor a Druidot implementálták, a SuperSet-et teszteltem. Tetszett nekem. Druid számára ez nagyon gyors.

ClickHouse-hoz nem alkalmas. Vagyis illeszkedik, elindul, de csak olyan elemi lekérdezések feldolgozására kész, mint: SELECT esemény, GROUP BY esemény. Nem támogatja az összetettebb ClickHouse szintaxist.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

A következő eszköz az Apache Zeppelin. Ez egy jó és érdekes dolog. Művek. Támogatja a notebookokat, a műszerfalakat és a változókat. Tudom, hogy valaki a ClickHouse közösségből használja.

De nem támogatja a ClickHouse szintaxist, vagyis a lekérdezéseket vagy a konzolban, vagy valahol máshol kell írnia. Ezután ellenőrizze, hogy minden működik-e. Egyszerűen kényelmetlen. De jó a műszerfal támogatása.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

A következő eszköz a Redash.IO. A Redash az interneten található. Vagyis a korábbi eszközökkel ellentétben nem kell telepíteni. Ez egy irányítópult, amely képes a különböző adatforrásokból származó adatok konszolidálására. Vagyis letöltheti a ClickHouse-ból, a MySQL-ből, a PostgreSQL-ből és más adatbázisokból.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Alig egy hónappal ezelőtt (2017 márciusában) jelent meg a támogatás a Grafana-ban. Amikor például jelentéseket készít a Grafanában a hardver állapotáról vagy bizonyos mérőszámokról, most már közvetlenül a ClickHouse adataiból is elkészítheti ugyanazt a grafikont vagy valamilyen panelt. Ez nagyon kényelmes, és mi magunk használjuk. Ez lehetővé teszi az anomáliák megtalálását. Vagyis ha valami történik, és valamelyik hardver leesik vagy megfeszül, akkor meg lehet nézni az okot, hogy ezek az adatok bekerültek-e a ClickHouse-ba.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Nagyon kínosnak találtam ezekbe az eszközökbe vagy a konzolba írni. És úgy döntöttem, hogy javítom az első felületünket. Az ötletet pedig EventSQL-től, SeperSettől, Zeppelintől kaptam.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Mit akartál? Grafikát, továbbfejlesztett szerkesztőt szerettem volna beszerezni, valamint a tippszótárak támogatását. Mert a ClickHouse-nak van egy nagyszerű funkciója - a szótárak. De nehéz szótárakkal dolgozni, mert emlékezni kell a tárolt értékek formátumára, azaz szám-e vagy karakterlánc stb. És mivel gyakran használunk szótárakat különböző változataiban, meglehetősen nehéz volt lekérdezéseket írni.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

3 hónap telt el első verziónk megjelenése óta. Körülbelül 330 commitot tettem egy privát fiókban, és kiderült, hogy Tabix.

Ellentétben az előző verzióval, amelyet ClickHouse-Frontendnek hívtak, úgy döntöttem, hogy átnevezem egy egyszerű névre. És kiderült, Tabix.

Mi jelent meg?

Grafikonokat rajzol. Támogatja a ClickHouse SQL szintaxist. Tanácsot ad a funkciókkal kapcsolatban, és sok érdekes dolgot tud csinálni.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Így néz ki az általános Tabix-séma. A bal oldalon egy fa. Középen található a lekérdezésszerkesztő. Alább pedig ennek a kérésnek az eredménye.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Ezután megmutatom, hogyan működik a lekérdezésszerkesztő.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Itt az automatikus kiegészítés automatikusan működik a táblán, és ennek megfelelően felszólítja a mezők automatikus kiegészítését. És tippeket a funkciókra. Ha megnyomja a ctrl entert, a kérés végrehajtásra kerül, vagy hibával meghiúsul. A legegyszerűbb kérést elküldik a Tabixnak, és meg is kapják az eredményt, azaz gyorsan dolgozhat a ClickHouse-szal.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

A szótárak, ahogy már mondtam, egy nagyon érdekes dolog, amellyel sokat dolgozunk. És ami sok mindent lehetővé tett számunkra. Tegyük fel, hogy az összes várost szótárban tároljuk. Tároljuk a város azonosítóját és nevét, szélességi és hosszúsági fokát. Az adatbázisban pedig csak a városazonosítót tároljuk. Ennek megfelelően nagyon erősen tömörítjük az adatokat.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Ez egyszerű dolognak tűnik, de nagyon érdekes módon segít a ClickHouse-ban. Tekintettel arra, hogy a ClickHouse csak a beágyazott illesztéseket támogatja, a lekérdezés lefelé növekszik és elég széles. És amikor megnyílik a zárójel, és bejön egy hosszú kifejezés, akkor valami olyan egyszerű, mint a lekérdezés összecsukása megkönnyíti a lekérdezéssel való munkát. Mert ha a lekérdezés 200-300 sor hosszú és nagyon nagy a szélessége, akkor nagyon hasznos, ha összecsukjuk a lekérdezést, majd keresünk egy helyet, vagy valahogy lokalizáljuk.

Objektumfa, többlekérdezések és tabulátorok (13:46-os videó https://youtu.be/w1-XsL3nbRg?t=826)

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Következő a fáról és a lapokról mutatom be. A bal oldalon egy fa, felül több lapot is létrehozhat. A lapok olyanok, mint a munkaterület. Több lapot is létrehozhat, és mindegyiket másképp nevezheti el. Olyan ez, mint egy mini-rendszer a jelentéskészítéshez.

A lapok automatikusan mentésre kerülnek. Ha újraindítja a böngészőt, vagy bezárja vagy megnyitja a Tabixet, mindez el lesz mentve.

Gyorsbillentyű - kényelmes (Videó 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

Vannak gyorsbillentyűk, és elég sok van belőlük. Példaként felsoroltam néhányat ezek közül. Ez a lapok váltása, egy kérés végrehajtása vagy több kérés végrehajtása.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Megmutatom, hogyan kell dolgozni az eredménnyel. Kérést küldünk. Itt a bűnt, a cos-t és a tg-t rajzolom. Kijelölheti az eredményt, azaz rajzolhat egy tipikus térképet egy oszlophoz. Pozitív vagy negatív értékeket emelhet ki. Vagy egyszerűen színezzen ki egy adott táblázatelemet. Ez akkor kényelmes, ha az asztal hatalmas, és meg kell találnia a szemével valamilyen rendellenességet. Amikor anomáliákat kerestem, néhány vonalat, egyes elemeket zölddel vagy pirossal emeltem ki.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Nagyon sok érdekesség van ott. Például, hogyan másolhat a Redmine Markdownba. Ha valahova másolnia kell az eredményt, ez nagyon kényelmes. Egyszerűen kiválaszthat egy területet, mondjuk „Másolás a Redmine-ba”, és az átmásol a Redmine Markdownba, vagy létrehoz egy Hol lekérdezést.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

A következő a lekérdezés optimalizálás. Egyszer elfelejtettem megadni a „dátum” mezőt. A ClickHouse-ban lévő kérésemet pedig nem nagyon-nagyon gyorsan, hanem gyorsan, azaz kevesebb mint egy másodperc alatt feldolgozták. Amikor láttam, hogy hány soron fut át, megijedtem. Ebbe a táblázatba nem írunk annyi sort egy nap. Elkezdtem elemezni a kérést, és láttam, hogy egy helyen lekéstem egy randevút. Azaz elfelejtettem jelezni, hogy nem a teljes táblára, hanem egy adott időszakra van szükségem az adatokra.

A Tabix rendelkezik egy „Statisztika” füllel, amely az elküldött kérések teljes előzményét tárolja, vagyis ott láthatja, hogy hány sort olvasott el ez a kérés, és mennyi ideig tartott a végrehajtás. Ez lehetővé teszi az optimalizálást.

A lekérdezés eredménye fölé pivot táblát készíthet. Kérést küldött a ClickHouse-nak, és kapott néhány adatot. Ezután mozgathatja ezeket az adatokat az egérrel, és létrehozhat valamilyen pivot táblát.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

A következő érdekes dolog az összeesküvés. Tegyük fel, hogy a következő kérésünk van: a sin, cos 0-tól 299-ig. És a rajzoláshoz ki kell választania a „Draw” lapot, és kap egy grafikont a bűnével és a cos-jával.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Ezt feloszthatja különböző tengelyekre, azaz egyszerre két grafikont rajzolhat egymás mellé. Írjon egy parancsot és egy második parancsot.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Rajzolhat hisztogramokat.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Ezt grafikonok mátrixára bonthatja.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Készíthet hőtérképet.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Készíthet hőnaptárt. Mellesleg, ez egy nagyon kényelmes dolog, ha egy éven át kell elemeznie az anomáliákat, azaz tüskéket vagy cseppeket kell találnia. Ebben az adatvizualizáció segített nekem.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

A következő a Treemap.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

A Sankeys egy érdekes diagram. Ő Streamgrahps vagy River. De én folyónak hívom. Azt is lehetővé teszi, hogy keressen bármilyen rendellenességet. Nagyon kényelmes. Keresésnél ajánlom a használatát.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

A következő érdekes dolog egy dinamikus térkép rajzolása. Ha tárolja a szélességi és hosszúsági fokokat az adatbázisában, és mondjuk tárol egy úti célt, ha például teherautók vagy repülőgépek repülnek, akkor megrajzolhatja a cél útvonalait. Ezenkívül beállíthatja ezen objektumok sebességét és méretét, amelyekbe repülnek.

De az a baj ezzel a térképpel, hogy csak a világ térképét rajzolja meg, részlete nincs.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Később hozzáadtam a Google térképet. Ha tárolja a szélességi és hosszúsági fokokat, akkor az eredményt megrajzolhatja a Google térképen, de repülőgépes támogatás nélkül.

Megbeszéltük az eredményekkel és lekérdezésekkel végzett munka fő funkcióit a Tabixban.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

A következő a ClickHouse szerver elemzése. Van egy külön „Mutatók” fül, ahol az egyes oszlopokhoz tartozó tárolt adatok mérete látható. A képernyőképen látható, hogy ez a „hivatkozó” mező körülbelül 730 Gb-ot foglal el. Ha elhagyjuk ezt a mezőt, három darab 700 GB-os szilánkot spórolunk meg, azaz körülbelül 2 TB-ot, amire nincs szükségünk.

Van egy "request_id" mezőnk is, amelyet egy karakterláncban tárolunk. De ha elkezdjük numerikus formában tárolni, akkor ez a mező hatalmasat zsugorodik.

Megjeleníti a kiszolgáló konfigurációját és a fürt csomópontjainak listáját is.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

A következő lap a mérőszámok. A ClickHouse segítségével valós idejű kapcsolatba kerülnek, és egyszerűen lehetővé teszik, hogy elemezze a szerver állapotát, és megértse, mi történik vele. Ez nem helyettesíti a teljes Grafana-t. Ez szükséges a gyors elemzéshez.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

A következő lap a folyamatok. Tőlük megértheti, hogy mi történik a szerveren. Értsd meg, mi folyik ott. Volt egy kérésem, ami minden alkalommal 200 GB olvasást emésztett fel. Ezt ennek a felületnek köszönhetően láttam. Elkaptam és kijavítottam. És kiderült, hogy körülbelül 30 GB, azaz időnként teljesítmény.

ClickHouse – vizuálisan gyors és intuitív adatelemzés a Tabixben. Igor Stryhar

Köszönöm! És ez OpenSource-ban van

Befejeztem. És mellesleg ez OpenSource, ingyenes, és nem is kell letöltenie. Nyissa meg a böngészőben, és minden működni fog.

kérdések

Igor, mi lesz ezután? Hol fogja fejleszteni ezt az eszközt?

Ezután az irányítópultok jelennek meg, azaz talán az irányítópultok. Integráció más adatbázisokkal. Ezt megtettem, de még nem tettem közzé OpenSource-ban. Ez a MySQL és esetleg a PostgreSQL. Azaz nem csak a ClickHouse-nak, hanem más eszközöknek is lehet majd kéréseket küldeni a Tabixból.

Nyilvánvaló, hogy hatalmas munka történt. Eléggé teljes ötletnek bizonyult. Ez nyilvánvalóan a böngészőben történt annak érdekében, hogy kiküszöböljék a mankót mindenféle tengelyen, és gyorsan összedobják az egészet. Azt hallottam, hogy be van kapcsolva php működik, ezért a legegyszerűbb, ha beírod a böngészőbe, és mindenhol működni fog. Ezzel kapcsolatban nincsenek kérdések. A kérdés ez. Tényleg sok minden történt ott. Hányan dolgoztak ezen? És mennyi ideig tartott mindez? Mert az egyedi eszközök általában nem rendelkeznek annyi funkcióval.

Csapatunkból egy ember dolgozott nyártól őszig. Ez volt az első verzió. Aztán 330 kötelezettséget csináltam egyedül. Amit lát, a kollégámmal ketten csináltuk. 3 hónap alatt a legelső verziótól az utolsóig többnyire egyedül csináltam. De nem nagyon ismerem a Javascriptet. Ez volt az egyetlen, és remélem, az utolsó Javascript-projektem, amellyel dolgoztam. Megkaptam, néztem – ó, borzalom. De nagyon szerettem volna befejezni a terméket, és ez történt.

Köszönöm szépen a beszámolót! Ez egy nagyszerű eszköz. VAL VEL Csoportkép Összehasonlítottad?

Köszönöm. Ezért neveztem el Tabixnak, mert az első betűk ugyanazok.

Mert versenyzel?

Rengeteg beruházás lesz, versenyezni fogunk.

Hogyan kínálhat olyan eladást a belső elemzőknek, amelyeket ez az eszköz teljesen helyettesít? *Csoportkép*? Mik lesznek az érvek?

Natív módon működik a ClickHouse-szal. Kipróbáltam a Tableau-t, de ott nem lehet szótárakat és hasonlókat írni. Tudom, hogyan dolgoznak az emberek a Tabix-szal. Írnak egy lekérdezést, feltöltik CSV-be és feltöltik a BI-ba. És ott már csinálnak valamit. De nehezen tudom elképzelni, hogyan csinálják ezt, mert ez egy grafikus eszköz. 5 sort tud kirakni, maximum 000 sort, de többet nem, különben nem bírja a böngésző.

Vagyis komoly korlátozások vannak az adatmennyiségben, nem?

Igen. Nem tudom elképzelni, hogy 10 000 sort szeretne feltölteni a táblázatába a böngésző képernyőjére. Miért?

Ez azt jelenti, hogy ez egy felület az adatok gyors megtekintésére? Csavarja egy kicsit, csavarja?

Igen, gyorsan nézze meg, hogyan működik, és készítsen egy összefoglaló grafikont. És akkor adja oda valahova. Saját jelentési rendszerünk van, ahonnan egyszerűen átveszem ezt a kérést. Lerajzolom a Tabixban, és elküldöm tudósításunknak.

És még egy kérdés. Kohorsz elemzés?

Ha van kérés, azt kiegészítjük.

Mikor kezdted el használni? ClickHouse, mennyi ideig tartott a megvalósítás? Kattintson a Ház gombra és hozzák gyártási állapot?

Mint mondtam, nagyon rövid idő alatt megvalósítottunk egy tesztklasztert. Két nap alatt telepítettük. És még pár hétig teszteltük. És 3 hónap alatt elértük a gyártást, de volt saját ETL-ünk, azaz adatrögzítő eszköz. És mindent írt, amit csak tudott. Tud írni MongoDB-ben, Cassandra-ban, MySQL-ben. Könnyű volt megtanítani neki írni a ClickHouse-ban. Kész infrastruktúrával rendelkeztünk a gyors megvalósításhoz. 3 hónapon belül elkezdtük kidobni az első komponenst. 6 hónap alatt teljesen elhagytunk minden mást. Már csak egy ClickHouse-unk maradt.

Igor, köszönöm szépen a beszámolót. Nagyon megtetszett a funkcionalitás, hogy térképek segítségével építsenek útvonalakat. Vannak-e tervek a Yandex.Maps és különösen az egyéni Yandex.Maps integrációjára?

Próbáltam integrálni a Google térkép helyett, de nem találtam sötét témát a Yandex.Maps-en. Egy darabot sem mondtam el. Visszatekerem hozzá.

Dia – Google térkép. Van egy „DRAW_GMAPS” parancs, amely térképet rajzol. Van egy „DRAW_YMAPS” parancs, azaz képes egy Yandex.Map-et rajzolni. De valójában ebben a parancsban van a Javascript, vagyis a ClickHouse-tól kapott adatok átvihetők a Javascript-be, amit ide írsz. És van egy kimeneti területed, ahol meg kell rajzolni. Rajzolhat bármilyen grafikont, azaz bármilyen grafikont, térképet, megrajzolhatja saját komponensét. Ezt megelőzően volt egy másik könyvtáram a grafikonok megrajzolásához.

Vagyis van-e eszköz a kijelző funkcióinak testreszabására?

Bármi. Ezeket a pontokat át lehet venni és átszínezni, így nem pirosak, hanem kékek, zöldek.

Köszönöm a beszámolót! Volt egy diája, amely alternatív lekérdező eszközöket mutatott be Kattintson a Ház gombra műszerfalak és elemző jelentések készítéséhez. Értem ezt abban a pillanatban, amikor elkezdett vele dolgozni ClickHouse, ezekhez az eszközökhöz nem írtak adaptert. És azon tűnődöm, miért döntöttél úgy, hogy saját szerszámot készítesz, ahelyett, hogy adaptert írnál valami kész szerszámhoz? Szerintem gyors a tesztszerkesztő módosítása. Miért döntött úgy, hogy ennyi munkát végez?

Van itt egy érdekes pont – tény, hogy műszaki igazgató vagyok, nem adattudós. Mire elkezdtük a Druid implementálását, az ütemtervemben a feladatok körülbelül 50%-a szerepelt – számoljuk ki ezt, vagy számoljuk ki ezt, vagy elemezzük ezt. És kiderült, hogy megvalósítottuk a ClickHouse-t. És gyorsan elkezdett mindent felépíteni, számolni, és gyorsan lezárta az útitervét. És addigra rájöttem, hogy hiányosak az adattudományi és adatvizualizációs ismereteim. A Tabix egyfajta házi feladatom az adatvizualizáció tanulásához. Azt néztem, hogyan lehetne kiegészíteni a Zeppelint. Kicsit nem szeretem a programozását. Redash megnéztem, hogy kell hozzá, de nekem elég volt egy normál szerkesztő. És a SuperSet is olyan nyelven íródott, amit nem igazán szeretek. Ezért úgy döntöttem, hogy biciklizem, és ez történt.

Igor, elfogadod a Pull kéréseket?

Igen.

Köszönöm szépen a beszámolót! És két kérdés. Először is, nem beszél túl hízelgően Javascript. Csupasz Javascript-tel írtál, vagy ez valami keretrendszer?*

Jobb csupasz Javascriptben.

Szóval milyen keret?

Szögletes.

Ez egyértelmű. És a második kérdés. Megfontoltad-e R и *Fényes**?*

Megfontolta. Játszott.

Írhatsz egy adaptert is.

Ő van. Úgy tűnik, a közösségnek sikerült, de ahogy az előző kérdésre válaszoltam, én magam is ki akartam próbálni.

*Nem, ami a vizualizációt illeti, ott is van.

Azt mondod, hogy van ilyen, és rajzol neked egy grafikont. Kinyitottam egy könyvet az adatvizualizációról. És arra gondoltam: „Hadd próbáljam meg elképzelni ezeket az adatokat. Írok neki, hogy újra tudja építeni az adatokat." És elkezdtem jobban megérteni az adatátviteli technológiát. És ha egy kész komponenst vettem volna, akkor személy szerint rosszabbul tanultam volna meg a használatát, vagyis a vizualizációt. De igen, tetszett az R, de az „R for Dummies” című könyvet még nem olvastam.

Köszönöm!

Egyszerű kérdés. Vannak módok egy tábla vagy ütemezés gyors feltöltésére?

Feltölthető CSV vagy Excel formátumba.

Nem adat, hanem kész lemez, kész grafikon? Például megmutatni a főnöknek.

Van egy „Feltöltés” ​​és egy „Grafik feltöltése png-ben, jpg-ben” gomb.

Köszönöm!

PS Mini-utasítások a tabix telepítéséhez

  • Letöltés legutolsó kiadás
  • Kicsomagolás, könyvtár másolása build az nginx gyökér_útvonalában
  • Az nginx konfigurálása

Forrás: will.com

Hozzászólás