ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Ég legg til að þú lesir afrit 2017 skýrslu Igor Stryhar "ClickHouse - sjónrænt hröð og skýr gagnagreining í Tabix."

Vefviðmót fyrir ClickHouse í Tabix verkefninu.
Lykil atriði:

  • Virkar með ClickHouse beint úr vafranum, án þess að þurfa að setja upp viðbótarhugbúnað;
  • Fyrirspurnarritstjóri með auðkenningu á setningafræði;
  • Sjálfvirk útfylling skipana;
  • Verkfæri fyrir grafíska greiningu á framkvæmd fyrirspurna;
  • Litasamsetning til að velja úr.
    ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar


ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Ég er tæknistjóri SMI2. Við erum fréttamiðlari. Við geymum mikið af gögnum sem við fáum frá samstarfsaðilum okkar og skráum þau í ClickHouse - um 30 beiðnir á sekúndu.

Þetta eru gögn eins og:

  • Smellir á fréttir.
  • Fréttir birtast í safni.
  • Borða birtir á netinu okkar.
  • Og við skráum viðburði úr okkar eigin teljara, sem er svipað og Yandex.Metrica. Þetta er okkar eigin örgreining.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Við áttum mjög erilsamt líf fyrir ClickHouse. Við þjáðumst mikið, reyndum að geyma þessi gögn einhvers staðar og einhvern veginn greina þau.

Lífið á undan ClickHouse – infiniDB

Það fyrsta sem við áttum var infiniDB. Hún bjó hjá okkur í 4 ár. Við hófum það með erfiðleikum.

  • Það styður ekki þyrping eða sundrun. Engir slíkir snjallir hlutir komu sjálfgefið upp úr kassanum.
  • Hún á í erfiðleikum með að hlaða gögnum. Aðeins tiltekið stjórnborðsforrit sem gat aðeins hlaðið CSV skrár og aðeins á einhvern mjög óljósan hátt.
  • Gagnagrunnurinn er einþráður. Þú gætir annað hvort skrifað eða lesið. En það gerði það mögulegt að vinna mikið magn af gögnum.
  • Og hún hafði líka áhugaverða hækju. Á hverju kvöldi þurfti að endurræsa þjóninn, annars myndi hann ekki virka.

Hún starfaði hjá okkur til ársloka 2016 þegar við fórum algjörlega yfir í ClickHouse.

Lífið á undan ClickHouse - Cassandra

Þar sem infiniDB var einþráður ákváðum við að við þyrftum einhvers konar fjölþráða gagnagrunn sem við gætum skrifað marga þræði í á sama tíma.

Við prófuðum margt áhugavert. Svo ákváðum við að prófa Cassöndru. Allt var frábært með Cassöndru. 10 beiðnir á sekúndu fyrir hvert tilboð. 000 beiðnir einhvers staðar um lestur.

En hún hafði líka sín eigin áhugamál. Einu sinni í mánuði eða einu sinni á tveggja mánaða fresti upplifði hún afsamstillingu gagnagrunns. Og ég þurfti að vakna og hlaupa til að laga Cassöndru. Netþjónarnir voru endurræstir einn af öðrum. Og allt varð slétt og fallegt.

Lífið á undan ClickHouse - Druid

Þá komumst við að því að við þyrftum að skrifa enn fleiri gögn. Árið 2016 byrjuðum við að horfa á Druid.

Druid er opinn hugbúnaður skrifaður í Java. Mjög sérstakur. Og það var hentugur fyrir clickstream, þegar við þurfum að geyma einhvers konar straum af atburðum og framkvæma síðan samansafn á þeim eða gera greiningarskýrslur.

Druid var með útgáfu 0.9.X.

Gagnagrunnurinn sjálfur er mjög erfiður í notkun. Þetta er flókið innviði. Til að dreifa því var nauðsynlegt að setja mikið, mikið af járni. Og hver vélbúnaður var ábyrgur fyrir sínu aðskildu hlutverki.

Til að hlaða gögnum inn í það var nauðsynlegt að nota einhvers konar sjamanisma. Það er OpenSource verkefni - Tranquility, sem var að tapa gögnum frá okkur í straumi. Þegar við hlóðum gögnum inn í það tapaði það þeim.

En einhvern veginn fórum við að innleiða það. Við, eins og broddgeltir sem tóku eiturlyf en héldum áfram að borða kaktus, byrjuðum að kynna það. Það tók okkur um mánuð að undirbúa alla innviði fyrir það. Það er að segja, panta netþjóna, stilla hlutverk og gera dreifingu fullkomlega sjálfvirkan. Það er að segja að ef þyrping bilar verður seinni þyrpingin sjálfkrafa sett upp.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

En svo gerðist kraftaverk. Ég var í fríi og samstarfsmenn mínir sendu mér hlekk á habr, sem segir að Yandex hafi ákveðið að opna ClickHouse. Ég segi við skulum reyna það.

Og bókstaflega á 2 dögum settum við upp ClickHouse prófunarklasa. Við byrjuðum að hlaða gögnum inn í það. Í samanburði við infiniDB er þetta grunnatriði; miðað við Druid er þetta grunnatriði. Í samanburði við Cassöndru er það líka grunnatriði. Vegna þess að ef þú hleður gögnum frá PHP inn í Cassandra, þá er þetta ekki grunnatriði.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Hvað fengum við? Afköst í hraða. Afköst í gagnageymslu. Það er, mun minna pláss er notað. ClickHouse er hratt, það er mjög hratt miðað við aðrar vörur.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Þegar ræst var, þegar Yandex birti ClickHouse í OpenSource, var aðeins til leikjatölvuviðskiptavinur. Við hjá fyrirtækinu okkar SMI2 ákváðum að reyna að búa til innfæddan viðskiptavin fyrir vefinn, svo við gætum opnað síðu úr vafra, skrifað beiðni og fengið niðurstöðuna, því við byrjuðum að skrifa mikið af beiðnum. Það er erfitt að skrifa í stjórnborðið. Og við gerðum okkar fyrstu útgáfu.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Og einhvers staðar nær vetrinum í fyrra fóru að birtast verkfæri þriðja aðila til að vinna með ClickHouse. Þetta eru verkfæri eins og:

Ég mun skoða nokkur af þessum verkfærum, það er þau sem ég hef unnið með.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Gott tól, en fyrir Druid. Þegar verið var að innleiða Druid var ég að prófa SuperSet. Mér líkaði við hann. Fyrir Druid er það mjög hratt.

Það er ekki hentugur fyrir ClickHouse. Það er, það passar, það byrjar, en er tilbúið til að vinna aðeins grunnfyrirspurnir eins og: SELECT event, GROUP BY atburð. Það styður ekki flóknari ClickHouse setningafræði.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Næsta tól er Apache Zeppelin. Þetta er gott og áhugavert mál. Virkar. Það styður minnisbækur, mælaborð og styður breytur. Ég veit að einhver í ClickHouse samfélaginu notar það.

En það er enginn stuðningur við setningafræði ClickHouse, þ.e.a.s. þú verður að skrifa fyrirspurnir annað hvort í stjórnborðinu eða einhvers staðar annars staðar. Næst skaltu athuga hvort allt virki. Það er bara óþægilegt. En það hefur góðan mælaborðsstuðning.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Næsta tól er Redash.IO. Redash er hýst á netinu. Það er, ólíkt fyrri verkfærum, þarf ekki að setja það upp. Og þetta er mælaborð með getu til að sameina gögn frá mismunandi DataSources. Það er, þú getur halað niður frá ClickHouse, frá MySQL, frá PostgreSQL og frá öðrum gagnagrunnum.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Fyrir aðeins mánuði síðan (mars 2017) birtist stuðningur í Grafana. Þegar þú býrð til skýrslur í Grafana, til dæmis, um ástand vélbúnaðar þíns eða á einhverjum mæligildum, geturðu nú byggt sama grafið eða einhvers konar spjald úr gögnum frá ClickHouse beint. Þetta er mjög þægilegt og við notum það sjálf. Þetta gerir þér kleift að finna frávik. Það er, ef eitthvað gerist og einhver vélbúnaður dettur eða verður þvingaður, þá geturðu skoðað ástæðuna ef þessi gögn náðu að komast inn í ClickHouse.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Mér fannst mjög óþægilegt að skrifa í þessi verkfæri eða í vélinni. Og ég ákvað að bæta fyrsta viðmótið okkar. Og ég fékk hugmyndina frá EventSQL, SeperSet, Zeppelin.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Hvað vildirðu? Ég vildi fá grafík, endurbættan ritstjóra og innleiða stuðning við ábendingaorðabækur. Vegna þess að ClickHouse hefur frábæran eiginleika - orðabækur. En það er erfitt að vinna með orðabækur, vegna þess að þú þarft að muna sniðið á geymdum gildum, þ.e. hvort það er tala eða strengur osfrv. Og þar sem við notum orðabækur oft í mismunandi afbrigðum þeirra, var frekar erfitt að skrifa fyrirspurnir.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

3 mánuðir eru liðnir frá útgáfu fyrstu útgáfu okkar. Ég gerði um 330 skuldbindingar í einkaútibúi og það reyndist vera Tabix.

Ólíkt fyrri útgáfunni, sem hét ClickHouse-Frontend, ákvað ég að endurnefna hana í einfalt nafn. Og það kom í ljós Tabix.

Hvað birtist?

Teiknar línurit. Styður ClickHouse SQL setningafræði. Gefur ráð um aðgerðir og getur gert margt áhugavert.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Svona lítur almenna Tabix kerfið út. Vinstra megin er tré. Í miðjunni er fyrirspurnaritillinn. Og hér að neðan er niðurstaða þessarar beiðni.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Næst mun ég sýna þér hvernig fyrirspurnaritillinn virkar.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Hér virkar sjálfvirk útfylling sjálfkrafa á töflunni og hvetur, í samræmi við það, sjálfvirk útfylling fyrir reitina. Og vísbendingar um aðgerðir. Ef þú ýtir á ctrl enter verður beiðnin framkvæmd eða mistekst með villu. Einfaldasta beiðnin er send til Tabix og niðurstaðan er fengin, þ.e.a.s. þú getur fljótt unnið með ClickHouse.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Orðabækur, eins og ég sagði þegar, eru mjög áhugaverður hlutur sem við vinnum mikið með. Og sem gerði okkur kleift að gera margt. Segjum að við geymum allar borgir í orðabókum. Við geymum borgarauðkenni og borgarnafn, breiddar- og lengdargráðu. Og í gagnagrunninum geymum við aðeins borgarauðkenni. Í samræmi við það þjöppum við gögnunum mjög sterkt saman.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Þetta virðist vera einfalt, en það hjálpar í ClickHouse á mjög áhugaverðan hátt. Vegna þeirrar staðreyndar að ClickHouse styður aðeins hreiðraða sameiningu, vex fyrirspurnin niður og nógu breið. Og þegar krappin opnast og einhver löng tjáning kemur inn, þá gerir eitthvað eins einfalt og að draga saman fyrirspurnina það auðveldara að vinna með fyrirspurnina sjálfa. Vegna þess að þegar fyrirspurnin er 200-300 línur að lengd og mjög stór á breidd, þá er mjög gagnlegt að fella saman fyrirspurnina og finna svo einhvern stað eða einhvern veginn staðfæra hana.

Hlutatré, fjölspurningar og flipar (Myndband 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Næst mun ég sýna þér um tréð og flipana. Vinstra megin er tré; efst er hægt að búa til nokkra flipa. Flipar eru eins og vinnusvæði. Þú getur búið til nokkra flipa og nefnt hvern og einn á annan hátt. Þetta er eins og smákerfi til að búa til skýrslu.

Flipar eru sjálfkrafa vistaðir. Ef þú endurræsir vafrann þinn eða lokar eða opnar Tabix verður allt þetta vistað.

Hraðlykill - þægilegur (Myndband 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

Það eru til flýtilyklar og þeir eru frekar margir. Ég hef tekið nokkrar þeirra hér sem dæmi. Þetta er að skipta um flipa, framkvæma beiðni eða framkvæma nokkrar beiðnir.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Ég skal sýna þér hvernig á að vinna með niðurstöðuna. Við sendum beiðni. Hér er ég að teikna synd, cos og tg. Þú getur auðkennt niðurstöðuna, þ.e. teiknað dæmigert kort fyrir dálk. Þú getur dregið fram jákvæð eða neikvæð gildi. Eða einfaldlega litaðu ákveðinn borðþátt. Þetta er þægilegt þegar borðið er risastórt og þú þarft að finna einhverja frávik með augunum. Þegar ég var að leita að frávikum lagði ég áherslu á nokkrar línur, suma þætti í grænu eða rauðu.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Þar er margt áhugavert. Til dæmis, hvernig á að afrita í Redmine Markdown. Ef þú þarft að afrita niðurstöðuna einhvers staðar er þetta mjög þægilegt. Þú getur einfaldlega valið svæði, sagt „Copy to Redmine“ og það mun afrita í Redmine Markdown eða búa til Where-fyrirspurn.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Næst er fyrirspurna fínstilling. Ég gleymdi einu sinni að tilgreina „dagsetningu“ reitinn. Og beiðni mín í ClickHouse var ekki afgreidd mjög, mjög hratt, heldur fljótt, þ.e.a.s. innan við sekúndu. Þegar ég sá hversu margar línur hann hljóp í gegnum varð ég hræddur. Við skrifum ekki svo margar línur í þessa töflu á einum degi. Ég byrjaði að greina beiðnina og sá að ég hafði misst af stefnumóti á einum stað. Það er, ég gleymdi að gefa til kynna að ég þarf ekki gögn fyrir alla töfluna, heldur fyrir ákveðið tímabil.

Tabix er með „Stats“ flipa sem geymir alla sögu sendra beiðna, þ.e.a.s. þar geturðu séð hversu margar línur voru lesnar af þessari beiðni og hversu langan tíma það tók að framkvæma. Þetta gerir hagræðingu kleift.

Þú getur smíðað snúningstöflu yfir niðurstöðu fyrirspurnarinnar. Þú sendir beiðni til ClickHouse og fékkst nokkur gögn. Og svo er hægt að færa þessi gögn með músinni og búa til einhvers konar snúningstöflu.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Næsta áhugaverða atriðið er samsæri. Segjum að við höfum eftirfarandi beiðni: fyrir sin, cos frá 0 til 299. Og til að teikna það þarftu að velja "Draw" flipann og þú munt fá graf með synd þinni og cos.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Þú getur skipt þessu í mismunandi ása, þ.e.a.s. þú getur teiknað tvö línurit hlið við hlið í einu. Skrifaðu eina skipun og aðra skipun.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Þú getur teiknað súlurit.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Þú getur skipt þessu niður í fylki af línuritum.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Þú getur búið til hitakort.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Þú getur búið til hitauppstreymi dagatal. Við the vegur, þetta er mjög þægilegur hlutur þegar þú þarft að greina frávik yfir eitt ár, þ.e. finna annað hvort toppa eða dropa. Þessi gagnasýn hjálpaði mér við þetta.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Næst er Treemap.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Sankeys er áhugavert kort. Hann er annað hvort Streamgrahps eða River. En ég kalla það River. Það gerir þér einnig kleift að leita að hvers kyns frávikum. Það er mjög þægilegt. Ég mæli með því að nota það til að leita.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Næsta áhugaverða atriðið er að teikna kraftmikið kort. Ef þú geymir breiddargráðu, lengdargráðu í gagnagrunninum þínum og til dæmis, geymir áfangastað, ef þú ert til dæmis með vöruflutninga eða flugvélar á flugi, þá geturðu teiknað áfangaslóðir. Einnig þar geturðu stillt hraða og stærð þessara hluta sem þeir fljúga inn í.

En vandamálið við þetta kort er að það teiknar bara kort af heiminum, það er engin smáatriði.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Seinna bætti ég við Google map. Ef þú geymir breiddargráðu, lengdargráðu, þá geturðu teiknað niðurstöðuna á Google kort, en án flugvélastuðnings.

Við höfum fjallað um helstu hlutverk þess að vinna með niðurstöður og fyrirspurnir í Tabix.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Næsta er greining á ClickHouse netþjóninum þínum. Það er sérstakur „Mælingar“ flipi, þar sem þú getur séð stærð geymdra gagna fyrir hvern dálk. Skjáskotið sýnir að þessi „tilvísunarreitur“ tekur um 730 Gb. Ef við hættum þessu sviði munum við spara þrjú 700 GB brot hver, þ.e.a.s. um 2 TB sem við þurfum ekki.

Við höfum líka "request_id" reit sem við geymum í streng. En ef við byrjum að geyma það í tölulegu formi mun þetta svið minnka gífurlega.

Það sýnir einnig stillingar netþjónsins og lista yfir hnúta í þyrpingunni þinni.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Næsti flipi er mælingar. Þeir komast í rauntíma með ClickHouse og leyfa þér einfaldlega að greina stöðu netþjónsins og skilja hvað er að gerast með hann. Þetta kemur ekki í staðinn fyrir fullt Grafana. Þetta er nauðsynlegt fyrir skjóta greiningu.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Næsti flipi er ferli. Af þeim geturðu skilið hvað er að gerast á þjóninum. Skil hvað er að gerast þarna. Ég var með beiðni sem eyddi 200 GB af lestri í hvert skipti. Ég sá þetta þökk sé þessu viðmóti. Ég náði honum og leiðrétti hann. Og það reyndist vera um 30 GB, þ.e.a.s. frammistaða stundum.

ClickHouse – sjónrænt hröð og leiðandi gagnagreining í Tabix. Igor Stryhar

Þakka þér fyrir! Og það er í OpenSource

Ég kláraði. Og við the vegur, það er OpenSource, það er ókeypis og þú þarft ekki einu sinni að hlaða því niður. Opnaðu það í vafra og allt mun virka.

spurningar

Igor, hvað er næst? Hvar munt þú þróa þetta tól?

Næst munu mælaborð birtast, þ.e.a.s., kannski munu mælaborð birtast. Samþætting við aðra gagnagrunna. Ég gerði þetta, en hef ekki enn birt það í OpenSource. Þetta er MySQL og hugsanlega PostgreSQL. Það er, það verður hægt að senda beiðnir frá Tabix ekki aðeins til ClickHouse, heldur einnig til annarra verkfæra.

Ljóst er að mikið verk hefur verið unnið. Það reyndist vera nokkuð heill hugmynd. Þetta var gert í vafranum, að því er virðist, til að útrýma hækjum á alls kyns ásum og fljótt henda öllu saman. Ég heyrði að þú sért á PHP vinna, þannig að auðveldasta leiðin er að slá það inn í vafranum og það mun virka alls staðar. Það eru engar spurningar um þetta. Spurningin er þessi. Þar hefur sannarlega mikið verið gert. Hvað unnu margir við þetta? Og hvað tók þetta allt langan tíma? Vegna þess að sérsniðin verkfæri hafa venjulega ekki svo mikla virkni.

Einn úr teyminu okkar vann frá sumri til hausts. Þetta var fyrsta útgáfan. Svo gerði ég 330 skuldbindingar einn. Það sem þú sérð, ég og kollegi minn gerðum það í tvennt. Á 3 mánuðum, frá fyrstu útgáfu til þeirrar síðustu, gerði ég það að mestu einn. En ég þekki Javascript ekki mjög vel. Þetta var eina og, vona ég, síðasta Javascript verkefnið mitt sem ég vann með. Ég fattaði það, ég horfði - ó, hryllingur. En ég vildi endilega klára vöruna og þetta er það sem gerðist.

Þakka þér kærlega fyrir skýrsluna! Þetta er frábært tæki. MEÐ Tableau Hefurðu borið saman?

Þakka þér fyrir. Þess vegna nefndi ég það Tabix, því fyrstu stafirnir eru þeir sömu.

Af því að þú keppir?

Það verður mikið fjárfest, við munum keppa.

Hvernig geturðu boðið að selja til innri greiningaraðila sem þetta tól mun alveg koma í stað *Taflan*? Hver verða rökin?

Virkar innbyggt með ClickHouse. Ég prófaði Tableau en það er ekki hægt að skrifa stuðning við orðabækur og þess háttar þar. Ég veit hvernig fólk vinnur með Tabix. Þeir skrifa fyrirspurn, hlaða henni upp í CSV og hlaða henni upp á BI. Og þeir eru nú þegar að gera eitthvað þar. En ég á erfitt með að ímynda mér hvernig þeir gera þetta, því þetta er grafískt tól. Það getur losað 5 raðir, að hámarki 000 raðir, en ekki meira, annars ræður vafrinn ekki.

Það er, það eru nokkrar alvarlegar takmarkanir á magni gagna, ekki satt?

Já. Ég get ekki ímyndað mér að þú myndir vilja hlaða upp 10 línum í töfluna þína á vafraskjáinn þinn. Til hvers?

Þýðir þetta að þetta sé viðmót til að skoða gögn fljótt? Snúa því aðeins, snúa því?

Já, sjáðu fljótt hvernig það virkar og byggðu bara yfirlitsgraf. Og gefðu það svo einhvers staðar. Við erum með okkar eigið skýrslukerfi, þaðan sem ég tek einfaldlega þessa beiðni. Ég teikna í Tabix og sendi það í skýrslugerðina okkar.

Og önnur spurning. Árgangagreining?

Ef það eru einhverjar beiðnir munum við bæta því við.

Hvenær byrjaðirðu bara að nota það? ClickHouse, hversu langan tíma tók innleiðingin? smellahús og koma til framleiðsluástand?

Eins og ég sagði þá innleiddum við prufuklasa á mjög skömmum tíma. Við sendum það á tvo daga. Og við prófuðum það í nokkrar vikur í viðbót. Og við náðum framleiðslu á 3 mánuðum. En við vorum með okkar eigin ETL, þ.e. tæki til að skrá gögn. Og hann skrifaði allt sem hann gat. Hann getur skrifað í MongoDB, Cassandra, MySQL. Það var auðvelt að kenna honum að skrifa í ClickHouse. Við vorum með tilbúna innviði til að hraða innleiðingu. Innan 3 mánaða byrjuðum við að henda fyrsta þættinum. Á 6 mánuðum yfirgáfum við allt annað. Við eigum aðeins eitt ClickHouse eftir.

Igor, þakka þér kærlega fyrir skýrsluna. Mér líkaði mjög vel við virkni þess að byggja stíga með því að nota kort. Eru einhverjar áætlanir um samþættingu við Yandex.Maps og sérstaklega með sérsniðnum Yandex.Maps?

Ég reyndi að samþætta í staðinn fyrir Google map, en ég fann ekki dökkt þema á Yandex.Maps. Ég sagði þér ekki eitt stykki. Ég spóla til baka til að bæta við.

Slide – Google kort. Þar er skipunin „DRAW_GMAPS“ sem teiknar kort. Það er skipun "DRAW_YMAPS", þ.e. það getur teiknað Yandex.Map. En í raun, undir þessari skipun er Javascript, þ.e. gögnin sem þú færð frá ClickHouse er hægt að flytja yfir á Javascript, sem þú skrifar hér. Og þú ert með úttakssvæði þar sem það ætti að teikna. Þú getur teiknað hvaða línurit sem er, þ.e. hvaða línurit sem er, kort, þú getur teiknað þinn eigin íhlut. Áður en þetta átti ég annað bókasafn til að teikna línuritin sjálf.

Það er, er til tæki til að sérsníða skjávirknina?

Einhver. Þú getur tekið og endurlitað þessa punkta, sem gerir þá ekki rauða, heldur bláa, græna.

Takk fyrir skýrsluna! Þú varst með glæru sem sýndi önnur fyrirspurnarverkfæri smellahús til að byggja upp mælaborð og greiningarskýrslur. Ég skil það á því augnabliki þegar þú byrjaðir að vinna með ClickHouse, engir millistykki hafa verið skrifaðir fyrir þessi verkfæri. Og ég er að velta fyrir mér hvers vegna þú ákvaðst að búa til þitt eigið verkfæri, í stað þess að skrifa millistykki fyrir eitthvað tilbúið verkfæri? Ég held að það sé fljótlegt að fínstilla prófritarann. Hvers vegna ákvaðstu að vinna svona mikið?

Það er áhugaverður punktur hér - staðreyndin er sú að ég er tæknistjóri, ekki gagnafræðingur. Þegar við byrjuðum að innleiða Druid hafði vegakortið mitt um 50% af verkefnum - við skulum reikna þetta, eða reikna þetta, eða greina þetta. Og það kom í ljós að við innleiddum ClickHouse. Og hann byrjaði fljótt að byggja allt, telja, og lokaði fljótt vegakortinu sínu. Og á þeim tíma áttaði ég mig á því að mig skorti þekkingu í gagnafræði og sjónrænum gögnum. Tabix er eins konar heimavinna mín til að læra gagnasýn. Ég var að skoða hvernig á að bæta við Zeppelin. Ég hef smá óbeit á forritun hans. Redash Ég skoðaði hvernig á að bæta því við, en venjulegur ritstjóri var nóg fyrir mig. Og SuperSet er líka skrifað á tungumáli sem mér líkar ekki við. Svo ég ákvað að hjóla, og þetta er það sem gerðist.

Igor, samþykkir þú Pull beiðnir?

Já ég er.

Þakka þér kærlega fyrir skýrsluna! Og tvær spurningar. Í fyrsta lagi talar þú ekki mjög flattandi um Javascript. Skrifaðir þú í beru Javascript eða er það einhvers konar ramma?*

Betri í beru Javascript.

Svo hvaða ramma?

Hyrndur.

Það er skýrt. Og seinni spurningin. Hefurðu íhugað R и *Skínandi**?*

Hugleiddi það. Spilað.

Þú gætir líka bara skrifað millistykki.

Hann er. Það virðist sem samfélagið hafi gert það, en eins og ég svaraði fyrri spurningunni langaði mig að prófa það sjálfur.

*Nei, varðandi sjónræna mynd, það er líka til staðar.

Þú segir að slíkt sé til og það mun teikna fyrir þig línurit. Ég opnaði bók um sjónræn gögn. Og ég hugsaði: „Leyfðu mér að reyna að sjá fyrir mér þessi gögn. Ég mun skrifa honum svo að hann geti endurbyggt gögnin. Og ég fór að skilja betur gagnastraumtækni. Og ef ég hefði tekið tilbúinn íhlut hefði ég persónulega lært verr hvernig á að nota hann, það er sjónmynd. En já, mér líkaði við R, en ég hef ekki lesið bókina „R for Dummies“ ennþá.

Þakka þér!

Einföld spurning. Eru einhverjar leiðir til að hlaða upp skilti eða áætlun fljótt?

Hægt að hlaða upp í CSV eða Excel.

Ekki gögn, heldur tilbúinn diskur, tilbúið graf? Til dæmis til að sýna yfirmanninum.

Það er hnappur „Hlaða upp“ og það er hnappur „Hlaða upp grafi í png, í jpg“.

Þakka þér!

PS Mini-leiðbeiningar til að setja upp tabix

  • Download nýjasta útgáfan
  • Taka upp, afrita möppu build í nginx root_path
  • Stilla nginx

Heimild: www.habr.com

Bæta við athugasemd