ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Ek stel voor dat jy jouself vergewis van die transkripsie van die 2017-verslag deur Igor Strykhar "ClickHouse - Visueel vinnig en visuele data-analise in Tabix".

Webkoppelvlak vir ClickHouse in die Tabix-projek.
Belangrikste kenmerke:

  • Werk direk met ClickHouse vanaf die blaaier, sonder die behoefte om bykomende sagteware te installeer;
  • Navraagredigeerder met sintaksis-verligting;
  • Opdrag voltooiing;
  • Gereedskap vir grafiese ontleding van navraaguitvoering;
  • Kleurskemas om van te kies.
    ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar


ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Ek is die tegniese direkteur van media2. Ons is 'n nuusversamelaar vir nuusuitruiling. Ons stoor baie data wat ons van ons vennote ontvang en registreer dit in ClickHouse – sowat 30 000 versoeke per sekonde.

Dit is data soos:

  • Nuus klik.
  • Wys nuus in die versamelaar.
  • Vertoon baniere in ons netwerk.
  • En ons registreer gebeurtenisse vanaf ons eie toonbank, wat soortgelyk is aan Yandex.Metrics. Dit is ons eie mikroanalise.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Ons het 'n baie gejaagde lewe gehad voor ClickHouse. Ons het baie gely en probeer om hierdie data iewers te stoor en op een of ander manier te ontleed.

Lewe voor ClickHouse - infiniDB

Die eerste ding wat ons gehad het, was infiniDB. Sy het vir 4 jaar by ons gewoon. Ons het dit met moeite van stapel gestuur.

  • Dit ondersteun nie groepering of skeuring nie. Sy het nie by verstek sulke slim dinge uit die boks begin nie.
  • Sy sukkel om data te laai. Slegs 'n spesifieke konsole-nutsding wat net CSV-lêers kon laai en op een of ander manier baie onverstaanbaar was.
  • Die databasis is enkeldraad. Jy kan óf skryf óf lees. Maar dit het toegelaat om 'n groot hoeveelheid data te verwerk.
  • En sy het ook 'n interessante kruk gehad. Elke aand was dit nodig om die bediener te herlaai, anders sou dit nie werk nie.

Sy het by ons gewerk tot einde 2016, toe ons heeltemal na ClickHouse oorgeskakel het.

Die lewe voor ClickHouse - Cassandra

Aangesien infiniDB enkel-draad was, het ons besluit dat ons 'n soort multi-draad databasis nodig het waarin ons 'n klomp drade op dieselfde tyd kan skryf.

Ons het baie interessante dinge probeer. Toe besluit ons om Cassandra te probeer. Alles was wonderlik met Cassandra. 10 000 versoeke per sekonde per weddenskap. 2 versoeke iewers vir lees.

Maar sy het ook haar eie belange gehad. Een keer per maand of elke twee maande het sy 'n databasis nie gesinchroniseer nie. En ek moes wakker word en hardloop om Cassandra reg te maak. Het die bedieners een vir een herbegin. En alles het glad en mooi geword.

Lewe voor ClickHouse - Druid

Toe het ons besef dat ons nog meer data moet skryf. In 2016 het ons Druid begin kyk.

Druid is 'n oop basis wat in Java geskryf is. Baie spesifiek. En dit pas by clickstream wanneer ons 'n soort stroom gebeurtenisse moet stoor en dit dan saamvoeg of analitiese verslae moet maak.

Druid het weergawe 0.9.X gehad.

Die databasis self is baie moeilik om te ontplooi. Dit is die kompleksiteit van die infrastruktuur. Om dit te ontplooi, was dit nodig om baie yster te sit. En elke yster was verantwoordelik vir sy afsonderlike rol.

Om data daarin te laai, was dit nodig om een ​​of ander soort sjamanisme toe te pas. Daar is 'n OpenSource-projek - Tranquility, wat data van ons in die stroom verloor het. Toe ons data daarin gelaai het, het dit hulle verloor.

Maar op een of ander manier het ons dit begin implementeer. Ons, soos krimpvarkies wat hulself ingespuit het, maar aanhou om die kaktus te eet, het dit begin bekendstel. Dit het ons sowat 'n maand geneem om die hele infrastruktuur daarvoor voor te berei. Dit wil sê, bestel bedieners, stel rolle op en outomatiseer ontplooiing ten volle. Dit wil sê in die geval van 'n trosval, sodat die tweede tros outomaties ontplooi word.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Maar toe gebeur 'n wonderwerk. Ek was met vakansie en my kollegas het vir my 'n skakel gestuur na habr, wat sê dat Yandex besluit het om ClickHouse oop te maak. Ek sê kom ons probeer.

En letterlik binne 2 dae het ons 'n ClickHouse-toetsgroep ontplooi. Ons het begin om data daarin te laai. In vergelyking met infiniDB, is dit elementêr; in vergelyking met Druid, is dit elementêr. In vergelyking met Cassandra is dit ook elementêr. Want as jy data van php in Cassandra laai, dan is dit nie elementêr nie.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Wat het ons gekry? Prestasie in spoed. Prestasie in databerging. Dit wil sê, baie minder skyfspasie word gebruik. ClickHouse is vinnig, dit is baie vinnig in vergelyking met ander produkte.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Ten tyde van die bekendstelling, toe Yandex ClickHouse in OpenSource gepubliseer het, was daar net 'n konsolekliënt. Ons in ons maatskappy SMI2 het besluit om te probeer om 'n inheemse kliënt vir die web te maak, sodat jy 'n bladsy vanaf 'n blaaier kan oopmaak, 'n versoek kan skryf en die resultaat kry, want ons het baie versoeke begin skryf. Dit is moeilik om na die konsole te skryf. En ons het ons eerste weergawe gemaak.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

En iewers nader aan die winter van verlede jaar het derdeparty-instrumente begin verskyn om met ClickHouse te werk. Dit is gereedskap soos:

Ek sal sommige van hierdie instrumente hersien, dit wil sê dié waarmee ek gewerk het.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Goeie hulpmiddel, maar vir Druid. Toe Druid bekendgestel is, het ek SuperSet gevoel. Ek het van hom gehou. Vir 'n Druid werk dit baie vinnig.

Dit is nie geskik vir ClickHouse nie. Dit wil sê, dit pas, dit begin, maar dit is gereed om slegs elementêre navrae te verwerk soos: SELECT event, GROUP BY event. Dit ondersteun nie die meer komplekse ClickHouse-sintaksis nie.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Die volgende hulpmiddel is Apache Zeppelin. Dit is 'n goeie en interessante ding. Werke. Dit ondersteun notaboeke, dashboards, ondersteun veranderlikes. Ek weet iemand van die ClickHouse-gemeenskap gebruik dit.

Maar daar is geen ondersteuning vir die ClickHouse-sintaksis nie, dit wil sê, jy sal navrae óf in die konsole óf iewers anders moet skryf. Kyk dan of dit alles werk. Dis net ongerieflik. Maar hy het goeie ondersteuning vir dashboarding.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Die volgende hulpmiddel is Redash.IO. Redash word op die internet aangebied. Dit wil sê, anders as vorige gereedskap, hoef dit nie geïnstalleer te word nie. En dit is so 'n dashboard met die vermoë om data van verskillende databronne te konsolideer. Dit wil sê, jy kan oplaai vanaf ClickHouse, van MySQL, van PostgreSQL en vanaf ander databasisse.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Net 'n maand gelede (in Maart 2017) het ondersteuning in Grafana verskyn. Wanneer jy byvoorbeeld verslae in Grafana bou, volgens die toestand van jou hardeware of volgens sommige maatstawwe, kan jy nou dieselfde grafiek of 'n soort paneel uit data van ClickHouse direk bou. Dit is baie gerieflik, en ons gebruik dit by die huis. Dit laat jou toe om afwykings te vind. Dit wil sê, as iets gebeur en sommige hardeware val of spanning, dan kan jy die rede sien as hierdie data daarin geslaag het om in ClickHouse te kom.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Dit was vir my baie ongemaklik om in hierdie gereedskap of in die konsole te skryf. En ek het besluit om ons eerste koppelvlak te finaliseer. En ek het die idee van EventSQL, SeperSet, Zeppelin bespied.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Wat het jy gesoek? Ek wou grafika kry, 'n verbeterde redigeerder, ondersteuning vir wenkwoordeboeke implementeer. Omdat ClickHouse 'n wonderlike kenmerk het - dit is woordeboeke. Maar dit is moeilik om met woordeboeke te werk, want jy moet die formaat van die gestoorde waardes onthou, dit wil sê is dit 'n getal of 'n string, ens. En aangesien ons dikwels woordeboeke in hul verskillende variasies gebruik, was dit nogal moeilik om navrae te skryf.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Dit is 3 maande sedert die vrystelling van ons eerste weergawe. Ek het ongeveer 330 commits tot 'n geslote tak gemaak en Tabix gekry.

Anders as die vorige weergawe, wat ClickHouse-Frontend genoem is, het ek besluit om dit na 'n eenvoudige naam te hernoem. En dit blyk Tabix.

Wat het verskyn?

Teken grafika. Ondersteun ClickHouse SQL-sintaksis. Vertel van funksies en weet hoe om baie interessante dinge te doen.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Dit is hoe die algemene uitleg van Tabix lyk. Aan die linkerkant is 'n boom. In die middel is die navraagredigeerder. En hieronder is die resultaat van hierdie navraag.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Vervolgens sal ek wys hoe die navraagredigeerder werk.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Hier het outovoltooi outomaties op die tabel gewerk en vra onderskeidelik outovoltooi volgens velde. En funksie wenke. As jy ctrl enter druk, dan sal die versoek uitgevoer word of val met 'n fout. Die eenvoudigste versoek word aan Tabix gestuur en die resultaat word verkry, dit wil sê jy kan vinnig met ClickHouse werk.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Woordeboeke, soos ek gesê het, is 'n baie interessante ding waarmee ons baie werk. En wat toegelaat het dat baie dinge gedoen kon word. Gestel ons stoor alle stede in woordeboeke. Ons stoor die stad identifiseerder en stad naam, sy breedtegraad en lengtegraad. En in die databasis stoor ons slegs die identifiseerder van die stad. Gevolglik druk ons ​​die data baie sterk saam.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Dit blyk 'n eenvoudige ding te wees, maar in ClickHouse help dit op 'n baie interessante manier. As gevolg van die feit dat ClickHouse slegs geneste aansluitings ondersteun, groei die navraag af en wyd genoeg. En wanneer die hakies oopmaak en 'n lang uitdrukking gaan, dan maak so 'n redelik eenvoudige ding soos navraagvou dit makliker om met die navraag self te werk. Want wanneer 'n versoek 200-300 reëls wyd is en dit baie groot is, bespaar dit baie deur die versoek te vou en dan 'n plek te vind of dit op een of ander manier te lokaliseer.

Voorwerpboom, multinavrae en oortjies (Video 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Volgende sal ek jou wys oor die boom, tabs. Aan die linkerkant is 'n boom, bo-op kan jy verskeie oortjies skep. Oortjies is soos 'n werkspasie. Jy kan veelvuldige oortjies skep en elkeen anders benoem. Dit is soos 'n mini-stelsel om 'n verslag te bou.

Oortjies word outomaties gestoor. As jy jou blaaier herbegin, of Tabix toemaak of oopmaak, sal dit alles gestoor word.

Sneltoets is gerieflik (Video 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

Daar is sneltoetse en daar is baie van hulle. Ek het 'n paar van hulle hier ingesluit as 'n voorbeeld. Dit is 'n oortjieskakelaar, voer 'n versoek uit, of voer veelvuldige versoeke uit.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Ek sal jou wys hoe om met die resultaat te werk. Ons stuur 'n versoek. Hier teken ek sonde, cos en tg. Jy kan die resultaat uitlig, dit wil sê 'n tipiese kaart vir 'n kolom teken. Jy kan positiewe of negatiewe waardes uitlig. Of kleur net een of ander spesifieke element van die tafel in. Dit is gerieflik wanneer die tafel groot is en jy 'n soort anomalie met jou oë moet vind. Toe ek na anomalieë gesoek het, het ek 'n paar lyne uitgelig, 'n paar elemente in groen of rooi.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Daar is baie interessante dinge daar. Byvoorbeeld, hoe om in Redmine Markdown te kopieer. As jy die resultaat iewers moet kopieer, is dit baie gerieflik. Jy kan net 'n area kies, sê "Copy to Redmine" en dit sal na Redmine Markdown kopieer of 'n Where-navraag skep.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Volgende is navraagoptimalisering. Ek het eenkeer vergeet om die "datum" veld te spesifiseer. En my versoek in ClickHouse is nie baie, baie vinnig verwerk nie, maar vinnig, dit wil sê minder as 'n sekonde. Toe ek sien hoeveel lyne hy deurloop, was ek bang. Ons skryf nie soveel rye in hierdie tabel op 'n dag nie. Ek het die versoek begin ontleed en gesien dat ek 'n datum op een plek gemis het. Dit wil sê, ek het vergeet om aan te dui dat ek nie data vir die hele tabel nodig het nie, maar vir 'n spesifieke tydperk.

Tabix het 'n "Stats"-oortjie, wat die hele geskiedenis van gestuurde versoeke stoor, d.w.s. daar kan jy sien hoeveel rye deur hierdie versoek gelees is en hoe lank dit geneem het om te loop. Dit maak voorsiening vir optimalisering.

U kan 'n spiltabel oor die navraagresultaat bou. Jy het 'n versoek aan ClickHouse gestuur en sommige data ontvang. En dan kan hierdie data met die muis getrek word en 'n soort spiltabel bou.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Die volgende interessante ding is grafieke. Kom ons sê ons het die volgende versoek: vir sonde, cos van 0 tot 299. En om dit te teken, moet jy die "Teken"-oortjie kies en jy sal 'n grafiek met jou sonde en cos kry.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Jy kan dit in verskillende asse opbreek, dit wil sê jy kan twee grafieke gelyktydig langs mekaar teken. Skryf een opdrag en die tweede opdrag.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Jy kan histogramme teken.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Jy kan dit afbreek in 'n matriks van grafieke.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Jy kan 'n hittekaart bou.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Jy kan 'n termiese kalender bou. Terloops, 'n baie handige ding wanneer jy afwykings vir 'n jaar moet ontleed, dit wil sê, óf bars óf druppels vind. Hierdie datavisualisering het my hiermee gehelp.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Die volgende een is Treemap.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Sankeys is 'n interessante grafiek. Hy is of Streamgrahps of River. Maar ek noem dit Rivier. Dit laat jou ook toe om na enige afwykings te soek. Dit is baie gemaklik. Ek beveel aan om dit te gebruik om te soek.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Die volgende interessante ding is die weergawe van die dinamiese kaart. As jy breedtegraad, lengtegraad in jou databasis gestoor het en, byvoorbeeld, 'n afspraak word gestoor, as jy byvoorbeeld vragmotors het of vliegtuie vlieg, dan kan jy bestemmingspaaie teken. Ook daar kan jy die spoed stel, die grootte van hierdie voorwerpe waarin hulle aankom.

Maar die probleem met hierdie kaart is dat dit net 'n kaart van die wêreld teken, daar is geen detail nie.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Later het ek 'n Google-kaart bygevoeg. As jy breedtegraad, lengtegraad stoor, dan kan jy die resultaat op 'n Google-kaart teken, maar sonder vliegtuigondersteuning.

Ons het die hooffunksies van die werk met die resultaat bespreek, met 'n navraag in Tabix.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Die volgende een is die ontleding van jou ClickHouse-bediener. Daar is 'n aparte "Metrieks"-oortjie waar jy die grootte van die gestoorde data vir elke kolom kan sien. Die skermkiekie wys dat hierdie "verwyser"-veld iets in die orde van 730 Gb beslaan. As ons hierdie veld weier, sal ons drie 700 GB-skerwe spaar, dit wil sê ongeveer 2 TB, wat ons nie nodig het nie.

Ons het ook 'n "request_id" veld wat ons in 'n string stoor. Maar as ons dit in numeriese vorm begin stoor, sal hierdie veld kolossaal saamgepers word.

Dit wys ook die bedienerkonfigurasie en die lys nodusse in u groepering.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Die volgende oortjie is metrieke. Hulle kom intyds vanaf ClickHouse en laat jou eenvoudig die toestand van die bediener ontleed en verstaan ​​wat daarmee gebeur. Dit is nie ’n plaasvervanger vir die volwaardige Grafana nie. Dit is nodig om vinnig te ontleed.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Die volgende oortjie is prosesse. Van hulle kan jy verstaan ​​wat op die bediener gebeur. Verstaan ​​wat daar aangaan. Ek het 'n navraag gehad wat elke keer 200 GB geneem het om te lees. Ek het dit gesien danksy hierdie koppelvlak. Het dit gevang en reggemaak. En dit het omtrent 30 GB geblyk, d.w.s. werkverrigting by tye.

ClickHouse is 'n visueel vinnige en visuele data-analise in Tabix. Igor Stryhar

Dankie! En dit is in OpenSource

Ek het klaar gemaak. En terloops, dit is in OpenSource, dit is gratis en jy hoef dit nie eens af te laai nie. Maak oop in 'n blaaier en alles sal werk.

vrae

Igor, wat is volgende? Waar sal jy hierdie hulpmiddel ontwikkel?

Dashboarding sal volgende verskyn, dit wil sê, miskien sal dashboarding verskyn. Integrasie met ander databasisse. Dit het ek gedoen, maar nog nie na OpenSource gepubliseer nie. Dit is MySQL en moontlik PostgreSQL. Dit wil sê, dit sal moontlik wees om versoeke van Tabix nie net na ClickHouse te stuur nie, maar ook na ander gereedskap.

Dit is duidelik dat 'n groot hoeveelheid werk gedoen is. Dit blyk nogal 'n volledige idee te wees. In die blaaier is dit blykbaar gedoen om krukke op enige asse uit te sluit en die hele ding vinnig te gooi. Ek het gehoor jy is PHP werk, so die maklikste manier is om die blaaier in te gooi en dit sal oral werk. Daar is geen vrae hiervoor nie. Die vraag is. Daar is inderdaad baie gedoen. Hoeveel mense het daaraan gewerk? En hoe lank het dit alles geneem? Omdat gereedskap vir hulself gewoonlik nie so groot funksionaliteit het nie.

Een persoon uit ons span het van somer tot herfs gewerk. Dit was die eerste weergawe. Toe het ek 330 commits alleen gedoen. Wat jy sien, ek en my kollega het dit in die helfte gedoen. Vir 3 maande van die heel eerste weergawe tot die laaste een het ek dit meestal alleen gedoen. Maar ek ken nie Javascript baie goed nie. Dit was my enigste en hopelik laaste Javascript-projek waaraan ek gewerk het. Ek het dit, ek het gekyk - o, gruwel. Maar ek wou regtig die produk klaarmaak en dit is wat gebeur het.

Baie dankie vir die verslag! Dit is 'n wonderlike hulpmiddel. MET Tableau vergelyk?

Dankie. Daarom het Tabix dit genoem, want die eerste letters is dieselfde.

Omdat jy meeding?

Daar sal baie belê word, ons sal meeding.

Hoe om aan te bied om aan interne ontleders te verkoop wat hierdie instrument heeltemal sal vervang *Tableau*? Wat sal die argumente wees?

Werk inheems met ClickHouse. Ek het Tableau probeer, maar jy kan nie ondersteuning vir woordeboeke en dies meer daar skryf nie. Ek weet hoe mense met Tabix werk. Hulle skryf 'n versoek, laai dit op na CSV en laai dit op na BI. En hulle doen reeds iets. Maar ek kan my skaars indink hoe hulle dit doen, want dit is 'n grafiese hulpmiddel. Dit kan 5 000 reëls oplaai, maksimum 6 000 reëls, maar nie meer nie, anders sal die blaaier nie oorleef nie.

Dit wil sê, daar is 'n paar ernstige beperkings op die hoeveelheid data, nie waar nie?

Ja. Ek kan my nie voorstel dat jy 10 000 rye na jou tabel op die blaaierskerm wil oplaai nie. Vir wat?

Is dit bedoel om 'n koppelvlak te wees vir 'n vinnige oorsig van die data? Draai 'n bietjie, draai?

Ja, kyk gou hoe dit werk en bou net 'n opsommingskaart. En dan iewers gee. Ons het ons eie rapporteringstelsel, van waar ek net hierdie versoek neem. Ek teken Tabix in en stuur dit na ons verslaggewing.

En nog 'n vraag. Kohortontleding?

As daar versoeke is, sal ons byvoeg.

Toe jy die eerste keer begin gebruik het ClickHouse, hoe lank het dit geneem om te implementeer klikhuis en bring na produksie state?

Soos ek gesê het, het ons 'n toetsgroep in 'n baie kort tyd geïmplementeer. Ons het dit binne twee dae uitgepak. En ons het dit nog 'n paar weke getoets. En ons het produksie binne 3 maande bereik. Maar ons het ons eie ETL gehad, dit wil sê 'n instrument om data op te neem. En hy het aan ons geskryf in alles wat moontlik is. Hy kan skryf in MongoDB, Cassandra, MySQL. Dit was maklik om hom in ClickHouse te leer skryf. Ons het 'n gereedgemaakte infrastruktuur gehad vir vinnige implementering. Vir 3 maande het ons die eerste komponent begin uitgooi. Vir 6 maande het ons alles heeltemal laat vaar. Ons het een ClickHouse oor.

Igor, baie dankie vir die verslag. Ek het baie gehou van die funksionaliteit om paaie op kaarte te bou. Beplan jy om met Yandex.Maps te integreer en veral met persoonlike Yandex.Maps?

Ek het probeer om in plaas van Google map te integreer, maar ek het nie 'n donker tema op Yandex.Maps gevind nie. Ek het een stuk uitgelaat. Ek sal terugspoel om by te voeg.

Skyfie - Google kaart. Hier is daar 'n opdrag "DRAW_GMAPS", wat 'n kaart teken. Daar is 'n "DRAW_YMAPS" opdrag, dit wil sê dit kan 'n Yandex.Map teken. Maar in werklikheid, onder hierdie opdrag is Javascript, dit wil sê, die data wat jy van ClickHouse kry, kan na Javascript oorgedra word, wat jy hier skryf. En jy het 'n uitsetarea waar dit geteken moet word. Jy kan enige grafiek teken, dit wil sê enige grafiek, kaart, jy kan jou eie komponent teken. Voor dit het ek 'n ander biblioteek gehad om self die grafieke te teken.

Dit wil sê, is daar 'n instrument om die vertoonfunksie aan te pas?

Enige. Jy kan hierdie punte neem en herkleur, wat hulle nie rooi maak nie, maar blou, groen.

Dankie vir die verslag! Jy het 'n skyfie gehad wat alternatiewe navraagnutsgoed wys klikhuis vir die bou van dashboards, analitiese verslae. Ek verstaan ​​dit op die oomblik toe jy begin werk het ClickHouse, geen adapters is vir hierdie gereedskap geskryf nie. En ek wonder hoekom jy besluit het om jou eie gereedskap te maak, in plaas daarvan om 'n adapter vir een of ander gereedgemaakte gereedskap te skryf? Ek dink dit is vinnig om die toetsredigeerder aan te pas. Hoekom het jy gekies om soveel werk te doen?

Daar is so 'n interessante oomblik - die feit is dat ek 'n tegniese direkteur is, en nie 'n datawetenskaplike nie. Teen die tyd dat ons Druid begin implementeer het, het ek omtrent 50% van die take in die padkaart gehad - kom ons bereken dit, of kom ons bereken dit, of ontleed dit. En dit het geblyk dat ons ClickHouse geïmplementeer het. En hy het alles vinnig begin bou, tel, vinnig sy padkaart toegemaak. En teen daardie tyd het ek besef dat ek nie kennis van Data Science, datavisualisering, het nie. Tabix is ​​soort van my huiswerk om datavisualisering te leer. Ek het gekyk hoe om Zeppelin aan te vul. Ek het 'n effense afkeer vir sy programmering. Ek het gekyk hoe om Redash by te voeg, maar 'n normale redigeerder was vir my genoeg. En SuperSet is ook geskryf in 'n taal waarvan ek nie regtig hou nie. En so het ek besluit om fiets te ry, en dit is wat gebeur het.

Igor, aanvaar jy trekversoeke?

Ja.

Baie dankie vir die verslag! En twee vrae. Eerstens is jy nie baie vleiend oor nie javascript. Het jy in suiwer Javascript geskryf of is dit 'n soort raamwerk?*

Beter op blote Javascript.

So watter raamwerk?

Hoekig.

Dit is duidelik. En die tweede vraag. Het jy al oorweeg R и *Blink**?*

Oorweeg. Gespeel.

Jy kan ook net 'n adapter skryf.

Hy is. Dit blyk dat die gemeenskap dit gemaak het, maar, soos ek die vorige vraag beantwoord het, wou ek dit self voel.

* Nee, oor die visualisering, daar is.

Jy sê daar is so iets en dit sal vir jou 'n grafiek teken. Ek het 'n datavisualiseringsboek oopgemaak. En ek het gedink: “Kom ons probeer om hierdie data te visualiseer. Ek sal dit self skryf sodat hy die data kan herbou.” En ek het die tegnologie van datavoer beter begin verstaan. En as ek 'n klaargemaakte komponent geneem het, sou ek persoonlik geleer het hoe om dit slegter te gebruik, dit wil sê visualisering. Maar so – ja, ek het van R gehou, maar ek het nog nie die boek “R for Dummies” gelees nie.

Dankie!

Eenvoudige vraag. Is daar enige maniere om vinnig 'n bord, 'n grafiek af te laai?

Kan opgelaai word na CSV, na Excel.

Nie data nie, maar 'n klaargemaakte tabel, 'n klaargemaakte grafiek? Byvoorbeeld, om die owerhede te wys.

Daar is 'n "Laai op"-knoppie en daar is 'n knoppie "Laai grafiek op in png, in jpg".

Dankie!

PS Mini tabix installasie-instruksies

Bron: will.com

Voeg 'n opmerking