ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Ik stel foar dat jo it transkripsje lêze fan it 2017-rapport fan Igor Stryhar "ClickHouse - visueel rappe en dúdlike gegevensanalyse yn Tabix."

Webynterface foar ClickHouse yn it Tabix-projekt.
Key features:

  • Wurket mei ClickHouse direkt fan 'e browser, sûnder de needsaak om ekstra software te ynstallearjen;
  • Query bewurker mei syntaksis markearring;
  • Autofoltôging fan kommando's;
  • Tools foar grafyske analyze fan query-útfiering;
  • Kleurskema's om út te kiezen.
    ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar


ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Ik bin de technyske direkteur fan SMI2. Wy binne in aggregator fan nijsútwikseling. Wy bewarje in protte gegevens dy't wy krije fan ús partners en registrearje it yn ClickHouse - sawat 30 oanfragen per sekonde.

Dit binne gegevens lykas:

  • Klikje op nijs.
  • Nijs toant yn 'e aggregator.
  • Banner toant op ús netwurk.
  • En wy registrearje eveneminten fan ús eigen teller, dy't gelyk is oan Yandex.Metrica. Dit is ús eigen mikro-analytyk.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Wy hienen in heul hektysk libben foar ClickHouse. Wy hawwe in protte te lijen, besykje dizze gegevens earne op te slaan en op ien of oare manier te analysearjen.

It libben foar ClickHouse - infiniDB

It earste wat wy hiene wie infiniDB. Sy wenne by ús foar 4 jier. Wy lansearre it mei muoite.

  • It stipet gjin klustering of sharding. Gjin sokke tûke dingen kamen standert út 'e doaze.
  • Se hat muoite mei it laden fan gegevens. Allinich in spesifyk konsole-hulpprogramma dat allinich CSV-bestannen koe laden en allinich op ien of oare heul ûndúdlike manier.
  • De databank is single-threaded. Jo kinne skriuwe of lêze. Mar it makke it mooglik om in grutte hoemannichte gegevens te ferwurkjen.
  • En se hie ek in nijsgjirrige kruk. Elke nacht moast de tsjinner opnij opstarte wurde, oars soe it net wurkje.

Se wurke foar ús oant it ein fan 2016, doe't wy folslein oerstapten nei ClickHouse.

It libben foar ClickHouse - Cassandra

Sûnt infiniDB wie single-threaded, wy besletten dat wy nedich in soarte fan multi-threaded database dêr't wy koenen skriuwe in protte triedden tagelyk.

Wy hawwe in protte nijsgjirrige dingen besocht. Doe besleaten wy Cassandra te besykjen. Alles wie geweldich mei Cassandra. 10 oanfragen per sekonde per bod. 000 fersiken earne foar lêzen.

Mar se hie ek har eigen belangen. Ien kear yn 'e moanne of ien kear yn' e twa moannen belibbe se in database-desyngronisaasje. En ik moast wekker wurde en rinne om Cassandra te reparearjen. De tsjinners waarden ien foar ien opnij starte. En alles waard glêd en moai.

It libben foar ClickHouse - Druid

Doe beseften wy dat wy noch mear gegevens skriuwe moasten. Yn 2016 begûnen wy Druid te sjen.

Druid is in iepen boarne software skreaun yn Java. Hiel spesifyk. En it wie geskikt foar clickstream, as wy in soarte fan stream fan eveneminten moatte opslaan en dan aggregaasje op har útfiere of analytyske rapporten meitsje.

Druid hie ferzje 0.9.X.

De databank sels is heul lestich te ynsetten. Dit is de kompleksiteit fan 'e ynfrastruktuer. Om it yn te setten wie it nedich om in protte, in protte izer te ynstallearjen. En elk stik hardware wie ferantwurdlik foar syn eigen aparte rol.

Om gegevens dêryn te laden, wie it nedich om in soarte fan sjamanisme te brûken. D'r is in OpenSource-projekt - Tranquility, dat gegevens fan ús ferlear yn in stream. Doe't wy laden gegevens yn it, it ferlear it.

Mar op ien of oare manier begûnen wy it út te fieren. Wy, lykas egels dy't drugs namen, mar bleaunen kaktus ite, begûnen it yn te fieren. It hat ús sa'n moanne duorre om alle ynfrastruktuer derop ta te rieden. Dat is, bestelle tsjinners, konfigurearje rollen, en folslein automatisearje ynset. Dat wol sizze, by in klusterfal wurdt it twadde kluster automatysk ynset.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Mar doe barde der in wûnder. Ik wie op fakânsje en myn kollega's stjoerde my in keppeling nei habr, dy't seit dat Yandex besletten om ClickHouse te iepenjen. Ik sis litte wy it besykje.

En letterlik yn 2 dagen hawwe wy in ClickHouse-testkluster ynset. Wy begûnen gegevens yn te laden. Yn ferliking mei infiniDB is dit elemintêr; yn ferliking mei Druid is dit elemintêr. Yn ferliking mei Cassandra is it ek elemintêr. Want as jo gegevens fan PHP yn Cassandra lade, dan is dit net elemintêr.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Wat hawwe wy krigen? Prestaasje yn snelheid. Prestaasje yn gegevens opslach. Dat is, folle minder skiifromte wurdt brûkt. ClickHouse is rap, it is heul rap yn ferliking mei oare produkten.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Op it momint fan lansearring, doe't Yandex ClickHouse yn OpenSource publisearre, wie d'r mar in konsole-kliïnt. Wy by ús bedriuw SMI2 besletten om te besykjen om in native client foar it web te meitsjen, sadat wy in side fan in browser iepenje kinne, in fersyk skriuwe en it resultaat krije, om't wy in protte oanfragen begon te skriuwen. Skriuwen yn 'e konsole is lestich. En wy makken ús earste ferzje.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

En earne tichter by de winter fan ferline jier begon ark fan tredden te ferskinen foar wurkjen mei ClickHouse. Dit binne ark lykas:

Ik sil nei guon fan dizze ark sjen, dat is dejingen wêrmei't ik haw wurke.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

In goed ark, mar foar Druid. Doe't Druid waard ymplementearre, testen ik SuperSet. Ik mocht him graach. Foar Druid is it heul fluch.

It is net geskikt foar ClickHouse. Dat is, it past, it begjint, mar is klear om allinich elemintêre fragen te ferwurkjen lykas: SELECT-evenemint, GROUP BY-evenemint. It stipet de mear komplekse ClickHouse-syntaksis net.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

It folgjende ark is Apache Zeppelin. Dit is in goed en nijsgjirrich ding. Wurket. It stipet notebooks, dashboards, en stipet fariabelen. Ik wit dat immen yn 'e ClickHouse-mienskip it brûkt.

Mar d'r is gjin stipe foar ClickHouse-syntaksis, d.w.s. jo moatte fragen skriuwe yn 'e konsole of earne oars. Kontrolearje dan dat it allegear wurket. It is gewoan ûngemaklik. Mar it hat goede dashboard-stipe.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

It folgjende ark is Redash.IO. Redash wurdt hosted op it ynternet. Dat is, yn tsjinstelling ta eardere ark, hoecht it net te ynstallearjen. En dit is in dashboard mei de mooglikheid om gegevens te konsolidearjen fan ferskate DataSources. Dat is, jo kinne downloade fan ClickHouse, fan MySQL, fan PostgreSQL en fan oare databases.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Krekt in moanne lyn (maart 2017) ferskynde stipe yn Grafana. As jo ​​rapporten yn Grafana bouwe, bygelyks oer de steat fan jo hardware of op guon metriken, kinne jo no deselde grafyk as in soarte fan paniel bouwe fan gegevens fan ClickHouse direkt. Dit is heul handich, en wy brûke it sels. Hjirmei kinne jo anomalies fine. Dat is, as der wat bart en guon hardware falt of wurdt spand, dan kinne jo sjen nei de reden as dizze gegevens slagge te krijen yn ClickHouse.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Ik fûn it heul ûnhandig om te skriuwen yn dizze ark of yn 'e konsole. En ik besleat ús earste ynterface te ferbetterjen. En ik krige it idee fan EventSQL, SeperSet, Zeppelin.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Wat woesto? Ik woe grafiken krije, in ferbettere bewurker, en stipe ymplementearje foar hintwurdboeken. Om't ClickHouse in geweldige funksje hat - wurdboeken. Mar it is lestich om te wurkjen mei wurdboeken, om't jo it formaat fan 'e opsleine wearden moatte ûnthâlde, dus is it in nûmer of in tekenrige, ensfh. En om't wy faak gebrûk meitsje fan wurdboeken yn har ferskillende fariaasjes, wie it frij lestich om fragen te skriuwen.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

3 moannen binne ferrûn sûnt de frijlitting fan ús earste ferzje. Ik makke sa'n 330 commits foar in partikuliere filiaal en it die bliken dat it Tabix wie.

Oars as de foarige ferzje, dy't ClickHouse-Frontend hjitte, besleat ik it omneame nei in ienfâldige namme. En it die bliken Tabix.

Wat ferskynde?

Tekent grafiken. Unterstützt ClickHouse SQL-syntaksis. Jout advys oer funksjes en kin in protte nijsgjirrige dingen dwaan.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Dit is hoe't it algemiene Tabix-skema derút sjocht. Links stiet in beam. Yn it sintrum is de query-bewurker. En hjirûnder is it resultaat fan dit fersyk.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Folgjende sil ik jo sjen litte hoe't de query-bewurker wurket.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Hjir wurket autofolje automatysk op 'e tafel en freget, neffens, autofolje foar de fjilden. En hints oer funksjes. As jo ​​op ctrl enter drukke, sil it fersyk útfierd wurde of mislearre mei in flater. It ienfâldichste fersyk wurdt stjoerd nei Tabix en it resultaat wurdt krigen, d.w.s. jo kinne fluch wurkje mei ClickHouse.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Wurdboeken binne, sa't ik al sei, in hiel nijsgjirrich ding dêr't wy in protte mei wurkje. En wat ús in protte dingen koe dwaan. Litte wy sizze dat wy alle stêden opslaan yn wurdboeken. Wy bewarje de stêdidentifikaasje en stêdnamme, syn breedte- en lingtegraad. En yn 'e databank bewarje wy allinich de stedsidentifikaasje. Dêrtroch komprimearje wy de gegevens heul sterk.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Dit liket in ienfâldich ding te wêzen, mar it helpt yn ClickHouse op in heul ynteressante manier. Fanwegen it feit dat ClickHouse allinich nestede joins stipet, groeit de query nei ûnderen en breed genôch. En as de beugel iepenet en wat lange ekspresje binnenkomt, dan makket wat sa ienfâldich as it ynstoarten fan de query it makliker om te wurkjen mei de query sels. Om't as de query 200-300 rigels lang is en heul enoarm yn 'e breedte, is it heul nuttich om de query yn te klappen en dan wat plak te finen of op ien of oare manier te lokalisearjen.

Objektbeam, multiqueries en ljeppers (Fideo 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Folgjende sil ik jo sjen litte oer de beam en de ljeppers. Links is in beam; boppe-op kinne jo ferskate ljeppers oanmeitsje. Tabs binne as wurkromte. Jo kinne ferskate ljeppers oanmeitsje en elk oars neame. It is as in mini-systeem foar it bouwen fan in rapport.

Tabs wurde automatysk bewarre. As jo ​​jo blêder opnij starte of Tabix slute of iepenje, sil dit alles bewarre wurde.

Fluchtoets - handich (Fideo 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

D'r binne fluchtoetsen en d'r binne nochal in protte. Ik haw hjir guon fan har úthelle as foarbyld. Dit is it wikseljen fan ljeppers, it útfieren fan in fersyk of it útfieren fan ferskate oanfragen.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Ik sil jo sjen litte hoe't jo mei it resultaat wurkje. Wy stjoere in fersyk. Hjir tekenje ik sin, cos en tg. Jo kinne it resultaat markearje, d.w.s. in typyske kaart foar in kolom tekenje. Jo kinne positive of negative wearden markearje. Of kleur gewoan in spesifyk tafelelemint. Dit is handich as de tafel enoarm is en jo moatte wat anomaly fine mei jo eagen. Doe't ik socht nei anomalies, markearre ik guon rigels, guon eleminten yn grien of read.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Der binne in protte nijsgjirrige dingen dêr. Bygelyks, hoe't jo kopiearje yn Redmine Markdown. As jo ​​​​it resultaat earne moatte kopiearje, is dit heul handich. Jo kinne gewoan in gebiet selektearje, sis "Kopiearje nei Redmine" en it sil kopiearje yn Redmine Markdown of meitsje in Wêr-fraach.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Folgjende is query-optimalisaasje. Ik fergeat ienris it fjild "datum" oan te jaan. En myn fersyk yn ClickHouse waard net heul, heul fluch, mar fluch ferwurke, dus minder dan in sekonde. Doe't ik seach hoefolle rigels er troch rûn, waard ik kjel. Wy skriuwe net safolle rigen oan dizze tabel op in dei. Ik begon it fersyk te analysearjen en seach dat ik op ien plak in datum miste hie. Dat is, ik fergeat oan te jaan dat ik gjin gegevens nedich haw foar de hiele tabel, mar foar in spesifike perioade.

Tabix hat in ljepper "Stats", dy't de hiele skiednis fan ferstjoerde oanfragen opslacht, d.w.s. dêr kinne jo sjen hoefolle rigels troch dit fersyk lêzen binne en hoe lang it duorre om út te fieren. Dit makket it mooglik om te optimalisearjen.

Jo kinne in draaitabel bouwe oer it resultaat fan 'e query. Jo hawwe in fersyk stjoerd nei ClickHouse en hawwe wat gegevens krigen. En dan kinne jo dizze gegevens mei jo mûs ferpleatse en in soarte fan draaitabel bouwe.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

It folgjende nijsgjirrige ding is plotting. Litte wy sizze dat wy it folgjende fersyk hawwe: foar sûnde, cos fan 0 oant 299. En om it te tekenjen, moatte jo de ljepper "Tekenje" selektearje en jo krije in grafyk mei jo sûnde en cos.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Jo kinne dit splitse yn ferskate assen, d.w.s. dat jo twa grafiken tagelyk njonken inoar tekenje kinne. Skriuw ien kommando en in twadde kommando.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Jo kinne histogrammen tekenje.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Jo kinne dit ôfbrekke yn in matrix fan grafiken.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Jo kinne in waarmtekaart bouwe.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Jo kinne in termyske kalinder bouwe. Trouwens, dit is in heul handich ding as jo anomalies oer in jier moatte analysearje, d.w.s. spikes as druppels fine. Dizze datafisualisaasje holp my hjirmei.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

De folgjende is Treemap.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Sankeys is in nijsgjirrige kaart. Hy is of Streamgrahps of River. Mar ik neam it Rivier. It lit jo ek sykje nei alle anomalies. It is hiel noflik. Ik advisearje it te brûken foar sykjen.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

It folgjende nijsgjirrige ding is it tekenjen fan in dynamyske kaart. As jo ​​breedtegraad, lingtegraad yn jo databank opslaan en bygelyks in bestimming opslaan, as jo bygelyks frachtweinen of fleantugen fleane, dan kinne jo bestimmingspaden tekenje. Ek dêr kinne jo ynstelle de snelheid en grutte fan dizze objekten dêr't se fleane.

Mar it probleem mei dizze kaart is dat it allinnich tekenet in kaart fan 'e wrâld, der is gjin detail.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Letter haw ik Google map tafoege. As jo ​​opslaan breedtegraad, lingtegraad, dan kinne jo tekenje it resultaat op Google map, mar sûnder fleanmasine stipe.

Wy hawwe de haadfunksjes besprutsen fan it wurkjen mei resultaten en fragen yn Tabix.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

De folgjende is in analyze fan jo ClickHouse-tsjinner. D'r is in aparte ljepper "Metrics", wêr't jo de grutte fan 'e opsleine gegevens foar elke kolom kinne sjen. It skermôfbylding lit sjen dat dit "ferwizer" fjild sawat 730 Gb nimt. As wy dit fjild ferlitte, sille wy trije shards fan elk 700 GB bewarje, dus sawat 2 TB dy't wy net nedich binne.

Wy hawwe ek in "request_id" fjild dat wy opslaan yn in tekenrige. Mar as wy begjinne te bewarjen it yn numerike foarm, dit fjild sil krimp enoarm.

It toant ek de serverkonfiguraasje en in list mei knopen yn jo kluster.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

De folgjende ljepper is metriken. Se komme yn realtime mei ClickHouse en kinne jo gewoan de steat fan 'e server analysearje en begripe wat der mei bart. Dit is gjin ferfanging foar folsleine Grafana. Dit is nedich foar flugge analyse.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

De folgjende ljepper is prosessen. Fan harren kinne jo begripe wat der bart op de tsjinner. Begryp wat der bart. Ik hie in fersyk dat konsumearre 200 GB fan lêzen eltse kear. Ik seach dit tank oan dizze ynterface. Ik fong him en korrizjearre him. En it die bliken oer 30 GB, oftewol in prestaasje by tiden.

ClickHouse - visueel rappe en yntuïtive gegevensanalyse yn Tabix. Igor Stryhar

Dankewol! En it is yn OpenSource

Ik bin klear. En trouwens, it is OpenSource, it is fergees en jo hoege it net iens te downloaden. Iepenje it yn in browser en alles sil wurkje.

Jo fragen

Igor, wat is it folgjende? Wêr sille jo dit ark ûntwikkelje?

Folgjende sille dashboards ferskine, dus miskien sille dashboards ferskine. Yntegraasje mei oare databases. Ik die dit, mar haw it noch net publisearre yn OpenSource. Dit is MySQL en mooglik PostgreSQL. Dat is, it sil mooglik wêze om oanfragen fan Tabix net allinich nei ClickHouse te stjoeren, mar ek nei oare ark.

It is dúdlik dat der in soad wurk dien is. It blykte in frij folslein idee te wêzen. Dit waard dien yn 'e blêder, blykber, om krukken op allerhanne assen te eliminearjen en it heule ding fluch byinoar te smiten. Ik hearde dat jo oan binne php wurkje, dus de maklikste manier is om it yn 'e browser te typen en it sil oeral wurkje. D'r binne gjin fragen oer dit. De fraach is dit. Dêr is echt in soad dien. Hoefolle minsken wurken hjir oan? En hoe lang duorre it allegear? Om't oanpaste ark meastentiids net safolle funksjonaliteit hawwe.

Ien persoan út ús team wurke fan simmer oant hjerst. Dit wie de earste ferzje. Doe makke ik 330 commits allinnich. Wat jo sjogge, myn kollega en ik diene it yn 'e helte. Yn 3 moannen, fan 'e earste ferzje oant de lêste, haw ik it meast allinich dien. Mar ik kin Javascript net sa goed. Dit wie myn ienige en, hoopje ik, myn lêste Javascript-projekt wêr't ik mei wurke. Ik krige it, ik seach - oh, horror. Mar ik woe it produkt echt ôfmeitsje en dit is wat der bard is.

Tige tank foar it ferslach! Dit is in geweldich ark. MEI tableau Hawwe jo fergelike?

Dankewol. Dêrom haw ik it Tabix neamd, om't de earste letters itselde binne.

Om't jo konkurrearje?

Der sil in protte ynvestearre wurde, wy sille konkurrearje.

Hoe kinne jo oanbiede om te ferkeapjen oan ynterne analysten dat dit ark folslein sil ferfange *Tableau*? Wat sille de arguminten wêze?

Wurket natuerlik mei ClickHouse. Ik haw Tableau besocht, mar dêr kinne jo gjin stipe skriuwe foar wurdboeken en sa. Ik wit hoe't minsken wurkje mei Tabix. Se skriuwe in query, upload it nei CSV en upload it nei BI. En se dogge dêr al wat. Mar ik haw it dreech om foar te stellen hoe't se dit dogge, om't it in grafysk ark is. It kin unload 5 rigen, in maksimum fan 000 rigen, mar net mear, oars sil de browser net omgean.

Dat is, d'r binne wat serieuze beheiningen op 'e hoemannichte gegevens, krekt?

Ja. Ik kin my net yntinke dat jo 10 rigen yn jo tabel wolle uploade op jo blêderskerm. Foar wat?

Betsjut dit dat dit in ynterface is foar it fluch besjen fan gegevens? Twis it in bytsje, twist it?

Ja, sjoch fluch hoe't it wurket en bouwe gewoan in gearfettingsgrafyk. En jou it dan earne. Wy hawwe ús eigen meldsysteem, wêrfan ik dit fersyk gewoan nim. Ik tekenje yn Tabix en stjoer it nei ús ferslachjouwing.

En in oare fraach. Kohort analyze?

As der oanfragen binne, sille wy it tafoegje.

Wannear binne jo gewoan begon te brûken? ClickHouse, hoe lang duorre de ymplemintaasje? klikhûs en bringe oan produksje steat?

Lykas ik sei, hawwe wy yn heul koarte tiid in testkluster ymplementearre. Wy hawwe it yn twa dagen ynset. En wy testen it noch in pear wiken. En wy berikten produksje yn 3 moannen. Mar wy hiene ús eigen ETL, oftewol in ark foar it opnimmen fan gegevens. En hy skreau yn alles wat er koe. Hy kin skriuwe yn MongoDB, Cassandra, MySQL. It wie maklik om him te learen hoe te skriuwen yn ClickHouse. Wy hiene in klearmakke ynfrastruktuer foar rappe ymplemintaasje. Binnen 3 moannen begûnen wy it earste komponint út te smiten. Yn 6 moannen hawwe wy al it oare folslein ferlitten. Wy hawwe mar ien ClickHouse oer.

Igor, tige tank foar it rapport. Ik vond de funksjonaliteit fan it bouwen fan paden mei kaarten echt leuk. Binne d'r plannen foar yntegraasje mei Yandex.Maps en benammen mei oanpaste Yandex.Maps?

Ik besocht te yntegrearjen ynstee fan Google map, mar ik fûn gjin tsjuster tema op Yandex.Maps. Ik haw dy net ien stik ferteld. Ik sil weromdraaie om ta te foegjen.

Slide - Google map. D'r is in kommando "DRAW_GMAPS", dy't in kaart tekenet. D'r is in kommando "DRAW_YMAPS", d.w.s. it kin in Yandex.Map tekenje. Mar yn feite is d'r ûnder dit kommando Javascript, d.w.s. de gegevens dy't jo ûntfange fan ClickHouse kinne wurde oerbrocht nei Javascript, dat jo hjir skriuwe. En jo hawwe in útfiergebiet wêr't it tekene wurde moat. Jo kinne elke grafyk tekenje, dus elke grafyk, kaart, jo kinne jo eigen komponint tekenje. Dêrfoar hie ik in oare bibleteek foar it tekenjen fan de grafiken sels.

Dat is, is d'r in ark foar it oanpassen fan de displayfunksjonaliteit?

Elk. Jo kinne dizze stippen nimme en opnij kleurje, sadat se net read binne, mar blau, grien.

Tank foar it ferslach! Jo hiene in dia dy't alternative query-ark presintearre klikhûs foar it bouwen fan dashboards en analytyske rapporten. Ik begryp dat op it momint dat jo begûn te wurkjen mei ClickHouse, gjin adapters binne skreaun foar dizze ark. En ik freegje my ôf wêrom't jo besletten hawwe om jo eigen ark te meitsjen, ynstee fan in adapter te skriuwen foar wat klear ark? Ik tink dat it oanpassen fan de testbewurker rap is. Wêrom hawwe jo besletten safolle wurk te dwaan?

D'r is hjir in nijsgjirrich punt - it feit is dat ik in technysk direkteur bin, gjin gegevenswittenskipper. Tsjin de tiid dat wy Druid begûnen te ymplementearjen, hie myn roadmap sawat 50% fan 'e taken - lit ús dit berekkenje, of litte wy dit berekkenje, of dit analysearje. En it die bliken dat wy ClickHouse ymplementearre. En hy begon alles fluch te bouwen, te tellen en gau syn roadmap te sluten. En tsjin dy tiid realisearre ik dat ik kennis miste yn Data Science en datafisualisaasje. Tabix is ​​in soarte fan myn húswurk foar it learen fan gegevensfisualisaasje. Ik seach nei hoe't ik Zeppelin oanfolje. Ik haw in lichte hekel oan syn programmearring. Redash Ik seach nei hoe't ik it taheakje, mar in normale bewurker wie genôch foar my. En SuperSet is ek skreaun yn in taal dy't ik net echt leuk fyn. En sa besleat ik om te fytsen, en dit is wat der bard.

Igor, akseptearje jo Pull-oanfragen?

Ja.

Tige tank foar it ferslach! En twa fragen. Earst prate jo net heul fleiend oer Javascript. Hawwe jo yn blank Javascript skreaun of is it in soarte fan ramt?*

Better yn bleat Javascript.

Dus hokker ramt?

Angular.

It is dúdlik. En de twadde fraach. Hawwe jo beskôge R и *Shiny**?*

Beskôge it. Spile.

Jo kinne ek gewoan in adapter skriuwe.

Hy is. It liket derop dat de mienskip it makke hat, mar, om't ik de foarige fraach beantwurde, woe ik it sels besykje.

*Nee, oangeande fisualisaasje, it is der ek.

Jo sizze dat d'r sa'n ding is en it sil jo in grafyk tekenje. Ik iepene in boek oer datafisualisaasje. En ik tocht: "Lit my besykje dizze gegevens te visualisearjen. Ik sil him skriuwe, sadat hy de gegevens wer opbouwe kin." En ik begon datafeedtechnology better te begripen. En as ik in ready-made komponint hie nommen, soe ik persoanlik slimmer leard hawwe hoe't ik it brûke, dat is fisualisaasje. Mar ja, ik mocht R graach, mar ik haw it boek "R for Dummies" noch net lêzen.

Tankewol!

Ienfâldige fraach. Binne d'r manieren om fluch in teken of skema te uploaden?

Kin wurde upload nei CSV of Excel.

Gjin gegevens, mar in kleare plaat, in klearmakke grafyk? Bygelyks om de baas sjen te litten.

D'r is in knop "Upload" en d'r is in knop "Upload grafyk yn png, yn jpg".

Tankewol!

PS Mini-ynstruksjes foar it ynstallearjen fan tabix

  • Download lêste release
  • Utpakke, kopiearje map build yn nginx root_path
  • Konfigurearje nginx

Boarne: www.habr.com

Add a comment