ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Mwen sijere ou li transkripsyon rapò 2017 Igor Stryhar "ClickHouse - analiz done vizyèlman rapid ak klè nan Tabix."

Koòdone entènèt pou ClickHouse nan pwojè Tabix la.
Karakteristik prensipal:

  • Travay ak ClickHouse dirèkteman nan navigatè a, san yo pa bezwen enstale lojisyèl adisyonèl;
  • Rekèt editè ak sentaks en;
  • Otokonplete kòmandman yo;
  • Zouti pou analiz grafik egzekisyon demann;
  • Koulè rapid pou chwazi nan.
    ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar


ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Mwen se direktè teknik SMI2. Nou se yon agrégateur nouvèl echanj nouvèl. Nou estoke anpil done ke nou resevwa nan men patnè nou yo epi anrejistre yo nan ClickHouse - apeprè 30 demann pou chak segonn.

Sa a se done tankou:

  • Klik sou nouvèl.
  • Nouvèl montre nan agrégateur a.
  • Banner afiche sou rezo nou an.
  • Epi nou anrejistre evènman nan kontwa pwòp nou an, ki sanble ak Yandex.Metrica. Sa a se pwòp mikwo-analitik nou an.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Nou te gen yon lavi trè ajitasyon anvan ClickHouse. Nou soufri anpil, ap eseye estoke done sa yo yon kote ak yon jan kanmenm analize li.

Lavi anvan ClickHouse – infiniDB

Premye bagay nou te genyen se infiniDB. Li te viv avèk nou pou 4 ane. Nou te lanse li ak difikilte.

  • Li pa sipòte clustering oswa sharding. Pa gen okenn bagay entelijan sa yo soti nan bwat la pa default.
  • Li gen difikilte pou chaje done yo. Se sèlman yon sèvis piblik konsole espesifik ki te kapab sèlman chaje dosye CSV epi sèlman nan kèk fason trè klè.
  • Baz done a se yon sèl-threaded. Ou te kapab swa ekri oswa li. Men, li te fè li posib pou trete yon gwo kantite done.
  • Epi li tou te gen yon beki enteresan. Chak swa sèvè a te dwe rekòmanse, otreman li pa ta travay.

Li te travay pou nou jouk nan fen 2016, lè nou konplètman chanje nan ClickHouse.

Lavi anvan ClickHouse - Cassandra

Depi infiniDB te yon sèl-threaded, nou deside ke nou bezwen kèk kalite baz done milti-threaded kote nou te kapab ekri anpil fil an menm tan an.

Nou te eseye anpil bagay enteresan. Lè sa a, nou deside eseye Cassandra. Tout bagay te bèl ak Cassandra. 10 demann pou chak segonn pou chak òf. 000 demann yon kote pou lekti.

Men, li tou te gen pwòp enterè li. Yon fwa pa mwa oswa yon fwa chak de mwa li te fè eksperyans yon desinkronizasyon baz done. Epi mwen te oblije reveye epi kouri ranje Cassandra. Serveurs yo te rekòmanse youn pa youn. Ak tout bagay te vin lis ak bèl.

Lavi anvan ClickHouse - Drwid

Lè sa a, nou reyalize ke nou te bezwen ekri menm plis done. Nan 2016 nou te kòmanse gade Druid.

Druid se yon lojisyèl sous louvri ekri an Java. Trè espesifik. Epi li te apwopriye pou clickstream, lè nou bezwen magazen kèk kalite kouran nan evènman ak Lè sa a, fè agrégation sou yo oswa fè rapò analyse.

Druid te gen vèsyon 0.9.X.

Baz done a tèt li trè difisil pou deplwaye. Sa a se konpleksite nan enfrastrikti a. Pou deplwaye li, li te nesesè yo enstale yon anpil, yon anpil nan fè. Ak chak pyès ki nan konpitè te responsab pou pwòp wòl separe.

Pou chaje done nan li, li te nesesè yo sèvi ak kèk kalite chamanism. Gen yon pwojè OpenSource - Tranquility, ki te pèdi done nan men nou nan yon kouran. Lè nou chaje done nan li, li pèdi li.

Men, yon jan kanmenm nou te kòmanse aplike li. Nou menm, tankou erison ki te pran dwòg men ki te kontinye manje kaktis, te kòmanse prezante li. Li te pran apeprè yon mwa pou nou prepare tout enfrastrikti pou li. Sa vle di, kòmande sèvè, konfigirasyon wòl yo, epi konplètman otomatize deplwaman. Sa vle di, nan ka yon echèk gwoup, dezyèm gwoup la pral otomatikman deplwaye.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Men, Lè sa a, yon mirak te rive. Mwen te an vakans ak kòlèg mwen yo te voye m 'yon lyen nan habr, ki di ke Yandex deside louvri ClickHouse. Mwen di ann eseye li.

Ak literalman nan 2 jou nou deplwaye yon gwoup tès ClickHouse. Nou te kòmanse chaje done nan li. Konpare ak infiniDB, sa a se elemantè; konpare ak Druid, sa a se elemantè. Konpare ak Cassandra, li la tou elemantè. Paske si ou chaje done ki soti nan PHP nan Cassandra, Lè sa a, sa a se pa elemantè.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Kisa nou te jwenn? Pèfòmans nan vitès. Pèfòmans nan depo done. Sa vle di, yo itilize anpil mwens espas disk. ClickHouse rapid, li trè vit konpare ak lòt pwodwi yo.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Nan moman lansman an, lè Yandex te pibliye ClickHouse nan OpenSource, te gen sèlman yon kliyan konsole. Nou nan konpayi nou an SMI2 deside eseye fè yon kliyan natif natal pou entènèt la, pou nou te kapab louvri yon paj nan yon navigatè, ekri yon demann epi jwenn rezilta a, paske nou te kòmanse ekri yon anpil nan demann. Ekri nan konsole a difisil. Epi nou te fè premye vèsyon nou an.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Ak yon kote ki pi pre sezon fredi ane pase a, zouti twazyèm pati pou travay ak ClickHouse te kòmanse parèt. Sa yo se zouti tankou:

Mwen pral gade kèk nan zouti sa yo, sa vle di, sa mwen te travay avèk yo.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Yon bon zouti, men pou Druid. Lè Druid yo te aplike, mwen te teste soti SuperSet. Mwen te renmen l. Pou Druid li trè vit.

Li pa apwopriye pou ClickHouse. Sa vle di, li anfòm, li kòmanse, men li pare pou trete sèlman demann elemantè tankou: SELECT event, GROUP BY event. Li pa sipòte sentaks ClickHouse ki pi konplèks la.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Pwochen zouti a se Apache Zeppelin. Sa a se yon bagay ki bon ak enteresan. Travay. Li sipòte kaye, tablodbò, ak sipò varyab. Mwen konnen yon moun nan kominote ClickHouse itilize li.

Men, pa gen okenn sipò pou sentaks ClickHouse, sa vle di ou pral oblije ekri demann swa nan konsole a oswa yon lòt kote. Apre sa, tcheke ke li tout travay. Li jis konvenyan. Men, li gen bon sipò tablodbò.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Pwochen zouti a se Redash.IO. Redash akomode sou entènèt la. Sa vle di, kontrèman ak zouti anvan yo, li pa bezwen enstale. Ak sa a se yon tablodbò ak kapasite nan konsolide done ki soti nan diferan DataSours. Sa vle di, ou ka telechaje nan ClickHouse, nan MySQL, nan PostgreSQL ak nan lòt baz done.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Jis yon mwa de sa (mas 2017), sipò te parèt nan Grafana. Lè w kreye rapò nan Grafana, pou egzanp, sou eta pyès ki nan konpitè ou oswa sou kèk paramèt, kounye a ou ka bati menm graf la oswa kèk kalite panèl apati done ClickHouse dirèkteman. Sa a se trè pratik, epi nou sèvi ak li tèt nou. Sa pèmèt ou jwenn anomalies. Sa vle di, si yon bagay rive ak kèk pyès ki nan konpitè tonbe oswa vin fatige, Lè sa a, ou ka gade nan rezon ki fè yo si done sa yo jere yo antre nan ClickHouse.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Mwen te jwenn li trè gòch pou ekri nan zouti sa yo oswa nan konsole a. Apre sa, mwen deside amelyore premye koòdone nou an. Apre sa, mwen te resevwa lide a soti nan EventSQL, SeperSet, Zeppelin.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Kisa ou te vle? Mwen te vle jwenn grafik, yon editè amelyore, epi aplike sipò pou diksyonè sijesyon. Paske ClickHouse gen yon gwo karakteristik - diksyonè. Men, li difisil pou travay ak diksyonè, paske ou bezwen sonje fòma valè yo ki estoke, sa vle di se yon nimewo oswa yon fisèl, elatriye E piske nou souvan itilize diksyonè nan varyasyon diferan yo, li te byen difisil yo ekri demann.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

3 mwa te pase depi lage premye vèsyon nou an. Mwen te fè apeprè 330 komèt nan yon branch prive epi li te tounen Tabix.

Kontrèman ak vèsyon anvan an, ki te rele ClickHouse-Frontend, mwen deside chanje non li nan yon non senp. Epi li te tounen soti Tabix.

Ki sa ki te parèt?

Trase graf. Sipòte sentaks ClickHouse SQL. Bay konsèy sou fonksyon epi li ka fè anpil bagay enteresan.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Sa a se konplo jeneral Tabix la sanble. Sou bò gòch la se yon pye bwa. Nan sant la se editè rechèch la. Ak anba a se rezilta a nan demann sa a.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Apre sa, mwen pral montre w kouman editè rechèch la ap travay.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Isit la otocomplete otomatikman travay sou tab la ak envit, kòmsadwa, otocomplete pou jaden yo. Ak sijesyon sou fonksyon. Si ou peze ctrl antre, demann lan pral egzekite oswa echwe ak yon erè. Yo voye demann ki pi senp nan Tabix epi yo jwenn rezilta a, sa vle di ou ka byen vit travay ak ClickHouse.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Diksyonè, jan mwen te deja di, se yon bagay trè enteresan ak ki nou travay anpil. E ki te pèmèt nou fè anpil bagay. Ann di nou estoke tout vil yo nan diksyonè. Nou estoke idantifyan vil la ak non vil la, latitid ak lonjitid li yo. Ak nan baz done a nou estoke sèlman idantifyan vil la. An konsekans, nou konprese done yo trè fò.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Sa a sanble se yon bagay ki senp, men li ede nan ClickHouse nan yon fason trè enteresan. Akòz lefèt ke ClickHouse sèlman sipòte rantre enbrike, rechèch la ap grandi anba ak lajè ase. Men, lè bracket la louvri ak kèk ekspresyon long vini nan, Lè sa a, yon bagay ki senp tankou efondreman rechèch la fè li pi fasil yo travay ak rechèch la tèt li. Paske lè rechèch la se 200-300 liy longè ak trè gwo nan lajè, li trè itil pou tonbe rechèch la ak Lè sa a, jwenn kèk kote oswa yon jan kanmenm lokalize li.

Pyebwa objè, plizyè rechèch ak onglet (Videyo 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Apre sa, mwen pral montre w sou pye bwa a ak onglè yo. Sou bò gòch la se yon pye bwa; sou tèt ou ka kreye plizyè onglet. Tab yo tankou espas travay. Ou ka kreye plizyè onglet epi bay chak yon non yon fason diferan. Se tankou yon mini-sistèm pou konstwi yon rapò.

Tab yo sove otomatikman. Si ou rekòmanse navigatè ou a oswa fèmen oswa louvri Tabix, tout bagay sa yo pral sove.

Hotkey - pratik (Videyo 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

Genyen hotkeys e genyen anpil nan yo. Mwen te ekstrè kèk nan yo isit la kòm yon egzanp. Sa a se chanje onglet, egzekite yon demann oswa egzekite plizyè demann.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Mwen pral montre w kouman pou w travay ak rezilta a. Nou voye yon demann. Men m ap desine sin, cos ak tg. Ou ka mete aksan sou rezilta a, sa vle di trase yon kat tipik pou yon kolòn. Ou ka mete aksan sou valè pozitif oswa negatif. Oswa tou senpleman koulè yon eleman tab espesifik. Sa a se pratik lè tab la gwo epi ou bezwen jwenn kèk anomali ak je ou. Lè m 'te chache anomalies, mwen make kèk liy, kèk eleman nan vèt oswa wouj.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Genyen anpil bagay enteresan la. Pou egzanp, ki jan yo kopye nan Redmine Markdown. Si ou bezwen kopye rezilta a yon kote, sa a se trè pratik. Ou ka tou senpleman chwazi yon zòn, di "Kopi nan Redmine" epi li pral kopye nan Redmine Markdown oswa kreye yon rechèch Kote.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Next se optimize rechèch. Yon fwa mwen bliye presize jaden "dat". Epi demann mwen an nan ClickHouse pa te trete trè, trè vit, men byen vit, sa vle di mwens pase yon segonn. Lè m 'wè konbyen liy li te kouri nan, mwen te vin pè. Nou pa ekri anpil ranje sou tablo sa a nan yon jou. Mwen te kòmanse analize demann lan epi mwen te wè ke mwen te rate yon dat nan yon sèl kote. Sa vle di, mwen bliye endike ke mwen pa bezwen done pou tout tab la, men pou yon peryòd espesifik.

Tabix gen yon tab "Stats", ki estoke tout istwa demann voye yo, sa vle di ou ka wè konbyen liy demann sa a te li ak konbyen tan li te pran pou egzekite. Sa a pèmèt optimize.

Ou ka bati yon tablo pivot sou rezilta rechèch la. Ou te voye yon demann bay ClickHouse epi ou te resevwa kèk done. Lè sa a, ou ka deplase done sa yo ak sourit ou a epi bati kèk kalite tab pivot.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Pwochen bagay enteresan an se konplo. Ann di nou gen demann sa a: pou sin, cos soti nan 0 a 299. Epi pou trase li, ou bezwen chwazi tab la "Desine" epi w ap jwenn yon graf ak peche ou ak cos.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Ou ka divize sa a an diferan aks, sa vle di ou ka trase de graf kòt a kòt alafwa. Ekri yon kòmandman ak yon dezyèm kòmandman.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Ou ka trase istogram.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Ou ka kraze sa a nan yon matris nan graf.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Ou ka bati yon kat chalè.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Ou ka bati yon kalandriye tèmik. By wout la, sa a se yon bagay trè pratik lè ou bezwen analize anomali sou yon ane, sa vle di, jwenn swa Spikes oswa gout. Vizyalizasyon done sa a te ede m ak sa.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Next se Treemap.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Sankeys se yon tablo enteresan. Li swa Streamgrahps oswa River. Men, mwen rele li River. Li pèmèt ou gade tou pou nenpòt ki anomali. Li trè konfòtab. Mwen rekòmande pou itilize li pou fè rechèch.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Pwochen bagay enteresan an se trase yon kat dinamik. Si ou estoke latitid, lonjitid nan baz done ou a epi, di, magazen yon destinasyon, si ou, pou egzanp, gen kamyon oswa avyon vole, Lè sa a, ou ka trase chemen destinasyon yo. Epitou la ou ka mete vitès la ak gwosè objè sa yo kote yo vole.

Men, pwoblèm nan ak kat jeyografik sa a se ke li sèlman trase yon kat jeyografik nan mond lan, pa gen okenn detay.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Apre sa mwen te ajoute Google map. Si ou sere latitid, lonjitid, Lè sa a, ou ka trase rezilta a sou kat Google, men san sipò avyon.

Nou te diskite sou fonksyon prensipal yo nan travay ak rezilta ak demann nan Tabix.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Pwochen an se yon analiz de sèvè ClickHouse ou. Gen yon tab "Metrics" apa, kote ou ka wè gwosè done ki estoke pou chak kolòn. Ekran an montre ke jaden "refèrer" sa a pran apeprè 730 Gb. Si nou abandone jaden sa a, n ap sove twa ti moso 700 GB chak, sa vle di apeprè 2 TB ke nou pa bezwen.

Nou gen tou yon jaden "request_id" ke nou estoke nan yon fisèl. Men, si nou kòmanse estoke li nan fòm nimerik, jaden sa a pral retresi anpil.

Li montre tou konfigirasyon sèvè a ak yon lis nœuds nan gwoup ou a.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Tab kap vini an se metrik. Yo antre nan tan reyèl ak ClickHouse epi tou senpleman pèmèt ou analize eta a nan sèvè a epi konprann sa k ap pase li. Sa a se pa yon ranplasman pou plen Grafana. Sa nesesè pou analiz rapid.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Tab kap vini an se pwosesis. Nan men yo ou ka konprann sa k ap pase sou sèvè a. Konprann sa k ap pase la. Mwen te gen yon demann ki boule 200 GB nan lekti chak fwa. Mwen te wè sa gras a koòdone sa a. Mwen te kenbe l epi m korije l. Epi li te tounen sou 30 GB, sa vle di yon pèfòmans pafwa.

ClickHouse - analiz done vizyèlman rapid ak entwisyon nan Tabix. Igor Stryhar

Mèsi! Epi li nan OpenSource

Mwen fini. Ak nan chemen an, li nan OpenSource, li gratis epi ou pa menm bezwen telechaje li. Louvri li nan yon navigatè ak tout bagay ap travay.

Kesyon ou yo

Igor, kisa kap vini? Ki kote ou pral devlope zouti sa a?

Apre sa, tablodbò yo ap parèt, sa vle di, petèt tablodbò yo ap parèt. Entegrasyon ak lòt baz done. Mwen te fè sa, men mwen poko pibliye li nan OpenSource. Sa a se MySQL ak pètèt PostgreSQL. Sa vle di, li pral posib pou voye demann soti nan Tabix pa sèlman nan ClickHouse, men tou, nan lòt zouti.

Li klè ke yon gwo kantite travay te fèt. Li te tounen yon lide jistis konplè. Sa a te fè nan navigatè a, aparamman, yo nan lòd yo elimine beki sou tout kalite rach epi byen vit jete tout bagay la ansanm. Mwen tande ke ou sou php travay, kidonk fason ki pi fasil se tape li nan navigatè a epi li pral travay toupatou. Pa gen okenn kesyon sou sa. Kesyon an se sa a. Gen anpil bagay ki vrèman fèt la. Konbyen moun ki te travay sou sa? Ak konbyen tan tout bagay te pran? Paske zouti koutim anjeneral pa gen anpil fonksyonalite.

Yon moun nan ekip nou an te travay depi ete rive otòn. Sa a te premye vèsyon an. Lè sa a, mwen te fè 330 komèt pou kont li. Sa ou wè, kòlèg mwen ak mwen te fè li nan mwatye. Nan 3 mwa, soti nan vèsyon an trè premye rive nan dènye a, sitou mwen te fè li pou kont li. Men, mwen pa konnen Javascript trè byen. Sa a te sèl pwojè mwen an e, mwen espere, dènye pwojè Javascript mwen ke mwen te travay avèk yo. Mwen te resevwa li, mwen gade - o, laterè. Men, mwen reyèlman te vle fini pwodwi a ak sa a se sa ki te pase.

Mèsi anpil pou rapò a! Sa a se yon gwo zouti. AK Tableau Eske ou te konpare?

Mèsi. Se poutèt sa mwen te rele li Tabix, paske premye lèt yo se menm.

Paske ou fè konpetisyon?

Pral gen anpil envestisman, nou pral konpetisyon.

Ki jan ou ka ofri nan vann nan analis entèn ke zouti sa a pral konplètman ranplase *Tableau*? Ki sa ki pral agiman yo?

Travay natif natal ak ClickHouse. Mwen te eseye Tableau, men ou pa ka ekri sipò pou diksyonè ak lòt bagay la. Mwen konnen ki jan moun travay ak Tabix. Yo ekri yon rechèch, telechaje li nan CSV epi telechaje li nan BI. Epi yo deja fè yon bagay la. Men, mwen gen yon tan difisil imajine ki jan yo fè sa, paske li se yon zouti grafik. Li ka dechaje 5 ranje, yon maksimòm de 000 ranje, men pa plis, otreman navigatè a pa pral fè fas.

Sa vle di, gen kèk limit grav sou kantite done, dwa?

Wi. Mwen pa ka imajine ke ou ta vle telechaje 10 ranje nan tab ou a sou ekran navigatè ou a. Pou kisa?

Èske sa vle di ke sa a se yon koòdone pou byen vit gade done? Tòde li yon ti kras, tòde li?

Wi, byen vit wè ki jan li fonksyone epi jis bati yon graf rezime. Apre sa, bay li yon kote. Nou gen pwòp sistèm rapò nou, kote mwen senpleman pran demann sa a. Mwen trase nan Tabix epi voye li bay rapò nou an.

Ak yon lòt kesyon. analiz kòwòt?

Si gen nenpòt demann, nou pral ajoute li.

Ki lè ou fèk kòmanse sèvi ak li? ClickHouse, konbyen tan aplikasyon an te pran? Klike sou Kay ak pote nan Eta pwodiksyon?

Kòm mwen te di, nou te aplike yon gwoup tès nan yon tan trè kout. Nou te deplwaye li nan de jou. Epi nou teste li pou yon koup plis semèn. Epi nou te rive nan pwodiksyon nan mwa 3. Men, nou te gen pwòp ETL pa nou, sa vle di yon zouti pou anrejistre done. Apre sa, li te ekri nan tout sa li te kapab. Li ka ekri nan MongoDB, Cassandra, MySQL. Li te fasil pou anseye l 'ki jan yo ekri nan ClickHouse. Nou te gen yon enfrastrikti pare pou aplikasyon rapid. Nan 3 mwa nou te kòmanse jete premye eleman an. Nan 6 mwa nou konplètman abandone tout lòt bagay. Nou gen sèlman yon ClickHouse ki rete.

Igor, mèsi anpil pou rapò a. Mwen vrèman te renmen fonksyonalite nan bati chemen lè l sèvi avèk kat. Èske gen nenpòt plan pou entegrasyon ak Yandex.Maps ak an patikilye ak Yandex.Maps koutim?

Mwen te eseye entegre olye pou yo kat Google, men mwen pa t 'jwenn yon tèm nwa sou Yandex.Maps. Mwen pa di ou yon sèl pyès. Mwen pral remonte pou ajoute.

Slide - Google kat jeyografik. Gen yon lòd "DRAW_GMAPS", ki trase yon kat. Gen yon lòd "DRAW_YMAPS", sa vle di li ka trase yon Yandex.Map. Men, an reyalite, anba lòd sa a gen Javascript, sa vle di done ou resevwa nan men ClickHouse yo ka transfere nan Javascript, ke ou ekri isit la. Epi ou gen yon zòn pwodiksyon kote li ta dwe trase. Ou ka trase nenpòt graf, sa vle di nenpòt graf, kat jeyografik, ou ka trase pwòp eleman ou. Anvan sa, mwen te gen yon lòt bibliyotèk pou fè desen graf yo tèt yo.

Sa vle di, èske gen yon zouti pou pèrsonalize fonksyonalite ekspozisyon an?

Nenpòt. Ou ka pran epi chanje koulè pwen sa yo, fè yo pa wouj, men ble, vèt.

Mèsi pou rapò a! Ou te gen yon glise ki prezante zouti rechèch altènatif Klike sou Kay pou bati tablodbò ak rapò analyse. Mwen konprann sa nan moman ou te kòmanse travay ak ClickHouse, pa gen okenn adaptè yo te ekri pou zouti sa yo. Apre sa, mwen ap mande poukisa ou deside fè zouti pwòp ou a, olye pou yo ekri yon adaptè pou kèk zouti ki pare? Mwen panse ke ajiste editè tès la se rapid. Poukisa ou deside fè anpil travay?

Gen yon pwen enteresan isit la - reyalite a se ke mwen se yon direktè teknik, pa yon syantis done. Lè nou te kòmanse aplike Druid, roadmap mwen an te gen anviwon 50% nan travay yo - ann kalkile sa a, oswa ann kalkile sa a, oswa analize sa a. Epi li te tounen soti ke nou aplike ClickHouse. Apre sa, li te kòmanse byen vit bati tout bagay, konte, epi byen vit fèmen plan wout li. Ak lè sa a mwen reyalize ke mwen te manke konesans nan Syans Done ak vizyalizasyon done. Tabix se yon kalite devwa lakay mwen pou aprann vizyalizasyon done yo. Mwen t ap gade kijan pou konpleman Zeppelin. Mwen gen yon ti pa renmen pou pwogram li yo. Redash mwen gade kijan pou ajoute li, men yon editè nòmal te ase pou mwen. Epi SuperSet ekri tou nan yon lang mwen pa renmen anpil. Se konsa, mwen deside bisiklèt, e sa a se sa ki te pase.

Igor, ou aksepte demann Pull?

Wi.

Mèsi anpil pou rapò a! E de kesyon. Premyèman, ou pa pale trè flater sou Javascript. Èske ou te ekri nan Javascript toutouni oswa èske se yon kalite kad?*

Pi bon nan Javascript vid.

Se konsa, ki kad?

Angilè.

Li klè. E dezyenm kestyon. Eske ou te konsidere R и *Klere**?*

Konsidere li. Te jwe.

Ou ta ka tou jis ekri yon adaptè.

Li se. Li sanble ke kominote a te fè li, men, kòm mwen te reponn kesyon anvan an, mwen te vle eseye li tèt mwen.

*Non, konsènan vizyalizasyon, li la tou.

Ou di ke gen yon bagay konsa epi li pral trase ou yon graf. Mwen louvri yon liv sou vizyalizasyon done. Apre sa, mwen te panse: "Kite m 'eseye vizyalize done sa yo. Mwen pral ekri l pou l ka rekonstwi done yo." Apre sa, mwen te kòmanse pi byen konprann teknoloji ekipman pou done. Men, si mwen te pran yon eleman ki pare, mwen pèsonèlman ta aprann pi mal ki jan yo sèvi ak li, se sa ki, vizyalizasyon. Men, wi, mwen te renmen R, men mwen poko li liv "R for Dummies" la.

Mèsi!

Kesyon senp. Èske gen nenpòt fason yo byen vit telechaje yon siy oswa orè?

Ou ka telechaje nan CSV oswa Excel.

Pa done, men yon plak ki pare, yon graf ki pare? Pou egzanp, montre bòs nan travay la.

Gen yon bouton "Télécharger" epi gen yon bouton "Télécharger graf nan png, nan jpg".

Mèsi!

PS Mini-enstriksyon pou enstale tabix

  • Download dènye lage
  • Depake, kopye anyè build nan nginx root_path
  • Konfigirasyon nginx

Sous: www.habr.com

Add nouvo kòmantè