Iesaku izlasÄ«t Igora Strihara 2017. gada ziÅojuma āClickHouse ā vizuÄli Ätra un skaidra datu analÄ«ze Tabixā atÅ”ifrÄjumu.
Web interfeiss ClickHouse projektÄ Tabix.
GalvenÄs iezÄ«mes:
- StrÄdÄ ar ClickHouse tieÅ”i no pÄrlÅ«kprogrammas, bez nepiecieÅ”amÄ«bas instalÄt papildu programmatÅ«ru;
- VaicÄjumu redaktors ar sintakses izcelÅ”anu;
- Komandu automÄtiskÄ pabeigÅ”ana;
- VaicÄjumu izpildes grafiskÄs analÄ«zes rÄ«ki;
- KrÄsu shÄmas, no kurÄm izvÄlÄties.
Esmu SMI2 tehniskais direktors. MÄs esam ziÅu apmaiÅas ziÅu apkopotÄjs. MÄs glabÄjam daudz datu, ko saÅemam no saviem partneriem un reÄ£istrÄjam ClickHouse ā aptuveni 30 000 pieprasÄ«jumu sekundÄ.
Tie ir tÄdi dati kÄ:
- KlikŔķi uz ziÅÄm.
- ZiÅas tiek rÄdÄ«tas apkopotÄjÄ.
- ReklÄmkarogi tiek rÄdÄ«ti mÅ«su tÄ«klÄ.
- Un mÄs reÄ£istrÄjam notikumus no sava skaitÄ«tÄja, kas ir lÄ«dzÄ«gs Yandex.Metrica. Å Ä« ir mÅ«su paÅ”u mikroanalÄ«tika.
Pirms ClickHouse mums bija ļoti drudžaina dzÄ«ve. MÄs daudz cietÄm, mÄÄ£inot kaut kur saglabÄt Å”os datus un kaut kÄ tos analizÄt.
DzÄ«ve pirms ClickHouse ā infiniDB
PirmÄ lieta, kas mums bija, bija infiniDB. ViÅa dzÄ«voja pie mums 4 gadus. MÄs to iedarbinÄjÄm ar grÅ«tÄ«bÄm.
- Tas neatbalsta grupÄÅ”anu vai sadalÄ«Å”anu. PÄc noklusÄjuma no kastes neiznÄca tÄdas gudras lietas.
- ViÅai ir grÅ«tÄ«bas ar datu ielÄdi. Tikai konkrÄta konsoles utilÄ«ta, kas varÄja ielÄdÄt tikai CSV failus un tikai kaut kÄdÄ Ä¼oti neskaidrÄ veidÄ.
- Datu bÄze ir viena pavediena. VarÄji gan rakstÄ«t, gan lasÄ«t. Bet tas ļÄva apstrÄdÄt lielu datu apjomu.
- Un viÅai bija arÄ« interesants kruÄ·is. Katru vakaru serveris bija jÄpÄrstartÄ, pretÄjÄ gadÄ«jumÄ tas nedarbosies.
ViÅa strÄdÄja pie mums lÄ«dz 2016. gada beigÄm, kad mÄs pilnÄ«bÄ pÄrgÄjÄm uz ClickHouse.
DzÄ«ve pirms ClickHouse ā Kasandra
TÄ kÄ infiniDB bija viens pavediens, mÄs nolÄmÄm, ka mums ir vajadzÄ«ga sava veida vairÄku pavedienu datubÄze, kurÄ vienlaikus varÄtu ierakstÄ«t daudzus pavedienus.
IzmÄÄ£inÄjÄm daudz interesantu lietu. Tad mÄs nolÄmÄm izmÄÄ£inÄt Kasandru. Ar Kasandru viss bija lieliski. 10 000 pieprasÄ«jumu sekundÄ par solÄ«jumu. 2 lasÄ«Å”anas pieprasÄ«jumu.
Bet viÅai bija arÄ« savas intereses. Reizi mÄnesÄ« vai divos mÄneÅ”os viÅa piedzÄ«voja datu bÄzes desinhronizÄciju. Un man bija jÄmostas un jÄskrien salabot Kasandru. Serveri tika restartÄti pa vienam. Un viss kļuva gluds un skaists.
DzÄ«ve pirms ClickHouse ā DruÄ«ds
Tad sapratÄm, ka jÄraksta vÄl vairÄk datu. 2016. gadÄ sÄkÄm skatÄ«ties DruÄ«du.
Druid ir atvÄrtÄ pirmkoda programmatÅ«ra, kas rakstÄ«ta Java valodÄ. Ä»oti specifisks. Un tas bija piemÄrots klikŔķu straumei, kad mums ir jÄsaglabÄ kÄda veida notikumu straume un pÄc tam jÄveic to apkopoÅ”ana vai analÄ«tiskas atskaites.
Druīdam bija versija 0.9.X.
Pati datubÄze ir ļoti grÅ«ti izvietojama. TÄ ir infrastruktÅ«ras sarežģītÄ«ba. Lai to izvietotu, bija jÄinstalÄ daudz, daudz dzelzs. Un katra aparatÅ«ras daļa bija atbildÄ«ga par savu atseviŔķu lomu.
Lai tajÄ ielÄdÄtu datus, bija jÄizmanto kaut kÄds Å”amanisms. Ir atvÄrtÄ koda projekts - Tranquility, kas straumÄ zaudÄja datus no mums. Kad mÄs ielÄdÄjÄm tajÄ datus, tas tos pazaudÄja.
Bet kaut kÄ sÄkÄm to Ä«stenot. MÄs kÄ eži, kas lietoja narkotikas, bet turpinÄja Äst kaktusu, sÄkÄm to ieviest. Mums vajadzÄja apmÄram mÄnesi, lai sagatavotu tam visu infrastruktÅ«ru. Tas ir, pasÅ«tiet serverus, konfigurÄjiet lomas un pilnÄ«bÄ automatizÄjiet izvietoÅ”anu. Tas nozÄ«mÄ, ka klastera kļūmes gadÄ«jumÄ automÄtiski tiks izvietots otrais klasteris.
Bet tad notika brÄ«nums. Es biju atvaļinÄjumÄ, un mani kolÄÄ£i man atsÅ«tÄ«ja saiti uz , kurÄ teikts, ka Yandex nolÄma atvÄrt ClickHouse. Es saku, pamÄÄ£inÄsim.
Un burtiski 2 dienu laikÄ mÄs izvietojÄm ClickHouse testa kopu. MÄs sÄkÄm tajÄ ielÄdÄt datus. SalÄ«dzinot ar infiniDB, tas ir elementÄri; salÄ«dzinot ar Druid, tas ir elementÄri. SalÄ«dzinot ar Kasandru, tas ir arÄ« elementÄri. Jo, ja jÅ«s ielÄdÄjat datus no PHP Cassandra, tad tas nav elementÄri.
Ko mÄs saÅÄmÄm? Sniegums ÄtrumÄ. VeiktspÄja datu glabÄÅ”anÄ. Tas nozÄ«mÄ, ka diskÄ tiek izmantots daudz mazÄk vietas. ClickHouse ir Ätrs, tas ir ļoti Ätrs salÄ«dzinÄjumÄ ar citiem produktiem.
PalaiÅ”anas brÄ«dÄ«, kad Yandex publicÄja ClickHouse programmÄ OpenSource, bija tikai konsoles klients. MÄs savÄ uzÅÄmumÄ SMI2 nolÄmÄm mÄÄ£inÄt izveidot vietÄju tÄ«mekļa klientu, lai mÄs varÄtu atvÄrt lapu no pÄrlÅ«kprogrammas, uzrakstÄ«t pieprasÄ«jumu un iegÅ«t rezultÄtu, jo mÄs sÄkÄm rakstÄ«t daudz pieprasÄ«jumu. RakstÄ«t konsolÄ ir grÅ«ti. Un mÄs izveidojÄm savu pirmo versiju.
Un kaut kur tuvÄk pagÄjuÅ”Ä gada ziemai sÄka parÄdÄ«ties treÅ”o puÅ”u rÄ«ki darbam ar ClickHouse. Tie ir tÄdi rÄ«ki kÄ:
- .
- .
- . (Tagad )
- .
- .
Es apskatÄ«Å”u dažus no Å”iem rÄ«kiem, tas ir, tos, ar kuriem esmu strÄdÄjis.
Labs rÄ«ks, bet priekÅ” Druid. Kad Druid tika ieviests, es testÄju SuperSet. Man viÅÅ” patika. DruÄ«dam tas ir ļoti Ätri.
Tas nav piemÄrots ClickHouse. Tas ir, tas atbilst, tas sÄkas, bet ir gatavs apstrÄdÄt tikai elementÄrus vaicÄjumus, piemÄram: SELECT notikumu, GROUP BY notikumu. Tas neatbalsta sarežģītÄku ClickHouse sintaksi.
NÄkamais rÄ«ks ir Apache Zeppelin. Å Ä« ir laba un interesanta lieta. Darbojas. TÄ atbalsta piezÄ«mjdatorus, informÄcijas paneļus un atbalsta mainÄ«gos. Es zinu, ka kÄds no ClickHouse kopienas to izmanto.
Bet ClickHouse sintakse neatbalsta, t.i., vaicÄjumi bÅ«s jÄraksta vai nu konsolÄ, vai kaut kur citur. PÄc tam pÄrbaudiet, vai tas viss darbojas. Tas ir vienkÄrÅ”i neÄrti. Bet tam ir labs informÄcijas paneļa atbalsts.
NÄkamais rÄ«ks ir Redash.IO. Redash ir mitinÄts internetÄ. Tas ir, atŔķirÄ«bÄ no iepriekÅ”Äjiem rÄ«kiem, tas nav jÄinstalÄ. Un Å”is ir informÄcijas panelis ar iespÄju konsolidÄt datus no dažÄdiem datu avotiem. Tas ir, jÅ«s varat lejupielÄdÄt no ClickHouse, no MySQL, no PostgreSQL un citÄm datu bÄzÄm.
Tikai pirms mÄneÅ”a (2017. gada martÄ) Grafana parÄdÄ«jÄs atbalsts. Kad programmÄ Grafana veidojat pÄrskatus, piemÄram, par aparatÅ«ras stÄvokli vai dažiem rÄdÄ«tÄjiem, tagad varat izveidot to paÅ”u grafiku vai kÄda veida paneli tieÅ”i no ClickHouse datiem. Tas ir ļoti Ärti, un mÄs to izmantojam paÅ”i. Tas ļauj jums atrast anomÄlijas. Tas ir, ja kaut kas notiek un kÄda aparatÅ«ra nokrÄ«t vai kļūst saspringta, varat apskatÄ«t iemeslu, kÄpÄc Å”iem datiem izdevÄs iekļūt ClickHouse.
Man bija ļoti neÄrti rakstÄ«t Å”ajos rÄ«kos vai konsolÄ. Un es nolÄmu uzlabot mÅ«su pirmo saskarni. Un ideju ieguvu no EventSQL, SeperSet, Zeppelin.
Ko tu gribÄji? Es gribÄju iegÅ«t grafiku, uzlabotu redaktoru un ieviest atbalstu padomu vÄrdnÄ«cÄm. Jo ClickHouse ir lieliska iespÄja - vÄrdnÄ«cas. TaÄu ir grÅ«ti strÄdÄt ar vÄrdnÄ«cÄm, jo āāir jÄatceras saglabÄto vÄrtÄ«bu formÄts, t.i., vai tas ir cipars vai virkne utt. Un tÄ kÄ mÄs bieži izmantojam vÄrdnÄ«cas dažÄdÄs variÄcijÄs, bija diezgan grÅ«ti rakstÄ«t vaicÄjumus.
Ir pagÄjuÅ”i 3 mÄneÅ”i kopÅ” mÅ«su pirmÄs versijas izlaiÅ”anas. Es veicu apmÄram 330 saistÄ«bas privÄtÄ filiÄlÄ, un tas izrÄdÄ«jÄs Tabix.
AtŔķirÄ«bÄ no iepriekÅ”ÄjÄs versijas, kas saucÄs ClickHouse-Frontend, es nolÄmu to pÄrdÄvÄt par vienkÄrÅ”u nosaukumu. Un izrÄdÄ«jÄs, Tabix.
Kas parÄdÄ«jÄs?
ZÄ«mÄ grafikus. Atbalsta ClickHouse SQL sintaksi. Sniedz padomus par funkcijÄm un var paveikt daudz interesantu lietu.
Å Ädi izskatÄs vispÄrÄjÄ Tabix shÄma. KreisajÄ pusÄ ir koks. CentrÄ ir vaicÄjumu redaktors. Un zemÄk ir Ŕī pieprasÄ«juma rezultÄts.
TÄlÄk es jums parÄdÄ«Å”u, kÄ darbojas vaicÄjumu redaktors.
Å eit automÄtiskÄ pabeigÅ”ana automÄtiski darbojas tabulÄ un attiecÄ«gi pieprasa lauku automÄtisko pabeigÅ”anu. Un padomi par funkcijÄm. Nospiežot ctrl enter, pieprasÄ«jums tiks izpildÄ«ts vai neizdosies ar kļūdu. VienkÄrÅ”Äkais pieprasÄ«jums tiek nosÅ«tÄ«ts Tabix un tiek iegÅ«ts rezultÄts, t.i., var Ätri strÄdÄt ar ClickHouse.
VÄrdnÄ«cas, kÄ jau teicu, ir ļoti interesanta lieta, ar kuru mÄs daudz strÄdÄjam. Un kas ļÄva mums darÄ«t daudzas lietas. PieÅemsim, ka visas pilsÄtas glabÄjam vÄrdnÄ«cÄs. MÄs saglabÄjam pilsÄtas identifikatoru un pilsÄtas nosaukumu, tÄs platuma un garuma grÄdus. Un datubÄzÄ mÄs glabÄjam tikai pilsÄtas identifikatoru. AttiecÄ«gi mÄs ļoti spÄcÄ«gi saspiežam datus.
Å Ä·iet, ka tÄ ir vienkÄrÅ”a lieta, taÄu tÄ palÄ«dz ClickHouse ļoti interesantÄ veidÄ. SakarÄ ar to, ka ClickHouse atbalsta tikai ligzdotos savienojumus, vaicÄjums aug uz leju un pietiekami plats. Un, kad tiek atvÄrta kronÅ”teina un parÄdÄs kÄda gara izteiksme, tad kaut kas tik vienkÄrÅ”s kÄ vaicÄjuma sakļauÅ”ana atvieglo darbu ar paÅ”u vaicÄjumu. Jo, ja vaicÄjums ir 200-300 rindiÅas garÅ” un ļoti milzÄ«gs platums, ir ļoti noderÄ«gi sakļaut vaicÄjumu un pÄc tam atrast kÄdu vietu vai kaut kÄ to lokalizÄt.
Objektu koks, daudzvaicÄjumi un cilnes (Video 13:46 )
TÄlÄk es jums parÄdÄ«Å”u par koku un cilnÄm. KreisajÄ pusÄ ir koks; augÅ”pusÄ varat izveidot vairÄkas cilnes. Cilnes ir kÄ darbvieta. Varat izveidot vairÄkas cilnes un nosaukt katru no tÄm atŔķirÄ«gi. TÄ ir kÄ mini sistÄma atskaites veidoÅ”anai.
Cilnes tiek automÄtiski saglabÄtas. Ja restartÄjat pÄrlÅ«kprogrammu vai aizverat vai atverat Tabix, tas viss tiks saglabÄts.
Hotkey - Ärti (Video 14:39 )
Ir karstie taustiÅi, un to ir diezgan daudz. Å eit kÄ piemÄru esmu izvilcis dažus no tiem. TÄ ir ciļÅu maiÅa, pieprasÄ«juma izpilde vai vairÄku pieprasÄ«jumu izpilde.
Es jums parÄdÄ«Å”u, kÄ strÄdÄt ar rezultÄtu. NosÅ«tÄm pieprasÄ«jumu. Å eit es zÄ«mÄju sin, cos un tg. Varat izcelt rezultÄtu, t.i., uzzÄ«mÄt tipisku karti kolonnai. Varat izcelt pozitÄ«vas vai negatÄ«vas vÄrtÄ«bas. Vai vienkÄrÅ”i izkrÄsojiet konkrÄtu galda elementu. Tas ir Ärti, ja galds ir milzÄ«gs un ar acÄ«m jÄatrod kÄda anomÄlija. Kad es meklÄju anomÄlijas, es izcÄlu dažas lÄ«nijas, dažus elementus zaÄ¼Ä vai sarkanÄ krÄsÄ.
Tur ir daudz interesantu lietu. PiemÄram, kÄ kopÄt Redmine Markdown. Ja jums kaut kur jÄkopÄ rezultÄts, tas ir ļoti Ärti. Varat vienkÄrÅ”i atlasÄ«t apgabalu, sakiet āKopÄt uz Redmineā, un tas tiks kopÄts Redmine Markdown vai izveidos vaicÄjumu Kur.
NÄkamÄ ir vaicÄjuma optimizÄcija. Es reiz aizmirsu norÄdÄ«t lauku ādatumsā. Un mans pieprasÄ«jums ClickHouse tika apstrÄdÄts nevis ļoti, ļoti Ätri, bet Ätri, t.i., mazÄk par sekundi. Kad es redzÄju, cik daudz rindu viÅÅ” izskrÄja, man kļuva bail. MÄs neierakstÄm tik daudz rindu Å”ajÄ tabulÄ vienÄ dienÄ. SÄku analizÄt pieprasÄ«jumu un ieraudzÄ«ju, ka vienÄ vietÄ esmu nokavÄjis randiÅu. Tas ir, es aizmirsu norÄdÄ«t, ka man nav nepiecieÅ”ami dati par visu tabulu, bet gan par konkrÄtu periodu.
Tabix ir cilne āStatistikaā, kurÄ tiek glabÄta visa nosÅ«tÄ«to pieprasÄ«jumu vÄsture, t.i., tur var redzÄt, cik rindiÅu Å”is pieprasÄ«jums nolasÄ«ja un cik ilgi tas prasÄ«ja izpildi. Tas ļauj optimizÄt.
Varat izveidot rakurstabulu virs vaicÄjuma rezultÄta. JÅ«s nosÅ«tÄ«jÄt pieprasÄ«jumu ClickHouse un saÅÄmÄt dažus datus. Un tad jÅ«s varat pÄrvietot Å”os datus ar peli un izveidot sava veida rakurstabulu.
NÄkamÄ interesanta lieta ir plÄnoÅ”ana. PieÅemsim, ka mums ir Å”Äds pieprasÄ«jums: grÄkam, cos no 0 lÄ«dz 299. Un, lai to uzzÄ«mÄtu, jums jÄizvÄlas cilne āZÄ«mÄtā, un jÅ«s iegÅ«sit grafiku ar grÄku un cos.
Varat to sadalÄ«t dažÄdÄs asÄ«s, t.i., varat vienlaikus zÄ«mÄt divus grafikus blakus. Uzrakstiet vienu komandu un otru komandu.
JÅ«s varat zÄ«mÄt histogrammas.
Varat to sadalÄ«t grafiku matricÄ.
JÅ«s varat izveidot siltuma karti.
JÅ«s varat izveidot termisko kalendÄru. Starp citu, Ŕī ir ļoti Ärta lieta, ja gada laikÄ jÄanalizÄ anomÄlijas, t.i., jÄatrod vai nu tapas, vai kritumi. Å Ä« datu vizualizÄcija man to palÄ«dzÄja.
NÄkamais ir Treemap.
Sankeys ir interesanta diagramma. ViÅÅ” ir vai nu Streamgrahps, vai River. Bet es to saucu par upi. Tas arÄ« ļauj jums meklÄt jebkÄdas anomÄlijas. Tas ir ļoti Ärti. Iesaku to izmantot meklÄÅ”anai.
NÄkamÄ interesanta lieta ir dinamiskas kartes zÄ«mÄÅ”ana. Ja savÄ datu bÄzÄ saglabÄjat platuma un garuma grÄdus un, teiksim, saglabÄjat galamÄrÄ·i, ja jums, piemÄram, lido kravas vai lidmaŔīnas, varat zÄ«mÄt galamÄrÄ·a ceļus. ArÄ« tur jÅ«s varat iestatÄ«t Ätrumu un izmÄru Å”iem objektiem, kuros tie lido.
Bet problÄma ar Å”o karti ir tÄ, ka tÄ zÄ«mÄ tikai pasaules karti, nav nekÄdu detaļu.
VÄlÄk pievienoju Google karti. Ja saglabÄjat platumu, garumu, tad rezultÄtu varat uzzÄ«mÄt Google kartÄ, bet bez lidmaŔīnas atbalsta.
MÄs esam apsprieduÅ”i galvenÄs funkcijas darbÄ ar rezultÄtiem un vaicÄjumiem Tabix.
NÄkamÄ ir jÅ«su ClickHouse servera analÄ«ze. Ir atseviŔķa cilne āMetricsā, kurÄ var redzÄt katras kolonnas saglabÄto datu lielumu. EkrÄnuzÅÄmums parÄda, ka Å”is ānovirzÄ«tÄjaā lauks aizÅem aptuveni 730 Gb. Ja mÄs atteiksimies no Ŕī lauka, mÄs ietaupÄ«sim trÄ«s 700 GB Ŕķembas, t.i., apmÄram 2 TB, kas mums nav nepiecieÅ”ami.
Mums ir arÄ« lauks "request_id", ko mÄs saglabÄjam virknÄ. Bet, ja mÄs sÄksim to glabÄt skaitliskÄ formÄ, Å”is lauks ievÄrojami saruks.
Tas parÄda arÄ« servera konfigurÄciju un jÅ«su klastera mezglu sarakstu.
NÄkamÄ cilne ir metrika. ViÅi iekļūst reÄllaikÄ ar ClickHouse un vienkÄrÅ”i ļauj analizÄt servera stÄvokli un saprast, kas ar to notiek. Tas neaizstÄj pilnu Grafana. Tas ir nepiecieÅ”ams Ätrai analÄ«zei.
NÄkamÄ cilne ir procesi. No tiem var saprast, kas notiek serverÄ«. Saproti, kas tur notiek. Man bija pieprasÄ«jums, kas katru reizi patÄrÄja 200 GB lasÄ«Å”anas. Es to redzÄju, pateicoties Å”ai saskarnei. Es viÅu noÄ·Äru un izlaboju. Un tas izrÄdÄ«jÄs apmÄram 30 GB, t.i., dažkÄrt veiktspÄja.
Paldies! Un tas ir atvÄrtÄ koda versijÄ
ES pabeidzu. Un, starp citu, tas ir OpenSource, tas ir bezmaksas un jums pat nav nepiecieÅ”ams to lejupielÄdÄt. Atveriet to pÄrlÅ«kprogrammÄ, un viss darbosies.
jautÄjumi
Igor, kas tÄlÄk? Kur jÅ«s izstrÄdÄsit Å”o rÄ«ku?
PÄc tam tiks parÄdÄ«ti informÄcijas paneļi, t.i., iespÄjams, tiks parÄdÄ«ti informÄcijas paneļi. IntegrÄcija ar citÄm datu bÄzÄm. Es to izdarÄ«ju, bet vÄl neesmu publicÄjis to OpenSource. Tas ir MySQL un, iespÄjams, PostgreSQL. Tas ir, pieprasÄ«jumus no Tabix bÅ«s iespÄjams nosÅ«tÄ«t ne tikai uz ClickHouse, bet arÄ« uz citiem rÄ«kiem.
Skaidrs, ka ir paveikts milzÄ«gs darbs. TÄ izrÄdÄ«jÄs diezgan pilnÄ«ga ideja. Tas tika darÄ«ts pÄrlÅ«kprogrammÄ, acÄ«mredzot, lai novÄrstu kruÄ·us uz visÄdiem cirvjiem un Ätri visu samestu kopÄ. Es dzirdÄju, ka esat ieslÄgts php darbu, tÄpÄc vienkÄrÅ”Äkais veids ir ierakstÄ«t to pÄrlÅ«kprogrammÄ, un tas darbosies visur. Par Å”o jautÄjumu nav nekÄdu jautÄjumu. JautÄjums ir Å”Äds. Tur tieÅ”Äm daudz kas ir paveikts. Cik cilvÄku pie tÄ strÄdÄja? Un cik ilgi tas viss prasÄ«ja? TÄ kÄ pielÄgotajiem rÄ«kiem parasti nav tik daudz funkcionalitÄtes.
Viens cilvÄks no mÅ«su komandas strÄdÄja no vasaras lÄ«dz rudenim. Å Ä« bija pirmÄ versija. Tad es viens pats veicu 330 apÅemÅ”anÄs. Ko jÅ«s redzat, mÄs ar kolÄÄ£i to izdarÄ«jÄm uz pusÄm. 3 mÄneÅ”u laikÄ no paÅ”as pirmÄs versijas lÄ«dz pÄdÄjai pÄrsvarÄ to darÄ«ju vienatnÄ. Bet es pÄrÄk labi nepÄrzinu Javascript. Å is bija mans vienÄ«gais un, ceru, arÄ« pÄdÄjais Javascript projekts, ar kuru strÄdÄju. Sapratu, paskatÄ«jos ā ak, Å”ausmas. Bet es ļoti gribÄju pabeigt produktu, un tas notika.
Liels paldies par ziÅojumu! Tas ir lielisks rÄ«ks. AR Glezna Vai esi salÄ«dzinÄjis?
Paldies. TÄpÄc es to nosaucu par Tabix, jo pirmie burti ir vienÄdi.
TÄpÄc, ka tu konkurÄ?
InvestÄ«cijas bÅ«s lielas, konkurÄsim.
KÄ jÅ«s varat piedÄvÄt pÄrdot iekÅ”Äjiem analÄ«tiÄ·iem, ko Å”is rÄ«ks pilnÄ«bÄ aizstÄs *tabula*? KÄdi bÅ«s argumenti?
Sadarbojas ar ClickHouse. IzmÄÄ£inÄju Tableau, bet tur nevar rakstÄ«t atbalstu vÄrdnÄ«cÄm un tamlÄ«dzÄ«gi. Es zinu, kÄ cilvÄki strÄdÄ ar Tabix. ViÅi raksta vaicÄjumu, augÅ”upielÄdÄ to CSV un augÅ”upielÄdÄ BI. Un viÅi jau tur kaut ko dara. Bet man ir grÅ«ti iedomÄties, kÄ viÅi to dara, jo tas ir grafisks rÄ«ks. Tas var izlÄdÄt 5 rindu, maksimÄli 000 rindu, bet ne vairÄk, pretÄjÄ gadÄ«jumÄ pÄrlÅ«kprogramma netiks galÄ.
Tas nozÄ«mÄ, ka datu apjomam ir daži nopietni ierobežojumi, vai ne?
JÄ. Es nevaru iedomÄties, ka jÅ«s vÄlaties augÅ”upielÄdÄt 10 000 rindu savÄ tabulÄ savÄ pÄrlÅ«kprogrammas ekrÄnÄ. Par ko?
Vai tas nozÄ«mÄ, ka Ŕī ir saskarne Ätrai datu apskatei? Nedaudz pagriezt, pagriezt?
JÄ, Ätri redziet, kÄ tas darbojas, un vienkÄrÅ”i izveidojiet kopsavilkuma diagrammu. Un tad iedod kaut kur. Mums ir sava ziÅoÅ”anas sistÄma, no kuras es vienkÄrÅ”i Åemu Å”o pieprasÄ«jumu. Es zÄ«mÄju Tabix un nosÅ«tu to mÅ«su ziÅojumiem.
Un vÄl jautÄjums. Kohortas analÄ«ze?
Ja bÅ«s kÄdi pieprasÄ«jumi, pievienosim.
Kad jÅ«s tikko sÄkÄt to lietot? ClickHouse, cik ilgi notika ievieÅ”ana? NoklikŔķiniet uz MÄja un atvedot uz ražoÅ”anas stÄvoklis?
KÄ jau teicu, mÄs ieviesÄm testa kopu ļoti Ä«sÄ laikÄ. MÄs to izvietojÄm divÄs dienÄs. Un mÄs to pÄrbaudÄ«jÄm vÄl pÄris nedÄļas. Un ražoÅ”anu sasniedzÄm 3 mÄneÅ”os.Bet mums bija savs ETL, t.i., datu ierakstÄ«Å”anas rÄ«ks. Un viÅÅ” rakstÄ«ja visu, ko varÄja. ViÅÅ” var rakstÄ«t MongoDB, Cassandra, MySQL. Bija viegli iemÄcÄ«t viÅam rakstÄ«t ClickHouse. Mums bija gatava infrastruktÅ«ra Ätrai ievieÅ”anai. 3 mÄneÅ”u laikÄ sÄkÄm izmest pirmo komponentu. 6 mÄneÅ”u laikÄ mÄs pilnÄ«bÄ atteicÄmies no visa pÄrÄjÄ. Mums ir palicis tikai viens ClickHouse.
Igor, liels paldies par ziÅojumu. Man ļoti patika taku veidoÅ”anas funkcionalitÄte, izmantojot kartes. Vai ir kÄdi plÄni integrÄcijai ar Yandex.Maps un jo Ä«paÅ”i ar pielÄgotu Yandex.Maps?
Es mÄÄ£inÄju integrÄt Google kartes vietÄ, bet Yandex.Maps neatradu tumÅ”u tÄmu. Es tev neteicu vienu gabalu. Es attÄ«Å”u, lai pievienotu.
Slaids ā Google karte. Tur ir komanda āDRAW_GMAPSā, kas uzzÄ«mÄ karti. Ir komanda āDRAW_YMAPSā, t.i., tÄ var uzzÄ«mÄt Yandex.Map. Bet patiesÄ«bÄ zem Ŕīs komandas ir Javascript, t.i., datus, ko saÅemat no ClickHouse, var pÄrsÅ«tÄ«t uz Javascript, ko jÅ«s Å”eit ierakstÄt. Un jums ir izvades laukums, kur tas bÅ«tu jÄuzzÄ«mÄ. JÅ«s varat uzzÄ«mÄt jebkuru grafiku, t.i., jebkuru grafiku, karti, jÅ«s varat uzzÄ«mÄt savu komponentu. Pirms tam man bija cita bibliotÄka paÅ”u grafiku zÄ«mÄÅ”anai.
Tas ir, vai ir kÄds rÄ«ks displeja funkcionalitÄtes pielÄgoÅ”anai?
JebkurÅ”. JÅ«s varat Åemt un pÄrkrÄsot Å”os punktus, padarot tos nevis sarkanus, bet zilus, zaļus.
Paldies par ziÅojumu! Jums bija slaids, kurÄ tika parÄdÄ«ti alternatÄ«vi vaicÄjuma rÄ«ki NoklikŔķiniet uz MÄja informÄcijas paneļu un analÄ«tisko pÄrskatu izveidei. Es to saprotu brÄ«dÄ«, kad sÄki strÄdÄt ar ClickHouse, Å”iem rÄ«kiem nav rakstÄ«ti adapteri. Un es domÄju, kÄpÄc jÅ«s nolÄmÄt izveidot savu rÄ«ku, nevis rakstÄ«t adapteri kÄdam gatavam instrumentam? Es domÄju, ka testa redaktora pielÄgoÅ”ana ir Ätra. KÄpÄc jÅ«s nolÄmÄt darÄ«t tik daudz darba?
Å eit ir interesants moments - fakts ir tÄds, ka es esmu tehniskais direktors, nevis datu zinÄtnieks. LÄ«dz brÄ«dim, kad sÄkÄm ieviest Druid, manÄ ceļvedÄ« bija aptuveni 50% uzdevumu ā aprÄÄ·inÄsim to, aprÄÄ·inÄsim to, vai analizÄsim Å”o. Un izrÄdÄ«jÄs, ka mÄs ieviesÄm ClickHouse. Un viÅÅ” sÄka Ätri visu bÅ«vÄt, skaitÄ«t un Ätri aizvÄra savu ceļvedi. Un lÄ«dz tam laikam es sapratu, ka man trÅ«kst zinÄÅ”anu datu zinÄtnÄ un datu vizualizÄcijÄ. Tabix ir sava veida mans mÄjasdarbs datu vizualizÄcijas apguvei. SkatÄ«jos, kÄ papildinÄt Zeppelin. Man ir neliela nepatika pret viÅa programmÄÅ”anu. Redash paskatÄ«jos kÄ pievienot, bet man pietika ar parastu redaktoru. Un SuperSet ir arÄ« rakstÄ«ts valodÄ, kas man Ä«sti nepatÄ«k. Un tÄpÄc es nolÄmu braukt ar velosipÄdu, un tas notika.
Igor, vai tu pieÅem Pull pieprasÄ«jumus?
JÄ.
Liels paldies par ziÅojumu! Un divi jautÄjumi. PirmkÄrt, jÅ«s nerunÄjat ļoti glaimojoÅ”i Javascript. Vai rakstÄ«jÄt tukÅ”Ä Javascript vai tas ir kaut kÄds ietvars?*
LabÄk tukÅ”Ä Javascript.
TÄtad, kÄds ietvars?
LeÅÄ·isks.
Tas ir skaidrs. Un otrais jautÄjums. Vai esat apsvÄris R Šø *SpÄ«dÄ«gs**?*
UzskatÄ«ja to. SpÄlÄja.
Varat arÄ« vienkÄrÅ”i uzrakstÄ«t adapteri.
ViÅÅ” ir. Å Ä·iet, ka kopienai tas izdevÄs, taÄu, atbildot uz iepriekÅ”Äjo jautÄjumu, es gribÄju to izmÄÄ£inÄt pats.
*NÄ, attiecÄ«bÄ uz vizualizÄciju, tÄ ir arÄ« tur.
JÅ«s sakÄt, ka tÄda ir, un tas jums uzzÄ«mÄs grafiku. AtvÄru grÄmatu par datu vizualizÄciju. Un es domÄju: āÄ»aujiet man mÄÄ£inÄt vizualizÄt Å”os datus. Es viÅam uzrakstÄ«Å”u, lai viÅÅ” varÄtu atjaunot datus. Un es sÄku labÄk izprast datu plÅ«smas tehnoloÄ£iju. Un, ja es bÅ«tu paÅÄmis gatavu komponentu, es personÄ«gi bÅ«tu sliktÄk iemÄcÄ«jies to lietot, tas ir, vizualizÄciju. Bet jÄ, man patika R, bet grÄmatu āR for Dummiesā vÄl neesmu lasÄ«jusi.
Paldies!
VienkÄrÅ”s jautÄjums. Vai ir kÄdi veidi, kÄ Ätri augÅ”upielÄdÄt zÄ«mi vai grafiku?
Var augÅ”upielÄdÄt CSV vai Excel formÄtÄ.
Nevis dati, bet gatava plÄksne, gatavs grafiks? PiemÄram, lai parÄdÄ«tu priekÅ”niekam.
Ir poga āAugÅ”upielÄdÄtā un ir poga āAugÅ”upielÄdÄt grafiku png formÄtÄ, jpg formÄtÄā.
Paldies!
PS Mini instrukcijas tabix instalÄÅ”anai
- lejuplÄdÄt
- Izpakojiet, kopÄjiet direktoriju
buildnginx saknes_ceÄ¼Ä - KonfigurÄjiet nginx
Avots: www.habr.com