Gisugyot ko nga basahon nimo ang transcript sa 2017 nga taho ni Igor Stryhar "ClickHouse - biswal nga paspas ug tin-aw nga pagtuki sa datos sa Tabix."
Web interface para sa ClickHouse sa proyekto sa Tabix.
Pangunang mga bahin:
- Nagtrabaho sa ClickHouse direkta gikan sa browser, nga wala kinahanglana ang pag-instalar sa dugang nga software;
- Editor sa pangutana nga adunay pag-highlight sa syntax;
- Autocompletion sa mga sugo;
- Mga himan alang sa graphical nga pagtuki sa pagpatuman sa pangutana;
- Mga laraw sa kolor nga mapilian.
Ako ang teknikal nga direktor sa SMI2. Usa kami ka news exchange news aggregator. Nagtipig kami daghang datos nga among nadawat gikan sa among mga kauban ug girehistro kini sa ClickHouse - mga 30 nga hangyo matag segundo.
Kini ang datos sama sa:
- Mga pag-klik sa balita.
- Gipakita ang mga balita sa aggregator.
- Banner nga gipakita sa among network.
- Ug girehistro namo ang mga panghitabo gikan sa among kaugalingong counter, nga susama sa Yandex.Metrica. Kini ang among kaugalingon nga micro-analytics.
Kami adunay usa ka grabe nga kinabuhi sa wala pa ang ClickHouse. Nag-antus kami pag-ayo, naningkamot sa pagtipig niini nga datos sa usa ka dapit ug sa usa ka paagi pag-analisar niini.
Kinabuhi sa wala pa ang ClickHouse - infiniDB
Ang una nga butang nga naa namo mao ang infiniDB. Nagpuyo siya kanamo sulod sa 4 ka tuig. Gilunsad namo kini sa kalisud.
- Wala kini nagsuporta sa clustering o sharding. Walay ingon nga maalamon nga mga butang nga migawas sa kahon pinaagi sa default.
- Naglisud siya sa pag-load sa datos. Usa lamang ka espesipikong console utility nga maka-load lang sa mga CSV file ug sa pipila lang ka dili klaro nga paagi.
- Ang database kay single-threaded. Mahimo kang magsulat o magbasa. Apan kini nagpaposible sa pagproseso sa daghang mga datos.
- Ug siya usab adunay usa ka makapaikag nga saklay. Kada gabii kinahanglan nga i-reboot ang server, kung dili kini molihok.
Nagtrabaho siya alang kanamo hangtod sa katapusan sa 2016, sa dihang kami hingpit nga mibalhin sa ClickHouse.
Kinabuhi sa wala pa ang ClickHouse - Cassandra
Tungod kay ang infiniDB single-threaded, nakahukom kami nga nagkinahanglan kami og usa ka matang sa multi-threaded database diin makasulat kami og daghang mga thread sa samang higayon.
Gisulayan namo ang daghang makapaikag nga mga butang. Unya nakahukom mi nga sulayan si Cassandra. Nindot ang tanan uban ni Cassandra. 10 ka hangyo kada segundo kada bid. 000 nga mga hangyo sa usa ka dapit alang sa pagbasa.
Apan aduna usab siyay kaugalingong interes. Kausa sa usa ka bulan o kausa matag duha ka bulan nakasinati siya usa ka desynchronization sa database. Ug kinahanglan kong momata ug modagan aron ayohon si Cassandra. Ang mga server gi-restart sa usag usa. Ug ang tanan nahimong hapsay ug matahum.
Kinabuhi sa wala pa ang ClickHouse - Druid
Dayon among naamgohan nga kinahanglan namong isulat ang mas daghang datos. Sa 2016 nagsugod kami sa pagtan-aw sa Druid.
Ang Druid usa ka open source software nga gisulat sa Java. Espesipiko kaayo. Ug kini angay alang sa clickstream, kung kinahanglan naton nga tipigan ang usa ka matang sa stream sa mga panghitabo ug dayon ipahigayon ang aggregation sa kanila o maghimo mga analytical report.
Ang Druid adunay bersyon 0.9.X.
Ang database mismo lisud kaayo nga i-deploy. Kini ang pagkakomplikado sa imprastraktura. Aron ma-deploy kini, gikinahanglan ang pag-instalar og daghan, daghang puthaw. Ug ang matag piraso sa hardware responsable alang sa kaugalingon nga lahi nga tahas niini.
Aron ma-load ang datos niini, gikinahanglan ang paggamit sa usa ka matang sa shamanismo. Adunay usa ka proyekto sa OpenSource - Tranquility, nga nawala ang datos gikan kanamo sa usa ka sapa. Sa dihang gikarga namo ang datos niini, nawala kini.
Apan sa usa ka paagi nagsugod kami sa pagpatuman niini. Kami, sama sa mga hedgehog nga nagdroga apan nagpadayon sa pagkaon sa cactus, nagsugod sa pagpaila niini. Nagkinahanglan kami og mga usa ka bulan aron maandam ang tanan nga imprastraktura alang niini. Kana mao, pag-order sa mga server, pag-configure sa mga tahas, ug hingpit nga awtomatiko ang pag-deploy. Sa ato pa, kung adunay kapakyasan sa cluster, ang ikaduha nga cluster awtomatik nga i-deploy.
Apan usa ka milagro ang nahitabo. Nagbakasyon ko ug gipadad-an ko sa akong mga kauban ug link , nga nag-ingon nga ang Yandex nakahukom sa pag-abli sa ClickHouse. Ingon ko sulayan nato.
Ug sa literal sa 2 ka adlaw nag-deploy kami usa ka cluster sa pagsulay sa ClickHouse. Nagsugod kami sa pagkarga sa datos niini. Kung itandi sa infiniDB, elementarya kini; kung itandi sa Druid, elementarya kini. Kumpara kang Cassandra, elementarya sab. Tungod kay kung imong i-load ang data gikan sa PHP ngadto sa Cassandra, dili kini elementarya.
Unsa may among nakuha? Performance sa tulin. Performance sa pagtipig sa datos. Sa ato pa, labi ka gamay nga espasyo sa disk ang gigamit. Ang ClickHouse paspas, paspas kaayo kung itandi sa ubang mga produkto.
Sa panahon sa paglansad, sa dihang gipatik ni Yandex ang ClickHouse sa OpenSource, adunay usa lamang ka kliyente sa console. Kami sa among kompanya nga SMI2 nakahukom nga sulayan ang paghimo sa usa ka lumad nga kliyente alang sa web, aron maablihan namon ang usa ka panid gikan sa usa ka browser, pagsulat usa ka hangyo ug makuha ang resulta, tungod kay nagsugod kami sa pagsulat sa daghang mga hangyo. Ang pagsulat sa console lisud. Ug gihimo namo ang among unang bersyon.
Ug sa usa ka dapit nga mas duol sa tingtugnaw sa miaging tuig, ang mga himan sa ikatulo nga partido alang sa pagtrabaho sa ClickHouse nagsugod sa pagpakita. Kini ang mga himan sama sa:
- .
- .
- . (Karon )
- .
- .
Akong tan-awon ang pipila niini nga mga himan, nga mao, kadtong akong gitrabahoan.
Usa ka maayo nga himan, apan alang sa Druid. Sa dihang gipatuman ang Druid, gisulayan nako ang SuperSet. Nakagusto ko niya. Alang sa Druid kini paspas kaayo.
Dili kini angay alang sa ClickHouse. Sa ato pa, mohaum kini, magsugod, apan andam nga moproseso lamang sa elementarya nga mga pangutana sama sa: PILI nga panghitabo, GROUP BY panghitabo. Wala kini nagsuporta sa mas komplikado nga ClickHouse syntax.
Ang sunod nga himan mao ang Apache Zeppelin. Kini usa ka maayo ug makapaikag nga butang. Mga buhat. Gisuportahan niini ang mga notebook, dashboard, ug nagsuporta sa mga variable. Naa koy nailhan sa ClickHouse nga komunidad nga naggamit niini.
Apan walay suporta alang sa ClickHouse syntax, i.e. kinahanglan ka nga magsulat og mga pangutana sa console o bisan asa. Sunod, susiha nga kini tanan nagtrabaho. Dili kombenyente. Apan kini adunay maayo nga suporta sa dashboard.
Ang sunod nga himan mao ang Redash.IO. Ang Redash gi-host sa Internet. Kana mao, dili sama sa nangaging mga himan, dili kinahanglan nga i-install. Ug kini usa ka dashboard nga adunay katakus sa pagkonsolida sa datos gikan sa lainlaing mga DataSources. Kana mao, mahimo nimong i-download gikan sa ClickHouse, gikan sa MySQL, gikan sa PostgreSQL ug gikan sa ubang mga database.
Usa lang ka bulan ang milabay (Marso 2017), ang suporta nagpakita sa Grafana. Kung magtukod ka og mga taho sa Grafana, pananglitan, sa kahimtang sa imong hardware o sa pipila ka metrics, karon makahimo ka sa paghimo sa sama nga graph o usa ka matang sa panel gikan sa data gikan sa ClickHouse direkta. Kini sayon kaayo, ug kami mismo ang naggamit niini. Kini nagtugot kanimo sa pagpangita sa mga anomaliya. Kana mao, kung adunay mahitabo ug ang pipila ka mga hardware mahulog o mahimong pilit, nan mahimo nimong tan-awon ang hinungdan kung kini nga datos nakasulod sa ClickHouse.
Nakit-an nako nga dili maayo ang pagsulat sa kini nga mga himan o sa console. Ug nakahukom ko nga pauswagon ang among unang interface. Ug nakuha nako ang ideya gikan sa EventSQL, SeperSet, Zeppelin.
Unsa imong gusto? Gusto ko nga makakuha og mga graphic, usa ka gipaayo nga editor, ug ipatuman ang suporta alang sa mga diksyonaryo nga pahiwatig. Tungod kay ang ClickHouse adunay usa ka maayo nga bahin - mga diksyonaryo. Apan lisud ang pagtrabaho sa mga diksyonaryo, tungod kay kinahanglan nimo nga hinumdoman ang pormat sa gitipigan nga mga kantidad, i.e. kini usa ka numero o usa ka hilo, ug uban pa. Ug tungod kay kanunay namong gigamit ang mga diksyonaryo sa ilang lainlaing mga kalainan, lisud kaayo ang pagsulat sa mga pangutana.
3 ka bulan ang milabay sukad sa pagpagawas sa atong unang bersyon. Nakahimo kog mga 330 ka commit sa usa ka pribadong branch ug kini mao ang Tabix.
Dili sama sa miaging bersyon, nga gitawag ClickHouse-Frontend, nakahukom ko nga ilisan kini sa usa ka yano nga ngalan. Ug kini nahimo nga Tabix.
Unsay nagpakita?
Nagdrowing og mga graph. Nagsuporta sa ClickHouse SQL syntax. Naghatag tambag bahin sa mga gimbuhaton ug makahimo og daghang makapaikag nga mga butang.
Kini ang hitsura sa kinatibuk-ang laraw sa Tabix. Sa wala mao ang usa ka kahoy. Sa tunga mao ang editor sa pangutana. Ug sa ubos mao ang resulta niini nga hangyo.
Sunod ipakita ko kanimo kung giunsa ang editor sa pangutana nagtrabaho.
Dinhi ang autocomplete awtomatikong nagtrabaho sa lamesa ug nag-aghat, sumala niana, autocomplete alang sa mga uma. Ug mga timailhan sa mga gimbuhaton. Kung imong gipugos ang ctrl enter, ang hangyo ipatuman o mapakyas sa usa ka sayup. Ang pinakasimple nga hangyo gipadala ngadto sa Tabix ug ang resulta makuha, i.e. dali ka nga makatrabaho sa ClickHouse.
Ang mga diksyonaryo, sama sa giingon ko na, usa ka makaiikag nga butang diin kami nagtrabaho pag-ayo. Ug nga nagtugot kanamo sa pagbuhat sa daghang mga butang. Ingnon ta nga gitipigan namon ang tanan nga mga lungsod sa mga diksyonaryo. Among gitipigan ang identifier sa siyudad ug ngalan sa siyudad, ang latitude ug longitude niini. Ug sa database among gitipigan ang city identifier lang. Tungod niini, among gi-compress ang datos nga kusog kaayo.
Kini daw usa ka yano nga butang, apan kini makatabang sa ClickHouse sa usa ka makapaikag kaayo nga paagi. Tungod sa kamatuoran nga ang ClickHouse nagsuporta lamang sa nested joins, ang pangutana mitubo paubos ug igo nga gilapdon. Ug kung ang bracket moabli ug ang pipila ka taas nga ekspresyon moabut, unya usa ka butang nga yano sama sa paghugno sa pangutana makapasayon sa pagtrabaho sa pangutana mismo. Tungod kay kung ang pangutana kay 200-300 ka linya ang gitas-on ug dako kaayo ang gilapdon, makatabang kaayo ang pag-collapse sa pangutana ug dayon pangitaa ang usa ka lugar o bisan unsang paagiha kini i-localize.
Object tree, multiquery ug tabs (Video 13:46 )
Sunod ipakita ko kanimo ang bahin sa kahoy ug mga tab. Sa wala mao ang usa ka kahoy; sa ibabaw makahimo ka og daghang mga tab. Ang mga tab sama sa workspace. Makahimo ka og daghang mga tab ug lainlain ang ngalan sa matag usa. Kini sama sa usa ka mini-sistema alang sa pagtukod sa usa ka report.
Awtomatikong gitipigan ang mga tab. Kung imong i-restart ang imong browser o isira o ablihan ang Tabix, kining tanan maluwas.
Hotkey - sayon (Video 14:39 )
Adunay mga hotkey ug adunay daghan niini. Gikuha nako ang pipila niini dinhi isip usa ka pananglitan. Kini ang pagbalhin sa mga tab, pagpatuman sa usa ka hangyo o pagpatuman sa daghang mga hangyo.
Ipakita ko kanimo kung giunsa ang pagtrabaho sa resulta. Nagpadala kami usa ka hangyo. Ddto ko nag drawing sa sala, cos ug tg. Mahimo nimong i-highlight ang resulta, i.e. pagdrowing og tipikal nga mapa para sa usa ka kolum. Mahimo nimong i-highlight ang positibo o negatibo nga mga kantidad. O kolori lang ang usa ka piho nga elemento sa lamesa. Kombenyente kini kung dako ang lamesa ug kinahanglan nimo nga makit-an ang usa ka anomaliya sa imong mga mata. Sa dihang nangita kog mga anomaliya, akong gipasiugda ang pipila ka linya, pipila ka elemento nga berde o pula.
Adunay daghang makapaikag nga mga butang didto. Pananglitan, kung unsaon pagkopya sa Redmine Markdown. Kung kinahanglan nimo nga kopyahon ang resulta sa usa ka dapit, kini sayon kaayo. Mahimo ka lang makapili usa ka lugar, isulti ang "Kopya sa Redmine" ug kini kopyahon sa Redmine Markdown o maghimo usa ka pangutana kung asa.
Sunod mao ang pag-optimize sa pangutana. Kausa nakalimot ko sa pagpiho sa field nga "petsa". Ug ang akong hangyo sa ClickHouse wala maproseso kaayo, dali kaayo, apan dali, i.e. wala’y usa ka segundo. Pagkakita nako kung pila ka linya ang iyang naagian, nahadlok ko. Dili kami mosulat ug daghang laray niini nga lamesa sa usa ka adlaw. Nagsugod ko sa pag-analisar sa hangyo ug nakita nga wala koy date sa usa ka dapit. Sa ato pa, nakalimot ko sa pagpaila nga wala ko magkinahanglan og datos alang sa tibuok nga lamesa, apan alang sa usa ka piho nga panahon.
Ang Tabix adunay tab nga "Stats", nga nagtipig sa tibuuk nga kasaysayan sa gipadala nga mga hangyo, i.e. didto nimo makita kung pila ka linya ang gibasa sa kini nga hangyo ug kung unsa kadugay kini gipatuman. Gitugotan niini ang pag-optimize.
Mahimo kang maghimo ug pivot table sa resulta sa pangutana. Nagpadala ka usa ka hangyo sa ClickHouse ug nakadawat pipila ka datos. Ug unya mahimo nimong ibalhin kini nga datos gamit ang imong mouse ug maghimo usa ka klase nga pivot table.
Ang sunod nga makapaikag nga butang mao ang pagplano. Ingnon ta nga kita adunay mosunod nga hangyo: alang sa sala, cos gikan sa 0 ngadto sa 299. Ug sa pagdrowing niini, kinahanglan nimo nga pilion ang tab nga "Draw" ug makakuha ka og graph sa imong sala ug cos.
Mahimo nimong bahinon kini sa lainlaing mga wasay, i.e. mahimo nimong idrowing ang duha nga mga graph nga magkadungan. Pagsulat og usa ka sugo ug ikaduha nga sugo.
Mahimo kang magdrowing og histograms.
Mahimo nimong putlon kini sa usa ka matrix sa mga graph.
Makahimo ka og mapa sa init.
Makahimo ka og thermal nga kalendaryo. Pinaagi sa dalan, kini usa ka kombenyente kaayo nga butang kung kinahanglan nimo nga analisahon ang mga anomaliya sa usa ka tuig, i.e., pangitaa ang mga spike o tulo. Kini nga data visualization nakatabang kanako niini.
Sunod mao ang Treemap.
Ang Sankeys usa ka makapaikag nga tsart. Siya si Streamgrahps o River. Apan gitawag ko kini nga River. Gitugotan ka usab niini nga pangitaon ang bisan unsang mga anomaliya. Komportable kaayo. Girekomenda ko nga gamiton kini alang sa pagpangita.
Ang sunod nga makapaikag nga butang mao ang pagdrowing og dinamikong mapa. Kung magtipig ka sa latitude, longitude sa imong database ug, ingnon ta, magtipig usa ka destinasyon, kung ikaw, pananglitan, adunay trak o eroplano nga naglupad, nan mahimo ka magdrowing og mga agianan sa destinasyon. Usab didto mahimo nimong itakda ang gikusgon ug gidak-on niining mga butanga diin sila molupad.
Apan ang problema niini nga mapa kay nagdibuho lang kini og mapa sa kalibutan, walay detalye.
Pagkahuman gidugang nako ang Google map. Kung nagtipig ka sa latitude, longitude, mahimo nimong i-drawing ang resulta sa mapa sa Google, apan kung wala’y suporta sa eroplano.
Among gihisgutan ang mga nag-unang gimbuhaton sa pagtrabaho sa mga resulta ug mga pangutana sa Tabix.
Ang sunod mao ang pagtuki sa imong ClickHouse server. Adunay usa ka bulag nga tab nga "Metrics", diin imong makita ang gidak-on sa gitipigan nga datos alang sa matag kolum. Gipakita sa screenshot nga kini nga field nga "referrer" mokabat ug mga 730 Gb. Kung biyaan namo kini nga field, makatipig kami og tulo ka shards sa 700 GB matag usa, ie mga 2 TB nga wala namo kinahanglana.
Adunay usab kami usa ka "request_id" nga uma nga among gitipigan sa usa ka hilo. Apan kung magsugod kita sa pagtipig niini sa numerical nga porma, kini nga uma mokunhod pag-ayo.
Gipakita usab niini ang configuration sa server ug usa ka lista sa mga node sa imong cluster.
Ang sunod nga tab mao ang metrics. Nakasulod sila sa realtime sa ClickHouse ug gitugotan ka nga mag-analisar sa kahimtang sa server ug masabtan kung unsa ang nahitabo niini. Dili kini kapuli sa hingpit nga Grafana. Kini gikinahanglan alang sa dali nga pagtuki.
Ang sunod nga tab mao ang mga proseso. Gikan kanila masabtan nimo kung unsa ang nahitabo sa server. Sabta unsay nahitabo didto. Naa koy hangyo nga mugamit ug 200 GB nga pagbasa matag higayon. Nakita nako kini salamat sa kini nga interface. Gisakpan nako siya ug gitul-id. Ug kini nahimo nga mga 30 GB, i.e. usa ka pasundayag usahay.
Salamat! Ug naa kini sa OpenSource
nahuman nako. Ug pinaagi sa dalan, kini OpenSource, kini libre ug dili nimo kinahanglan nga i-download kini. Ablihi kini sa usa ka browser ug ang tanan molihok.
Ang imong mga pangutana
Igor, unsay sunod? Asa nimo pauswagon kini nga himan?
Sunod, makita ang mga dashboard, ie, tingali ang mga dashboard makita. Paghiusa sa ubang mga database. Gibuhat nako kini, apan wala pa kini gipatik sa OpenSource. Kini ang MySQL ug posible nga PostgreSQL. Kana mao, posible nga magpadala mga hangyo gikan sa Tabix dili lamang sa ClickHouse, apan usab sa ubang mga himan.
Klaro nga daghang trabaho ang nahimo. Kini nahimo nga usa ka medyo kompleto nga ideya. Gihimo kini sa browser, dayag, aron mawagtang ang mga saklay sa tanang matang sa mga wasay ug dali nga ilabay ang tibuok nga butang. Nakadungog ko nga naa ka Flp trabaho, mao nga ang pinakasayon nga paagi mao ang pag-type niini sa browser ug kini molihok bisan asa. Walay mga pangutana mahitungod niini. Ang pangutana mao kini. Daghan gyud ang nahimo didto. Pila ka tawo ang nagtrabaho niini? Ug unsa ka dugay kining tanan? Tungod kay ang naandan nga mga himan sa kasagaran wala’y ingon ka daghan nga gamit.
Usa ka tawo gikan sa among team nagtrabaho gikan sa ting-init hangtod sa tingdagdag. Kini ang unang bersyon. Unya nakahimo kog 330 ka commit nga nag-inusara. Ang imong nakita, ang akong kauban ug ako nagbuhat niini sa tunga. Sa 3 ka bulan, gikan sa labing una nga bersyon hangtod sa katapusan, kasagaran akong gibuhat nga nag-inusara. Apan dili kaayo ko kahibalo sa Javascript. Kini ang akong bugtong ug, nanghinaut ko, ang akong katapusang proyekto sa Javascript nga akong gitrabahoan. Nakuha nako, akong tan-awon - oh, kalisang. Apan gusto gyud nako nga tapuson ang produkto ug kini ang nahitabo.
Salamat kaayo sa report! Kini usa ka maayo nga himan. UBAN Tableau Gikumpara ba nimo?
Salamat. Mao nga gihinganlan nako kini og Tabix, kay pareho ra ang unang mga letra.
Tungod kay nakigkompetensya ka?
Daghan ang puhonan, magtigi ta.
Giunsa nimo itanyag nga ibaligya sa mga internal nga analista nga kini nga himan hingpit nga ilisan *Tableau*? Unsa ang mahimong mga argumento?
Nagtrabaho nga lumad sa ClickHouse. Gisulayan nako ang Tableau, apan dili ka makasulat og suporta alang sa mga diksyonaryo ug uban pa didto. Nahibal-an ko kung giunsa pagtrabaho sa mga tawo ang Tabix. Nagsulat sila og pangutana, i-upload kini sa CSV ug i-upload kini sa BI. Ug aduna na silay gibuhat didto. Apan naglisud ako sa paghanduraw kung giunsa nila kini mahimo, tungod kay kini usa ka graphical nga himan. Mahimo kini mag-unload sa 5 ka laray, labing taas nga 000 ka laray, apan wala na, kung dili ang browser dili makasagubang.
Kana mao, adunay pipila ka seryoso nga mga limitasyon sa gidaghanon sa datos, di ba?
Oo. Dili nako mahanduraw nga gusto nimo nga mag-upload og 10 ka laray sa imong lamesa sa screen sa imong browser. Para unsa?
Nagpasabot ba kini nga kini usa ka interface alang sa dali nga pagtan-aw sa datos? I-twist kini gamay, twist it?
Oo, tan-awa dayon kung giunsa kini paglihok ug paghimo lang usa ka summary graph. Ug dayon ihatag kini bisan asa. Kami adunay kaugalingon nga sistema sa pagreport, diin ako nagkuha niini nga hangyo. Gidrawing nako ang Tabix ug gipadala kini sa among pagreport.
Ug laing pangutana. Pagtuki sa cohort?
Kung adunay bisan unsang mga hangyo, among idugang kini.
Kanus-a ka nagsugod sa paggamit niini? ClickHouse, unsa ka dugay ang pagpatuman? clickhouse ug pagdala sa estado sa produksiyon?
Sama sa akong giingon, nagpatuman kami usa ka cluster sa pagsulay sa mubo nga panahon. Gi-deploy namo kini sulod sa duha ka adlaw. Ug gisulayan namo kini sulod sa pipila pa ka semana. Ug nakaabot kami sa produksyon sa mga bulan sa 3. Apan kami adunay kaugalingong ETL, i.e. usa ka himan alang sa pagrekord sa datos. Ug gisulat niya ang tanan nga iyang mahimo. Makasulat siya sa MongoDB, Cassandra, MySQL. Sayon ra ang pagtudlo kaniya unsaon pagsulat sa ClickHouse. Kami adunay andam nga imprastraktura alang sa paspas nga pagpatuman. Sulod sa 3 ka bulan nagsugod kami sa paglabay sa unang sangkap. Sa 6 ka bulan hingpit namong gibiyaan ang tanan. Usa ra ang nahabilin nga ClickHouse.
Igor, salamat kaayo sa report. Ganahan kaayo ko sa gamit sa paghimo og mga agianan gamit ang mga mapa. Aduna bay bisan unsang mga plano alang sa pag-integrate sa Yandex.Maps ug ilabi na sa custom nga Yandex.Maps?
Gisulayan nako ang pag-integrate imbes sa Google map, apan wala koy nakit-an nga ngitngit nga tema sa Yandex.Maps. Wala nako gisulti kanimo ang usa ka piraso. I-rewind ko para idugang.
Slide – Google map. Adunay usa ka sugo "DRAW_GMAPS", nga nagdrowing og mapa. Adunay usa ka sugo nga "DRAW_YMAPS", i.e. kini makadrowing ug Yandex.Map. Apan sa pagkatinuod, ubos niini nga sugo adunay Javascript, i.e. ang datos nga imong nadawat gikan sa ClickHouse mahimong ibalhin ngadto sa Javascript, nga imong gisulat dinhi. Ug ikaw adunay usa ka output nga lugar diin kini kinahanglan nga madani. Mahimo nimong idrowing ang bisan unsang graph, i.e. bisan unsang graph, mapa, mahimo nimong idrowing ang imong kaugalingon nga sangkap. Sa wala pa kini, ako adunay lain nga librarya alang sa pagdrowing sa mga graph mismo.
Kana mao, adunay usa ka himan alang sa pag-customize sa pag-andar sa pagpakita?
Bisan unsa. Mahimo nimong kuhaon ug rekolor kini nga mga tulbok, nga dili kini pula, apan asul, berde.
Salamat sa report! Adunay ka usa ka slide nga nagpakita sa alternatibong mga himan sa pagpangutana clickhouse alang sa pagtukod og mga dashboard ug analytical nga mga taho. Nasabtan nako nga sa higayon nga nagsugod ka sa pagtrabaho ClickHouse, walay mga adapter nga gisulat alang niini nga mga himan. Ug nahibulong ko ngano nga nakahukom ka sa paghimo sa imong kaugalingon nga himan, imbis nga magsulat usa ka adapter alang sa pipila nga andam nga himan? Sa akong hunahuna nga ang pag-tweak sa editor sa pagsulay dali. Nganong nakahukom ka nga mobuhat ug daghan kaayong trabaho?
Adunay usa ka makapaikag nga punto dinhi - ang kamatuoran mao nga ako usa ka teknikal nga direktor, dili usa ka data scientist. Sa panahon nga nagsugod kami sa pagpatuman sa Druid, ang akong roadmap adunay mga 50% sa mga buluhaton - atong kuwentahon kini, o atong kuwentahon kini, o analisahon kini. Ug kini nahimo nga among gipatuman ang ClickHouse. Ug gisugdan niya dayon ang paghimo sa tanan, pag-ihap, ug dali nga gisira ang iyang mapa sa dalan. Ug nianang panahona akong naamgohan nga kulang ko sa kahibalo sa Data Science ug data visualization. Ang Tabix usa ka klase sa akong homework alang sa pagkat-on sa data visualization. Gitan-aw nako kung giunsa ang pagpuno sa Zeppelin. Naa koy gamay nga di ganahan sa iyang programming. Redash Gitan-aw nako kung giunsa kini pagdugang, apan ang usa ka normal nga editor igo na alang kanako. Ug ang SuperSet gisulat usab sa usa ka pinulongan nga dili kaayo nako gusto. Ug mao nga nakahukom ko nga magbisikleta, ug mao kini ang nahitabo.
Igor, gidawat ba nimo ang mga hangyo sa Pull?
Oo.
Salamat kaayo sa report! Ug duha ka pangutana. Una, dili ka magsulti nga maulog-ulog kaayo Javascript. Nagsulat ka ba sa hubo nga Javascript o kini ba usa ka matang sa balangkas?*
Mas maayo sa hubo nga Javascript.
Busa unsa nga gambalay?
Angular.
Klaro na. Ug ang ikaduhang pangutana. Nakahunahuna ka ba R и *sinaw**?*
Gikonsiderar kini. Nagdula.
Mahimo ka usab magsulat usa ka adaptor.
Siya kay. Morag gihimo kini sa komunidad, apan, sa akong pagtubag sa miaging pangutana, gusto nako nga sulayan kini sa akong kaugalingon.
*Dili, bahin sa pagtan-aw, naa usab kini.
Nag-ingon ka nga adunay ingon nga butang ug kini magdrowing kanimo og usa ka graph. Nagbukas ko og libro bahin sa data visualization. Ug naghunahuna ko: “Pasulaya ko sa paghanduraw niini nga datos. Sulatan ko siya aron iyang matukod pag-usab ang datos. Ug nagsugod ko nga mas masabtan ang teknolohiya sa data feed. Ug kung nagkuha ako usa ka andam nga sangkap, ako mismo makakat-on nga labi ka daotan kung giunsa kini gamiton, kana mao, paghanduraw. Pero oo, ganahan ko ni R, pero wala pa nako nabasa ang librong “R for Dummies”.
Спасибо!
Simple nga pangutana. Aduna bay mga paagi aron dali nga maka-upload og usa ka karatula o iskedyul?
Mahimong i-upload sa CSV o Excel.
Dili data, apan usa ka andam nga plato, usa ka andam nga graph? Pananglitan, aron ipakita sa amo.
Adunay buton nga "Upload" ug adunay buton nga "Upload graph sa png, sa jpg".
Спасибо!
P.S. Mini-instruksyon alang sa pag-instalar sa tabix
- Pag-download
- Unpack, kopyaha ang direktoryo
buildsa nginx root_path - I-configure ang nginx
Source: www.habr.com