ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Nissuġġerixxi li taqra t-traskrizzjoni tar-rapport tal-2017 minn Igor Stryhar "ClickHouse - analiżi tad-dejta viżwalment veloċi u ċara f'Tabix."

Interfaċċja tal-web għal ClickHouse fil-proġett Tabix.
Karatteristiċi ewlenin:

  • Jaħdem ma' ClickHouse direttament mill-browser, mingħajr il-ħtieġa li tinstalla softwer addizzjonali;
  • Editur tal-mistoqsijiet b'enfasi tas-sintassi;
  • Awtokompletazzjoni ta' kmandi;
  • Għodod għall-analiżi grafika tal-eżekuzzjoni ta' mistoqsijiet;
  • Skemi tal-kuluri minn fejn jagħżlu.
    ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar


ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Jiena d-direttur tekniku tal-SMI2. Aħna aggregatur tal-aħbarijiet tal-iskambju tal-aħbarijiet. Aħna naħżnu ħafna dejta li nirċievu mingħand l-imsieħba tagħna u nirreġistrawha fi ClickHouse - madwar 30 talba kull sekonda.

Din hija data bħal:

  • Ikklikkja fuq l-aħbarijiet.
  • Wirjiet tal-aħbarijiet fl-aggregatur.
  • Banner displays fuq in-netwerk tagħna.
  • U nirreġistraw avvenimenti mill-counter tagħna stess, li huwa simili għal Yandex.Metrica. Din hija l-mikro-analitika tagħna stess.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Kellna ħajja movimentata ħafna qabel ClickHouse. Aħna sofrejna ħafna, ippruvajna naħżnu din id-dejta x'imkien u b'xi mod nanalizzawha.

Ħajja qabel ClickHouse – infiniDB

L-ewwel ħaġa li kellna kienet infiniDB. Hija għexet magħna għal 4 snin. Nedejnaha b’diffikultà.

  • Ma jappoġġjax clustering jew sharding. L-ebda affarijiet intelliġenti bħal dawn ma ħarġu mill-kaxxa awtomatikament.
  • Hija għandha diffikultà biex tagħbija data. Biss utilità speċifika tal-console li setgħet biss tagħbija fajls CSV u biss b'xi mod mhux ċar ħafna.
  • Id-database hija b'ħajt wieħed. Tista' jew tikteb jew taqra. Iżda għamilha possibbli li jiġi pproċessat ammont kbir ta 'dejta.
  • U kellha wkoll crutch interessanti. Kull lejl is-server kellu jerġa 'jibda, inkella ma kienx jaħdem.

Hija ħadmet għalina sal-aħħar tal-2016, meta qlibna għal kollox għal ClickHouse.

Ħajja qabel ClickHouse – Cassandra

Peress li infiniDB kien b'ħajt wieħed, iddeċidejna li kellna bżonn xi tip ta 'database b'ħafna kamini li fiha nistgħu niktbu ħafna ħjut fl-istess ħin.

Ippruvajna ħafna affarijiet interessanti. Imbagħad iddeċidejna li nippruvaw lil Cassandra. Kollox kien kbir ma' Cassandra. 10 talba kull sekonda għal kull offerta. 000 talba x'imkien għall-qari.

Iżda kellha wkoll l-interessi tagħha. Darba fix-xahar jew darba kull xahrejn hija esperjenzat desinkronizzazzjoni tad-database. U kelli nqum u niġri biex nirranġa lil Cassandra. Is-servers reġgħu bdew wieħed wieħed. U kollox sar bla xkiel u sabiħ.

Ħajja qabel ClickHouse - Druid

Imbagħad indunajna li kellna bżonn niktbu saħansitra aktar data. Fl-2016 bdejna naraw Druid.

Druid huwa softwer open source miktub bil-Java. Speċifiku ħafna. U kien adattat għal clickstream, meta għandna bżonn naħżnu xi tip ta 'fluss ta' avvenimenti u mbagħad inwettqu aggregazzjoni fuqhom jew nagħmlu rapporti analitiċi.

Druid kellu verżjoni 0.9.X.

Id-database nnifisha hija diffiċli ħafna biex tintuża. Din hija l-kumplessità tal-infrastruttura. Biex tużah, kien meħtieġ li tinstalla ħafna, ħafna ħadid. U kull biċċa hardware kienet responsabbli għar-rwol separat tagħha stess.

Biex tagħbija data fiha, kien meħtieġ li tuża xi tip ta 'shamanism. Hemm proġett OpenSource - Tranquility, li kien qed jitlef data minna fi stream. Meta għabbejna d-data fiha, tilfuha.

Imma b’xi mod bdejna nimplimentah. Aħna, bħall-qanfud li ħadu d-droga iżda komplew nieklu Kaktus, bdejna nintroduċuha. Domna madwar xahar biex nippreparaw l-infrastruttura kollha għaliha. Jiġifieri, tordna servers, tikkonfigura r-rwoli, u awtomat bis-sħiħ l-iskjerament. Jiġifieri, fil-każ ta 'falliment tal-cluster, it-tieni cluster awtomatikament jiġi skjerat.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Imma mbagħad seħħ miraklu. Kont fuq vaganza u l-kollegi tiegħi bagħtuli link għal habr, li tgħid li Yandex iddeċieda li jiftaħ ClickHouse. Jien ngħid ejja nippruvaw.

U litteralment f'2 ijiem skjerajna cluster tat-test ClickHouse. Bdejna ngħabbu d-dejta fiha. Meta mqabbel ma 'infiniDB, dan huwa elementari; meta mqabbel ma' Druid, dan huwa elementari. Meta mqabbel ma 'Cassandra, huwa wkoll elementari. Minħabba li jekk tagħbija data mill-PHP f'Cassandra, allura dan mhux elementari.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

X’ksibna? Prestazzjoni fil-veloċità. Prestazzjoni fil-ħażna tad-dejta. Jiġifieri, jintuża ħafna inqas spazju fuq id-diska. ClickHouse huwa mgħaġġel, huwa mgħaġġel ħafna meta mqabbel ma 'prodotti oħra.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Fiż-żmien tat-tnedija, meta Yandex ippubblika ClickHouse f'OpenSource, kien hemm biss klijent tal-console. Aħna fil-kumpanija tagħna SMI2 iddeċidejna li nippruvaw nagħmlu klijent nattiv għall-web, sabiex inkunu nistgħu niftħu paġna minn browser, niktbu talba u niksbu r-riżultat, għax bdejna niktbu ħafna talbiet. Il-kitba fil-console hija diffiċli. U għamilna l-ewwel verżjoni tagħna.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

U x'imkien eqreb għax-xitwa tas-sena li għaddiet, bdew jidhru għodod ta 'partijiet terzi biex jaħdmu ma' ClickHouse. Dawn huma għodod bħal:

Se nħares lejn xi wħud minn dawn l-għodod, jiġifieri dawk li ħdimt magħhom.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Għodda tajba, iżda għal Druid. Meta Druid kien qed jiġi implimentat, kont qed nittestja SuperSet. Għoġobni lilu. Għal Druid huwa mgħaġġel ħafna.

Mhuwiex adattat għal ClickHouse. Jiġifieri, jaqbel, jibda, iżda huwa lest biex jipproċessa biss mistoqsijiet elementari bħal: avveniment SELECT, avveniment GROUP BY. Ma jappoġġjax is-sintassi ClickHouse aktar kumplessa.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

L-għodda li jmiss hija Apache Zeppelin. Din hija ħaġa tajba u interessanti. Xogħlijiet. Jappoġġja notebooks, dashboards, u jappoġġja varjabbli. Naf li xi ħadd fil-komunità ClickHouse jużaha.

Iżda m'hemm l-ebda appoġġ għas-sintassi tal-ClickHouse, jiġifieri jkollok tikteb mistoqsijiet jew fil-console jew x'imkien ieħor. Sussegwentement, iċċekkja li kollox jaħdem. Huwa biss inkonvenjenti. Iżda għandu appoġġ tajjeb għad-dashboard.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

L-għodda li jmiss hija Redash.IO. Redash huwa ospitat fuq l-Internet. Jiġifieri, b'differenza mill-għodod preċedenti, m'għandux għalfejn jiġi installat. U dan huwa dashboard bil-kapaċità li jikkonsolida data minn DataSources differenti. Jiġifieri, tista' tniżżel minn ClickHouse, minn MySQL, minn PostgreSQL u minn databases oħra.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Xahar ilu biss (Marzu 2017), deher appoġġ fi Grafana. Meta tibni rapporti fi Grafana, pereżempju, fuq l-istat tal-ħardwer tiegħek jew fuq xi metriċi, issa tista 'tibni l-istess graff jew xi tip ta' panel minn dejta minn ClickHouse direttament. Dan huwa konvenjenti ħafna, u nużawh aħna stess. Dan jippermettilek issib anomaliji. Jiġifieri, jekk jiġri xi ħaġa u xi ħardwer jaqa 'jew isir tensjoni, allura tista' tħares lejn ir-raġuni jekk din id-dejta rnexxielha tidħol f'ClickHouse.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Sibtha skomda ħafna li tikteb f'dawn l-għodda jew fil-console. U ddeċidejt li ntejjeb l-ewwel interface tagħna. U sibt l-idea minn EventSQL, SeperSet, Zeppelin.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

X'ridt? Ridt nikseb grafika, editur imtejjeb, u nimplimenta appoġġ għal dizzjunarji ħjiel. Minħabba ClickHouse għandha karatteristika kbira - dizzjunarji. Iżda huwa diffiċli li taħdem ma 'dizzjunarji, għaliex għandek bżonn tiftakar il-format tal-valuri maħżuna, jiġifieri huwa numru jew string, eċċ U peress li spiss nużaw dizzjunarji fil-varjazzjonijiet differenti tagħhom, kien pjuttost diffiċli li tikteb mistoqsijiet.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Għaddew 3 xhur mir-rilaxx tal-ewwel verżjoni tagħna. Għamilt madwar 330 commit ma' fergħa privata u rriżulta li kien Tabix.

B'differenza mill-verżjoni preċedenti, li kienet tissejjaħ ClickHouse-Frontend, iddeċidejt li nagħmel isem mill-ġdid għal isem sempliċi. U rriżulta Tabix.

X'deher?

Jiġbed graffs. Jappoġġja s-sintassi ClickHouse SQL. Jagħti pariri dwar il-funzjonijiet u jista 'jagħmel ħafna affarijiet interessanti.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Hekk tidher l-iskema ġenerali Tabix. Fuq ix-xellug hemm siġra. Fiċ-ċentru hemm l-editur tal-mistoqsijiet. U hawn taħt hemm ir-riżultat ta’ din it-talba.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Sussegwentement ser nuruk kif jaħdem l-editur tal-mistoqsijiet.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Hawnhekk l-awtokompletazzjoni taħdem awtomatikament fuq il-mejda u tħeġġeġ, għaldaqstant, l-awtokompletazzjoni għall-oqsma. U ħjiel dwar il-funzjonijiet. Jekk tagħfas ctrl enter, it-talba tiġi esegwita jew tonqos bi żball. L-aktar talba sempliċi tintbagħat lil Tabix u r-riżultat jinkiseb, jiġifieri tista 'malajr taħdem ma' ClickHouse.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Id-dizzjunarji, kif diġà għedt, huma xi ħaġa interessanti ħafna li magħhom naħdmu ħafna. U li ppermettietna nagħmlu ħafna affarijiet. Ejja ngħidu li naħżnu l-ibliet kollha fid-dizzjunarji. Aħna naħżnu l-identifikatur tal-belt u l-isem tal-belt, il-latitudni u l-lonġitudni tagħha. U fid-database aħna naħżnu biss l-identifikatur tal-belt. Għaldaqstant, aħna nikkompressaw id-dejta b'mod qawwi ħafna.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Din tidher li hija ħaġa sempliċi, iżda tgħin f'ClickHouse b'mod interessanti ħafna. Minħabba l-fatt li ClickHouse tappoġġja biss joins nested, il-mistoqsija tikber 'l isfel u wiesgħa biżżejjed. U meta tinfetaħ il-parentesi u tidħol xi espressjoni twila, allura xi ħaġa sempliċi daqs il-kollass tal-mistoqsija tagħmilha aktar faċli biex taħdem mal-mistoqsija nnifisha. Minħabba li meta l-mistoqsija tkun twila 200-300 linja u wiesgħa ħafna, huwa utli ħafna li tikkollassa l-mistoqsija u mbagħad issib xi post jew b'xi mod tiġi lokalizzata.

Siġra tal-oġġetti, multiqueries u tabs (Vidjo 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Sussegwentement ser nuruk dwar is-siġra u t-tabs. Fuq ix-xellug hemm siġra; fuq nett tista 'toħloq diversi tabs. Tabs huma bħall-ispazju tax-xogħol. Tista 'toħloq diversi tabs u semmi kull waħda b'mod differenti. Huwa bħal mini-sistema għall-bini ta 'rapport.

It-tabs jiġu ffrankati awtomatikament. Jekk terġa tibda l-browser tiegħek jew tagħlaq jew tiftaħ Tabix, dan kollu jiġi ssejvjat.

Hotkey - konvenjenti (Vidjo 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

Hemm hotkeys u hemm pjuttost ħafna minnhom. Jiena estratt xi wħud minnhom hawn bħala eżempju. Dan qed taqleb tabs, tesegwixxi talba jew tesegwixxi diversi talbiet.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Ser nuruk kif taħdem bir-riżultat. Nibagħtu talba. Hawn qed niġbed sin, cos u tg. Tista' tenfasizza r-riżultat, jiġifieri tfassal mappa tipika għal kolonna. Tista 'tenfasizza valuri pożittivi jew negattivi. Jew sempliċement ikkulurit element speċifiku tal-mejda. Dan huwa konvenjenti meta t-tabella tkun enormi u għandek bżonn issib xi anomalija b'għajnejk. Meta kont qed infittex anomaliji, enfasizzajt xi linji, xi elementi bl-aħdar jew bl-aħmar.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Hemm ħafna affarijiet interessanti hemmhekk. Pereżempju, kif tikkopja f'Redmine Markdown. Jekk għandek bżonn tikkopja r-riżultat x'imkien, dan huwa konvenjenti ħafna. Tista 'sempliċement tagħżel żona, għid "Ikkopja għal Redmine" u tikkopja f'Redmine Markdown jew toħloq mistoqsija Fejn.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Li jmiss hija l-ottimizzazzjoni tal-mistoqsijiet. Darba insejt nispeċifika l-qasam "data". U t-talba tiegħi f'ClickHouse ma ġietx ipproċessata ħafna, malajr ħafna, iżda malajr, jiġifieri inqas minn sekonda. Meta rajt minn kemm dam linji, bżajt. Aħna ma niktbux daqstant ringieli f'din it-tabella f'ġurnata. Bdejt nanalizza t-talba u rajt li tlift data f’post wieħed. Jiġifieri, insejt nindika li m'għandix bżonn dejta għat-tabella kollha, iżda għal perjodu speċifiku.

Tabix għandu tab "Stats", li taħżen l-istorja kollha tat-talbiet mibgħuta, jiġifieri hemm tista 'tara kemm inqraw linji b'din it-talba u kemm damet biex twettaq. Dan jippermetti l-ottimizzazzjoni.

Tista 'tibni tabella pivot fuq ir-riżultat tal-mistoqsija. Bgħatt talba lil ClickHouse u rċevejt xi dejta. U mbagħad tista 'timxi din id-dejta bil-maws u tibni xi tip ta' tabella tal-pern.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Il-ħaġa interessanti li jmiss hija l-plottjar. Ejja ngħidu li għandna t-talba li ġejja: għad-dnub, cos minn 0 sa 299. U biex tiġbedha, trid tagħżel it-tab "Iġbed" u tirċievi graff bid-dnub u l-cos tiegħek.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Tista 'taqsam dan f'assi differenti, jiġifieri tista' tiġbed żewġ graffs ħdejn xulxin f'daqqa. Ikteb kmand wieħed u kmand ieħor.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Tista 'tiġbed istogrammi.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Tista' tkisser dan f'matriċi ta' graffs.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Tista 'tibni mappa tas-sħana.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Tista 'tibni kalendarju termali. Mill-mod, din hija ħaġa konvenjenti ħafna meta għandek bżonn tanalizza anomaliji fuq sena, jiġifieri, issib jew spikes jew qtar. Din il-viżwalizzazzjoni tad-dejta għenitni f'dan.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Li jmiss huwa Treemap.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Sankeys hija chart interessanti. Hu jew Streamgrahps jew Xmara. Imma jien insejħilha Xmara. Jippermettilek ukoll li tfittex xi anomaliji. Huwa komdu ħafna. Nirrakkomanda li tużaha għat-tiftix.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Il-ħaġa interessanti li jmiss hija tfassal mappa dinamika. Jekk taħżen il-latitudni, il-lonġitudni fid-database tiegħek u, ngħidu aħna, taħżen destinazzjoni, jekk, pereżempju, għandek trakkijiet jew ajruplani li jtiru, allura tista 'tiġbed il-mogħdijiet tad-destinazzjoni. Ukoll hemm tista 'tissettja l-veloċità u d-daqs ta' dawn l-oġġetti li fihom itiru.

Iżda l-problema b'din il-mappa hija li tiġbed biss mappa tad-dinja, m'hemm l-ebda dettall.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Aktar tard żidt Google map. Jekk taħżen il-latitudni, il-lonġitudni, allura tista 'tiġbed ir-riżultat fuq il-mappa ta' Google, iżda mingħajr appoġġ tal-ajruplan.

Iddiskutejna l-funzjonijiet ewlenin tal-ħidma bir-riżultati u l-mistoqsijiet f'Tabix.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Li jmiss hija analiżi tas-server ClickHouse tiegħek. Hemm tab separata "Metriċi", fejn tista 'tara d-daqs tad-dejta maħżuna għal kull kolonna. Il-screenshot turi li dan il-qasam "referrer" jieħu madwar 730 Gb. Jekk nabbandunaw dan il-qasam, se niffrankaw tliet shards ta’ 700 GB kull wieħed, jiġifieri madwar 2 TB li m’għandniex bżonn.

Għandna wkoll qasam "request_id" li aħna naħżnu fi string. Imma jekk nibdew naħżnuh f'forma numerika, dan il-qasam se jiċkien ħafna.

Juri wkoll il-konfigurazzjoni tas-server u lista ta 'nodi fil-cluster tiegħek.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

It-tab li jmiss hija l-metriċi. Huma jidħlu f'ħin reali ma' ClickHouse u sempliċiment jippermettulek tanalizza l-istat tas-server u tifhem x'qed jiġrilu. Dan mhux sostitut għal Grafana sħiħ. Dan huwa meħtieġ għal analiżi rapida.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

It-tab li jmiss hija l-proċessi. Minnhom tista' tifhem x'qed jiġri fuq is-server. Ifhem x’qed jiġri hemmhekk. Kelli talba li kkunsmat 200 GB ta 'qari kull darba. Rajt dan grazzi għal din l-interface. Qbadt u kkoreġujtu. U rriżulta li kien madwar 30 GB, jiġifieri prestazzjoni xi drabi.

ClickHouse - analiżi tad-dejta viżwalment veloċi u intuwittivi f'Tabix. Igor Stryhar

Grazzi! U huwa fl-OpenSource

Lestejt. U mill-mod, huwa OpenSource, huwa b'xejn u lanqas m'għandek bżonn tniżżlu. Iftaħ fil-browser u kollox jaħdem.

mistoqsijiet

Igor, x'inhu jmiss? Fejn se tiżviluppa din l-għodda?

Sussegwentement, dashboards se jidhru, jiġifieri, forsi dashboards se jidhru. Integrazzjoni ma' databases oħra. Għamilt dan, iżda għadni ma ppubblikajtx f'OpenSource. Dan huwa MySQL u possibbilment PostgreSQL. Jiġifieri, se jkun possibbli li jintbagħtu talbiet minn Tabix mhux biss lil ClickHouse, iżda wkoll lil għodod oħra.

Huwa ċar li sar ammont kbir ta’ xogħol. Irriżulta li kienet idea pjuttost kompluta. Dan sar fil-browser, apparentement, sabiex jiġu eliminati l-krozzi fuq kull xorta ta 'assi u malajr tarmi l-ħaġa sħiħa flimkien. Smajt li inti fuq PHP taħdem, għalhekk l-eħfef mod huwa li tittajpjaha fil-browser u taħdem kullimkien. M'hemm l-ebda mistoqsijiet dwar dan. Il-mistoqsija hija din. Verament sar ħafna hemmhekk. Kemm nies ħadmu fuq dan? U kemm dam kollox? Minħabba li l-għodod tad-dwana ġeneralment ma jkollhomx daqshekk funzjonalità.

Persuna waħda mit-tim tagħna ħadmet mis-sajf sal-ħarifa. Din kienet l-ewwel verżjoni. Imbagħad għamilt 330 commit biss. Dak li qed tara jien u l-kollega tiegħi għamilna min-nofs. Fi 3 xhur, mill-ewwel verżjoni sal-aħħar, l-aktar għamilt waħdi. Imma ma nafx Javascript tajjeb ħafna. Dan kien l-uniku u, nispera, l-aħħar proġett tiegħi Javascript li ħdimt miegħu. Sibtha, ħarist - oh, orrur. Imma ridt ħafna nispiċċa l-prodott u dan huwa dak li ġara.

Grazzi ħafna għar-rapport! Din hija għodda kbira. MA tabella Qabbilt?

Grazzi. Għalhekk semmejtha Tabix, għax l-ewwel ittri huma l-istess.

Għax tikkompeti?

Se jkun hemm ħafna investiment, aħna se nikkompetu.

Kif tista 'toffri li tbigħ lil analisti interni li din l-għodda se tissostitwixxi kompletament *Tabella*? X'se jkunu l-argumenti?

Jaħdem b'mod nattiv ma' ClickHouse. Ippruvajt Tableau, imma ma tistax tikteb appoġġ għal dizzjunarji u affarijiet simili hemmhekk. Naf kif in-nies jaħdmu ma' Tabix. Huma jiktbu mistoqsija, itellgħuha fuq CSV u jtellgħuha fuq BI. U diġà qed jagħmlu xi ħaġa hemmhekk. Imma diffikultà nimmaġina kif jagħmlu dan, għax hija għodda grafika. Jista 'jħott 5 ringiela, massimu ta' 000 ringiela, iżda mhux aktar, inkella l-browser mhux se jlaħħaq.

Jiġifieri, hemm xi limitazzjonijiet serji fuq l-ammont ta 'dejta, hux?

Iva. Ma nistax nimmaġina li tkun trid ittella’ 10 ringiela fit-tabella tiegħek fuq l-iskrin tal-browser tiegħek. Għalxiex?

Dan ifisser li din hija interface biex tara d-dejta malajr? Dawwarha ftit, dawwarha?

Iva, ara malajr kif taħdem u sempliċement ibni graff fil-qosor. U mbagħad agħtiha x'imkien. Għandna s-sistema ta' rappurtar tagħna stess, minn fejn sempliċement nieħu din it-talba. Nippinġi f'Tabix u nibgħatha lir-rappurtaġġ tagħna.

U mistoqsija oħra. Analiżi tal-koorti?

Jekk ikun hemm xi talbiet, aħna se nżiduha.

Meta bdejt tużah? ClickHouse, kemm ħadet l-implimentazzjoni? IkklikkjaHouse u jġibu għal stat tal-produzzjoni?

Kif għidt, implimentajna cluster tat-test fi żmien qasir ħafna. Aħna skjerajna f'jumejn. U ttestjajna għal ftit ġimgħat oħra. U lħaqna l-produzzjoni fix-xhur 3. Imma kellna l-ETL tagħna stess, jiġifieri għodda għar-reġistrazzjoni tad-dejta. U kiteb f’dak kollu li seta’. Jista 'jikteb f'MongoDB, Cassandra, MySQL. Kien faċli li tgħallmu kif jikteb fi ClickHouse. Kellna infrastruttura lesta għal implimentazzjoni rapida. Fi żmien 3 xhur bdejna narmi l-ewwel komponent. F'6 xhur abbandunajna għal kollox kull ħaġa oħra. Fadal ClickHouse waħda biss.

Igor, grazzi ħafna għar-rapport. Għoġobni ħafna l-funzjonalità tal-bini ta 'mogħdijiet bl-użu ta' mapep. Hemm xi pjanijiet għall-integrazzjoni ma' Yandex.Maps u b'mod partikolari ma' Yandex.Maps personalizzati?

Ippruvajt nintegra minflok Google map, iżda ma sibtx tema skura fuq Yandex.Maps. Jien ma għedtlek biċċa waħda. I'll rewind biex inżid.

Slide – Google map. Hemm kmand "DRAW_GMAPS", li jiġbed mappa. Hemm kmand "DRAW_YMAPS", jiġifieri jista 'jiġbed Yandex.Map. Iżda fil-fatt, taħt dan il-kmand hemm Javascript, jiġifieri d-dejta li tirċievi minn ClickHouse tista 'tiġi trasferita għal Javascript, li tikteb hawn. U għandek żona ta 'output fejn għandha tinġibed. Tista 'tiġbed kwalunkwe graff, jiġifieri kwalunkwe graff, mappa, tista' tiġbed il-komponent tiegħek stess. Qabel dan, kelli librerija oħra għat-tfassil tal-grafiċi nfushom.

Jiġifieri, hemm għodda biex tippersonalizza l-funzjonalità tal-wiri?

Kwalunkwe. Tista 'tieħu u kulur mill-ġdid dawn it-tikek, u tagħmilhom mhux ħomor, iżda blu, ħodor.

Grazzi tar-rapport! Kellek slide li ppreżentat għodod alternattivi ta' mistoqsija IkklikkjaHouse għall-bini ta' dashboards u rapporti analitiċi. Nifhem li fil-mument meta bdejt taħdem magħhom ClickHouse, ma nkitbu l-ebda adapter għal dawn l-għodda. U qed nistaqsi għaliex iddeċidejt li tagħmel l-għodda tiegħek, minflok tikteb adapter għal xi għodda lesta? Naħseb li tweaking l-editur tat-test huwa malajr. Għaliex iddeċidejt li tagħmel tant xogħol?

Hemm punt interessanti hawnhekk - il-fatt hu li jien direttur tekniku, mhux xjenzat tad-data. Sakemm bdejna nimplimentaw Druid, il-pjan direzzjonali tiegħi kellu madwar 50% tal-kompiti - ejja nikkalkulaw dan, jew ejja nikkalkulaw dan, jew janalizzaw dan. U rriżulta li implimentajna ClickHouse. U malajr beda jibni kollox, jgħodd, u malajr għalaq il-pjan direzzjonali tiegħu. U sa dak iż-żmien indunajt li ma kellix għarfien fix-Xjenza tad-Data u l-viżwalizzazzjoni tad-dejta. Tabix huwa tip ta 'homework tiegħi għat-tagħlim tal-viżwalizzazzjoni tad-dejta. Kont qed inħares lejn kif nikkumplimenta lil Zeppelin. Għandi dislike żgħir għall-ipprogrammar tiegħu. Redash Ħarist lejn kif inżidha, iżda editur normali kien biżżejjed għalija. U SuperSet huwa wkoll miktub b'lingwa li ma tantx jogħġobni. U għalhekk iddeċidejt li niċċirkola, u dan huwa dak li ġara.

Igor, taċċetta talbiet Pull?

Iva.

Grazzi ħafna għar-rapport! U żewġ mistoqsijiet. L-ewwel, ma titkellimx b'mod flattering ħafna dwarha Javascript. Ktibt b'Javascript vojt jew xi tip ta' qafas?*

Aħjar fil-Javascript vojt.

Allura liema qafas?

Angolari.

Huwa ċar. U t-tieni mistoqsija. Qatt ikkunsidrajt R и *Tleqq**?*

Ikkunsidraha. Lagħbu.

Tista 'wkoll tikteb adapter.

Hu. Jidher li l-komunità għamlitha, iżda, kif weġibt il-mistoqsija preċedenti, ridt nipprova jien.

*Le, fir-rigward tal-viżwalizzazzjoni, hemm ukoll.

Tgħid li hemm ħaġa bħal din u tpinġik graff. Ftaħt ktieb dwar il-viżwalizzazzjoni tad-dejta. U ħsibt: “Ħalli nipprova nivviżwalizza din id-dejta. Nikteblu biex ikun jista’ jerġa’ jibni d-dejta.” U bdejt nifhem aħjar it-teknoloġija tal-provvista tad-dejta. U kieku ħadt komponent lest, jien personalment kont tgħallimt agħar kif tużah, jiġifieri l-viżwalizzazzjoni. Imma iva, għoġobni R, imma għadni ma qrajtx il-ktieb "R for Dummies".

Grazzi!

Mistoqsija sempliċi. Hemm xi modi kif ittella' malajr sinjal jew skeda?

Jista 'jittella' fuq CSV jew Excel.

Mhux data, iżda pjanċa lesta, graff lest? Per eżempju, biex juru l-boxxla.

Hemm buttuna "Upload" u hemm buttuna "Upload graph in png, in jpg".

Grazzi!

PS Mini-struzzjonijiet għall-installazzjoni ta 'tabix

  • Download l-aħħar rilaxx
  • Spakkja, kopja tad-direttorju build f'nginx root_path
  • Ikkonfigura nginx

Sors: www.habr.com

Żid kumment