ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Aku saranake sampeyan maca transkrip laporan 2017 dening Igor Stryhar "ClickHouse - analisis data kanthi cepet lan jelas ing Tabix."

Antarmuka web kanggo ClickHouse ing proyek Tabix.
Fitur utama:

  • Dianggo karo ClickHouse langsung saka browser, tanpa perlu nginstal piranti lunak tambahan;
  • Editor pitakon kanthi nyorot sintaks;
  • Autocompletion saka printah;
  • Piranti kanggo analisis grafis eksekusi pitakon;
  • Skema warna kanggo dipilih.
    ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar


ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Aku direktur teknis SMI2. We are aggregator warta exchange warta. Kita nyimpen akeh data sing ditampa saka mitra lan ndhaptar ing ClickHouse - udakara 30 panjaluk saben detik.

Iki minangka data kayata:

  • Klik ing warta.
  • News nampilake ing aggregator.
  • Tampilan spanduk ing jaringan kita.
  • Lan kita ndhaptar acara saka counter kita dhewe, sing padha karo Yandex.Metrica. Iki minangka analisis mikro kita dhewe.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Kita duwe urip sing rame banget sadurunge ClickHouse. Kita nandhang sangsara banget, nyoba nyimpen data iki ing endi wae lan analisa.

Urip sadurunge ClickHouse - infiniDB

Babagan pisanan sing ana yaiku infiniDB. Dheweke urip karo kita 4 taun. Kita miwiti kanthi angel.

  • Ora ndhukung clustering utawa sharding. Ora ana barang pinter sing metu saka kothak kanthi standar.
  • Dheweke angel ngisi data. Mung sarana console tartamtu sing mung bisa mbukak file CSV lan mung kanthi cara sing ora jelas.
  • Database punika single-threaded. Sampeyan bisa nulis utawa maca. Nanging bisa ngolah data sing akeh.
  • Lan dheweke uga duwe kruk sing menarik. Saben wengi server kudu urip maneh, yen ora bakal bisa.

Dheweke makarya kanggo kita nganti pungkasan 2016, nalika kita rampung ngalih menyang ClickHouse.

Urip sadurunge ClickHouse - Cassandra

Wiwit infiniDB ana siji-Utas, kita mutusaké sing kita perlu sawetara jenis database multi-Utas kang kita bisa nulis akeh Utas ing wektu sing padha.

Kita nyoba akeh perkara sing menarik. Banjur kita mutusake kanggo nyoba Cassandra. Kabeh apik karo Cassandra. 10 panjalukan saben detik saben bid. 000 panjalukan nang endi wae kanggo maca.

Nanging dheweke uga duwe kapentingan dhewe. Sapisan sasi utawa saben rong sasi sepisan dheweke ngalami desynchronization database. Lan aku kudu tangi lan mlayu kanggo ndandani Cassandra. Server kasebut diwiwiti maneh siji-siji. Lan kabeh dadi lancar lan ayu.

Urip sadurunge ClickHouse - Druid

Banjur kita nyadari yen kita kudu nulis data luwih akeh. Ing 2016 kita miwiti nonton Druid.

Druid minangka piranti lunak open source sing ditulis ing Jawa. spesifik banget. Lan cocog kanggo clickstream, nalika kita kudu nyimpen sawetara jinis acara lan banjur nglumpukake utawa nggawe laporan analitis.

Druid duwe versi 0.9.X.

Database dhewe angel banget kanggo disebarake. Iki minangka kerumitan infrastruktur. Kanggo nyebarake, perlu kanggo nginstal akeh, wesi akeh. Lan saben Piece saka hardware tanggung jawab kanggo peran kapisah dhewe.

Kanggo mbukak data menyang, iku perlu kanggo nggunakake sawetara jinis shamanism. Ana proyek OpenSource - Tranquility, sing kelangan data saka kita ing aliran. Nalika kita dimuat data menyang, iku ilang.

Nanging piye wae kita miwiti ngleksanakake. Kita, kaya landak sing njupuk obat-obatan nanging terus mangan kaktus, wiwit ngenalake. Kita butuh udakara sewulan kanggo nyiapake kabeh prasarana kasebut. Yaiku, pesen server, konfigurasi peran, lan kanthi otomatis nyebarake. Tegese, yen ana kegagalan kluster, kluster kapindho bakal disebar kanthi otomatis.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Nanging banjur ana mukjijat. Aku ana ing vacation lan kolega dikirim kula link kanggo habr, sing nyatakake yen Yandex mutusake kanggo mbukak ClickHouse. Aku ngomong ayo nyoba.

Lan secara harfiah ing 2 dina kita nyebarake kluster tes ClickHouse. Kita miwiti mbukak data menyang. Dibandhingake karo infiniDB, iki SD; dibandhingake karo Druid, iki SD. Dibandhingake karo Cassandra, iku uga SD. Amarga yen sampeyan mbukak data saka PHP menyang Cassandra, mula iki dudu dhasar.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Apa sing kita entuk? Kinerja ing kacepetan. Kinerja ing panyimpenan data. Tegese, ruang disk luwih sithik digunakake. ClickHouse cepet, cepet banget dibandhingake karo produk liyane.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Nalika diluncurake, nalika Yandex nerbitake ClickHouse ing OpenSource, mung ana klien konsol. Kita ing perusahaan SMI2 mutusake kanggo nyoba nggawe klien asli kanggo web, supaya bisa mbukak kaca saka browser, nulis panjaluk lan entuk asil, amarga kita wiwit nulis akeh panjaluk. Nulis ing console angel. Lan kita nggawe versi pisanan kita.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Lan ing endi wae sing luwih cedhak karo musim dingin taun kepungkur, alat pihak katelu kanggo nggarap ClickHouse wiwit katon. Iki minangka alat kayata:

Aku bakal ndeleng sawetara alat kasebut, yaiku, sing wis dakgarap.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Alat sing apik, nanging kanggo Druid. Nalika Druid dileksanakake, aku nyoba SuperSet. Aku disenengi wong. Kanggo Druid iku cepet banget.

Iku ora cocok kanggo ClickHouse. Tegese, cocog, diwiwiti, nanging mung siyap ngolah pitakon dhasar kaya: acara PILIH, GROUP BY acara. Ora ndhukung sintaks ClickHouse sing luwih rumit.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Alat sabanjure yaiku Apache Zeppelin. Iki minangka bab sing apik lan menarik. Nyambut gawe. Ndhukung notebook, dashboard, lan ndhukung variabel. Aku ngerti wong ing komunitas ClickHouse nggunakake.

Nanging ora ana dhukungan kanggo sintaks ClickHouse, yaiku sampeyan kudu nulis pitakon ing konsol utawa ing papan liya. Sabanjure, priksa manawa kabeh bisa digunakake. Iku mung ora trep. Nanging nduweni dhukungan dashboard sing apik.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Alat sabanjure yaiku Redash.IO. Redash di-host ing Internet. Tegese, ora kaya alat sadurunge, ora perlu diinstal. Lan iki minangka dashboard kanthi kemampuan kanggo nggabungake data saka macem-macem DataSources. Yaiku, sampeyan bisa ngundhuh saka ClickHouse, saka MySQL, saka PostgreSQL lan saka database liyane.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Mung wulan kepungkur (Maret 2017), dhukungan muncul ing Grafana. Nalika sampeyan mbangun laporan ing Grafana, contone, ing negara hardware utawa ing sawetara metrik, saiki sampeyan bisa mbangun grafik padha utawa sawetara jinis panel saka data saka ClickHouse langsung. Iki trep banget, lan kita nggunakake dhewe. Iki ngidini sampeyan nemokake anomali. Yaiku, yen ana kedadeyan lan sawetara hardware tiba utawa dadi tegang, mula sampeyan bisa ndeleng sebabe yen data iki bisa mlebu ing ClickHouse.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Aku nemokake banget kikuk kanggo nulis ing alat kasebut utawa ing konsol. Lan aku mutusaké kanggo nambah antarmuka pisanan kita. Lan aku entuk ide saka EventSQL, SeperSet, Zeppelin.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Apa sing dikarepake? Aku pengin njaluk grafis, editor apik, lan ngleksanakake dhukungan kanggo kamus pitunjuk. Amarga ClickHouse nduweni fitur sing apik - kamus. Nanging angel nggarap kamus, amarga sampeyan kudu ngelingi format nilai sing disimpen, yaiku nomer utawa senar, lsp. Lan amarga kita kerep nggunakake kamus ing variasi sing beda, cukup angel kanggo nulis pitakon.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

3 sasi wis liwati wiwit release saka versi pisanan kita. Aku nggawe babagan 330 komitmen menyang cabang pribadi lan dadi Tabix.

Ora kaya versi sadurunge, sing diarani ClickHouse-Frontend, aku mutusake kanggo ngganti jeneng kasebut dadi jeneng sing gampang. Lan ternyata Tabix.

Apa sing muncul?

Nggambar grafik. Ndhukung sintaks ClickHouse SQL. Menehi saran babagan fungsi lan bisa nindakake akeh perkara sing menarik.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Iki minangka skema Tabix umum. Ing sisih kiwa ana wit. Ing tengah ana editor pitakon. Lan ing ngisor iki minangka asil panyuwunan iki.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Sabanjure aku bakal nuduhake sampeyan carane editor query dianggo.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Ing kene autocomplete kanthi otomatis bisa digunakake ing meja lan njaluk, kanthi otomatis, kanggo lapangan. Lan diwenehi ing fungsi. Yen sampeyan menet ctrl enter, panyuwunan bakal dileksanakake utawa gagal kanthi kesalahan. Panjaluk sing paling gampang dikirim menyang Tabix lan asil dipikolehi, yaiku sampeyan bisa kanthi cepet nggarap ClickHouse.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Kamus, kaya sing wis dakkandhakake, minangka perkara sing menarik banget sing bisa digunakake. Lan sing ngidini kita nindakake akeh perkara. Ayo kita nyimpen kabeh kutha ing kamus. Kita nyimpen pengenal kutha lan jeneng kutha, garis lintang lan bujur. Lan ing database kita nyimpen mung pengenal kutha. Mulane, kita compress data banget kuwat.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Iki misale jek dadi prasaja, nanging mbantu ing ClickHouse kanthi cara sing menarik banget. Amarga kasunyatan manawa ClickHouse mung ndhukung gabungan nested, pitakon kasebut tuwuh mudhun lan cukup amba. Lan nalika braket mbukak lan sawetara ekspresi dawa mlebu, mula ana sing gampang kaya ngrusak pitakon nggawe luwih gampang nggarap pitakon kasebut. Amarga nalika query dawane 200-300 baris lan amba banget, iku banget mbiyantu kanggo ambruk query banjur golek sawetara panggonan utawa piye wae localize.

Wit obyek, multiquery lan tab (Video 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Sabanjure aku bakal nuduhake sampeyan babagan wit lan tab. Ing sisih kiwa ana wit; ing sisih ndhuwur sampeyan bisa nggawe sawetara tab. Tab kaya ruang kerja. Sampeyan bisa nggawe sawetara tab lan menehi jeneng kanthi beda. Iku kaya sistem mini kanggo mbangun laporan.

Tab disimpen kanthi otomatis. Yen sampeyan miwiti maneh browser utawa nutup utawa mbukak Tabix, kabeh iki bakal disimpen.

Hotkey - trep (Video 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

Ana hotkeys lan ana cukup akeh. Aku wis dijupuk sawetara wong kene minangka conto. Iki ngoper tab, nglakokaké panjalukan utawa nglakokaké sawetara panjalukan.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Aku bakal nuduhake sampeyan carane nggarap asil. We ngirim panjalukan. Ing kene aku nggambar dosa, cos lan tg. Sampeyan bisa nyorot asil, yaiku nggambar peta khas kanggo kolom. Sampeyan bisa nyorot nilai positif utawa negatif. Utawa mung werna unsur tabel tartamtu. Iki trep nalika meja gedhe lan sampeyan kudu nemokake anomali kanthi mripatmu. Nalika aku nggoleki anomali, aku nyorot sawetara garis, sawetara unsur kanthi warna ijo utawa abang.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Ana akeh perkara sing menarik ing kana. Contone, carane nyalin menyang Redmine Markdown. Yen sampeyan kudu nyalin asil nang endi wae, iki trep banget. Sampeyan mung bisa milih area, ucapake "Salin menyang Redmine" lan bakal nyalin menyang Redmine Markdown utawa nggawe pitakon Where.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Sabanjure yaiku optimasi pitakon. Aku tau kelalen nemtokake lapangan "tanggal". Lan panjalukku ing ClickHouse ora diproses kanthi cepet, nanging cepet, yaiku kurang saka detik. Nalika aku weruh carane akeh baris kang mlayu liwat, aku dadi wedi. Kita ora nulis supaya akeh larik kanggo tabel iki ing dina. Aku miwiti nganalisa request lan weruh sing aku wis ora kejawab tanggal ing sak panggonan. Yaiku, aku kelalen nuduhake yen aku ora butuh data kanggo kabeh tabel, nanging kanggo wektu tartamtu.

Tabix duwe tab "Statistik", sing nyimpen kabeh riwayat panjalukan sing dikirim, yaiku ing kono sampeyan bisa ndeleng pirang-pirang baris sing diwaca dening panyuwunan iki lan suwene wektu kanggo nglakokake. Iki ngidini optimasi.

Sampeyan bisa nggawe tabel pivot liwat asil pitakon. Sampeyan ngirim panjalukan menyang ClickHouse lan nampa sawetara data. Banjur sampeyan bisa mindhah data iki nganggo mouse lan mbangun sawetara tabel pivot.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Bab sing menarik sabanjure yaiku ngrancang. Ayo dadi ngomong kita duwe panjalukan ing ngisor iki: kanggo dosa, cos saka 0 kanggo 299. Lan kanggo nggambar, sampeyan kudu milih tab "Draw" lan sampeyan bakal entuk grafik karo dosa lan cos.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Sampeyan bisa misahake iki dadi sumbu sing beda-beda, yaiku sampeyan bisa nggambar rong grafik bebarengan. Tulis printah siji lan printah liyane.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Sampeyan bisa nggambar histogram.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Sampeyan bisa ngilangi iki dadi matriks grafik.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Sampeyan bisa nggawe peta panas.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Sampeyan bisa nggawe tanggalan termal. Miturut cara, iki pancen trep banget nalika sampeyan kudu nganalisa anomali sajrone setahun, yaiku, golek spike utawa tetes. Visualisasi data iki mbantu aku.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Sabanjure yaiku Treemap.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Sankeys minangka grafik sing menarik. Dheweke yaiku Streamgrahps utawa River. Nanging aku ngarani Kali. Iku uga ngijini sampeyan kanggo nggoleki sembarang anomali. Nyaman banget. Aku nyaranake nggunakake kanggo nggoleki.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Bab sing menarik sabanjure yaiku nggambar peta dinamis. Yen sampeyan nyimpen garis lintang, bujur ing basis data lan, ucapake, nyimpen tujuan, yen sampeyan, contone, duwe truk utawa pesawat mabur, sampeyan bisa nggambar jalur tujuan. Uga ing kana sampeyan bisa nyetel kacepetan lan ukuran obyek kasebut ing ngendi dheweke mabur.

Nanging masalah karo peta iki mung nggambar peta donya, ora ana rincian.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Mengko aku nambah Google map. Yen sampeyan nyimpen latitude, longitude, sampeyan bisa nggambar asil ing peta Google, nanging tanpa dhukungan pesawat.

Kita wis ngrembug fungsi utama nggarap asil lan pitakon ing Tabix.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Sabanjure yaiku analisis server ClickHouse sampeyan. Ana tab "Metrik" sing kapisah, ing ngendi sampeyan bisa ndeleng ukuran data sing disimpen kanggo saben kolom. Gambar nuduhake yen lapangan "referrer" iki njupuk watara 730 Gb. Yen kita ninggalake lapangan iki, kita bakal nyimpen telung shards saka 700 GB saben, IE bab 2 TB sing kita ora perlu.

Kita uga duwe lapangan "request_id" sing disimpen ing senar. Nanging yen kita miwiti nyimpen ing wangun numerik, lapangan iki bakal nyilikake enormously.

Iki uga nuduhake konfigurasi server lan dhaptar simpul ing kluster sampeyan.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Tab sabanjure yaiku metrik. Dheweke entuk wektu nyata karo ClickHouse lan mung ngidini sampeyan nganalisa kahanan server lan ngerti apa sing kedadeyan. Iki dudu panggantos kanggo Grafana lengkap. Iki perlu kanggo analisis cepet.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Tab sabanjure yaiku pangolahan. Saka wong-wong mau sampeyan bisa ngerti apa sing kedadeyan ing server. Ngerti apa sing kedadeyan ing kana. Aku duwe panjaluk sing nggunakake 200 GB maca saben wektu. Aku weruh iki thanks kanggo antarmuka iki. Aku nyekel dheweke lan mbenerake dheweke. Lan dadi kira-kira 30 GB, IE kinerja ing kaping.

ClickHouse - analisis data kanthi cepet lan intuisi ing Tabix. Igor Stryhar

Matur nuwun! Lan ing OpenSource

Aku rampung. Lan omong-omong, iku OpenSource, gratis lan sampeyan ora perlu ngundhuh. Bukak ing browser lan kabeh bakal bisa digunakake.

Pitakonan

Igor, apa sabanjure? Ing endi sampeyan bakal ngembangake alat iki?

Sabanjure, dashboard bakal katon, yaiku, mbok menawa dashboard bakal katon. Integrasi karo database liyane. Aku iki, nanging durung diterbitake ing OpenSource. Iki MySQL lan bisa uga PostgreSQL. Tegese, bakal bisa ngirim panjalukan saka Tabix ora mung menyang ClickHouse, nanging uga menyang alat liyane.

Cetha yen akeh karya sing wis ditindakake. Pranyata dadi gagasan sing cukup lengkap. Iki rampung ing browser, ketoke, kanggo ngilangke crutches ing kabeh limo sumbu lan cepet uncalan kabeh bebarengan. Aku krungu yen sampeyan lagi ing php kerja, dadi cara paling gampang yaiku ngetik ing browser lan bakal bisa digunakake ing endi wae. Ora ana pitakonan babagan iki. Pitakonan iki. Akeh tenan wis rampung ana. Carane akeh wong makarya ing iki? Lan suwene kabeh njupuk? Amarga alat khusus biasane ora duwe fungsi sing akeh.

Siji wong saka tim kita kerja wiwit musim panas nganti musim gugur. Iki minangka versi pisanan. Banjur aku nggawe 330 komitmen dhewe. Apa sing sampeyan deleng, aku lan kanca-kancaku nindakake setengah. Ing 3 sasi, saka versi pisanan nganti pungkasan, aku biasane nindakake piyambak. Nanging aku ora ngerti Javascript banget. Iki mung lan, muga-muga, proyek Javascript pungkasan sing dakgarap. Aku entuk, aku katon - oh, medeni. Nanging aku pancene pengin ngrampungake produk lan iki kedadeyan.

Matur nuwun kanthi sanget kanggo laporan! Iki minangka alat sing apik. KARO Tabel Apa sampeyan wis mbandhingake?

matur nuwun. Pramila kula namakaken Tabix, amargi aksara wiwitanipun sami.

Amarga sampeyan saingan?

Bakal ana akeh investasi, kita bakal saingan.

Kepiye sampeyan bisa nawakake adol menyang analis internal yen alat iki bakal diganti *Tabel*? Apa sing bakal dadi argumentasi?

Kerjane native karo ClickHouse. Aku nyoba Tableau, nanging sampeyan ora bisa nulis support kanggo dictionaries lan kaya ana. Aku ngerti carane wong bisa karo Tabix. Dheweke nulis pitakon, upload menyang CSV lan upload menyang BI. Lan dheweke wis nindakake apa wae ing kana. Nanging aku duwe wektu angel mbayangno carane nindakake iki, amarga iku alat grafis. Bisa mbongkar 5 larik, maksimal 000 larik, nanging ora luwih, yen browser ora bakal bisa ngatasi.

Yaiku, ana sawetara watesan serius babagan jumlah data, ta?

ya wis. Aku ora bisa mbayangno yen sampeyan pengin ngunggah 10 larik menyang meja menyang layar browser sampeyan. Kanggo apa?

Apa tegese iki minangka antarmuka kanggo ndeleng data kanthi cepet? Miwiti sithik, miring?

Ya, cepet ndeleng cara kerjane lan mung gawe grafik ringkesan. Lan banjur menehi nang endi wae. Kita duwe sistem pelaporan dhewe, saka ngendi aku mung njupuk panjaluk iki. Aku tarik ing Tabix lan ngirim menyang kita Reporting.

Lan pitakonan liyane. Analisis klompok?

Yen ana panjaluk, kita bakal nambah.

Nalika sampeyan mung miwiti nggunakake? ClickHouse, suwene implementasine? clickhouse lan nggawa menyang negara produksi?

Kaya sing dakkandhakake, kita ngetrapake kluster tes sajrone wektu sing cendhak. Kita nyebarake ing rong dina. Lan kita nyoba kanggo sawetara minggu liyane. Lan kita tekan produksi ing sasi 3. Nanging kita duwe ETL dhewe, yaiku alat kanggo ngrekam data. Lan dheweke nulis kabeh sing bisa. Dheweke bisa nulis ing MongoDB, Cassandra, MySQL. Gampang ngajari dheweke nulis ing ClickHouse. Kita duwe infrastruktur sing wis siap kanggo implementasine kanthi cepet. Ing 3 sasi kita miwiti mbuwang komponen pisanan. Ing 6 sasi kita rampung nilar kabeh liyane. Kita mung duwe siji ClickHouse.

Igor, matur nuwun kanthi sanget kanggo laporan kasebut. Aku seneng banget karo fungsi mbangun dalan nggunakake peta. Apa ana rencana kanggo integrasi karo Yandex.Maps lan khususe karo Yandex.Maps khusus?

Aku nyoba nggabungake tinimbang peta Google, nanging aku ora nemokake tema peteng ing Yandex.Maps. Aku ora ngomong siji-sijine. Aku bakal mundur maneh kanggo nambah.

Geser – Google map. Ana printah "DRAW_GMAPS", kang ndudohke peta. Ana prentah "DRAW_YMAPS", yaiku bisa nggambar Yandex.Map. Nanging nyatane, ing printah iki ana Javascript, yaiku data sing ditampa saka ClickHouse bisa ditransfer menyang Javascript, sing sampeyan tulis ing kene. Lan sampeyan duwe area output sing kudu digambar. Sampeyan bisa nggambar grafik apa wae, yaiku grafik, peta, sampeyan bisa nggambar komponen sampeyan dhewe. Sadurunge iki, aku duwe perpustakaan liyane kanggo nggambar grafik dhewe.

Yaiku, apa ana alat kanggo ngatur fungsi tampilan?

Sembarang. Sampeyan bisa njupuk lan recolor titik-titik iki, supaya ora abang, nanging biru, ijo.

Matur nuwun kanggo laporan! Sampeyan duwe slide sing nampilake alat pitakon alternatif clickhouse kanggo mbangun dashboard lan laporan analitis. Aku ngerti sing ing wayahe nalika sampeyan miwiti nggarap ClickHouse, ora ana adaptor sing ditulis kanggo alat kasebut. Lan aku kepingin weruh apa sampeyan mutusaké kanggo nggawe alat dhewe, tinimbang nulis adaptor kanggo sawetara alat siap-digawe? Aku mikir sing tweaking editor test cepet. Yagene sampeyan mutusake kanggo nindakake akeh karya?

Ana titik sing menarik ing kene - nyatane aku dadi direktur teknis, dudu ilmuwan data. Nalika kita miwiti ngleksanakake Druid, peta dalanku duwe udakara 50% tugas - ayo ngetung iki, utawa ayo ngetung iki, utawa nganalisa iki. Lan ternyata kita ngetrapake ClickHouse. Lan dheweke wiwit cepet mbangun kabeh, ngetung, lan kanthi cepet nutup peta dalane. Lan nalika iku aku nyadari yen aku ora duwe kawruh babagan Ilmu Data lan visualisasi data. Tabix minangka peer kanggo sinau visualisasi data. Aku nggoleki carane nglengkapi Zeppelin. Aku rada ora seneng karo programe. Redash Aku katon ing carane nambah, nanging editor normal cukup kanggo kula. Lan SuperSet uga ditulis ing basa sing aku ora seneng banget. Dadi aku mutusake kanggo siklus, lan iki kedadeyan.

Igor, apa sampeyan nampa panjaluk Tarik?

Ya.

Matur nuwun kanthi sanget kanggo laporan! Lan rong pitakonan. Pisanan, sampeyan ora ngomong kanthi apik banget Javascript. Apa sampeyan nulis nganggo Javascript gundhul utawa ana sawetara jinis kerangka?*

Luwih apik ing Javascript gundhul.

Dadi kerangka apa?

Sudut.

Wis cetha. Lan pitakonan kapindho. Apa sampeyan wis nganggep R и *mengkilat**?*

Dianggep. Diputer.

Sampeyan bisa uga mung nulis adaptor.

Panjenenganipun punika. Kayane komunitas nggawe, nanging, nalika aku mangsuli pitakon sadurunge, aku pengin nyoba dhewe.

* Ora, babagan visualisasi, uga ana.

Sampeyan ngomong yen ana sing kaya mengkono lan bakal nggambar grafik. Aku mbukak buku babagan visualisasi data. Lan aku mikir: "Ayo aku nyoba nggambarake data iki. Aku bakal nulis marang dheweke supaya bisa mbangun maneh data kasebut. Lan aku wiwit luwih ngerti teknologi feed data. Lan yen aku wis njupuk komponen siap-digawe, aku wong bakal sinau luwih elek carane nggunakake, sing, visualisasi. Nanging ya, aku seneng R, nanging aku durung maca buku "R for Dummies".

Matur suwun!

Pitakonan prasaja. Apa ana cara kanggo ngunggah tandha utawa jadwal kanthi cepet?

Bisa diunggah menyang CSV utawa Excel.

Ora data, nanging piring siap-digawe, grafik siap-digawe? Contone, kanggo nuduhake boss.

Ana tombol "Ngunggah" lan ana tombol "Ngunggah grafik ing png, ing jpg".

Matur suwun!

PS Mini-instruksi kanggo nginstal tabix

  • Unduh release paling anyar
  • Bukak paket, salin direktori build ing nginx root_path
  • Konfigurasi nginx

Source: www.habr.com

Add a comment