ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Saya sarankan Anda membaca transkrip laporan tahun 2017 oleh Igor Stryhar “ClickHouse - analisis data yang cepat dan jelas secara visual di Tabix.”

Antarmuka web untuk ClickHouse di proyek Tabix.
Fitur utama:

  • Bekerja dengan ClickHouse langsung dari browser, tanpa perlu menginstal perangkat lunak tambahan;
  • Editor kueri dengan penyorotan sintaksis;
  • Pelengkapan otomatis perintah;
  • Alat untuk analisis grafis dari eksekusi kueri;
  • Skema warna untuk dipilih.
    ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar


ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Saya direktur teknis SMI2. Kami adalah agregator berita pertukaran berita. Kami menyimpan banyak data yang kami terima dari mitra kami dan mendaftarkannya di ClickHouse - sekitar 30 permintaan per detik.

Ini adalah data seperti:

  • Klik pada berita.
  • Berita ditampilkan di agregator.
  • Spanduk ditampilkan di jaringan kami.
  • Dan kami mendaftarkan acara dari konter kami sendiri, yang mirip dengan Yandex.Metrica. Ini adalah analisis mikro kami sendiri.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Kami memiliki kehidupan yang sangat sibuk sebelum ClickHouse. Kami sangat menderita saat mencoba menyimpan data ini di suatu tempat dan menganalisisnya.

Kehidupan sebelum ClickHouse – infiniDB

Hal pertama yang kami miliki adalah infiniDB. Dia tinggal bersama kami selama 4 tahun. Kami meluncurkannya dengan susah payah.

  • Itu tidak mendukung pengelompokan atau sharding. Tidak ada hal pintar seperti itu yang keluar dari kotaknya secara default.
  • Dia mengalami kesulitan memuat data. Hanya utilitas konsol tertentu yang hanya dapat memuat file CSV dan hanya dengan cara yang sangat tidak jelas.
  • Basis datanya berulir tunggal. Anda bisa menulis atau membaca. Tapi itu memungkinkan untuk memproses data dalam jumlah besar.
  • Dan dia juga punya tongkat penyangga yang menarik. Setiap malam server harus di-reboot, jika tidak maka server tidak akan berfungsi.

Dia bekerja untuk kami hingga akhir tahun 2016, ketika kami sepenuhnya beralih ke ClickHouse.

Kehidupan sebelum ClickHouse – Cassandra

Karena infiniDB adalah single-threaded, kami memutuskan bahwa kami memerlukan semacam database multi-thread di mana kami dapat menulis banyak thread secara bersamaan.

Kami mencoba banyak hal menarik. Kemudian kami memutuskan untuk mencoba Cassandra. Semuanya baik-baik saja dengan Cassandra. 10 permintaan per detik per tawaran. 000 permintaan di suatu tempat untuk membaca.

Tapi dia juga punya kepentingannya sendiri. Sebulan sekali atau dua bulan sekali dia mengalami desinkronisasi database. Dan saya harus bangun dan berlari untuk memperbaiki Cassandra. Server dimulai ulang satu per satu. Dan segalanya menjadi mulus dan indah.

Kehidupan sebelum ClickHouse – Druid

Kemudian kami menyadari bahwa kami perlu menulis lebih banyak data. Pada tahun 2016 kami mulai menonton Druid.

Druid adalah perangkat lunak sumber terbuka yang ditulis dalam Java. Sangat spesifik. Dan itu cocok untuk clickstream, ketika kita perlu menyimpan beberapa jenis aliran peristiwa dan kemudian melakukan agregasi atau membuat laporan analitis.

Druid memiliki versi 0.9.X.

Basis datanya sendiri sangat sulit untuk diterapkan. Inilah kompleksitas infrastruktur. Untuk menyebarkannya, perlu memasang banyak sekali besi. Dan setiap perangkat keras bertanggung jawab atas perannya masing-masing.

Untuk memuat data ke dalamnya, perlu menggunakan semacam perdukunan. Ada proyek OpenSource - Tranquility, yang kehilangan data dari kami dalam aliran. Saat kami memuat data ke dalamnya, data itu hilang.

Tapi entah bagaimana kami mulai menerapkannya. Kami, seperti landak yang memakai narkoba tapi tetap makan kaktus, mulai mengenalkannya. Kami membutuhkan waktu sekitar satu bulan untuk mempersiapkan seluruh infrastrukturnya. Yaitu, memesan server, mengonfigurasi peran, dan mengotomatiskan penerapan sepenuhnya. Artinya, jika terjadi kegagalan cluster, cluster kedua akan otomatis dikerahkan.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Namun kemudian keajaiban terjadi. Saya sedang berlibur dan rekan-rekan saya mengirimi saya tautan ke habr, yang mengatakan bahwa Yandex memutuskan untuk membuka ClickHouse. Menurutku mari kita mencobanya.

Dan secara harfiah dalam 2 hari kami menerapkan cluster pengujian ClickHouse. Kami mulai memuat data ke dalamnya. Dibandingkan dengan infiniDB, ini adalah dasar; dibandingkan dengan Druid, ini adalah dasar. Dibandingkan Cassandra, itu juga dasar. Karena jika memuat data dari PHP ke Cassandra, maka ini tidak mendasar.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Apa yang kami dapatkan? Performa dalam kecepatan. Kinerja dalam penyimpanan data. Artinya, lebih sedikit ruang disk yang digunakan. ClickHouse cepat, sangat cepat dibandingkan dengan produk lain.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Pada saat peluncuran, ketika Yandex menerbitkan ClickHouse di OpenSource, hanya ada klien konsol. Kami di perusahaan kami SMI2 memutuskan untuk mencoba membuat klien asli untuk web, sehingga kami dapat membuka halaman dari browser, menulis permintaan dan mendapatkan hasilnya, karena kami mulai menulis banyak permintaan. Menulis di konsol itu sulit. Dan kami membuat versi pertama kami.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Dan mendekati musim dingin tahun lalu, alat pihak ketiga untuk bekerja dengan ClickHouse mulai bermunculan. Ini adalah alat-alat seperti:

Saya akan melihat beberapa alat ini, yaitu alat yang pernah saya gunakan.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Alat yang bagus, tapi untuk Druid. Ketika Druid diimplementasikan, saya sedang menguji SuperSet. Saya menyukainya. Bagi Druid, ini sangat cepat.

Ini tidak cocok untuk ClickHouse. Artinya, cocok, dimulai, tetapi hanya siap memproses kueri dasar seperti: acara SELECT, acara GROUP BY. Itu tidak mendukung sintaks ClickHouse yang lebih kompleks.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Alat selanjutnya adalah Apache Zeppelin. Ini adalah hal yang bagus dan menarik. Bekerja. Ini mendukung notebook, dasbor, dan mendukung variabel. Saya tahu seseorang di komunitas ClickHouse menggunakannya.

Tetapi tidak ada dukungan untuk sintaks ClickHouse, yaitu Anda harus menulis kueri di konsol atau di tempat lain. Selanjutnya, periksa apakah semuanya berfungsi. Itu tidak nyaman. Tapi dukungan dashboardnya bagus.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Alat selanjutnya adalah Redash.IO. Redash dihosting di Internet. Artinya, tidak seperti alat sebelumnya, alat ini tidak perlu diinstal. Dan ini adalah dasbor dengan kemampuan untuk mengkonsolidasikan data dari Sumber Data yang berbeda. Artinya, Anda dapat mendownload dari ClickHouse, dari MySQL, dari PostgreSQL dan dari database lainnya.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Baru sebulan yang lalu (Maret 2017), dukungan muncul di Grafana. Saat Anda membuat laporan di Grafana, misalnya, tentang status perangkat keras atau beberapa metrik, sekarang Anda dapat membuat grafik yang sama atau semacam panel dari data dari ClickHouse secara langsung. Ini sangat nyaman, dan kami menggunakannya sendiri. Ini memungkinkan Anda menemukan anomali. Artinya, jika terjadi sesuatu dan beberapa perangkat keras jatuh atau tegang, maka Anda dapat melihat alasannya jika data tersebut berhasil masuk ke ClickHouse.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Saya merasa sangat canggung untuk menulis di alat ini atau di konsol. Dan saya memutuskan untuk meningkatkan antarmuka pertama kami. Dan saya mendapat ide dari EventSQL, SeperSet, Zeppelin.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Apa yang kau inginkan? Saya ingin mendapatkan grafik, editor yang ditingkatkan, dan menerapkan dukungan untuk kamus petunjuk. Karena ClickHouse memiliki fitur hebat - kamus. Namun sulit untuk bekerja dengan kamus, karena Anda perlu mengingat format nilai yang disimpan, misalnya angka atau string, dll. Dan karena kami sering menggunakan kamus dalam berbagai variasinya, cukup sulit untuk menulis kueri.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

3 bulan telah berlalu sejak rilis versi pertama kami. Saya membuat sekitar 330 komitmen ke cabang swasta dan ternyata itu adalah Tabix.

Berbeda dengan versi sebelumnya yang bernama ClickHouse-Frontend, saya memutuskan untuk mengganti namanya menjadi nama yang sederhana. Dan ternyata Tabix.

Apa yang muncul?

Menggambar grafik. Mendukung sintaks ClickHouse SQL. Memberikan saran tentang fungsi dan dapat melakukan banyak hal menarik.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Seperti inilah skema umum Tabix. Di sebelah kiri ada pohon. Di tengah adalah editor kueri. Dan di bawah ini adalah hasil dari permintaan tersebut.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Selanjutnya saya akan menunjukkan cara kerja editor kueri.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Di sini pelengkapan otomatis secara otomatis berfungsi pada tabel dan, karenanya, meminta pelengkapan otomatis untuk bidang tersebut. Dan petunjuk tentang fungsinya. Jika Anda menekan ctrl enter, permintaan akan dieksekusi atau gagal karena kesalahan. Permintaan paling sederhana dikirim ke Tabix dan hasilnya diperoleh, yaitu Anda dapat dengan cepat bekerja dengan ClickHouse.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Kamus, seperti yang telah saya katakan, adalah hal yang sangat menarik yang sering kami gunakan. Dan itu memungkinkan kami melakukan banyak hal. Katakanlah kita menyimpan semua kota di kamus. Kami menyimpan pengenal kota dan nama kota, garis lintang dan garis bujurnya. Dan di database kami hanya menyimpan pengenal kota. Oleh karena itu, kami memampatkan data dengan sangat kuat.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Ini tampaknya menjadi hal yang sederhana, namun membantu di ClickHouse dengan cara yang sangat menarik. Karena fakta bahwa ClickHouse hanya mendukung gabungan bersarang, kueri tumbuh ke bawah dan cukup lebar. Dan ketika tanda kurung terbuka dan beberapa ekspresi panjang masuk, sesuatu yang sederhana seperti menciutkan kueri akan mempermudah pengerjaan kueri itu sendiri. Karena jika kueri memiliki panjang 200-300 baris dan lebarnya sangat besar, akan sangat membantu jika Anda menciutkan kueri dan kemudian mencari suatu tempat atau melokalkannya.

Pohon objek, multikueri, dan tab (Video 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Selanjutnya saya akan menunjukkan kepada Anda tentang pohon dan tabnya. Di sebelah kiri adalah pohon, di atas Anda dapat membuat beberapa tab. Tab seperti ruang kerja. Anda dapat membuat beberapa tab dan memberi nama masing-masing tab secara berbeda. Ini seperti sistem mini untuk membuat laporan.

Tab disimpan secara otomatis. Jika Anda me-restart browser Anda atau menutup atau membuka Tabix, semua ini akan disimpan.

Tombol pintas - nyaman (Video 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

Hotkeynya ada dan jumlahnya cukup banyak. Saya telah mengekstrak beberapa di antaranya di sini sebagai contoh. Ini berpindah tab, menjalankan permintaan atau menjalankan beberapa permintaan.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Saya akan menunjukkan cara bekerja dengan hasilnya. Kami mengirimkan permintaan. Disini saya menggambar sin, cos dan tg. Anda dapat menyorot hasilnya, yaitu menggambar peta khas untuk sebuah kolom. Anda dapat menyoroti nilai-nilai positif atau negatif. Atau cukup warnai elemen tabel tertentu. Ini berguna ketika mejanya besar dan Anda perlu menemukan anomali dengan mata Anda. Ketika saya mencari anomali, saya menyorot beberapa garis, beberapa elemen dengan warna hijau atau merah.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Ada banyak hal menarik di sana. Misalnya saja cara copy ke Redmine Markdown. Jika Anda perlu menyalin hasilnya di suatu tempat, ini sangat mudah. Anda cukup memilih suatu area, ucapkan “Salin ke Redmine” dan area tersebut akan disalin ke Redmine Markdown atau buat kueri Where.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Berikutnya adalah optimasi kueri. Saya pernah lupa menentukan kolom "tanggal". Dan permintaan saya di ClickHouse tidak diproses dengan sangat-sangat cepat, tetapi cepat, yaitu kurang dari satu detik. Ketika saya melihat berapa banyak garis yang dia lalui, saya menjadi takut. Kami tidak menulis begitu banyak baris ke tabel ini dalam sehari. Saya mulai menganalisis permintaan tersebut dan melihat bahwa saya telah melewatkan tanggal di satu tempat. Artinya, saya lupa menunjukkan bahwa saya tidak memerlukan data untuk seluruh tabel, tetapi untuk periode tertentu.

Tabix memiliki tab “Statistik”, yang menyimpan seluruh riwayat permintaan yang dikirim, mis. di sana Anda dapat melihat berapa banyak baris yang dibaca oleh permintaan ini dan berapa lama waktu yang dibutuhkan untuk mengeksekusi. Hal ini memungkinkan optimasi.

Anda dapat membuat tabel pivot di atas hasil kueri. Anda mengirim permintaan ke ClickHouse dan menerima beberapa data. Dan kemudian Anda dapat memindahkan data ini dengan mouse Anda dan membuat semacam tabel pivot.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Hal menarik selanjutnya adalah plotting. Katakanlah kita mempunyai permintaan berikut: untuk sin, cos dari 0 hingga 299. Dan untuk menggambarnya, Anda perlu memilih tab “Draw” dan Anda akan mendapatkan grafik dengan sin dan cos Anda.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Anda dapat membaginya menjadi beberapa sumbu, misalnya Anda dapat menggambar dua grafik secara berdampingan sekaligus. Tulis satu perintah dan perintah kedua.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Anda dapat menggambar histogram.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Anda dapat memecahnya menjadi matriks grafik.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Anda dapat membuat peta panas.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Anda dapat membuat kalender termal. Omong-omong, ini adalah hal yang sangat berguna ketika Anda perlu menganalisis anomali selama setahun, yaitu menemukan lonjakan atau penurunan. Visualisasi data ini membantu saya dalam hal ini.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Yang berikutnya adalah Peta Pohon.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Sankeys adalah grafik yang menarik. Dia adalah Streamgrahps atau River. Tapi saya menyebutnya Sungai. Ini juga memungkinkan Anda mencari anomali apa pun. Ini sangat nyaman. Saya sarankan menggunakannya untuk mencari.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Hal menarik berikutnya adalah menggambar peta dinamis. Jika Anda menyimpan garis lintang, garis bujur dalam database Anda dan, katakanlah, menyimpan tujuan, jika Anda, misalnya, memiliki truk atau pesawat terbang, maka Anda dapat menggambar jalur tujuan. Di sana Anda juga dapat mengatur kecepatan dan ukuran objek yang diterbangkannya.

Tapi masalahnya peta ini hanya menggambar peta dunia, tidak ada detailnya.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Kemudian saya menambahkan peta Google. Jika Anda menyimpan garis lintang, garis bujur, maka Anda dapat menggambar hasilnya di Google map, tetapi tanpa dukungan pesawat.

Kami telah membahas fungsi utama bekerja dengan hasil dan kueri di Tabix.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Berikutnya adalah analisis server ClickHouse Anda. Ada tab “Metrik” terpisah, tempat Anda dapat melihat ukuran data yang disimpan untuk setiap kolom. Tangkapan layar menunjukkan bahwa bidang "perujuk" ini memakan waktu sekitar 730 Gb. Jika kita mengabaikan bidang ini, kita akan menghemat tiga pecahan masing-masing 700 GB, yaitu sekitar 2 TB yang tidak kita perlukan.

Kami juga memiliki bidang "request_id" yang kami simpan dalam sebuah string. Namun jika kita mulai menyimpannya dalam bentuk numerik, bidang ini akan menyusut secara signifikan.

Ini juga menunjukkan konfigurasi server dan daftar node di cluster Anda.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Tab berikutnya adalah metrik. Mereka masuk ke waktu nyata dengan ClickHouse dan memungkinkan Anda menganalisis keadaan server dan memahami apa yang terjadi padanya. Ini bukan pengganti Grafana penuh. Ini diperlukan untuk analisis cepat.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Tab berikutnya adalah proses. Dari mereka Anda dapat memahami apa yang terjadi di server. Pahami apa yang terjadi di sana. Saya mendapat permintaan yang menghabiskan 200 GB pembacaan setiap kali. Saya melihatnya berkat antarmuka ini. Saya menangkapnya dan mengoreksinya. Dan ternyata ukurannya sekitar 30 GB, yaitu kinerja yang berkali-kali lipat.

ClickHouse – analisis data yang cepat dan intuitif secara visual di Tabix. Igor Stryhar

Terima kasih! Dan itu ada di OpenSource

Saya sudah selesai. Dan omong-omong, ini OpenSource, gratis dan Anda bahkan tidak perlu mengunduhnya. Buka di browser dan semuanya akan berfungsi.

pertanyaan

Igor, apa selanjutnya? Di mana Anda akan mengembangkan alat ini?

Selanjutnya akan muncul dashboard, yaitu mungkin dashboard akan muncul. Integrasi dengan database lain. Saya melakukan ini, tetapi belum mempublikasikannya di OpenSource. Ini adalah MySQL dan mungkin PostgreSQL. Artinya, dimungkinkan untuk mengirim permintaan dari Tabix tidak hanya ke ClickHouse, tetapi juga ke alat lain.

Jelas bahwa banyak pekerjaan telah dilakukan. Ternyata idenya cukup lengkap. Tampaknya ini dilakukan di browser untuk menghilangkan kruk pada semua jenis sumbu dan dengan cepat menyatukan semuanya. Saya mendengar bahwa Anda aktif php berfungsi, jadi cara termudah adalah mengetikkannya di browser dan itu akan berfungsi di mana saja. Tidak ada pertanyaan mengenai hal ini. Pertanyaannya adalah ini. Sebenarnya banyak hal yang telah dilakukan di sana. Berapa banyak orang yang mengerjakan ini? Dan berapa lama waktu yang dibutuhkan? Karena custom tools biasanya tidak memiliki banyak fungsi.

Satu orang dari tim kami bekerja dari musim panas hingga musim gugur. Ini adalah versi pertama. Lalu saya membuat 330 komitmen saja. Apa yang Anda lihat, saya dan rekan saya melakukannya menjadi dua. Dalam 3 bulan, dari versi pertama hingga versi terakhir, saya kebanyakan melakukannya sendiri. Tapi saya tidak tahu Javascript dengan baik. Ini adalah satu-satunya dan, saya harap, proyek Javascript terakhir yang saya kerjakan. Saya mengerti, saya melihat - oh, ngeri. Tapi saya benar-benar ingin menyelesaikan produknya dan inilah yang terjadi.

Terima kasih banyak atas laporannya! Ini adalah alat yang hebat. DENGAN Tablo Sudahkah Anda membandingkannya?

Terima kasih. Makanya saya beri nama Tabix, karena huruf depannya sama.

Karena Anda bersaing?

Investasinya akan banyak, kami akan bersaing.

Bagaimana Anda bisa menawarkan untuk menjual kepada analis internal bahwa alat ini akan sepenuhnya menggantikannya *Tablo*? Apa argumennya?

Bekerja secara native dengan ClickHouse. Saya mencoba Tableau, tetapi Anda tidak dapat menulis dukungan untuk kamus dan sejenisnya di sana. Saya tahu cara orang bekerja dengan Tabix. Mereka menulis query, mengunggahnya ke CSV dan mengunggahnya ke BI. Dan mereka sudah melakukan sesuatu di sana. Tapi saya kesulitan membayangkan bagaimana mereka melakukan ini, karena ini adalah alat grafis. Itu dapat membongkar 5 baris, maksimum 000 baris, tetapi tidak lebih, jika tidak, browser tidak akan mengatasinya.

Artinya, ada beberapa batasan serius pada jumlah data, bukan?

Ya. Saya tidak dapat membayangkan Anda ingin mengunggah 10 baris ke dalam tabel Anda ke layar browser Anda. Untuk apa?

Apakah ini berarti ini adalah antarmuka untuk melihat data dengan cepat? Putar sedikit, putar?

Ya, segera lihat cara kerjanya dan buat saja grafik ringkasan. Dan kemudian berikan di suatu tempat. Kami memiliki sistem pelaporan kami sendiri, tempat saya menerima permintaan ini. Saya menggambar Tabix dan mengirimkannya ke pelaporan kami.

Dan pertanyaan lainnya. Analisis kelompok?

Jika ada permintaan, kami akan menambahkannya.

Kapan Anda baru mulai menggunakannya? ClickHouse, berapa lama waktu implementasinya? KlikRumah dan membawa ke keadaan produksi?

Seperti yang saya katakan, kami mengimplementasikan cluster pengujian dalam waktu yang sangat singkat. Kami menyebarkannya dalam dua hari. Dan kami mengujinya selama beberapa minggu lagi. Dan kami mencapai produksi dalam 3 bulan, tetapi kami memiliki ETL sendiri, yaitu alat untuk mencatat data. Dan dia menulis segala yang dia bisa. Dia bisa menulis di MongoDB, Cassandra, MySQL. Sangat mudah untuk mengajarinya cara menulis di ClickHouse. Kami memiliki infrastruktur yang siap pakai untuk implementasi yang cepat. Dalam waktu 3 bulan kami mulai membuang komponen pertama. Dalam 6 bulan kami benar-benar meninggalkan segalanya. Kami hanya memiliki satu ClickHouse tersisa.

Igor, terima kasih banyak atas laporannya. Saya sangat menyukai fungsi membangun jalur menggunakan peta. Apakah ada rencana untuk integrasi dengan Yandex.Maps dan khususnya dengan Yandex.Maps khusus?

Saya mencoba mengintegrasikan alih-alih peta Google, tetapi saya tidak menemukan tema gelap di Yandex.Maps. Aku tidak memberitahumu satu bagian pun. Saya akan mundur untuk menambahkan.

Geser – peta Google. Di sana ada perintah “DRAW_GMAPS”, yang menggambar peta. Ada perintah “DRAW_YMAPS”, yaitu dapat menggambar Yandex.Map. Namun nyatanya, di bawah perintah ini terdapat Javascript, yaitu data yang Anda terima dari ClickHouse dapat ditransfer ke Javascript yang Anda tulis di sini. Dan Anda memiliki area keluaran yang harus digambar. Anda dapat menggambar grafik apa pun, yaitu grafik apa pun, peta, Anda dapat menggambar komponen Anda sendiri. Sebelumnya, saya memiliki perpustakaan lain untuk menggambar grafiknya sendiri.

Yaitu, apakah ada alat untuk menyesuaikan fungsionalitas tampilan?

Setiap. Anda dapat mengambil dan mewarnai ulang titik-titik ini, menjadikannya bukan merah, tetapi biru, hijau.

Terima kasih atas laporannya! Anda memiliki slide yang menyajikan alat kueri alternatif KlikRumah untuk membuat dasbor dan laporan analitis. Saya memahaminya pada saat Anda mulai bekerja dengannya ClickHouse, tidak ada adaptor yang ditulis untuk alat ini. Dan saya bertanya-tanya mengapa Anda memutuskan untuk membuat alat sendiri, daripada menulis adaptor untuk alat yang sudah jadi? Menurut saya, mengubah editor pengujian itu cepat. Mengapa Anda memutuskan untuk melakukan begitu banyak pekerjaan?

Ada hal menarik di sini - faktanya saya adalah direktur teknis, bukan ilmuwan data. Pada saat kami mulai menerapkan Druid, peta jalan saya memiliki sekitar 50% tugas - mari kita hitung ini, atau mari kita hitung, atau analisis ini. Dan ternyata kami menerapkan ClickHouse. Dan dia mulai dengan cepat membangun segalanya, menghitung, dan dengan cepat menutup peta jalannya. Dan saat itu saya menyadari bahwa saya kurang memiliki pengetahuan di bidang Ilmu Data dan visualisasi data. Tabix adalah semacam pekerjaan rumah saya untuk mempelajari visualisasi data. Saya sedang mencari cara untuk melengkapi Zeppelin. Saya sedikit tidak menyukai programnya. Redash Saya melihat cara menambahkannya, tetapi editor biasa sudah cukup bagi saya. Dan SuperSet juga ditulis dalam bahasa yang saya tidak terlalu suka. Jadi saya memutuskan untuk bersepeda, dan inilah yang terjadi.

Igor, apakah Anda menerima permintaan Tarik?

Ya.

Terima kasih banyak atas laporannya! Dan dua pertanyaan. Pertama, Anda tidak berbicara terlalu menyanjung skrip java. Apakah Anda menulis dalam Javascript kosong atau semacam kerangka kerja?*

Lebih baik dalam Javascript telanjang.

Lalu kerangka apa?

sudut.

Itu sudah jelas. Dan pertanyaan kedua. Sudahkah Anda mempertimbangkannya? R и *Berkilau**?*

Mempertimbangkannya. Dimainkan.

Anda juga bisa menulis adaptor.

Dia adalah. Sepertinya komunitas berhasil, tetapi ketika saya menjawab pertanyaan sebelumnya, saya ingin mencobanya sendiri.

*Tidak, soal visualisasi, itu juga ada.

Anda mengatakan bahwa ada hal seperti itu dan itu akan membuatkan Anda grafik. Saya membuka buku tentang visualisasi data. Dan saya berpikir: “Izinkan saya mencoba memvisualisasikan data ini. Saya akan menulis surat kepadanya agar dia dapat membangun kembali datanya.” Dan saya mulai lebih memahami teknologi penyediaan data. Dan jika saya mengambil komponen yang sudah jadi, saya pribadi akan belajar lebih buruk cara menggunakannya, yaitu visualisasi. Tapi ya, saya suka R, tapi saya belum membaca buku “R for Dummies”.

Terima kasih!

Pertanyaan sederhana. Apakah ada cara untuk mengunggah tanda atau jadwal dengan cepat?

Dapat diunggah ke CSV atau Excel.

Bukan data, tapi pelat yang sudah jadi, grafik yang sudah jadi? Misalnya untuk menunjukkan kepada atasan.

Ada tombol “Upload” dan ada tombol “Upload grafik dalam format png, dalam format jpg”.

Terima kasih!

PS Mini-instruksi untuk menginstal tabix

  • Unduh rilis terbaru
  • Buka paket, salin direktori build di nginx root_path
  • Konfigurasikan nginx

Sumber: www.habr.com

Tambah komentar