ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

İqor Strykharın 2017-ci il hesabatının stenoqramı ilə tanış olmağı təklif edirəm "ClickHouse - Tabix-də vizual olaraq sürətli və vizual məlumatların təhlili".

Tabix layihəsində ClickHouse üçün veb interfeys.
Əsas xüsusiyyətlər:

  • Əlavə proqram təminatının quraşdırılmasına ehtiyac olmadan birbaşa brauzerdən ClickHouse ilə işləyir;
  • Sintaksis işıqlandırılması ilə sorğu redaktoru;
  • Komandanın tamamlanması;
  • Sorğunun icrasının qrafik analizi üçün alətlər;
  • Seçmək üçün rəng sxemləri.
    ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar


ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Mən media2-nin texniki direktoruyam. Biz xəbər mübadiləsi xəbərləri toplayıcısıyıq. Biz tərəfdaşlarımızdan aldığımız çoxlu məlumatları saxlayırıq və onları ClickHouse-da qeydiyyatdan keçiririk - saniyədə təxminən 30 sorğu.

Bunlar kimi məlumatlardır:

  • Xəbər klikləri.
  • Aqreqatorda xəbərlər göstərilir.
  • Şəbəkəmizdə bannerlər göstərilir.
  • Biz hadisələri Yandex.Metrics-ə bənzər öz sayğacımızdan qeyd edirik. Bu, bizim öz mikroanalitikamızdır.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

ClickHouse-dan əvvəl çox həyəcanlı bir həyatımız var idi. Bu məlumatları hardasa saxlamağa və birtəhər təhlil etməyə çalışaraq çox əziyyət çəkdik.

ClickHouse-dan əvvəlki həyat - infiniDB

Əlimizdə olan ilk şey infiniDB idi. 4 il bizimlə yaşadı. Biz onu çətinliklə işə saldıq.

  • O, qruplaşma və ya parçalanmağı dəstəkləmir. O, standart olaraq qutudan belə ağıllı şeylərə başlamadı.
  • O, datanı yükləməkdə problem yaşayır. Yalnız yalnız CSV fayllarını yükləyə bilən və bir şəkildə çox anlaşılmaz olan xüsusi bir konsol yardım proqramı.
  • Verilənlər bazası tək yivlidir. Ya yaza bilərdin, ya da oxuya bilərdin. Lakin o, böyük həcmdə məlumatı emal etməyə imkan verdi.
  • Və onun da maraqlı bir qoltuqağası var idi. Hər gecə serveri yenidən yükləmək lazım idi, əks halda işləməzdi.

O, 2016-cı ilin sonuna qədər bizimlə işlədi, biz tamamilə ClickHouse-a keçdik.

ClickHouse-dan əvvəlki həyat - Cassandra

InfiniDB tək yivli olduğundan, biz qərara gəldik ki, bizə eyni zamanda çoxlu mövzu yaza biləcəyimiz bir növ çox yivli verilənlər bazası lazımdır.

Çox maraqlı şeylər sınadıq. Sonra Kassandranı sınamağa qərar verdik. Kassandra ilə hər şey əla idi. Hər mərc üçün saniyədə 10 sorğu. Oxumaq üçün haradasa 000 sorğu.

Amma onun da öz maraqları var idi. Ayda bir dəfə və ya iki ayda bir verilənlər bazası sinxronizasiya olunmur. Və mən oyanıb Kassandranı düzəltmək üçün qaçmalı oldum. Serverləri bir-bir yenidən başladın. Və hər şey hamar və gözəl oldu.

ClickHouse-dan əvvəlki həyat – Druid

Sonra anladıq ki, daha çox məlumat yazmalıyıq. 2016-cı ildə Druidə baxmağa başladıq.

Druid Java-da yazılmış açıq bazadır. Çox konkret. Bir növ hadisələr axını saxlamaq və sonra onları toplamaq və ya analitik hesabatlar hazırlamaq lazım olanda klik axını uyğun gəlir.

Druid 0.9.X versiyasına sahib idi.

Verilənlər bazasının özünü yerləşdirmək çox çətindir. Bu, infrastrukturun mürəkkəbliyidir. Onu yerləşdirmək üçün çoxlu dəmir qoymaq lazım idi. Və hər bir dəmir öz ayrıca roluna cavabdeh idi.

Ona məlumat yükləmək üçün bir növ şamanizm tətbiq etmək lazım idi. OpenSource layihəsi var - Tranquility, axında bizdən məlumatları itirdi. Biz məlumatı ona yüklədikdə, o, onları itirdi.

Amma nədənsə onu həyata keçirməyə başladıq. Biz, özlərinə iynə vuran, lakin kaktus yeməyə davam edən kirpi kimi, onu tanıtmağa başladıq. Bütün infrastrukturu bunun üçün hazırlamaq bizə təxminən bir ay çəkdi. Yəni, serverləri sifariş edin, rolları təyin edin və yerləşdirməni tam avtomatlaşdırın. Yəni, klasterin düşməsi halında, ikinci klaster avtomatik olaraq yerləşdirilsin.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Lakin sonra bir möcüzə baş verdi. Tətildə idim və həmkarlarım mənə link göndərdilər habr, bu, Yandex'in ClickHouse'u açmağa qərar verdiyini söyləyir. Deyirəm cəhd edək.

Və sözün həqiqi mənasında 2 gün ərzində biz ClickHouse test klasterini yerləşdirdik. Biz ona məlumatları yükləməyə başladıq. InfiniDB ilə müqayisədə bu elementardır; Druid ilə müqayisədə bu elementardır. Kassandra ilə müqayisədə o, həm də elementardır. Çünki php-dən məlumatları Cassandra-ya yükləsəniz, bu elementar deyil.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Nə əldə etdik? Sürətdə performans. Məlumatların saxlanmasında performans. Yəni daha az disk sahəsi istifadə olunur. ClickHouse sürətlidir, digər məhsullarla müqayisədə çox sürətlidir.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Başlanğıc zamanı, Yandex OpenSource-da ClickHouse-u dərc edərkən, yalnız konsol müştərisi var idi. Biz SMI2 şirkətimizdə veb üçün yerli müştəri yaratmağa qərar verdik ki, brauzerdən səhifə aça, sorğu yaza və nəticə əldə edə biləsən, çünki biz çoxlu sorğular yazmağa başladıq. Konsola yazmaq çətindir. Və ilk versiyamızı hazırladıq.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Keçən ilin qışına yaxın yerdə, ClickHouse ilə işləmək üçün üçüncü tərəf alətləri görünməyə başladı. Bunlar kimi alətlərdir:

Mən bu vasitələrdən bəzilərini, yəni işlədiklərimi nəzərdən keçirəcəyəm.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Yaxşı alət, lakin Druid üçün. Druid təqdim olunanda mən SuperSet hiss etdim. Ondan xoşum gəldi. Bir Druid üçün çox sürətli işləyir.

ClickHouse üçün uyğun deyil. Yəni, uyğun gəlir, başlayır, lakin o, yalnız elementar sorğuları emal etməyə hazırdır: SELECT hadisəsi, GROUP BY hadisəsi. Daha mürəkkəb ClickHouse sintaksisini dəstəkləmir.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Növbəti alət Apache Zeppelindir. Bu yaxşı və maraqlı bir şeydir. işləyir. Noutbukları, tablosunu dəstəkləyir, dəyişənləri dəstəkləyir. Bilirəm ki, ClickHouse icmasından kimsə ondan istifadə edir.

Lakin ClickHouse sintaksisi üçün heç bir dəstək yoxdur, yəni sorğuları ya konsolda, ya da başqa yerdə yazmalı olacaqsınız. Sonra, hər şeyin işlədiyini yoxlayın. Sadəcə əlverişsizdir. Ancaq onun tablosuna yaxşı dəstəyi var.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Növbəti vasitə Redash.IO-dur. Redash internetdə yerləşdirilib. Yəni əvvəlki vasitələrdən fərqli olaraq onun quraşdırılmasına ehtiyac yoxdur. Və bu, müxtəlif DataSources məlumatlarını birləşdirmək imkanı olan belə bir tablosudur. Yəni, siz ClickHouse-dan, MySQL-dən, PostgreSQL-dən və digər verilənlər bazalarından yükləyə bilərsiniz.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Cəmi bir ay əvvəl (2017-ci ilin martında) Grafana-da dəstək ortaya çıxdı. Siz Grafana-da hesabatlar hazırladığınız zaman, məsələn, aparatınızın vəziyyətinə və ya bəzi ölçülərə görə, indi birbaşa ClickHouse-dan verilənlərdən eyni qrafiki və ya bir növ panel qura bilərsiniz. Çox rahatdır və evdə istifadə edirik. Bu, anomaliyaları tapmağa imkan verir. Yəni, bir şey baş verərsə və bəzi avadanlıq düşərsə və ya gərginləşərsə, bu məlumatların ClickHouse-a daxil olub-olmamasının səbəbini görə bilərsiniz.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Bu alətlərdə və ya konsolda yazmaq mənim üçün çox narahat idi. Və mən ilk interfeysimizi yekunlaşdırmaq qərarına gəldim. Mən EventSQL, SeperSet, Zeppelin-dən bir fikir kəşf etdim.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Nə istəyirdin? Mən qrafika, təkmilləşdirilmiş redaktor əldə etmək, işarə lüğətləri üçün dəstək tətbiq etmək istəyirdim. Çünki ClickHouse-un əla xüsusiyyəti var - bu, lüğətlərdir. Amma lüğətlərlə işləmək çətindir, çünki saxlanılan dəyərlərin formatını yadda saxlamaq lazımdır, yəni bu, rəqəmdir, yoxsa sətirdir və s. Və biz lüğətlərdən tez-tez müxtəlif variasiyalarında istifadə etdiyimiz üçün sorğu yazmaq kifayət qədər çətin idi.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

İlk versiyamızın çıxmasından 3 ay keçdi. Qapalı filiala təxminən 330 öhdəlik götürdüm və Tabix aldım.

ClickHouse-Frontend adlanan əvvəlki versiyadan fərqli olaraq, mən onun adını sadə bir adla dəyişməyə qərar verdim. Və Tabix çıxdı.

Nə ortaya çıxdı?

Qrafiklər çəkir. ClickHouse SQL sintaksisini dəstəkləyir. Funksiyalar haqqında danışır və bir çox maraqlı şeyləri necə edəcəyini bilir.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Tabix-in ümumi tərtibatı belə görünür. Solda bir ağac var. Mərkəzdə sorğu redaktoru var. Və aşağıda bu sorğunun nəticəsidir.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Sonra sorğu redaktorunun necə işlədiyini göstərəcəyəm.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Burada avtomatik tamamlama cədvəldə və müvafiq olaraq sahələr üzrə avtomatik tamamlama sorğularında işləyirdi. Və xüsusiyyət göstərişləri. Əgər ctrl enter düyməsini sıxsanız, sorğu yerinə yetiriləcək və ya xəta ilə uğursuz olacaq. Ən sadə sorğu Tabix-ə göndərilir və nəticə əldə edilir, yəni siz ClickHouse ilə tez işləyə bilərsiniz.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Lüğətlər, dediyim kimi, çox işlədiyimiz çox maraqlı bir şeydir. Və bu, çox şey etməyə imkan verdi. Tutaq ki, bütün şəhərləri lüğətlərdə saxlayırıq. Biz şəhər identifikatorunu və şəhər adını, onun enini və uzunluğunu saxlayırıq. Və verilənlər bazasında biz yalnız şəhərin identifikatorunu saxlayırıq. Müvafiq olaraq, biz məlumatları çox güclü sıxışdırırıq.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Bu sadə bir şey kimi görünür, lakin ClickHouse-da çox maraqlı bir şəkildə kömək edir. ClickHouse yalnız iç içə qoşulmaları dəstəklədiyinə görə sorğu aşağı və kifayət qədər genişlənir. Mötərizə açıldıqda və bəzi uzun ifadələr getdikdə, sorğunun qatlanması kimi kifayət qədər sadə bir şey sorğunun özü ilə işləməyi asanlaşdırır. Çünki sorğunun eni 200-300 sətir olanda və çox böyük olanda sorğunu qatlayıb sonra filan yer tapmaq və ya bir şəkildə lokallaşdırmaqla çox şeyə qənaət edir.

Obyekt ağacı, çoxlu sorğular və nişanlar (Video 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Sonra sizə ağac, nişanlar haqqında göstərəcəyəm. Solda bir ağac, yuxarıda bir neçə nişan yarada bilərsiniz. Nişanlar iş sahəsi kimidir. Siz bir neçə nişan yarada və hər birini fərqli adlandıra bilərsiniz. Bu, hesabat yaratmaq üçün mini sistem kimidir.

Nişanlar avtomatik olaraq saxlanılır. Brauzerinizi yenidən başlatsanız və ya Tabix-i bağlasanız və ya açsanız, hamısı yadda saxlanacaq.

İsti düymə rahatdır (Video 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

İsti düymələr var və onların çoxu var. Nümunə olaraq onlardan bəzilərini buraya daxil etdim. Bu, tab keçididir, sorğunu yerinə yetirir və ya çoxsaylı sorğuları yerinə yetirir.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Nəticə ilə necə işləyəcəyinizi sizə göstərəcəyəm. sorğu göndəririk. Burada sin, cos və tg çəkirəm. Nəticəni vurğulaya bilərsiniz, yəni sütun üçün tipik bir xəritə çəkə bilərsiniz. Müsbət və ya mənfi dəyərləri vurğulaya bilərsiniz. Və ya sadəcə masanın bəzi xüsusi elementini rəngləyin. Cədvəl böyük olduqda və gözlərinizlə bir növ anomaliya tapmaq lazımdırsa, bu rahatdır. Anomaliyaları axtararkən bəzi xətləri, bəzi elementləri yaşıl və ya qırmızı rənglə vurğuladım.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Orada çox maraqlı şeylər var. Məsələn, Redmine Markdown-da necə kopyalamaq olar. Nəticəni bir yerə köçürmək lazımdırsa, bu, çox rahatdır. Siz sadəcə bir sahə seçə bilərsiniz, "Redmine-ə Kopyalayın" deyə bilərsiniz və o, Redmine Markdown-a kopyalayacaq və ya Harada sorğusu yaradacaq.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Sonrakı sorğunun optimallaşdırılmasıdır. Bir dəfə "tarix" sahəsini qeyd etməyi unutdum. Mənim ClickHouse-dakı sorğum çox, çox tez deyil, tez, yəni bir saniyədən az müddətdə işlənmişdir. Onun neçə sətir keçdiyini görəndə qorxdum. Bu cədvələ bir gündə bu qədər sətir yazmırıq. Sorğunu təhlil etməyə başladım və bir yerdə bir tarixi qaçırdığımı gördüm. Yəni, bütün cədvəl üçün deyil, müəyyən bir dövr üçün məlumatlara ehtiyacım olduğunu qeyd etməyi unutdum.

Tabix-də göndərilən sorğuların bütün tarixini saxlayan "Statistikalar" sekmesi var, yəni orada bu sorğunun neçə sətirin oxunduğunu və işə salınması üçün nə qədər vaxt lazım olduğunu görə bilərsiniz. Bu, optimallaşdırmağa imkan verir.

Sorğunun nəticəsi üzərində pivot cədvəli qura bilərsiniz. Siz ClickHouse-a sorğu göndərdiniz və bəzi məlumatları aldınız. Və sonra bu məlumatlar siçan ilə çəkilə və bir növ pivot masası qura bilər.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Növbəti maraqlı şey qrafikadır. Tutaq ki, bizim belə bir sorğumuz var: sin üçün, cos 0-dan 299-a qədər. Və onu çəkmək üçün “Çək” sekmesini seçmək lazımdır və siz günah və cos ilə bir qrafik əldə edəcəksiniz.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Siz onu müxtəlif oxlara bölmək olar, yəni eyni anda iki qrafiki yan-yana çəkə bilərsiniz. Bir əmr, ikinci əmri yazın.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Histoqramlar çəkə bilərsiniz.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Siz onu qrafiklər matrisinə bölmək olar.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

İstilik xəritəsini yarada bilərsiniz.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Bir termal təqvim qura bilərsiniz. Yeri gəlmişkən, bir il ərzində anomaliyaları təhlil etmək lazım olduqda çox lazımlı bir şey, yəni ya partlayışlar və ya damcılar tapın. Bu məlumatların vizuallaşdırılması mənə bu işdə kömək etdi.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Növbəti biri Treemap-dır.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Sankeys maraqlı bir qrafikdir. O, ya Streamgrahps, ya da River. Amma mən buna Çay deyirəm. O, həmçinin istənilən anomaliyaları axtarmağa imkan verir. Çox rahatdır. Axtarış üçün istifadə etməyi məsləhət görürəm.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Növbəti maraqlı şey dinamik xəritənin göstərilməsidir. Verilənlər bazanızda saxlanan enlem, uzunluq varsa və məsələn, görüş saxlanılırsa, məsələn, yük daşımaları və ya təyyarələr uçursa, o zaman təyinat yollarını çəkə bilərsiniz. Həmçinin orada siz onların gəldiyi bu obyektlərin sürətini, ölçüsünü təyin edə bilərsiniz.

Amma bu xəritənin problemi ondadır ki, o, yalnız dünya xəritəsini çəkir, heç bir detal yoxdur.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Daha sonra Google xəritəsi əlavə etdim. Enlem, uzunluq saxlasanız, nəticəni Google xəritəsində çəkə bilərsiniz, lakin təyyarə dəstəyi olmadan.

Nəticə ilə işləməyin əsas funksiyalarını Tabix-də sorğu ilə müzakirə etdik.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Növbəti, ClickHouse serverinizin təhlilidir. Hər bir sütun üçün saxlanılan məlumatların ölçüsünü görə biləcəyiniz ayrıca "Metriklər" sekmesi var. Ekran görüntüsü göstərir ki, bu "istiqamətləndirici" sahəsi 730 Gb səviyyəsində bir şey tutur. Bu sahədən imtina etsək, o zaman 700 GB-lıq üç parçanı, yəni bizə lazım olmayan təxminən 2 TB-a qənaət edəcəyik.

Sətirdə saxladığımız "request_id" sahəsi də var. Ancaq onu ədədi formada saxlamağa başlasaq, bu sahə böyük dərəcədə sıxılacaq.

O, həmçinin server konfiqurasiyasını və klasterinizdəki qovşaqların siyahısını göstərir.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Növbəti tab metriklərdir. Onlar ClickHouse-dan real vaxt rejiminə daxil olur və sadəcə olaraq serverin vəziyyətini təhlil etməyə və onunla nə baş verdiyini başa düşməyə imkan verir. Bu, tam hüquqlu Grafana-nın əvəzi deyil. Tez təhlil etmək üçün bu lazımdır.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Növbəti tab proseslərdir. Onlardan serverdə nə baş verdiyini başa düşə bilərsiniz. Orada nə baş verdiyini anlayın. Hər dəfə oxumaq üçün 200 GB alan bir sorğum var idi. Mən bunu bu interfeys sayəsində gördüm. Tutdu və düzəltdi. Və təxminən 30 GB çıxdı, yəni. bəzən performans.

ClickHouse, Tabix-də vizual olaraq sürətli və vizual məlumatların təhlilidir. İqor Stryhar

Çox sağ ol! Və OpenSource-dadır

Mən bitirdim. Yeri gəlmişkən, o, OpenSource-dadır, pulsuzdur və onu yükləməyinizə belə ehtiyac yoxdur. Brauzerdə açın və hər şey işləyəcək.

Suallar

İqor, bundan sonra nə var? Bu aləti harada inkişaf etdirəcəksiniz?

Dashboarding növbəti görünəcək, yəni, bəlkə də tablosuna görünəcək. Digər verilənlər bazaları ilə inteqrasiya. Mən bunu etmişəm, lakin hələ OpenSource-da dərc etməmişəm. Bu MySQL və bəlkə də PostgreSQL-dir. Yəni, Tabix-dən təkcə ClickHouse-a deyil, digər alətlərə də sorğu göndərmək mümkün olacaq.

Aydındır ki, çox böyük iş görülüb. Tamamilə tam bir fikir olduğu ortaya çıxdı. Brauzerdə, görünür, hər hansı bir baltadakı qoltuqaltıları istisna etmək və hər şeyi tez bir zamanda atmaq üçün edildi. eşitdim ki, sənsən php işləyin, buna görə də ən asan yol brauzerə atmaqdır və hər yerdə işləyəcək. Bunun üçün heç bir sual yoxdur. sual budur. Orada həqiqətən də çox işlər görülüb. Bunun üzərində neçə nəfər çalışıb? Və hamısı nə qədər çəkdi? Çünki özləri üçün alətlər adətən belə böyük funksionallığa malik deyillər.

Komandamızdan bir nəfər yaydan payıza qədər işləyirdi. Bu ilk versiya idi. Sonra təkbaşına 330 öhdəlik götürdüm. Nə görürsən, mən və həmkarım bunu yarıda etdik. İlk versiyadan sonuncuya qədər 3 ay ərzində əksər hallarda bunu tək etdim. Amma Javascript-i çox yaxşı bilmirəm. Bu, üzərində işlədiyim yeganə və ümid edirəm ki, son Javascript layihəm idi. Anladım, baxdım - oh, dəhşət. Amma həqiqətən məhsulu bitirmək istədim və belə oldu.

Hesabat üçün çox sağ olun! Bu əla vasitədir. İLƏ masa müqayisə?

Çox sağ ol. İlk hərflər eyni olduğu üçün Tabix ona görə belə adlandırıb.

Çünki yarışırsan?

İnvestisiya çox olacaq, rəqabət aparacağıq.

Bu alətin tamamilə əvəz edəcəyini daxili analitiklərə satmağı necə təklif etmək olar *Cədvəl*? Arqumentlər nə olacaq?

ClickHouse ilə yerli işləyir. Tableau-nu sınadım, amma orada lüğətlərə dəstək yaza bilməzsiniz. İnsanların Tabix ilə necə işlədiyini bilirəm. Onlar sorğu yazır, CSV-yə yükləyirlər və BI-ya yükləyirlər. Və onlar artıq nəsə edirlər. Ancaq bunu necə etdiklərini təsəvvür edə bilmirəm, çünki bu, qrafik alətdir. O, 5 sətir, maksimum 000 sətir yükləyə bilər, lakin daha çox deyil, əks halda brauzer sağ qalmayacaq.

Yəni məlumatların miqdarı ilə bağlı ciddi məhdudiyyətlər var, elə deyilmi?

Bəli. Brauzer ekranında cədvəlinizə 10 sıra yükləmək istədiyinizi təsəvvür edə bilmirəm. Nə üçün?

Verilənlərə sürətli baxmaq üçün interfeys olması nəzərdə tutulurmu? Bir az burulmaq, bükmək?

Bəli, bunun necə işlədiyini tez bir zamanda görün və sadəcə xülasə qrafiki yaradın. Və sonra bir yerə verin. Bizim öz hesabat sistemimiz var, mən bu sorğunu oradan götürürəm. Tabixdə çəkirəm və reportajımıza göndərirəm.

Və başqa bir sual. Kohort analizi?

Müraciətlər olarsa, əlavə edəcəyik.

İlk istifadə etməyə başladığınızda ClickHouse, həyata keçirmək üçün nə qədər vaxt lazım idi Basın Evi və gətirmək istehsal dövlətləri?

Dediyim kimi, biz çox qısa müddətdə test klasterini həyata keçirdik. Biz onu iki günə açdıq. Və daha bir neçə həftə sınaqdan keçirdik. Və biz 3 ay ərzində istehsala çatdıq.Lakin bizim öz ETL-miz var idi, yəni məlumatların yazılması üçün alət. Və bizə mümkün olan hər şeyi yazdı. MongoDB, Cassandra, MySQL-də yaza bilir. Ona ClickHouse-da yazmağı öyrətmək asan idi. Sürətli həyata keçirmək üçün hazır infrastrukturumuz var idi. 3 ay ərzində ilk komponenti atmağa başladıq. 6 ay ərzində biz qalan hər şeydən tamamilə imtina etdik. Bizdə bir ClickHouse qalıb.

İqor, hesabata görə çox sağ olun. Xəritələrdə yolların qurulması funksionallığını çox bəyəndim. Yandex.Maps ilə və xüsusən də fərdi Yandex.Maps ilə inteqrasiya etməyi planlaşdırırsınız?

Google map əvəzinə inteqrasiya etməyə çalışdım, lakin Yandex.Maps-da qaranlıq mövzu tapmadım. Mən bir parça buraxdım. Əlavə etmək üçün geri çəkəcəyəm.

Slayd - Google xəritəsi. Burada xəritəni çəkən "DRAW_GMAPS" əmri var. "DRAW_YMAPS" əmri var, yəni Yandex.Map çəkə bilər. Amma əslində bu komanda altında Javascript var, yəni ClickHouse-dan əldə etdiyiniz məlumatlar burada yazdığınız Javascript-ə köçürülə bilər. Və onun çəkilməli olduğu bir çıxış sahəsi var. İstənilən qrafiki, yəni istənilən diaqramı, xəritəni çəkə bilərsiniz, öz komponentinizi çəkə bilərsiniz. Bundan əvvəl qrafiklərin özlərini çəkmək üçün başqa bir kitabxanam var idi.

Yəni displey funksionallığını fərdiləşdirmək üçün alət varmı?

Hər hansı. Bu nöqtələri götürüb yenidən rəngləyə bilərsiniz, onları qırmızı deyil, mavi, yaşıl edə bilərsiniz.

Hesabat üçün təşəkkür edirik! Alternativ sorğu alətlərini göstərən slaydınız var idi Basın Evi tablosunun, analitik hesabatların qurulması üçün. Siz işləməyə başlayanda bunu başa düşürəm ClickHouse, bu alətlər üçün heç bir adapter yazılmayıb. Maraqlıdır, niyə hansısa hazır alət üçün adapter yazmaq əvəzinə, öz alətinizi düzəltməyə qərar verdiniz? Düşünürəm ki, test redaktorunu dəyişdirmək sürətlidir. Niyə bu qədər iş görməyi seçdiniz?

Maraqlı bir məqam var - fakt budur ki, mən məlumat alimi deyil, texniki direktoram. Druidi tətbiq etməyə başlayanda məndə yol xəritəsindəki tapşırıqların təxminən 50%-i var idi - gəlin bunu hesablayaq və ya bunu hesablayaq və ya təhlil edək. Və məlum oldu ki, biz ClickHouse-u tətbiq etmişik. Və hər şeyi tez qurmağa başladı, saydı, yol xəritəsini tez bağladı. Və o vaxt başa düşdüm ki, məndə Data Science, verilənlərin vizuallaşdırılması üzrə biliyim yoxdur. Tabix məlumatların vizuallaşdırılmasını öyrənmək üçün bir növ mənim ev tapşırığımdır. Mən Zeppelini necə tamamlayacağıma baxırdım. Onun proqramlarına bir az da nifrətim var. Redaşı necə əlavə edəcəyimə baxdım, amma mənə normal redaktor kifayət etdi. SuperSet də mənim çox sevmədiyim bir dildə yazılmışdır. Və mən velosiped sürmək qərarına gəldim və belə oldu.

İqor, çəkmə sorğularını qəbul edirsən?

Bəli.

Hesabat üçün çox sağ olun! Və iki sual. Birincisi, siz çox yaltaq deyilsiniz javascript. Siz təmiz Javascript-də yazmısınız, yoxsa bu hansısa çərçivədir?*

Çılpaq Javascript-də daha yaxşıdır.

Beləliklə, hansı çərçivə?

Bucaqlı.

Aydındır. Və ikinci sual. Düşündünüzmü R и *Parlaq**?*

Hesab olunur. Oynadı.

Siz sadəcə adapter də yaza bilərsiniz.

Odur. Deyəsən, camaat bunu bacardı, amma əvvəlki suala cavab verdiyim kimi, bunu özüm də hiss etmək istədim.

* Xeyr, vizuallaşdırma haqqında, var.

Deyirsən ki, belə bir şey var və sənin üçün qrafik çəkəcək. Məlumatların vizuallaşdırılması kitabını açdım. Və düşündüm: “Gəlin bu məlumatları vizuallaşdırmağa çalışaq. Mən bunu özüm yazacam ki, o, məlumatları yenidən qura bilsin”. Mən data feed texnologiyasını daha yaxşı anlamağa başladım. Hazır bir komponent götürsəm, şəxsən ondan daha pis istifadə etməyi, yəni vizuallaşdırmanı öyrənərdim. Ancaq belə - bəli, R-ni bəyəndim, amma "R for Dummies" kitabını hələ oxumamışam.

Təşəkkür edirik!

Sadə sual. Bir boşqab, qrafiki tez boşaltmağın hər hansı bir yolu varmı?

CSV-yə, Excel-ə yüklənə bilər.

Məlumat yox, hazır cədvəl, hazır qrafik? Məsələn, səlahiyyətlilərə göstərmək üçün.

"Yüklə" düyməsi var və "Png, jpg formatında qrafiki yüklə" düyməsi var.

Təşəkkür edirik!

PS Mini tabix quraşdırma təlimatları

  • Download son buraxılış
  • Paketdən çıxarın, kataloqu kopyalayın build nginx kök_yolunda
  • Nginx qurun

Mənbə: www.habr.com

Добавить комментарий