ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Siūlau perskaityti Igorio Stryharo 2017 m. ataskaitos „ClickHouse – vizualiai greita ir aiški duomenų analizė Tabix“ stenogramą.

„ClickHouse“ žiniatinklio sąsaja „Tabix“ projekte.
Pagrindinės savybės:

  • Dirba su ClickHouse tiesiai iš naršyklės, nereikia diegti papildomos programinės įrangos;
  • Užklausų rengyklė su sintaksės paryškinimu;
  • Automatinis komandų užbaigimas;
  • Užklausų vykdymo grafinės analizės įrankiai;
  • Galima rinktis iš spalvų schemų.
    ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas


ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Esu SMI2 techninis direktorius. Esame naujienų mainų naujienų agregatorius. Mes saugome daug duomenų, kuriuos gauname iš partnerių ir registruojame ClickHouse – apie 30 000 užklausų per sekundę.

Tai tokie duomenys kaip:

  • Paspaudimai ant naujienų.
  • Naujienos rodomos kaupiklyje.
  • Reklamjuostės rodomos mūsų tinkle.
  • Mes registruojame įvykius iš savo skaitiklio, kuris yra panašus į Yandex.Metrica. Tai mūsų pačių mikroanalizė.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Prieš ClickHouse gyvenome labai įtemptai. Mes labai kentėjome, bandydami šiuos duomenis kažkur saugoti ir kažkaip analizuoti.

Gyvenimas prieš ClickHouse – infiniDB

Pirmas dalykas, kurį turėjome, buvo infiniDB. Ji pas mus gyveno 4 metus. Sunkiai jį paleidome.

  • Jis nepalaiko grupavimo ar skaidymo. Pagal numatytuosius nustatymus tokių protingų dalykų nebuvo.
  • Jai sunku įkelti duomenis. Tik tam tikra konsolės programa, kuri galėtų įkelti tik CSV failus ir tik kažkokiu labai neaiškiu būdu.
  • Duomenų bazė yra vienos gijos. Galėjai rašyti arba skaityti. Tačiau tai leido apdoroti didelį duomenų kiekį.
  • Ir ji taip pat turėjo įdomų ramentą. Kiekvieną vakarą serveris turėjo būti perkraunamas, kitaip jis neveiks.

Ji pas mus dirbo iki 2016 m. pabaigos, kai visiškai perėjome prie ClickHouse.

Gyvenimas prieš ClickHouse – Cassandra

Kadangi infiniDB buvo vienos gijos, nusprendėme, kad mums reikia tam tikros kelių gijų duomenų bazės, kurioje galėtume vienu metu rašyti daug gijų.

Išbandėme daug įdomių dalykų. Tada nusprendėme išbandyti Cassandra. Su Cassandra viskas buvo puiku. 10 000 užklausų per sekundę vienam pasiūlymui. 2 prašymų kažkur skaityti.

Tačiau ji turėjo ir savų interesų. Kartą per mėnesį arba kartą per du mėnesius ji patyrė duomenų bazės desinchronizavimą. O aš turėjau pabusti ir bėgti pataisyti Kasandros. Serveriai buvo paleisti iš naujo po vieną. Ir viskas tapo sklandu ir gražu.

Gyvenimas prieš ClickHouse – Druidą

Tada supratome, kad reikia parašyti dar daugiau duomenų. 2016 m. pradėjome žiūrėti Druidą.

Druid yra atvirojo kodo programinė įranga, parašyta Java. Labai konkretus. Ir jis buvo tinkamas clickstream, kai reikia saugoti kažkokį įvykių srautą ir tada juos apibendrinti arba daryti analitines ataskaitas.

Druidas turėjo 0.9.X versiją.

Pačią duomenų bazę labai sunku įdiegti. Tai yra infrastruktūros sudėtingumas. Norint jį dislokuoti, reikėjo sumontuoti daug, daug geležies. Ir kiekviena techninės įrangos dalis buvo atsakinga už savo atskirą vaidmenį.

Norint į jį įkelti duomenis, reikėjo panaudoti kažkokį šamanizmą. Yra atvirojo kodo projektas „Tranquility“, kuris sraute prarado mūsų duomenis. Kai įkėlėme duomenis į jį, jis juos prarado.

Bet kažkaip pradėjome tai įgyvendinti. Mes, kaip ežiukai, kurie vartojo narkotikus, bet toliau valgė kaktusą, pradėjome jį diegti. Visą infrastruktūrą tam paruošėme apie mėnesį. Tai yra, užsakykite serverius, konfigūruokite vaidmenis ir visiškai automatizuokite diegimą. Tai reiškia, kad klasterio gedimo atveju antrasis klasteris bus įdiegtas automatiškai.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Bet tada įvyko stebuklas. Aš atostogavau ir mano kolegos man atsiuntė nuorodą habr, kuriame rašoma, kad „Yandex“ nusprendė atidaryti „ClickHouse“. Sakau, pabandykime.

Ir pažodžiui per 2 dienas įdiegėme ClickHouse bandymų grupę. Pradėjome krauti duomenis į jį. Palyginti su infiniDB, tai yra elementaru; palyginti su Druid, tai yra elementaru. Palyginti su Cassandra, tai taip pat elementaru. Nes jei įkeliate duomenis iš PHP į Cassandra, tai nėra elementaru.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Ką mes gavome? Spektaklis greičiu. Duomenų saugojimo našumas. Tai reiškia, kad naudojama daug mažiau vietos diske. ClickHouse yra greitas, jis yra labai greitas, palyginti su kitais produktais.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Paleidimo metu, kai „Yandex“ paskelbė „ClickHouse“ atvirajame šaltinyje, buvo tik konsolės klientas. Mes savo įmonėje SMI2 nusprendėme pabandyti sukurti vietinį internetinį klientą, kad galėtume atidaryti puslapį iš naršyklės, parašyti užklausą ir gauti rezultatą, nes pradėjome rašyti daug užklausų. Rašyti konsolėje sunku. Ir mes sukūrėme savo pirmąją versiją.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

O kažkur arčiau praėjusių metų žiemos pradėjo pasirodyti trečiųjų šalių įrankiai darbui su ClickHouse. Tai tokie įrankiai kaip:

Pažiūrėsiu į kai kuriuos iš šių įrankių, ty tuos, su kuriais dirbau.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Geras įrankis, bet skirtas Druidui. Kai „Druid“ buvo įdiegtas, aš išbandžiau „SuperSet“. Man jis patiko. Druidui tai labai greita.

Jis netinka ClickHouse. Tai yra, jis tinka, paleidžiamas, bet yra pasirengęs apdoroti tik elementarias užklausas, tokias kaip: SELECT event, GROUP BY įvykis. Ji nepalaiko sudėtingesnės ClickHouse sintaksės.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Kitas įrankis yra Apache Zeppelin. Tai geras ir įdomus dalykas. Veikia. Jis palaiko nešiojamuosius kompiuterius, prietaisų skydelius ir palaiko kintamuosius. Žinau, kad kažkas iš ClickHouse bendruomenės tuo naudojasi.

Bet ClickHouse sintaksė nepalaikoma, ty užklausas turėsite rašyti arba konsolėje, arba kur nors kitur. Tada patikrinkite, ar viskas veikia. Tai tiesiog nepatogu. Tačiau jis turi gerą prietaisų skydelio palaikymą.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Kitas įrankis yra Redash.IO. Redash yra talpinamas internete. Tai yra, skirtingai nuo ankstesnių įrankių, jo nereikia įdiegti. Ir tai yra prietaisų skydelis su galimybe konsoliduoti duomenis iš skirtingų duomenų šaltinių. Tai yra, galite atsisiųsti iš ClickHouse, MySQL, PostgreSQL ir kitų duomenų bazių.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Vos prieš mėnesį (2017 m. kovo mėn.) „Grafana“ pasirodė palaikymas. Kai „Grafana“ kuriate ataskaitas, pavyzdžiui, apie aparatinės įrangos būseną arba kai kurias metrikas, dabar galite sukurti tą patį grafiką arba tam tikrą skydelį tiesiogiai iš „ClickHouse“ duomenų. Tai labai patogu ir naudojame patys. Tai leidžia aptikti anomalijas. Tai yra, jei kažkas atsitiks ir kai kuri aparatinė įranga nukrenta arba įsitemps, galite pažvelgti į priežastį, ar šie duomenys sugebėjo patekti į ClickHouse.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Man buvo labai nepatogu rašyti šiuose įrankiuose ar pulte. Ir aš nusprendžiau patobulinti mūsų pirmąją sąsają. O idėją gavau iš EventSQL, SeperSet, Zeppelin.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Ko tu norėjai? Norėjau gauti grafiką, patobulintą redaktorių ir įdiegti užuominų žodynų palaikymą. Nes ClickHouse turi puikią funkciją – žodynus. Tačiau sunku dirbti su žodynais, nes reikia atsiminti saugomų reikšmių formatą, t.y. ar tai skaičius, ar eilutė ir pan. O kadangi dažnai naudojame žodynus įvairiais jų variantais, buvo gana sunku rašyti užklausas.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Nuo pirmosios versijos išleidimo praėjo 3 mėnesiai. Aš padariau apie 330 įsipareigojimų privačiam filialui ir paaiškėjo, kad tai yra Tabix.

Skirtingai nuo ankstesnės versijos, kuri vadinosi ClickHouse-Frontend, nusprendžiau ją pervadinti paprastu pavadinimu. Ir pasirodė „Tabix“.

Kas pasirodė?

Piešia grafikus. Palaiko ClickHouse SQL sintaksę. Pataria dėl funkcijų ir gali nuveikti daug įdomių dalykų.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Taip atrodo bendra Tabix schema. Kairėje pusėje yra medis. Centre yra užklausų rengyklė. O žemiau – šio prašymo rezultatas.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Toliau parodysiu, kaip veikia užklausų rengyklė.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Čia automatinis užbaigimas automatiškai veikia lentelėje ir atitinkamai ragina automatiškai užpildyti laukus. Ir užuominos apie funkcijas. Jei paspausite ctrl enter, užklausa bus įvykdyta arba nepavyks su klaida. Paprasčiausia užklausa siunčiama Tabix ir gaunamas rezultatas, t.y. galite greitai dirbti su ClickHouse.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Žodynai, kaip jau sakiau, yra labai įdomus dalykas, su kuriuo mes daug dirbame. Ir tai leido mums padaryti daug dalykų. Tarkime, visus miestus saugome žodynuose. Saugome miesto identifikatorių ir miesto pavadinimą, platumą ir ilgumą. O duomenų bazėje saugome tik miesto identifikatorių. Atitinkamai labai stipriai suspaudžiame duomenis.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Atrodo, kad tai paprastas dalykas, bet labai įdomiai padeda ClickHouse. Dėl to, kad ClickHouse palaiko tik įdėtuosius sujungimus, užklausa auga žemyn ir pakankamai plati. O kai atsidaro skliaustas ir atsiranda kokia nors ilga išraiška, toks paprastas dalykas kaip užklausos sutraukimas palengvina darbą su pačia užklausa. Nes kai užklausa yra 200-300 eilučių ilgio ir labai didelio pločio, labai naudinga užklausą sutraukti ir tada surasti kokią nors vietą ar kaip nors lokalizuoti.

Objektų medis, daugialypės užklausos ir skirtukai (Vaizdo įrašas 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Toliau aš jums parodysiu apie medį ir skirtukus. Kairėje yra medis, viršuje galite sukurti kelis skirtukus. Skirtukai yra kaip darbo vieta. Galite sukurti kelis skirtukus ir kiekvieną pavadinti skirtingai. Tai tarsi mini sistema ataskaitai kurti.

Skirtukai išsaugomi automatiškai. Jei iš naujo paleisite naršyklę arba uždarysite arba atidarysite „Tabix“, visa tai bus išsaugota.

Spartusis klavišas – patogus (Vaizdo įrašas 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

Yra greitųjų klavišų ir jų yra gana daug. Kai kuriuos iš jų pateikiau kaip pavyzdį. Tai yra skirtukų perjungimas, užklausos vykdymas arba kelių užklausų vykdymas.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Aš jums parodysiu, kaip dirbti su rezultatu. Siunčiame užklausą. Čia aš piešiu nuodėmę, cos ir tg. Galite paryškinti rezultatą, t. y. nubrėžti tipinį stulpelio žemėlapį. Galite pabrėžti teigiamas arba neigiamas vertybes. Arba tiesiog nuspalvinkite konkretų stalo elementą. Tai patogu, kai stalas didžiulis ir reikia akimis surasti kokią nors anomaliją. Kai ieškojau anomalijų, kai kurias linijas, kai kuriuos elementus paryškinau žalia ar raudona spalva.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Ten yra daug įdomių dalykų. Pavyzdžiui, kaip nukopijuoti į Redmine Markdown. Jei reikia kur nors nukopijuoti rezultatą, tai labai patogu. Galite tiesiog pasirinkti sritį, pasakyti „Kopijuoti į Redmine“ ir ji nukopijuos į Redmine Markdown arba sukurs užklausą Kur.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Kitas yra užklausos optimizavimas. Kartą pamiršau nurodyti laukelį „data“. Ir mano užklausa ClickHouse buvo apdorota ne labai labai greitai, o greitai, t.y. mažiau nei per sekundę. Kai pamačiau, kiek eilučių jis perbėgo, išsigandau. Per dieną į šią lentelę neparašome tiek daug eilučių. Pradėjau analizuoti prašymą ir pamačiau, kad vienoje vietoje praleidau pasimatymą. Tai yra, pamiršau nurodyti, kad man reikia ne visos lentelės, o konkretaus laikotarpio duomenų.

„Tabix“ turi skirtuką „Statistika“, kuriame saugoma visa išsiųstų užklausų istorija, t. y. ten galite matyti, kiek eilučių perskaitė ši užklausa ir kiek laiko užtruko jos vykdymas. Tai leidžia optimizuoti.

Galite sukurti suvestinę lentelę virš užklausos rezultato. Išsiuntėte užklausą „ClickHouse“ ir gavote tam tikrų duomenų. Tada galite perkelti šiuos duomenis su pele ir sukurti tam tikrą sukimosi lentelę.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Kitas įdomus dalykas yra planavimas. Tarkime, turime tokį prašymą: už sin, cos nuo 0 iki 299. O norint jį nupiešti, reikia pasirinkti skirtuką "Brėžti" ir gausite grafiką su savo nuodėme ir cos.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Galite padalyti tai į skirtingas ašis, t. y. galite nubrėžti du grafikus greta vienu metu. Parašykite vieną komandą ir antrą komandą.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Galite piešti histogramas.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Tai galite suskaidyti į grafikų matricą.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Galite sukurti šilumos žemėlapį.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Galite sukurti terminį kalendorių. Beje, tai labai patogus dalykas, kai reikia analizuoti anomalijas per metus, t.y., rasti arba spyglius, arba kritimus. Ši duomenų vizualizacija man padėjo tai padaryti.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Kitas yra medžio žemėlapis.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Sankeys yra įdomi diagrama. Jis yra Streamgrahps arba River. Bet aš tai vadinu upe. Tai taip pat leidžia ieškoti bet kokių anomalijų. Tai labai patogu. Rekomenduoju jį naudoti paieškai.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Kitas įdomus dalykas yra dinaminio žemėlapio piešimas. Jei savo duomenų bazėje saugote platumą, ilgumą ir, tarkime, kelionės tikslą, jei, pavyzdžiui, skraidote sunkvežimiais ar lėktuvais, galite nubrėžti paskirties kelius. Taip pat čia galite nustatyti šių objektų, į kuriuos jie skrenda, greitį ir dydį.

Tačiau šio žemėlapio problema yra ta, kad jis nubraižo tik pasaulio žemėlapį, nėra jokios detalės.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Vėliau pridėjau Google žemėlapį. Jei išsaugosite platumą, ilgumą, galite nubrėžti rezultatą „Google“ žemėlapyje, bet be lėktuvo palaikymo.

Aptarėme pagrindines darbo su rezultatais ir užklausomis „Tabix“ funkcijas.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Kitas yra jūsų ClickHouse serverio analizė. Yra atskiras skirtukas „Metrika“, kuriame galite matyti kiekvieno stulpelio saugomų duomenų dydį. Ekrano kopijoje matyti, kad šis „nukreipimo“ laukas užima apie 730 Gb. Jei atsisakysime šio lauko, sutaupysime tris šukes po 700 GB, t.y., apie 2 TB, kurių mums nereikia.

Taip pat turime lauką „request_id“, kurį saugome eilutėje. Bet jei pradėsime jį saugoti skaitine forma, šis laukas labai susitrauks.

Taip pat rodoma serverio konfigūracija ir jūsų klasterio mazgų sąrašas.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Kitas skirtukas yra metrika. Jie patenka į realiu laiku su ClickHouse ir tiesiog leidžia analizuoti serverio būseną ir suprasti, kas su juo vyksta. Tai nepakeičia visos Grafana. Tai būtina norint atlikti greitą analizę.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Kitas skirtukas yra procesai. Iš jų galite suprasti, kas vyksta serveryje. Suprask, kas ten vyksta. Turėjau prašymą, kuris kiekvieną kartą sunaudojo 200 GB skaitymo. Tai pamačiau šios sąsajos dėka. Aš jį pagavau ir pataisiau. Ir pasirodė, kad tai yra apie 30 GB, t.y. kartais našumas.

ClickHouse – vizualiai greita ir intuityvi duomenų analizė Tabix. Igoris Stryharas

Ačiū! Ir tai yra OpenSource

Aš baigiau. Ir, beje, tai yra OpenSource, jis nemokamas ir jums jo net nereikia atsisiųsti. Atidarykite jį naršyklėje ir viskas veiks.

Klausimai

Igori, kas toliau? Kur kursite šį įrankį?

Tada atsiras prietaisų skydeliai, t. y. galbūt pasirodys prietaisų skydeliai. Integracija su kitomis duomenų bazėmis. Aš tai padariau, bet dar nepaskelbiau „OpenSource“. Tai yra „MySQL“ ir galbūt „PostgreSQL“. Tai yra, užklausas iš „Tabix“ bus galima siųsti ne tik „ClickHouse“, bet ir į kitus įrankius.

Akivaizdu, kad atliktas didžiulis darbas. Tai pasirodė gana išbaigta idėja. Tai buvo padaryta naršyklėje, matyt, siekiant pašalinti ramentus ant visų rūšių ašių ir greitai viską sumesti. Aš girdėjau, kad esate prisijungę PHP darbą, todėl paprasčiausias būdas yra įvesti jį naršyklėje ir jis veiks visur. Klausimų šiuo klausimu nekyla. Klausimas toks. Ten tikrai daug nuveikta. Kiek žmonių prie to dirbo? Ir kiek laiko viskas užtruko? Kadangi pasirinktiniai įrankiai paprastai neturi tiek daug funkcijų.

Vienas žmogus iš mūsų komandos dirbo nuo vasaros iki rudens. Tai buvo pirmoji versija. Tada aš vienas padariau 330 įsipareigojimų. Ką matote, mes su kolega padarėme per pusę. Per 3 mėnesius, nuo pat pirmos versijos iki paskutinės, dažniausiai tai dariau vienas. Bet aš nelabai žinau Javascript. Tai buvo mano vienintelis ir, tikiuosi, paskutinis mano „Javascript“ projektas, su kuriuo dirbau. Supratau, pažiūrėjau – o, siaubas. Bet aš labai norėjau baigti gaminį ir taip nutiko.

Labai ačiū už pranešimą! Tai puiki priemonė. SU Scēna Ar palyginote?

Ačiū. Todėl ir pavadinau Tabix, nes pirmosios raidės vienodos.

Nes tu konkuruoji?

Bus daug investicijų, konkuruosime.

Kaip galite pasiūlyti parduoti vidiniams analitikams, kad šis įrankis visiškai pakeistų *Stalas*? Kokie bus argumentai?

Iš esmės veikia su ClickHouse. Bandziau Tableau, bet ten nerasi parasyti zodynams ir pan. Žinau, kaip žmonės dirba su Tabix. Jie parašo užklausą, įkelia ją į CSV ir įkelia į BI. Ir jie ten jau kažką daro. Bet man sunku įsivaizduoti, kaip jie tai daro, nes tai yra grafinis įrankis. Jis gali iškrauti 5 eilučių, daugiausia 000 eilučių, bet ne daugiau, kitaip naršyklė nesusitvarkys.

Tai yra, yra keletas rimtų duomenų kiekio apribojimų, tiesa?

Taip. Neįsivaizduoju, kad norėsite į savo lentelę į naršyklės ekraną įkelti 10 000 eilučių. Kam?

Ar tai reiškia, kad tai sąsaja, skirta greitai peržiūrėti duomenis? Truputį pasukti, pasukti?

Taip, greitai pamatysite, kaip tai veikia, ir tiesiog sukurkite suvestinę grafiką. Ir tada kur nors atiduok. Turime savo ataskaitų teikimo sistemą, iš kurios aš tiesiog paimu šį prašymą. Piešiu Tabix ir siunčiu į mūsų reportažus.

Ir kitas klausimas. Grupės analizė?

Jei bus pageidavimų, pridėsime.

Kada tik pradėjai jį naudoti? ClickHouse, kiek laiko užtruko diegimas? „ClickHouse“ ir atvežti į gamybos būsena?

Kaip jau sakiau, bandymo klasterį įdiegėme per labai trumpą laiką. Mes jį įdiegėme per dvi dienas. Ir dar porą savaičių išbandėme. O gamybą pasiekėme per 3 mėnesius.. Bet turėjome savo ETL, t.y. įrankį duomenims įrašyti. Ir rašė viską, ką galėjo. Jis gali rašyti MongoDB, Cassandra, MySQL. „ClickHouse“ buvo lengva išmokyti jį rašyti. Turėjome paruoštą infrastruktūrą greitam įgyvendinimui. Per 3 mėnesius pradėjome išmesti pirmąjį komponentą. Per 6 mėnesius mes visiškai atsisakėme viso kito. Mums liko tik vienas ClickHouse.

Igori, labai ačiū už pranešimą. Man labai patiko kelių tiesimo naudojant žemėlapius funkcionalumas. Ar yra kokių nors planų integruoti su „Yandex.Maps“ ir ypač su pasirinktiniu „Yandex.Maps“?

Bandžiau integruoti vietoj „Google“ žemėlapio, bet „Yandex.Maps“ neradau tamsios temos. Aš tau nesakiau nė vienos dalies. Atsuksiu atgal, kad pridėčiau.

Skaidrė – Google žemėlapis. Yra komanda „DRAW_GMAPS“, kuri nubraižo žemėlapį. Yra komanda „DRAW_YMAPS“, ty ji gali nupiešti „Yandex.Map“. Bet iš tikrųjų pagal šią komandą yra „Javascript“, ty duomenis, kuriuos gaunate iš „ClickHouse“, galima perkelti į „Javascript“, kurį rašote čia. Ir jūs turite išvesties sritį, kurioje ji turėtų būti nubrėžta. Galite nubraižyti bet kokį grafiką, t.y. bet kokį grafiką, žemėlapį, galite nupiešti savo komponentą. Prieš tai turėjau kitą biblioteką, skirtą patiems grafikams braižyti.

Tai yra, ar yra ekrano funkcijų tinkinimo įrankis?

Bet koks. Galite paimti ir perspalvinti šiuos taškus, kad jie būtų ne raudoni, o mėlyni, žali.

Ačiū už pranešimą! Turėjote skaidrę, kurioje buvo pateikti alternatyvūs užklausos įrankiai „ClickHouse“ prietaisų skydams ir analitinėms ataskaitoms kurti. Suprantu tai tuo metu, kai pradėjote dirbti su ClickHouse, šiems įrankiams adapterių neparašyta. Ir man įdomu, kodėl nusprendėte pasidaryti savo įrankį, o ne parašyti adapterį kokiam nors paruoštam įrankiui? Manau, kad bandymo rengyklės koregavimas yra greitas. Kodėl nusprendei atlikti tiek daug darbo?

Čia yra įdomus dalykas – faktas yra tas, kad aš esu technikos direktorius, o ne duomenų mokslininkas. Tuo metu, kai pradėjome diegti Druidą, mano planas turėjo apie 50% užduočių – paskaičiuokime tai, paskaičiuokime tai, arba analizuosime tai. Ir pasirodė, kad įdiegėme ClickHouse. Ir jis pradėjo greitai viską kurti, skaičiuoti ir greitai uždarė savo planą. Ir tuo metu supratau, kad man trūksta duomenų mokslo ir duomenų vizualizacijos žinių. „Tabix“ yra savotiškas mano namų darbas, skirtas mokytis duomenų vizualizavimo. Ieškojau, kaip papildyti Zeppelin. Aš šiek tiek nemėgstu jo programavimo. Redash pažiūrėjau kaip pridėti, bet man pakako normalaus redaktoriaus. Ir SuperSet taip pat parašyta kalba, kurios aš nelabai mėgstu. Taigi nusprendžiau važiuoti dviračiu, ir taip nutiko.

Igori, ar priimate „Pull“ užklausas?

Taip.

Labai ačiū už pranešimą! Ir du klausimai. Pirma, jūs nekalbate labai glostyviai Javascript. Ar rašėte plika Javascript, ar tai kažkokia sistema?*

Geriau su plika Javascript.

Taigi, kokia sistema?

Kampinis.

Tai aišku. Ir antras klausimas. Ar svarstėte R и *Blizgantis**?*

Svarstė. Žaidė.

Taip pat galite tiesiog parašyti adapterį.

Jis yra. Atrodo, kad bendruomenė tai padarė, bet, kaip atsakiau į ankstesnį klausimą, norėjau tai išbandyti ir pati.

* Ne, kalbant apie vizualizaciją, ji taip pat yra.

Jūs sakote, kad yra toks dalykas, ir jis nupieš jums grafiką. Atsiverčiau knygą apie duomenų vizualizavimą. Ir aš pagalvojau: „Leiskite man pabandyti įsivaizduoti šiuos duomenis. Aš jam parašysiu, kad jis galėtų atkurti duomenis. Ir aš pradėjau geriau suprasti duomenų tiekimo technologiją. Ir jei būčiau paėmęs paruoštą komponentą, aš asmeniškai būčiau prasčiau išmokęs jį naudoti, tai yra vizualizaciją. Bet taip, man patiko R, bet knygos „R for Dummies“ dar neskaičiau.

Dėkojame!

Paprastas klausimas. Ar yra kokių nors būdų greitai įkelti ženklą ar tvarkaraštį?

Galima įkelti į CSV arba Excel.

Ne duomenys, o paruošta plokštelė, paruoštas grafikas? Pavyzdžiui, parodyti viršininkui.

Yra mygtukas „Įkelti“ ir yra mygtukas „Įkelti grafiką png, jpg“.

Dėkojame!

PS Mini tabix diegimo instrukcijos

  • parsisiųsti naujausias leidimas
  • Išpakuokite, nukopijuokite katalogą build nginx root_path
  • Konfigūruoti nginx

Šaltinis: www.habr.com

Добавить комментарий