ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Igor Strykhar-en 2017ko txostenaren transkripzioa ezagutzea gomendatzen dizut "ClickHouse - Visually Fast and Visual Data Analysis in Tabix".

Tabix proiektuko ClickHouserako web interfazea.
Ezaugarri nagusiak:

  • ClickHouse-rekin funtzionatzen du arakatzailetik zuzenean, software gehigarririk instalatu beharrik gabe;
  • Kontsulten editorea sintaxia nabarmentzen duena;
  • Agindua osatzea;
  • Kontsulten exekuzioaren azterketa grafikorako tresnak;
  • Kolore eskemak aukeran.
    ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar


ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Media2ko zuzendari teknikoa naiz. Albiste-trukeko albisteen agregatzailea gara. Gure bazkideengandik jasotzen ditugun datu asko gordetzen ditugu eta ClickHousen erregistratzen ditugu - segundoko 30 eskaera inguru.

Hauek dira datu hauek:

  • Albisteen klikak.
  • Albisteak agregatzailean erakusten.
  • Gure sarean pankartak erakusten.
  • Eta gertaerak gure kontagailutik erregistratzen ditugu, Yandex.Metrics-en antzekoa dena. Hau gure mikroanalitika da.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

ClickHouse baino lehen bizimodu bizia izan genuen. Asko sufritu genuen, datu hauek nonbait gorde eta nolabait aztertu nahian.

ClickHouse aurretik bizitza - infiniDB

InfiniDB izan genuen lehenengo gauza. 4 urtez gurekin bizi izan zen. Zailtasunez jarri genuen martxan.

  • Ez du onartzen clustering edo sharding. Lehenespenez, ez zuen horrelako gauza adimentsurik hasi.
  • Arazoak ditu datuak kargatzeko. CSV fitxategiak soilik kargatu zezakeen kontsola-erabilgarritasun espezifiko bat bakarrik eta nolabait oso ulertezina zen.
  • Datu-basea hari bakarrekoa da. Idatzi edo irakurri dezakezu. Baina datu kopuru handia prozesatzeko aukera ematen zuen.
  • Eta makulu interesgarri bat ere bazuen. Gauero zerbitzaria berrabiarazi behar zen, bestela ez zuen funtzionatuko.

Gurekin lan egin zuen 2016 amaierara arte, orduan erabat aldatu ginen ClickHousera.

Bizitza ClickHouse aurretik - Cassandra

InfiniDB hari bakarrekoa zenez, hari anitzeko datu-base moduko bat behar genuela erabaki genuen, aldi berean hari asko idatz genitzakeen.

Gauza interesgarri asko probatu genituen. Orduan Cassandra probatzea erabaki genuen. Cassandrarekin dena bikaina izan zen. 10 eskaera segundoko apustu bakoitzeko. 000 eskaera nonbait irakurtzeko.

Baina bere interesak ere bazituen. Hilean behin edo bi hilabetean behin, datu-base bat sinkronizatuta zeukan. Eta esnatu eta korrika egin behar izan nuen Cassandra konpontzera. Zerbitzariak banan-banan berrabiarazi. Eta dena leun eta eder bihurtu zen.

Life Before ClickHouse - Druida

Orduan konturatu ginen are datu gehiago idatzi behar ditugula. 2016an Druid ikusten hasi ginen.

Druid Javan idatzitako base ireki bat da. Oso zehatza. Eta klik-stream-a egokia zen gertaera-jarioren bat gorde behar dugunean eta gero gehitu edo txosten analitikoak egin behar ditugunean.

Druid-ek 0.9.X bertsioa zuen.

Datu-basea bera oso zaila da zabaltzea. Hori da azpiegituren konplexutasuna. Hedatzeko, burdina asko jarri behar zen. Eta burdina bakoitza bere eginkizunaren erantzule zen.

Datuak bertan kargatzeko, nolabaiteko xamanismoa aplikatu behar zen. OpenSource proiektu bat dago - Tranquility, korrontean gure datuak galdu dituena. Datuak bertan kargatu genituenean, galdu egin zituen.

Baina nolabait gauzatzen hasi ginen. Gu, beraiek injektatzen zuten trikuak bezala, baina kaktusa jaten jarraitu genuen, sartzen hasi ginen. Hilabete inguru behar izan genuen horretarako azpiegitura osoa prestatzeko. Hau da, zerbitzariak agindu, rolak konfiguratu eta hedapena guztiz automatizatu. Hau da, kluster erorketa gertatuz gero, bigarren klusterra automatikoki zabaldu dadin.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Baina orduan mirari bat gertatu zen. Oporretan nengoen eta nire lankideek esteka bat bidali didate habr, Yandexek ClickHouse irekitzea erabaki zuela dio. Saia gaitezen esaten dut.

Eta literalki 2 egunetan ClickHouse proba-kluster bat zabaldu genuen. Bertan datuak kargatzen hasi ginen. InfiniDB-rekin alderatuta, hau oinarrizkoa da; Druid-arekin alderatuta, hau oinarrizkoa da. Cassandrarekin alderatuta, oinarrizkoa ere bada. Zeren php-tik datuak Cassandra-ra kargatzen badituzu, hau ez da oinarrizkoa.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Zer lortu dugu? Errendimendua abiaduran. Datuak biltegiratzeko errendimendua. Hau da, diskoko espazio askoz gutxiago erabiltzen da. ClickHouse azkarra da, oso azkarra da beste produktuekin alderatuta.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Abian jarri zenean, Yandex-ek ClickHouse OpenSource-n argitaratu zuenean, kontsola bezero bat bakarrik zegoen. Gure SMI2 enpresan weberako bezero natibo bat egiten saiatzea erabaki genuen, nabigatzaile batetik orri bat ireki, eskaera bat idatzi eta emaitza lortu ahal izateko, eskaera asko idazten hasi ginen eta. Zaila da kontsolara idaztea. Eta gure lehen bertsioa egin genuen.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Eta iazko negutik gertuago, ClickHouse-rekin lan egiteko hirugarrenen tresnak agertzen hasi ziren. Hauek dira tresna hauek:

Tresna horietako batzuk errepasatuko ditut, hau da, lan egin ditudanak.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Tresna ona, baina Druidentzat. Druid aurkeztu zenean, SuperSet sentitu nuen. Gustatu zitzaidan. Druid batentzat, oso azkar funtzionatzen du.

Ez da egokia ClickHouserako. Hau da, egokitzen da, hasten da, baina oinarrizko kontsultak soilik prozesatzeko prest dago: SELECT gertaera, GROUP BY gertaera. Ez du onartzen ClickHouse sintaxi konplexuagoa.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Hurrengo tresna Apache Zeppelin da. Hau gauza ona eta interesgarria da. Obrak. Koadernoak, aginte-panelak onartzen ditu, aldagaiak onartzen ditu. Badakit ClickHouse komunitateko norbait erabiltzen ari dela.

Baina ez dago ClickHouse sintaxirako laguntzarik, hau da, kontsultak idatzi beharko dituzu kontsolan edo beste nonbait. Ondoren, egiaztatu guztiak funtzionatzen duela. Desegokia besterik ez da. Baina euskarri ona du aginte-taularako.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Hurrengo tresna Redash.IO da. Redash Interneten dago ostatatuta. Hau da, aurreko tresnak ez bezala, ez da instalatu behar. Eta hau datu-iturburu ezberdinetako datuak finkatzeko gaitasuna duen aginte-panela da. Hau da, ClickHousetik, MySQLtik, PostgreSQLtik eta beste datu-baseetatik igo dezakezu.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Duela hilabete besterik ez (2017ko martxoan) laguntza agertu zen Grafanan. Grafanan txostenak eraikitzen dituzunean, adibidez, zure hardwarearen egoeraren arabera edo metrika batzuen arabera, orain grafiko bera edo panel motaren bat eraiki dezakezu ClickHouse-ko datuetatik zuzenean. Oso erosoa da, eta etxean erabiltzen dugu. Horrek anomaliak aurkitzeko aukera ematen du. Hau da, zerbait gertatzen bada eta hardwareren bat erortzen bada edo tentsioa bada, orduan ikusi ahal izango duzu arrazoia datu hauek ClickHousen sartzea lortu badute.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Oso deserosoa egin zitzaidan tresna hauetan edo kontsolan idaztea. Eta gure lehen interfazea amaitzea erabaki nuen. Eta ideia EventSQL, SeperSet, Zeppelin-etik hartu nuen.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Zer nahi zenuen? Grafikoak lortu nahi nituen, editore hobetu bat, aholkuen hiztegietarako euskarria ezarri. ClickHouse-k ezaugarri bikaina duelako - hiztegiak dira. Baina zaila da hiztegiekin lan egitea, gordetako balioen formatua gogoratu behar duzulako, hau da, zenbaki bat edo kate bat den, etab. Eta askotan hiztegiak bere aldaera ezberdinetan erabiltzen ditugunez, nahiko zaila zen kontsultak idaztea.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

3 hilabete igaro dira gure lehen bertsioa kaleratu zenetik. 330 bat konpromiso egin nituen sukurtsal itxi batean eta Tabix lortu nuen.

Aurreko bertsioan ez bezala, ClickHouse-Frontend deitzen zena, izen sinple batera izena aldatzea erabaki nuen. Eta atera zen Tabix.

Zer agertu da?

Grafikoak marrazten ditu. ClickHouse SQL sintaxia onartzen du. Funtzioei buruzko aholkuak ematen ditu eta gauza interesgarri asko egin ditzake.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Hau da Tabix eskema orokorraren itxura. Ezkerrean zuhaitz bat dago. Erdian kontsulta-editorea dago. Eta azpian dago eskaera honen emaitza.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Jarraian, kontsulta-editoreak nola funtzionatzen duen erakutsiko dut.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Hemen, automatikoki osatzeak automatikoki funtzionatu zuen taulan eta galdeketan, hurrenez hurren, eremuen arabera automatikoki osatzea. Eta ezaugarrien aholkuak. Ctrl Sartu sakatzen baduzu, eskaera exekutatuko da edo huts egingo du errore batekin. Eskaerarik errazena Tabixera bidaltzen da eta emaitza lortzen da, hau da, ClickHouse-rekin azkar lan egin dezakezu.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Hiztegiak, esan bezala, gauza oso interesgarriak dira eta horrekin asko lantzen dugu. Eta horrek gauza asko egiteko aukera ematen zuen. Demagun hiri guztiak hiztegietan gordetzen ditugula. Hiriaren identifikatzailea eta hiriaren izena, bere latitudea eta longitudea gordetzen ditugu. Eta datu-basean hiriaren identifikatzailea bakarrik gordetzen dugu. Horren arabera, datuak oso gogor konprimitzen ditugu.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Gauza sinplea dela dirudi, baina ClickHousen oso modu interesgarrian laguntzen du. ClickHouse-k habiaraturiko elkarketak soilik onartzen dituelako, kontsulta nahikoa zabaltzen da. Eta parentesia irekitzen denean eta adierazpen luzeren bat doanean, kontsultaren tolestura bezalako gauza nahiko sinple batek kontsulta berarekin lan egitea errazten du. Eskaera batek 200-300 lerro zabal dituenean eta oso handia denean, asko aurrezten baita eskaera tolestuz eta gero lekuren bat bilatuz edo nolabait lokalizatuz.

Objektuen zuhaitza, kontsulta anitzak eta fitxak (13:46 bideoa https://youtu.be/w1-XsL3nbRg?t=826)

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Jarraian zuhaitzari eta fitxak erakutsiko dizkizut. Ezkerrean zuhaitz bat dago; gainean hainbat fitxa sor ditzakezu. Fitxak lan-eremu bat bezalakoak dira. Hainbat fitxa sor ditzakezu eta bakoitzari modu ezberdinean izendatu. Txosten bat eraikitzeko mini-sistema bat bezalakoa da.

Fitxak automatikoki gordetzen dira. Arakatzailea berrabiarazten baduzu, edo Tabix itxi edo irekitzen baduzu, dena gordeko da.

Laster-tekla egokia da (14:39ko bideoa https://youtu.be/w1-XsL3nbRg?t=879)

Teklak daude eta asko daude. Horietako batzuk jarri ditut hemen adibide gisa. Hau fitxa aldatzea da, eskaera bat exekutatu edo hainbat eskaera exekutatu.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Emaitza nola lan egin erakutsiko dizut. Eskaera bat bidaltzen dugu. Hemen sin, cos eta tg marrazten ditut. Emaitza nabarmendu dezakezu, hau da, zutabe baterako mapa tipiko bat marraztu dezakezu. Balio positiboak edo negatiboak nabarmendu ditzakezu. Edo, besterik gabe, margotu taulako elementu zehatz bat. Hau komenigarria da mahaia handia denean eta begiekin anomalia motaren bat aurkitu behar duzunean. Anomaliak bilatzen ari nintzenean, lerro batzuk nabarmendu nituen, elementu batzuk berdez edo gorriz.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Gauza interesgarri asko daude bertan. Adibidez, nola kopiatu Redmine Markdown-en. Emaitza nonbait kopiatu behar baduzu, oso erosoa da. Eremu bat hauta dezakezu, esan "Kopiatu Redminera" eta Redmine Markdown-en kopiatuko du edo Non kontsulta sortuko du.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Hurrengoa kontsultaren optimizazioa da. Behin ahaztu zait "data" eremua zehaztea. Eta ClickHousen nire eskaera prozesatu zen ez oso, oso azkar, baina azkar, hau da, segundo bat baino gutxiago. Zenbat lerro igaro zituen ikusi nuenean, beldurtu egin nintzen. Taula honetan ez dugu hainbeste errenkada idazten egun batean. Eskaera aztertzen hasi eta leku batean zita bat galdu nuela ikusi nuen. Hau da, ahaztu zait adieraztea ez dudala taula osoko daturik behar, epe zehatz baterako baizik.

Tabixek "Estatistikak" fitxa du, bidalitako eskaeren historia osoa gordetzen duena, hau da, bertan ikusi ahal izango duzu eskaera honek zenbat errenkada irakurri dituen eta zenbat denbora behar izan duen exekutatzeko. Horrek optimizazioa ahalbidetzen du.

Kontsultaren emaitzaren gainean taula dinamiko bat eraiki dezakezu. ClickHouse-ra eskaera bat bidali duzu eta datu batzuk jaso dituzu. Eta, ondoren, datu hauek saguarekin atera eta taula dinamiko bat eraiki daiteke.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Hurrengo gauza interesgarria grafikoak egitea da. Demagun eskaera hau dugula: sin for, cos 0tik 299ra. Eta marraztu ahal izateko, "Marraztu" fitxa hautatu behar duzu eta grafiko bat jasoko duzu zure sin eta cosekin.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Ardatz ezberdinetan zati dezakezu, hau da, bi grafiko marraz ditzakezu aldi berean elkarren ondoan. Idatzi komando bat eta bigarren agindua.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Histogramak marraz ditzakezu.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Grafiko matrize batean zati dezakezu.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Bero mapa bat eraiki dezakezu.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Egutegi termiko bat eraiki dezakezu. Bide batez, oso gauza erabilgarria urtebetez anomaliak aztertu behar dituzunean, hau da, leherketak edo tantak aurkitu behar dituzunean. Datuen bistaratzea honek lagundu dit horretan.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Hurrengoa Treemap da.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Sankeys grafiko interesgarria da. Streamgrahps edo River da. Baina Ibai deitzen diot. Gainera, edozein anomaliak bilatzeko aukera ematen du. Oso erosoa da. Bilaketarako erabiltzea gomendatzen dut.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Hurrengo gauza interesgarria mapa dinamikoaren errendatzea da. Zure datu-basean latitudea, longitudea gordeta badituzu eta, adibidez, hitzordu bat gordetzen baduzu, adibidez, kamioiak edo hegazkinak hegan egiten badituzu, helmugako bideak marraztu ditzakezu. Era berean, abiadura, iristen diren objektu horien tamaina ezarri dezakezu.

Baina mapa honek duen arazoa munduko mapa bat baino ez duela marrazten da, ez dago xehetasunik.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Geroago Google mapa gehitu nuen. Latitudea, longitudea gordetzen badituzu, emaitza Google mapan marraz dezakezu, baina hegazkinen laguntzarik gabe.

Emaitza lantzeko funtzio nagusiak aztertu ditugu, Tabix-en kontsulta batekin.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Hurrengoa zure ClickHouse zerbitzariaren analisia da. "Metrikoak" fitxa bereizi bat dago, non zutabe bakoitzeko gordetako datuen tamaina ikus dezakezun. Pantaila-argazkiak erakusten du "erreferentzia" eremu honek 730 Gb-ko zerbait okupatzen duela. Eremu honi uko egiten badiogu, orduan 700 GBko hiru zati gordeko ditugu, hau da, 2 TB inguru, behar ez ditugunak.

Kate batean gordetzen dugun "request_id" eremu bat ere badugu. Baina zenbakizko forman gordetzen hasten bagara, eremu hau kolosalki konprimituko da.

Zerbitzariaren konfigurazioa eta zure klusterreko nodoen zerrenda ere erakusten ditu.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Hurrengo fitxa neurketak dira. ClickHousetik denbora errealean sartzen dira eta zerbitzariaren egoera aztertzeko eta zer gertatzen den ulertzeko aukera ematen dute. Hau ez da Grafanaren ordezkoa. Hau beharrezkoa da azkar aztertzeko.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Hurrengo fitxa prozesuak dira. Horietatik zerbitzarian gertatzen ari dena uler dezakezu. Ulertu zer gertatzen den hor. Aldi bakoitzean irakurtzeko 200 GB behar zituen kontsulta bat nuen. Interfaze honi esker ikusi nuen. Harrapatu eta zuzendu. Eta 30 GB inguru atera ziren, hau da, errendimendua batzuetan.

ClickHouse Tabix-eko datuen analisi bisual eta azkarra da. Igor Stryhar

Eskerrik asko! Eta OpenSource-n dago

Amaitu dut. Eta, bide batez, OpenSource-n dago, doakoa da eta ez duzu deskargatu beharrik ere. Ireki arakatzaile batean eta dena funtzionatuko du.

Zure galderak

Igor, zer da hurrengoa? Non garatuko duzu tresna hau?

Dashboarding hurrengoa agertuko da, hau da, beharbada dashboarding agertuko da. Beste datu-base batzuekin integratzea. Hau egin dut, baina oraindik ez dut OpenSource-n argitaratu. MySQL eta agian PostgreSQL da. Hau da, Tabixetik eskaerak ClickHousera ez ezik, beste tresna batzuetara ere bidaltzeko aukera izango da.

Argi dago lan handia egin dela. Ideia guztiz osatua izan zen. Arakatzailean, itxuraz, edozein ardatzetan makuluak baztertzeko eta guztia azkar botatzeko egin zen. zarela entzun dut php funtzionatzen du, beraz, modurik errazena arakatzailea botatzea da eta nonahi funtzionatuko du. Ez dago galderarik horretarako. Galdera da. Asko egin da han benetan. Zenbat jende aritu zen lanean? Eta zenbat denbora behar izan zuen denak? Tresnek beraientzat normalean ez baitute funtzionalitate handirik.

Gure taldeko pertsona batek udatik udazkenera bitartean aritu zen lanean. Hau izan zen lehen bertsioa. Orduan 330 konpromiso egin nituen bakarrik. Ikusten duzuna, nire lankideak eta biok erditik egin dugu. 3 hilabetez, lehenengo bertsiotik azkenera arte, bakarrik egin nuen gehienetan. Baina ez dut oso ondo ezagutzen Javascript. Hau izan zen landu nuen Javascript proiektu bakarra eta espero dut azkena. Lortu dut, begiratu dut - oh, beldurra. Baina benetan nahi nuen produktua bukatzea eta hori gertatu zen.

Mila esker erreportajeagatik! Hau tresna bikaina da. EKIN Tableau alderatuta?

Eskerrik asko. Horregatik jarri zion izena Tabixek, lehen letrak berdinak direlako.

Lehiatzen ari zarelako?

Inbertsio handia izango da, lehiatuko gara.

Nola eskaini tresna honek guztiz ordezkatuko duena barne analistei saltzeko *Taula*? Zeintzuk izango dira argudioak?

Natiboki funtzionatzen du ClickHouse-rekin. Tableau probatu nuen, baina ezin duzu hiztegietarako eta antzekoetarako euskarririk idatzi bertan. Badakit jendeak nola lan egiten duen Tabixekin. Eskaera bat idazten dute, CSVra igo eta BIra igotzen dute. Eta dagoeneko zerbait egiten ari dira. Baina nekez imajinatzen dut nola egiten duten, tresna grafikoa delako. 5 lerro igo ditzake, 000 lerro gehienez, baina ez gehiago, bestela arakatzaileak ez du bizirik iraungo.

Hau da, murrizketa larri batzuk daude datu kopuruan, ezta?

Bai. Ezin dut imajinatu arakatzailearen pantailako zure taulara 10 errenkada igo nahi dituzunik. Zertarako?

Datuak azkar ikusteko interfaze bat izan nahi al da? Bihurritu pixka bat, bihurritu?

Bai, ikusi azkar nola funtzionatzen duen eta sortu laburpen-diagrama bat. Eta gero nonbait eman. Gure txosten sistema propioa dugu, eta hortik hartzen dut eskaera hau. Tabix-en marrazten dut eta gure erreportajera bidaltzen dut.

Eta beste galdera bat. Kohorte-analisia?

Eskaerak badaude, gehituko dugu.

Lehen aldiz erabiltzen hasi zinenean ClickHouse, zenbat denbora behar izan da ezartzeko clickhouse eta ekarriz ekoizpen estatuak?

Esan bezala, proba-kluster bat inplementatu dugu oso denbora gutxian. Bi egunetan desmuntatu genuen. Eta pare bat aste gehiagoz probatu genuen. Eta 3 hilabetetan ekoiztera iritsi ginen.Baina gure ETL genuen, hau da, datuak grabatzeko tresna bat. Eta ahal den guztian idatzi zigun. MongoDB, Cassandra, MySQL-en idatz dezake. Erraza izan zen ClickHousen idazten irakastea. Azkar ezartzeko prest zegoen azpiegitura bat genuen. 3 hilabetez lehenengo osagaia botatzen hasi ginen. 6 hilabetez, gainerako guztia erabat utzi genuen. ClickHouse bat geratzen zaigu.

Igor, eskerrik asko erreportajeagatik. Asko gustatu zait mapetan bideak eraikitzearen funtzionaltasuna. Yandex.Maps-ekin eta, bereziki, Yandex.Maps pertsonalizatuarekin integratzeko asmoa al duzu?

Google maparen ordez integratzen saiatu nintzen, baina Yandex.Maps-en ez nuen gai ilunrik aurkitu. Ez dizut zati bat esan. Atzera itzuliko dut gehitzeko.

Slide - Google mapa. Hemen "DRAW_GMAPS" komando bat dago, mapa bat marrazten duena. "DRAW_YMAPS" komando bat dago, hau da, Yandex.Map bat marraz dezake. Baina, hain zuzen ere, komando honen azpian Javascript dago, hau da, ClickHouse-tik lortzen dituzun datuak Javascript-era transferi daitezke, hemen idazten duzuna. Eta irteera eremu bat duzu non marraztu behar den. Edozein diagrama marraz dezakezu, hau da, edozein diagrama, mapa, zure osagaia marraz dezakezu. Aurretik, beste liburutegi bat nuen grafikoak beraiek marrazteko.

Hau da, ba al dago pantailaren funtzionaltasuna pertsonalizatzeko tresnarik?

Edozein. Puntu hauek hartu eta koloreztatu ditzakezu, ez gorri, urdin, berde bihurtuz.

Eskerrik asko erreportajeagatik! Kontsulta-tresna alternatiboak erakusten dituen diapositiba bat zenuen clickhouse aginte-panelak eraikitzeko, txosten analitikoak. Hori ulertzen dut lanean hasi zinen momentuan ClickHouse, ez da moldagailurik idatzi tresna hauetarako. Eta galdetzen diot zergatik erabaki zenuen zure tresna egitea, prest egindako tresnaren egokitzaile bat idatzi beharrean? Test editorea doitzea azkarra dela uste dut. Zergatik aukeratu zenuen hainbeste lan egitea?

Momentu interesgarri bat dago; kontua da zuzendari teknikoa naizela, eta ez datu-zientzialaria. Druid inplementatzen hasi ginenerako, zereginen %50 inguru neukan bide-orrian: kalkula dezagun hau, edo kalkula dezagun hau, edo azter dezagun hau. Eta ClickHouse inplementatu genuela ondorioztatu zen. Eta azkar dena eraikitzen hasi zen, zenbatu, azkar itxi zuen bere bide orria. Eta ordurako konturatu nintzen datuen zientziari buruzko ezagutza falta zitzaidala, datuen bistaratzeari buruz. Tabix nire etxeko lanaren modukoa da datuak bistaratzen ikasteko. Zeppelin nola osatu aztertzen ari nintzen. Ez dut apur bat bere programazioarekiko. Redash nola gehitu aztertu nuen, baina editore normal bat nahikoa zen niretzat. Eta SuperSet ere oso gustuko ez dudan hizkuntza batean idatzita dago. Eta hala erabaki nuen bizikletaz ibiltzea, eta hauxe gertatu zen.

Igor, onartzen al dituzu tira eskaerak?

Bai.

Mila esker erreportajeagatik! Eta bi galdera. Lehenik eta behin, ez zara oso lausengatzailea javascript. Javascript hutsean idatzi al duzu edo esparru moduko bat da?*

Hobe Javascript hutsean.

Orduan, zein esparru?

Angelukoa.

Garbi dago. Eta bigarren galdera. Kontuan hartu al duzu R и *Distiratsua**?*

Kontuan hartua. Jokatu.

Egokitzaile bat ere idatzi dezakezu.

Bera da. Badirudi komunitateak egin zuela, baina, aurreko galderari erantzunez, nik neuk sentitu nahi nuen.

* Ez, bistaratzeari buruz, badago.

Halakorik badela diozu eta grafiko bat marraztuko dizu. Datuak bistaratzeko liburu bat ireki nuen. Eta pentsatu nuen: “Saia gaitezen datu hauek ikusarazten. Nik neuk idatziko dut datuak berreraiki dezan». Eta datuen jarioaren teknologia hobeto ulertzen hasi nintzen. Eta prest egindako osagai bat hartuko banu, pertsonalki okerrago erabiltzen ikasiko nuke, hau da, bisualizazioa. Baina bai, R gustatu zait, baina oraindik ez dut irakurri "R for Dummies" liburua.

Eskerrik asko!

Galdera sinplea. Ba al dago plaka bat, grafiko bat azkar deskargatzeko modurik?

CSV-ra, Excel-era karga daiteke.

Datuak ez, baina prest egindako plaka bat, prest egindako grafiko bat? Adibidez, nagusiari erakusteko.

"Kargatu" botoia dago eta "Kargatu diagrama png-n, jpg-n" botoia dago.

Eskerrik asko!

PS Mini tabix instalatzeko argibideak

  • Download azken bertsioa
  • Deskonprimitu, kopiatu direktorioa build nginx root_path-en
  • Konfiguratu nginx

Iturria: www.habr.com

Gehitu iruzkin berria