Aʻoaʻoga ma faʻataʻitaʻiga o le faʻaaogaina o ClickHouse i faʻaoga moni. Alexander Zaitsev (2018)

E ui lava i le mea moni o loʻo i ai nei le tele o faʻamatalaga toetoe o soʻo se mea, o faʻamaumauga faʻamaumauga e matua ese lava. Latou te le iloa lelei ma sili atu ona leaga e mafai ona faʻaoga lelei. O le toʻatele o loʻo faʻaauau pea ona "ai cactus" ma MySQL poʻo PostgreSQL, lea ua mamanuina mo isi faʻaaliga, mafatia i le NoSQL, poʻo le sili atu le totogi mo fofo faʻapisinisi. O le ClickHouse e suia tulafono o le taʻaloga ma faʻaititia tele le faʻailoga mo le ulufale atu i le lalolagi o suʻesuʻega DBMS.

Lipoti mai BackEnd Conf 2018 ma lomia fa'atasi ma le fa'atagaga a le failauga.

O ai aʻu ma aisea ua ou talanoa ai e uiga i le ClickHouse? O aʻu o se faʻatonu atinaʻe i LifeStreet, lea e faʻaaogaina ClickHouse. E le gata i lea, o aʻu o le faʻavae o Altinity. O se paaga a Yandex e fa'alauiloa le ClickHouse ma fesoasoani ia Yandex e fa'amalieina atili le ClickHouse. Sauni fo'i e fa'asoa le malamalama e uiga i le ClickHouse.

Ma e le o aʻu o le uso o Petya Zaitsev. E masani ona fesiligia au e uiga i lenei mea. E leai, e lē o i tatou o ni uso.

"Ua iloa e tagata uma" lena ClickHouse:

• vave tele,
• Matua lelei
• Faʻaaogaina i Yandex.

E itiiti ifo le iloa poʻo fea kamupani ma pe faʻapefea ona faʻaaogaina.

O le a ou taʻu atu ia te oe pe aisea, o fea ma pe faʻafefea ona faʻaogaina le ClickHouse, sei vagana ai Yandex.

O le a ou taʻuina atu ia te oe pe faʻafefea ona foia galuega faʻapitoa i le fesoasoani a ClickHouse i kamupani eseese, mea meafaigaluega ClickHouse e mafai ona e faʻaogaina mo au galuega, ma pe faʻapefea ona faʻaaogaina i kamupani eseese.

Na ou pikiina ni faʻataʻitaʻiga se tolu e faʻaalia ai le ClickHouse mai itu eseese. Ou te manatu o le a manaia.

Ole fesili muamua ole: "Aisea tatou te manaʻomia ai le ClickHouse?". E foliga mai o se fesili manino lava, ae e sili atu ma le tasi le tali i ai.

• O le tali muamua e mo le faatinoga. ClickHouse e vave tele. O faʻamatalaga ile ClickHouse e vave tele foi. E masani ona faʻaaogaina i se isi mea e telegese pe leaga tele.
• O le tali lona lua o le tau. Ma o le mea muamua lava, o le tau o le faʻavasegaina. Mo se faʻataʻitaʻiga, o Vertica o se faʻamaumauga sili ona lelei. E aoga tele pe afai e le tele au terabytes o faʻamaumauga. Ae a o'o i le fiaselau o terabytes po'o petabytes, o le tau o se laisene ma le lagolago e alu i se aofaiga taua tele. Ma e taugata. Ma ClickHouse e leai se totogi.
• O le tali lona tolu o le tau o galuega. E ese teisi lea faiga. RedShift o se analog sili. I luga o le RedShift, e mafai ona e faia vave se filifiliga. O le a aoga lelei, ae i le taimi lava e tasi, itula uma, aso uma, ma masina uma, o le a e totogia tele Amazon, aua o se auaunaga taugata tele. Google BigQuery fo'i. Afai na faʻaaogaina e se tasi, ona ia iloa lea o iina e mafai ona e faʻatautaia ai le tele o talosaga ma maua ai se pili mo le selau o tala faʻafuaseʻi.

ClickHouse e le o iai nei faʻafitauli.

O fea o loʻo faʻaogaina ai le ClickHouse i le taimi nei? I le faaopoopo atu i le Yandex, ClickHouse e faʻaaogaina i le tele o pisinisi ma kamupani eseese.

• Muamua lava, o le upega tafaʻilagi lea o suʻesuʻega, o lona uiga o se faʻaoga faʻaoga lea na sau mai Yandex.
• Tele kamupani AdTech e faʻaaogaina ClickHouse.
• Tele kamupani e manaʻomia le suʻeina o faʻamaumauga o fefaʻatauaiga mai punaoa eseese.
• E tele kamupani latou te faʻaogaina le ClickHouse e mataʻituina ogalaau saogalemu. Latou te lafoina i latou i ClickHouse, faia lipoti, ma maua iʻuga latou te manaʻomia.
• Kamupani ua amata ona faʻaaogaina i suʻesuʻega tau tupe, o lona uiga o loʻo faasolosolo malie atu pisinisi tetele o loʻo latalata atu foi i le ClickHouse.
• cloudflare. Afai e mulimuli se tasi i le ClickHouse, atonu na latou faʻalogo i le igoa o lenei kamupani. O se tasi lea o sao taua mai le afioaga. Ma o loʻo i ai a latou faʻapipiʻi ClickHouse ogaoga. Mo se faʻataʻitaʻiga, na latou faia Kafka Engine mo ClickHouse.
• Na amata ona faʻaogaina e kamupani fesoʻotaʻiga. E tele kamupani latou te fa'aogaina le ClickHouse e fai ma fa'amaoniga ile manatu po'o ua uma ona gaosia.
• E tasi le kamupani e faʻaaogaina le ClickHouse e mataʻituina le gaosiga o gaioiga. Latou te suʻeina microcircuits, tusi ese le tele o faʻamau, e tusa ma le 2 uiga. Ona latou iloilo lea pe lelei pe leaga le taaloga.
• Su'ega poloka poloka. O loʻo i ai se kamupani Rusia e pei o Bloxy.info. Ole su'esu'ega lea ole ethereum network. Na latou faia foi lenei mea ile ClickHouse.

Ma e le afaina le tele. E tele kamupani o loʻo faʻaogaina se tasi server laʻititi. Ma e na te faatagaina i latou e foʻia o latou faafitauli. Ma e sili atu kamupani faʻaaogaina fuifui tetele o le tele o sapalai poʻo le tele o sapalai.

Ma afai e te vaʻai i faʻamaumauga, ona:

• Yandex: 500+ servers, latou te teuina 25 piliona faamaumauga i le aso iina.
• LifeStreet: 60 'auʻaunaga, tusa ma le 75 piliona faʻamaumauga i le aso. E itiiti sapalai, sili atu faʻamaumauga nai lo Yandex.
• CloudFlare: 36 'auʻaunaga, latou te faʻasaoina 200 piliona faʻamaumauga i le aso. E itiiti lava a latou 'au'aunaga ma teuina atili fa'amaumauga.
• Bloomberg: 102 'auʻaunaga, tusa ma le tiliona faʻamaumauga i le aso. Tagata fa'amaumauga.

Fa'afanua, e tele fo'i lenei mea. O lenei faʻafanua o loʻo faʻaalia ai se faʻafanua vevela o loʻo faʻaogaina ai le ClickHouse i le lalolagi. Lusia, Saina, Amerika e tu matilatila iinei. E toaitiiti atunuu Europa. Ma e 4 fuifui.

Ole su'esu'ega fa'atusatusa lea, e le mana'omia le su'eina o fuainumera fa'ato'a. O se suʻesuʻega lea o tagata asiasi e faitau mea faʻaPeretania i luga o le upega tafaʻilagi a Altinity, aua e leai ni gagana Rusia iina. Ma Rusia, Iukureini, Belarus, o lona uiga o le gagana Rusia o le alalafaga, o le tele lea o tagata faʻaoga. Ona sau ai lea o le US ma Kanata. O Saina o loʻo matuaʻi tuliloa. Toeititi lava leai se Saina iina i le ono masina talu ai, o lea ua uma ona maua e Saina Europa ma faʻaauau pea ona tupu. O Europa tuai e le o mamao foi i tua, ma o le taʻitaʻi i le faʻaogaina o le ClickHouse o, e ese lava, Farani.

Aiseā ua ou taʻu atu ai nei mea uma? E faʻaalia ai o le ClickHouse ua avea ma faʻataʻitaʻiga faʻataʻitaʻiga mo suʻesuʻega faʻamaumauga tetele ma ua uma ona faʻaaogaina i le tele o nofoaga. Afai e te faʻaaogaina, o loʻo e i ai i le tulaga saʻo. Afai e te le o faʻaaogaina, e le mafai ona e fefe o le a tuʻua naʻo oe ma e leai se tasi e fesoasoani ia te oe, aua e toʻatele o loʻo faia lenei mea.

O faʻataʻitaʻiga ia o faʻaoga moni ClickHouse i le tele o kamupani.

• O le faʻataʻitaʻiga muamua o se fesoʻotaʻiga faʻasalalauga: femalagaiga mai Vertica i ClickHouse. Ma ou te iloa ni nai kamupani ua suia mai Vertica pe o loʻo i ai i le faagasologa o suiga.
• O le faʻataʻitaʻiga lona lua o le teuina o fefaʻatauaiga i luga ole ClickHouse. O se faʻataʻitaʻiga lea na fausia i luga o antipatterns. O mea uma e le tatau ona faia i le ClickHouse i luga o le fautuaga a le au atinaʻe e faia iinei. Ma o lo'o fa'atino lelei ma aoga. Ma e sili atu le aoga nai lo le faʻataʻitaʻiga masani faʻatau.
• O le faʻataʻitaʻiga lona tolu o loʻo tufatufa atu faʻasalalauga i luga ole ClickHouse. Sa i ai se fesili e uiga i le auala e mafai ai ona tuʻufaʻatasia le ClickHouse i totonu o le Hadoop ecosystem. O le a ou faʻaalia se faʻataʻitaʻiga o le auala na faia ai e se kamupani se mea e pei o se faʻafanua faʻaititia le atigipusa i luga o le ClickHouse, faʻamautu faʻamaumauga o faʻamaumauga, ma isi, e fuafua ai se galuega e sili ona le taua.

• LifeStreet ose kamupani Ad Tech o loʻo iai uma tekinolosi e sau ma se fesoʻotaʻiga faʻasalalauga.
• O lo'o galue o ia i fa'asalalauga fa'apitoa, tauofo fa'apolokalame.
• Tele faʻamatalaga: e tusa ma le 10 piliona mea tutupu i le aso. I le taimi lava e tasi, o mea na tutupu iina e mafai ona vaevaeina i ni nai vaega laiti.
• E tele tagata fa'atau o nei fa'amatalaga, ma e le gata i tagata, ae sili atu - o algorithms eseese ia o lo'o fa'atinoina i le tauofoga fa'apolokalame.

Ua oo mai le kamupani i se ala umi ma faigata. Ma sa ou talanoa i ai ile HighLoad. Muamua, na siitia le LifeStreet mai MySQL (faʻatasi ma se tuʻu puupuu i Oracle) i Vertica. Ma e mafai ona e mauaina se tala e uiga i ai.

Ma sa matua lelei mea uma, ae na vave ona manino o faʻamaumauga o loʻo faʻatupulaia ma Vertica e taugata. O le mea lea, na sailia ai ni auala eseese. O nisi oi latou o loʻo lisiina iinei. Ma o le mea moni, na matou faia faʻamaoniga o manatu poʻo nisi taimi faʻataʻitaʻiga faʻatinoga o toetoe lava o faʻamaumauga uma na maua i luga o le maketi mai le 13th i le 16th tausaga ma sa fetaui lelei i tulaga o galuega. Ma sa ou talanoa foi e uiga i nisi o latou i luga ole HighLoad.

O le galuega o le malaga mai Vertica i le mea muamua, ona o le faʻatupulaia o faʻamaumauga. Ma sa latou tuputupu aʻe faʻateleina i le gasologa o tausaga. Ona latou o ai lea i luga o le fata, ae ui i lea. Ma o le valoiaina o lenei tuputupu aʻe, pisinisi manaʻomia mo le aofaʻi o faʻamatalaga lea e manaʻomia ai le faia o nisi ituaiga o auʻiliʻiliga, e manino lava o le a vave ona talanoaina petabytes. Ma o le totogiina o petabytes ua matua taugata lava, o lea sa matou suʻeina se isi mea e alu i ai.

O fea e alu i ai? Ma mo se taimi umi e le o manino lava po o fea e alu i ai, aua i le tasi itu o loʻo i ai faʻamaumauga faʻapisinisi, e foliga mai e lelei. O nisi e galulue toetoe lava pei o Vertica, o nisi e sili atu ona leaga. Ae e taugata uma, leai se mea e sili atu ona taugofie ma sili atu e le mafai ona maua.

I le isi itu, o loʻo i ai faʻamatalaga tatala punaoa, e le tele tele, o lona uiga mo auiliiliga, e mafai ona faitau i tamatamailima. Ma e leai se totogi pe taugofie, ae tuai. Ma e masani ona latou le maua le galuega talafeagai ma aoga.

Ma e leai se mea e tuʻufaʻatasia ai le lelei o loʻo i totonu o faʻamaumauga faʻapisinisi ma mea uma e leai se totogi o loʻo i totonu o punaoa tatala.

E leai se mea seia oʻo, faʻafuaseʻi, na toso ese e Yandex ClickHouse, e pei o se taulaitu mai se pulou, e pei o se lapiti. Ma o se filifiliga e leʻi mafaufauina, latou te fesiligia pea le fesili: "Aisea?", Ae ui i lea.

Ma i le taimi lava lea i le taumafanafana o le 2016, na amata ona matou vaʻavaʻai i le mea o le ClickHouse. Ma e foliga mai o nisi taimi e mafai ona vave nai lo Vertica. Sa matou fa'ata'ita'iina fa'aaliga eseese i talosaga eseese. Ma afai o le fesili na faʻaaogaina na o le tasi le laulau, o lona uiga, e aunoa ma se faʻatasi (auai), ona faaluaina lea o le ClickHouse e pei o Vertica.

Sa ou le paie ma tilotilo i suʻega Yandex i le isi aso. E tutusa lava iina: ClickHouse e faalua ona vave nai lo Vertica, o lea e masani ona latou talanoa i ai.

Ae afai o loʻo i ai faʻatasi i fesili, ona faʻaalia lea o mea uma e le manino. Ma ClickHouse e mafai ona faaluaina lemu e pei o Vertica. Ma afai e te faʻasaʻo teisi le talosaga ma toe tusi, ona tutusa lea. E leai se leaga. Ma saoloto.

Ma i le mauaina o faʻaiʻuga o suʻega, ma vaʻavaʻai i ai mai itu eseese, LifeStreet alu i ClickHouse.

O le 16 lenei o tausaga, ou te faamanatu atu ia te oe. E pei o se ula e uiga i isumu e fetagisi ma tuia i latou lava, ae faaauau pea ona ai le cactus. Ma na faʻamatalaina auiliili, o loʻo i ai se vitio e uiga i lenei mea, ma isi.

O le mea lea, o le a ou le talanoa auiliili i ai, o le a na o taunuuga ma nai mea manaia ou te leʻi talanoa i ai i lena taimi.

O i'uga o:

• Manuia femalagaiga ma sili atu nai lo le tausaga ua uma ona galue le faiga i le gaosiga.
• Ua faateleina le gaosiga ma le fetuutuunai. Mai le 10 piliona faamaumauga e mafai ona matou teuina i le aso ona sosoo ai lea ma se taimi puupuu, LifeStreet ua teuina nei 75 piliona faamaumauga i le aso ma e mafai ona faia lenei mea mo le 3 masina pe sili atu. Afai e te faitau i le tumutumu, o lona uiga e oʻo atu i le miliona mea tutupu i le sekone. E sili atu ma le miliona fesili SQL i le aso e taunuu i lenei faiga, tele lava mai robots eseese.
• E ui i le mea moni o le tele o sapalai na faʻaaogaina mo ClickHouse nai lo Vertica, na latou faʻasaoina foi i luga o meafaigaluega, aua e sili atu le taugata SAS disks na faʻaaogaina i Vertica. ClickHouse faʻaaoga SATA. Ae aiseā? Aua i Vertica fa'aofi fa'apipi'i e synchronous. Ma o le synchronization e manaʻomia ai le faʻagesegese tele o tisiki, ma e le faʻagesegese tele foi le fesoʻotaiga, o lona uiga, o se gaioiga taugata. Ma i totonu o le ClickHouse faʻaofi e asynchronous. E le gata i lea, e mafai lava ona e tusia mea uma i le lotoifale, e leai ni tau faaopoopo mo lenei mea, o lea e mafai ai ona faʻapipiʻi faʻamaumauga i totonu o le ClickHouse e sili atu le vave nai lo Vertika, e oʻo lava i luga o taʻavale lemu. Ma e tutusa lava le faitau. Faitau i luga o SATA, afai latou te i ai i le RAID, ona vave uma lea.
• E le faatapulaaina i laisene, o lona uiga 3 petabytes o faʻamaumauga i 60 'auʻaunaga (20 servers o le tasi faʻataʻitaʻiga) ma 6 trillion faʻamaumauga i mea moni ma faʻapotopotoga. E leai se mea faapena e mafai ona maua i Vertica.

Ua ou liliu atu nei i mea aoga i lenei faataitaiga.

• Muamua o se polokalame lelei. E fa'alagolago tele i le fa'atulagaga.
• O le lona lua o le gaosiga lelei o le SQL.

Ole fesili masani ole OLAP ole filifiliga. O nisi o koluma e alu i le fa'avasegaga, o nisi o koluma e alu i galuega fa'aopoopo. O loʻo i ai le mea, lea e mafai ona faʻatusalia o se fasi pepa. O le vaega atoa e mafai ona mafaufauina o se fa'aaliga. Ma o le mafuaaga lena ua taʻua o multivariate data analysis.

Ma e masani lava o lenei mea e faʻataʻitaʻiina i foliga o se fetu-fuafua, pe a iai se mea moni autu ma uiga o lenei mea moni i luga o itu, i luga o ave.

Ma e tusa ai ma le mamanu faaletino, pe faʻafefea ona fetaui i luga o le laulau, e masani ona latou faia se faʻatusa masani. E mafai ona e denormalize, ae e taugata i luga o le disk ma e le lelei tele i fesili. O le mea lea, e masani lava ona latou faia se faʻatusa masani, o lona uiga o se laulau faʻamatalaga ma le tele, tele o laulau laulau.

Ae e le lelei ile ClickHouse. E lua mafuaaga:

• O le mea muamua ona o le ClickHouse e le lelei tele le auai, o lona uiga o loʻo i ai faʻatasi, ae leaga. A o leaga.
• O le lona lua e le o toe faʻafouina laulau. E masani lava i totonu o nei papatusi, o loʻo siomia ai le fetu-circuit, e manaʻomia ona suia se mea. Mo se faʻataʻitaʻiga, igoa o tagata faʻatau, igoa kamupani, ma isi. Ma e le aoga.

Ma o loʻo i ai se auala e alu ese mai ai i le ClickHouse. e oo lava i le lua:

• Muamua o le faʻaaogaina o lomifefiloi. O Lomifefiloi i fafo o le mea lea e fesoasoani i le 99% e foia ai le faʻafitauli i le fetu-schema, faʻatasi ai ma faʻafouga ma isi.
• O le lona lua o le faʻaaogaina o arrays. E fesoasoani foi Arrays e aveese faʻatasi ma faʻafitauli i le masani.

• Leai se fa'atasi e mana'omia.
• Fa'aleleia. Talu mai Mati 2018, ua aliali mai se avanoa e le'i fa'amauina (e te le mauaina lea i totonu o fa'amaumauga) e fa'afou ai lomifefiloi i se vaega, o lona uiga o fa'amaumauga ua suia. E masani lava, e pei o se laulau.
• I taimi uma e manatua, o lea e faʻatasi ai ma se lolomifefiloi e galue vave nai lo se laulau o loʻo i luga o le tisiki ma e le o se mea moni o loʻo i totonu o le cache, e foliga mai e leai.

• E te le mana'omia fo'i se 'auai.
• Ole fa'atusa laititi lea ole 1 i le tele.
• Ma i loʻu manatu, o arrays e faia mo geeks. O galuega ia o lambda ma isi.

E le mo upu mumu. O se galuega sili ona mamana lea e mafai ai ona e faia le tele o mea i se auala faigofie ma matagofie.

Fa'ata'ita'iga masani e fesoasoani e fo'ia fa'asologa. O faʻataʻitaʻiga nei e faigofie ma manino:

• Su'e i fa'ailoga. Afai ei ai sau hashtags iina ma e te manaʻo e suʻe ni pou ile hashtag.
• Su'esu'e i pa'aga autu-taua. E iai fo'i nisi uiga fa'atatau.
• Teuteu lisi o ki e te mana'omia e fa'aliliu i se isi mea.

O nei galuega uma e mafai ona foia e aunoa ma ni fa'asologa. E mafai ona tuʻu faʻailoga i se laina ma filifilia i se faʻamatalaga masani poʻo se isi laulau, ae e tatau ona e faia faʻatasi.

Ma i le ClickHouse, e te le manaʻomia le faia o se mea, ua lava le faʻamatalaina o le manoa laina mo hashtags poʻo le faia o se fausaga faʻapipiʻi mo faiga faʻaoga-taua.

O le fausaga fa'aputu atonu e le o le igoa sili lea. O laina nei e lua e iai se vaega masani i le igoa ma nisi uiga faʻapitoa.

Ma e matua faigofie lava ona su'esu'e e ala ile pine. Fai se galuega has, lea e siaki ai o loʻo i ai i le array se elemene. O tagata uma, na maua uma fa'amaumauga e fa'atatau i la tatou konafesi.

Sa'iliga e ala ile subid e fai si lavelave. E manaʻomia muamua ona tatou suʻeina le faʻailoga o le ki, ona ave lea o le elemene ma lenei faʻailoga ma siaki o lenei tau o le mea tatou te manaʻomia. Ae ui i lea, e matua faigofie ma faʻapitoa.

O le fa'aaliga masani e te mana'o e tusi pe a e teuina uma i le laina e tasi, o le a, muamua, fa'avalevalea. Ma, lona lua, e sili atu le umi na galue nai lo le lua laina.

O le isi faataitaiga. E iai sau fa'asologa e te teu ai le ID. Ma e mafai ona e faaliliuina i latou i igoa. Galuega arrayMap. Ole galuega masani lea ole lambda. E te pasi lambda fa'aaliga iina. Ma na te toso mai le tau o le igoa mo ID ta'itasi mai le lomifefiloi.

E mafai ona faia le sailiga i le auala lava e tasi. Ua pasia se galuega fa'atatau e siaki ai po'o a mea e fetaui.

O nei mea e matua faafaigofieina ai le taamilosaga ma foia ai le tele o faafitauli.

Ae o le isi faʻafitauli o loʻo matou feagai, ma ou te fia taʻua, o fesili lelei.

• ClickHouse e leai se fuafuaga fa'atatau. E matua leai lava.
• Ae ui i lea, e mana'omia lava ona fuafua ni fesili lavelave. O ā tulaga?
• Afai e tele feso'ota'iga i le fesili, e te afifiina i so'o filifiliga. E tāua foʻi le faasologa o le faasalaga.
• Ma le lona lua - pe afai e tufatufaina le talosaga. Aua i se fa'asalalauga fa'asoa, na'o le vaega pito i totonu e fa'atino fa'asoa, ma o isi mea uma e tu'u atu i le tasi server na e fa'afeso'ota'i ma fa'atino ai. O le mea lea, afai na e tufatufaina fesili ma le tele o fesoʻotaʻiga (auai), ona e manaʻomia lea e filifili le faʻatonuga.

Ma e oʻo lava i tulaga sili atu ona faigofie, o nisi taimi e manaʻomia ai foi le faia o le galuega a le tagata faʻatulagaina ma toe tusia ni fesili laiti.

O se faataitaiga lenei. I le itu agavale o lo'o iai se fesili e fa'aalia ai le pito i luga o atunu'u e 5. Ma e manaʻomia le 2,5 sekone, i loʻu manatu. Ma i le itu taumatau, o le fesili lava lea e tasi, ae toe tusia teisi. Nai lo le fa'avasegaina i le manoa, sa amata ona matou fa'avasega i le ki (int). Ma e televave atu. Ona matou fesootai lea o se lomifefiloi i le taunuuga. Nai lo le 2,5 sekone, o le talosaga e 1,5 sekone. E lelei lea.

O se faʻataʻitaʻiga tutusa ma le toe tusia o filiga. O se talosaga lea mo Rusia. E tamo'e mo le 5 sekone. Afai tatou te toe tusia i se auala tatou te toe faatusatusa e le o se manoa, ae o numera ma nisi seti o na ki e fesootai ma Rusia, o le a sili atu le vave.

E tele naua togafiti. Ma latou faʻatagaina oe e faʻavave vave fesili e te manatu o loʻo tamoe vave, pe, i se isi itu, tamoe lemu. E mafai ona vave faia.

• Tulaga maualuga i le faiga tufatufa.
• Fa'avasega i ituaiga la'ititi, pei ona ou faia i ints.
• Afai ei ai ni faʻatasi (faʻatasi), lomifefiloi, e sili atu le faia o se mea mulimuli, pe a uma ona i ai au faʻamatalaga a itiiti ifo o se vaega faʻapipiʻi, ona faʻapipiʻiina lea o le faʻaogaina poʻo le lomifefiloi valaau o le a taʻu itiiti taimi ma o le a sili atu le vave. .
• Suia filiga.

E i ai isi metotia, ae le na o mea na ou faʻaalia. Ma o latou uma e mafai i nisi taimi ona faʻavavevaveina le faʻatinoina o fesili.

Sei o tatou agai atu i le isi faataitaiga. Kamupani X mai Amerika. O le a lana mea o fai?

Sa i ai se galuega:

• Feso'ota'iga i luga ole laiga o fefa'atauaiga fa'asalalauga.
• Faʻataʻitaʻiina faʻataʻitaʻiga fusifusia eseese.

O le a le fa'aaliga?

O se tagata asiasi masani e sau i luga o le saite, mo se faʻataʻitaʻiga, 20 taimi i le masina mai faʻasalalauga eseese, pe pei o nisi taimi e sau e aunoa ma ni faʻasalalauga, aua na te manatuaina lenei saite. Va'ai i nisi o oloa, tu'u i totonu o le ato, ave i fafo mai le ato. Ma, i le faaiuga, o se mea e faʻatau.

Fesili talafeagai: "O ai e tatau ona totogi mo faʻasalalauga, pe a manaʻomia?" ma le “O le a le faasalalauga na aafia ai o ia, pe afai ei ai?”. O lona uiga, aisea na ia faʻatau ai ma pe faʻafefea foi ona faʻatau tagata pei o lenei tagata?

Ina ia foia lenei faafitauli, e tatau ona e faʻafesoʻotaʻi mea na tutupu i luga o le upega tafaʻilagi i le auala saʻo, o lona uiga, fausia se fesoʻotaʻiga i le va oi latou. Ona auina atu lea mo suʻesuʻega ile DWH. Ma faʻavae i luga o lenei auʻiliʻiliga, fausia faʻataʻitaʻiga o ai ma pe o a faʻasalalauga e faʻaalia.

O se fefa'ataua'iga fa'asalalauga o se seti o mea fa'aoga feso'ota'i e amata mai i le fa'aalia o se fa'asalalauga, ona tupu ai lea o se mea, atonu o se fa'atauga, ona i ai lea o fa'atauga i totonu o se fa'atau. Mo se faʻataʻitaʻiga, afai o se telefoni feaveaʻi poʻo se taʻaloga feaveaʻi, e masani lava o le faʻapipiʻiina o le talosaga e faia fua, ma afai e faia se mea iina, atonu e manaʻomia se tupe mo lenei mea. Ma o le tele o le faʻaaluina e se tagata i le talosaga, o le sili atu ona taua. Ae mo lenei mea e tatau ona e faʻafesoʻotaʻi mea uma.

E tele faʻataʻitaʻiga fusifusia.

O le sili ona lauiloa o:

• Feso'ota'iga Mulimuli, lea e fai ai feso'ota'iga o se kiliki po'o se fa'aaliga.
• First Interaction, o lona uiga o le mea muamua na aumaia ai se tagata i le saite.
• Tuufaatasiga laina - tutusa uma.
• Fa'ato'a.
• Ma faapena atu ai lava.

Ma na faapefea ona aoga uma i le mea muamua? Sa i ai Runtime ma Cassandra. Cassandra na faʻaaogaina e fai ma teu faʻatauga, o lona uiga o fefaʻatauaiga uma na faʻapipiʻiina i totonu. Ma a oʻo mai se mea na tupu i le Runtime, mo se faʻataʻitaʻiga, faʻaalia se itulau poʻo se isi mea, ona faia lea o se talosaga ia Cassandra - o iai se tagata faapena pe leai. Ona maua lea o fefaʻatauaiga e faʻatatau i ai. Ma sa faia le sootaga.

Ma afai e laki o le talosaga o loʻo i ai se id o fefaʻatauaiga, ona faigofie lea. Ae masani lava e leai se laki. O le mea lea, na tatau ai ona maua le fefaʻatauaiga mulimuli poʻo le fefaʻatauaiga ma le kiliki mulimuli, ma isi.

Ma e aoga uma lava pe afai o le fusi e oʻo i le kiliki mulimuli. Ona o loʻo i ai, fai mai, 10 miliona kiliki i le aso, 300 miliona i le masina, pe a tatou setiina se faamalama mo le masina. Ma talu ai i Cassandra e tatau ona manatua uma ina ia mafai ona tamoe vave, aua e manaʻomia ona tali vave le Runtime, e tusa ma le 10-15 servers.

Ma ina ua latou mananaʻo e faʻafesoʻotaʻi se fefaʻatauaiga i le faʻaaliga, na vave ona foliga mai e le fiafia tele. Ae aiseā? E mafai ona iloa e 30 taimi sili atu mea e manaʻomia ona teuina. Ma, e tusa ai, e te manaʻomia le 30 taimi sili atu sapalai. Ma e foliga mai o se ituaiga o faʻailoga fetu. Ina ia faʻaauau pea le 500 'auʻaunaga ina ia mafai ona fai le fesoʻotaʻiga, e ui lava i le mea moni o loʻo i ai le itiiti ifo o sapalai i le Runtime, o lona uiga o se ituaiga o faʻailoga sese. Ma sa amata ona latou mafaufau po o le a le mea e fai.

Ma matou o atu i ClickHouse. Ma faʻafefea ona fai ile ClickHouse? I le tepa muamua, e foliga mai o se seti lenei o anti-mamanu.

• Faʻateleina le fefaʻatauaʻiga, matou te faʻapipiʻiina le tele ma le tele o mea tutupu i ai, o lona uiga e mafai ona suia, ma ClickHouse e le aoga tele i mea e mafai ona suia.
• A sau se tagata asiasi ia i matou, e tatau ona matou toso ese ana fefaʻatauaiga i le ki, e ala i lana id asiasi. Ole fesili foi lea, latou te le faia lena mea ile ClickHouse. E masani lava o ClickHouse e tele ... su'esu'e, ae o iinei e mana'omia ona maua ni faamaumauga. Fa'apea fo'i ma se fa'ailoga fa'atusa.
• E le gata i lea, o le fefaʻatauaʻiga na i ai i le json, ae latou te leʻi manaʻo e toe tusia, o lea na latou mananaʻo ai e teu le json i se auala e le faʻatulagaina, ma afai e manaʻomia, toso ese se mea mai ai. Ma o se antipattern foi lea.

O lona uiga, o se seti o antipatterns.

Ae ui i lea, na maua ai se faiga e aoga tele.

O le a le mea na fai? Na aliali mai ClickHouse, lea na lafo ai ogalaau, vaevaeina i faamaumauga. O se auaunaga fa'apitoa na fa'aalia na maua mai ogalaau mai ClickHouse. A maeʻa lena, mo faʻamatalaga taʻitasi, e ala i le asiasi id, na ou mauaina fefaʻatauaiga atonu e leʻi faʻatautaia ma faʻaopoopoina faʻamatalaga, o lona uiga o fefaʻatauaiga ua uma ona fesoʻotaʻi, o le taunuuga o galuega muamua. Ua uma ona ou faia le manatu mai ia i latou, filifili le fefaʻatauaiga saʻo, fesoʻotaʻi mea fou. Toe logoina. Na toe foʻi le ogalaau i ClickHouse, o lona uiga o se faiga faʻataʻamilomilo faifaipea. Ae le gata i lea, na ou alu i le DWH e iloilo ai iina.

O le tulaga lea e le'i lelei tele. Ma ina ia faafaigofie ai le ClickHouse, pe a iai se talosaga e ala ile asiasi id, na latou faʻapipiʻiina nei talosaga i poloka o 1-000 asiasiga id ma toso ese uma fefaʻatauaiga mo tagata 2-000. Ona aoga uma ai lea.

Afai e te vaʻai i totonu o le ClickHouse, e naʻo le 3 laulau autu o loʻo faʻaogaina uma nei mea.

Le laulau muamua o lo'o fa'apipi'i i ai ogalaau, ma ogalaau e fa'apipi'i toetoe lava a leai se fa'agaioiga.

Laulau lona lua. E ala i le vaaiga faʻaalia, mai nei ogalaau, o mea na tutupu e leʻi faʻamatalaina, o lona uiga, o mea e le fesoʻotaʻi, na utia. Ma e ala i le vaaiga faʻaalia, na toso ese ai fefaʻatauaiga mai nei ogalaau e fausia ai se ata. O lona uiga, o se vaaiga faʻapitoa faʻapitoa na fausia ai se ata, e taʻua o le tulaga faʻaputuina mulimuli o le fefaʻatauaiga.

O le tusitusiga lea na tusia i le SQL. Ou te fia faailoa atu ni nai mea taua i totonu.

O le mea taua muamua o le mafai lea ona toso ese koluma ma fanua mai json i ClickHouse. O lona uiga, ClickHouse o loʻo i ai ni metotia mo le galue ma json. O i latou e matua, matua matua.

asiasiParamExtractInt e faʻatagaina oe e aveese uiga mai le json, o lona uiga o galuega muamua na lavea. Ma o le auala lea e mafai ai ona e toso ese mai feuiaiga id pe asiasi id. O le taimi lenei.

Lona lua, o lo'o fa'aogaina se fanua fa'atauva'a fa'aletonu. O le a le uiga? O lona uiga e le mafai ona e tuʻuina i totonu o le laulau, o lona uiga e le faʻaofiina, e faʻatatau ma teuina i luga o le faʻaofiina. A faapipii, ClickHouse faia le galuega mo oe. Ma o mea e te manaʻomia mulimuli ane ua uma ona toso ese mai le json.

I lenei tulaga, o le vaaiga faʻapitoa e mo laina mata. Ma o le laulau muamua o lo'o i ai ogalaau mata'utia ua faatoa fa'aaogaina. Ae o le ā na te faia? Muamua, e suia ai le faʻavasegaina, o lona uiga o le faʻavasegaina o loʻo alu nei ile id asiasi, aua e manaʻomia ona vave toso ese lana fefaʻatauaiga mo se tagata patino.

O le mea taua lona lua o le index_granularity. Afai na e vaʻai i le MergeTree, e masani lava 8 i le faaletonu index_granularity. O le a lea mea? O le index sparseness parameter. I totonu o le ClickHouse o le fa'asinomaga e seasea, e le fa'asinoina uma fa'amatalaga. E faia lenei mea i le 192. Ma e lelei lenei pe a manaʻomia le tele o faʻamaumauga e faʻatatauina, ae leaga pe a laʻititi, ona o loʻo i ai le tele o luga. Ma afai tatou te faʻaititia le faʻasologa o faʻamatalaga, ona tatou faʻaititia lea o le ulu. E le mafai ona faʻaititia i le tasi, aua atonu e le lava le manatua. O le faasino igoa e teuina i taimi uma i le manatua.

O lo'o fa'aogaina fo'i e le Snapshot nisi mea mata'ina ClickHouse.

Muamua, o le AggregatingMergeTree. Ma AggregatingMergeTree faleoloa argMax, o lona uiga o le tulaga lea o le fefaʻatauaiga e fetaui ma le taimi mulimuli. O fefa'atauaiga e faia i taimi uma mo se tagata asiasi. Ma i le tulaga mulimuli lava o lenei fefaʻatauaiga, matou te faʻaopoopoina se mea na tupu ma ua i ai se matou setete fou. Na toe taia ClickHouse. Ma e ala i le argMax i lenei vaaiga faʻaalia, e mafai ona tatou maua i taimi uma le tulaga o loʻo iai nei.

• O le fusifusia ua "vavae" mai le Runtime.
• E oʻo atu i le 3 piliona fefaʻatauaiga i le masina o loʻo teuina ma faʻatautaia. O se faʻatonuga o le tele e sili atu nai lo le Cassandra, o lona uiga i se faiga masani fefaʻatauaʻiga.
• Fa'asologa o 2x5 ClickHouse servers. 5 'au'aunaga ma 'au'aunaga ta'itasi e iai le fa'atusa. E itiiti ifo nai lo le mea na i ai i Cassandra ina ia mafai ai ona fai le kiliki faʻavae attribution, ma o iinei tatou te maua ai le faʻavae. O lona uiga, nai lo le faʻateleina o le numera o 'auʻaunaga i le 30 taimi, na mafai ona latou faʻaititia.

Ma o le faʻataʻitaʻiga mulimuli o le kamupani tau tupe Y, lea na suʻesuʻeina faʻatasiga o suiga i tau o oloa.

Ma o le galuega sa:

• E tusa ma le 5 sea.
• O upusii uma e 100 milisecond e iloa.
• Ua fa'aputuina fa'amaumauga i luga o le 10 tausaga. E foliga mai, mo nisi kamupani sili atu, mo nisi itiiti.
• E tusa ma le 100 piliona laina atoa.

Ma sa tatau ona fuafua le fa'amaopoopoina o suiga.

O fa'asoa nei e lua ma a latou upusii. Afai e alu i luga le tasi ae alu i luga le isi, o lona uiga o se faamaopoopoga lelei lea, o lona uiga e alu i luga le tasi ae alu i luga le isi. Afai e alu i luga le tasi, e pei ona i ai i le pito o le kalafi, ae alu i lalo le isi, o lona uiga o se faamaopoopoga le lelei, o lona uiga, a tulaʻi le tasi, e paʻu le isi.

Iloiloina o nei suiga faʻatasi, e mafai e se tasi ona faia faʻamatalaga i le maketi tau tupe.

Ae e faigata le galuega. O le a le mea o loʻo faia mo lenei mea? E 100 piliona fa'amaumauga e iai: taimi, fa'asoa, ma tau. Matou te manaʻomia le faʻatatauina muamua 100 piliona taimi o le RunDifference mai le tau algorithm. RunningDifference o se galuega ile ClickHouse e faʻasolosolo faʻasolosolo le eseesega i le va o manoa e lua.

Ma a maeʻa lena, e tatau ona e fuafuaina le faʻamaopoopoina, ma e tatau ona fuafua le faʻamaopoopoina mo paga taʻitasi. Mo le 5 sea, o paga e 000 miliona. Ma e tele naua, o lona uiga 12,5 taimi e tatau ai ona fuafua naʻo se galuega faʻatasi.

Ae afai e galo i se tasi, o lona uiga o le ͞x ma le ͞y o se uo siaki. fa'amoemoega fa'ata'ita'iga. O lona uiga, e le gata e tatau ona fuafua aʻa ma aofaʻi, ae faʻapea foʻi ma le isi aofaʻi i totonu o nei aofaʻi. E manaʻomia le 12,5 miliona taimi e fai ai faʻatusatusaga, ma faʻapipiʻi i itula. E tele foi a tatou itula. Ma e tatau ona e faia i le 60 sekone. Ose tala malie.

Sa tatau ona i ai se taimi e le itiiti ifo i se isi itu, aua o nei mea uma na galue tele, matua lemu ae leʻi oʻo mai ClickHouse.

Na latou taumafai e fuafua i luga o Hadoop, i luga o Spark, i luga o Greenplum. Ma o nei mea uma sa matua tuai pe taugata. O lona uiga, sa mafai ona fuafua, ae sa taugata.

Ona sau lea o ClickHouse ma ua sili atu le lelei o mea.

Ou te faamanatu atu ia te oe o loʻo i ai se matou faʻafitauli i faʻamaumauga faʻamaumauga, aua e le mafai ona faʻaogaina faʻasalalauga. E le mafai ona matou tuʻuina nisi o faʻamatalaga i luga o le tasi server, o nisi i luga o le isi ma fuafua, e tatau ona i ai uma faʻamatalaga i soo se mea.

O le ā na latou faia? I le taimi muamua, o faʻamatalaga e faʻapitonuʻu. O lo'o teuina e 'au'aunaga ta'itasi fa'amaumauga i le tau o se seti o sea. Ma latou te le felavasa'i. O le mea lea, e mafai ona fuafua le logReturn i le tutusa ma le tutoatasi, o nei mea uma e tupu i le taimi nei i le tutusa ma le tufatufaina.

Ona matou filifili lea e faʻaitiitia nei faʻamatalaga, ae le o le faʻaalia o le faʻaalia. Faʻaitiitia le faʻaaogaina o faʻasologa, o lona uiga mo taimi taʻitasi, fai se faʻasologa o faʻasoa ma se faʻasologa o tau. O le mea lea, e fa'aitiitia ai le avanoa fa'amatalaga. Ma ua fai si faigofie latou te galulue ai. O mea ia e toetoe lava a tutusa galuega, o lona uiga matou te faitau vaega tutusa ona tusi lea i le server.

A uma lena, e mafai ona toe faia. O le mataitusi "r" o lona uiga na matou toe faia lenei faʻamatalaga. O lona uiga, e tutusa a matou faʻamatalaga i luga o sapalai uma e tolu - o faʻasologa ia.

Ma faʻatasi ai ma se faʻamatalaga faʻapitoa mai lenei seti o le 12,5 miliona faʻatasiga e manaʻomia ona faʻatulagaina, e mafai ona e faia ni afifi. O lona uiga, 2 galuega ma le 500 paipa o fesoʻotaʻiga. Ma o lenei galuega e tatau ona fuafuaina i luga o se server ClickHouse patino. O loʻo ia te ia faʻamaumauga uma, aua o faʻamaumauga e tutusa ma e mafai ona ia faʻatulagaina faʻasolosolo.

Toe tasi, o le mea lea e foliga mai. Muamua, o loʻo ia i matou faʻamatalaga uma i lenei fausaga: taimi, sea, tau. Ona matou fuafuaina lea o le logReturn, o lona uiga o faʻamatalaga o le fausaga lava e tasi, ae nai lo le tau ua uma ona matou maua logReturn. Ona toe faia lea, o lona uiga na matou maua le taimi ma groupArray mo faʻatauga ma tau. Fa'asolo. Ma ina ua maeʻa, matou faʻatupuina le tele o galuega ma fafaga i latou i ClickHouse ina ia faitau i latou. Ma e aoga.

I luga o faʻamaoniga o manatu, o le galuega o se subtask, o lona uiga, itiiti faʻamaumauga na ave. Ma e na o le tolu servers.

O la'asaga muamua nei e lua: fa'atatauina le Log_return ma le afifiina o fa'asologa e tusa ma le itula.

Ma o le faʻatusatusaga o le faʻasalalauga e tusa ma le 50 itula. Ae e le lava le 50 itula, ona sa masani ona latou faigaluega mo vaiaso. O se manuia tele. Ma afai e te faitau, ona 70 taimi i le sekone na faitauina mea uma i lenei fuifui.

Ae o le mea pito sili ona taua o lenei faiga e toetoe lava leai ni bottlenecks, o lona uiga, e fuaina toetoe lava laina. Ma sa latou siakiina. Fa'amanuiaina le fa'asili i luga.

• O le fuafuaga sa'o o le afa o le taua. Ma o le polokalame saʻo o le faʻaaogaina o tekinolosi uma ClickHouse talafeagai.
• Summing/AggregatingMergeTrees o tekinolosi e mafai ai e oe ona faʻapipiʻi pe mafaufau i se ata o le setete o se tulaga faʻapitoa. Ma e matua faafaigofieina ai le tele o mea.
• Va'aiga Fa'ameatino e mafai ai ona e pasia le tapula'a fa'asino. Masalo ou te leʻi taʻuina manino, ae ina ua matou utaina ogalaau, o ogalaau mata sa i totonu o le laulau ma le tasi faʻamaufaʻailoga, ma o loʻo i ai faʻamaumauga uiga i luga o le laulau, o lona uiga o faʻamaumauga tutusa, naʻo le faʻamamaina, ae o le faʻailoga sa atoatoa. isi. E foliga mai o faʻamatalaga tutusa, ae ese le faʻavasegaina. Ma Materialized Views e mafai ai e oe, pe a e manaʻomia, e faʻafefe ai se faʻatapulaʻa ClickHouse.
• Fa'aiti'itia le fa'avasegaina o fa'amatalaga mo fa'amatalaga mata'ina.
• Ma tufatufa faʻamatalaga ma le atamai, taumafai e faʻaogaina faʻamaumauga i totonu o le server i le tele e mafai ai. Ma taumafai e faʻamautinoa o loʻo faʻaogaina foi e talosaga le localization pe a mafai i le tele e mafai ai.

Ma o le aotelega o lenei tautalaga puupuu, e mafai ona tatou fai atu o le ClickHouse ua maeʻa ona nofoia le teritori o faʻamaumauga faʻatau pisinisi ma faʻamaumauga tatala punaoa, o lona uiga, faʻapitoa mo auiliiliga. E fetaui lelei o ia i lenei laufanua. Ae o le a le mea e sili atu, e amata lemu ona faʻapipiʻi isi, aua a iai sau ClickHouse, e te le manaʻomia InfiniDB. Atonu e le mana'omia vave Vertika pe a latou faia le lagolago masani SQL. Fiafia!

-Faafetai mo le lipoti! Manaia tele! Na i ai ni faʻatusatusaga ma Apache Phoenix?

Leai, ou te lei faalogo lava i se tasi o faatusatusa. Matou te taumafai ma Yandex e siaki uma faʻatusatusaga ClickHouse ma faʻamaumauga eseese. Aua afai e faʻafuaseʻi se mea e sili atu le vave nai lo ClickHouse, ona le mafai lea e Lesha Milovidov ona moe i le po ma amata ona vave faʻavave. Ou te lei faalogo i se faatusatusaga faapena.

• (Aleksey Milovidov) Apache Phoenix o se masini SQL faʻamalosia e Hbase. O le Hbase e masani lava mo faʻataʻitaʻiga o galuega taua. O iina, i laina taʻitasi, e mafai ona i ai se numera faʻapitoa o koluma ma igoa faʻapitoa. E mafai ona fai mai e uiga i faiga e pei o Hbase, Cassandra. Ma o le mamafa tonu o suʻesuʻega suʻesuʻega e le aoga masani mo i latou. Pe atonu e te manatu e lelei le latou galuega pe afai e te leʻi iai se poto masani ile ClickHouse.

• Спасибо

  • Manuia le aoauli Ua leva ona ou fiafia i lenei autu, aua o loʻo i ai laʻu suʻega suʻesuʻe. Ae pe a ou tilotilo i le ClickHouse, ou te maua le lagona o le ClickHouse e fetaui lelei mo le suʻesuʻeina o mea na tutupu, suia. Ma afai ou te manaʻomia le suʻeina o le tele o faʻamatalaga pisinisi ma le tele o laulau tetele, o le ClickHouse, i loʻu malamalama, e le fetaui lelei mo aʻu? Ae maise pe a suia. Pe sa'o lea pe o iai ni fa'ata'ita'iga e mafai ona fa'afitia ai lenei mea?

  • E sa'o lea. Ma e moni lea i le tele o fa'amaumauga fa'amaumauga fa'apitoa. Ua fa'atulagaina mo le mea moni o lo'o i ai se tasi pe sili atu laulau tetele e mafai ona suia, ma mo le tele o laulau laiti e suia lemu. O lona uiga, ClickHouse e le pei o Oracle, lea e mafai ai ona e tuʻuina mea uma ma fausia ni fesili faigata tele. Ina ia faʻaoga lelei le ClickHouse, e tatau ona e fausia se polokalame i se auala e aoga lelei i le ClickHouse. O lona uiga, aloese mai le soona fai masani, faʻaaoga lomifefiloi, taumafai e fai ni nai soʻotaga uumi. Ma afai o le fuafuaga e fausia i lenei auala, ona mafai lea ona foia galuega faʻapisinisi tutusa i luga o le ClickHouse e sili atu le lelei nai lo luga o se faʻamaumauga tuʻufaʻatasiga masani.

Faafetai mo le lipoti! E i ai sa'u fesili e uiga i le mataupu tau tupe lata mai. Sa i ai a latou auiliiliga. Sa tatau ona faatusatusa pe faapefea ona latou alu i luga ma lalo. Ma ou te malamalama na e fausia le faiga faʻapitoa mo lenei auiliiliga? Afai o taeao, mo se faʻataʻitaʻiga, latou te manaʻomia se isi lipoti i luga o lenei faʻamatalaga, latou te manaʻomia le toe faʻaleleia o le fuafuaga ma tuʻuina atu faʻamaumauga? O lona uiga, e fai se ituaiga o fa'agasolo e maua ai le talosaga?

Ioe, o le faʻaaogaina lea o le ClickHouse mo se galuega faʻapitoa. E mafai ona foia masani i totonu o Hadoop. Mo Hadoop, o se galuega lelei lenei. Ae i Hadoop e matua tuai lava. Ma o laʻu sini o le faʻaalia lea o le ClickHouse e mafai ona foia galuega e masani ona foia i auala eseese, ae i le taimi lava e tasi e sili atu ona lelei. E fa'atulagaina lea mo se galuega fa'apitoa. E manino lava afai e i ai se faʻafitauli i se mea faapena, ona mafai lea ona foia i se auala faʻapea.

E manino lava. Na e fai mai e 50 itula na fa'agasolo. E mai lava i le amataga, o anafea na e utaina ai faʻamaumauga pe maua faʻaiʻuga?

Ioe Ioe.

Ua lelei faafetai tele.

O loʻo i luga ole 3 server cluster.

Fa'afetai! Faafetai mo le lipoti! E manaia tele mea uma. O le a ou le fesili itiiti e uiga i le faʻatinoga, ae e uiga i le faʻaogaina o le ClickHouse i tulaga o le mautu. O lona uiga, sa i ai sau mea, sa tatau ona e toe faʻaleleia? E fa'afefea ona amio a ClickHouse i lenei tulaga? Ma pe na tupu fo'i na iai sau fa'atusa? Mo se faʻataʻitaʻiga, na matou feagai ma se faʻafitauli i le ClickHouse pe a alu ese mai lona tapulaʻa ma pa'ū.

Ioe, e leai ni faiga lelei. Ma o le ClickHouse e iai foʻi ona lava faʻafitauli. Ae na e faʻalogo e uiga i Yandex.Metrica e le o galue mo se taimi umi? Masalo e leai. O loʻo galue faʻalagolago talu mai le 2012-2013 ile ClickHouse. E mafai foi ona ou fai atu le mea lava e tasi e uiga i lo'u aafiaga. E lei i ai lava a tatou toilalo atoatoa. O nisi o mea e mafai ona tupu, ae e leʻi lava le faitio e afaina ai le pisinisi. E lei tupu lava. ClickHouse e matua faʻatuatuaina ma e le paʻu faʻafuaseʻi. E te le tau popole i ai. E le o se mea mata'utia. Ua fa'amaonia e le tele o kamupani.

Talofa! Na e fai mai e tatau ona e mafaufau i luga o le fuafuaga faʻamatalaga i le taimi lava lena. Ae faapefea pe a tupu? O loʻo sasaa ma sasaa aʻu faʻamatalaga. Ua mavae le ono masina, ma ou te malamalama e le mafai ona ola faʻapenei, e tatau ona ou toe faʻapipiʻi faʻamaumauga ma fai se mea ma i latou.

E fa'alagolago lava i lau faiga. E tele auala e fai ai lenei mea e toetoe lava leai se taofi. Mo se faʻataʻitaʻiga, e mafai ona e fatuina se Faʻaaliga Faʻapitoa e fai ai se fausaga faʻamatalaga ese pe a mafai ona faʻavasega tulaga ese. O lona uiga, afai e faʻatagaina le faʻafanua e faʻaaoga ai le ClickHouse, o lona uiga, aveese mai nisi o mea, sui le ki autu, suia le vaeluaga, ona mafai lea ona e faia se Mea Faʻaaliga. Su'e au fa'amatalaga tuai iina, o mea fou e otometi lava ona tusia. Ona toe sui lea i le faʻaaogaina o le Materialized View, ona fesuiaʻi lea o faʻamaumauga ma tape le laulau tuai. E masani lava o se auala e le taofi.

Спасибо.

puna: www.habr.com