Ia Aperila, na faʻapotopotoina e inisinia Avito mo fonotaga i luga ole laiga ma le autu autu o le ClickHouse o Alexey Milovidov ma Kirill Shvakov, o se Golang developer mai Integros. Sa matou talanoaina pe fa'afefea ona matou fa'aogaina se fa'atonuga o fa'amaumauga ma fa'afitauli matou te feagai.
Faʻavae i luga o le fonotaga, ua matou tuʻufaʻatasia se tala faʻatasi ma tali a le au atamamai i a matou fesili ma fesili a le au maimoa e uiga i faʻamaumauga, faʻamaumauga resharding, lomifefiloi fafo, le avetaavale Golang ma le faʻafouina o lomiga ClickHouse. Atonu e aoga i tagata atiae o loʻo galulue malosi ma le Yandex DBMS ma e fiafia i lona taimi nei ma le lumanaʻi. Ona o le faaletonu, o tali e aumai e Alexey Milovidov, sei vagana ua tusia.
Fa'aeteete, e tele tusitusiga i lalo o le tipi. Matou te faʻamoemoe o le anotusi ma fesili o le a fesoasoani ia te oe e faʻatautaia.
Mataupu
Afai e te le manaʻo e faitau le tusitusiga, e mafai ona e matamata i le puʻeina o faʻapotopotoga . Timecodes o loʻo i le faʻamatalaga muamua i lalo ole vitio.
ClickHouse e faʻafouina i taimi uma, ae o matou faʻamatalaga e leai. O le a le mea e fai i ai?
ClickHouse o loʻo faʻafouina i taimi uma, ma o matou faʻamaumauga, lea na faʻamaonia mulimuli na faʻatautaia, e leʻo faʻafouina ma o loʻo i totonu o se kopi faʻamaumauga.
Fa'apea na i ai sa matou fa'afitauli ma ua leiloa fa'amaumauga. Na matou filifili e toe faʻafoʻisia, ma na faʻaalia o vaeluaga tuai, o loʻo teuina i luga o sapalai faʻamaumauga, e matua ese lava mai le faʻaaogaina o le ClickHouse. O le a le mea e fai i se tulaga faapena, ma e mafai?
O se tulaga na e toe faʻafoʻisia ai faʻamaumauga mai se faʻamaumauga i se faatulagaga tuai, ae e le fesoʻotaʻi i le lomiga fou, e le mafai. Matou te faʻamautinoa o le faʻasologa o faʻamaumauga i le ClickHouse e tumau pea i tua le fetaui. E sili atu le taua nai lo le fetaui i tua i galuega faatino pe afai ua suia le amio a nisi galuega e seasea faaaogaina. Ole lomiga fou ole ClickHouse e tatau ona mafai i taimi uma ona faitau faʻamaumauga o loʻo teuina i luga ole disk. O le tulafono lea.
O a faiga sili ona lelei i le taimi nei mo le lagolagoina o faʻamaumauga mai le ClickHouse?
E faʻafefea ona fai faʻamaumauga, ma le amanaia o loʻo i ai a matou faʻatonuga mulimuli, se faʻamaumauga tele o terabytes, ma faʻamaumauga e faʻafouina, fai mai, mo le tolu aso mulimuli, ona leai lea o ni faʻatonuga e tupu i ai?
E mafai ona tatou faia a tatou lava fofo ma tusi i luga o le bash: aoina nei kopi faaleoleo i se auala faapena. Atonu e leai se mea e manaʻomia e tootoo ai se mea, ma o le uila na fausia i aso ua leva?
Tatou amata i faiga sili ona lelei. E masani ona fautuaina e aʻu uo, i le tali atu i fesili e uiga i faʻamaumauga, e faamanatu ia i latou e uiga i le Yandex.Cloud service, lea ua uma ona foia ai lenei faafitauli. Faʻaaoga la pe a mafai.
E leai se fofo atoatoa mo faʻamaumauga, selau pasene fausia ile ClickHouse. E i ai nisi avanoa e mafai ona faʻaaogaina. Ina ia maua se vaifofo atoatoa, e tatau ona e faʻaogaina teisi ma le lima, pe fai ni afifi i foliga o tusitusiga.
O le a ou amata i fofo sili ona faigofie ma faʻaiʻu i mea sili ona faʻapitoa, faʻalagolago i le tele o faʻamaumauga ma le tele o le fuifui. O le tele o le fuifui, o le sili atu ona lavelave le fofo.
Afai o le laulau o loʻo i ai faʻamatalaga e naʻo ni nai gigabytes e nofo ai, e mafai ona faia faʻamaumauga faʻapenei:
- Fa'asaoina le fa'auigaina o le laulau i.e. metadata − fa'aali le fatu laulau.
- Fai se lafoa'i e fa'aaoga ai le tagata fa'atau ClickHouse - filifili * mai le laulau e faila. I le faaletonu o le ae mauaina se faila i le TabSeparated format. Afai e te manaʻo e sili atu le lelei, e mafai ona e faia i le Native format.
Afai o le aofaʻi o faʻamatalaga e tele, o le faʻamaumauga o le a tele le taimi ma le tele o avanoa. E taʻua lea o se faʻamaumauga talafeagai; Afai o lea, o le mea mulimuli e mafai ona e faia se faʻamaumauga ma tuʻuina atu i MySQL mo le toe faʻaleleia.
Mo mataupu sili atu, ClickHouse o loʻo i ai se gafatia faʻapipiʻi e fatuina ai se ata o vaeluaga i totonu o le faila faila i le lotoifale. O lo'o avanoa lenei vaega e fai ma talosaga sui laulau fa'a'aisa vaeluaga. Pe faigofie sui laulau aisa - o se ata lenei o le laulau atoa.
O le ata o le a faia i taimi uma mo le tasi laulau i luga o le tasi shard, o lona uiga, e le mafai ona faia se ata faifai pea o le fuifui atoa i lenei auala. Ae mo le tele o galuega e leai se manaʻoga faʻapea, ma e lava le faʻatinoina o se talosaga i luga o soʻo taʻitasi ma maua se faʻataʻitaʻiga faifaipea. E faia i foliga o hardlinks ma o lea e le faʻaogaina ai avanoa faaopoopo. O le isi, e te kopiina le ata lenei i le server backup poʻo le teuina e te faʻaogaina mo faʻamaumauga.
Toe fa'afoisia sea fa'amaumauga e fai si faigofie. Muamua, fai ni laulau e fa'aaoga ai fa'amatalaga laulau o iai. Soso'o, kopi ata fa'asaoina o vaeluaga ile Directory-Detached mo nei laulau ma fa'agasolo le fesili. fa'apipi'i vaeluaga. O lenei fofo e fetaui lelei mo le tele o voluma o faʻamaumauga.
O nisi taimi e te mana'omia ai se mea e sili atu ona mālūlū - i tulaga e iai au ta'i sefulu po'o le fiaselau o terabytes i luga o 'au'aunaga ta'itasi ma le fiaselau o 'au'aunaga. O loʻo i ai se fofo iinei na ou pikiina mai aʻu paaga mai Yandex.Metrica. Ou te le fautuaina i tagata uma - faitau i ai ma filifili mo oe lava pe talafeagai pe leai.
Muamua e te manaʻomia le fatuina o ni 'auʻaunaga e iai fata tisiki tetele. O le isi, i luga o nei 'auʻaunaga, sii aʻe nisi sapalai ClickHouse ma faʻapipiʻi i latou ina ia latou galulue o se isi faʻataʻitaʻiga mo ia lava shards. Ona faʻaaoga lea o se faila faila poʻo se meafaigaluega i luga o nei 'auʻaunaga e mafai ai ona e fatuina ata. E lua filifiliga iinei. Ole filifiliga muamua ole LVM snapshots, ole filifiliga lona lua ole ZFS ile Linux.
A maeʻa lena, o aso uma e te manaʻomia e fai ai se ata, o le a pepelo ma faʻaalu sina avanoa. E masani lava, afai e suia faʻamaumauga, o le aofaʻi o avanoa o le a faʻateleina i le taimi. O lenei ata e mafai ona ave i fafo i soo se taimi ma toe faʻaleleia faʻamaumauga, o se fofo uiga ese. E le gata i lea, e manaʻomia foʻi ona tatou faʻatapulaʻaina nei kopi i totonu o le config ina ia latou le taumafai e avea ma taʻitaʻi.
Mata e mafai ona fa'atulagaina se fa'ata'ita'iga fa'ata'ita'iga i totonu o fa'a'au?
O lenei tausaga o loʻo e fuafua e fai ni faʻamau i ClickHouse. Mata e mafai ona faʻatulagaina se faʻataʻitaʻiga o faʻataʻitaʻiga i totonu ia i latou? Matou te mananaʻo e faʻaaogaina e puipuia ai i matou mai faʻaaliga le lelei ma suiga ma isi suiga.
E mafai ona fai se ituaiga ta'avale i tua mo suiga? Mo se faʻataʻitaʻiga, i totonu o se paʻu o loʻo i ai nei, ave ma fai atu seʻia oʻo i le taimi nei e te faʻaaogaina suiga, ma mai le taimi nei e te le toe faʻaogaina suiga?
Afai e oʻo mai se faʻatonuga i la matou fuifui ma talepeina, ona i ai lea o le matou faʻasologa faʻatulagaina ma le itula e tuʻu ai, lea e mafai ai ona matou fai atu ia faʻaaogaina i le taimi nei, ae matou te le faʻaaogaina suiga i ai mo le sefulu minute mulimuli?
Muamua, e uiga i le fa'atonutonuina lag o kopi. Sa i ai se talosaga mai tagata faʻaoga, ma matou faia se faʻafitauli i Github ma le talosaga: "Afai e manaʻomia e se tasi lenei mea, pei o lea, tuʻu se fatu." E leai se tasi na avatu, ma ua tapunia le mataupu. Ae ui i lea, e mafai ona e mauaina lenei avanoa e ala i le setiina o ClickHouse. E moni, na o le amata mai le version 20.3.
O le ClickHouse e faʻatinoina i taimi uma faʻamaumauga tuʻufaʻatasia i tua. A mae'a le tu'ufa'atasiga, e sui se seti o fa'amaumauga i se vaega tele. I le taimi lava e tasi, o vaega o faʻamatalaga sa i ai muamua e faʻaauau pea i luga o le disk mo sina taimi.
Muamua, o loʻo faʻaauau pea ona teuina pe a iai ni fesili filifilia e faʻaaogaina, ina ia mafai ai ona tuʻuina atu le faʻaogaina o le le poloka. Filifilia fesili e faigofie ona faitau mai fasi tuai.
Lona lua, o loʻo i ai foʻi se taimi faʻatapulaʻa - o faʻamaumauga tuai o loʻo taoto i luga o le disk mo le valu minute. O nei valu minute e mafai ona faʻatulagaina ma e oʻo lava i le aso e tasi. O lenei mea o le a tau ai le avanoa vaʻaia: faʻalagolago i le tafe o faʻamatalaga, e foliga mai i le aso mulimuli o faʻamatalaga o le a le gata ina faaluaina, e mafai ona faʻalima taimi sili atu. Ae afai ei ai se faʻafitauli matuia, e mafai ona e taofi le server ClickHouse ma faʻavasega mea uma.
O lea la ua tulai mai le fesili pe faapefea ona puipuia e lenei mea mai suiga. E aoga le su'esu'eina loloto iinei, aua i lomiga tuai o ClickHouse, o le suiga na galue i se auala na na o le suia saʻo o vaega. O loʻo i ai se vaega o faʻamatalaga ma nisi faila, ma matou te faia, mo se faʻataʻitaʻiga, sui koluma matau'a. Ona aveese ai lea o lenei koluma mai pusi uma.
Ae amata i le version 20.3, o le alter mechanism ua suia atoa, ma o lea la o vaega o faʻamatalaga e le mafai ona suia. Latou te le suia lava - o suiga ua galue nei i le auala tutusa e pei o le tuʻufaʻatasia. Nai lo le suia o se vaega i le taimi, matou te faia se mea fou. I le pusa fou, o faila e leʻi suia e avea ma hardlinks, ma afai tatou te tapeina se koluma, o le a naʻo le misi i le pusa fou. O le mea tuai o le a tapeina e ala i le faaletonu pe a maeʻa le valu minute, ma o iinei e mafai ona e tweak tulaga o loʻo taʻua i luga.
E faapena foi ona faatatau i suiga e pei o suiga. A e faia sui tape poʻo sui fa'afouga, e le suia le vaega, ae fatuina se mea fou. Ona tape lea o le mea tuai.
Ae fa'afefea pe a suia le fausaga o le laulau?
E faʻafefea ona toe faʻaleleia se faʻamaumauga na faia i le polokalame tuai? Ma o le fesili lona lua e uiga i le mataupu ma snapshots ma faila faila meafaigaluega. E lelei Btrfs iinei nai lo le ZFS ile Linux LVM?
Afai e te faia fa'apipi'i vaeluaga vaeluaga ma se fausaga ese, ona taʻu atu lea e ClickHouse ia te oe e le mafai. O le fofo lea. Muamua o le fatuina o se laulau le tumau o le MergeTree ituaiga ma le fausaga tuai, faʻapipiʻi faʻamatalaga iina e faʻaoga ai le faʻapipiʻi, ma fai se suʻega suʻega. Ona mafai lea ona e kopiina pe faʻafeiloaʻi nei faʻamatalaga ma toe faʻapipiʻi, pe faʻaaoga se talosaga fesuia'i le vaeluaga o le laulau.
O le fesili lona lua pe mafai ona faʻaaogaina Btrfs. Muamua, afai e iai sau LVM, ona lava lea o ata o le LVM, ma o le faila faila e mafai ona ext4, e le afaina. Faatasi ai ma Btrts, e faalagolago mea uma i lou poto masani i le faʻaaogaina. O se faila faila matua, ae o loʻo i ai pea ni masalosaloga pe faʻafefea ona faʻaogaina mea uma i le faʻataʻitaʻiga i se faʻaaliga faʻapitoa. Ou te le fautuaina le faʻaaogaina o lenei mea seʻi vagana ua iai sau Btrfs i le gaosiga.
O a faiga sili ona lelei i le taimi nei i le toe fa'afouina o fa'amaumauga?
O le mataupu o le toe fa'afouga e lavelave ma tele ona itu. E tele tali talafeagai iinei. E mafai ona e alu mai le tasi itu ma fai mai le mea lea - ClickHouse e leai se mea e fausia i totonu o le resharding. Ae ou te fefe e le fetaui lenei tali i se tasi. O le mea lea, e mafai ona e alu mai le isi itu ma fai mai o le ClickHouse e tele auala e toe faʻaleleia ai faʻamaumauga.
Afai e leai se avanoa o le fuifui pe ua le mafai ona taulimaina le uta, e te faʻaopoopoina ni 'auʻaunaga fou. Ae o nei 'auʻaunaga e gaogao ona o le faaletonu, e leai ni faʻamatalaga i luga oi latou, e leai se uta. E mana'omia lou toe fa'avasegaina o fa'amaumauga ina ia sosolo tutusa i le fuifui fou, tele.
O le auala muamua e mafai ai ona faia lenei mea o le kopiina o se vaega o vaeluaga i 'auʻaunaga fou e faʻaaoga ai se talosaga sui laulau fetch vaeluaga. Mo se faʻataʻitaʻiga, e iai au vaeluaga i le masina, ma e te ave le masina muamua o le 2017 ma kopi i se server fou, ona kopi lea o le masina lona tolu i se isi server fou. Ma e te faia lenei mea seia oʻo ina sili atu pe itiiti ifo foi.
Fa'aliliuga e mafai ona fa'atinoina mo na'o vaega e le suia i le taimi o le pu'eina. Mo vaeluaga fou, e tatau ona fa'agata le pu'eina, aua o la latou fa'aliliuga e le o se atomic. A leai, o le ae fa'ai'u i fa'alua po'o va i fa'amaumauga. Ae ui i lea, o lenei metotia e aoga ma aoga lelei. O vaega faʻapipiʻi saunia e tuʻuina atu i luga o le fesoʻotaʻiga, o lona uiga, o faʻamaumauga e le o faʻapipiʻiina pe toe faʻapipiʻiina.
O lenei metotia e tasi le faʻaletonu, ma e faʻalagolago i le sharding scheme, pe na e tauto i lenei sharding scheme, o le a le sharding ki sa ia te oe. I lau faʻataʻitaʻiga mo le mataupu ma metrics, o le ki sharding o le hash o le ala. A e filifilia se laulau Tufatufaina, e alu i vaega uma o le fuifui i le taimi e tasi ma ave faʻamaumauga mai iina.
O lona uiga o le mea moni e le afaina ia te oe pe o le a le faʻamatalaga na iʻu i luga ole shard. O le mea autu o faʻamatalaga i luga o le tasi ala e iu i luga o le tasi shard, ae o le fea e le taua. I lenei tulaga, o le fesiitaiga o vaeluaga ua saunia e lelei atoatoa, aua o fesili filifilia o le a e mauaina foi faʻamatalaga atoatoa - pe aʻo leʻi toe faʻaleleia pe mulimuli ane, e le afaina tele le polokalame.
Ae e iai mataupu e sili atu ona lavelave. Afai i le tulaga o le faʻaogaina o le talosaga e te faʻalagolago i se polokalame faʻapitoa faʻapitoa, o lenei tagata o tausia o loʻo i luga o sea ma se mea faapena, ma o le talosaga e mafai ona lafo saʻo iina, ae le o le laulau Faʻasalalau. Pe o loʻo e faʻaaogaina se lomiga lata mai o ClickHouse ma ua mafai ai le faʻatulagaina fa'alelei fa'ase'e fasipepa e le'i fa'aaogaina. I lenei tulaga, i le taimi o le suʻega filifilia, o le faʻamatalaga i le mea o le a suʻesuʻeina ai le vaega ma o le a fuafua poʻo fea shards e manaʻomia ona faʻaaogaina e tusa ai ma le faʻaogaina o le sharding scheme. O galuega nei pe a fa'apea o fa'amaumauga o lo'o vaevae tonu e tusa ai ma lenei faiga fa'asoa. Afai e te toe fa'atulagaina ma le lima, e ono suia le fetusia'iga.
O lea la o le metotia numera tasi. Ma o loʻo ou faʻatali mo lau tali, pe talafeagai le auala, pe tatou faʻaauau.
Vladimir Kolobaev, taʻitaʻi pulega faʻatonu i Avito: Alexey, o le metotia na e taʻua e le aoga tele pe a manaʻomia le faʻasalalauina o le uta, e aofia ai le faitau. E mafai ona matou ave se vaeluaga e taʻi masina ma e mafai ona ave le masina talu ai i se isi node, ae a oʻo mai se talosaga mo lenei faʻamatalaga, o le a matou utaina. Ae matou te manaʻo e utaina le fuifui atoa, aua a leai, mo sina taimi o le uta faitau atoa o le a faʻatautaia e lua shards.
Alexey Milovidov: O le tali iinei e ese - ioe, e leaga, ae atonu e aoga. O le a ou faʻamatalaina saʻo pe faʻafefea. E aoga le va'ai i le fa'asologa o uta e sau i tua o au fa'amaumauga. Afai o le mataʻituina lea o faʻamatalaga, ona mafai lea ona tatou fai atu o le tele o talosaga e mo faʻamatalaga fou.
Na e fa'apipi'i 'au'aunaga fou, femalaga'i vaeluaga tuai, ae na suia fo'i le fa'amauina o fa'amaumauga fou. Ma o fa'amatalaga fou o le a fa'asalalauina i le fuifui atoa. O le mea lea, a maeʻa naʻo le lima minute, o talosaga mo le lima minute mulimuli o le a faʻapipiʻi tutusa le fuifui pe a maeʻa le aso, talosaga mo le 24 itula o le a faʻapipiʻi tutusa le fuifui. Ma o talosaga mo le masina talu ai, o le mea e leaga ai, o le a naʻo se vaega o le 'auʻaunaga faʻapipiʻi.
Ae masani o le a leai ni au talosaga faʻapitoa mo Fepuari 2019. E foliga mai, afai o talosaga e alu i le 2019, o le a faia mo le 2019 atoa - mo se vaitaimi tele, ae le o se vaega itiiti. Ma o ia talosaga o le a mafai foi ona utaina tutusa le fuifui. Ae i se tulaga lautele, o lau faʻamatalaga e matua saʻo lava o se fofo faʻapitoa lea e le faʻasalalauina atoatoa faʻamaumauga.
E i ai nai a'u manatu e tali ai le fesili. O se tasi o ia mea e uiga i le auala e muai mamanuina ai se faiga faʻapipiʻi ina ia faʻaitiitia ai le tiga o le toe faʻasoa. E le o taimi uma e mafai ai.
Mo se faʻataʻitaʻiga, o loʻo i ai au faʻamatalaga mataʻituina. O faʻamatalaga mataʻituina o loʻo faʻatupulaia mo mafuaʻaga e tolu. Muamua o le fa'aputuina o fa'amaumauga fa'asolopito. O le lona lua o le tuputupu aʻe o feoaiga. Ma o le lona tolu o le faʻateleina o le numera o mea e faʻatatau i le mataʻituina. O lo'o iai ni microservices ma metrics fou e mana'omia ona fa'asaoina.
Atonu o nei mea, o le siʻitia tele e fesoʻotaʻi ma le mafuaaga lona tolu - o le faʻateleina o le faʻaogaina o le mataʻituina. Ma i lenei tulaga, e aoga le vaʻavaʻai i le natura o le uta, o a fesili filifilia autu. O fesili filifilia fa'avae e fa'apea e fa'avae i nisi vaega o fua fa'atatau.
Mo se faʻataʻitaʻiga, o le faʻaogaina o le CPU i luga o nisi sapalai e nisi auaunaga. E foliga mai o loʻo i ai se vaega o ki e te maua ai lenei faʻamatalaga. Ma o le talosaga lava ia mo lenei faʻamatalaga e foliga mai e faigofie tele ma maeʻa i le sefulu o milliseconds. Fa'aaogaina mo le mata'ituina o auaunaga ma dashboards. Ou te faamoemoe ua ou malamalama lelei i lenei mea.
Vladimir Kolobaev: O le mea moni e masani ona matou faʻafeiloaʻi i faʻamatalaga faʻasolopito, talu ai matou te faʻatusatusa le tulaga o loʻo i ai nei ma le tala faʻasolopito i le taimi moni. Ma e taua mo i tatou le vave maua o le tele o faʻamaumauga, ma o le ClickHouse e faia se galuega sili ona lelei i lenei mea.
E matua sa'o lava oe, matou te iloa le tele o talosaga faitau i le aso mulimuli, pei o soʻo se faiga mataʻituina. Ae i le taimi lava e tasi, o le uta i luga o faʻamaumauga faʻasolopito e fai lava si tele. E fa'avae mai se faiga fa'alauiloa lea e taamilo i le tolusefulu sekone ma fai atu i le ClickHouse: "Tuu mai ia te a'u fa'amatalaga mo le ono vaiaso mulimuli. Ia fausia nei ia te aʻu se ituaiga o felauaiga faʻasolosolo mai ia i latou, ma seʻi o tatou faʻatusatusa le tau o loʻo i ai nei ma le tala faasolopito.
Ou te fia fai atu mo ia talosaga lata mai ua i ai se isi tamai laulau matou te teuina ai na o le lua aso o faʻamaumauga, ma o talosaga autu e lele i totonu. E na'o le tele o fa'amatalaga fa'asolopito e lafo atu i le laulau tele.
Alexey Milovidov: Ae paga lea, e foliga mai e le talafeagai mo lau faʻataʻitaʻiga, ae o le a ou taʻuina atu ia te oe se faʻamatalaga o ni fuafuaga leaga se lua ma le lavelave e le manaʻomia ona faʻaaogaina, ae o loʻo faʻaaogaina i au uo.
O loʻo i ai se fuifui autu ma Yandex.Metrica mea tutupu. O mea na tutupu o itulau vaaia, kiliki, ma liua. Ole tele ole talosaga e alu ile upegatafa'ilagi patino. E te tatalaina le Yandex.Metrica auaunaga, o loʻo i ai sau upega tafaʻilagi - avito.ru, alu i le lipoti, ma faia se talosaga mo lau 'upega tafaʻilagi.
Ae o loʻo iai isi talosaga - auʻiliʻili ma le lalolagi - e faia e tagata suʻesuʻe i totonu. I le tulaga lava, ou te matauina o loʻo faia e le au suʻesuʻe i totonu naʻo le Yandex auaunaga. Ae ui i lea, e oʻo lava i auaunaga a Yandex o loʻo i ai se vaega taua o faʻamaumauga uma. O talosaga ia e le mo fa'atatau fa'apitoa, ae mo le fa'amama lautele.
E faʻafefea ona faʻatulagaina faʻamaumauga i se auala e galue lelei ai mea uma mo le tasi faʻatau, ma fesili faʻavaomalo foi? O le isi faʻafitauli o le numera o talosaga i le ClickHouse mo le faʻasologa o Metrics e tele afe i le sekone. I le taimi lava e tasi, e tasi le ClickHouse server e le mafai ona taulimaina talosaga e le taua, mo se faʻataʻitaʻiga, tele afe i le sekone.
Ole tele ole fuifui e onoselau-mea ole 'au'aunaga. Afai e te na'o le tosoina o se laulau Fa'asoa i luga o lenei fuifui ma lafo le tele o afe o talosaga iina, o le a sili atu le leaga nai lo le lafoina i le tasi server. I le isi itu, o le filifiliga e faʻasalalau faʻasalalau faʻamatalaga, ma matou o atu ma talosaga mai 'auʻaunaga uma, e vave faʻateʻaina.
E iai le filifiliga e fa'afeagai fa'afeagai. Va'ai faalemafaufau pe a tatou fa'asoa fa'amaumauga i luga o saite, ma o se talosaga mo se tasi saite e alu i le tasi shard. Le taimi nei o le a mafai e le fuifui ona taulimaina le sefulu afe talosaga i le sekone, ae i luga o le tasi shard soʻo se tasi talosaga o le a galue lemu. O le a le toe fuaina i tulaga o le gaosiga. Ae maise pe a fai o le saite avito.ru. O le a ou le faʻaalia le mealilo pe a ou fai atu o Avito o se tasi o nofoaga sili ona asiasi i RuNet. Ma o le fa'aogaina i luga o le fasi fasi e tasi o le fa'avalevalea.
O le mea lea, o le sharding scheme ua mamanuina i se auala sili atu ona atamai. O le fuifui atoa ua vaevaeina i ni nai fuifui, lea matou te taʻua o faʻasologa. O fuifui ta'itasi e aofia ai mai le taseni i le tele o taseni fasi. E tolu sefulu iva fuifui faapena i le aofaiga atoa.
E fa'afefea ona fua uma lenei mea? E le suia le numera o fuifui - e pei o le tolusefuluiva i nai tausaga ua mavae, o loʻo tumau pea. Ae i totonu o latou taʻitasi, matou te faasolosolo malie ona faʻateleina le numera o shards ao matou faʻaputuina faʻamaumauga. Ma o le fuafuaga o le sharding atoa e pei o lenei: o nei fuifui ua vaevaeina i luga o upega tafaʻilagi, ma ina ia malamalama po o le fea upega tafaʻilagi o loʻo i luga o le fea fuifui, o loʻo faʻaaogaina se metabase ese i MySQL. Tasi saite - i luga o le tasi fuifui. Ma i totonu, o le sharding e tupu e tusa ai ma ID asiasi.
Pe a pueina, matou te vaevaeina i latou i le vaega o totoe o le vaevaega o le ID asiasi. Ae pe a faʻaopoopoina se shard fou, e suia le faiga o le sharding; matou te faʻaauau pea ona vaeluaina, ae o loʻo totoe o le vaevaega i se isi numera. O lona uiga o le tasi tagata asiasi ua uma ona tuʻuina i luga o le tele o sapalai, ma e le mafai ona e faʻalagolago i lenei mea. E faia lenei mea ina ia mautinoa e sili atu le faʻapipiʻiina o faʻamaumauga. Ma pe a faia ni talosaga, matou te alu i le laulau Faʻasalalau, lea e vaʻavaʻai i le fuifui ma maua le tele o sapalai. O se faiga valea lea.
Ae o le a le atoatoa laʻu tala pe a ou le fai atu na matou lafoaia lenei polokalame. I le polokalame fou, na matou suia mea uma ma kopi uma faʻamaumauga e faʻaaoga ai le clickhouse-copier.
I le polokalame fou, o nofoaga uma e vaevaeina i ni vaega se lua - tetele ma laiti. Ou te le iloa pe na faapefea ona filifilia le faitotoa, ae o le taunuuga o le tele o nofoaga o loʻo faʻamauina i luga o le tasi fuifui, lea e iai le 120 shards ma tolu kopi taʻitasi - o lona uiga, 360 servers. Ma o le faiga o le sharding e pei o soo se talosaga e alu i shards uma i le taimi e tasi. Afai e te tatalaina nei soʻo se itulau lipoti mo avito.ru i Yandex.Metrica, o le a alu le talosaga ile 120 servers. E i ai nai nofoaga tetele i RuNet. Ma o talosaga e le o le afe i le sekone, ae e itiiti ifo i le selau. O nei mea uma o loʻo faʻafefe filemu e le laulau Faʻasalalau, lea e faʻatautaia e latou taʻitasi ma le 120 servers.
Ma o le fuifui lona lua e mo nofoaga laiti. Ole faiga ole sharding e fa'avae ile ID site, ma ole talosaga ta'itasi e alu ile tasi shard.
O le ClickHouse o loʻo i ai se faʻaoga clickhouse-copier. E mafai ona e ta'u mai e uiga ia te ia?
O le a ou fai atu i le taimi lava lena o lenei fofo e sili atu ona faigata ma e tau le aoga. O le lelei o le faʻafefeteina atoa o faʻamatalaga e tusa ai ma le mamanu e te faʻamaonia. Ae o le faaletonu o le aoga o le le toe faʻafouina. E kopiina fa'amaumauga mai le tasi fuifui schema i le isi fuifui schema.
O lona uiga ina ia galue e tatau ona lua fuifui. E mafai ona maua i luga o 'auʻaunaga tutusa, ae, e ui i lea, o faʻamaumauga o le a le faʻatupuina faʻatuputeleina, ae o le a kopiina.
Mo se faʻataʻitaʻiga, e fa 'auʻaunaga, o lea ua valu. E te fatuina se laulau Faʻasalalau fou i luga o 'auʻaunaga uma, laulau fou faʻapitonuʻu ma faʻalauiloa le clickhouse-copier, faʻaalia i totonu le polokalame galuega e tatau ona faitau mai iina, talia le polokalame fou sharding ma faʻafeiloaʻi faʻamaumauga iina. Ma i luga o sapalai tuai o le a e manaʻomia le tasi ma le afa taimi sili atu avanoa nai lo le taimi nei, aua o faʻamaumauga tuai e tatau ona tumau i luga ia i latou, ma o le afa o faʻamaumauga tuai e tasi o le a taunuu i luga o latou. Afai na e mafaufau muamua e manaʻomia le toe faʻafouina o faʻamaumauga ma o loʻo i ai avanoa, ona talafeagai lea o lenei metotia.
E fa'afefea ona galue le clickhouse-copier i totonu? Na te talepeina galuega uma i se seti o galuega mo le faʻaogaina o le tasi vaeluaga o le tasi laulau i luga o le tasi shard. O nei galuega uma e mafai ona faʻatinoina tutusa, ma clickhouse-copier e mafai ona taʻavale i luga o masini eseese i le tele o taimi, ae o le mea e fai mo le tasi vaeluaga e leai se mea e sili atu nai lo se faʻapipiʻi filifili. O faʻamaumauga e faitau, faʻamalo, toe faʻavasega, ona toe faʻapipiʻi, tusia i se mea, ma toe faʻavasega. O se faaiuga faigata lea.
Sa i ai sau mea pailate e ta'ua o le resharding. Ae faapefea o ia?
I tua i le 2017, sa i ai sau mea pailate e taʻua o le resharding. E iai foʻi se filifiliga ile ClickHouse. E pei ona ou malamalama i ai, e le'i alu ese. E mafai ona e ta'u mai pe aisea na tupu ai lenei mea? E foliga mai e matua talafeagai.
O le faʻafitauli atoa o le afai e manaʻomia le toe faʻaleleia o faʻamaumauga i le nofoaga, e manaʻomia le faʻaogaina o le faʻaogaina ina ia mafai ai ona faia lenei mea. Ina ua amata ona matou vaʻavaʻai pe faʻafefea ona faʻaogaina lenei tuʻufaʻatasia, na manino ai o loʻo i ai faʻafitauli faʻavae. Ma o nei faʻafitauli faʻavae e le gata o faʻamatalaga, ae na amata loa ona faʻaalia i latou lava i le faʻatinoga i le tulaga o se mea e mafai ona faʻamatalaina faigofie - leai se mea e aoga.
E mafai ona tu'u fa'atasi uma vaega o fa'amaumauga a'o le'i fa'agaoioi i tisiki fa'agesegese?
Fesili e uiga i le TTL fa'atasi ai ma le fa'agaoioiga e fa'agesegese le filifiliga tisiki i totonu o le tala fa'atasi. E i ai se auala, e ese mai i le cron, e tuʻufaʻatasia uma vaega i le tasi aʻo leʻi faʻanofoina e faʻagesegese tisiki?
O le tali i le fesili e mafai ona faʻapipiʻi otometi vaega uma i le tasi aʻo leʻi tuʻuina atu - leai. Ou te manatu e le talafeagai lenei mea. E te le manaʻomia le tuʻufaʻatasia o vaega uma i le tasi, ae naʻo le faʻamoemoe i le mea moni o le a latou faʻafeiloaʻi i le faʻagesegese o tisiki.
E lua a matou ta'iala mo tulafono fesiitaiga. O le mea muamua e pei ona faatumuina. Afai o le vaega o lo'o i ai nei e teu ai e itiiti ifo nai lo se pasene patino o avanoa avanoa, matou te filifilia se pusi se tasi ma fa'agaoioi i le teuina fa'agesegese. Pe sili atu, e le faʻagesegese, ae o le isi - aʻo e faʻatulagaina.
O le tulaga lona lua o le lapopoa. E uiga i le fesiitaiga o fasipepa tetele. E mafai ona e fetuutuunai le paepae e tusa ai ma le avanoa avanoa i luga o le tisiki vave, ma o le a otometi lava ona fesiitai faamatalaga.
E faʻafefea ona faʻafeiloaʻi i lomiga fou o ClickHouse pe afai e leai se auala e siaki ai le fetaui muamua?
O lenei mataupu e talanoaina e le aunoa i le amanaia o lomiga eseese, ma o lea lava. O le a le saogalemu o le faʻaleleia mai le version 19.11 i le 19.16 ma, mo se faʻataʻitaʻiga, mai le 19.16 i le 20.3. O le a le auala sili e malaga atu ai i lomiga fou e aunoa ma le mafai ona siaki le fetaui i totonu o le sandbox muamua?
E tele tulafono "auro" iinei. Tulaga tasi - . E tele, ae o loʻo i ai parakalafa eseese e uiga i suiga le fetaui i tua. Aua ne'i avea nei vaega o se fu'a mumu. O mea ia e masani lava o nai mea laiti e le fetaui e aofia ai nisi faʻaoga pito e foliga mai e te le faʻaaogaina.
Lona lua, afai e leai se auala e siaki ai le fetaui i le sandbox, ma e te manaʻo e faʻafouina vave i le gaosiga, o le fautuaga e te le manaʻomia le faia o lenei mea. Muamua fai se pusa oneone ma su'e. Afai e leai se siosiomaga suʻega, e foliga mai e leai sau kamupani tele tele, o lona uiga e mafai ona e kopiina nisi o faʻamatalaga i lau komepiuta feaveaʻi ma ia mautinoa o loʻo lelei mea uma i luga. E mafai fo'i ona e si'i a'e nisi fa'atusa i totonu o lau masini. Pe mafai foi ona e pikiina se lomiga fou i se mea lata ane ma tuu i ai nisi o faʻamatalaga iina - o lona uiga, fatuina se siosiomaga suʻega faʻaleleia.
O le isi tulafono e le faʻafouina mo le vaiaso talu ona tuʻuina atu le lomiga ona o le puʻeina o bug i le gaosiga ma toe faʻaleleia vave. Se'i tatou va'ai i le faanumeraina o lomiga ClickHouse ina ia aua ne'i fenumiai.
O lo'o iai fa'amatalaga 20.3.4. O le numera 20 o loʻo faʻaalia ai le tausaga o le gaosiga - 2020. Mai le vaaiga o mea o loʻo i totonu, e le afaina, o lea o le a tatou le gauai atu i ai. Sosoo ai - 20.3. Matou te faʻateleina le numera lona lua - i lenei tulaga 3 - i taimi uma matou te faʻamalolo ai se faʻamalolo ma nisi galuega fou. Afai tatou te mananaʻo e faʻaopoopo se vaega ile ClickHouse, e tatau ona faʻateleina lenei numera. O lona uiga, i le version 20.4 ClickHouse o le a sili atu le lelei. O le numera lona tolu o le 20.3.4. O le 4 lea o le numera o faʻasalalauga faʻapipiʻi lea matou te leʻi faʻaopoopoina ni foliga fou, ae faʻamautu nisi faʻamau. Ma le 4 o lona uiga e fa taimi na matou faia ai.
Aua e te manatu o se mea leaga lea. E masani lava e mafai e le tagata faʻaoga ona faʻapipiʻi le lomiga lata mai ma o le a galue e aunoa ma ni faʻafitauli i luga ole taimi i le tausaga. Ae mafaufau i nisi o galuega mo le faʻaogaina o bitmaps, lea na faʻaopoopoina e a tatou uo Saina, e paʻu le server pe a pasia ni finauga sese. E i ai sa tatou matafaioi e faaleleia lea tulaga. O le a matou tuʻuina atu se faʻamatalaga fou patch ma ClickHouse o le a sili atu ona mautu.
Afai o loʻo i ai sau ClickHouse o loʻo faʻagasolo i le gaosiga, ma o se lomiga fou o ClickHouse e sau ma faʻaopoopoga faʻapitoa - mo se faʻataʻitaʻiga, 20.4.1 o le mea muamua lava, aua le faanatinati e tuʻu i le gaosiga i le aso muamua. Aiseā e manaʻomia ai? Afai e te le faʻaaogaina le ClickHouse, e mafai ona e faʻapipiʻiina, ma e foliga mai o le a lelei mea uma. Ae afai o loʻo galue lelei le ClickHouse, ona vaʻavaʻai lea i patches ma faʻafouga e iloa ai poʻo a faʻafitauli o loʻo matou faʻaleleia.
Kirill Shvakov: Ou te fia faaopoopo atu sina mea itiiti e uiga i siosiomaga su'ega. E matua fefefe tagata uma i siosiomaga o suʻega ma mo nisi mafuaʻaga latou te talitonu afai e iai sau faʻapipiʻi tele ClickHouse, o le suʻega suʻega e le tatau ona itiiti ifo pe itiiti ifo i le sefulu taimi laʻititi. E le faapena lava.
E mafai ona ou ta'u atu ia te outou mai la'u lava faataitaiga. E i ai laʻu galuega faatino, ma o loʻo i ai le ClickHouse. O la matou suʻega suʻesuʻega e naʻo ia - o se tamaʻi masini komepiuta i Hetzner mo le luasefulu euros, lea e faʻapipiʻiina ai mea uma. Ina ia faia lenei mea, o loʻo i ai a matou masini atoa i Ansible, ma o le mea lea, i le mataupu faavae, e leai se eseesega pe o fea e alu i ai - i masini masini pe naʻo le faʻapipiʻiina i masini masini.
O le a se mea e mafai ona fai? E manaia le tuʻuina atu o se faʻataʻitaʻiga i le ClickHouse faʻamaumauga ile auala e faʻapipiʻi ai se fuifui laʻititi i lou lava fale - i Docker, i le LXC, atonu e fatuina se tusi taʻavale Ansible, ona o tagata eseese e eseese faʻatulagaga. O lenei mea o le a faʻafaigofie tele. A e ave ma faʻapipiʻi se fuifui i totonu o le lima minute, e sili atu ona faigofie le taumafai e suʻe se mea. E sili atu ona faigofie lenei mea, aua o le taʻavale i totonu o se gaosiga e te leʻi faʻataʻitaʻiina o se auala e leai se mea. O nisi taimi e aoga ma o nisi taimi e leai. Ma o le mea lea, o le faʻamoemoe mo le manuia e leaga.
Maxim Kotyakov, inisinia sinia pito i tua Avito: O le a ou faʻaopoopo sina mea itiiti e uiga i siosiomaga suʻega mai se faʻasologa o faʻafitauli o loʻo feagai ma kamupani tetele. O loʻo i ai a matou faʻapipiʻi faʻapipiʻi atoatoa ClickHouse i tulaga o faʻamaumauga ma faʻatulagaga, o se kopi saʻo o mea o loʻo i totonu o le gaosiga. O lenei fuifui o lo'o fa'apipi'iina i totonu o koneteina fa'amama ma fa'aitiitiga alaga'oa. Matou te tusia se pasene patino o faʻamatalaga gaosiga iina, o le mea e lelei ai e mafai ona toe faia le vaitafe i Kafka. O mea uma o lo'o i ai e fa'amaopoopo ma fa'afuaina - e le gata i tulaga o le gafatia ma le tafe, ma, i le talitonuga, o isi mea uma e tutusa, e tatau ona amio e pei o le gaosiga i tulaga o metrics. O mea uma e ono pāpā e muamua ta'avale i luga o lenei tulaga ma tu'u ai iina mo ni nai aso se'ia sauni. Ae e masani lava, o lenei fofo e taugata, faigata ma e leai se zero lagolago tau.
Alexey Milovidov: O le a ou taʻu atu ia te oe le tulaga o le suʻega o a matou uo mai le Yandex.Metrica. O le tasi fuifui sa i ai le 600-odd servers, o le isi sa i ai le 360, ma o loʻo i ai le lona tolu ma le tele o fuifui. Ole siosiomaga ole su'ega mo se tasi oi latou e na'o le lua shards ma lua fa'atusa i totonu ta'itasi. Aisea e lua fasimea? Ina ia le tuua na o oe. Ma e tatau foi ona i ai ni kopi. Na'o se tau maualalo e mafai ona e gafatia.
O lenei siosiomaga su'ega e mafai ai ona e siaki pe o galue au fesili ma pe i ai se mea tele ua malepe. Ae o le tele o faʻafitauli e tulaʻi mai i se natura e matua ese lava, pe a galue mea uma, ae o loʻo i ai ni nai suiga laiti i le uta.
Sei ou tuuina atu se faataitaiga. Na matou filifili e faʻapipiʻi se lomiga fou o ClickHouse. Ua tuʻuina i luga o se siosiomaga faʻataʻitaʻiga, faʻataʻitaʻiga otometi ua maeʻa i Yandex.Metrica lava ia, lea e faʻatusatusa ai faʻamaumauga i luga o le tuai ma le fou, faʻatautaia le paipa atoa. Ma o le mea moni, suʻega lanu meamata a le matou CI. A leai semanū matou te le tuʻuina atu lenei faʻamatalaga.
Ua lelei mea uma. Ua amata ona matou agai atu i le gaosiga. Ua ou maua se fe'au o le uta i luga o kalafi ua fa'ateleina le tele o taimi. O loʻo matou toe faʻafoʻi le faʻasologa. Ou te tilotilo i le kalafi ma vaʻai: o le uta na faʻateleina i le tele o taimi i le taimi o le taʻavale, ma faʻaitiitia i tua pe a latou taʻavale i fafo. Ona amata lea ona matou toe faʻafoʻi le faʻasologa. Ma sa faateleina le avega i le ala lava e tasi ma toe pau i tua i le ala lava e tasi. O le faaiuga la o lenei: ua faateleina le uta ona o le faatulagaga, e leai se mea e ofo ai.
Ona faigata ai lea ona faʻamaonia paaga e faʻapipiʻi le lomiga fou. Ou te fai atu: “Ua lelei, taʻavale i fafo. Taofi ou tamatamailima, o le a aoga mea uma. O lea ua faateleina le uta i luga o kalafi, ae ua lelei mea uma. Taofi i ai." I se tulaga lautele, na matou faia lenei mea, ma o le mea lena - o le lomiga na tuʻuina atu mo le gaosiga. Ae toetoe lava o faʻatulagaga uma e tulaʻi mai faʻafitauli tutusa.
Kill query e tatau ona tape fesili, ae e leai. Aisea?
O se tagata faʻaoga, o se ituaiga o tagata suʻesuʻe, na sau ia te aʻu ma faia se talosaga na tuʻu ai laʻu faʻapipiʻi ClickHouse. O nisi node po'o le fuifui atoa, e fa'atatau i le fa'atusa po'o le fa'ailoga na alu i ai le talosaga. Ou te vaʻai o loʻo i ai uma punaoa CPU i luga o lenei 'auʻaunaga i totonu o se fata, o mea uma e mumu. I le taimi lava e tasi, ClickHouse lava ia e tali atu i talosaga. Ma ou te tusia: "Faʻamolemole faʻaali mai ia te aʻu, lisi o gaioiga, o le a le talosaga na mafua ai lenei faʻavalevalea."
Ou te mauaina lenei talosaga ma tusi le fasioti i ai. Ma ua ou vaai e leai se mea o tupu. O laʻu 'auʻaunaga o loʻo i totonu o se fata, ClickHouse ona tuʻuina mai lea ia te aʻu o ni faʻatonuga, faʻaalia ai o loʻo ola le server, ma e lelei mea uma. Ae o loʻo i ai loʻu faʻaleagaina i talosaga uma a tagata faʻaoga, faʻaleagaina e amata i faʻamaumauga i le ClickHouse, ma e le aoga laʻu fesili fasioti tagata. Aisea? Na ou manatu o le fasioti fesili e tatau ona tape fesili, ae e leai.
O lea la o le ai ai se tali uiga ese. O le manatu o le fasioti fesili e le fasiotia fesili.
Kill query siaki se tama'i pusa e ta'ua "Ou te mana'o ia fa'aumatia lenei fesili." Ma o le talosaga lava ia e vaʻavaʻai i lenei fuʻa pe a faʻatautaia poloka taʻitasi. Afai ua seti, e le toe galue le talosaga. E foliga mai e leai se tasi na te fasiotia le talosaga, o ia lava e tatau ona siaki mea uma ma taofi. Ma e tatau ona aoga lenei mea i tulaga uma o loʻo i ai le talosaga i le tulaga o le faʻaogaina o poloka o faʻamaumauga. O le a faʻatautaia le isi poloka o faʻamaumauga, siaki le fuʻa, ma taofi.
E le aoga lenei mea i mataupu e poloka ai le talosaga i nisi o gaioiga. E moni, e foliga mai e le o lau mataupu lea, aua, e tusa ai ma oe, e faʻaaogaina le tele o punaoa a le server. Atonu e le aoga lenei mea i le tulaga o le fa'avasegaina i fafo ma nisi fa'amatalaga. Ae i se tulaga lautele e le tatau ona tupu lenei mea, o se pusa. Ma na o le pau lava le mea e mafai ona ou fautuaina o le faʻafouina o ClickHouse.
E fa'afefea ona fa'atatau le taimi tali i lalo ole uta faitau?
O lo'o iai le laulau e teu ai mea fa'aputu - fa'atau eseese. Ole numera o laina e tusa ma le selau miliona. E mafai ona faʻamoemoe i se taimi e tali mai ai pe a e sasaa le 1K RPS mo mea 1K?
I le faʻamasinoina o le tala, o loʻo tatou talanoa e uiga i le uta faitau, aua e leai ni faʻafitauli i le tusitusi - e oʻo lava i le afe, e oo lava i le selau afe, ma o nisi taimi e mafai ona faʻaofiina ni nai miliona laina.
O talosaga faitau e matua ese lava. I le filifiliga 1, ClickHouse e mafai ona faia e uiga i le fiasefulu afe o talosaga i le sekone, o lea e oʻo lava i talosaga mo le tasi ki o le a manaʻomia nisi punaoa. Ma o ia fesili fesili o le a sili atu ona faigata nai lo nisi faʻamaumauga autu-taua, aua mo faitauga taʻitasi e tatau ona faitau se poloka o faʻamaumauga e ala i le faasino igoa. O la matou fa'asinomaga e le o fa'amaumauga ta'itasi, ae o fa'asologa ta'itasi. O lona uiga, e tatau ona e faitauina atoa le laina - o le 8192 laina lea e le mafai. Ma e tatau ona e faʻamalo le poloka faʻamaumauga faʻapipiʻi mai le 64 KB i le 1 MB. E masani lava, o ia fesili fa'atatau e mana'omia ni nai milliseconds e fa'amae'a ai. Ae o le filifiliga sili lea ona faigofie.
Sei o tatou taumafai i se numera faigofie. Afai e te faatele ni nai milliseconds i le afe, e te maua ni nai sekone. E pei e le mafai ona faʻaauau pea le afe o talosaga i le sekone, ae o le mea moni e mafai, ona e tele a tatou faʻasologa o masini. O lea la, i le mataupu faavae, ClickHouse e mafai i nisi taimi ona umia 1000 RPS, ae mo talosaga pupuu, faʻapitoa faʻatatau.
Afai e te manaʻomia le fuaina o le ClickHouse cluster i le numera o talosaga faigofie, ona ou fautuaina lea o le mea sili ona faigofie - faʻateleina le numera o faʻataʻitaʻiga ma auina atu talosaga i se faʻasologa faʻafuaseʻi. Afai e tasi le kopi o loʻo umia le lima selau talosaga i le sekone, lea e matua moni lava, ona tolu faʻataʻitaʻiga o le a taulimaina le tasi ma le afa afe.
O nisi taimi, ioe, e mafai ona e faʻapipiʻi ClickHouse mo le numera maualuga o faʻamatalaga faitau. O le a le mea e manaʻomia mo lenei mea? Muamua o le faʻaitiitia o le granularity o le faasino igoa. I lenei tulaga, e le tatau ona faʻaititia i le tasi, ae i luga o le faʻavae o le numera o faʻamaumauga i totonu o le faasino igoa o le a tele miliona pe sefulu miliona i le server. Afai o le laulau e selau miliona laina, ona mafai lea ona seti le granularity i le 64.
E mafai ona e fa'aititia le tele o le poloka fa'apipi'i. O loʻo iai faʻatulagaga mo lenei mea min compress poloka tetele, pito maualuga poloka poloka poloka. E mafai ona fa'aitiitia, toe fa'atumu i fa'amaumauga, ona vave loa lea o fesili fa'atatau. Ae ui i lea, ClickHouse e le o se faʻamaumauga autu-taua. O se numera tele o talosaga laiti o se uta antipattern.
Kirill Shvakov: O le a ou avatu se fautuaga pe a iai ni tala masani iina. Ole tulaga masani lea pe a teu e ClickHouse se ituaiga faʻatau. E i ai la'u tagata fa'aoga, e sau o ia mai lea atunu'u, ma se vaega lona tolu, ma ou te mana'omia le fa'ateleina o se mea. Ave MySQL, fai se ki tulaga ese - i MySQL o se ki faʻalua, ma PostgreSQL o se feteʻenaʻiga - ma faʻaopoopo se faʻailoga faʻaopoopo. O lenei mea o le a sili atu ona lelei.
Afai e le tele au faʻamatalaga, e leai se aoga tele i le faʻaaogaina o le ClickHouse. E iai fa'amaumauga masani ma latou faia lelei lenei mea.
O le a se mea e mafai ona ou tweak i ClickHouse ina ia tele faʻamatalaga i totonu o le cache?
Sei o tatou mafaufau i se tulaga - o loʻo i ai i le 'auʻaunaga le 256 GB o le RAM, i le masani i aso taʻitasi ClickHouse e tusa ma le 60-80 GB, i le pito i luga - e oʻo atu i le 130. O le a le mea e mafai ona faʻamalosia ma tweaked ina ia sili atu faʻamatalaga i totonu o le cache ma, e tusa ai, e itiiti ni malaga i le disk?
E masani lava, o le 'upega tafa'ilagi o lo'o fa'agaoioia itulau e fai se galuega lelei i lenei mea. Afai e te tatalaina le pito i luga, vaʻai iina o loʻo faʻaogaina pe leai se totogi - o loʻo taʻu mai ai foi pe fia le mea o loʻo faʻaogaina - ona e matauina ai lea o loʻo faʻaogaina uma le manatua fua mo le faʻaoga. Ma pe a faitau lenei faʻamatalaga, o le a le faitauina mai le disk, ae mai le RAM. I le taimi lava e tasi, e mafai ona ou fai atu o le cache e faʻaaogaina lelei ona o le faʻapipiʻiina o faʻamaumauga o loʻo faʻaogaina.
Ae peitaʻi, afai e te manaʻo e faʻavaveina nisi o fesili faigofie e sili atu, e mafai ona faʻatagaina se faʻaoga i totonu o faʻamatalaga faʻamalo i totonu o ClickHouse. Ua ta'ua le fa'apipi'i fa'aoga. I le config.xml configuration file, seti le tele o le cache uncompressed i le tau e te manaʻomia - Ou te fautuaina e le sili atu ma le afa o le RAM saoloto, aua o isi o le a alu i lalo o le itulau cache.
E le gata i lea, e lua tulaga o tulaga talosaga. Fa'atulagaina muamua - fa'aoga le cache e le'i fa'apipi'iina - e aofia ai lona faʻaaogaina. E fautuaina e faʻatagaina mo talosaga uma, sei vagana ai mamafa, e mafai ona faitau uma faʻamatalaga ma fufulu le cache. Ma o le tulaga lona lua o se mea e pei o le numera maualuga o laina e faʻaoga ai le faʻaoga. E otometi lava ona fa'atapula'aina fesili tetele ina ia latou fa'aaloa le fa'aoga.
E faʻafefea ona ou faʻatulagaina le storage_configuration mo le teuina i le RAM?
I le pepa fou ClickHouse na ou faitau i le vaega e fesoʻotaʻi . O le faʻamatalaga o loʻo i ai se faʻataʻitaʻiga ma SSD vave.
Ou te mafaufau pe faʻafefea ona faʻapipiʻi le mea lava e tasi i le voluma vevela manatua. Ma le isi fesili. E faʻafefea ona filifili galuega ma lenei faʻalapotopotoga faʻamaumauga, o le a faitau le seti atoa pe naʻo le tasi o loʻo i luga o le tisiki, ma o lenei faʻamaumauga o loʻo faʻapipiʻiina i le mafaufau? Ae fa'afefea ona galue le vaega muamua i sea fa'alapotopotoga fa'amaumauga?
O lenei fa'atulagaga e a'afia ai le teuina o pusi fa'amaumauga, ma o latou faatulagaga e le suia i so'o se auala.
Sei o tatou tilotilo totoa.
E mafai ona e faʻatulagaina le teuina o faʻamaumauga i le RAM. Pau lava le mea e faʻatulagaina mo le disk o lona ala. E te fatuina se vaega tmpfs o loʻo faʻapipiʻiina i se auala i le faila faila. E te faʻamaoti lenei ala o le ala mo le teuina o faʻamatalaga mo le vaeluaga sili ona vevela, o vaega o faʻamaumauga e amata ona oʻo mai ma tusia iina, e lelei mea uma.
Ae ou te le fautuaina le faia o lenei mea ona o le maualalo o le faʻatuatuaina, e ui lava e iai sau faʻataʻitaʻiga e tolu i nofoaga autu o faʻamatalaga eseese, ona mafai lea. Afai e tupu se mea, o le a toe faʻaleleia faʻamaumauga. Se'i vaai faalemafaufau ua tape faafuasei le server ma toe ola. Sa toe faapipii le vaeluaga, ae leai se mea iina. A amata le server ClickHouse, e vaʻaia e le o iai nei vaega, e ui lava, e tusa ai ma le ZooKeeper metadata, e tatau ona i ai iina. Na te vaʻavaʻai poʻo fea kopi o loʻo i ai, talosagaina i latou ma sii mai. O le auala lea o le a toe faʻaleleia ai faʻamatalaga.
I lenei tulaga, o le teuina o faʻamatalaga i le RAM e leʻo matua ese lava mai le teuina i luga o le disk, aua pe a tusia faʻamatalaga i le disk, e muamua foi ona iu i le itulau cache ma tusia faaletino mulimuli ane. E fa'alagolago lea i le filifiliga fa'apipi'i faila. Ae naʻo le tulaga, o le a ou fai atu e le faʻaogaina e ClickHouse pe a faʻaofi.
I lenei tulaga, o faʻamaumauga i le RAM o loʻo teuina i le tulaga tutusa e pei o luga ole disk. O le fesili filifilia i le auala lava e tasi e filifilia ai vaega e manaʻomia ona faitau, filifili faʻamaumauga talafeagai i totonu o fasipepa, ma faitau i ai. Ma prewhere e galue tutusa lava, e tusa lava pe o faʻamaumauga i le RAM poʻo luga ole disk.
E oʻo i le a le numera o tulaga faʻapitoa e aoga ai le Low Cardinality?
Low Cardinality ua fa'ata'atia lelei. E tu'ufa'atasia lomifefiloi fa'amaumauga, ae o lo'o fa'alotoifale. Muamua, e eseese lomifefiloi mo vaega ta'itasi, ma lona lua, e o'o lava i totonu o le fasi pepa e tasi e mafai ona 'ese'ese mo vaega ta'itasi. Pe a oʻo le numera o tulaga faʻapitoa i se numera faʻailoga-tasi miliona, ou te manatu-o le lomifefiloi ua naʻo le faʻamalo ma faia se mea fou.
O le tali i se tulaga lautele: mo taʻitasi faʻapitonuʻu - fai mai, mo aso taʻitasi - i se mea e oʻo atu i le miliona tulaga tulaga ese Low Cardinality e aoga. A mae'a, o le a na'o se fa'afouga, lea o le a fa'aogaina ai le tele o lomifefiloi eseese, ae le na'o le tasi. O le a galue e pei o se koluma manoa masani, atonu e itiiti ifo le lelei, ae o le a leai se faʻaleagaina matuia.
O a faiga e sili ona lelei mo le su'eina o tusitusiga atoa o se laulau e lima piliona laina?
E eseese tali. Muamua o le fai mai o ClickHouse e le o se masini suʻesuʻe atoa. E iai faiga fa'apitoa mo lenei, mo se fa'ata'ita'iga, и . Ae ui i lea, ua faʻateleina loʻu vaʻai i tagata o loʻo fai mai o loʻo latou fesuiaʻi mai Elasticsearch i ClickHouse.
Aisea e tupu ai lenei mea? Latou te faʻamatalaina lenei mea e ala i le mea moni e faʻagata Elasticsearch le taulimaina o le avega i nisi voluma, e amata i le fausiaina o faʻamatalaga. O faʻasinomaga e faʻalavelave tele, ma afai e te tuʻuina atu faʻamatalaga i le ClickHouse, e foliga mai o loʻo teuina i le tele o taimi e sili atu le lelei i tulaga o le voluma. I le taimi lava e tasi, o suʻesuʻega suʻesuʻe e masani lava e le o se mea e manaʻomia ai le suʻeina o se fuaitau i le aofaʻi atoa o faʻamaumauga, ma amanaʻia le morphology, ae matua ese lava. Mo se fa'ata'ita'iga, su'e nisi fa'asologa o bytes i totonu o ogalaau i nai itula mulimuli.
I lenei tulaga, e te fatuina se faasino igoa i ClickHouse, o le fanua muamua o le a avea ma aso ma taimi. Ma o fa'amaumauga pito sili ona tele o le a fa'avae i luga o le fa'asologa o aso. I totonu o le aso filifilia, e pei o se tulafono, ua mafai ona faia se suʻesuʻega atoa, e oʻo lava i le faʻaaogaina o le auala faʻamalosi e faʻaaoga ai. O le fa'atonu fa'apena ile ClickHouse e sili ona lelei e pei o le fa'afoe e mafai ona e mauaina. Afai e te maua se mea e sili atu, taʻu mai ia te aʻu.
Ae ui i lea, e pei o se suʻesuʻega atoa. Ma o le suʻesuʻega atoa e mafai ona faʻagesegese e le gata i luga o le PPU, ae faʻapea foʻi i luga o le disk. Afai faʻafuaseʻi e tasi le terabyte o faʻamaumauga i le aso, ma e te suʻeina se upu i le aso, ona e suʻeina lea o le terabyte. Ma atonu o loʻo i luga o taʻavale masani masani, ma i le faaiuga o le a utaina i latou i se auala e le mafai ai ona e mauaina lenei 'auʻaunaga e ala i le SSH.
I lenei tulaga, ua ou sauni e ofoina atu se isi togafiti itiiti. E fa'ata'ita'i - atonu e aoga, atonu e leai. ClickHouse o loʻo i ai faʻamatalaga faʻasinomaga atoa i le tulaga o trigram Bloom filiga. Ua uma ona faʻataʻitaʻiina e a matou paaga i Arenadata nei faʻasino igoa, ma e masani ona latou galulue e pei ona faʻamoemoeina.
Ina ia faʻaaogaina saʻo, e tatau ona e malamalama lelei i le auala tonu latou te galulue ai: o le a le trigram Bloom filter ma le auala e filifili ai lona tele. E mafai ona ou fai atu o le a latou fesoasoani mo fesili i nisi o fuaitau e le masani ai, substrings e seasea maua i faʻamaumauga. I lenei tulaga, o subranges o le a filifilia e index ma itiiti faʻamaumauga o le a faitauina.
Talu ai nei, ua faʻaopoopoina e le ClickHouse ni galuega sili atu mo le suʻesuʻeina o tusitusiga atoa. O le mea muamua lea, o se su'esu'ega mo se fa'asologa o substrings i le taimi e tasi i le tasi pasi, e aofia ai filifiliga e fa'atatau i mata'upu, mata'upu-le-mafaufau, fa'atasi ai ma le lagolago mo le UTF-8 pe na'o le ASCII. Filifili le mea e sili ona aoga e te manaʻomia.
Ua aliali mai fo'i su'esu'ega mo fa'amatalaga masani e tasi i le pasi e tasi. E te le manaʻomia le tusiaina o le X pei o le tasi substring poʻo le X pei o le isi substring. E te tusitusi i le taimi lava lena, ma o mea uma e faia i le lelei e mafai ai.
Lona tolu, o loʻo i ai nei se suʻesuʻega faʻatatau mo regexps ma se suʻesuʻega faʻatatau mo substrings. Afai e sese le sipelaina e se tasi se upu, o le a su'eina mo le maualuga maualuga.
O le a le auala sili e faʻatulaga ai avanoa i ClickHouse mo se numera tele o tagata faʻaoga?
Ta'u mai ia i matou le auala sili e fa'atulaga ai avanoa mo se numera tele o tagata fa'atau ma tagata su'esu'e. E fa'afefea ona fai se fa'asologa, fa'amuamua fesili fa'atasi, ma o a mea faigaluega?
Afai e lava le tele o le fuifui, o lona uiga o se fofo lelei o le faʻatupuina lea o isi 'auʻaunaga se lua, lea o le a avea ma nofoaga e ulufale ai mo tagata suʻesuʻe. O lona uiga, aua neʻi faʻatagaina tagata suʻesuʻe e faʻafeiloaʻi faʻamatalaga faʻapitoa i totonu o le fuifui, ae naʻo le fatuina o ni 'auʻaunaga avanoa se lua, e aunoa ma faʻamaumauga, ma faʻapipiʻi aia tatau i luga oi latou. I lenei tulaga, o le faʻaogaina o tagata faʻaoga mo talosaga tufatufaina e faʻafeiloaʻi atu i 'auʻaunaga mamao. O lona uiga, e te faʻatulagaina mea uma i luga o nei 'auʻaunaga e lua, ma o faʻatulagaga e iai se aʻafiaga i le fuifui atoa.
I le mataupu faavae, o nei 'auʻaunaga e leai ni faʻamatalaga, ae o le aofaʻi o le RAM i luga oi latou e taua tele mo le faʻatinoina o talosaga. E mafai fo'i ona fa'aoga le tisiki mo fa'amaumauga le tumau pe a mafai ona fa'aopoopo fa'atasi i fafo po'o fa'avasega mai fafo.
E taua le va'ai i fa'atulagaga e feso'ota'i ma tapula'a uma e mafai. Afai ou te alu nei i le Yandex.Metrica cluster o se tagata suʻesuʻe ma fai se talosaga filifili numera mai taia, o le a vave ona tuʻuina mai ia te aʻu se tuusaunoaga e le mafai ona ou faia le talosaga. Ole numera maualuga ole laina e mafai ona ou suʻeina e selau piliona, ma i le aofaʻi e limasefulu miliona o latou i le laulau e tasi i luga ole fuifui. O le tapulaa muamua lea.
Se'i faapea ou te aveese le tapulaa o le laina ae toe fai le fesili. Ona ou vaʻai lea i le tuusaunoaga o loʻo mulimuli mai - faʻaogaina le faʻaogaina fa'asinoga fa'amalosi ile aso. E le mafai ona ou fa'atumuina le fesili pe afai ou te le'i fa'ailoaina se va'aiga o aso. E te le tau fa'alagolago i tagata su'esu'e e fa'amaoti ma le lima. O se tulaga masani o le taimi e tusia ai se va'aiga o aso i le mea na tupu i le va o le vaiaso. Ona latou faʻamaonia ai lea o se puipui i le nofoaga sese, ae nai lo le ma na iʻu i le poʻo - poʻo le URL fetaui. Afai e leai se tapulaa, o le a tolotolo le koluma URL ma na o le faʻaumatia le tele o punaoa.
E le gata i lea, o le ClickHouse e lua tulaga faʻamuamua. Ae paga lea, e matua tuai lava. E ta'ua le tasi faamuamua. Afai o le fa'amuamua ≠ 0, ma talosaga e iai se fa'amuamua o lo'o fa'atinoina, ae o se talosaga e fa'amuamua le tau e itiiti ifo nai lo, o lona uiga e maualuga atu le fa'amuamua, o lo'o fa'atinoina, ona faia lea o se talosaga e fa'amuamua le tau e sili atu, o lona uiga e maualalo le fa'amuamua. , ua na'o le taofia ma o le a le aoga i lenei taimi.
O se fa'atulagaga sili ona leaga ma e le talafeagai mo tulaga o lo'o iai pea le uta o le fuifui. Ae afai e i ai ni au talosaga pupuu, mapu e taua, ma o le fuifui e tele lava ina le aoga, o lenei seti e talafeagai.
O le isi fa'amuamua e ta'ua OS filo fa'amuamua. E naʻo le setiina o le taua tele mo filo faʻatinoina talosaga mo le Linux scheduler. E galue fa'apea, ae o lo'o galue pea. Afai e te setiina le tau maualalo maualalo - o le sili lea i le tau, ma o le mea lea e sili ona maualalo le faʻamuamua - ma seti -19 mo talosaga e maualuga le faʻamuamua, ona faʻaaogaina lea e le PPU talosaga maualalo e tusa ma le fa taimi e itiiti ifo nai lo le faʻamuamua.
E te manaʻomia foʻi le faʻatulagaina o le taimi maualuga o le faʻatinoina o talosaga - fai mai, lima minute. Ole saosaoa la'ititi ole fa'atinoina ole fesili ole mea sili ona manaia. O lenei faʻatulagaga ua leva ona i ai, ma e manaʻomia e le gata ina faʻamaonia e le faʻagesegese le ClickHouse, ae ia faʻamalosia.
Va'ai faalemafaufau, ua e fa'atutuina: afai e i lalo ifo o le tasi le miliona laina i le sekone nisi o fesili, e le mafai ona e faia lena mea. O le mea lea e fa'alumaina ai lo tatou igoa lelei, lo tatou database lelei. Sei o tatou faasā lenei mea. E lua lava faatulagaga. E igoa le tasi min saosaoa faatinoga - i laina i le sekone, ma o le lona lua e taʻua o le taimi faʻagata aʻo leʻi siakiina le saoasaoa o le faʻatinoga - sefululima sekone e le mafai. O lona uiga, e sefululima sekone e mafai, ma, afai e telegese, ona lafo lea o se tuusaunoaga ma faʻaumatia le talosaga.
E mana'omia fo'i le fa'atulagaina o quota. O le ClickHouse o loʻo i ai se vaega faʻapipiʻi faʻapipiʻi e faitaulia ai le faʻaaogaina o punaoa. Ae, o le mea e leaga ai, e le o meafaigaluega faʻapitoa e pei o le PPU, tisiki, ae o mea talafeagai - o le numera o faʻatonuga talosaga, laina ma paita faitau. Ma e mafai ona e faʻatulagaina, mo se faʻataʻitaʻiga, le maualuga o le selau talosaga i totonu o le lima minute ma le afe talosaga i le itula.
Aisea e taua ai? Ona o nisi fa'amatalaga au'ili'ili o le a faia ma le lima sa'o mai le tagata fa'atau ClickHouse. Ma o le a lelei mea uma. Ae afai e iai ni au suʻesuʻe maualuluga i lau kamupani, o le a latou tusia se tusitusiga, ma e ono i ai se mea sese i le tusitusiga. Ma o lenei mea sese o le a mafua ai ona faʻataunuʻuina le talosaga i se matasele e le gata. O le mea lea e tatau ona tatou puipuia mai ai.
E mafai ona tu'uina atu fa'ai'uga o le tasi fesili i tagata e to'asefulu?
E tele a matou tagata fa'aoga e fiafia e sau i totonu ma ni talosaga tetele i le taimi lava e tasi. O le talosaga e tele ma, i le mataupu faavae, faʻataunuʻuina vave, ae ona o le mea moni e tele na talosaga i le taimi e tasi, e matua tiga lava. E mafai ona fa'atino le talosaga lava e tasi, lea na taunuu fa'asefulu i le laina, tasi, ma tu'uina atu le taunu'uga i tagata e to'asefulu?
O le faʻafitauli o le le maua lea o faʻaiʻuga o le cache poʻo le faʻaogaina o faʻamatalaga vavalalata. O loʻo i ai se itulau faʻapipiʻi o le faiga faʻaogaina, lea o le a taofia ai oe mai le toe faitauina o faʻamatalaga mai le tisiki, ae, o le mea e leaga ai, o faʻamaumauga o le a faʻaumatia pea, faʻaleaga ma toe faʻaleleia.
Ou te manaʻo e aloese mai lenei mea, a le o le teuina o faʻamatalaga vavalalata, poʻo le tuʻuina atu o fesili tutusa i se ituaiga o laina ma faʻaopoopo se faʻamaumauga o faʻamaumauga. I le taimi nei, e tasi le matou toso talosaga i le atinaʻe e faʻaopoopoina ai se talosaga cache, ae naʻo mo subqueries i totonu ma faʻatasi i vaega - o lona uiga, e leʻi atoatoa le fofo.
Peitaʻi, e tatou te fesagaʻi foʻi ma se tulaga faapena. O se fa'ata'ita'iga fa'apitoa fa'a-canonical o fa'amatalaga fa'aigoaina. O loʻo i ai se lipoti, e tele itulau, ma o loʻo i ai se talosaga mo le faʻatapulaʻa 10. Ona tutusa lea, ae faʻatapulaʻa 10,10. Ona sosoo ai lea ma le isi itulau. Ma o le fesili, aisea tatou te faitauina ai nei mea uma i taimi uma? Ae o lenei ua leai se fofo, ma e leai se auala e aloese ai.
O loʻo i ai se isi fofo e tuʻuina o se taʻavale i tafatafa o ClickHouse - .
Kirill Shvakov: ClickHouse Proxy o loʻo i ai le faʻatapulaʻaina o fua faʻatatau ma se faʻamaufaʻailoga faʻaiʻuga. O le tele o faʻatulagaga na faia iina ona o se faʻafitauli tutusa o loʻo foia. Proxy e mafai ai e oe ona faʻatapulaʻa talosaga e ala i le tuʻuina atu ma faʻatulaga le umi e ola ai le cache talosaga. Afai o talosaga e tutusa lava, o le a auina atu e le Proxy i latou i le tele o taimi, ae o le a alu ile ClickHouse naʻo le tasi.
O loʻo i ai foi i le Nginx se faʻaoga i le free version, ma o le a aoga foi. Nginx e iai foʻi faʻatonuga pe a oʻo mai talosaga i le taimi e tasi, o le a faʻagesegese isi seʻia maeʻa le tasi. Ae o loʻo i totonu o le ClickHouse Proxy e sili atu le lelei o le seti. Na faia faʻapitoa mo ClickHouse, faʻapitoa mo nei talosaga, o lea e sili atu ona talafeagai. Ia, e faigofie ona faʻapipiʻi.
Ae fa'afefea fa'agaioiga asynchronous ma va'aiga tino mai?
O loʻo i ai se faʻafitauli o gaioiga faʻatasi ma le toe taʻavale afi e le fetaui - muamua o faʻamaumauga e tusia, ona paʻu ai lea. Afai o se laulau fa'akomepiuta ma nisi fa'aputuga o lo'o nofo i lalo o le fa'ailoga, ona tusi ai lea i ai ni fa'alua. Ma afai e leai se faʻalavelave lavelave, ona faʻaluaina lea o faʻamaumauga. O le a se mea e mafai ona e faia i ai?
O loʻo i ai se fofo manino - ia faʻatinoina se faʻaoso i luga o se vasega o matviews i le taimi o le faʻaogaina o le paʻu asynchronous. E i ai ni pulu siliva po'o ni fuafuaga e fa'atino ai galuega fa'apena?
E taua le malamalama i le auala e galue ai le toe fa'aulu. O le mea o le a ou taʻuina atu ia te oe i le taimi nei e le talafeagai i le fesili, ae naʻo le mea e tatau ona manatua.
A fa'aofi i totonu o se laulau fa'atusa, o lo'o i ai le toe fa'aogaina o poloka uma fa'aofi. Afai e te toe fa'aofiina le poloka lava e tasi o lo'o i ai le numera tutusa o laina tutusa i le fa'atonuga tutusa, ona to'esea lea o fa'amaumauga. O le ae mauaina le "Ok" i le tali atu i le faʻaofiina, ae o le mea moni o le a tusia se tasi pepa o faʻamatalaga, ma o le a le toe faʻaluaina.
E tatau lenei mea mo le mautinoa. Afai e te mauaina le "Ok" i le taimi o le faʻaofiina, ona faʻapipiʻi lea o au faʻamatalaga. Afai e te mauaina se mea sese mai le ClickHouse, o lona uiga e leʻi faʻaofiina ma e tatau ona e toe faia le faʻaofiina. Ae afai e motusia le fesoʻotaʻiga i le taimi o le faʻaofiina, ona e le iloa lea pe faʻapipiʻi faʻamaumauga pe leai. Pau lava le filifiliga o le toe faia o le faaofiina. Afai o faʻamatalaga na faʻapipiʻi moni ma na e toe faʻaofiina, o loʻo i ai le poloka poloka. E mana'omia lenei mea e 'alofia ai le fa'aluaina.
Ma e taua foi pe faʻafefea ona galue mo vaaiga faʻaalia. Afai o le faʻamaumauga na faʻateʻaina pe a tuʻuina i totonu o le laulau autu, ona le alu ai lea i le vaʻaiga faʻaalia.
Ia e uiga i le fesili. O lou tulaga e sili atu ona lavelave ona o loʻo e puʻeina faʻalua o laina taʻitasi. O lona uiga, e le o le pusa atoa e faʻaluaina, ae o laina faʻapitoa, ma latou paʻu i tua. O le mea moni, o faʻamaumauga o le a paʻu i le laulau autu, ae o faʻamaumauga e leʻi faʻaaogaina o le a alu i le vaʻaiga faʻaalia, ma i le taimi o tuʻufaʻatasiga e leai se mea e tupu i manatu faʻaalia. Aua o se vaaiga faʻaalia e leai se mea e sili atu nai lo se faʻaofiina faʻaoso. I le taimi o isi gaioiga, e leai se mea fa'aopoopo e tupu i ai.
Ma e le mafai ona ou faafiafiaina oe iinei. E tatau lava ona e suʻeina se fofo faʻapitoa mo lenei mataupu. Mo se faʻataʻitaʻiga, e mafai ona toe faʻafoʻi i se vaaiga faʻapitoa, ma o le auala e toe faʻaaogaina e mafai ona galue i le auala lava e tasi. Ae paga lea, e le o taimi uma. Afai e fa'apotopoto, e le aoga.
Kirill Shvakov: Sa fai foi le matou tootoo i tua i aso. Sa i ai se faʻafitauli o loʻo i ai faʻasalalauga faʻasalalauga, ma o loʻo i ai nisi faʻamatalaga e mafai ona matou faʻaalia i le taimi moni - o na o faʻamatalaga. E seasea ona toe fa'aluaina, ae afai e tupu lenei mea, o le a tatou fa'aumatia mulimuli ane. Ma sa i ai mea e le mafai ona faʻaluaina - kiliki ma lenei tala atoa. Ae sa ou manao foi e faaali atu ia i latou toetoe lava a vave lava.
Na fa'apefea ona fa'aalia manatu fa'atino? Sa i ai manatu na tusia sa'o - na tusia i faʻamatalaga mataʻutia, ma tusia i manatu. O iina, i se taimi e le saʻo tele faʻamatalaga, e faʻaluaina, ma isi. Ma o loʻo i ai se vaega lona lua o le laulau, e foliga tutusa lava ma vaaiga faʻapitoa, o lona uiga, e matua tutusa lava i latou i le fausaga. I nisi taimi matou te toe faʻatatauina faʻamaumauga, faitau faʻamaumauga e aunoa ma ni kopi, tusi i na laulau.
Na matou uia le API - o le a le aoga i le ClickHouse ma le lima. Ma o le API e foliga mai: pe a ou maua le aso o le faʻaopoopoga mulimuli i le laulau, lea e faʻamautinoa ai o faʻamatalaga saʻo ua uma ona faʻatulagaina, ma faia ai se talosaga i le tasi laulau ma le isi laulau. Mai le tasi e filifilia e le talosaga i se taimi patino, ae mai le isi e maua ai mea e leʻi fuafuaina. Ma e aoga, ae le na o ClickHouse.
Afai e iai sau ituaiga API - mo tagata suʻesuʻe, mo tagata faʻaoga - o lona uiga, i le mataupu faavae, o se filifiliga lea. E te faitau pea, faitau pea. E mafai ona faia lenei mea e tasi i le aso poʻo se isi taimi. E te filifilia mo oe lava se laina e te le manaʻomia ma e le taua.
ClickHouse e tele ogalaau. E fa'apefea ona ou va'ai i mea uma e tutupu i le 'au'aunaga i se tepa?
ClickHouse o loʻo i ai se numera tele o ogalaau eseese, ma o lenei numera o loʻo faʻateleina. I fa'aliliuga fou, o nisi oi latou e mafai lava ona fa'agata; Peitaʻi, e toʻatele ma sili atu i latou. Mulimuli ane, ou te fia vaʻai poʻo le a le mea o loʻo tupu i laʻu 'auʻaunaga i le taimi nei, atonu i luga o se ituaiga o lisi o faʻamatalaga.
E iai sau 'au ClickHouse, po'o 'au a au uo, o lo'o lagolagoina nisi o fa'atinoga o fa'ailoga ua saunia e fa'aalia ai nei ogalaau o se oloa mae'a? Mulimuli ane, na o le tilotilo i ogalaau i ClickHouse e sili. Ae e manaia tele pe afai ua uma ona saunia i foliga o se dashboard. O le a ou maua se kiki mai ai.
O loʻo i ai faʻailoga, e ui lava e le o faʻasalalau. I totonu o la matou kamupani, e tusa ma le 60 'au e faʻaaogaina ClickHouse, ma o le mea e sili ona ese o le tele oi latou e iai faʻailoga na latou faia mo i latou lava, ma e ese sina mea. O nisi 'au e fa'aogaina se fa'apipi'i totonu Yandex.Cloud. O loʻo i ai nisi lipoti ua saunia, e ui lava e le o mea uma e manaʻomia. O isi e iai a latou lava mea.
O aʻu uo mai Metrica e iai a latou lava laupapa i Grafana, ma e iai aʻu lava mo a latou fuifui. O loʻo ou vaʻavaʻai i mea e pei o le cache hit mo le serif cache. Ma e sili atu ona faigata o le faʻaaogaina o meafaigaluega eseese. Na ou fatuina laʻu lisi e faʻaaoga ai se meafaigaluega tuai e taʻua o le Graphite-web. E matua mataga lava o ia. Ma o loʻo ou faʻaaogaina pea i lenei auala, e ui atonu e sili atu ona faigofie ma matagofie le Grafana.
O le mea autu i dashboards e tutusa. O fua fa'atatau ia mo le fuifui: PPU, manatua, tisiki, feso'otaiga. Isi - numera o talosaga tutusa, numera o faʻatasi faʻatasi, numera o talosaga i le sekone, numera maualuga o pusi mo MergeTree laulau vaeluaga, toe faʻasologa, tele faʻasologa o faʻasologa, numera o laina faʻapipiʻi i le sekone, numera o poloka faʻaofi i le sekone. Pau lava le mea e maua mai i ogalaau, ae mai metrics.
Vladimir Kolobaev: Alexey, ou te fia faasa'oina teisi. E iai le Grafana. O loʻo i ai i le Grafana se faʻamatalaga, o le ClickHouse. O lona uiga, e mafai ona ou faia saʻo talosaga mai Grafana i le ClickHouse. ClickHouse ei ai le laulau ma ogalaau, e tutusa mo tagata uma. O le iʻuga, ou te manaʻo e faʻaoga lenei laulau ogalaau i Grafana ma vaʻai i talosaga na faia e laʻu 'auʻaunaga. E manaia tele le iai o se laupapa fa'ailoga fa'apenei.
Sa ou tietie lava a'u. Ae o loʻo i ai laʻu fesili - afai e faʻasalalau uma, ma e faʻaaogaina e tagata uma le Grafana, aisea e le maua ai e Yandex se lisi faʻapitoa?
Kirill Shvakov: O le mea moni, o le faʻamatalaga e alu i le ClickHouse o loʻo lagolagoina nei Altinity. Ma na'o lo'u mana'o e tu'u atu se ve'a po'o fea e eli ma po'o ai e tulei. E mafai ona e fesili ia i latou, aua o loʻo faia pea e Yandex ClickHouse, ae le o le tala o loʻo siomia ai. Altinity o le kamupani autu o loʻo faʻalauiloaina nei ClickHouse. E latou te lē tuulafoaʻia o ia, ae latou te lagolagoina o ia. Talu ai, i le mataupu faavae, e tuʻuina atu se dashboard i le upega tafaʻilagi a Grafana, e naʻo lou manaʻomia e lesitala ma faʻapipiʻi - e leai ni faʻafitauli faʻapitoa.
Alexey Milovidov: I le tausaga talu ai, ua faʻaopoopoina e ClickHouse le tele o faʻamatalaga faʻamatalaga gafatia. E iai fua fa'atatau mo talosaga ta'itasi ile fa'aogaina o punaoa. Ma talu ai nei lava, na matou fa'aopoopoina ai se fa'amatalaga e sili atu le maualalo o fesili e va'ai ai po'o fea o lo'o fa'aalu e se fesili i milisekona ta'itasi. Ae ina ia faʻaogaina lenei faʻatinoga, e tatau ona ou tatalaina le faʻamafanafanaga tagata faʻatau ma lolomi se talosaga, lea ou te galo i taimi uma. Sa ou sefeina i se mea ae galo pea le mea tonu.
Maimau pe ana i ai se meafaigaluega na na ona fai mai, o au fesili mamafa nei, faʻavasegaina e le vasega fesili. Sa ou oomiina le tasi, ma latou fai mai ia te au o le mafuaaga lena e mamafa ai. E leai se fofo faapea i le taimi nei. Ma e matua ese lava pe a fesili mai tagata ia te aʻu: "Taʻu mai ia te aʻu, o i ai ni laupapa ua saunia mo Grafana?", Ou te fai atu: "Alu i luga o le upega tafaʻilagi a Grafana, o loʻo i ai le "Dashboards" community, ma o loʻo i ai le dashboard. mai Dimka, o loʻo i ai se dashboard mai Kostyan. Ou te le iloa po o le a, ou te leʻi faʻaaogaina e aʻu lava."
E faʻafefea ona faʻaosoina faʻatasi ina ia le paʻu le server ile OOM?
E i ai la'u laulau, e na'o le tasi le vaeluaga o le laulau, o le ReplacingMergeTree. Sa ou tusia faʻamaumauga i totonu mo le fa tausaga. Sa tatau ona ou faia se suiga i totonu ma tape nisi o faamatalaga.
Na ou faia lenei mea, ma i le taimi o le faagasologa o lenei talosaga, o manatua uma i luga o sapalai uma i totonu o le fuifui na faʻaumatia, ma o loʻo alu uma sapalai i totonu ole OOM. Ona latou tutu faatasi uma lea, amata ona tuufaatasia lenei lava gaioiga, lenei poloka faʻamaumauga, ma toe pauu i le OOM. Ona latou toe tutu ai lea ma toe pauu. Ma e le'i taofia lenei mea.
Ona aliali mai lea o le mea moni o se bug lea na faʻaleleia e tama. E manaia tele lenei, faafetai tele. Ae na totoe pea. Ma o lenei, pe a ou mafaufau e uiga i le faia o se ituaiga o tuʻufaʻatasiga i luga o le laulau, e i ai saʻu fesili - aisea e le mafai ai ona ou faʻaosofia nei tuʻufaʻatasiga? Mo se faʻataʻitaʻiga, faʻatapulaʻa i latou i le aofaʻi o le RAM e manaʻomia, poʻo, i le mataupu faavae, i le aofaʻi o le a faʻatautaia lenei laulau faʻapitoa.
E iai la'u laulau e ta'ua o le "Metrics", fa'amolemole fa'agasolo mo a'u i filo e lua. E leai se mana'oga e fai fa'atasi se sefulu pe lima, fai fa'atasi. Ou te manatu o loʻo lava aʻu manatuaga mo le lua, ae atonu e le lava le faʻaogaina o le sefulu. Aisea e tumau ai le fefe? Ona o loʻo faʻatupulaʻia le laulau, ma e i ai se aso o le a ou feagai ai ma se tulaga, i le mataupu faavae, e le o toe mafua mai i se pusa, ae ona o faʻamatalaga o le a suia i se aofaiga tele o le a le lava ai loʻu manatua i luga o le server. Ona paʻu lea o le server i le OOM pe a tuʻufaʻatasia. E le gata i lea, e mafai ona ou soloia le suiga, ae ua le o toe i ai Merji.
E te iloa, pe a tuʻufaʻatasia, o le a le pa'ū le 'auʻaunaga i le OOM, aua a faʻapipiʻi, o le aofaʻi o le RAM e faʻaaogaina mo naʻo le tasi le vaega o faʻamaumauga. O lea o le a lelei mea uma e tusa lava po o le a le tele o faʻamatalaga.
Vladimir Kolobaev: Lelei. O le taimi nei e pei o le maeʻa ona faʻapipiʻiina o le pusa, na ou sii maia se kopi fou mo aʻu lava, ma i luga o le isi laulau, o se mea laʻititi, lea e tele vaega, na ou faia ai se gaioiga faapena. Ma i le taimi o le tuʻufaʻatasiga, e tusa ma le 100 GB o le RAM na susunuina i luga o le 'auʻaunaga. Sa ou nofoia 150, 100 'ai, ma le 50 GB faamalama na totoe, o lea na ou le pa'u ai i le OOM.
O le a le mea o loʻo puipuia aʻu i le taimi nei mai le pa'ū i totonu o le OOM pe a faʻaumatia moni le 100 GB o le RAM? O le a le mea e fai pe a faʻafuaseʻi ona alu ese le RAM i luga o le fusi?
Alexey Milovidov: O loʻo i ai se faʻafitauli e le faʻatapulaʻaina le faʻaaogaina o le RAM faʻapitoa mo le tuʻufaʻatasia. Ma o le faʻafitauli lona lua, afai ua tuʻuina atu se ituaiga tuʻufaʻatasiga, ona tatau lea ona faʻatinoina aua o loʻo faʻamauina i le faʻasologa o faʻamaumauga. O le fa'asologa o fa'amaumauga o gaioiga ia e mana'omia e fa'asolo ai le fa'ata'ita'iga. Afai e te le faia ni fa'ata'ita'iga fa'ata'ita'i e toe fa'afo'i ai lenei fa'asologa o fa'amaumauga, o le tu'ufa'atasiga e tatau ona faia i se tasi auala po'o se isi.
Ioe, e le o se mea e sili atu le i ai o se tapulaa RAM e "naʻo le tulaga" e puipuia mai le OOM. O le a le fesoasoani i le tuʻufaʻatasiga e faʻamaeʻa, o le a toe amata, oʻo atu i se faʻailoga, togi se tuusaunoaga, ona toe amata lea - e leai se mea lelei e maua mai i lenei mea. Ae i le mataupu faavae, o le a aoga le faʻalauiloaina o lenei tapulaʻa.
E faʻapefea ona atiaʻe le avetaʻavale Golang mo ClickHouse?
O le avetaavale a Golang, lea na tusia e Kirill Shvakov, ua lagolagoina aloaia nei e le au ClickHouse. O ia , ua lapoʻa nei ma moni.
Se tamai tusi. O loʻo i ai se faleoloa matagofie ma pele o ituaiga masani o le faʻatonuga e le gata - o Vertica lea. E iai foi a latou lava avetaʻavale python aloaia, lea e lagolagoina e le au atinaʻe Vertica. Ma o le tele o taimi na tupu ai le mea e teu ai ma le avetaʻavale na matuaʻi ese, ma o le avetaavale i se taimi na le toe galue. Ma le manatu lona lua. Lagolago mo lenei avetaavale aloaia, e foliga mai ia te aʻu, o loʻo faʻatinoina e le "nipple" system - e te tusia ia i latou se mataupu, ma e tautau e faʻavavau.
E lua a'u fesili. O le taimi nei o le avetaavale a Kirill's Golang e toetoe lava o le auala le lelei e fesoʻotaʻi ai mai Golang ma ClickHouse. Se'i vagana ua fesootai pea se tasi e ala i le http interface ona e fiafia i ai. E fa'apefea ona fa'agasolo le atina'eina o lenei aveta'avale? Pe o le a fa'amaopoopoina ma so'o se suiga malepe i totonu o le fale teu oloa lava ia? Ma o le a le taualumaga mo le iloiloina o se mataupu?
Kirill Shvakov: Muamua o le fa'atulagaina o mea uma i le ofisa. E lei talanoaina lea tulaga, o lea e leai se mea ou te tali atu ai.
Ina ia tali le fesili e uiga i le mataupu, matou te manaʻomia sina tala faʻasolopito o le avetaavale. Sa ou faigaluega i se kamupani e tele naua faamatalaga. O se faʻasalalauga faʻasalalau ma le tele o mea na tutupu e manaʻomia ona teu i se mea. Ma i se taimi na aliali mai ai ClickHouse. Na matou faʻatumuina i faʻamaumauga, ma i le taimi muamua na lelei mea uma, ae o le ClickHouse na paʻu. I lena taimi na matou filifili ai matou te le manaʻomia.
I le tausaga mulimuli ane, na matou toe foʻi i le manatu o le faʻaaogaina o ClickHouse, ma e manaʻomia ona matou tusia faʻamaumauga iina. O le feʻau tomua o lenei: o meafaigaluega e matua vaivai lava, e itiiti lava punaoa. Ae sa matou galulue pea i lenei auala, ma o lea na matou vaʻavaʻai atu ai i le tulafono faʻale-aganuʻu.
Talu ai sa matou faigaluega i Go, na manino lava matou te manaʻomia se avetaʻavale Go. Na ou faia toeitiiti atoa le taimi - o la'u galuega galue. Na matou aumaia i se tulaga patino, ma i le mataupu faavae e leai se tasi na manatu o se tasi e ese mai ia i matou o le a faaaogaina. Ona oʻo mai lea o CloudFlare ma le faʻafitauli lava e tasi, ma mo sina taimi sa matou galulue faʻatasi ma i latou i le sologa lelei, aua e tutusa a latou galuega. E le gata i lea, na matou faia uma i le ClickHouse i matou ma le avetaavale.
I se taimi, na ou le toe faia, ona o laʻu gaioiga i tulaga o le ClickHouse ma le galuega na suia laitiiti. O lea e le tapunia mataupu. Mai lea taimi i lea taimi, o tagata e manaʻomia se mea latou te tuʻuina atu i le fale teu oloa. Ona ou vaʻavaʻai lea i le talosaga toso ma o nisi taimi ou te faʻasaʻoina se mea e aʻu lava, ae e seasea tupu lenei mea.
Ou te fia toe foi i le avetaavale. I nai tausaga ua mavae, ina ua amata lenei mea atoa, ClickHouse sa ese foi ma eseese gafatia. O lea la ua tatou malamalama i le toe faia o le avetaavale ina ia lelei. Afai e tupu lenei mea, o le version 2 o le a le fetaui i soʻo se tulaga ona o tootoo faʻaputu.
Ou te le iloa pe faapefea ona faatulaga lenei mataupu. E le tele so'u taimi. Afai e faauma e nisi tagata le avetaavale, e mafai ona ou fesoasoani ia i latou ma taʻu atu ia i latou le mea e fai. Ae o le auai malosi o Yandex i le atinaʻeina o le poloketi e leʻi talanoaina.
Alexey Milovidov: O le mea moni, e leʻi iai se ofisa pule e uiga i nei avetaavale. Pau lava le mea o loʻo tuʻuina atu i latou i se faʻalapotopotoga faʻapitoa, o lona uiga, o lenei avetaavale ua lauiloa o le faʻafitauli faʻaletonu aloaia mo Go. E iai isi aveta'avale, ae o lo'o sau eseese.
E leai ni a matou atina'e i totonu mo nei avetaavale. O le fesili pe mafai ona tatou faafaigaluegaina se tagata taʻitoʻatasi, e le mo lenei avetaavale faapitoa, ae mo le atinaʻeina o avetaʻavale uma a le nuʻu, pe mafai ona tatou maua se tasi mai fafo.
E le utaina le lomifefiloi fafo pe a uma ona toe fa'aola ma fa'aaga le lazy_load seti. O le a le mea e fai?
O lo'o fa'aagaina le lazy_load, ma a mae'a ona toe fa'afou le server, e le fa'apipi'i na'o le lomifefiloi. E na'o le si'itia pe a uma ona maua e le tagata fa'aoga lenei lomifefiloi. Ma o le taimi muamua ou te mauaina ai, e maua ai se mea sese. E mafai ona otometi le utaina o lomifefiloi e faʻaaoga ai le ClickHouse, pe e te manaʻomia e pulea i taimi uma lo latou saunia oe lava ina ia le maua e tagata faʻaoga mea sese?
Masalo o loʻo i ai se matou kopi tuai o ClickHouse, o lea e leʻi otometi le utaina o le lomifefiloi. Faamata o le tulaga lea?
Muamua, e mafai ona fa'amalosia lomifefiloi e fa'aaoga ai se fesili fa'atonu lomifefiloi. Lona lua, e uiga i le mea sese - afai ua uma ona utaina le lomifefiloi, ona galue lea o fesili e faʻatatau i faʻamatalaga na utaina. Afai e le'i utaina le lomifefiloi, o le a uta sa'o i le taimi o le talosaga.
E le faigofie tele mo lomifefiloi mamafa. Mo se faʻataʻitaʻiga, e tatau ona e tosoina se miliona laina mai MySQL. E faia e se tasi se filifiliga faigofie, ae o lenei filifiliga o le a faatali mo laina tutusa e tasi. E lua fofo iinei. Muamua o le tape lazy_load. Lona lua, a oʻo i luga le server, aʻo leʻi tuʻuina le uta i luga, fai system reload dictionary pe na'o le faia o se fesili e fa'aoga ai se lomifefiloi. Ona uta lea o le lomifefiloi. E tatau ona e pulea le avanoa o lomifefiloi ma le lazy_load seti ua mafai, aua e le otometi ona utaina e le ClickHouse.
O le tali i le fesili mulimuli a le o le lomiga ua tuai pe manaʻomia ona faʻapipiʻi.
O le a le mea e fai i le mea moni e le mafai e lomifefiloi o lomifefiloi ona utaina se tasi o le tele o lomifefiloi pe a pa'u se tasi o lomifefiloi ma se mea sese?
E iai le isi fesili e uiga i lomifefiloi o lomifefiloi faiga. E lua a matou lomifefiloi - o le tasi e le o utaina, o le lona lua e utaina. I le tulaga lea, e le utaina e lomifefiloi System reload so'o se lomifefiloi, ma e tatau ona e fa'asino i lea mata'itusi se tusi fa'apitoa i lona igoa e fa'aaoga ai lomifefiloi system reload. E fesoʻotaʻi foʻi lenei mea i le ClickHouse version?
Ou te manao e faafiafia oe. Na suia lenei amio. O lona uiga afai e te faʻafouina ClickHouse, o le a suia foi. Afai e te le fiafia i lau amio o loʻo iai nei fa'atonu lomifefiloi, fa'afouina, ma fa'amoemoe e suia mo le lelei.
E i ai se auala e faʻapipiʻi ai faʻamatalaga i le ClickHouse config, ae le faʻaalia i latou i le tulaga o mea sese?
O le isi fesili e uiga i mea sese e fesoʻotaʻi ma le lomifefiloi, o faʻamatalaga. Ua matou faʻamaonia faʻamatalaga fesoʻotaʻiga i le ClickHouse config mo le lomifefiloi, ma afai ei ai se mea sese, matou te mauaina nei faʻamatalaga ma le upu faʻaulu i le tali.
Na matou foia lenei mea sese e ala i le faʻaopoopoina o faʻamatalaga i le ODBC avetaʻavale config. E i ai se auala e faʻapipiʻi ai faʻamatalaga i le ClickHouse config, ae le faʻaalia nei faʻamatalaga pe a iai ni mea sese?
O le fofo moni iinei o le faʻamaonia o nei faʻamaoniga i le odbc.ini, ma i le ClickHouse lava ia faʻamaonia naʻo le ODBC Data Source Name. O le a le tupu lenei mea mo isi punaoa lolomifefiloi - e le mo le lomifefiloi ma MySQL, poʻo isi, e le tatau ona e vaʻai i le upu faʻamaonia pe a e mauaina se feʻau sese. Mo le ODBC, o le a ou vaʻai foʻi - afai e iai, e tatau lava ona e aveese.
Ponesi: talaaga mo Zoom mai faatasiga
O le kiliki i luga o le ata, ponesi talaaga mai faʻapotopotoga o le a tatalaina mo le au faitau sili ona tumau. Matou te tapeina le afi faʻatasi ma mascots tekonolosi Avito, matou te fefaʻasoaaʻi ma a matou paaga mai le potu o le pule o le polokalama poʻo le kalapu komepiuta a le aoga tuai, ma matou faʻatautaia fonotaga i aso uma i lalo o le alalaupapa e faʻasaga i tua o tusitusiga.
puna: www.habr.com