Jag har en tabell med endast en partition, den \u00e4r ReplacingMergeTree. Jag har skrivit data i den under fyra \u00e5r. Jag beh\u00f6vde g\u00f6ra en alter och ta bort vissa data.<\/p>\n
Jag gjorde det, och under bearbetningen av denna f\u00f6rfr\u00e5gan anv\u00e4ndes allt minne p\u00e5 alla kluster-servrar, och alla servrar i klustret gick gemensamt i OOM. Sedan startade de om tillsammans, b\u00f6rjade utf\u00f6ra en sammanslagning av just den operationen, den databloken, och f\u00f6ll \u00e5terigen i OOM. Sedan startade de om igen och f\u00f6ll tillbaka. Detta slutade aldrig.<\/p>\n
Det visade sig senare att detta egentligen var en bugg som killarna har fixat. Det \u00e4r verkligen bra, stort tack. Men jag har \u00e4nd\u00e5 en k\u00e4nsla kvar. Och nu, n\u00e4r jag t\u00e4nker p\u00e5 att jag beh\u00f6ver g\u00f6ra en sammanslagning i tabellen, s\u00e5 f\u00e5r jag fr\u00e5gan \u2013 varf\u00f6r kan jag inte p\u00e5 n\u00e5got s\u00e4tt p\u00e5verka dessa sammanslagningar? Till exempel, begr\u00e4nsa dem utifr\u00e5n m\u00e4ngden krav p\u00e5 arbetsminne, eller i princip antalet som ska bearbeta just denna tabell.<\/p>\n
Jag har en tabell som heter \"Metrik\", bearbeta g\u00e4rna den \u00e5t mig i tv\u00e5 tr\u00e5dar. Det \u00e4r on\u00f6digt att producera tio eller fem sammanslagningar parallellt, g\u00f6r det i tv\u00e5. Jag tror att tv\u00e5 borde r\u00e4cka f\u00f6r mitt minne, men att bearbeta tio kanske blir f\u00f6r mycket. Varf\u00f6r kvarst\u00e5r r\u00e4dslan? Eftersom tabellen v\u00e4xer, och en dag kommer jag att befinna mig i en situation d\u00e4r det inte bara \u00e4r p\u00e5 grund av en bugg, utan p\u00e5 grund av att datan kommer att \u00e4ndras i s\u00e5 stor m\u00e4ngd att jag helt enkelt inte kommer att ha tillr\u00e4ckligt med minne p\u00e5 servern. Och d\u00e5 kommer servern att krascha p\u00e5 grund av OOM vid sammanslagningen. F\u00f6r\u00e4ndringar kan jag avbryta, men inte sammanslagningarna.<\/p><\/blockquote>\n
Du vet, vid sammanslagningar kommer servern inte att krascha p\u00e5 grund av OOM, eftersom det under sammanslagningen anv\u00e4nds minne endast f\u00f6r ett litet dataintervall. S\u00e5 allt kommer att g\u00e5 bra oavsett datam\u00e4ngd.<\/p>\n
<\/p>\n
Vladimir Kolobajev:<\/strong> Bra. H\u00e4r \u00e4r det s\u00e5 att efter att jag har fixat buggen laddade jag ner en ny version, och p\u00e5 en annan tabell, som \u00e4r mindre och har m\u00e5nga partitioner, gjorde jag en liknande operation. Under sammanslagningen f\u00f6rbrukades cirka 100 GB arbetsminne p\u00e5 servern. Jag hade 150 GB upptaget, slukade 100 GB, och det finns 50 GB kvar, s\u00e5 jag f\u00f6ll inte i OOM.<\/p>\n<\/p>\n
Vad skyddar mig just nu fr\u00e5n att falla i OOM, om det verkligen kr\u00e4ver 100 GB arbetsminne? Hur ska jag klara mig om arbetsminnet pl\u00f6tsligt tar slut under sammanslagningarna?<\/p>\n
<\/p>\n
Alexey Milovidov:<\/strong> Det finns ett problem att minnesanv\u00e4ndningen p\u00e5 merge inte begr\u00e4nsas. Det andra problemet \u00e4r att om en merge har schemalagts m\u00e5ste den utf\u00f6ras eftersom den \u00e4r registrerad i replikationsloggen. Replikationsloggen \u00e4r de \u00e5tg\u00e4rder som kr\u00e4vs f\u00f6r att f\u00e5 replikatet i ett konsekvent tillst\u00e5nd. Om man inte g\u00f6r manuella \u00e5tg\u00e4rder f\u00f6r att \u00e5ngra det som replikationsloggen s\u00e4ger, m\u00e5ste man p\u00e5 ett eller annat s\u00e4tt utf\u00f6ra merget.<\/p>\n<\/p>\n
Sj\u00e4lvklart skulle det vara bra att ha en begr\u00e4nsning f\u00f6r minnet som \"i runda sv\u00e4ngar\" skyddar mot OOM. Det hj\u00e4lper inte merge att genomf\u00f6ras, den kommer att starta om, n\u00e5 en viss gr\u00e4ns, kasta ett undantag och sedan starta om igen \u2014 inget bra kommer att komma ur detta. Men i princip skulle det vara nyttigt att inf\u00f6ra en s\u00e5dan begr\u00e4nsning.<\/p>\n
<\/p>\n
![\"ClickHouse](\"\/wp-content\/uploads\/2020\/05\/242b1d8d002fe115614435c242297fd2.jpg\")
<\/p>\n