den tabell\u00e4ra funktionen input<\/a><\/noindex>.<\/p>\n<\/p>\n
<\/p>\n
En annan antipattern \u00e4r mikrosplittring. Till exempel, om du beh\u00f6ver shardera data och du har 5 servrar, men imorgon kommer det att vara 6 servrar. Och du undrar hur du ska ombalansera dessa data. Ist\u00e4llet f\u00f6r att splittra det i 5 shards, splittrar du det i 1 000 shards. Och sedan mappar du varje av dessa mikrosplitter till en separat server. Och du kan f\u00e5 200 ClickHouse p\u00e5 en server, till exempel. Separata instanser p\u00e5 olika portar eller separata databaser. <\/p>\n
<\/p>\n
<\/p>\n
Men i ClickHouse \u00e4r detta inte s\u00e4rskilt bra. F\u00f6r \u00e4ven en instans av ClickHouse str\u00e4var efter att anv\u00e4nda alla tillg\u00e4ngliga resurser p\u00e5 servern f\u00f6r att bearbeta en enda fr\u00e5ga. Det vill s\u00e4ga, om du har en server som har 56 processorerk\u00e4rnor. Du utf\u00f6r en fr\u00e5ga som tar en sekund, och den kommer att anv\u00e4nda 56 k\u00e4rnor. Om du har 200 ClickHouse-instans p\u00e5 en och samma server, kommer det att resultera i att 10 000 tr\u00e5dar startas. \u00d6verlag kommer det att g\u00e5 v\u00e4ldigt d\u00e5ligt.<\/p>\n
<\/p>\n
En annan anledning \u00e4r att arbetsf\u00f6rdelningen mellan dessa instanser kommer att vara oj\u00e4mn. N\u00e5gon kommer att avsluta tidigare, n\u00e5gon senare. Om allt skulle ske i en enda instans, skulle ClickHouse sj\u00e4lv kunna avg\u00f6ra hur man ska f\u00f6rdela data p\u00e5 r\u00e4tt s\u00e4tt mellan tr\u00e5darna. <\/p>\n
<\/p>\n
Och en ytterligare anledning \u00e4r att du kommer att ha interprocesskommunikation \u00f6ver TCP. Data m\u00e5ste serialiseras, deserialiseras och det \u00e4r en enorm m\u00e4ngd mikrosplitter. Det kommer helt enkelt att fungera ineffektivt.<\/p>\n
<\/p>\n
<\/p>\n
\u00c4nnu en antipattern, \u00e4ven om det \u00e4r sv\u00e5rt att kalla det en antipattern. Det \u00e4r ett stort antal f\u00f6raggregat.<\/p>\n
<\/p>\n
Generellt sett \u00e4r f\u00f6raggregation bra. Om du hade en miljard rader, aggregara du dem och det blir 1 000 rader, och nu utf\u00f6rs fr\u00e5gan omedelbart. Allt \u00e4r fantastiskt. S\u00e5 kan man g\u00f6ra. Och f\u00f6r detta finns det till och med en speciell typ av tabell i ClickHouse, AggregatingMergeTree, som g\u00f6r inkrementell aggregation medan data s\u00e4tts in. <\/p>\n
<\/p>\n
Det finns dock fall d\u00e4r man t\u00e4nker att vi ska aggreggera data p\u00e5 det h\u00e4r s\u00e4ttet och sedan p\u00e5 ett annat. I en viss n\u00e4rliggande avdelning, som jag helst inte vill n\u00e4mna, anv\u00e4nder man SummingMergeTree-tabeller f\u00f6r att summera efter prim\u00e4rnyckeln, och som prim\u00e4rnyckel anv\u00e4nder man drygt 20 olika kolumner. Jag har av s\u00e4kerhetssk\u00e4l \u00e4ndrat namnen p\u00e5 n\u00e5gra kolumner f\u00f6r att vara diskret, men i stort sett \u00e4r det s\u00e5.<\/p>\n
<\/p>\n
<\/p>\n
Och d\u00e5 uppst\u00e5r s\u00e5dana problem. F\u00f6r det f\u00f6rsta minskar inte datavolymen s\u00e4rskilt mycket. Till exempel, den minskar med tre g\u00e5nger. Tre g\u00e5nger skulle vara ett bra pris f\u00f6r att kunna ha obegr\u00e4nsade m\u00f6jligheter f\u00f6r analys, vilket \u00e4r fallet om dina data inte \u00e4r aggregerade. Om datan \u00e4r aggregerad f\u00e5r du ist\u00e4llet bara usel statistik. <\/p>\n
<\/p>\n
Och vad \u00e4r s\u00e4rskilt frustrerande? Det \u00e4r att dessa personer fr\u00e5n den n\u00e4rliggande avdelningen kommer och ber om att f\u00e5 l\u00e4gga till en kolumn i prim\u00e4rnyckeln. Det vill s\u00e4ga, vi har aggreggerat data p\u00e5 det h\u00e4r s\u00e4ttet, men nu vill vi ha lite mer. Men i ClickHouse finns det ingen m\u00f6jlighet att \u00e4ndra prim\u00e4rnyckeln. D\u00e4rf\u00f6r m\u00e5ste man skriva n\u00e5got skript i C++. Och jag gillar inte skript, \u00e4ven om de \u00e4r i C++.<\/p>\n
<\/p>\n
Och om man ser p\u00e5 varf\u00f6r ClickHouse skapades, s\u00e5 \u00e4r det just f\u00f6r att hantera icke-aggregerade data \u2013 det \u00e4r det scenario f\u00f6r vilket det \u00e4r f\u00f6tt. Om du anv\u00e4nder ClickHouse f\u00f6r icke-aggregerade data g\u00f6r du helt r\u00e4tt. Om du aggregerar \u00e4r det ibland f\u00f6rl\u00e5tligt. <\/p>\n
<\/p>\n
<\/p>\n
Ett ytterligare intressant fall \u00e4r fr\u00e5gor i en o\u00e4ndlig loop. Jag g\u00e5r ibland in p\u00e5 n\u00e5gon produktionsserver och kollar p\u00e5 show processlist. Och varje g\u00e5ng uppt\u00e4cker jag att n\u00e5got hemskt p\u00e5g\u00e5r. <\/p>\n
<\/p>\n
Till exempel n\u00e5got av detta slag. H\u00e4r blir det genast tydligt att man kunde ha genomf\u00f6rt allt med en enda fr\u00e5ga. Skriv bara url in och lista.<\/p>\n
<\/p>\n
<\/p>\n
Varf\u00f6r \u00e4r det d\u00e5ligt med m\u00e5nga s\u00e5dana fr\u00e5gor i en o\u00e4ndlig loop? Om indexet inte anv\u00e4nds kommer det att bli m\u00e5nga genomg\u00e5ngar av samma data. Men om indexet anv\u00e4nds, till exempel om du har en prim\u00e4rnyckel p\u00e5 ru och skriver url = n\u00e5got d\u00e4r. D\u00e5 tror du att det kommer att l\u00e4sas in exakt ett url fr\u00e5n tabellen, och allt kommer att vara bra. Men i sj\u00e4lva verket \u00e4r det inte s\u00e5. F\u00f6r ClickHouse arbetar alltid med batchar. <\/p>\n
<\/p>\n
N\u00e4r den beh\u00f6ver l\u00e4sa ett dataintervall l\u00e4ser den lite mer eftersom indexet i ClickHouse \u00e4r glest. Det h\u00e4r indexet till\u00e5ter inte att hitta enskilda rader i tabellen, bara vissa intervall. Och data komprimeras i block. F\u00f6r att l\u00e4sa en rad m\u00e5ste man h\u00e4mta ett helt block och dekomprimera det. Om du g\u00f6r m\u00e5nga f\u00f6rfr\u00e5gningar kommer du att ha m\u00e5nga \u00f6verlappningar, och mycket av arbetet kommer att utf\u00f6ras om och om igen.<\/p>\n
<\/p>\n
<\/p>\n
Som en bonus kan man notera att man i ClickHouse inte beh\u00f6ver vara r\u00e4dd f\u00f6r att skicka \u00e4ven megabyte och till och med hundratals megabyte i IN-sektionen. Jag minns fr\u00e5n v\u00e5r praxis att om vi skickar massor av v\u00e4rden i IN-sektionen i MySQL, till exempel 100 megabyte av vissa nummer, s\u00e5 \u00e4ter MySQL upp 10 gigabyte minne och sedan h\u00e4nder det inget mer, allt fungerar d\u00e5ligt. <\/p>\n
<\/p>\n
Det andra \u00e4r att i ClickHouse, om dina f\u00f6rfr\u00e5gningar anv\u00e4nder index, s\u00e5 \u00e4r det alltid inte l\u00e5ngsammare \u00e4n en fullst\u00e4ndig skanning, det vill s\u00e4ga om n\u00e4stan hela tabellen m\u00e5ste l\u00e4sas, kommer den att g\u00e5 sekventiellt och l\u00e4sa hela tabellen. I allm\u00e4nhet hanterar den sig sj\u00e4lv.<\/p>\n
<\/p>\n
Men det finns \u00e4nd\u00e5 vissa sv\u00e5righeter. Till exempel anv\u00e4nds inte indexet med subfr\u00e5gor i IN. Men det \u00e4r v\u00e5rt problem och vi m\u00e5ste \u00e5tg\u00e4rda det. Det finns inget fundamentalt h\u00e4r. Vi kommer att fixa det. <\/p>\n
<\/p>\n
En annan intressant sak \u00e4r att om du har en mycket l\u00e5ng f\u00f6rfr\u00e5gning och den distribuerade behandlingen av f\u00f6rfr\u00e5gningar p\u00e5g\u00e5r, s\u00e5 kommer den h\u00e4r mycket l\u00e5nga f\u00f6rfr\u00e5gningen att skickas till varje server utan komprimering. Till exempel, 100 megabyte och 500 servrar. Och d\u00e4rf\u00f6r kommer 50 gigabyte att \u00f6verf\u00f6ras \u00f6ver n\u00e4tverket. Det kommer att skickas och sedan kommer allt att utf\u00f6ras framg\u00e5ngsrikt.<\/p>\n
<\/p>\n
* redan anv\u00e4nds; allt \u00e4r fixat, som lovat.<\/p>\n
<\/p>\n
<\/p>\n
Och det \u00e4r ganska vanligt att f\u00f6rfr\u00e5gningar kommer fr\u00e5n API. Till exempel har du skapat en egen tj\u00e4nst. Och om din tj\u00e4nst beh\u00f6vs av n\u00e5gon, \u00f6ppnar du ett API och redan bokstavligt talat tv\u00e5 dagar senare ser du att n\u00e5got konstigt h\u00e4nder. Allt \u00e4r \u00f6verbelastat och det kommer fruktansv\u00e4rda f\u00f6rfr\u00e5gningar som aldrig borde ha kommit. <\/p>\n
<\/p>\n
Och l\u00f6sningen h\u00e4r \u00e4r enkel. Om du har \u00f6ppnat ett API, s\u00e5 m\u00e5ste du begr\u00e4nsa det. Till exempel inf\u00f6ra kvoter. Det finns inga andra normala alternativ. Annars kommer n\u00e5gon att skriva ett skript och det kommer att bli problem. <\/p>\n
<\/p>\n
I ClickHouse finns det en speciell funktion \u2013 kvotber\u00e4kning. Du kan \u00e4ven ange din egen kvotnyckel, som till exempel en intern anv\u00e4ndaridentifikator. Kvoterna r\u00e4knas oberoende f\u00f6r var och en av dem. <\/p>\n
<\/p>\n
<\/p>\n
Nu kommer vi till en intressant sak till. Det handlar om manuell replikering. <\/p>\n
<\/p>\n
Jag k\u00e4nner till m\u00e5nga fall d\u00e4r, trots att ClickHouse har inbyggt st\u00f6d f\u00f6r replikering, m\u00e4nniskor repeterar ClickHouse manuellt.<\/p>\n
<\/p>\n
Hur fungerar det? Du har en databehandlingspipeline som arbetar oberoende, till exempel i olika datacenter. Du skriver identiska data p\u00e5 ett identiskt s\u00e4tt till ClickHouse. Men i praktiken visar det sig att data \u00e4nd\u00e5 kommer att skingras p\u00e5 grund av vissa egenskaper i din kod, vilket jag hoppas inte g\u00e4ller f\u00f6r din. <\/p>\n
<\/p>\n
Och du kommer \u00e4nd\u00e5 att beh\u00f6va synkronisera manuellt periodiskt. Till exempel g\u00f6r administrat\u00f6rer en rsync en g\u00e5ng i m\u00e5naden.<\/p>\n
<\/p>\n
Det \u00e4r faktiskt mycket enklare att anv\u00e4nda den inbyggda replikeringen i ClickHouse. Men det kan finnas vissa nackdelar, eftersom det kr\u00e4ver att du anv\u00e4nder ZooKeeper. Jag t\u00e4nker inte tala illa om ZooKeeper; i grunden \u00e4r systemet fungerande, men ibland anv\u00e4nder folk det inte p\u00e5 grund av r\u00e4dslan f\u00f6r Java, eftersom ClickHouse \u00e4r ett s\u00e5 bra system skrivet i C++ som fungerar utm\u00e4rkt. Men ZooKeeper \u00e4r p\u00e5 Java. Och det k\u00e4nns som man helst vill undvika det, men d\u00e5 kan du anv\u00e4nda manuell replikation. <\/p>\n
<\/p>\n
<\/p>\n
ClickHouse \u00e4r ett praktiskt system. Det tar h\u00e4nsyn till dina behov. Om du har manuell replikation kan du skapa en distribuerad tabell som tittar p\u00e5 dina manuella repliker och sj\u00e4lv g\u00f6r failover mellan dem. Det finns till och med ett speciellt alternativ f\u00f6r att undvika flap, \u00e4ven om dina repliker konsekvent skingras.<\/p>\n
<\/p>\n
<\/p>\n
Det kan uppst\u00e5 problem om du anv\u00e4nder primitiva tabellmotorer. ClickHouse \u00e4r en slags byggsats med massor av olika tabellmotorer. F\u00f6r alla seri\u00f6sa fall, som beskrivs i dokumentationen, rekommenderas det att anv\u00e4nda tabeller fr\u00e5n MergeTree-familjen. De andra \u00e4r mer f\u00f6r speciella fall eller tester.<\/p>\n
<\/p>\n
I MergeTree-tabellen beh\u00f6ver du inte n\u00f6dv\u00e4ndigtvis ha n\u00e5got datum eller tid. Du kan \u00e4nd\u00e5 anv\u00e4nda det. Om det inte finns n\u00e5got datum och tid, kan du s\u00e4tta att standarden \u00e4r 2000, s\u00e5 kommer det att fungera och inte kr\u00e4va n\u00e5gra resurser. <\/p>\n
<\/p>\n
I den nya versionen av servern kan du \u00e4ven specificera att du vill ha anpassad partitionering utan partitionsnyckel. Det kommer att vara detsamma. <\/p>\n
<\/p>\n
<\/p>\n
\u00c5 andra sidan kan du anv\u00e4nda primitiva tabellmotorer. Till exempel kan du ladda data en g\u00e5ng och sedan utforska, manipulera och radera. Du kan anv\u00e4nda Log.<\/p>\n
<\/p>\n
Eller lagra sm\u00e5 m\u00e4ngder f\u00f6r mellanbearbetning \u2013 detta \u00e4r StripeLog eller TinyLog.<\/p>\n
<\/p>\n
Memory kan anv\u00e4ndas om datavolymen \u00e4r liten och du bara vill manipulera n\u00e5got i RAM. <\/p>\n
<\/p>\n
<\/p>\n
ClickHouse gillar inte \u00f6vernormaliserade data s\u00e4rskilt mycket. <\/p>\n
<\/p>\n
H\u00e4r \u00e4r ett typiskt exempel. Det \u00e4r en stor m\u00e4ngd URL:er. Du har lagt dem i en n\u00e4rliggande tabell. Och sedan beslutade du att g\u00f6ra en JOIN med dem, men det kommer vanligtvis inte att fungera eftersom ClickHouse endast st\u00f6der Hash JOIN. Om det inte finns tillr\u00e4ckligt med RAM f\u00f6r de m\u00e5nga data som ska kopplas ihop, kan JOIN inte genomf\u00f6ras. <\/p>\n
<\/p>\n
Om data har h\u00f6g cardinalitet, sl\u00f6sa inte tid p\u00e5 det, lagra dem i denormaliserad form, URL:er direkt inplace i huvudtabellen. <\/p>\n
<\/p>\n
* Men nu finns det merge join i ClickHouse ocks\u00e5, och det fungerar under omst\u00e4ndigheter d\u00e4r mellanliggande data inte f\u00e5r plats i RAM. Men det \u00e4r ineffektivt och rekommendationen kvarst\u00e5r.<\/p>\n
<\/p>\n
<\/p>\n
Ytterligare n\u00e5gra exempel, men jag b\u00f6rjar tvivla p\u00e5 om de verkligen \u00e4r antipatroner eller inte. <\/p>\n
<\/p>\n
ClickHouse har en k\u00e4nd nackdel. Den kan inte hantera uppdateringar. P\u00e5 ett s\u00e4tt \u00e4r det faktiskt bra. Om du har viktiga data, till exempel bokf\u00f6ring, kommer ingen att kunna skicka dem eftersom det inte finns n\u00e5gra uppdateringar.<\/p>\n
<\/p>\n
* St\u00f6d f\u00f6r uppdateringar och borttagningar i batchl\u00e4ge har l\u00e4nge lagts till.<\/p>\n
<\/p>\n
Men det finns vissa speciella metoder som g\u00f6r att uppdateringar kan ske i bakgrunden. Till exempel tabeller av typen ReplaceMergeTree. De utf\u00f6r uppdateringar under bakgrundsmeldningar. Du kan tvinga detta med hj\u00e4lp av optimize table. Men g\u00f6r inte detta f\u00f6r ofta, eftersom det medf\u00f6r en fullst\u00e4ndig omskrivning av partitionen. <\/p>\n
<\/p>\n
Distribuerade JOINs i ClickHouse \u2013 det hanteras inte bra av fr\u00e5geplaneraren. <\/p>\n
<\/p>\n
D\u00e5ligt, men ibland \u00e4r det okej.<\/p>\n
<\/p>\n
Att anv\u00e4nda ClickHouse endast f\u00f6r att l\u00e4sa tillbaka data med hj\u00e4lp av select.<\/p>\n
<\/p>\n
Jag skulle inte rekommendera att anv\u00e4nda ClickHouse f\u00f6r tunga ber\u00e4kningar. Men det \u00e4r inte helt sant, eftersom vi redan avviker fr\u00e5n den rekommendationen. Och vi har nyligen lagt till m\u00f6jligheten att till\u00e4mpa maskininl\u00e4rningsmodeller i ClickHouse \u2013 Catboost. Och det oroar mig, f\u00f6r jag t\u00e4nker: \"Herregud. Hur m\u00e5nga cykler per byte blir det h\u00e4r!\". Jag hatar verkligen att sl\u00f6sa cykler p\u00e5 bytes. <\/p>\n
<\/p>\n
<\/p>\n
Men var inte r\u00e4dd, installera ClickHouse, allt kommer att g\u00e5 bra. Om det \u00e4r n\u00e5got, s\u00e5 har vi en gemenskap. F\u00f6rresten, gemenskapen \u00e4r ni. Och om ni har n\u00e5gra problem kan ni \u00e5tminstone g\u00e5 in i v\u00e5r chatt, och jag hoppas att ni f\u00e5r hj\u00e4lp. <\/p>\n
<\/p>\n
Fr\u00e5gor<\/p>\n
<\/p>\n
Tack f\u00f6r presentationen! Vart ska jag klaga p\u00e5 ClickHouse-nedg\u00e5ngar?<\/em><\/p>\n<\/p>\n
Du kan klaga till mig personligen just nu. <\/p>\n
<\/p>\n
Jag b\u00f6rjade anv\u00e4nda ClickHouse nyligen. F\u00f6ll direkt ner kommandoradsgr\u00e4nssnittet.<\/em><\/p>\n<\/p>\n
Du har tur. <\/p>\n
<\/p>\n
Lite senare kraschade jag servern med en liten select.<\/em><\/p>\n<\/p>\n
Du har talang. <\/p>\n
<\/p>\n
Jag \u00f6ppnade en bugg p\u00e5 GitHub, men den ignorerades.<\/em> <\/p>\n<\/p>\n
L\u00e5t oss se. <\/p>\n
<\/p>\n
Alexey lurade mig att delta i presentationen, han lovade att ber\u00e4tta hur ni komprimerar data.<\/em><\/p>\n<\/p>\n
V\u00e4ldigt enkelt. <\/p>\n
<\/p>\n
Det f\u00f6rstod jag redan ig\u00e5r. Mer konkreta exempel.<\/em> <\/p>\n<\/p>\n
Det finns inga hemska knep. Det handlar helt enkelt om blockkomprimering. Som standard anv\u00e4nds LZ4, men man kan aktivera ZSTD*. Blocken \u00e4r mellan 64 kilobyte och 1 megabyte.<\/p>\n
<\/p>\n
* det finns ocks\u00e5 st\u00f6d f\u00f6r specialiserade komprimeringskodar som kan anv\u00e4ndas i kedjor med andra algoritmer.<\/p>\n
<\/p>\n
\u00c4r blocken bara r\u00e5data?<\/em><\/p>\n<\/p>\n
Inte helt r\u00e5a. D\u00e4r finns arrayer. Om du har en numerisk kolumn, s\u00e5 \u00e4r siffrorna placerade sekventiellt i en array. <\/p>\n
<\/p>\n
F\u00f6rst\u00e5tt.<\/em> <\/p>\n<\/p>\n
Alexey, exemplet med uniqExact \u00f6ver IP-adresser, dvs. att uniqExact tar l\u00e4ngre tid att ber\u00e4kna \u00f6ver str\u00e4ngar \u00e4n \u00f6ver siffror och s\u00e5 vidare. Och om vi till\u00e4mpar en trick och kastar vid l\u00e4sning? Dvs. ni n\u00e4mnde att det inte skiljer sig mycket p\u00e5 disken. Om vi l\u00e4ser str\u00e4ngar fr\u00e5n disken och kastar, kommer v\u00e5ra aggregat att vara snabbare eller inte? Eller f\u00e5r vi fortfarande en obetydlig vinst h\u00e4r? Jag tycker att ni testade detta, men av n\u00e5gon anledning angav ni inte det i benchmarken.<\/em> <\/p>\n<\/p>\n
Jag tror att det kommer att vara l\u00e5ngsammare \u00e4n utan casting. I s\u00e5 fall m\u00e5ste IP-adressen parseras fr\u00e5n str\u00e4ngen. Vi har givetvis ocks\u00e5 optimerad parsing av IP-adresser i ClickHouse. Vi har gjort v\u00e5rt b\u00e4sta, men d\u00e4r \u00e4r ju siffrorna skrivna i tiotusentalsformat. Mycket besv\u00e4rligt. \u00c5 andra sidan kommer uniqExact-funktionen att fungera l\u00e5ngsammare p\u00e5 str\u00e4ngar, inte bara f\u00f6r att det \u00e4r str\u00e4ngar, utan ocks\u00e5 f\u00f6r att en annan algoritmspecialisering v\u00e4ljs. Str\u00e4ngar bearbetas helt enkelt p\u00e5 ett annat s\u00e4tt.<\/p>\n
<\/p>\n
Men vad om vi tar en mer primitiv datatyp? Till exempel, vi har skrivit user id, som vi har in, skrivit det som en str\u00e4ng, och sedan castat, blir det roligare eller inte?<\/em><\/p>\n<\/p>\n
Jag tvivlar. Jag tror att det kommer att bli \u00e4nnu tristare, eftersom parsing av siffror \u00e4nd\u00e5 \u00e4r ett allvarligt problem. Jag tror att den h\u00e4r kollegan till och med hade en presentation om hur sv\u00e5rt det \u00e4r att parse siffror i tiotusentalsformat, eller kanske inte. <\/p>\n
<\/p>\n
Alexey, stort tack f\u00f6r presentationen! Och stort tack f\u00f6r ClickHouse! Jag har en fr\u00e5ga om funktionerna. Finns det planer p\u00e5 en funktion f\u00f6r att uppdatera lexikonet delvis?<\/em><\/p>\n<\/p>\n
Det vill s\u00e4ga, partiell omladdning?<\/p>\n
<\/p>\n
Ja, ja. Typ m\u00f6jligheten att ange ett MySQL-f\u00e4lt d\u00e4r man kan uppdatera efter, s\u00e5 att endast dessa data laddas om lexikonet \u00e4r v\u00e4ldigt stort.<\/em><\/p>\n<\/p>\n
Mycket intressant funktion. Och jag tycker att n\u00e5gon kille f\u00f6reslog den i v\u00e5r chatt. Kanske var det till och med du. <\/p>\n
<\/p>\n
Jag tror inte det.<\/em><\/p>\n<\/p>\n
Utm\u00e4rkt, nu visar det sig att det \u00e4r tv\u00e5 f\u00f6rfr\u00e5gningar. Och man kan lugnt b\u00f6rja g\u00f6ra. Men jag vill genast varna er f\u00f6r att den h\u00e4r funktionen \u00e4r ganska enkel att implementera. Det vill s\u00e4ga, i teorin beh\u00f6ver man bara skriva versionsnumret i tabellen och sedan skriva: version mindre \u00e4n s\u00e5 h\u00e4r. Och det betyder att vi troligen kommer att f\u00f6resl\u00e5 att entusiasterna g\u00f6r det. \u00c4r du en entusiast? <\/p>\n
<\/p>\n
Ja, men tyv\u00e4rr inte i C++.<\/em><\/p>\n<\/p>\n
Kan dina kollegor skriva i C++? <\/p>\n
<\/p>\n
Jag ska hitta n\u00e5gon.<\/em><\/p>\n<\/p>\n
Utm\u00e4rkt*.<\/p>\n
<\/p>\n
* m\u00f6jligheten lades till tv\u00e5 m\u00e5nader efter presentationen \u2013 den utvecklades av fr\u00e5gest\u00e4llaren och skickades in. pull request<\/a><\/noindex>.<\/p>\n<\/p>\n
Tack!<\/em><\/p>\n<\/p>\n
Hej! Tack f\u00f6r f\u00f6redraget! Du n\u00e4mnde att ClickHouse mycket effektivt anv\u00e4nder alla tillg\u00e4ngliga resurser. Och talaren intill fr\u00e5n Luxoft ber\u00e4ttade om sin l\u00f6sning f\u00f6r PostNord. Han sa att de verkligen gillade ClickHouse, men de anv\u00e4nde det inte ist\u00e4llet f\u00f6r sin huvudsakliga konkurrent eftersom det tog upp hela processorn. Och de kunde inte f\u00e5 in det i sin arkitektur, i sin ZooKeeper med Docker. Finns det n\u00e5got s\u00e4tt att begr\u00e4nsa ClickHouse s\u00e5 att det inte utnyttjar allt som blir tillg\u00e4ngligt f\u00f6r det?<\/em><\/p>\n<\/p>\n
Ja, det kan man och det \u00e4r v\u00e4ldigt enkelt. Om du vill att det ska anv\u00e4nda f\u00e4rre k\u00e4rnor, skriv bara set max_threads = 1<\/code>. Och allt, det kommer att utf\u00f6ra f\u00f6rfr\u00e5gan p\u00e5 en k\u00e4rna. Dessutom kan olika anv\u00e4ndare ges olika den h\u00e4r inst\u00e4llningen. S\u00e5 inga problem alls. Och s\u00e4g till kollegorna fr\u00e5n Luxoft att det inte \u00e4r bra att de inte hittade den h\u00e4r inst\u00e4llningen i dokumentationen. <\/p>\n<\/p>\n
Alexey, hej! Jag skulle vilja st\u00e4lla en fr\u00e5ga. Jag har h\u00f6rt flera g\u00e5nger nu att m\u00e5nga b\u00f6rjar anv\u00e4nda ClickHouse som lagring f\u00f6r loggar. I f\u00f6redraget sa du att man inte b\u00f6r g\u00f6ra s\u00e5, d.v.s. att man inte beh\u00f6ver lagra l\u00e5nga rader. Vad tycker du om det?<\/em><\/p>\n<\/p>\n
F\u00f6r det f\u00f6rsta, loggar \u00e4r oftast inte l\u00e5nga rader. Det finns dock undantag. Till exempel, en tj\u00e4nst skriven i java kastar ett undantag, det loggas. Och s\u00e5 i en o\u00e4ndlig loop, och det tar slut p\u00e5 utrymme p\u00e5 h\u00e5rddisken. L\u00f6sningen \u00e4r mycket enkel. Om raderna \u00e4r v\u00e4ldigt l\u00e5nga, s\u00e5 klipp dem. Men vad betyder l\u00e5nga? Tiotals kilobyte \u2013 det \u00e4r d\u00e5ligt*.<\/p>\n
<\/p>\n
* \u0432 \u0441\u0432\u0435\u0436\u0438\u0445 \u0432\u0435\u0440\u0441\u0438\u044f\u0445 ClickHouse, \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0430 "\u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u0430\u044f \u0433\u0440\u0430\u043d\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u0430", \u0447\u0442\u043e \u0441\u043d\u0438\u043c\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0441\u0442\u0440\u043e\u043a \u043f\u043e \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0447\u0430\u0441\u0442\u0438.<\/p>\n
<\/p>\n
\u00c4r en kilobyte okej?<\/em><\/p>\n<\/p>\n
Okej. <\/p>\n
<\/p>\n
Hej! Tack f\u00f6r f\u00f6redraget! Jag har redan fr\u00e5gat om detta i chatten, men jag kommer inte ih\u00e5g om jag f\u00e5tt svar. Planerar ni att p\u00e5 n\u00e5got s\u00e4tt ut\u00f6ka sektionen WITH i stil med CTE?<\/em><\/p>\n<\/p>\n
Inte f\u00f6r tillf\u00e4llet. Sektionen WITH \u00e4r lite ofullst\u00e4ndig. Den \u00e4r mer som en liten funktion.<\/p>\n
<\/p>\n
Jag f\u00f6rst\u00e5r. Tack!<\/em><\/p>\n<\/p>\n
Tack f\u00f6r f\u00f6redraget! Mycket intressant! En \u00f6vergripande fr\u00e5ga. Planerar ni att g\u00f6ra, kanske i form av n\u00e5gra dummys, en modifiering f\u00f6r att ta bort data?<\/em><\/p>\n<\/p>\n
Absolut. Detta \u00e4r v\u00e5r f\u00f6rsta uppgift i v\u00e5r k\u00f6. Vi har nu aktivt t\u00e4nkt igenom hur man g\u00f6r allt r\u00e4tt. Och det \u00e4r dags att b\u00f6rja trycka p\u00e5 tangentbordet*.<\/p>\n
<\/p>\n
* tryckte p\u00e5 knapparna p\u00e5 tangentbordet och gjorde allt.<\/p>\n
<\/p>\n
Kommer detta att p\u00e5verka systemets prestanda p\u00e5 n\u00e5got s\u00e4tt? Kommer inmatningen att vara lika snabb som den \u00e4r nu?<\/em><\/p>\n<\/p>\n
Kanske sj\u00e4lva deletes och updates blir mycket tunga, men det p\u00e5verkar inte prestandan f\u00f6r selects och inserts.<\/p>\n
<\/p>\n
Och en liten fr\u00e5ga till. P\u00e5 presentationen talade ni om primary key. S\u00e5ledes har vi partitionering som som standard \u00e4r m\u00e5nadsvis, eller hur? Och n\u00e4r vi st\u00e4ller in ett dataintervall som faller inom en m\u00e5nad, s\u00e5 l\u00e4ser vi endast den partitionen, eller hur?<\/em><\/p>\n<\/p>\n
Ja.<\/p>\n
<\/p>\n
S\u00e5 h\u00e4r \u00e4r en fr\u00e5ga. Om vi inte kan s\u00e4rskilja n\u00e5gon primary key, \u00e4r det korrekt att g\u00f6ra det baserat p\u00e5 f\u00e4ltet \"Datum\" f\u00f6r att minimera omstruktureringen av dessa data s\u00e5 att de h\u00e5lls mer ordnat? Om ni inte har intervalls\u00f6kningar och inte ens kan v\u00e4lja n\u00e5gon prim\u00e4rnyckel, b\u00f6r man d\u00e5 s\u00e4tta datumet i prim\u00e4rnyckeln?<\/em><\/p>\n<\/p>\n
Ja.<\/p>\n
<\/p>\n
Kanske \u00e4r det meningsfullt att inkludera ett f\u00e4lt i prim\u00e4rnyckeln d\u00e4r data komprimeras b\u00e4ttre om de sorteras p\u00e5 det f\u00e4ltet. Till exempel, anv\u00e4ndarens identifierare. Anv\u00e4ndaren bes\u00f6ker kanske samma webbplats. I det h\u00e4r fallet inkluderar ni anv\u00e4ndarens id och tiden. D\u00e5 kommer era data att komprimeras b\u00e4ttre. N\u00e4r det g\u00e4ller datum, om ni verkligen inte har och aldrig har n\u00e5gra intervalls\u00f6kningar baserad p\u00e5 datum, s\u00e5 kan ni kanske l\u00e5ta bli att s\u00e4tta datumet i prim\u00e4rnyckeln. <\/p>\n
<\/p>\n
Tack s\u00e5 mycket!<\/em><\/p>\nK\u00e4lla: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u0422\u0430\u043a \u043a\u0430\u043a ClickHouse \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u043e\u0439, \u043f\u0440\u0438 \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u0430\u0436\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0435\u0433\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b. \u0412 \u044d\u0442\u043e\u043c \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0410\u043b\u0435\u043a\u0441\u0435\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0445 \u043e\u0448\u0438\u0431\u043e\u043a \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 ClickHouse, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u043d\u0435\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435. \u041d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0438\u0437 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e, \u043a\u0430\u043a \u0432\u044b\u0431\u043e\u0440 \u0442\u043e\u0439 \u0438\u043b\u0438 \u0438\u043d\u043e\u0439 \u0441\u0445\u0435\u043c\u044b \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0436\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0438. \u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":91439,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-91438","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Effektiv](\"\/wp-content\/uploads\/2020\/08\/8e42c1fffffcc964eacef240ea90bbc5.jpg\")
<\/p>\n