a t\u00e1bl\u00e1zatos f\u00fcggv\u00e9ny input<\/a><\/noindex>.<\/p>\n<\/p>\n
<\/p>\n
Egy m\u00e1sik antipattern a mikrosherel\u00e9s. P\u00e9ld\u00e1ul az adatait shardolnia kell, \u00e9s \u00f6t szervere van, de holnap hat szervere lesz. \u00c9s gondolkodik, hogyan kellene \u00fajraelosztani ezeket az adatokat. \u00c9s ehelyett nem 5 shardra bontja, hanem 1000 shardra. \u00c9s tov\u00e1bbra is minden mikrosherdet egy k\u00fcl\u00f6n szerverre ir\u00e1ny\u00edt. \u00cdgy p\u00e9ld\u00e1ul az egyik szerveren 200 ClickHouse lesz, k\u00fcl\u00f6nb\u00f6z\u0151 instance-\u00f6k k\u00fcl\u00f6nb\u00f6z\u0151 portokon vagy k\u00fcl\u00f6nb\u00f6z\u0151 adatb\u00e1zisokban. <\/p>\n
<\/p>\n
<\/p>\n
De a ClickHouse-ban ez nem igaz\u00e1n m\u0171k\u00f6dik j\u00f3l. Mert m\u00e9g egy ClickHouse p\u00e9ld\u00e1ny is megpr\u00f3b\u00e1lja felhaszn\u00e1lni a kiszolg\u00e1l\u00f3 \u00f6sszes rendelkez\u00e9sre \u00e1ll\u00f3 er\u0151forr\u00e1s\u00e1t egy k\u00e9r\u00e9s feldolgoz\u00e1s\u00e1hoz. Teh\u00e1t ha van egy szervere, mondjuk 56 processzormaggal. V\u00e9grehajt egy lek\u00e9rdez\u00e9st, ami egy m\u00e1sodpercig tart, \u00e9s ez 56 magot fog haszn\u00e1lni. Ha pedig 200 ClickHouse-t helyezett el egy szerveren, akkor 10 000 sz\u00e1l fog elindulni. \u00d6sszess\u00e9g\u00e9ben minden nagyon rosszul fog m\u0171k\u00f6dni.<\/p>\n
<\/p>\n
A m\u00e1sik ok az, hogy a munka eloszt\u00e1sa ezek k\u00f6z\u00f6tt az instance-\u00e1k k\u00f6z\u00f6tt egyenl\u0151tlen lesz. Az egyik kor\u00e1bban befejez\u0151dik, a m\u00e1sik k\u00e9s\u0151bb. Ha mindez egy instance-ban t\u00f6rt\u00e9nne, a ClickHouse egyed\u00fcl is el tudn\u00e1 d\u00f6nteni, hogyan kellene helyesen elosztani az adatokat a sz\u00e1lak k\u00f6z\u00f6tt. <\/p>\n
<\/p>\n
\u00c9s egy tov\u00e1bbi ok, hogy TCP-n kereszt\u00fcli interprocess kommunik\u00e1ci\u00f3s kapcsolat lesz. Az adatokat sorba kell \u00e1ll\u00edtani, visszaalak\u00edtani, \u00e9s ez \u00f3ri\u00e1si sz\u00e1m\u00fa mikrosherdet jelent. Egyszer\u0171en nem hat\u00e9konyan fog m\u0171k\u00f6dni.<\/p>\n
<\/p>\n
<\/p>\n
Egy \u00fajabb antipattern, b\u00e1r neh\u00e9z antipatternnek nevezni. Ez a nagy mennyis\u00e9g\u0171 preaggreg\u00e1ci\u00f3.<\/p>\n
<\/p>\n
\u00c1ltal\u00e1ban a preaggreg\u00e1ci\u00f3 j\u00f3. Volt egy milli\u00e1rd sor, aggreg\u00e1lta, \u00e9s lett bel\u0151le 1000 sor, \u00e9s most a lek\u00e9rdez\u00e9s azonnal v\u00e9grehajt\u00f3dik. Minden csod\u00e1latos. \u00cdgy lehet csin\u00e1lni. Erre a ClickHouse-ban van egy speci\u00e1lis t\u00e1blasorozat, az AggregatingMergeTree, amely folyamatos aggreg\u00e1l\u00e1st v\u00e9gez az adatok beilleszt\u00e9se sor\u00e1n. <\/p>\n
<\/p>\n
De vannak esetek, amikor azt hiszed, hogy \u00edgy aggreg\u00e1ljuk az adatokat, \u00e9s m\u00e9g \u00edgy aggreg\u00e1ljuk az adatokat. Egy szomsz\u00e9dos oszt\u00e1lyban, szint\u00e9n nem szeretn\u00e9k mondani, hogy melyikben, SummingMergeTree t\u00e1bl\u00e1kat haszn\u00e1lnak az els\u0151dleges kulcs alapj\u00e1n t\u00f6rt\u00e9n\u0151 \u00f6sszegz\u00e9shez, \u00e9s az els\u0151dleges kulcsk\u00e9nt kb. 20 oszlopot haszn\u00e1lnak. K\u00fcl\u00f6nb\u00f6z\u0151 esetek miatt megv\u00e1ltoztattam n\u00e9h\u00e1ny oszlop nev\u00e9t, de nagyj\u00e1b\u00f3l \u00edgy van.<\/p>\n
<\/p>\n
<\/p>\n
Egy ilyen probl\u00e9m\u00e1k mer\u00fclnek fel. El\u0151sz\u00f6r is, az adatok mennyis\u00e9ge nem cs\u00f6kken t\u00fal dr\u00e1maian. P\u00e9ld\u00e1ul h\u00e1romszoros\u00e1ra cs\u00f6kken. H\u00e1romszor \u2013 ez m\u00e1r j\u00f3 \u00e1r lenne, hogy korl\u00e1tlan elemz\u00e9si lehet\u0151s\u00e9geket engedhess\u00fcnk meg, amelyek akkor mer\u00fclnek fel, ha az adatok nem aggreg\u00e1ltak. Ha az adatok aggreg\u00e1ltak, akkor az elemz\u00e9s helyett csup\u00e1n sz\u00e1nalmas statisztik\u00e1t kapsz. <\/p>\n
<\/p>\n
\u00c9s mi zavar k\u00fcl\u00f6n\u00f6sen? Az, hogy ezek az emberek a szomsz\u00e9dos oszt\u00e1lyb\u00f3l id\u0151nk\u00e9nt j\u00f6nnek \u00e9s k\u00e9rik, hogy adjunk hozz\u00e1 egy oszlopot az els\u0151dleges kulcshoz. Teh\u00e1t \u00edgy aggreg\u00e1ltuk az adatokat, \u00e9s most egy kicsit t\u00f6bbet akarunk. De a ClickHouse-ban nincs m\u00f3d az els\u0151dleges kulcs m\u00f3dos\u00edt\u00e1s\u00e1ra. Ez\u00e9rt valamilyen C++-ban \u00edrt szkripteket kell \u00edrni. \u00c9n nem szeretem a szkripteket, m\u00e9g akkor sem, ha C++-ban vannak.<\/p>\n
<\/p>\n
\u00c9s ha megn\u00e9zz\u00fck, mi\u00e9rt k\u00e9sz\u00fclt a ClickHouse, akkor az aggreg\u00e1latlan adatok \u00e9ppen az a forgat\u00f3k\u00f6nyv, ami\u00e9rt sz\u00fcletett. Ha a ClickHouse-t aggreg\u00e1latlan adatokhoz haszn\u00e1lod, akkor mindent helyesen csin\u00e1lsz. Ha aggreg\u00e1lsz, az n\u00e9ha megbocs\u00e1that\u00f3. <\/p>\n
<\/p>\n
<\/p>\n
Egy m\u00e1sik \u00e9rdekes eset a v\u00e9gtelen ciklusban zajl\u00f3 lek\u00e9rdez\u00e9sek. N\u00e9ha belen\u00e9zek egy production szerverbe, \u00e9s megn\u00e9zem ott a show processlist-et. \u00c9s mindig felfedezem, hogy valami borzalmas t\u00f6rt\u00e9nik. <\/p>\n
<\/p>\n
P\u00e9ld\u00e1ul ez. Azonnal l\u00e1that\u00f3, hogy mindezt egy lek\u00e9rdez\u00e9sben is v\u00e9grehajthatt\u00e1k volna. Egyszer\u0171en \u00edrd be a url in \u00e9s a lista.<\/p>\n
<\/p>\n
<\/p>\n
Mi\u00e9rt rossz sok ilyen v\u00e9gtelen ciklusban fut\u00f3 lek\u00e9rdez\u00e9s? Ha az index nem haszn\u00e1latos, akkor sokszor \u00e1tfutsz ugyanazon adatokon. De ha az index haszn\u00e1latban van, p\u00e9ld\u00e1ul van egy els\u0151dleges kulcsod ru-ra, \u00e9s te url = valamire \u00edrsz. \u00c9s azt hiszed, hogy egy url-t pontosan olvasni fog a t\u00e1bl\u00e1b\u00f3l, akkor minden rendben lesz. De val\u00f3j\u00e1ban nem. Mert a ClickHouse mindent adagokban csin\u00e1l. <\/p>\n
<\/p>\n
Amikor egy adott adatsort kell olvasnia, egy kicsit t\u00f6bbet olvas, mert a ClickHouse indexe ritk\u00e1s. Ez az index nem teszi lehet\u0151v\u00e9 egy egyedi sor megtal\u00e1l\u00e1s\u00e1t a t\u00e1bl\u00e1ban, csak egy adott tartom\u00e1nyt. Az adatok blokkokban t\u00f6m\u00f6r\u00fclnek. Ahhoz, hogy egy sort elolvasson, egy eg\u00e9sz blokkot kell gy\u0171jtenie \u00e9s kicsomagolnia. Ha sok lek\u00e9rdez\u00e9st hajt v\u00e9gre, akkor sok ilyen \u00e1tfed\u00e9s lesz, \u00e9s sok munka fog \u00fajra \u00e9s \u00fajra elv\u00e9gez\u0151dni.<\/p>\n
<\/p>\n
<\/p>\n
B\u00f3nuszk\u00e9nt megjegyezhetj\u00fck, hogy a ClickHouse-ban nem \u00e9rdemes f\u00e9ln\u00fcnk t\u00f6bb megab\u00e1jtnyi, ak\u00e1r t\u00f6bb sz\u00e1z megab\u00e1jtnyi adat tov\u00e1bb\u00edt\u00e1s\u00e1t\u00f3l az IN szekci\u00f3ban. Eml\u00e9kszem, hogy a gyakorlatunk sor\u00e1n, ha a MySQL-ben sok \u00e9rt\u00e9ket adunk meg az IN szekci\u00f3ban, p\u00e9ld\u00e1ul 100 megab\u00e1jtnyi sz\u00e1mot, akkor a MySQL ak\u00e1r 10 gigab\u00e1jt mem\u00f3ri\u00e1t is felhaszn\u00e1l, \u00e9s ut\u00e1na m\u00e1r semmi nem t\u00f6rt\u00e9nik, minden rosszul m\u0171k\u00f6dik. <\/p>\n
<\/p>\n
A m\u00e1sodik pedig az, hogy a ClickHouse-ban, ha a lek\u00e9rdez\u00e9sek haszn\u00e1lj\u00e1k az indexet, az mindig nem lassabb, mint a teljes \u00e1tvizsg\u00e1l\u00e1s, teh\u00e1t ha a t\u00e1bl\u00e1zat szinte teljes tartalm\u00e1t el kell olvasni, akkor az sorban halad \u00e9s az eg\u00e9sz t\u00e1bl\u00e1t olvassa. Az \u00f6sszess\u00e9g\u00e9ben mag\u00e1t\u00f3l megold\u00f3dik.<\/p>\n
<\/p>\n
Mindazon\u00e1ltal vannak bizonyos neh\u00e9zs\u00e9gek. P\u00e9ld\u00e1ul az, hogy az IN al-lek\u00e9rdez\u00e9ssel nem haszn\u00e1l indexet. De ez a mi probl\u00e9m\u00e1nk, \u00e9s nek\u00fcnk kell ezt helyrehozni. Nincs itt semmi alapvet\u0151. Meg fogjuk jav\u00edtani. <\/p>\n
<\/p>\n
\u00c9s egy \u00fajabb \u00e9rdekes dolog \u2013 ha nagyon hossz\u00fa lek\u00e9rdez\u00e9s van, \u00e9s elosztott lek\u00e9rdez\u00e9sfeldolgoz\u00e1s zajlik, akkor ez a nagyon hossz\u00fa lek\u00e9rdez\u00e9s minden szerverre t\u00f6m\u00f6r\u00edt\u00e9s n\u00e9lk\u00fcl ker\u00fcl tov\u00e1bb\u00edt\u00e1sra. P\u00e9ld\u00e1ul 100 megab\u00e1jt \u00e9s 500 szerver. Ennek megfelel\u0151en 50 gigab\u00e1jtot fogunk \u00e1tadni az h\u00e1l\u00f3zaton. \u00c1t fogj\u00e1k adni, majd minden sikeresen v\u00e9grehajt\u00f3dik.<\/p>\n
<\/p>\n
* m\u00e1r haszn\u00e1latban van; mindent megjav\u00edtottunk, ahogy \u00edg\u00e9rt\u00fck.<\/p>\n
<\/p>\n
<\/p>\n
\u00c9s el\u00e9gg\u00e9 gyakori eset, hogy a lek\u00e9rdez\u00e9sek az API-b\u00f3l \u00e9rkeznek. P\u00e9ld\u00e1ul k\u00e9sz\u00edtett egy szolg\u00e1ltat\u00e1st. Ha az \u00d6n szolg\u00e1ltat\u00e1s\u00e1ra sz\u00fcks\u00e9ge van valakinek, akkor megnyitotta az API-t, \u00e9s m\u00e1r k\u00e9t nappal k\u00e9s\u0151bb l\u00e1tja, hogy valami \u00e9rthetetlen t\u00f6rt\u00e9nik. Minden t\u00falterhelt, \u00e9s borzalmas lek\u00e9rdez\u00e9sek \u00e9rkeznek, amelyek soha nem kellett volna bek\u00f6vetkezni\u00fck. <\/p>\n
<\/p>\n
Itt egy megold\u00e1s l\u00e9tezik. Ha megnyitotta az API-t, akkor azt bizony m\u00f3dos\u00edtania kell. P\u00e9ld\u00e1ul be kell vezetnie valamilyen kv\u00f3t\u00e1t. Nincs m\u00e1s norm\u00e1lis lehet\u0151s\u00e9g. Ellenkez\u0151 esetben azonnal \u00edrn\u00e1nak egy szkriptet, \u00e9s probl\u00e9m\u00e1k mer\u00fcln\u00e9nek fel. <\/p>\n
<\/p>\n
A ClickHouse-ban lehet\u0151s\u00e9g van a kv\u00f3t\u00e1k sz\u00e1m\u00edt\u00e1s\u00e1ra. R\u00e1ad\u00e1sul saj\u00e1t kv\u00f3takulcsot is megadhatunk. Ez p\u00e9ld\u00e1ul egy bels\u0151 felhaszn\u00e1l\u00f3i azonos\u00edt\u00f3. A kv\u00f3t\u00e1k sz\u00e1m\u00edt\u00e1sa f\u00fcggetlen\u00fcl t\u00f6rt\u00e9nik mindegyik\u00fck sz\u00e1m\u00e1ra. <\/p>\n
<\/p>\n
<\/p>\n
Most egy m\u00e1sik \u00e9rdekes dolog. Ez a k\u00e9zi meghajt\u00e1s\u00fa replik\u00e1ci\u00f3. <\/p>\n
<\/p>\n
Tudok sok esetr\u0151l, amikor, annak ellen\u00e9re, hogy a ClickHouse be\u00e9p\u00edtett replik\u00e1ci\u00f3t t\u00e1mogat, az emberek manu\u00e1lisan replik\u00e1lj\u00e1k a ClickHouse-t.<\/p>\n
<\/p>\n
Mi ennek az elve? Van egy adatfeldolgoz\u00f3 pipeline-od. Ez f\u00fcggetlen\u00fcl m\u0171k\u00f6dik, p\u00e9ld\u00e1ul k\u00fcl\u00f6nb\u00f6z\u0151 adatk\u00f6zpontokban. Az azonos adatokat azonos m\u00f3don \u00edrod be a ClickHouse-ba. Az igazs\u00e1g az, hogy a gyakorlat azt mutatja, hogy az adatok m\u00e9gis elt\u00e9rhetnek a k\u00f3dod saj\u00e1toss\u00e1gai miatt. Rem\u00e9lem, hogy nem a ti\u00e9d. <\/p>\n
<\/p>\n
Id\u0151r\u0151l id\u0151re m\u00e9gis k\u00e9zzel kell szinkroniz\u00e1lnod. P\u00e9ld\u00e1ul havonta egyszer az adminisztr\u00e1torok rsync-et v\u00e9geznek.<\/p>\n
<\/p>\n
Val\u00f3j\u00e1ban sokkal egyszer\u0171bb a ClickHouse be\u00e9p\u00edtett replik\u00e1ci\u00f3j\u00e1t haszn\u00e1lni. De itt lehetnek bizonyos ellenjavallatok, mert ehhez ZooKeeper-t kell haszn\u00e1lni. Nem mondok rosszat a ZooKeeper-r\u0151l, alapvet\u0151en a rendszer m\u0171k\u00f6dik, de el\u0151fordul, hogy az emberek nem haszn\u00e1lj\u00e1k, mert java-f\u00f3bi\u00e1juk van, mivel a ClickHouse egy olyan j\u00f3 rendszer, amit C++-ban \u00edrtak, amely m\u0171k\u00f6dik \u00e9s minden rendben lesz. A ZooKeeper pedig Java. \u00c9s valahogy m\u00e9g csak nem is szeretn\u00e9m megn\u00e9zni, de akkor haszn\u00e1lhatod a k\u00e9zi meghajt\u00e1s\u00fa replik\u00e1ci\u00f3t. <\/p>\n
<\/p>\n
<\/p>\n
A ClickHouse egy praktikus rendszer. Figyelembe veszi az ig\u00e9nyeidet. Ha k\u00e9zi meghajt\u00e1s\u00fa replik\u00e1ci\u00f3t haszn\u00e1lsz, l\u00e9trehozhatsz egy Distributed t\u00e1bl\u00e1t, amely a k\u00e9zi replik\u00e1idra n\u00e9z, \u00e9s mag\u00e1t\u00f3l v\u00e9grehajtja a failover-t k\u00f6z\u00f6tt\u00fck. M\u00e9g egy speci\u00e1lis opci\u00f3 is van, amely lehet\u0151v\u00e9 teszi, hogy elker\u00fcld a flappokat, m\u00e9g akkor is, ha a replik\u00e1id rendszeresen elt\u00e9rnek egym\u00e1st\u00f3l.<\/p>\n
<\/p>\n
<\/p>\n
Tov\u00e1bb\u00e1 probl\u00e9m\u00e1k ad\u00f3dhatnak, ha primit\u00edv t\u00e1blamotorokat haszn\u00e1lsz. A ClickHouse egy olyan \u00e9p\u00edt\u0151elem, amelyben sok k\u00fcl\u00f6nb\u00f6z\u0151 t\u00e1blamotor tal\u00e1lhat\u00f3. Minden komolyabb esethez, ahogy a dokument\u00e1ci\u00f3 is \u00edrja, a MergeTree csal\u00e1d t\u00e1bl\u00e1it kell haszn\u00e1lnod. Minden m\u00e1s \u2013 csak k\u00fcl\u00f6n esetekre vagy tesztekhez val\u00f3.<\/p>\n
<\/p>\n
A MergeTree t\u00e1bl\u00e1ban nem sz\u00fcks\u00e9ges, hogy legyen valamilyen d\u00e1tum \u00e9s id\u0151. Akkor is haszn\u00e1lhatod \u0151ket. Ha nincs d\u00e1tum \u00e9s id\u0151, \u00edrd be, hogy az alap\u00e9rtelmezett \u2013 2000-es \u00e9v. Ez m\u0171k\u00f6dni fog, \u00e9s nem ig\u00e9nyel sok er\u0151forr\u00e1st. <\/p>\n
<\/p>\n
Az \u00faj szerver verzi\u00f3ban ak\u00e1r testreszabott part\u00edcion\u00e1l\u00e1st is megadhat, kulcs n\u00e9lk\u00fcli part\u00edci\u00f3val. Ez ugyanaz lesz. <\/p>\n
<\/p>\n
<\/p>\n
M\u00e1sr\u00e9szt primit\u00edv t\u00e1blamotorokat is haszn\u00e1lhat. P\u00e9ld\u00e1ul egyszer t\u00f6lti fel az adatokat, megn\u00e9zi, elforgatja \u00e9s t\u00f6rli. Haszn\u00e1lhat Log-ot.<\/p>\n
<\/p>\n
Vagy kis mennyis\u00e9gek t\u00e1rol\u00e1s\u00e1ra az intermedier feldolgoz\u00e1shoz \u2013 ez a StripeLog vagy TinyLog.<\/p>\n
<\/p>\n
A Memory-t haszn\u00e1lhatja, ha kis mennyis\u00e9g\u0171 adat van, \u00e9s csak valamit forgatna a mem\u00f3ri\u00e1ban. <\/p>\n
<\/p>\n
<\/p>\n
A ClickHouse nem nagyon kedveli a t\u00falnormaliz\u00e1lt adatokat. <\/p>\n
<\/p>\n
Itt egy tipikus p\u00e9lda. Ez egy hatalmas URL mennyis\u00e9g. Beletette \u0151ket a szomsz\u00e9dos t\u00e1bl\u00e1ba. Azt\u00e1n \u00fagy d\u00f6nt\u00f6tt, hogy JOIN-t szeretne v\u00e9grehajtani vel\u00fck, de \u00e1ltal\u00e1ban ez nem fog m\u0171k\u00f6dni, mert a ClickHouse csak Hash JOIN-t t\u00e1mogat. Ha nincs elegend\u0151 mem\u00f3ria a sok adat \u00f6sszekapcsol\u00e1s\u00e1hoz, akkor a JOIN nem hajthat\u00f3 v\u00e9gre*. <\/p>\n
<\/p>\n
Ha az adatok nagy kardin\u00e1lis\u00e1g\u00faak, akkor ne agg\u00f3djon, t\u00e1rolja \u0151ket denormaliz\u00e1lt form\u00e1ban, az URL-eket k\u00f6zvetlen\u00fcl a f\u0151 t\u00e1bl\u00e1ban. <\/p>\n
<\/p>\n
* Most a ClickHouse-ban m\u00e1r merge join is van, \u00e9s ez olyan k\u00f6rnyezetben m\u0171k\u00f6dik, ahol a k\u00f6zbens\u0151 adatok nem f\u00e9rnek el a mem\u00f3ri\u00e1ban. De ez nem hat\u00e9kony, \u00e9s a javaslat tov\u00e1bbra is \u00e9rv\u00e9nyes.<\/p>\n
<\/p>\n
<\/p>\n
M\u00e9g p\u00e1r p\u00e9lda, de m\u00e1r k\u00e9telkedem, hogy anti-mint\u00e1sak-e vagy sem. <\/p>\n
<\/p>\n
A ClickHouse-nak van egy ismert h\u00e1tr\u00e1nya. Nem tud friss\u00edt\u00e9seket v\u00e9gezni*. Bizonyos \u00e9rtelemben ez m\u00e9g j\u00f3nak is tekinthet\u0151. Ha fontos adatai vannak, p\u00e9ld\u00e1ul a k\u00f6nyvel\u00e9s, akkor senki sem tudja \u0151ket elk\u00fcldeni, mert nincsenek friss\u00edt\u00e9sek.<\/p>\n
<\/p>\n
* A friss\u00edt\u00e9si \u00e9s t\u00f6rl\u00e9si t\u00e1mogat\u00e1s m\u00e1r r\u00e9g\u00f3ta hozz\u00e1 lett adva batch m\u00f3dba.<\/p>\n
<\/p>\n
De van n\u00e9h\u00e1ny k\u00fcl\u00f6nleges m\u00f3dszer, amely lehet\u0151v\u00e9 teszi a friss\u00edt\u00e9seket szinte a h\u00e1tt\u00e9rben. P\u00e9ld\u00e1ul a ReplaceMergeTree t\u00edpus\u00fa t\u00e1bl\u00e1k. Ezek a h\u00e1tt\u00e9rbeli \u00f6sszevon\u00e1sok sor\u00e1n v\u00e9gzik a friss\u00edt\u00e9seket. Ezt a optimize table-vel k\u00e9nyszer\u00edtheti. De ne tegye ezt t\u00fal gyakran, mert az teljes \u00fajra\u00edr\u00e1st jelent a part\u00edci\u00f3ra. <\/p>\n
<\/p>\n
A terjesztett JOIN-ok a ClickHouse-ban szint\u00e9n rosszul kezelhet\u0151k a lek\u00e9rdez\u00e9s\u2013tervez\u0151 \u00e1ltal. <\/p>\n
<\/p>\n
Rossz, de n\u00e9ha rendben van.<\/p>\n
<\/p>\n
A ClickHouse haszn\u00e1lata kiz\u00e1r\u00f3lag arra, hogy az adatokat visszaolvassa select*-t\u00e1l.<\/p>\n
<\/p>\n
Nem aj\u00e1nlan\u00e1m a ClickHouse haszn\u00e1lat\u00e1t nagym\u00e9ret\u0171 sz\u00e1m\u00edt\u00e1sokhoz. De ez nem teljesen igaz, mert m\u00e1r elt\u00e1volodunk ett\u0151l az aj\u00e1nl\u00e1st\u00f3l. Nemr\u00e9giben lehet\u0151s\u00e9g ny\u00edlt g\u00e9pi tanul\u00e1si modellek alkalmaz\u00e1s\u00e1ra a ClickHouse-ban \u2013 Catboost. Ez aggaszt, mert azt gondolom: \u201eMicsoda sz\u00f6rny\u0171s\u00e9g. H\u00e1ny ciklus van egy byte-ra!\u201d. Nagyon sajn\u00e1lom, hogy ciklusokat pazarolok byte-okkal. <\/p>\n
<\/p>\n
<\/p>\n
De ne f\u00e9ljetek, telep\u00edts\u00e9tek a ClickHouse-t, minden rendben lesz. Ha b\u00e1rmi baj van, van k\u00f6z\u00f6ss\u00e9g\u00fcnk. Egy\u00e9bk\u00e9nt, a k\u00f6z\u00f6ss\u00e9g \u2013 az ti vagytok. \u00c9s ha probl\u00e9m\u00e1itok vannak, legal\u00e1bb csatlakozhattok a chat\u00fcnkhez, \u00e9s rem\u00e9lem, seg\u00edtenek nektek. <\/p>\n
<\/p>\n
K\u00e9rd\u00e9sek<\/p>\n
<\/p>\n
K\u00f6sz\u00f6n\u00f6m az el\u0151ad\u00e1st! Hova lehet panaszt tenni a ClickHouse le\u00e1ll\u00e1s\u00e1ra?<\/em><\/p>\n<\/p>\n
Szem\u00e9lyesen nekem is panaszolhattok most. <\/p>\n
<\/p>\n
Nemr\u00e9g kezdtem el haszn\u00e1lni a ClickHouse-t. Azonnal le\u00e1ll\u00edtottam a CLI interf\u00e9szt.<\/em><\/p>\n<\/p>\n
Szerencs\u00e9d van. <\/p>\n
<\/p>\n
K\u00e9s\u0151bb egy kis select-tel le\u00e1ll\u00edtottam a szervert.<\/em><\/p>\n<\/p>\n
Tehets\u00e9ged van. <\/p>\n
<\/p>\n
Hib\u00e1t nyitottam a GitHub-on, de figyelmen k\u00edv\u00fcl hagyt\u00e1k.<\/em> <\/p>\n<\/p>\n
N\u00e9zz\u00fck meg. <\/p>\n
<\/p>\n
Alexey becsapott, hogy r\u00e9szt vegyek az el\u0151ad\u00e1son, meg\u00edg\u00e9rve, hogy elmondja, hogyan t\u00f6m\u00f6r\u00edtitek az adatokat bel\u00fcl.<\/em><\/p>\n<\/p>\n
Nagyon egyszer\u0171. <\/p>\n
<\/p>\n
Ezt m\u00e1r tegnap meg\u00e9rtettem. T\u00f6bb konkr\u00e9tumot szeretn\u00e9k.<\/em> <\/p>\n<\/p>\n
Nincsenek ott sz\u00f6rny\u0171 tr\u00fckk\u00f6k. Csak blokk alap\u00fa t\u00f6m\u00f6r\u00edt\u00e9s van. Alap\u00e9rtelmez\u00e9s szerint LZ4-t haszn\u00e1lunk, de lehet ZSTD-t is bekapcsolni*. A blokkok 64 kilobajt\u00f3l 1 megab\u00e1jtig terjednek.<\/p>\n
<\/p>\n
* emellett van t\u00e1mogat\u00e1s speci\u00e1lis t\u00f6m\u00f6r\u00edt\u00e9si kodekekhez, amelyeket m\u00e1s algoritmusokkal kombin\u00e1lva lehet haszn\u00e1lni.<\/p>\n
<\/p>\n
A blokkokban csak nyers adatok vannak?<\/em><\/p>\n<\/p>\n
Nem teljesen nyers adatokr\u00f3l van sz\u00f3. Ott t\u00f6mb\u00f6k vannak. Ha van egy numerikus oszlopod, akkor a sz\u00e1mok egym\u00e1s ut\u00e1n t\u00f6mb\u00f6kbe vannak rendezve. <\/p>\n
<\/p>\n
\u00c9rtem.<\/em> <\/p>\n<\/p>\n
Alexey, p\u00e9ld\u00e1ul a uniqExact eset\u00e9ben az IP c\u00edmek felett, hogy az uniqExact sorok szerint lassabban sz\u00e1mol\u00f3dik, mint a sz\u00e1mok. Mi van, ha az olvas\u00e1skor konvert\u00e1lunk? Teh\u00e1t, \u00fagy t\u0171nik, azt mondtad, hogy a lemezen nem nagyon k\u00fcl\u00f6nb\u00f6zik. Ha a lemezr\u0151l olvasunk sorokat \u00e9s konvert\u00e1lunk, akkor gyorsabban lesznek az aggreg\u00e1tumaink, vagy nem? Vagy itt nem nyerhet\u00fcnk jelent\u0151sen? \u00dagy t\u0171nik, hogy ezt tesztelted, de valami\u00e9rt nem jel\u00f6lted meg a benchmarkon.<\/em> <\/p>\n<\/p>\n
Azt hiszem, hogy lassabb lesz, mint a cast n\u00e9lk\u00fcl. Ebben az esetben az IP-c\u00edmet ki kell parsolni a sorb\u00f3l. N\u00e1lunk, term\u00e9szetesen, a ClickHouse-ban is optimaliz\u00e1lva van az IP-c\u00edmek parse-ol\u00e1sa. Nagyon er\u0151sen igyekezt\u00fcnk, de ott ugye a sz\u00e1mok t\u00edzezres form\u00e1ban vannak feljegyezve. Nagyon k\u00e9nyelmetlen. M\u00e1sr\u00e9szt a uniqExact f\u00fcggv\u00e9ny lassabban fog m\u0171k\u00f6dni a sorokon, nemcsak az\u00e9rt, mert azok sorok, hanem mert az algoritmus m\u00e1s specializ\u00e1ci\u00f3t v\u00e1laszt. A sorokat egyszer\u0171en m\u00e1sk\u00e9pp dolgozz\u00e1k fel.<\/p>\n
<\/p>\n
De mi van, ha egy primit\u00edvebb adat t\u00edpust v\u00e1lasztunk? P\u00e9ld\u00e1ul, feljegyezt\u00fck a felhaszn\u00e1l\u00f3i azonos\u00edt\u00f3t, amely n\u00e1lunk in, fel\u00edrtuk sorban, majd castoltuk, viccesebb lesz vagy sem?<\/em><\/p>\n<\/p>\n
K\u00e9tlem. Azt hiszem, hogy m\u00e9g szomor\u00fabb lesz, mert a sz\u00e1mok parse-ol\u00e1sa komoly probl\u00e9ma. \u00dagy t\u0171nik, hogy ennek a koll\u00e9g\u00e1nak volt egy el\u0151ad\u00e1sa arr\u00f3l, hogy mennyire neh\u00e9z a sz\u00e1mokat t\u00edzes form\u00e1ban parse-olni, de lehet, hogy nem. <\/p>\n
<\/p>\n
Alexei, k\u00f6sz\u00f6n\u00f6m sz\u00e9pen az el\u0151ad\u00e1st! \u00c9s k\u00f6sz\u00f6n\u00f6m sz\u00e9pen a ClickHouse-t! Van egy k\u00e9rd\u00e9sem a tervekkel kapcsolatban. Terveznek-e olyan funkci\u00f3t, ami nem teljesen friss\u00edti a sz\u00f3t\u00e1rakat?<\/em><\/p>\n<\/p>\n
Teh\u00e1t r\u00e9szleges \u00fajraind\u00edt\u00e1s?<\/p>\n
<\/p>\n
Igen-igen. Olyan lehet\u0151s\u00e9g, hogy megadhassuk a MySQL mez\u0151t, teh\u00e1t friss\u00edteni az aftert, hogy csak ezek az adatok t\u00f6lthet\u0151k be, ha a sz\u00f3t\u00e1r nagyon nagy.<\/em><\/p>\n<\/p>\n
Nagyon \u00e9rdekes funkci\u00f3. \u00c9s \u00fagy t\u0171nik, hogy valaki azt javasolta a chaten. Tal\u00e1n ez ak\u00e1r \u00f6n volt. <\/p>\n
<\/p>\n
Nem hiszem, hogy \u00e9n lenn\u00e9k.<\/em><\/p>\n<\/p>\n
Remek, most pedig \u00fagy t\u0171nik, hogy k\u00e9t lek\u00e9rdez\u00e9s van. \u00c9s nyugodtan el lehet kezdeni csin\u00e1lni. De azonnal figyelmeztetni szeretn\u00e9m, hogy ez a funkci\u00f3 meglehet\u0151sen egyszer\u0171en megval\u00f3s\u00edthat\u00f3. Teh\u00e1t elvileg csak annyit kell tenni, hogy be\u00edrjuk a t\u00e1bl\u00e1ba a verzi\u00f3sz\u00e1mot, \u00e9s ut\u00e1na: verzi\u00f3 kisebb, mint ez meg ez. Ez azt jelenti, hogy val\u00f3sz\u00edn\u0171leg ezt a lelkesed\u0151knek fogjuk aj\u00e1nlani. \u00d6n lelkesed\u0151? <\/p>\n
<\/p>\n
Igen, de sajnos nem C++-ban.<\/em><\/p>\n<\/p>\n
A koll\u00e9g\u00e1i tudnak C++-ban programozni? <\/p>\n
<\/p>\n
Meg fogok tal\u00e1lni valakit.<\/em><\/p>\n<\/p>\n
Remek*.<\/p>\n
<\/p>\n
* a lehet\u0151s\u00e9g k\u00e9t h\u00f3nappal az el\u0151ad\u00e1s ut\u00e1n lett hozz\u00e1adva \u2013 a k\u00e9rd\u00e9s szerz\u0151je fejlesztette, \u00e9s elk\u00fcldte a saj\u00e1tj\u00e1t pull requestemr\u0151l<\/a><\/noindex>.<\/p>\n<\/p>\n
K\u00f6sz\u00f6n\u00f6m!<\/em><\/p>\n<\/p>\n
\u00dcdv\u00f6zl\u00f6m! K\u00f6sz\u00f6n\u00f6m az el\u0151ad\u00e1st! Emlegette, hogy a ClickHouse nagyon j\u00f3l kihaszn\u00e1lja az \u00f6sszes rendelkez\u00e9sre \u00e1ll\u00f3 er\u0151forr\u00e1st. A Luxoft szomsz\u00e9dos el\u0151ad\u00f3ja a megold\u00e1s\u00e1r\u00f3l besz\u00e9lt a Orosz Posta sz\u00e1m\u00e1ra. Azt mondta, hogy nekik nagyon tetszett a ClickHouse, de nem haszn\u00e1lt\u00e1k az alapvet\u0151 konkurens\u00fck helyett, pontosan az\u00e9rt, mert teljesen elfogyasztja a processzort. Nem tudt\u00e1k integr\u00e1lni a saj\u00e1t architekt\u00far\u00e1jukba, a ZooKeeper-j\u00fckbe a dockerekkel. Van lehet\u0151s\u00e9g arra, hogy korl\u00e1tozzuk a ClickHouse-t, hogy ne fogyassa el mindazt, ami el\u00e9rhet\u0151 neki?<\/em><\/p>\n<\/p>\n
Igen, lehet, \u00e9s nagyon egyszer\u0171. Ha kevesebb magot szeretne haszn\u00e1lni, akkor egyszer\u0171en \u00edrja be set max_threads = 1<\/code>. \u00c9s k\u00e9sz, egy magon v\u00e9gzi a lek\u00e9rdez\u00e9seket. R\u00e1ad\u00e1sul k\u00fcl\u00f6nb\u00f6z\u0151 felhaszn\u00e1l\u00f3k sz\u00e1m\u00e1ra be\u00e1ll\u00edthat k\u00fcl\u00f6nb\u00f6z\u0151 param\u00e9tereket. Teh\u00e1t ezzel nincs probl\u00e9ma. \u00c9s az Luxoft munkat\u00e1rsainak is mondja el, hogy nem helyes, hogy nem tal\u00e1lt\u00e1k meg ezt a be\u00e1ll\u00edt\u00e1st a dokument\u00e1ci\u00f3ban. <\/p>\n<\/p>\n
Alexej, \u00fcdv\u00f6zl\u00f6m! Szeretn\u00e9k egy k\u00e9rd\u00e9st feltenni. M\u00e1r nem el\u0151sz\u00f6r hallom, hogy sokan a ClickHouse-t kezdt\u00e9k el logok t\u00e1rol\u00e1s\u00e1ra haszn\u00e1lni. Az el\u0151ad\u00e1sban azt mondta, hogy ezt nem k\u00e9ne csin\u00e1lni, azaz nem kell hossz\u00fa sorokat t\u00e1rolni. Mit gondol err\u0151l?<\/em><\/p>\n<\/p>\n
El\u0151sz\u00f6r is, a logok \u00e1ltal\u00e1ban nem hossz\u00fa sorok. Persze vannak kiv\u00e9telek. P\u00e9ld\u00e1ul egy Java nyelven \u00edrt szolg\u00e1ltat\u00e1s dob egy exception-t, ami napl\u00f3z\u00e1sra ker\u00fcl. \u00c9s ez v\u00e9gtelen ciklusban zajlik, v\u00e9g\u00fcl pedig elfogy a hely a merevlemezen. A megold\u00e1s nagyon egyszer\u0171. Ha a sorok t\u00fal hossz\u00faak, akkor v\u00e1gja le \u0151ket. De mit jelent, hogy hossz\u00fa? T\u00edzes kilob\u00e1jt \u2013 ez rossz*.<\/p>\n
<\/p>\n
* A friss ClickHouse verzi\u00f3kban enged\u00e9lyezve van az \"alkalmazkod\u00f3 index szemcsem\u00e9ret\", ami l\u00e9nyeg\u00e9ben megoldja a hossz\u00fa sorok t\u00e1rol\u00e1si probl\u00e9m\u00e1j\u00e1t.<\/p>\n
<\/p>\n
\u00c9s a kilob\u00e1jt \u2013 az norm\u00e1lis?<\/em><\/p>\n<\/p>\n
Norm\u00e1lis. <\/p>\n
<\/p>\n
\u00dcdv\u00f6zl\u00f6m! K\u00f6sz\u00f6n\u00f6m az el\u0151ad\u00e1st! M\u00e1r k\u00e9rdeztem err\u0151l a csatorn\u00e1ban, de nem eml\u00e9kszem, kaptam-e v\u00e1laszt. Tervezik-e valamikor b\u0151v\u00edteni a WITH szekci\u00f3t hasonl\u00f3an a CTE-hez?<\/em><\/p>\n<\/p>\n
Jelenleg nem. A WITH szekci\u00f3nk kicsit komolytalan. Egy kicsi funkci\u00f3k\u00e9nt kezelj\u00fck.<\/p>\n
<\/p>\n
Meg\u00e9rtettem. K\u00f6sz\u00f6n\u00f6m!<\/em><\/p>\n<\/p>\n
K\u00f6sz\u00f6n\u00f6m az el\u0151ad\u00e1st! Nagyon \u00e9rdekes! Glob\u00e1lis k\u00e9rd\u00e9s. Tervezik-e valamilyen m\u00f3don a t\u00f6rl\u00e9s funkci\u00f3 m\u00f3dos\u00edt\u00e1s\u00e1t, esetleg valamilyen helyettes\u00edt\u0151 haszn\u00e1lat\u00e1val?<\/em><\/p>\n<\/p>\n
K\u00e9ts\u00e9gtelen\u00fcl. Ez a feladatunk az els\u0151 helyen a sorban. Jelenleg akt\u00edvan kidolgozzuk, hogyan csin\u00e1ljuk j\u00f3l. \u00c9s el kell kezdeni \u00fct\u00f6getni a billenty\u0171zetet*.<\/p>\n
<\/p>\n
* megnyomkodtuk a billenty\u0171ket a billenty\u0171zeten, \u00e9s mindent megcsin\u00e1ltunk.<\/p>\n
<\/p>\n
Foly\u00e1solja ez valamilyen m\u00f3don a rendszer teljes\u00edtm\u00e9ny\u00e9t, vagy nem? A besz\u00far\u00e1s olyan gyors lesz, mint most?<\/em><\/p>\n<\/p>\n
Lehets\u00e9ges, hogy maguk a t\u00f6rl\u00e9sek \u00e9s friss\u00edt\u00e9sek nagyon neh\u00e9znek bizonyulnak, de ez semmilyen hat\u00e1ssal nem lesz a lek\u00e9rdez\u00e9sek \u00e9s a besz\u00far\u00e1sok teljes\u00edtm\u00e9ny\u00e9re.<\/p>\n
<\/p>\n
\u00c9s m\u00e9g egy kis k\u00e9rd\u00e9s. Az el\u0151ad\u00e1son eml\u00edtetted a primer kulcsot. Teh\u00e1t van egy part\u00edcion\u00e1l\u00e1s, amely alap\u00e9rtelmez\u00e9s szerint havi, ugye? Amikor megadunk egy d\u00e1tumtartom\u00e1nyt, ami belef\u00e9r egy h\u00f3napba, akkor csak ezt a part\u00edci\u00f3t olvassuk le, igaz?<\/em><\/p>\n<\/p>\n
Igen.<\/p>\n
<\/p>\n
Egy ilyen k\u00e9rd\u00e9s. Ha nem tudunk megnevezni egy primer kulcsot, helyes-e a \"D\u00e1tum\" mez\u0151 alapj\u00e1n kialak\u00edtani, hogy a h\u00e1tt\u00e9rben kevesebb \u00e1tszervez\u00e9s t\u00f6rt\u00e9njen, \u00e9s a adatok rendezettebben legyenek? Ha nincsenek tartom\u00e1nyos lek\u00e9rdez\u00e9sek, \u00e9s m\u00e9g csak egy primer kulcsot sem tudunk v\u00e1lasztani, akkor \u00e9rdemes-e a d\u00e1tumot a primer kulcsba tenni?<\/em><\/p>\n<\/p>\n
Igen.<\/p>\n
<\/p>\n
Lehet, hogy van \u00e9rtelme a primer kulcsba tenni egy olyan mez\u0151t, amely alapj\u00e1n az adatok jobban t\u00f6m\u00f6r\u00edthet\u0151k, ha azokat aszerint rendezik. P\u00e9ld\u00e1ul a felhaszn\u00e1l\u00f3 azonos\u00edt\u00f3ja. A felhaszn\u00e1l\u00f3 p\u00e9ld\u00e1ul ugyanarra az oldalra l\u00e1togat. Ebben az esetben tedd bele a felhaszn\u00e1l\u00f3 azonos\u00edt\u00f3j\u00e1t \u00e9s az id\u0151t. \u00c9s akkor az adatok jobban t\u00f6m\u00f6r\u00edthet\u0151k. A d\u00e1tumot illet\u0151en, ha val\u00f3ban nincsenek \u00e9s soha nem is voltak tartom\u00e1nyos lek\u00e9rdez\u00e9sek a d\u00e1tumokkal kapcsolatban, akkor nem sz\u00fcks\u00e9ges a d\u00e1tumot a primer kulcsba tenni. <\/p>\n
<\/p>\n
Rendben, nagyon k\u00f6sz\u00f6n\u00f6m!<\/em><\/p>\nForr\u00e1s: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u0422\u0430\u043a \u043a\u0430\u043a ClickHouse \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u043e\u0439, \u043f\u0440\u0438 \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u0430\u0436\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0435\u0433\u043e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b. \u0412 \u044d\u0442\u043e\u043c \u0434\u043e\u043a\u043b\u0430\u0434\u0435 \u0410\u043b\u0435\u043a\u0441\u0435\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0435\u0442 \u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0445 \u043e\u0448\u0438\u0431\u043e\u043a \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 ClickHouse, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u043d\u0435\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435. \u041d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0438\u0437 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0438 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e, \u043a\u0430\u043a \u0432\u044b\u0431\u043e\u0440 \u0442\u043e\u0439 \u0438\u043b\u0438 \u0438\u043d\u043e\u0439 \u0441\u0445\u0435\u043c\u044b \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0436\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0438. \u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":91439,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-91438","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"Hat\u00e9kony](\"\/wp-content\/uploads\/2020\/08\/8e42c1fffffcc964eacef240ea90bbc5.jpg\")
<\/p>\n