{"id":74737,"date":"2020-03-20T08:43:14","date_gmt":"2020-03-20T05:43:14","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/optimizacziya-strok-v-clickhouse-doklad-yandeksa"},"modified":"2020-03-20T08:43:14","modified_gmt":"2020-03-20T05:43:14","slug":"optimizacziya-strok-v-clickhouse-doklad-yandeksa","status":"publish","type":"post","link":"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/optimizacziya-strok-v-clickhouse-doklad-yandeksa","title":{"rendered":"Optimizacija stringova u ClickHouse. Prezentacija Yandexa","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Analiti\u010dka OLAP baza podataka ClickHouse obra\u0111uje mnoge razli\u010dite stringove, tro\u0161e\u0107i resurse. Kako bi se ubrzao rad sistema, neprekidno se dodaju nove optimizacije. Razvija\u010d ClickHouse-a Nikolaj Ko\u010detov obja\u0161njava o string tipovima podataka, uklju\u010duju\u0107i novi tip, LowCardinality, i kako se mo\u017ee ubrzati rad sa stringovima. <\/p>\n<p><center><div class=\"youtube-placeholder\" data-id=\"rqf-ILRgBdY\" onclick=\"loadVideo(this)\">\r\n        <img decoding=\"async\" src=\"https:\/\/img.youtube.com\/vi\/rqf-ILRgBdY\/hqdefault.jpg\" alt=\"Igraj video\" loading=\"lazy\" width=\"480\" height=\"360\" style=\"width:100%;height:auto;\">\r\n        <div class=\"play-button\"><\/div>\r\n    <\/div><\/center><br \/>\n\u2014 Prvo, hajde da razjasnimo kako mo\u017eemo skladi\u0161titi stringove. <br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><br \/>\n<img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/5e38e903aaaf54a533bd3026e76a14be.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nImamo string tipove podataka. String je dobar izbor po defaultu, trebali bismo ga koristiti skoro uvijek. Ima mali overhead \u2014 9 bajtova po stringu. Ako \u017eelimo da veli\u010dina stringova bude fiksna i unaprijed poznata, bolje je koristiti FixedString. U njemu mo\u017eemo odrediti \u017eeljeni broj bajtova, \u0161to je prakti\u010dno za podatke tipa IP adrese ili hash funkcije. <\/p>\n<p><img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/eaae898fb5163cb1c070c34a13f6f160.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nNaravno, ponekad ne\u0161to usporava. Recimo, pravite upit prema tabeli. ClickHouse \u010dita prili\u010dno veliku koli\u010dinu podataka, recimo, brzinom od 100 GB\/s, dok se obradjuje malo stringova. Imamo dve tabele koje \u010duvaju skoro iste podatke. Iz druge tabele ClickHouse \u010dita podatke ve\u0107om brzinom, ali se brojevi stringova \u010ditaju tri puta sporije. <\/p>\n<p><img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/be7cc47e628112bb212ed0e8ff9091ed.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nAko pogledamo veli\u010dinu komprimovanih podataka, otkri\u0107emo da je skoro jednaka. U stvari su u tabelama zapisani isti podaci \u2014 prvi milijard brojeva \u2014 samo su u prvom stubcu zapisani kao UInt64, dok su u drugom kao String. Zbog toga drugi upit du\u017ee \u010dita podatke sa diska i dekompresuje ih. <\/p>\n<p><img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/c699103cecd972fcee73841cc35716d6.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nEvo jo\u0161 jednog primera. Pretpostavimo da postoji unaprijed poznati skup stringova, koji je ograni\u010den konstantom od 1000 ili 10 000 i prakti\u010dno se nikada ne menja. U ovom slu\u010daju nam odgovara tip podataka Enum, u ClickHouse-u postoje dva \u2014 Enum8 i Enum16. Zbog skladi\u0161tenja u Enum-u brzo obra\u0111ujemo upite. <\/p>\n<p>U ClickHouse-u postoje optimizacije za GROUP BY, IN, DISTINCT i optimizacije za neke funkcije, kao na primjer za pore\u0111enje sa konstantnim stringom. Naravno, brojevi u stringu se ne konvertuju, ve\u0107 se konstantni string pretvara u Enum vrednost. Nakon toga se sve brzo upore\u0111uje. <\/p>\n<p>Ali postoje i nedostaci. \u010cak i ako znamo ta\u010dan skup stringova, ponekad ga treba dopunjavati. Kada stigne novi string \u2014 moramo izvr\u0161iti ALTER. <\/p>\n<p><img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/064c35faaf3d9de2f12d29f83197e983.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nALTER za Enum u ClickHouse implementiran je optimalno. Ne prepisujemo podatke na disku, ali ALTER mo\u017ee usporavati zbog toga \u0161to se strukture Enum \u010duvaju u \u0161emi same tabele. Stoga moramo \u010dekati na upite za \u010ditanje iz tabele, na primer. <\/p>\n<p>Postavlja se pitanje, mo\u017ee li to biti bolje? Verovatno, da. Mo\u017ee se sa\u010duvati struktura Enum ne u \u0161emi tabele, ve\u0107 u ZooKeeper-u. Me\u0111utim, mogu nastati problemi vezani za sinhronizaciju. Na primer, jedna replikacija je dobila podatke, druga nije, i ako ona ima stari Enum, ne\u0161to \u0107e prestati da funkcioni\u0161e. (U ClickHouse skoro smo zavr\u0161ili neblokiraju\u0107e ALTER upite. Kada ih potpuno zavr\u0161imo, ne\u0107e biti potrebno \u010dekati na upite za \u010ditanje.)<\/p>\n<p><img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/f5d2fdf14778f6afdd4acc8c204e163c.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDa bismo izbegli komplikacije sa ALTER Enum, mo\u017eemo koristiti spoljne re\u010dnike ClickHouse. Podse\u0107am, to je key-value struktura podataka unutar ClickHouse, pomo\u0107u koje mo\u017eemo dobijati podatke iz spolja\u0161njih izvora, kao \u0161to su MySQL tabele. <\/p>\n<p>U re\u010dniku ClickHouse \u010duvamo mno\u0161tvo razli\u010ditih stringova, a u tabeli su njihovi identifikatori u obliku brojeva. Ako trebamo dobiti string, pozivamo funkciju dictGet i radimo s njom. Nakon toga ne moramo praviti ALTER. Da bismo ne\u0161to dodali u Enum, umetnemo to u istu MySQL tabelu. <\/p>\n<p>Ali tu se javljaju drugi problemi. Prvo, nezgrapan sintaksis. Ako \u017eelimo dobiti string, moramo pozvati dictGet. Drugo, nedostatak nekih optimizacija. Upore\u0111ivanje sa konstantnim stringom za re\u010dnike ne mo\u017ee se obaviti tako brzo. <\/p>\n<p>Jo\u0161 mogu biti problemi sa a\u017euriranjem. Pretpostavimo, zatra\u017eili smo string u ke\u0161-re\u010dniku, a taj string nije stigao u ke\u0161. Tada moramo \u010dekati dok se podaci u\u010ditaju iz spoljnog izvora. <\/p>\n<p><img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/534818ee523a243623a5cb2babe08040.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nOp\u0161ti nedostatak oba metoda \u2014 \u010duvamo sve klju\u010deve na jednom mestu i sinhronizujemo ih. Za\u0161to ne bismo \u010duvali re\u010dnike lokalno? Nema sinhronizacije \u2014 nema problema. Re\u010dnik se mo\u017ee \u010duvati lokalno u delu na disku. To jest, napravili smo Insert, zapisali re\u010dnik. Ako radimo sa podacima u memoriji, mo\u017eemo zapisati re\u010dnik ili u blok podataka, ili u deo kolone, ili u neki ke\u0161, kako bismo ubrzali izra\u010dunavanja.<\/p>\n<h3>Kodiranje stringova u re\u010dnicima <\/h3>\n<p>\nTako smo do\u0161li do stvaranja novog tipa podataka u ClickHouse \u2014 LowCardinality. To je format \u010duvanja podataka: kako se pi\u0161u na disk i kako se \u010ditaju, kako su predstavljeni u memoriji i \u0161ema njihove obrade. <\/p>\n<p><img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/e25b2eb12ff158b89b7d2dbdfb8e2e5a.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nNa slajdu postoje dvije kolone. S desne strane, redovi su sa\u010duvani standardno, kao tip String. O\u010digledno je da su to neki modeli mobilnih telefona. S lijeve strane postoji identi\u010dna kolona, samo kao LowCardinality. Sastoji se od re\u010dnika s brojnim razli\u010ditim redovima (redovi iz kolone s desne strane) i liste pozicija (brojeva redova). <\/p>\n<p>Uz pomo\u0107 ovih dviju struktura mo\u017eemo obnoviti izvorni stubac. Tako\u0111e postoji obratni indeks\u2014hash tabela koja poma\u017ee da se po redu na\u0111e pozicija u re\u010dniku. Potrebna je za ubrzanje odre\u0111enih upita. Na primjer, ako \u017eelimo da uporedimo, pretra\u017eimo red u na\u0161em stubcu ili ih spojimo. <\/p>\n<p>LowCardinality je parametrijski tip podataka. Mo\u017ee biti ili broj, ili ne\u0161to \u0161to se \u010duva kao broj, ili string, ili Nullable od njih. <\/p>\n<p><img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/d52ef0c99617238442d4f71e43af48af.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nOsobina LowCardinality je ta \u0161to se mo\u017ee sa\u010duvati za neke funkcije. Na slajdu je prikazan primer upita. U prvom redu sam kreirao kolonu tipa LowCardinality od String, nazvao je S. Zatim sam pitao njeno ime\u2014ClickHouse je rekao da je to LowCardinality od String. Sve je ta\u010dno.<\/p>\n<p>Tre\u0107i red je gotovo isti, samo smo pozvali funkciju length. U ClickHouse funkcija length vra\u0107a tip podataka UInt64. Me\u0111utim, kod nas je postao LowCardinality od UInt64. U \u010demu je poenta?<\/p>\n<p><img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/a4a51a0f1ecd68f7fffd521ab786c8a5.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nU re\u010dniku su se \u010duvala imena mobilnih telefona, primenili smo funkciju length. Sada imamo sli\u010dan re\u010dnik, koji se sastoji samo od brojeva\u2014to su du\u017eine redova. Stubac s pozicijama se nije promenio. U kona\u010dnici smo obradili manje podataka, u\u0161tedeli na vremenu upita. <\/p>\n<p>Mogu postojati i druge optimizacije, na primjer dodatak jednostavnog ke\u0161a. Prilikom izra\u010dunavanja vrednosti funkcije, mo\u017eemo je zapamtiti i sastaviti istu, ne izra\u010dunavati ponovo. <\/p>\n<p>Tako\u0111e mo\u017ee do\u0107i do optimizacije GROUP BY, jer je na\u0161 stubac s re\u010dnikom ve\u0107 delimi\u010dno agregiran\u2014br\u017ee se mogu izra\u010dunati vrednosti hash funkcija i pribli\u017eno prona\u0107i bucket u koji \u0107e se smestiti naredni red. Tako\u0111e se mogu specijalizovati neke agregatne funkcije, kao \u0161to je uniq, jer u nju mo\u017eemo poslati samo re\u010dnik, dok pozicije ostavimo netaknute\u2014tako \u0107e sve raditi br\u017ee. Prve dvije optimizacije smo ve\u0107 dodali u ClickHouse.<\/p>\n<p><img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/943e0a8ae5a37cd47164246db3a67893.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n\u0160ta ako stvorimo kolonu s na\u0161im tipom podataka i umetnemo u nju mnogo razli\u010ditih lo\u0161ih redova? Ho\u0107e li nam se memorija prepuniti? Ne, za to ClickHouse ima dva posebna pode\u0161avanja. Prvo je low_cardinality_max_dictionary_size. To je maksimalna veli\u010dina re\u010dnika koja mo\u017ee biti zapisano na disk. Umetanje se odvija ovako: kada umetnemo podatke, dolazi nam tok redova, od kojih formiramo veliki zajedni\u010dki re\u010dnik. Ako re\u010dnik postane ve\u0107i od vrednosti pode\u0161avanja, zapisujemo trenutni re\u010dnik na disk, a ostale redove - negde \u201esa strane\u201c, pored indeksa. Na kraju, nikada ne\u0107emo prebrojati veliki re\u010dnik i ne\u0107emo imati problema s memorijom. <\/p>\n<p>Drugo pode\u0161avanje se zove low_cardinality_use_single_dictionary_for_part. Zamislite da smo u pro\u0161loj shemi, kada smo umetnuli podatke, na\u0161 re\u010dnik prepunio, i zapisali smo ga na disk. Postavlja se pitanje, za\u0161to onda ne bismo formirali jo\u0161 jedan potpuno isti re\u010dnik? <\/p>\n<p>Kada se on preplavi, ponovo \u0107emo ga zapisati na disk i po\u010deti formirati tre\u0107i. Ovo pode\u0161avanje zapravo isklju\u010duje tu mogu\u0107nost prema zadanim postavkama. <\/p>\n<p>U stvari, mnogo re\u010dnika mo\u017ee biti korisno ako \u017eelimo umetnuti neki skup redova, ali slu\u010dajno smo umetnuli 'otpatke'. Recimo, prvo smo umetnuli lo\u0161e redove, a zatim dobre. Tada \u0107e se re\u010dnik podeliti na mnogo malih re\u010dnika. Deo njih \u0107e biti s 'otpatcima', ali poslednji \u0107e biti s dobrim redovima. I ako pro\u010ditamo, recimo, samo poslednju granulu, sve \u0107e i dalje brzo raditi. <\/p>\n<p><img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/834ba3295ace98870334aa10a78e4781.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nPre nego \u0161to pri\u010damo o prednostima LowCardinality, odmah \u0107u re\u0107i da verovatno ne\u0107emo posti\u0107i smanjenje podataka na disku (iako se to mo\u017ee desiti), jer ClickHouse kompresuje podatke. Postoji podrazumevani na\u010din - LZ4. Tako\u0111e se mo\u017ee napraviti kompresija pomo\u0107u ZSTD. Ali oba algoritma ve\u0107 implementiraju re\u010dni\u010dku kompresiju, tako da na\u0161 spoljni re\u010dnik ClickHouse nije od velike pomo\u0107i. <\/p>\n<p>Da ne bih bio neosnovan, uzeo sam neke podatke iz metrike \u2014 String, LowCardinality(String) i Enum \u2014 i sa\u010duvao ih u razli\u010ditim tipovima podataka. Dobio sam tri kolone, gde je zabele\u017eeno jedan milijard redova. U prvoj koloni, CodePage, ima ukupno 62 vrednosti. I jasno je da je u LowCardinality(String) pritisak bolji. String je malo gori, ali to je verovatno zbog kratkih stringova, \u010duvamo njihove du\u017eine, a one zauzimaju mnogo prostora, slabo se kompresuju. <\/p>\n<p>Ako uzmemo PhoneModel, ima ih 48 hiljada \u2014 to je ve\u0107 vi\u0161e, a razlike izme\u0111u String i LowCardinality(String) gotovo da ni nema. Za URL tako\u0111e smo u\u0161tedeli samo 2 GB \u2014 mislim da na to ne treba oslanjati. <\/p>\n<h3>Procena brzine rada<\/h3>\n<p>\n<img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/0b646570639f8f2e29b599473b84e25c.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<b><noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/toddwschneider\/nyc-taxi-data\">Link sa slajda<\/a><\/noindex><\/b><\/p>\n<p>Sada \u0107emo proceniti brzinu rada. Da bismo je procenili, koristio sam skup podataka sa opisom vo\u017enji taksijem u Njujorku. On <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/toddwschneider\/nyc-taxi-data\">je dostupan<\/a><\/noindex> je na GitHub-u. U njemu je ne\u0161to vi\u0161e od milijard vo\u017enji. Tamo su prikaza lokacija, vreme po\u010detka i zavr\u0161etka vo\u017enje, na\u010din pla\u0107anja, broj putnika i \u010dak vrsta taksija \u2014 zeleni, \u017euti i Uber. <\/p>\n<p><img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/0901669dec01b0f956d6976e3aa8b741.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nPrvi zahtev sam postavio prili\u010dno jednostavno \u2014 pitao sam gde se naj\u010de\u0161\u0107e naru\u010duje taksi. Za to treba uzeti lokaciju, odakle se naru\u010divalo, grupisati po njoj i prebrojati funkciju count. ClickHouse daje ne\u0161to na to. <\/p>\n<p><img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/50983341e20bcbc1b5adbaed35f8624d.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDa bismo izmerili brzinu obrade zahteva, napravio sam tri tabele sa istim podacima, ali sam koristio tri razli\u010dita tipa podataka za na\u0161u po\u010detnu lokaciju \u2014 String, LowCardinality i Enum. LowCardinality i Enum su se pokazali pet puta br\u017eim od String. Enum je br\u017ei jer radi sa brojevima. LowCardinality \u2014 zato \u0161to je implementirana optimizacija GROUP BY. <\/p>\n<p><img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/e2ce4f2127d8728287488c85c92085fc.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nPogledajmo da dodatno zakomplikujemo zahtev \u2014 pitamo gde se nalazi najpopularniji park u Njujorku. Ponovo \u0107emo to meriti prema tome gde se naj\u010de\u0161\u0107e naru\u010duje taksi, ali \u0107emo filtrirati samo one lokacije koje sadr\u017ee re\u010d \u201epark\u201c. Tako\u0111e, dodajemo funkciju like. <\/p>\n<p><img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/7cf6fd64751f3ae578581caddde17aaf.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nGledamo vreme \u2014 vidimo da je Enum odjednom po\u010deo usporavati. \u0160tavi\u0161e, radi jo\u0161 sporije od standardnog tipa podataka String. To se de\u0161ava jer funkcija like nije uop\u0161te optimizovana za Enum. Moramo pretvoriti na\u0161e stringove iz Enum-a u obi\u010dne stringove \u2014 radimo vi\u0161e posla. LowCardinality(String) tako\u0111e nije optimizovan po default-u, ali tamo like radi nad re\u010dnikom, pa se zahtev ubrzava u pore\u0111enju sa String. <\/p>\n<p>Kada radimo s Enum-om, postoji jedan ve\u0107i problem. Ako \u017eelimo da ga optimizujemo, to moramo u\u010diniti na svakom mestu u kodu. Recimo da smo napisali novu funkciju \u2014 obavezno moramo smisliti optimizaciju za Enum. A kod LowCardinality je sve optimizovano po defaultu.<\/p>\n<p><img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/459243eb5b3dd993393d0184b224ea09.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nPogledajmo poslednji upit, koji je vi\u0161e ve\u0161ta\u010dki. Jednostavno \u0107emo izra\u010dunati hash funkciju na\u0161e lokacije. Hash funkcija \u2014 prili\u010dno je spor upit, napreduje sporo, tako da \u0107e sve biti sporije otprilike tri puta.<\/p>\n<p><img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/a5f49c22748971646ec358eb52d3feda.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nLowCardinality i dalje radi br\u017ee, iako ovde nema filtriranja. To se de\u0161ava zato \u0161to na\u0161e funkcije rade samo nad re\u010dnikom. Funkcija za izra\u010dunavanje hasha ima jedan argument \u2014 mo\u017ee obraditi manje podataka i tako\u0111e mo\u017ee vratiti LowCardinality. <\/p>\n<p><img decoding=\"async\" alt=\"Optimizacija stringova u ClickHouse. Prezentacija Yandexa\" src=\"\/wp-content\/uploads\/2020\/03\/7842b7eb2debb4a4b1d4cbc3488deb32.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nNa\u0161 globalni plan je posti\u0107i brzinu rada koja nije ni\u017ea od String u svim slu\u010dajevima, i zadr\u017eati ubrzanja. I, mo\u017eda, nekad \u0107emo zameniti String sa LowCardinality, vi a\u017eurirate ClickHouse, i sve \u0107e raditi malo br\u017ee.<br \/>\n<br \/>Izvor: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/yandex\/blog\/492868\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0410\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0421\u0423\u0411\u0414 ClickHouse \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0442\u0440\u043e\u043a, \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u044f \u0440\u0435\u0441\u0443\u0440\u0441\u044b. \u0414\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u043e\u0432\u044b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a ClickHouse \u041d\u0438\u043a\u043e\u043b\u0430\u0439 \u041a\u043e\u0447\u0435\u0442\u043e\u0432 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043e \u0441\u0442\u0440\u043e\u043a\u043e\u0432\u043e\u043c \u0442\u0438\u043f\u0435 \u0434\u0430\u043d\u043d\u044b\u0445, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u043e \u043d\u043e\u0432\u043e\u043c \u0442\u0438\u043f\u0435, LowCardinality, \u0438 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442, \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0441\u043e \u0441\u0442\u0440\u043e\u043a\u0430\u043c\u0438. \u2014 \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c\u0441\u044f, \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0441\u0442\u0440\u043e\u043a\u0438. \u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0441\u0442\u0440\u043e\u043a\u043e\u0432\u044b\u0435 \u0442\u0438\u043f\u044b \u0434\u0430\u043d\u043d\u044b\u0445. [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":74738,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-74737","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.5.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0410\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0421\u0423\u0411\u0414 ClickHouse \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0442\u0440\u043e\u043a, \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u044f \u0440\u0435\u0441\u0443\u0440\u0441\u044b. \u0414\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u043e\u0432\u044b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/optimizacziya-strok-v-clickhouse-doklad-yandeksa\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.5.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"bs_BA\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u0442\u0440\u043e\u043a \u0432 ClickHouse. \u0414\u043e\u043a\u043b\u0430\u0434 \u042f\u043d\u0434\u0435\u043a\u0441\u0430 | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0410\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0421\u0423\u0411\u0414 ClickHouse \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0442\u0440\u043e\u043a, \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u044f \u0440\u0435\u0441\u0443\u0440\u0441\u044b. \u0414\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u043e\u0432\u044b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/optimizacziya-strok-v-clickhouse-doklad-yandeksa\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-03-20T05:43:14+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-03-20T05:43:14+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Optimizacija redova u ClickHouse. Predavanje Yandexa | ProHoster","description":"Analiti\u010dka SDB ClickHouse obra\u0111uje mno\u0161tvo razli\u010ditih redova, tro\u0161e\u0107i resurse. Za pobolj\u0161anje rada sistema konstantno se dodaju nove optimizacije.","canonical_url":"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/optimizacziya-strok-v-clickhouse-doklad-yandeksa","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"bs_BA","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u0442\u0440\u043e\u043a \u0432 ClickHouse. \u0414\u043e\u043a\u043b\u0430\u0434 \u042f\u043d\u0434\u0435\u043a\u0441\u0430 | ProHoster","og:description":"\u0410\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0421\u0423\u0411\u0414 ClickHouse \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0442\u0440\u043e\u043a, \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u044f\u044f \u0440\u0435\u0441\u0443\u0440\u0441\u044b. \u0414\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u043e\u0432\u044b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438.","og:url":"https:\/\/prohoster.info\/bs\/blog\/administrirovanie\/optimizacziya-strok-v-clickhouse-doklad-yandeksa","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-03-20T05:43:14+00:00","article:modified_time":"2020-03-20T05:43:14+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"74737","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 17:23:10","updated":"2022-09-27 14:48:44","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/posts\/74737","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/comments?post=74737"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/posts\/74737\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/media\/74738"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/media?parent=74737"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/categories?post=74737"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/bs\/wp-json\/wp\/v2\/tags?post=74737"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}