Optimizacija nizova u ClickHouse. Izlaganje Yandexa

Analitička SUDB ClickHouse obrađuje mnoštvo različitih stringova, trošeći resurse. Kako bi se ubrzao rad sustava, stalno se dodaju nove optimizacije. Razvijač ClickHousea Nikolaj Kočetov govori o tipu podataka string, uključujući novi tip, LowCardinality, i objašnjava kako se može ubrzati rad sa stringovima.

Pogledajte video

— Prvo, hajde da razjasnimo kako možemo pohraniti stringove.

Optimizacija nizova u ClickHouse. Izlaganje Yandexa

Imamo tipove podataka string. String je dobar po defaultu, treba ga koristiti skoro uvijek. Ima mali Overhead — 9 bajtova po jednom stringu. Ako želimo da veličina stringova bude fiksna i unaprijed poznata, bolje je koristiti FixedString. U njemu možemo postaviti željeni broj bajtova, što je korisno za podatke poput IP adresa ili hash funkcija.

Optimizacija nizova u ClickHouse. Izlaganje Yandexa

Naravno, ponekad nešto usporava. Recimo, pravite upit na tablici. ClickHouse čita prilično veliku količinu podataka, recimo, brzinom od 100 GB/s, a pritom se obrađuje malo stringova. Imamo dvije tablice koje sadrže gotovo jednake podatke. Iz druge tablice ClickHouse čita podatke većom brzinom, ali stringova po sekundi čita tri puta manje.

Optimizacija nizova u ClickHouse. Izlaganje Yandexa

Ako pogledamo veličinu komprimiranih podataka, ona će se pokazati gotovo jednakom. U stvarnosti su u tablicama zapisani isti podaci — prvi milijard brojeva — samo što su u prvom stupcu zapisani kao UInt64, a u drugom kao String. Zbog toga drugi upit duže čita podatke s diska i dekomprimira ih.

Optimizacija nizova u ClickHouse. Izlaganje Yandexa

Evo još jednog primjera. Pretpostavimo da postoji unaprijed poznati skup stringova koji je ograničen konstantom 1000 ili 10 000 i praktički se nikada ne mijenja. Za ovaj slučaj nam odgovara tip podataka Enum, u ClickHouseu ih ima dva — Enum8 i Enum16. Zbog pohrane u Enum brzo obrađujemo upite.

U ClickHouseu postoje ubrzanja za GROUP BY, IN, DISTINCT i optimizacije za neke funkcije, na primjer za usporedbu s konstantnim stringom. Naravno, brojevi u stringu se ne pretvaraju, nego se konstantni string pretvara u vrijednost Enum. Nakon toga se sve brzo uspoređuje.

Ali postoje i nedostaci. Čak i ako znamo točan skup stringova, ponekad ga treba dopuniti. Kada stigne novi string — moramo napraviti ALTER.

Optimizacija nizova u ClickHouse. Izlaganje Yandexa

ALTER za Enum u ClickHouse je maksimalno optimiziran. Ne prepisujemo podatke na disku, ali ALTER može usporavati zbog činjenice da se strukture Enum pohranjuju u shemu same tablice. Stoga moramo čekati na zahtjeve za čitanje iz tablice, na primjer.

Postavlja se pitanje, možemo li to učiniti bolje? Vjerojatno možemo. Moguće je pohraniti strukturu Enum ne u shemu tablice, već u ZooKeeper. Međutim, mogu se pojaviti problemi s usklađivanjem. Na primjer, jedna replika je primila podatke, druga nije, i ako ima staru verziju Enum, nešto će se pokvariti. (U ClickHouse gotovo smo završili s neblokirajućim ALTER zahtjevima. Kada ih završimo, neće biti potrebno čekati na zahtjeve za čitanje.)

Optimizacija nizova u ClickHouse. Izlaganje Yandexa

Da bismo izbjegli muke s ALTER Enum, možemo koristiti vanjske rječnike ClickHouse. Podsjećam vas da je to struktura podataka ključ-vrijednost unutar ClickHouse, koja omogućuje dohvaćanje podataka iz vanjskih izvora, na primjer iz MySQL tablica.

U rječniku ClickHouse čuvamo mnogo različitih nizova, a u tablici — njihove identifikatore u obliku brojeva. Ako trebamo dobiti niz, pozivamo funkciju dictGet i radimo s njom. Nakon toga ne moramo raditi ALTER. Da bismo nešto dodali u Enum, umetnemo to u istu MySQL tablicu.

No tu se javljaju drugi problemi. Prvo, neugodna sintaksa. Ako želimo dobiti niz, moramo pozvati dictGet. Drugo, nedostatak nekih optimizacija. Usporedba s konstantnim nizom za rječnike ne ide tako brzo.

Mogući su i problemi s ažuriranjem. Pretpostavimo da smo zatražili niz u predmemoriranom rječniku, a nije stigao u predmemoriju. Tada moramo čekati da se podaci učitaju iz vanjskog izvora.

Optimizacija nizova u ClickHouse. Izlaganje Yandexa

Zajednički nedostatak oba metoda je to što pohranjujemo sve ključeve na jednom mjestu i sinhroniziramo ih. Pa zašto ne bismo pohranili rječnike lokalno? Nema sinhronizacije — nema problema. Može se pohraniti rječnik lokalno u dijelu diska. Drugim riječima, izvršili smo umetanje, zapisali rječnik. Ako radimo s podacima u memoriji, možemo zapisati rječnik ili u blok podataka, ili u komad stupca, ili u neki predmemoriju, kako bismo ubrzali izračune.

Rječničko kodiranje nizova

Tako smo došli do stvaranja novog tipa podataka u ClickHouse — LowCardinality. To je format pohrane podataka: kako se oni zapisuju na disk i kako se čitaju, kako su predstavljeni u memoriji i shema njihove obrade.

Optimizacija nizova u ClickHouse. Izlaganje Yandexa

Na slajdu se nalaze dva stupca. S desne strane, redovi se pohranjuju standardno, kao tip String. Očigledno je da se radi o modelima mobilnih telefona. S lijeve strane nalazi se točno isti stupac, samo u tipu LowCardinality. Sastoji se od rječnika s mnoštvom različitih stringova (stringovi iz desnog stupca) i popisa pozicija (brojeva redova).

Pomoću ove dvije strukture može se obnoviti izvorni stupac. Također postoji obrnuti indeks — hash-tablica koja pomaže pronaći poziciju u rječniku prema stringu. Ona je potrebna za ubrzanje nekih upita. Na primjer, ako želimo usporediti, potražiti string u našem stupcu ili ih spojiti.

LowCardinality je parametarski tip podataka. Može biti ili broj, ili nešto što se pohranjuje kao broj, ili string, ili Nullable od njih.

Optimizacija nizova u ClickHouse. Izlaganje Yandexa

Osobitost LowCardinality je da se može sačuvati za neke funkcije. Na slajdu se vidi primjer upita. U prvom redu sam stvorio stupac tipa LowCardinality od String, nazvao ga S. Zatim sam ga upitao za ime — ClickHouse je rekao da je to LowCardinality od String. Sve točno.

Treći red je gotovo isti, samo smo pozvali funkciju length. U ClickHouseu funkcija length vraća tip podataka UInt64. Ali sada imamo LowCardinality od UInt64. Koja je svrha?

Optimizacija nizova u ClickHouse. Izlaganje Yandexa

U rječniku su se nalazila imena mobilnih telefona, primijenili smo funkciju length. Sada imamo sličan rječnik, sastavljen samo od brojeva — to su dužine stringova. Stupac s pozicijama nije se promijenio. Na kraju smo obradili manje podataka, uštedjeli na vremenu upita.

Mogu biti i druge optimizacije, na primjer dodavanje jednostavnog keša. Pri izračunavanju vrijednosti funkcije možemo je zapamtiti i sastaviti je ponovo, ne izračunavajući je ponovno.

Također može biti napravljena optimizacija GROUP BY, jer je naš stupac s rječnikom već djelomično agregiran — možete brže izračunati vrijednosti hash-funkcija i otprilike pronaći bucket u koji smjestiti sljedeći red. Također se mogu specializirati neke agregatne funkcije, na primjer uniq, jer se u nju može poslati samo rječnik, dok pozicije ostaju netaknute — tako će sve raditi brže. Prve dvije optimizacije smo već dodali u ClickHouse.

Optimizacija nizova u ClickHouse. Izlaganje Yandexa

Što ako stvorimo kolonu s našim vrstama podataka i umetnemo u nju mnogo loših različitih redaka? Hoće li nam se memorija prepuniti? Ne, za to ClickHouse ima dva posebna podešavanja. Prvo je low_cardinality_max_dictionary_size. To je maksimalna veličina rječnika koja se može zapisati na disk. Umetanje se odvija na sljedeći način: kada umetnemo podatke, dolazi nam tok redaka, od kojih oblikujemo veliki zajednički rječnik. Ako rječnik postane veći od vrijednosti ovog podešavanja, zapisujemo trenutni rječnik na disk, a ostale retke pohranjujemo negdje

drugo

Kada se prepuniti, ponovno ćemo ga zapisati na disk i početi stvarati treći. Ovo podešavanje isključuje tu mogućnost prema zadanim postavkama.

U stvari, mnogo rječnika može biti korisno ako želimo umetnuti neku skupinu redaka, ali slučajno umetnemo "smeće". Recimo, prvo smo umetnuli loše redove, a zatim dobre. Tada će se rječnik podijeliti na mnogo malih rječnika. Neki od njih će sadržavati "smeće", ali posljednji će biti s dobrim redovima. I ako budemo čitali, recimo, samo posljednju granulaciju, sve će opet raditi brzo.

Optimizacija nizova u ClickHouse. Izlaganje Yandexa

Prije nego što govorimo o prednostima LowCardinality, odmah ću reći da vjerojatno nećemo postići smanjenje podataka na disku (iako se to može dogoditi), jer ClickHouse komprimira podatke. Postoji zadani način - LZ4. Također se može provesti kompresija pomoću ZSTD. No, oba algoritma već implementiraju rječnu kompresiju, pa naš vanjski rječnik ClickHouse neće pomoći previše.

Da ne budem neosnovan, uzeo sam neke podatke iz metrike — String, LowCardinality(String) i Enum — i sačuvao ih u različitim tipovima podataka. Dobio sam tri kolone, u kojima je zapisano milijardu redaka. U prvoj koloni, CodePage, ukupno 62 vrijednosti. Vidimo da nam je kod LowCardinality(String) bolja kompresija. String je nešto lošiji, ali to je vjerojatno zbog toga što su nizovi kratki, čuvamo njihove duljine, a one zauzimaju puno mjesta i slabo se komprimiraju.

Ako uzmemo PhoneModel, ima ih 48 tisuća — već više, i razlike između String i LowCardinality(String) gotovo da nema. Za URL smo također uštedjeli samo 2 GB — mislim da na to ne vrijedi računati.

Procjena brzine rada

Optimizacija nizova u ClickHouse. Izlaganje Yandexa
Veza sa slajda

Sada ćemo procijeniti brzinu rada. Da bih to procijenio, koristio sam skup podataka s opisom vožnji taksijem u New Yorku. On dostupan se nalazi na GitHubu. U njemu se nalazi nešto više od milijarde vožnji. Osim toga, tu su prikazane lokacija, vrijeme početka i završetka vožnje, način plaćanja, broj putnika i čak tip taksija — zeleni, žuti i Uber.

Optimizacija nizova u ClickHouse. Izlaganje Yandexa

Prvi upit sam napravio prilično jednostavno — pitao sam gdje se najčešće naručuju taksiji. Za to treba uzeti lokaciju s koje je naručeno, napraviti GROUP BY i prebrojati funkciju count. ClickHouse nešto daje.

Optimizacija nizova u ClickHouse. Izlaganje Yandexa

Da bih izmjerio brzinu obrade upita, stvorio sam tri tablice s istim podacima, ali sam za našu početnu lokaciju koristio tri različita tipa podataka — String, LowCardinality i Enum. LowCardinality i Enum su se pokazali pet puta bržima od Stringa. Enum je brži jer radi s brojevima, a LowCardinality zbog optimizacije GROUP BY.

Optimizacija nizova u ClickHouse. Izlaganje Yandexa

Pojdimo u složeniji upit — pitamo se gdje se nalazi najpopularniji park u New Yorku. Opet ćemo to mjeriti prema tome gdje se najčešće naručuju taksiji, ali ćemo filtrirati samo one lokacije koje sadrže riječ 'park'. Također ćemo dodati funkciju like.

Optimizacija nizova u ClickHouse. Izlaganje Yandexa

Gledamo vrijeme — vidimo da Enum iznenada počinje usporavati. Čak radi sporije od standardnog tipa podataka String. To se događa zato što funkcija like nije optimizirana za Enum. Moramo pretvoriti naše nizove iz Enum u obične nizove — radimo više posla. LowCardinality(String) također nije optimiziran prema zadanim postavkama, ali tu like radi nad rječnikom, zbog čega se upit ubrzava u odnosu na String.

Kada radimo s Enum-om, postoji veći problem. Ako ga želimo optimizirati, to moramo učiniti svugdje u kodu. Pretpostavimo da smo napisali novu funkciju — nužno je smisliti optimizaciju za Enum. Dok je u LowCardinality sve optimizirano prema zadanim postavkama.

Optimizacija nizova u ClickHouse. Izlaganje Yandexa

Pogledajmo posljednji upit, koji je više umjetan. Jednostavno ćemo izračunati hash funkciju za našu lokaciju. Hash funkcija je prilično spor upit, izračunava se dugo, pa će sve usporiti tri puta.

Optimizacija nizova u ClickHouse. Izlaganje Yandexa

LowCardinality još uvijek radi brže, iako ovdje nema filtriranja. To se događa zato što naše funkcije rade samo s rječnikom. Funkcija za izračun hash-a ima jedan argument — može obraditi manje podataka i također može vratiti LowCardinality.

Optimizacija nizova u ClickHouse. Izlaganje Yandexa

Naš globalni cilj je postići brzinu rada ne manju od one kod String-a u svim slučajevima, i zadržati ubranja. Možda ćemo jednog dana zamijeniti String s LowCardinality, ažurirat ćete ClickHouse i sve će raditi malo brže.

Izvor: habr.com

Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere 🔥 Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere | ProHoster