{"id":54918,"date":"2020-01-07T00:00:00","date_gmt":"2020-01-06T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/ispolzovanie-clickhouse-v-kachestve-zameny-elk-big-query-i-timescaledb"},"modified":"2020-02-18T14:02:58","modified_gmt":"2020-02-18T11:02:58","slug":"ispolzovanie-clickhouse-v-kachestve-zameny-elk-big-query-i-timescaledb","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/ispolzovanie-clickhouse-v-kachestve-zameny-elk-big-query-i-timescaledb","title":{"rendered":"A Clickhouse haszn\u00e1lata az ELK, Big Query \u00e9s TimescaleDB helyett","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><noindex><a rel=\"nofollow\" href=\"https:\/\/clickhouse.yandex\/\">Clickhouse<\/a><\/noindex> \u2014 egy oszlopos adatb\u00e1zis-kezel\u0151 rendszer online analitikai k\u00e9rd\u00e9sek feldolgoz\u00e1s\u00e1ra (OLAP), ny\u00edlt forr\u00e1sk\u00f3d\u00fa, amelyet a Yandex fejlesztett ki. A Yandex, CloudFlare, VK.com, Badoo \u00e9s m\u00e1s szolg\u00e1ltat\u00e1sok vil\u00e1gszerte haszn\u00e1lj\u00e1k, hogy val\u00f3ban nagy adatmennyis\u00e9geket t\u00e1roljanak (ezrek beilleszt\u00e9se m\u00e1sodpercenk\u00e9nt vagy petab\u00e1jt adatok t\u00e1rol\u00e1sa a lemezen).<\/p>\n<p>A hagyom\u00e1nyos, \"soros\" adatb\u00e1zisok, mint p\u00e9ld\u00e1ul a MySQL, Postgres, MS SQL Server, az adatok a k\u00f6vetkez\u0151 sorrendben vannak t\u00e1rolva: <\/p>\n<p><img decoding=\"async\" alt=\"A Clickhouse haszn\u00e1lata az ELK, Big Query \u00e9s TimescaleDB helyett\" src=\"\/wp-content\/uploads\/2020\/01\/398f260de0152baf3cc11d884fa0d52d.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nEzenk\u00edv\u00fcl az egy sorhoz tartoz\u00f3 \u00e9rt\u00e9kek fizikailag k\u00f6zel vannak t\u00e1rolva. Az oszlopos adatb\u00e1zisokban a k\u00fcl\u00f6nb\u00f6z\u0151 oszlopok \u00e9rt\u00e9kei k\u00fcl\u00f6n t\u00e1rol\u00f3dnak, m\u00edg egy oszlop adatai egy\u00fctt:<\/p>\n<p><img decoding=\"async\" alt=\"A Clickhouse haszn\u00e1lata az ELK, Big Query \u00e9s TimescaleDB helyett\" src=\"\/wp-content\/uploads\/2020\/01\/938a2ee3d588ac866ec92bb3ea09c253.png\" style=\"display:block;margin: 0 auto;\" \/><noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p>Az oszlopos adatb\u00e1zisok p\u00e9ld\u00e1i a Vertica, Paraccel (Actian Matrix, Amazon Redshift), Sybase IQ, Exasol, Infobright, InfiniDB, MonetDB (VectorWise, Actian Vector), LucidDB, SAP HANA, Google Dremel, Google PowerDrill, Druid, kdb+.<\/p>\n<p>C\u00e9g \u2013 levelez\u0151 forwarder <noindex><a rel=\"nofollow\" href=\"https:\/\/qwintry.com\/\">Qwintry<\/a><\/noindex> 2018-ban kezdte el haszn\u00e1lni a Clickhouse-t jelent\u00e9sek k\u00e9sz\u00edt\u00e9s\u00e9hez, \u00e9s nagyon leny\u0171g\u00f6zte a rendszer egyszer\u0171s\u00e9ge, sk\u00e1l\u00e1zhat\u00f3s\u00e1ga, SQL t\u00e1mogat\u00e1sa \u00e9s sebess\u00e9ge. Ennek az adatb\u00e1zis-kezel\u0151 rendszernek a sebess\u00e9ge a var\u00e1zslat hat\u00e1r\u00e1n \u00e1llt.<\/p>\n<h3>Egyszer\u0171s\u00e9g<\/h3>\n<p>\nA Clickhouse telep\u00edt\u00e9se Ubuntura egyetlen parancs seg\u00edts\u00e9g\u00e9vel t\u00f6rt\u00e9nik. Ha ismeri az SQL-t, azonnal elkezdheti haszn\u00e1lni a Clickhouse-t saj\u00e1t ig\u00e9nyei szerint. Ez azonban nem jelenti azt, hogy egyszer\u0171en v\u00e9grehajthatja a \"show create table\" parancsot a MySQL-ben, majd m\u00e1solhatja \u00e9s beillesztheti az SQL-t a Clickhouse-ba. <\/p>\n<p>A MySQL-hez k\u00e9pest ebben az adatb\u00e1zis-kezel\u0151 rendszerben fontos k\u00fcl\u00f6nbs\u00e9gek vannak az adatt\u00edpusokban a t\u00e1bl\u00e1k s\u00e9madefin\u00edci\u00f3iban, ez\u00e9rt a k\u00e9nyelmes munka \u00e9rdek\u00e9ben m\u00e9gis sz\u00fcks\u00e9ge lesz egy kis id\u0151re a t\u00e1blas\u00e9m\u00e1k m\u00f3dos\u00edt\u00e1s\u00e1hoz \u00e9s a t\u00e1blamozgat\u00f3k tanulm\u00e1nyoz\u00e1s\u00e1hoz.<\/p>\n<p>A Clickhouse kiv\u00e1l\u00f3an m\u0171k\u00f6dik b\u00e1rmilyen kieg\u00e9sz\u00edt\u0151 szoftver n\u00e9lk\u00fcl, de ha replik\u00e1ci\u00f3t szeretne haszn\u00e1lni, telep\u00edtenie kell a ZooKeeper-t. A lek\u00e9rdez\u00e9sek teljes\u00edtm\u00e9ny\u00e9nek elemz\u00e9se kiv\u00e1l\u00f3 eredm\u00e9nyeket mutat \u2014 a rendszer t\u00e1bl\u00e1k minden inform\u00e1ci\u00f3t tartalmaznak, \u00e9s minden adat el\u00e9rhet\u0151 a r\u00e9gi \u00e9s unalmas SQL seg\u00edts\u00e9g\u00e9vel.<\/p>\n<h3>Teljes\u00edtm\u00e9ny<\/h3>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/clickhouse.yandex\/benchmark.html#%5B%2522100000000%2522,%5B%2522ClickHouse%2522,%2522Vertica%2522,%2522MySQL%2522%5D,%5B%25220%2522,%25221%2522%5D%5D\">Benchmark<\/a><\/noindex> a Clickhouse \u00e9s a Vertica, valamint a MySQL \u00f6sszehasonl\u00edt\u00e1sa egy konfigur\u00e1ci\u00f3s szerveren: k\u00e9t Intel\u00ae Xeon\u00ae CPU E5-2650 v2 @ 2.60GHz; 128 GiB RAM; md RAID-5 8 6TB SATA HDD-n, ext4 f\u00e1jlrendszeren.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.altinity.com\/blog\/2017\/6\/20\/clickhouse-vs-redshift\">Benchmark<\/a><\/noindex> a Clickhouse \u00f6sszehasonl\u00edt\u00e1sa az Amazon Redshift felh\u0151alap\u00fa adatb\u00e1zis\u00e1val.<\/li>\n<li>Az Clickhouse teljes\u00edtm\u00e9ny\u00e9r\u0151l sz\u00f3l\u00f3 blogb\u00f3l sz\u00e1rmaz\u00f3 kivonatok <noindex><a rel=\"nofollow\" href=\"https:\/\/blog.cloudflare.com\/how-cloudflare-analyzes-1m-dns-queries-per-second\/\">Sclodflare a Clickhouse teljes\u00edtm\u00e9ny\u00e9r\u0151l<\/a><\/noindex>:<\/li>\n<\/ul>\n<p>\n<img decoding=\"async\" alt=\"A Clickhouse haszn\u00e1lata az ELK, Big Query \u00e9s TimescaleDB helyett\" src=\"\/wp-content\/uploads\/2020\/01\/b6ef9fbad8e8c864a227bcffd97ec0fe.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nA ClickHouse adatb\u00e1zis nagyon egyszer\u0171 diz\u00e1jnnal rendelkezik \u2013 a klaszter \u00f6sszes csom\u00f3pontja azonos funkci\u00f3val b\u00edr, \u00e9s a koordin\u00e1ci\u00f3hoz csak a ZooKeeper-t haszn\u00e1lj\u00e1k. L\u00e9trehoztunk egy kicsi klasztert n\u00e9h\u00e1ny csom\u00f3pontb\u00f3l, \u00e9s tesztel\u00e9st v\u00e9gezt\u00fcnk, amely sor\u00e1n meg\u00e1llap\u00edtottuk, hogy a rendszer meglehet\u0151sen figyelemre m\u00e9lt\u00f3 teljes\u00edtm\u00e9nnyel b\u00edr, amely megfelel az analitikai DBMS-ek benchmarkjaiban megadott el\u0151ny\u00f6knek. Elhat\u00e1roztuk, hogy r\u00e9szletesebben megvizsg\u00e1ljuk a ClickHouse m\u00f6g\u00f6tt \u00e1ll\u00f3 koncepci\u00f3t. Az els\u0151 akad\u00e1ly a kutat\u00e1sok sor\u00e1n az eszk\u00f6z\u00f6k hi\u00e1nya \u00e9s a ClickHouse k\u00f6z\u00f6ss\u00e9g csek\u00e9ly l\u00e9tsz\u00e1ma volt, ez\u00e9rt elm\u00e9lyedt\u00fcnk ennek az DBMS-nek a diz\u00e1jnj\u00e1ban, hogy meg\u00e9rts\u00fck, hogyan m\u0171k\u00f6dik.<\/p>\n<p>A ClickHouse nem t\u00e1mogatja az adatok k\u00f6zvetlen fogad\u00e1s\u00e1t a Kafk\u00e1t\u00f3l, mivel ez csak egy adatb\u00e1zis, ez\u00e9rt \u00edrtunk egy saj\u00e1t adapter szolg\u00e1ltat\u00e1st Go nyelven. Ez olvasta a Kafka \u00e1ltal k\u00f3dolt Cap\u2019n Proto \u00fczeneteket, \u00e1tkonvert\u00e1lta azokat TSV-re, \u00e9s csoportosan beillesztette a ClickHouse-ba HTTP interf\u00e9szen kereszt\u00fcl. K\u00e9s\u0151bb ezt a szolg\u00e1ltat\u00e1st \u00e1t\u00edrtuk, hogy a Go k\u00f6nyvt\u00e1rat a ClickHouse saj\u00e1t interf\u00e9sz\u00e9vel egy\u00fctt haszn\u00e1lja a teljes\u00edtm\u00e9ny n\u00f6vel\u00e9se \u00e9rdek\u00e9ben. A csomagok fogad\u00e1s\u00e1nak teljes\u00edtm\u00e9ny\u00e9nek \u00e9rt\u00e9kel\u00e9se sor\u00e1n egy fontos dolgot fedezt\u00fcnk fel \u2013 kider\u00fclt, hogy a ClickHouse teljes\u00edtm\u00e9nye jelent\u0151sen f\u00fcgg a csomag m\u00e9ret\u00e9t\u0151l, vagyis a p\u00e1rhuzamosan beillesztett sorok sz\u00e1m\u00e1t\u00f3l. Hogy meg\u00e9rts\u00fck, mi\u00e9rt t\u00f6rt\u00e9nik ez, megvizsg\u00e1ltuk, hogyan t\u00e1rolja az adatokat a ClickHouse.<\/p>\n<p>A ClickHouse \u00e1ltal az adatok t\u00e1rol\u00e1s\u00e1ra haszn\u00e1lt f\u0151 motor, pontosabban a t\u00e1bl\u00e1k motorjainak csal\u00e1dja a MergeTree. Ez a motor koncepcion\u00e1lisan hasonl\u00f3 az LSM algoritmushoz, amelyet a Google BigTable vagy az Apache Cassandra alkalmaz, de elker\u00fcli a k\u00f6ztes mem\u00f3riat\u00e1bl\u00e1k l\u00e9trehoz\u00e1s\u00e1t, \u00e9s k\u00f6zvetlen\u00fcl a lemezre \u00edrja az adatokat. Ez kiv\u00e1l\u00f3 \u00edr\u00e1si \u00e1tereszt\u0151k\u00e9pess\u00e9get biztos\u00edt, mivel minden beillesztett csomag csak az els\u0151dleges kulcs (primary key) szerint van rendezve, t\u00f6m\u00f6r\u00edtve \u00e9s a lemezre \u00edrva a szegmens kialak\u00edt\u00e1sa \u00e9rdek\u00e9ben. <\/p>\n<p>A mem\u00f3ria vagy b\u00e1rmilyen \"frissess\u00e9gi\" fogalom hi\u00e1nya azt is jelenti, hogy az adatokat csak hozz\u00e1adni lehet, a m\u00f3dos\u00edt\u00e1st vagy t\u00f6rl\u00e9st a rendszer nem t\u00e1mogatja. Jelenleg az egyetlen m\u00f3dja az adatok t\u00f6rl\u00e9s\u00e9nek az, hogy napt\u00e1ri h\u00f3napok szerint elt\u00e1vol\u00edtjuk \u0151ket, mivel a szegmensek soha nem l\u00e9pik \u00e1t a h\u00f3nap hat\u00e1rait. A ClickHouse csapata akt\u00edvan dolgozik azon, hogy ezt a funkci\u00f3t testreszabhat\u00f3v\u00e1 tegye. M\u00e1sr\u00e9szt ez lehet\u0151v\u00e9 teszi a szegmensek konfliktusmentes \u00edr\u00e1s\u00e1t \u00e9s egyes\u00edt\u00e9s\u00e9t, \u00edgy a bej\u00f6v\u0151 s\u00e1vsz\u00e9less\u00e9g line\u00e1risan m\u00e9retezhet\u0151 a p\u00e1rhuzamos besz\u00far\u00e1sok sz\u00e1m\u00e1val, am\u00edg csak nem k\u00f6vetkezik be I\/O vagy magok tel\u00edt\u0151d\u00e9se. <br \/>\nEz a k\u00f6r\u00fclm\u00e9ny azonban azt is jelenti, hogy a rendszer nem alkalmas kism\u00e9ret\u0171 csomagokra, ez\u00e9rt a p\u00e1rn\u00e1z\u00e1shoz Kafka szolg\u00e1ltat\u00e1sokat \u00e9s besz\u00far\u00f3kat haszn\u00e1lnak. Ezen k\u00edv\u00fcl a ClickHouse folyamatosan v\u00e9gzi a szegmensek h\u00e1tt\u00e9rbeli egyes\u00edt\u00e9s\u00e9t, \u00edgy sok kisebb inform\u00e1ci\u00f3s r\u00e9szlet egyes\u00fcl \u00e9s t\u00f6bbsz\u00f6r \u00edr\u00f3dik, ez\u00e1ltal n\u00f6velve a r\u00f6gz\u00edt\u00e9si intenzit\u00e1st. Ugyanakkor, ha t\u00fal sok kapcsol\u00f3datlan r\u00e9sz tal\u00e1lhat\u00f3, az agressz\u00edv besz\u00far\u00e1s-throttlingot okozhat, am\u00edg a folyamat egyes\u00edt\u00e9se zajlik. Meg\u00e1llap\u00edtottuk, hogy a legjobb kompromisszum a val\u00f3s idej\u0171 adatr\u00f6gz\u00edt\u00e9s \u00e9s a bej\u00f6v\u0151 teljes\u00edtm\u00e9ny k\u00f6z\u00f6tt a m\u00e1sodpercenk\u00e9nti korl\u00e1tozott sz\u00e1m\u00fa besz\u00far\u00e1sos t\u00e1bl\u00e1zat fogad\u00e1sa.<\/p>\n<p>A t\u00e1bl\u00e1k olvas\u00e1si teljes\u00edtm\u00e9ny\u00e9nek kulcsa az indexel\u00e9s \u00e9s az adatok lemezre helyez\u00e9se. B\u00e1rmilyen gyors is a feldolgoz\u00e1s, amikor a motornak terab\u00e1jtnyi adatot kell \u00e1tvizsg\u00e1lnia a lemezr\u0151l, \u00e9s csak annak egy r\u00e9sz\u00e9t haszn\u00e1lja, az id\u0151t vesz ig\u00e9nybe. A ClickHouse oszlopos t\u00e1rol\u00f3, ez\u00e9rt minden szegmens tartalmaz egy f\u00e1jlt minden oszlop sz\u00e1m\u00e1ra (oszlopok) rendezett \u00e9rt\u00e9kekkel minden sorhoz. \u00cdgy a lek\u00e9rdez\u00e9sben l\u00e9v\u0151 eg\u00e9sz oszlopok el\u0151sz\u00f6r \u00e1tugorhat\u00f3k, majd n\u00e9h\u00e1ny cella p\u00e1rhuzamosan feldolgozhat\u00f3 a vektoriz\u00e1lt v\u00e9grehajt\u00e1ssal. A teljes \u00e1tvizsg\u00e1l\u00e1s elker\u00fcl\u00e9se \u00e9rdek\u00e9ben minden szegmensnek van egy kis indexf\u00e1jlja. <\/p>\n<p>Figyelembe v\u00e9ve, hogy az \u00f6sszes oszlop a \u201eprimer kulcs\u201d alapj\u00e1n van rendezve, az index f\u00e1jl csak a minden N-edik sor c\u00edmk\u00e9it (befogott sorokat) tartalmazza, hogy m\u00e9g a nagyon nagy t\u00e1bl\u00e1k eset\u00e9ben is k\u00e9pes legyen azokat mem\u00f3ri\u00e1ban t\u00e1rolni. P\u00e9ld\u00e1ul be\u00e1ll\u00edthat\u00f3k az alap\u00e9rtelmezett be\u00e1ll\u00edt\u00e1sok \u201eminden 8192. sort megjel\u00f6lni\u201d, \u00edgy egy \u201eszeg\u00e9nyes\u201d indexel\u00e9se egy 1 billi\u00f3 soros t\u00e1bl\u00e1nak, amely k\u00f6nnyen elf\u00e9r a mem\u00f3ri\u00e1ban, mind\u00f6ssze 122 070 karaktert foglalna el. <\/p>\n<h3>A rendszer fejl\u0151d\u00e9se<\/h3>\n<p>\nA Clickhouse fejl\u0151d\u00e9se \u00e9s t\u00f6k\u00e9letes\u00edt\u00e9se nyomon k\u00f6vethet\u0151 a <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/yandex\/ClickHouse\/pulse\">Github repo<\/a><\/noindex> \u00e9s meggy\u0151z\u0151dhet arr\u00f3l, hogy a \u201efeln\u00f6v\u00e9s\u201d folyamata impon\u00e1l\u00f3 sebess\u00e9ggel halad. <\/p>\n<p><img decoding=\"async\" alt=\"A Clickhouse haszn\u00e1lata az ELK, Big Query \u00e9s TimescaleDB helyett\" src=\"\/wp-content\/uploads\/2020\/01\/19211da28e42178d26dff7623689df71.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h3>N\u00e9pszer\u0171s\u00e9g<\/h3>\n<p>\n\u00dagy t\u0171nik, hogy a Clickhouse n\u00e9pszer\u0171s\u00e9ge exponenci\u00e1lisan n\u0151, k\u00fcl\u00f6n\u00f6sen a orosznyelv\u0171 k\u00f6z\u00f6ss\u00e9gben. A tavalyi High load 2018 konferencia (Moscow, 2018. november 8-9.) megmutatta, hogy olyan \u00f3ri\u00e1sok, mint a vk.com \u00e9s a Badoo, haszn\u00e1lj\u00e1k a Clickhouse-t, mellyel adatokat (p\u00e9ld\u00e1ul napl\u00f3kat) t\u00f6ltenek fel t\u00f6bb ezer szerverr\u0151l egyidej\u0171leg. A 40 perces vide\u00f3ban <noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=pbbcMcrQoXw\">J\u00fari Naszretdinov a Vkontakte csapat\u00e1b\u00f3l arr\u00f3l besz\u00e9l, hogyan t\u00f6rt\u00e9nik ez<\/a><\/noindex>. Hamarosan k\u00f6zz\u00e9tessz\u00fck az anyaggal val\u00f3 k\u00f6nnyebb munk\u00e1lkod\u00e1s \u00e9rdek\u00e9ben a besz\u00e1mol\u00f3t a Habr-n.<\/p>\n<h3>Alkalmaz\u00e1si ter\u00fcletek<\/h3>\n<p>\nMiut\u00e1n elt\u00f6lt\u00f6ttem egy kis id\u0151t a kutat\u00e1sokkal, \u00fagy v\u00e9lem, hogy vannak olyan ter\u00fcletek, ahol a ClickHouse hasznos lehet vagy teljesen helyettes\u00edtheti m\u00e1s, hagyom\u00e1nyosabb \u00e9s n\u00e9pszer\u0171bb megold\u00e1sokat, mint a MySQL, PostgreSQL, ELK, Google Big Query, Amazon RedShift, TimescaleDB, Hadoop, MapReduce, Pinot \u00e9s Druid. Az al\u00e1bbiakban r\u00e9szletezem a ClickHouse haszn\u00e1lat\u00e1t a fent eml\u00edtett DBMS-ek moderniz\u00e1l\u00e1sa vagy teljes helyettes\u00edt\u00e9se \u00e9rdek\u00e9ben. <\/p>\n<h3>A MySQL \u00e9s PostgreSQL lehet\u0151s\u00e9geinek sz\u00e9les\u00edt\u00e9se<\/h3>\n<p>\nNemr\u00e9giben r\u00e9szben helyettes\u00edtett\u00fck a MySQL-t ClickHouse-szal az inform\u00e1ci\u00f3s h\u00edrlevelek platformj\u00e1n <noindex><a rel=\"nofollow\" href=\"https:\/\/www.mautic.org\/\">Mautic h\u00edrlev\u00e9l<\/a><\/noindex>. A probl\u00e9ma az volt, hogy a MySQL a nem \u00e1tgondolt tervez\u00e9s miatt minden elk\u00fcld\u00f6tt levelet \u00e9s az ebben l\u00e9v\u0151 minden linket base64 hash-el r\u00f6gz\u00edtett, ezzel hatalmas MySQL t\u00e1bl\u00e1t hozva l\u00e9tre (email_stats). Miut\u00e1n a szolg\u00e1ltat\u00e1s el\u0151fizet\u0151inek mind\u00f6ssze 10 milli\u00f3 levelet k\u00fcldt\u00fcnk el, ez a t\u00e1bla 150 GB f\u00e1jlter\u00fcletet foglalt el, \u00e9s a MySQL elkezdett \"lassulni\" az egyszer\u0171 lek\u00e9rdez\u00e9sek sor\u00e1n. A f\u00e1jlter\u00fclet probl\u00e9m\u00e1j\u00e1nak megold\u00e1s\u00e1ra sikeresen alkalmaztuk az InnoDB t\u00e1bla t\u00f6m\u00f6r\u00edt\u00e9st, amely 4-szeres\u00e9re cs\u00f6kkentette annak m\u00e9ret\u00e9t. Azonban m\u00e9g mindig nincs \u00e9rtelme t\u00f6bb mint 20-30 milli\u00f3 e-mailt t\u00e1rolni a MySQL-ben csak a t\u00f6rt\u00e9nelem olvas\u00e1sa miatt, mivel b\u00e1rmely egyszer\u0171 lek\u00e9rdez\u00e9s, amely valamilyen okb\u00f3l teljes \u00e1tvizsg\u00e1l\u00e1st ig\u00e9nyel, swap-hoz \u00e9s nagy I\/O terhel\u00e9shez vezetett, amit rendszeresen Zabbix figyelmeztet\u00e9sekkel jelezt\u00fcnk.<\/p>\n<p><img decoding=\"async\" alt=\"A Clickhouse haszn\u00e1lata az ELK, Big Query \u00e9s TimescaleDB helyett\" src=\"\/wp-content\/uploads\/2020\/01\/11b3ee4b1a8b7c9457bd3871bd12049f.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nA Clickhouse k\u00e9t t\u00f6m\u00f6r\u00edt\u00e9si algoritmust haszn\u00e1l, amelyek k\u00f6r\u00fclbel\u00fcl <noindex><a rel=\"nofollow\" href=\"https:\/\/www.altinity.com\/blog\/2017\/11\/21\/compression-in-clickhouse\">3-4-szeres cs\u00f6kkent\u00e9st<\/a><\/noindex>, de ebben az adott esetben az adatok k\u00fcl\u00f6n\u00f6sen \"t\u00f6m\u00f6r\u00edthet\u0151k\" voltak. <\/p>\n<p><img decoding=\"async\" alt=\"A Clickhouse haszn\u00e1lata az ELK, Big Query \u00e9s TimescaleDB helyett\" src=\"\/wp-content\/uploads\/2020\/01\/d192502073d57967620aa07da0bbfa0c.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h3>ELK kiv\u00e1lt\u00e1sa<\/h3>\n<p>\nSaj\u00e1t tapasztalatom alapj\u00e1n az ELK (ElasticSearch, Logstash \u00e9s Kibana, ebben az esetben az ElasticSearch) sokkal t\u00f6bb er\u0151forr\u00e1st ig\u00e9nyel a m\u0171k\u00f6dtet\u00e9shez, mint amennyi sz\u00fcks\u00e9ges a napl\u00f3k t\u00e1rol\u00e1s\u00e1hoz. Az ElasticSearch egy kiv\u00e1l\u00f3 motor, ha j\u00f3 teljes sz\u00f6veg\u0171 keres\u00e9st szeretne a napl\u00f3kban (\u00e9s nem hiszem, hogy val\u00f3ban sz\u00fcks\u00e9ge lenne r\u00e1), de \u00e9rdekel, hogy mi\u00e9rt v\u00e1lt de-facto standard motorr\u00e1 a napl\u00f3z\u00e1shoz. A v\u00e9teli teljes\u00edtm\u00e9nye a Logstash-sal egy\u00fctt probl\u00e9m\u00e1kat okozott sz\u00e1munkra, m\u00e9g viszonylag kis terhel\u00e9sek mellett is, \u00e9s egyre t\u00f6bb RAM \u00e9s t\u00e1rol\u00f3hely hozz\u00e1ad\u00e1s\u00e1t ig\u00e9nyelte. Az adatb\u00e1zisk\u00e9nt a Clickhouse jobb, mint az ElasticSearch az al\u00e1bbi okok miatt:<\/p>\n<ul>\n<li>SQL dialektus t\u00e1mogat\u00e1sa;<\/li>\n<li>A t\u00e1rolt adatok jobb t\u00f6m\u00f6r\u00edt\u00e9si ar\u00e1nya;<\/li>\n<li>Regex szab\u00e1lyok keres\u00e9s\u00e9nek t\u00e1mogat\u00e1sa a teljes sz\u00f6veg keres\u00e9se helyett;<\/li>\n<li>Jav\u00edtott lek\u00e9rdez\u00e9s-tervez\u00e9s \u00e9s \u00e1ltal\u00e1nosan magasabb teljes\u00edtm\u00e9ny.<\/li>\n<\/ul>\n<p>\nJelenleg a ClickHouse \u00e9s az ELK \u00f6sszehasonl\u00edt\u00e1s\u00e1nak legnagyobb probl\u00e9m\u00e1ja a napl\u00f3k kisz\u00e1ll\u00edt\u00e1s\u00e1ra szolg\u00e1l\u00f3 megold\u00e1sok hi\u00e1nya, valamint a t\u00e9m\u00e1val kapcsolatos dokument\u00e1ci\u00f3 \u00e9s \u00fatmutat\u00f3k hi\u00e1nya. Mindazon\u00e1ltal minden felhaszn\u00e1l\u00f3 be\u00e1ll\u00edthatja az ELK-t a Digital Ocean \u00fatmutat\u00f3j\u00e1val, ami nagyon fontos a hasonl\u00f3 technol\u00f3gi\u00e1k gyors bevezet\u00e9s\u00e9hez. Itt van egy adatb\u00e1zis motor, de jelenleg nincs Filebeat a ClickHouse-hoz. Igen, ott van. <noindex><a rel=\"nofollow\" href=\"https:\/\/www.fluentd.org\/\">fluentd<\/a><\/noindex> \u00e9s egy rendszer a napl\u00f3k kezel\u00e9s\u00e9re <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/flant\/loghouse\">loghouse<\/a><\/noindex>, l\u00e9tezik egy eszk\u00f6z <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/Altinity\/clicktail\">clicktail<\/a><\/noindex> a ClickHouse-ba t\u00f6rt\u00e9n\u0151 napl\u00f3f\u00e1jlok bet\u00f6lt\u00e9s\u00e9re, de mindez t\u00f6bb id\u0151t ig\u00e9nyel. A ClickHouse mindenesetre vezet\u0151 szerepet t\u00f6lt be az egyszer\u0171s\u00e9ge miatt, \u00edgy m\u00e9g a kezd\u0151k is egyszer\u0171en telep\u00edtik, \u00e9s sz\u00f3 szerint 10 percen bel\u00fcl teljes funkcion\u00e1lisan haszn\u00e1lj\u00e1k. <\/p>\n<p>Minimalista megold\u00e1sokat prefer\u00e1lva megpr\u00f3b\u00e1ltam a FluentBit-et haszn\u00e1lni, amely egy nagyon kis mem\u00f3ri\u00e1t ig\u00e9nyl\u0151 napl\u00f3\u00e1raml\u00f3 eszk\u00f6z, a ClickHouse-zal egy\u00fctt, mik\u00f6zben pr\u00f3b\u00e1ltam elker\u00fclni a Kafka alkalmaz\u00e1s\u00e1t. Azonban n\u00e9h\u00e1ny apr\u00f3 inkompatibilit\u00e1st kell megsz\u00fcntetni, mint p\u00e9ld\u00e1ul <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/fluent\/fluent-bit\/issues\/848\">a d\u00e1tumform\u00e1tum probl\u00e9m\u00e1i<\/a><\/noindex>, miel\u0151tt ezt proxy r\u00e9teg n\u00e9lk\u00fcl lehetne megtenni, amely a FluentBit adatait ClickHouse-z\u00e1 alak\u00edtja.<\/p>\n<p>Alternat\u00edvak\u00e9nt a Kibana helyett a ClickHouse-t backendk\u00e9nt haszn\u00e1lhatjuk <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/Vertamedia\/clickhouse-grafana\">Grafan\u00e1ba<\/a><\/noindex>. Amennyire meg\u00e9rtettem, ez teljes\u00edtm\u00e9nyprobl\u00e9m\u00e1kat okozhat, amikor hatalmas mennyis\u00e9g\u0171 adatpontot kell renderelni, k\u00fcl\u00f6n\u00f6sen a r\u00e9gebbi Grafana verzi\u00f3kkal. A Qwintry-nk ezt eddig m\u00e9g nem pr\u00f3b\u00e1lta, de id\u0151nk\u00e9nt panaszok \u00e9rkeznek a ClickHouse t\u00e1mogat\u00e1si csatorn\u00e1j\u00e1ra a Telegramon. <\/p>\n<h3>A Google Big Query \u00e9s az Amazon RedShift (nagyv\u00e1llalati megold\u00e1s) helyett<\/h3>\n<p>\nA BigQuery t\u00f6k\u00e9letes haszn\u00e1lata az 1 TB JSON adat bet\u00f6lt\u00e9se \u00e9s elemz\u0151 lek\u00e9rdez\u00e9sek futtat\u00e1sa. A Big Query egy nagyszer\u0171 term\u00e9k, amelynek sk\u00e1l\u00e1zhat\u00f3s\u00e1g\u00e1t neh\u00e9z t\u00falbecs\u00fclni. Ez egy sokkal bonyolultabb szoftver, mint a ClickHouse, amely saj\u00e1t klaszteren m\u0171k\u00f6dik, de a kliens szempontj\u00e1b\u00f3l sok k\u00f6z\u00f6s van a ClickHouse-zal. A BigQuery gyorsan \"dr\u00e1ga\" lehet, amint elkezdi fizetni minden SELECT ut\u00e1n, \u00edgy ez egy igazi SaaS megold\u00e1s az \u00f6sszes el\u0151ny\u00e9vel \u00e9s h\u00e1tr\u00e1ny\u00e1val. <\/p>\n<p>A ClickHouse a legjobb v\u00e1laszt\u00e1s, ha sok sz\u00e1m\u00edt\u00e1sig\u00e9nyes lek\u00e9rdez\u00e9st futtat. Min\u00e9l t\u00f6bb SELECT lek\u00e9rdez\u00e9st hajt v\u00e9gre naponta, ann\u00e1l ink\u00e1bb indokolt a Big Query ClickHouse-ra cser\u00e9l\u00e9se, mert ez t\u00f6bb ezer doll\u00e1rt seg\u00edthet megtakar\u00edtani, k\u00fcl\u00f6n\u00f6sen, ha sok terab\u00e1jt nyers adatot dolgoz fel. Ez nem vonatkozik a t\u00e1rolt adatokra, amelyek feldolgoz\u00e1sa a Big Query-ben viszonylag olcs\u00f3.<\/p>\n<p>Alexander Zaytsev, az Altinity t\u00e1rsalap\u00edt\u00f3ja \u00e1ltal \u00edrt cikkben <noindex><a rel=\"nofollow\" href=\"https:\/\/www.altinity.com\/blog\/2017\/10\/23\/migration-to-clickhouse\">\u201eMigr\u00e1l\u00e1s a ClickHouse-ra\u201d<\/a><\/noindex> besz\u00e9l a DB-hez val\u00f3 \u00e1t\u00e1ll\u00e1s el\u0151nyeir\u0151l.<\/p>\n<h3>Feles\u00e9g TimescaleDB<\/h3>\n<p>\nA TimescaleDB a PostgreSQL kiterjeszt\u00e9se, amely optimaliz\u00e1lja az id\u0151alap\u00fa adatok kezel\u00e9s\u00e9t az alap\u00e9rtelmezett adatb\u00e1zisban.<noindex><a rel=\"nofollow\" href=\"https:\/\/docs.timescale.com\/v1.0\/introduction\">https:\/\/docs.timescale.com\/v1.0\/introduction<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/zabbix\/blog\/458530\/\">https:\/\/habr.com\/ru\/company\/zabbix\/blog\/458530\/<\/a><\/noindex>). <\/p>\n<p>B\u00e1r a ClickHouse nem komoly versenyt\u00e1rs az id\u0151alap\u00fa adatok ter\u00e9n, az oszlophat\u00e1s\u00fa strukt\u00far\u00e1ja \u00e9s vektoralap\u00fa lek\u00e9rdez\u00e9s-v\u00e9grehajt\u00e1si m\u00f3dszerei miatt az analitikai lek\u00e9rdez\u00e9sek t\u00f6bbs\u00e9g\u00e9ben l\u00e9nyegesen gyorsabb, mint a TimescaleDB. Ezenk\u00edv\u00fcl a ClickHouse adatcsomagok feldolgoz\u00e1si teljes\u00edtm\u00e9nye k\u00f6r\u00fclbel\u00fcl h\u00e1romszorosa a TimescaleDB-nek, r\u00e1ad\u00e1sul 20-szor kevesebb lemezter\u00fcletet haszn\u00e1l fel, ami rendk\u00edv\u00fcl fontos nagy mennyis\u00e9g\u0171 t\u00f6rt\u00e9neti adatok kezel\u00e9sekor.<noindex><a rel=\"nofollow\" href=\"https:\/\/www.altinity.com\/blog\/ClickHouse-for-time-series\">https:\/\/www.altinity.com\/blog\/ClickHouse-for-time-series<\/a><\/noindex>.<\/p>\n<p>A ClickHouse-szal ellent\u00e9tben a TimescaleDB-ben csak ZFS vagy hasonl\u00f3 f\u00e1jlrendszerek haszn\u00e1lat\u00e1val lehet n\u00e9mi lemezter\u00fcletet megtakar\u00edtani.<\/p>\n<p>A ClickHouse k\u00f6zelg\u0151 friss\u00edt\u00e9sei val\u00f3sz\u00edn\u0171leg bevezetik a delta t\u00f6m\u00f6r\u00edt\u00e9st, ami m\u00e9g alkalmass\u00e1 teszi az id\u0151alap\u00fa adatok feldolgoz\u00e1s\u00e1ra \u00e9s t\u00e1rol\u00e1s\u00e1ra. A TimescaleDB jobb v\u00e1laszt\u00e1s lehet, mint a \"meztelen\" ClickHouse a k\u00f6vetkez\u0151 esetekben:<\/p>\n<ul>\n<li>kisebb telep\u00edt\u00e9sek eset\u00e9n, nagyon kis mem\u00f3ria\u00e1llom\u00e1nnyal (&lt;3 GB);<\/li>\n<li>a sok kis INSERT-esem\u00e9nyek, amelyeket nem szeretne nagyobb t\u00f6red\u00e9kekb\u00e9 bufferelni;<\/li>\n<li>jobb konzisztencia, egys\u00e9gess\u00e9g \u00e9s ACID k\u00f6vetelm\u00e9nyek;<\/li>\n<li>PostGIS t\u00e1mogat\u00e1s;<\/li>\n<li>l\u00e9tez\u0151 PostgreSQL t\u00e1bl\u00e1kkal val\u00f3 integr\u00e1ci\u00f3, mivel tulajdonk\u00e9ppen a TimescaleDB PostgreSQL.<\/li>\n<\/ul>\n<p><\/p>\n<h3>Verseny a Hadoop \u00e9s MapReduce rendszerekkel<\/h3>\n<p>\nA Hadoop \u00e9s m\u00e1s MapReduce term\u00e9kek sok bonyolult sz\u00e1m\u00edt\u00e1st k\u00e9pesek v\u00e9gezni, de \u00e1ltal\u00e1ban hatalmas k\u00e9sleltet\u00e9ssel m\u0171k\u00f6dnek. A ClickHouse ezt a probl\u00e9m\u00e1t jav\u00edtja azzal, hogy terab\u00e1jtnyi adatot dolgoz fel, \u00e9s szinte azonnal szolg\u00e1ltatja az eredm\u00e9nyeket. Ennek k\u00f6vetkezt\u00e9ben a ClickHouse sokkal hat\u00e9konyabb a gyors, interakt\u00edv analitikai kutat\u00e1sok lebonyol\u00edt\u00e1s\u00e1ban, ami \u00e9rdekelheti az adatfeldolgoz\u00e1si szakembereket.<\/p>\n<h3>Verseny a Pinot \u00e9s Druid rendszerekkel<\/h3>\n<p>\nA ClickHouse legk\u00f6zelebbi versenyt\u00e1rsai az oszlopalap\u00fa, line\u00e1risan sk\u00e1l\u00e1zhat\u00f3 open source term\u00e9kek, a Pinot \u00e9s a Druid. Az e rendszerek \u00f6sszehasonl\u00edt\u00e1s\u00e1val kapcsolatos kiv\u00e1l\u00f3 munka publik\u00e1lva lett a <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@leventov\/comparison-of-the-open-source-olap-systems-for-big-data-ClickHouse-druid-and-pinot-8e042a5ed1c7\">Roman Leventov \u00e1ltal<\/a><\/noindex> 2018. febru\u00e1r 1-j\u00e9n. <\/p>\n<p><img decoding=\"async\" alt=\"A Clickhouse haszn\u00e1lata az ELK, Big Query \u00e9s TimescaleDB helyett\" src=\"\/wp-content\/uploads\/2020\/01\/fe58814aa97b287b70c2f724b72b448a.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nEz a cikk friss\u00edt\u00e9st ig\u00e9nyel - azt \u00e1ll\u00edtja, hogy a ClickHouse nem t\u00e1mogatja az UPDATE \u00e9s DELETE m\u0171veleteket, ami nem teljesen pontos a leg\u00fajabb verzi\u00f3kkal kapcsolatban.<\/p>\n<p>Nincs elegend\u0151 tapasztalatunk ezekkel az adatt\u00e1rol\u00f3kkal, de a Druid \u00e9s a Pinot ind\u00edt\u00e1s\u00e1hoz sz\u00fcks\u00e9ges infrastrukt\u00fara bonyolults\u00e1ga egy\u00e1ltal\u00e1n nem tetszik, ez egy hatalmas \"mozg\u00f3 r\u00e9szek\" halmaza, mindez pedig Java-val van k\u00f6r\u00fclv\u00e9ve.<\/p>\n<p>A Druid \u00e9s a Pinot az Apache inkub\u00e1tor projektei, fejleszt\u00e9s\u00fck r\u00e9szletesen nyomon k\u00f6vethet\u0151 az Apache GitHub oldalain. A Pinot 2018 okt\u00f3ber\u00e9ben ker\u00fclt az inkub\u00e1torba, m\u00edg a Druid 8 h\u00f3nappal kor\u00e1bban, febru\u00e1rban sz\u00fcletett.<\/p>\n<p>Az AFS m\u0171k\u00f6d\u00e9s\u00e9r\u0151l sz\u00f3l\u00f3 inform\u00e1ci\u00f3k hi\u00e1nya n\u00e9h\u00e1ny, tal\u00e1n buta k\u00e9rd\u00e9st vet fel bennem. \u00c9rdekes, hogy \u00e9szrevett\u00e9k-e a Pinot szerz\u0151i, hogy az Apache Alap\u00edtv\u00e1ny ink\u00e1bb a Druid fel\u00e9 hajlik, \u00e9s vajon ez a versenyt\u00e1rs ir\u00e1nti hozz\u00e1\u00e1ll\u00e1s nem okoz-e irigys\u00e9get? Lassul-e a Druid fejl\u0151d\u00e9se \u00e9s felgyorsul-e a Pinot fejl\u0151d\u00e9se, ha a Druidot t\u00e1mogat\u00f3 szponzorok hirtelen a Pinot ir\u00e1nt \u00e9rdekl\u0151dn\u00e9nek?<\/p>\n<h3>A ClickHouse h\u00e1tr\u00e1nyai<\/h3>\n<p>\n\u00c9retlens\u00e9g: nyilv\u00e1nval\u00f3, hogy ez m\u00e9g mindig egy izgalmas technol\u00f3gia, de \u00edgy is, ilyesmi m\u00e1s oszlopos adatb\u00e1zis-kezel\u0151kben nem tapasztalhat\u00f3. <\/p>\n<p>A kis besz\u00far\u00e1sok rosszul m\u0171k\u00f6dnek nagy sebess\u00e9ggel: a besz\u00far\u00e1sokat nagyobb darabokra kell osztani, mert a kis besz\u00far\u00e1sok teljes\u00edtm\u00e9nye ar\u00e1nyosan cs\u00f6kken a soronk\u00e9nti oszlopok sz\u00e1m\u00e1val. A ClickHouse-ban \u00edgy t\u00e1rolj\u00e1k az adatokat a lemezen \u2014 minden oszlop 1 f\u00e1jlt vagy ann\u00e1l t\u00f6bbet jelent, \u00edgy egy 100 oszlopot tartalmaz\u00f3 sor besz\u00far\u00e1s\u00e1hoz legal\u00e1bb 100 f\u00e1jlt kell megnyitni \u00e9s \u00edrni. Ez\u00e9rt sz\u00fcks\u00e9ges egy k\u00f6zvet\u00edt\u0151 a besz\u00far\u00e1sok pufferez\u00e9s\u00e9hez (ha a kliens nem biztos\u00edtja a pufferez\u00e9st) \u2014 \u00e1ltal\u00e1ban ez a Kafka vagy valamilyen \u00fczenetkezel\u0151 rendszer. Az is haszn\u00e1lhat\u00f3, mint a Buffer table motor, hogy k\u00e9s\u0151bb nagy mennyis\u00e9g\u0171 adatot m\u00e1soljunk a MergeTree t\u00e1bl\u00e1kba.<\/p>\n<p>A t\u00e1bl\u00e1k k\u00f6z\u00f6tti kapcsolatok a szerver mem\u00f3ri\u00e1j\u00e1ra korl\u00e1toz\u00f3dnak, de legal\u00e1bb ott vannak! P\u00e9ld\u00e1ul a Druid \u00e9s a Pinot egy\u00e1ltal\u00e1n nem rendelkezik ilyen kapcsolatokkal, mivel ezek nehezen megval\u00f3s\u00edthat\u00f3k olyan elosztott rendszerekben, amelyek nem t\u00e1mogatj\u00e1k nagy mennyis\u00e9g\u0171 adat mozgat\u00e1s\u00e1t a csom\u00f3pontok k\u00f6z\u00f6tt. <\/p>\n<h3>K\u00f6vetkeztet\u00e9sek<\/h3>\n<p>\nA k\u00f6vetkez\u0151 \u00e9vekben sz\u00e9les k\u00f6rben tervezz\u00fck a ClickHouse haszn\u00e1lat\u00e1t a Qwintryben, mivel ez az adatb\u00e1zis-kezel\u0151 rendszer kiv\u00e1l\u00f3 teljes\u00edtm\u00e9nye, alacsony k\u00f6lts\u00e9gei, sk\u00e1l\u00e1zhat\u00f3s\u00e1ga \u00e9s egyszer\u0171s\u00e9ge r\u00e9v\u00e9n kiemelked\u0151. Szinte biztos vagyok benne, hogy gyorsan elterjed, amint a ClickHouse k\u00f6z\u00f6ss\u00e9ge t\u00f6bb felhaszn\u00e1l\u00e1si m\u00f3dot kidolgoz a kis \u00e9s k\u00f6zepes install\u00e1ci\u00f3k sz\u00e1m\u00e1ra.<\/p>\n<h3>Egy kis rekl\u00e1m \ud83d\ude42<\/h3>\n<p>\nK\u00f6sz\u00f6nj\u00fck, hogy vel\u00fcnk maradt\u00e1l. Tetszenek a cikkeink? Szeretn\u00e9l t\u00f6bb \u00e9rdekes anyagot l\u00e1tni? T\u00e1mogass minket, \u00e9s rendel\u00e9s lead\u00e1s\u00e1val vagy ismer\u0151s\u00f6knek aj\u00e1nl\u00e1ssal seg\u00edts nek\u00fcnk. <noindex><a rel=\"nofollow\" href=\"https:\/\/ua-hosting.company\/cloudvps\/nl\">Felh\u0151alap\u00fa VPS fejleszt\u0151knek 4,99 doll\u00e1rt\u00f3l<\/a><\/noindex>, <b>Egyed\u00fcl\u00e1ll\u00f3 alternat\u00edv\u00e1ja az entry-level szervereknek, amelyet \u00d6nnek tal\u00e1ltunk ki:<\/b> <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/company\/ua-hosting\/blog\/347386\/\">Minden igazs\u00e1g a VPS (KVM) E5-2697 v3 (6 mag) 10GB DDR4 480GB SSD 1Gbps \u00e1ron 19 doll\u00e1rt\u00f3l, vagy hogyan oszd fel helyesen a szervert?<\/a><\/noindex> (el\u00e9rhet\u0151k RAID1 \u00e9s RAID10 opci\u00f3k, ak\u00e1r 24 magig \u00e9s 40GB DDR4-ig).<\/p>\n<p><b>Dell R730xd k\u00e9tszer olcs\u00f3bban a Tier IV Equinix adatk\u00f6zpontban Amszterdamban?<\/b> Csak n\u00e1lunk <b><noindex><a rel=\"nofollow\" href=\"https:\/\/ua-hosting.company\/serversnl\">2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TB 199 doll\u00e1rt\u00f3l<\/a><\/noindex> Hollandi\u00e1ban! <b>Dell R420 \u2014 2x E5-2430 2.2GHz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB \u2014 99 doll\u00e1rt\u00f3l!<\/b><\/b> Olvasd el ezt <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/company\/ua-hosting\/blog\/329618\/\">Hogyan \u00e9p\u00edts\u00fcnk v\u00e1llalati szint\u0171 infrastrukt\u00far\u00e1t Dell R730xd E5-2650 v4 szerverekkel, amelyek k\u00f6lts\u00e9ge 9000 eur\u00f3ban van megszabva?<\/a><\/noindex><br \/>\n<br \/>Forr\u00e1s: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/ua-hosting\/blog\/483112\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>Clickhouse \u2014 \u044d\u0442\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u0430\u0437\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u043d\u043b\u0430\u0439\u043d \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (OLAP) \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c, \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u0430\u044f \u042f\u043d\u0434\u0435\u043a\u0441\u043e\u043c. \u0415\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u042f\u043d\u0434\u0435\u043a\u0441, CloudFlare, VK.com, Badoo \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u0435\u0440\u0432\u0438\u0441\u044b \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043c\u0438\u0440\u0443 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043e\u0431\u044a\u0435\u043c\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445 (\u0432\u0441\u0442\u0430\u0432\u043a\u0430 \u0442\u044b\u0441\u044f\u0447 \u0441\u0442\u0440\u043e\u043a \u0432 \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u0438\u043b\u0438 \u043f\u0435\u0442\u0430\u0431\u0430\u0439\u0442\u044b \u0434\u0430\u043d\u043d\u044b\u0445, \u0445\u0440\u0430\u043d\u044f\u0449\u0438\u0445\u0441\u044f \u043d\u0430 \u0434\u0438\u0441\u043a\u0435). \u0412 \u043e\u0431\u044b\u0447\u043d\u043e\u0439, \u00ab\u0441\u0442\u0440\u043e\u043a\u043e\u0432\u043e\u0439\u00bb \u0421\u0423\u0411\u0414, \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-54918","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"Clickhouse \u2014 \u044d\u0442\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u0430\u0437\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u043d\u043b\u0430\u0439\u043d \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (OLAP) \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/ispolzovanie-clickhouse-v-kachestve-zameny-elk-big-query-i-timescaledb\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"hu_HU\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 Clickhouse \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0437\u0430\u043c\u0435\u043d\u044b ELK, Big Query \u0438 TimescaleDB | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"Clickhouse \u2014 \u044d\u0442\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u0430\u0437\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u043d\u043b\u0430\u0439\u043d \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (OLAP) \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/ispolzovanie-clickhouse-v-kachestve-zameny-elk-big-query-i-timescaledb\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-01-06T21:00:00+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-02-18T11:02:58+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47 A ClickHouse haszn\u00e1lata az ELK, Big Query \u00e9s TimescaleDB helyettes\u00edt\u00e9s\u00e9re | ProHoster","description":"A ClickHouse egy oszlopos adatb\u00e1zis-kezel\u0151 rendszer online analitikai lek\u00e9rdez\u00e9sek (OLAP) feldolgoz\u00e1s\u00e1ra, ny\u00edlt forr\u00e1sk\u00f3d\u00fa.","canonical_url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/ispolzovanie-clickhouse-v-kachestve-zameny-elk-big-query-i-timescaledb","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"hu_HU","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 Clickhouse \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0437\u0430\u043c\u0435\u043d\u044b ELK, Big Query \u0438 TimescaleDB | ProHoster","og:description":"Clickhouse \u2014 \u044d\u0442\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u0430\u0437\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u043e\u043d\u043b\u0430\u0439\u043d \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (OLAP) \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c.","og:url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/ispolzovanie-clickhouse-v-kachestve-zameny-elk-big-query-i-timescaledb","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-01-06T21:00:00+00:00","article:modified_time":"2020-02-18T11:02:58+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"54918","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 13:09:54","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:55:36","updated":"2026-01-24 13:09:54","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/54918","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/comments?post=54918"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/54918\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/media?parent=54918"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/categories?post=54918"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/tags?post=54918"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}