Ke hoʻohana nei i ka Clickhouse i mea pani no ka ELK, Big Query a me TimescaleDB

Clickhouse ʻO ia kahi ʻōnaehana hoʻokele waihona waihona kolamu open source no ka hoʻoili ʻana i nā nīnau noiʻi pūnaewele (OLAP), i hana ʻia e Yandex. Hoʻohana ʻia ia e Yandex, CloudFlare, VK.com, Badoo a me nā lawelawe ʻē aʻe a puni ka honua e mālama i ka nui o ka ʻikepili (hoʻokomo i nā tausani o nā lālani i kēlā me kēia kekona a i ʻole petabytes o ka ʻikepili i mālama ʻia ma ka disk).

Ma kahi maʻamau, "string" DBMS, nā hiʻohiʻona o ia MySQL, Postgres, MS SQL Server, mālama ʻia nā ʻikepili i kēia ʻano:

Ke hoʻohana nei i ka Clickhouse i mea pani no ka ELK, Big Query a me TimescaleDB

I kēia hihia, mālama kino ʻia nā waiwai e pili ana i ka lālani hoʻokahi. I nā DBMS columnar, mālama ʻia nā waiwai mai nā kolamu like ʻole, a mālama pū ʻia nā ʻikepili mai kahi kolamu:

Ke hoʻohana nei i ka Clickhouse i mea pani no ka ELK, Big Query a me TimescaleDB

ʻO nā laʻana o nā DBMS columnar ʻo Vertica, Paraccel (Actian Matrix, Amazon Redshift), Sybase IQ, Exasol, Infobright, InfiniDB, MonetDB (VectorWise, Actian Vector), LucidDB, SAP HANA, Google Dremel, Google PowerDrill, Druid, kdb+.

Hui lawe leka Qwintry hoʻomaka ka hoʻohana ʻana iā Clickhouse ma 2018 no ka hōʻike ʻana a mahalo nui ʻia i kona maʻalahi, scalability, kākoʻo SQL a me ka wikiwiki. ʻO ka wikiwiki o kēia DBMS pili i ka magic.

hoopau i

Hoʻokomo ʻia ʻo Clickhouse ma Ubuntu me hoʻokahi kauoha. Inā ʻike ʻoe iā SQL, hiki iā ʻoe ke hoʻomaka koke e hoʻohana i ka Clickhouse no kāu mau pono. Eia naʻe, ʻaʻole ia he manaʻo hiki iā ʻoe ke hana "hōʻike i ka papa hana" ma MySQL a kope i ka SQL ma Clickhouse.

Hoʻohālikelike ʻia me MySQL, aia nā ʻokoʻa ʻano ʻikepili koʻikoʻi i ka wehewehe ʻana i ka papaʻaina, no laila pono ʻoe e hoʻololi i ka wehewehe ʻana o ka papaʻaina a aʻo i nā ʻenekini papaʻaina e ʻoluʻolu.

Hana maikaʻi ʻo Clickhouse me ka ʻole o nā polokalamu ʻē aʻe, akā inā makemake ʻoe e hoʻohana i ka replication, pono ʻoe e hoʻokomo iā ZooKeeper. Hōʻike ka hōʻike ʻana i ka hana noiʻi i nā hopena maikaʻi loa - aia i nā papa ʻōnaehana nā ʻike āpau, a hiki ke kiʻi ʻia nā ʻikepili āpau me ka hoʻohana ʻana i ka SQL kahiko.

'Ohanahana

  • Hōʻailona nā hoʻohālikelike o Clickhouse me Vertica a me MySQL ma ka hoʻonohonoho kikowaena: ʻelua mau kumu Intel® Xeon® CPU E5-2650 v2 @ 2.60GHz; 128 GiB RAM; md RAID-5 ma 8 6TB SATA HDD, ext4.
  • Hōʻailona hoʻohālikelike o Clickhouse me Amazon RedShift cloud storage.
  • Nā ʻāpana blog Cloudflare ma ka hana Clickhouse:

Ke hoʻohana nei i ka Clickhouse i mea pani no ka ELK, Big Query a me TimescaleDB

He hoʻolālā maʻalahi loa ka waihona ʻo ClickHouse - ʻo nā nodes a pau o ka pūʻulu he hana like a hoʻohana wale iā ZooKeeper no ka hoʻonohonoho ʻana. Ua kūkulu mākou i kahi puʻupuʻu liʻiliʻi o nā nodes a hana i ka hoʻāʻo ʻana, i ka wā i ʻike ai mākou he hana kupanaha ka ʻōnaehana, e pili ana i nā pono i ʻōlelo ʻia i nā benchmark DBMS analytical. Ua hoʻoholo mākou e nānā pono i ka manaʻo ma hope o ClickHouse. ʻO ka mea keakea mua i ka noiʻi ʻana ʻo ka nele o nā mea hana a me ke kaiāulu ClickHouse liʻiliʻi, no laila ua ʻimi mākou i ka hoʻolālā ʻana o kēia DBMS e hoʻomaopopo i ke ʻano o ka hana.

ʻAʻole kākoʻo ʻo ClickHouse i ka loaʻa ʻana o ka ʻikepili mai Kafka no ka mea he waihona wale nō ia, no laila ua kākau mākou i kā mākou lawelawe ponoʻī ma Go. Heluhelu ʻo ia i nā memo i hoʻopaʻa ʻia ʻo Cap'n Proto mai Kafka, hoʻohuli iā lākou i TSV a hoʻokomo iā lākou i ClickHouse i nā pūʻulu ma o ka interface HTTP. Ua kākau hou mākou i kēia lawelawe no ka hoʻohana ʻana i ka hale waihona puke Go i hui pū me kā ClickHouse ponoʻī e hoʻomaikaʻi i ka hana. I ka loiloi ʻana i ka hana o ka loaʻa ʻana o nā ʻeke, ua ʻike mākou i kahi mea nui - ua ʻike ʻia no ClickHouse ua hilinaʻi nui kēia hana i ka nui o ka ʻeke, ʻo ia hoʻi, ka helu o nā lālani i hoʻokomo ʻia i ka manawa like. No ka hoʻomaopopo ʻana i ke kumu o kēia, ua nānā mākou i ka mālama ʻana o ClickHouse i ka ʻikepili.

ʻO ka mīkini nui, a i ʻole ka ʻohana o nā ʻenekini papaʻaina, hoʻohana ʻia e ClickHouse e mālama i ka ʻikepili ʻo MergeTree. Ua like kēia ʻenekini me ka LSM algorithm i hoʻohana ʻia ma Google BigTable a i ʻole Apache Cassandra, akā pale i ke kūkulu ʻana i kahi papa hoʻomanaʻo waena a kākau pololei i ka ʻikepili i ka disk. Hāʻawi kēia iā ia i kahi palapala kākau maikaʻi loa, no ka mea, ʻo kēlā me kēia ʻeke i hoʻokomo ʻia e hoʻokaʻawale ʻia e ke kī mua wale nō, hoʻopaʻa ʻia, a kākau ʻia i ka disk e hana i kahi ʻāpana.

ʻO ka nele o kahi papa hoʻomanaʻo a i ʻole kekahi manaʻo o ka "hou" o ka ʻikepili ʻo ia hoʻi, hiki ke hoʻohui wale ʻia; ʻaʻole kākoʻo ka ʻōnaehana i ka hoʻololi a holoi ʻana. I kēia manawa, ʻo ke ala wale nō e holoi ai i ka ʻikepili ʻo ka holoi ʻana iā ia ma ka mahina alemanaka, no ka mea ʻaʻole i hele nā ​​ʻāpana i ka palena mahina. Ke hana ikaika nei ka hui ClickHouse e hoʻololi i kēia hiʻohiʻona. Ma ka ʻaoʻao ʻē aʻe, hana ia e kākau a hoʻohui i nā ʻāpana me ka paio ʻole, no laila e loaʻa i nā unahi throughput me ka helu o nā hoʻokomo like a hiki i ka I/O a i ʻole ka saturation kumu.
Eia naʻe, ʻo ia hoʻi, ʻaʻole kūpono ka ʻōnaehana no nā ʻeke liʻiliʻi, no laila hoʻohana ʻia nā lawelawe Kafka a me nā mea hoʻokomo no ka buffering. A laila, hoʻomau ka ClickHouse i ke kua i ka hoʻohui ʻana i ka māhele, i hui pū ʻia nā ʻāpana liʻiliʻi he nui a hoʻopaʻa ʻia i nā manawa hou, pēlā e hoʻonui ai i ka ikaika o ka hoʻopaʻa ʻana. Eia nō naʻe, ʻoi aku ka nui o nā ʻāpana pili ʻole e hoʻoulu i ka throttling ikaika o nā mea hoʻokomo i ka wā e hoʻomau ai ka hui ʻana. Ua ʻike mākou ʻo ke kuʻikahi maikaʻi loa ma waena o ka ʻai ʻana i ka manawa maoli a me ka hoʻokō ʻana i ka ʻai ʻana, ʻo ia ka hoʻokomo ʻana i kahi helu liʻiliʻi o nā hoʻokomo i kēlā me kēia kekona i ka papaʻaina.

ʻO ke kī i ka hana heluhelu papaʻa ʻo ka kuhikuhi ʻana a me kahi o ka ʻikepili ma ka disk. No ka wikiwiki o ka hana ʻana, inā pono ka mīkini e nānā i nā terabytes o ka ʻikepili mai ka disk a hoʻohana wale i kahi hapa o ia mea, e lōʻihi ka manawa. He hale kūʻai kolamu ʻo ClickHouse, no laila aia kēlā me kēia ʻāpana i kahi faila no kēlā me kēia kolamu (column) me nā helu helu no kēlā me kēia lālani. Ma kēia ala, hiki ke hoʻokuʻu mua ʻia nā kolamu holoʻokoʻa e nalowale ana mai ka nīnau, a laila hiki ke hana ʻia nā cell he nui e like me ka hoʻokō vectorized. No ka pale ʻana i ka scan piha, loaʻa i kēlā me kēia māhele kahi faila kuhikuhi liʻiliʻi.

Ma muli o ka hoʻokaʻawale ʻia ʻana o nā kolamu a pau e ke "kī kumu", aia wale nō i loko o ka faila index nā lepili (nā lālani i hopu ʻia) o kēlā me kēia lālani Nth i hiki ke mālama iā lākou i ka hoʻomanaʻo no nā papa nui loa. No ka laʻana, hiki iā ʻoe ke hoʻonohonoho i nā hoʻonohonoho paʻamau e "mark i kēlā me kēia lālani 8192nd", a laila "meager" indexing of a table with 1 trillion. ʻO nā laina i kūpono i ka hoʻomanaʻo e lawe wale i 122 mau huaʻōlelo.

Hoʻomohala ʻōnaehana

Hiki ke ʻike ʻia ka hoʻomohala ʻana a me ka hoʻomaikaʻi ʻana o Clickhouse ma Github repo a e hōʻoia i ke kaʻina o ka "ulu ʻana" i kahi wikiwiki.

Ke hoʻohana nei i ka Clickhouse i mea pani no ka ELK, Big Query a me TimescaleDB

ʻO ka inoa

Ke ulu nui nei ka kaulana o Clickhouse, ʻo ia hoʻi ma ke kaiāulu ʻōlelo Lūkini. I ka makahiki i hala High haawe 2018 hālāwai kūkā (Moscow, November 8-9, 2018) ua hōʻike i kēlā mau monsters e like me vk.com a me Badoo hoʻohana Clickhouse, me ia lakou e hookomo i ka ikepili (no ka laʻana, logs) mai na umi tausani o nā kikowaena i ka manawa like. Ma kahi wikiō 40 minuke ʻO Yuri Nasretdinov mai ka hui VKontakte e kamaʻilio e pili ana i kēia hana. ʻAʻole koke mākou e kau i ka transcript ma Habr no ka maʻalahi o ka hana me ka mea.

Nā noi

Ma hope o ka hoʻolilo ʻana i kahi manawa noiʻi, manaʻo wau aia kekahi mau wahi i hiki ke hoʻohana ʻia ʻo ClickHouse a i ʻole hiki ke hoʻololi hou i nā mea ʻē aʻe, ʻoi aku ka maʻamau a kaulana hoʻi e like me MySQL, PostgreSQL, ELK, Google Big Query, Amazon RedShift, TimescaleDB, Hadoop, MapReduce, Pinot a Druid. Hōʻike kēia i nā kikoʻī o ka hoʻohana ʻana iā ClickHouse e hoʻololi a hoʻololi paha i ka DBMS ma luna.

Hoʻonui i nā mana o MySQL a me PostgreSQL

I kēia mau lā, ua hoʻololi mākou i ka MySQL me ClickHouse no kā mākou pūnaewele nūhou Nupepa Mautic. ʻO ka pilikia, ʻo MySQL, ma muli o kahi hoʻolālā maikaʻi ʻole, ke hoʻopaʻa inoa nei i kēlā me kēia leka uila i hoʻouna ʻia a me kēlā me kēia loulou i kēlā leka uila me kahi base64 hash, e hana ana i kahi papaʻaina MySQL nui (email_stats). Ma hope o ka hoʻouna wale ʻana i 10 miliona mau leka uila i nā mea kūʻai aku lawelawe, ua noho kēia papa ʻaina i ka 150 GB o kahi faila, a ua hoʻomaka ʻo MySQL e "naʻaupō" ma nā nīnau maʻalahi. No ka hoʻoponopono ʻana i ka pilikia o ka faile, ua hoʻohana maikaʻi mākou i ka hoʻopili papa ʻaina InnoDB i hoʻemi ʻia e ka helu o 4. Eia nō naʻe, ʻaʻole kūpono ka mālama ʻana ma mua o 20-30 miliona mau leka uila ma MySQL no ka heluhelu ʻana i ka mōʻaukala, no ka mea, ʻo kekahi nīnau maʻalahi no kekahi kumu pono e hana i nā hopena scan piha i ka swap a me ka nui o I. /O ka ukana, e like me ka mea i loaʻa mau iā mākou nā ʻōlelo aʻo mai Zabbix.

Ke hoʻohana nei i ka Clickhouse i mea pani no ka ELK, Big Query a me TimescaleDB

Hoʻohana ʻo Clickhouse i ʻelua algorithms kaomi e hoʻemi i ka nui o ka ʻikepili ma kahi kokoke 3-4 manawa, akā i kēia hihia, ua "compressible" ka ʻikepili.

Ke hoʻohana nei i ka Clickhouse i mea pani no ka ELK, Big Query a me TimescaleDB

Pani i ka ELK

Ma muli o koʻu ʻike ponoʻī, ʻo ka ELK stack (ElasticSearch, Logstash a me Kibana, ma kēia hihia ʻo ElasticSearch) e koi aku i nā kumuwaiwai hou aʻe e holo ai ma mua o ka pono e mālama i nā lāʻau. He ʻenekini maikaʻi ʻo ElasticSearch inā makemake ʻoe i ka ʻimi log piha kikokikona maikaʻi (ʻaʻole wau i manaʻo he pono maoli ʻoe), akā ke noʻonoʻo nei au i ke kumu i lilo ai ia i ʻenekini logging maʻamau de facto. ʻO kāna hana inest i hui pū ʻia me Logstash hāʻawi iā mākou i nā pilikia ma lalo o nā haʻahaʻa māmā a koi iā mākou e hoʻohui hou aʻe i ka RAM a me ka wahi disk. Ma ke ʻano he waihona, ʻoi aku ka maikaʻi o Clickhouse ma mua o ElasticSearch no kēia mau kumu:

  • Kākoʻo ʻōlelo SQL;
  • ʻO ke kūlana maikaʻi loa o ka hoʻoemi ʻana i nā ʻikepili i mālama ʻia;
  • Kākoʻo no ka ʻimi ʻōlelo maʻamau Regex ma kahi o ka huli kikokikona piha;
  • Hoʻomaikaʻi ʻia ka hoʻonohonoho nīnau a me ka hana holoʻokoʻa kiʻekiʻe.

I kēia manawa,ʻo ka pilikia nui loa i ka wā e hoʻohālikelike ai i ka ClickHouse me ELK,ʻo ia ka nele i nā hoʻonā no ka hoʻoukaʻana i nā lāʻau, a me ka nele i nā palapala a me nā kumu aʻo e pili ana i ke kumuhana. Eia kekahi, hiki i kēlā me kēia mea hoʻohana ke hoʻonohonoho i ka ELK me ka hoʻohana ʻana i ka manual Ocean Digital, he mea nui loa ia no ka hoʻokō wikiwiki ʻana o ia mau ʻenehana. Aia kekahi mīkini waihona, akā ʻaʻohe Filebeat no ClickHouse. ʻAe, aia ma laila maʻalahi a he ʻōnaehana no ka hana ʻana me nā lāʻau hale lāʻau lāʻau, aia kahi mea hana clicktail e hoʻokomo i ka ʻikepili waihona log i ClickHouse, akā ʻoi aku ka nui o kēia mau manawa. Eia nō naʻe, ʻo ClickHouse ke alakaʻi ma muli o kona maʻalahi, no laila hiki i nā poʻe hoʻomaka ke hoʻokomo maʻalahi a hoʻomaka i ka hoʻohana pono ʻana iā ia i loko o 10 mau minuke.

Ke makemake nei au i nā hoʻonā liʻiliʻi, ua hoʻāʻo wau e hoʻohana iā FluentBit, kahi mea hana no ka hoʻouna ʻana i nā lāʻau me ka liʻiliʻi o ka hoʻomanaʻo, me ClickHouse, ʻoiai e hoʻāʻo nei e pale i ka hoʻohana ʻana iā Kafka. Eia naʻe, pono e hoʻoponopono ʻia nā mea like ʻole liʻiliʻi, e like me nā pilikia hoʻonohonoho lāma mua o ka hiki ke hana me ka ʻole o ka papa proxy e hoʻololi i ka ʻikepili mai FluentBit i ClickHouse.

Ma kahi ʻokoʻa, hiki ke hoʻohana ʻia ʻo Kibana ma ke ʻano he ClickHouse backend grafana. Mai kaʻu mea i hoʻomaopopo ai, hiki i kēia ke hoʻopilikia i ka hana i ka wā e hāʻawi ai i nā helu helu he nui, ʻoi aku hoʻi me nā mana kahiko o Grafana. ʻAʻole mākou i hoʻāʻo i kēia ma Qwintry, akā ʻike ʻia nā hoʻopiʻi e pili ana i kēia i kēlā me kēia manawa ma ke kahawai kākoʻo ClickHouse ma Telegram.

Hoʻololi ʻia o Google Big Query a me Amazon RedShift (pane no nā hui nui)

ʻO ka hihia hoʻohana kūpono no BigQuery ʻo ka hoʻouka ʻana i 1 TB o ka ʻikepili JSON a holo i nā nīnau noiʻi ma luna. ʻO Big Query kahi huahana maikaʻi loa ʻaʻole hiki ke hoʻonui ʻia ka scalability. ʻOi aku ka paʻakikī o kēia polokalamu ma mua o ClickHouse, e holo ana ma kahi pūʻulu kūloko, akā mai ka manaʻo o ka mea kūʻai aku he nui nā mea like me ClickHouse. Hiki ke piʻi koke ʻo BigQuery i ka wā e hoʻomaka ai ʻoe e uku no SELECT, no laila, he hopena SaaS ʻoiaʻiʻo me kāna mau pono a me nā pōʻino.

ʻO ClickHouse ka koho maikaʻi loa inā e holo ana ʻoe i nā nīnau pili kālā. ʻOi aku ka nui o nā nīnau SELECT āu e holo ai i kēlā me kēia lā, ʻoi aku ka maikaʻi o ka hoʻololi ʻana iā Big Query me ClickHouse, no ka mea, hiki i kēlā ʻano hoʻololi ke hoʻopakele iā ʻoe i mau tausani kālā i ka wā e hiki mai ana i nā terabytes he nui o ka ʻikepili e hana ʻia. ʻAʻole pili kēia i ka ʻikepili i mālama ʻia, he mea maʻalahi loa ia e hana ma Big Query.

Ma kahi ʻatikala na Altinity co-founder Alexander Zaitsev "Ke hoʻololi nei iā ClickHouse" kamaʻilio e pili ana i nā pono o ia neʻe DBMS.

Hoʻololi ʻo TimescaleDB

ʻO TimescaleDB kahi hoʻonui PostgreSQL e hoʻonui i ka hana ʻana me ka timeseries time series i kahi waihona maʻamau (https://docs.timescale.com/v1.0/introduction, https://habr.com/ru/company/zabbix/blog/458530/).

ʻOiai ʻaʻole ʻo ClickHouse he mea hoʻokūkū koʻikoʻi i ka niche o ka manawa, akā ʻo ke ʻano columnar a me ka hoʻokō ʻana i nā nīnau vector, ʻoi aku ka wikiwiki ma mua o TimescaleDB i ka hapa nui o ka hoʻoili ʻana i nā nīnau noiʻi. I ka manawa like, ʻo ka hana o ka loaʻa ʻana o ka ʻikepili pūʻulu mai ClickHouse ma kahi o 3 mau manawa kiʻekiʻe, a hoʻohana pū ʻo ia i 20 mau manawa liʻiliʻi o ka disk, he mea nui loa ia no ka hoʻoili ʻana i nā puke nui o ka ʻikepili mōʻaukala: 
https://www.altinity.com/blog/ClickHouse-for-time-series.

ʻAʻole e like me ClickHouse, ʻo ke ala wale nō e mālama ai i kahi kikowaena disk ma TimescaleDB ʻo ia ka hoʻohana ʻana i ZFS a i ʻole nā ​​ʻōnaehana faila like.

ʻO nā mea hou e hiki mai ana i ClickHouse e hoʻokomo i ka delta compression, kahi e kūpono ai ia no ka hoʻoili ʻana a me ka mālama ʻana i ka ʻikepili manawa. He koho maikaʻi paha ʻo TimescaleDB ma mua o ClickHouse i kēia mau hihia:

  • nā mea hoʻokomo liʻiliʻi me ka RAM liʻiliʻi loa (<3 GB);
  • ka nui o nā INSERT liʻiliʻi ʻaʻole ʻoe makemake e pale i nā ʻāpana nui;
  • ʻoi aku ka maikaʻi o ke kūlike, ka like a me nā koi ACID;
  • Kākoʻo PostGIS;
  • e hui pū me nā papa ʻaina PostgreSQL, ʻoiai ʻo Timescale DB ka PostgreSQL.

Hoʻokūkū me nā ʻōnaehana Hadoop a me MapReduce

Hiki iā Hadoop a me nā huahana ʻē aʻe MapReduce ke hana i nā helu paʻakikī, akā e holo lākou me nā latencies nui. No laila, ʻoi aku ka maikaʻi o ClickHouse i ka hana wikiwiki ʻana i ka noiʻi analytical interactive, pono e hoihoi i nā ʻepekema data.

Hoʻokūkū me Pinot a me Druid

ʻO nā mea hoʻokūkū kokoke loa o ClickHouse he columnar, linearly scalable open source huahana Pinot a me Druid. Ua paʻi ʻia kahi hana maikaʻi e hoʻohālikelike ana i kēia mau ʻōnaehana ma ka ʻatikala Romana Leventova ka lā 1 Pepeluali 2018

Ke hoʻohana nei i ka Clickhouse i mea pani no ka ELK, Big Query a me TimescaleDB

Pono kēia ʻatikala e hoʻohou - ʻōlelo ʻia ʻaʻole kākoʻo ʻo ClickHouse i nā hana UPDATE a DELETE, ʻaʻole ia he ʻoiaʻiʻo loa no nā mana hou loa.

ʻAʻole nui kā mākou ʻike me kēia mau ʻikepili, akā ʻaʻole wau makemake nui i ka paʻakikī o ka ʻōnaehana e pono ai e holo Druid a me Pinot - he pūʻulu holoʻokoʻa o nā ʻāpana neʻe i hoʻopuni ʻia e Java ma nā ʻaoʻao āpau.

ʻO Druid a me Pinot nā papahana incubator Apache, ka holomua o ia mea i uhi ʻia e Apache ma kāna mau ʻaoʻao papahana GitHub. Ua ʻike ʻia ʻo Pinot i ka incubator i ʻOkakopa 2018, a ua hānau ʻia ʻo Druid 8 mau mahina ma mua - i Pepeluali.

ʻO ka nele o ka ʻike e pili ana i ke ʻano o ka hana ʻana o AFS i hāpai i kekahi mau nīnau naʻaupō paha iaʻu. Ke noʻonoʻo nei au inā ʻike nā mea kākau Pinot he ʻoi aku ka maikaʻi o ka Apache Foundation iā Druid, a inā paha ʻo kēia ʻano i ka mea hoʻokūkū ke kumu o ka lili? E lohi anei ka hoʻomohala ʻana o Druid a me ka wikiwiki o ka ulu ʻana o Pinot inā makemake koke nā mea kākoʻo o ka mea mua i ka hope?

Nā hemahema o ClickHouse

Immaturity: ʻOiaʻiʻo, ʻaʻole kēia he ʻenehana hōʻoluʻolu, akā i kekahi hihia, ʻaʻohe mea e like me kēia i ʻike ʻia i nā DBMS columnar ʻē aʻe.

ʻAʻole hana maikaʻi nā mea hoʻokomo liʻiliʻi i ka wikiwiki nui: pono e hoʻokaʻawale ʻia nā mea hoʻokomo i nā ʻāpana nui no ka mea e hoʻohaʻahaʻa ka hana o nā mea hoʻokomo liʻiliʻi i ka helu o nā kolamu i kēlā me kēia lālani. ʻO kēia ke ʻano o ka hoʻopaʻa ʻana o ClickHouse i ka ʻikepili ma ka disk - ʻo kēlā me kēia kolamu e hōʻike ana i 1 faila a ʻoi aku paha, no laila e hoʻokomo i ka lālani 1 i loko o nā kolamu 100, pono ʻoe e wehe a kākau ma kahi o 100 mau faila. ʻO ia ke kumu e pono ai ka hoʻokomo ʻana i kahi kanaka waena (koe ke hāʻawi ka mea kūʻai aku i ka buffering) - maʻamau ʻo Kafka a i ʻole kekahi ʻano ʻōnaehana hoʻokele pila. Hiki nō hoʻi iā ʻoe ke hoʻohana i ka mīkini papa ʻaina Buffer e kope i nā ʻāpana nui o ka ʻikepili i nā papa MergeTree.

Hoʻopili ʻia nā hui papa e ka RAM o ke kikowaena, akā aia lākou ma laila! No ka laʻana, ʻaʻohe pili like ʻo Druid a me Pinot, no ka mea paʻakikī lākou e hoʻokō pololei i nā ʻōnaehana puʻupuʻu ʻaʻole i kākoʻo i ka neʻe ʻana o nā ʻikepili nui ma waena o nā nodes.

haʻina

Hoʻolālā mākou e hoʻohana nui i ka ClickHouse ma Qwintry i nā makahiki e hiki mai ana, no ka mea, hāʻawi kēia DBMS i kahi kaulike maikaʻi o ka hana, haʻahaʻa haʻahaʻa, scalability a me ka maʻalahi. Manaʻo wau e hoʻomaka koke ia e laha i ka wā e piʻi mai ai ke kaiāulu ClickHouse me nā ala ʻē aʻe e hoʻohana ai iā ia i nā mea liʻiliʻi a i waena o ka nui.

Kekahi mau hoʻolaha 🙂

Mahalo no kou noho pū ʻana me mākou. Makemake ʻoe i kā mākou ʻatikala? Makemake ʻoe e ʻike i nā mea hoihoi hou aʻe? E kākoʻo iā mākou ma ke kau ʻana i kahi kauoha a i ʻole ka ʻōlelo ʻana i nā hoaaloha, cloud VPS no nā mea hoʻomohala mai $4.99, he analogue kū hoʻokahi o nā kikowaena hoʻokomo-level, i hana ʻia e mākou no ʻoe: ʻO ka ʻoiaʻiʻo holoʻokoʻa e pili ana iā VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps mai $ 19 a pehea e kaʻana like ai i kahi kikowaena? (loaʻa me RAID1 a me RAID10, a hiki i 24 cores a hiki i 40GB DDR4).

ʻO Dell R730xd 2 mau manawa maʻalahi ma Equinix Tier IV kikowaena data ma Amsterdam? Eia wale nō 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV mai $199 ma Netherlands! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - mai $99! Heluhelu e pili ana Pehea e kūkulu ai i ka ʻoihana ʻoihana. papa me ka hoʻohana 'ana o Dell R730xd E5-2650 v4 kikowaena waiwai 9000 euros no ka peni?

Source: www.habr.com

Pākuʻi i ka manaʻo hoʻopuka