jẹ eto iṣakoso ibi ipamọ data columnar orisun ṣiṣi fun sisẹ ibeere itupalẹ ori ayelujara (OLAP), ti a ṣẹda nipasẹ Yandex. O jẹ lilo nipasẹ Yandex, CloudFlare, VK.com, Badoo ati awọn iṣẹ miiran ni ayika agbaye lati ṣafipamọ data nla gaan (fifi sii ẹgbẹẹgbẹrun awọn ori ila fun iṣẹju kan tabi petabytes ti data ti o fipamọ sori disiki).
Ni deede, “okun” DBMS, awọn apẹẹrẹ eyiti o jẹ MySQL, Postgres, MS SQL Server, data ti wa ni ipamọ ni aṣẹ atẹle:
Ni ọran yii, awọn iye ti o jọmọ ila kan wa ni ipamọ ti ara nitosi. Ni awọn DBMS columnar, awọn iye lati oriṣiriṣi awọn ọwọn ti wa ni ipamọ lọtọ, ati data lati inu iwe kan ti wa ni ipamọ papọ:
Awọn apẹẹrẹ ti DBMS ti ọwọn ni Vertica, Paraccel (Actian Matrix, Amazon Redshift), Sybase IQ, Exasol, Infobright, InfiniDB, MonetDB (VectorWise, Actian Vector), LucidDB, SAP HANA, Google Dremel, Google PowerDrill, Druid, kdb+.
Ile-iṣẹ ifiranšẹ ifiweranṣẹ bẹrẹ lilo Clickhouse ni ọdun 2018 fun ijabọ ati pe o ni itara pupọ pẹlu ayedero rẹ, iwọn, atilẹyin SQL ati iyara. Iyara ti DBMS yii ni aala lori idan.
.Остота
Clickhouse ti fi sori ẹrọ lori Ubuntu pẹlu aṣẹ kan ṣoṣo. Ti o ba mọ SQL, o le lẹsẹkẹsẹ bẹrẹ lilo Clickhouse fun awọn aini rẹ. Sibẹsibẹ, eyi ko tumọ si pe o le ṣe “fihan tabili ṣẹda” ni MySQL ati daakọ-lẹẹmọ SQL ni Clickhouse.
Ti a ṣe afiwe si MySQL, awọn iyatọ iru data pataki wa ninu awọn asọye apẹrẹ tabili, nitorinaa iwọ yoo tun nilo akoko diẹ lati yi awọn asọye asọye tabili pada ki o kọ awọn ẹrọ tabili lati ni itunu.
Clickhouse ṣiṣẹ nla laisi sọfitiwia afikun eyikeyi, ṣugbọn ti o ba fẹ lo ẹda, iwọ yoo nilo lati fi sori ẹrọ ZooKeeper. Atupalẹ iṣẹ ṣiṣe ibeere fihan awọn abajade to dara julọ - awọn tabili eto ni gbogbo alaye naa ni, ati pe gbogbo data le ṣee gba pada nipa lilo SQL atijọ ati alaidun.
Ise sise
- awọn afiwera ti Clickhouse pẹlu Vertica ati MySQL lori iṣeto olupin: awọn iho meji Intel® Xeon® CPU E5-2650 v2 @ 2.60GHz; 128 GiB Ramu; md RAID-5 lori 8 6TB SATA HDD, ext4.
- lafiwe ti Clickhouse pẹlu Amazon RedShift ibi ipamọ awọsanma.
- Awọn arosọ bulọọgi :
Ibi ipamọ data ClickHouse ni apẹrẹ ti o rọrun pupọ - gbogbo awọn apa inu iṣupọ ni iṣẹ ṣiṣe kanna ati pe o lo ZooKeeper nikan fun isọdọkan. A kọ iṣupọ kekere ti ọpọlọpọ awọn apa ati ṣe idanwo, lakoko eyiti a rii pe eto naa ni iṣẹ ṣiṣe iwunilori pupọ, eyiti o ni ibamu si awọn anfani ti a sọ ni awọn ipilẹ DBMS itupalẹ. A pinnu lati wo diẹ si imọran lẹhin ClickHouse. Idiwo akọkọ si iwadii ni aini awọn irinṣẹ ati agbegbe ClickHouse kekere, nitorinaa a wọ inu apẹrẹ ti DBMS yii lati ni oye bi o ṣe n ṣiṣẹ.
ClickHouse ko ṣe atilẹyin gbigba data taara lati Kafka nitori pe o jẹ ibi ipamọ data nikan, nitorinaa a kowe iṣẹ ohun ti nmu badọgba tiwa ni Go. O ka Cap'n Proto awọn ifiranse koodu lati Kafka, yi wọn pada si TSV o si fi sii wọn sinu ClickHouse ni awọn ipele nipasẹ wiwo HTTP. Nigbamii a tun tun iṣẹ yii ṣe lati lo ile-ikawe Go ni apapo pẹlu wiwo ti ClickHouse lati mu ilọsiwaju ṣiṣẹ. Nigbati o ba n ṣe iṣiro iṣẹ ti gbigba awọn apo-iwe, a ṣe awari ohun pataki kan - o wa ni pe fun ClickHouse iṣẹ yii da lori iwọn ti apo, iyẹn ni, nọmba awọn ila ti a fi sii nigbakanna. Lati loye idi ti eyi fi ṣẹlẹ, a wo bii ClickHouse ṣe tọju data.
Ẹrọ akọkọ, tabi dipo ẹbi ti awọn ẹrọ tabili, ti ClickHouse lo lati tọju data jẹ MergeTree. Ẹrọ yii jẹ iru iru si algorithm LSM ti a lo ninu Google BigTable tabi Apache Cassandra, ṣugbọn yago fun kikọ tabili iranti agbedemeji ati kọ data taara si disk. Eyi n fun ni ni igbasilẹ kikọ ti o dara julọ, nitori apo-iwe kọọkan ti a fi sii jẹ lẹsẹsẹ nipasẹ bọtini akọkọ nikan, fisinuirindigbindigbin, ati kikọ si disk lati ṣẹda apakan kan.
Aisi tabili iranti tabi eyikeyi imọran ti “atunpa” ti data tun tumọ si pe wọn le ṣafikun nikan; eto naa ko ṣe atilẹyin iyipada tabi piparẹ. Lọwọlọwọ, ọna kan ṣoṣo lati pa data rẹ jẹ lati paarẹ nipasẹ oṣu kalẹnda, nitori awọn apakan ko kọja ala oṣu kan. Ẹgbẹ ClickHouse n ṣiṣẹ takuntakun lati jẹ ki ẹya yii jẹ isọdi. Ni apa keji, o jẹ ki kikọ ati dapọ awọn abala ariyanjiyan-ọfẹ, nitorinaa gba awọn irẹjẹ agbejade laini pẹlu nọmba awọn ifibọ nigbakanna titi I/O tabi itẹlọrun mojuto yoo waye.
Sibẹsibẹ, eyi tun tumọ si pe eto naa ko dara fun awọn apo-iwe kekere, nitorinaa awọn iṣẹ Kafka ati awọn ifibọ ni a lo fun buffering. Nigbamii, ClickHouse ni abẹlẹ tẹsiwaju lati ṣe iṣọpọ apakan nigbagbogbo, nitorinaa ọpọlọpọ awọn ege kekere ti alaye yoo ni idapo ati gbasilẹ awọn akoko diẹ sii, nitorinaa jijẹ kikankikan gbigbasilẹ. Bibẹẹkọ, ọpọlọpọ awọn ẹya ti a ko sopọ yoo fa fifalẹ ibinu ti awọn ifibọ niwọn igba ti apapọ ba tẹsiwaju. A ti rii pe adehun ti o dara julọ laarin ijẹ-akoko gidi ati iṣẹ ṣiṣe ingestion ni lati mu nọmba ti o lopin ti awọn ifibọ fun iṣẹju-aaya sinu tabili.
Bọtini si iṣẹ kika tabili jẹ titọka ati ipo data lori disiki. Laibikita bawo ni sisẹ naa ṣe yara to, nigbati ẹrọ naa nilo lati ṣayẹwo terabytes ti data lati disiki ati lo ipin kan nikan, yoo gba akoko. ClickHouse jẹ ile itaja ọwọn, nitorinaa apakan kọọkan ni faili kan fun iwe kọọkan (iwe) pẹlu awọn iye lẹsẹsẹ fun laini kọọkan. Ni ọna yii, gbogbo awọn ọwọn ti o padanu lati ibeere le jẹ foo ni akọkọ, lẹhinna ọpọlọpọ awọn sẹẹli le ṣee ṣe ni afiwe pẹlu ipaniyan vectorized. Lati yago fun ọlọjẹ kikun, apakan kọọkan ni faili atọka kekere kan.
Fun pe gbogbo awọn ọwọn ti wa ni lẹsẹsẹ nipasẹ “bọtini akọkọ”, faili atọka nikan ni awọn akole (awọn ori ila ti o ya) ti gbogbo ila Nth lati ni anfani lati tọju wọn ni iranti paapaa fun awọn tabili nla pupọ. Fun apẹẹrẹ, o le ṣeto awọn eto aiyipada si “samisi ni gbogbo ila 8192nd”, lẹhinna itọka “diẹ” ti tabili kan pẹlu 1 aimọye. awọn ila ti o ni irọrun sinu iranti yoo gba awọn ohun kikọ 122 nikan.
Idagbasoke System
Awọn idagbasoke ati ilọsiwaju ti Clickhouse le wa ni itopase ni ati rii daju pe ilana ti “dagba” waye ni iyara iyalẹnu.
Gbale
Òkìkí Clickhouse dà bí ẹni pé ó ń dàgbà lọ́pọ̀lọpọ̀, ní pàtàkì ní àwùjọ tí ń sọ èdè Rọ́ṣíà. Apejọ 2018 giga ti ọdun to kọja (Moscow, Oṣu kọkanla 8-9, 2018) fihan pe iru awọn ohun ibanilẹru bii vk.com ati Badoo lo Clickhouse, pẹlu eyiti wọn fi data sii (fun apẹẹrẹ, awọn akọọlẹ) lati ẹgbẹẹgbẹrun awọn olupin ni nigbakannaa. Ni a 40 iseju fidio . Laipẹ a yoo fi iwe-kikọ silẹ sori Habr fun irọrun ti ṣiṣẹ pẹlu ohun elo naa.
Awọn agbegbe lilo
Lẹhin lilo diẹ ninu awọn iwadii akoko, Mo ro pe awọn agbegbe wa nibiti ClickHouse le wulo tabi o le rọpo patapata miiran, aṣa diẹ sii ati awọn solusan olokiki bii MySQL, PostgreSQL, ELK, Google Big Query, Amazon RedShift, TimescaleDB, Hadoop, MapReduce, Pinot ati Druid. Atẹle ṣe apejuwe awọn alaye ti lilo ClickHouse lati ṣe imudojuiwọn tabi rọpo DBMS ti o wa loke patapata.
Fifẹ awọn agbara ti MySQL ati PostgreSQL
Laipẹ a rọpo MySQL apakan pẹlu ClickHouse fun pẹpẹ iwe iroyin wa . Iṣoro naa ni pe MySQL, nitori apẹrẹ ti ko dara, n wọle gbogbo imeeli ti a firanṣẹ ati gbogbo ọna asopọ ninu imeeli yẹn pẹlu hash base64, ṣiṣẹda tabili MySQL nla kan (email_stats). Lẹhin fifiranṣẹ awọn apamọ 10 milionu nikan si awọn alabapin iṣẹ, tabili yii gba 150 GB ti aaye faili, ati MySQL bẹrẹ si jẹ "aṣiwere" lori awọn ibeere ti o rọrun. Lati ṣatunṣe ọran aaye aaye faili, a ni aṣeyọri lo funmorawon tabili InnoDB eyiti o dinku nipasẹ ipin kan ti 4. Sibẹsibẹ, ko tun ni oye lati tọju diẹ sii ju awọn apamọ imeeli 20-30 milionu ni MySQL nikan nitori kika itan-akọọlẹ, nitori eyikeyi ibeere ti o rọrun pe fun idi kan nilo lati ṣe awọn abajade ọlọjẹ ni kikun ni swap ati pupọ I / Eyin fifuye, ni ibamu si nipa eyi ti a nigbagbogbo gba ikilo lati Zabbix.
Clickhouse nlo awọn algoridimu funmorawon meji ti o dinku iwọn data nipa isunmọ , sugbon ni yi pato nla awọn data je paapa "compressible".
Rọpo ELK
Da lori iriri ti ara mi, akopọ ELK (ElasticSearch, Logstash ati Kibana, ninu ọran pataki yii ElasticSearch) nilo awọn orisun pupọ diẹ sii lati ṣiṣẹ ju iwulo lati tọju awọn akọọlẹ lọ. ElasticSearch jẹ ẹrọ nla ti o ba nilo wiwa iwe-ọrọ ni kikun ti o dara (eyiti Emi ko ro pe o nilo gaan), ṣugbọn Mo n iyalẹnu idi ti o ti di ẹrọ gedu boṣewa de facto. Iṣe ingest rẹ ni idapo pẹlu Logstash fun wa ni awọn iṣoro paapaa labẹ awọn ẹru ina to peye ati pe o nilo wa lati ṣafikun Ramu diẹ sii ati aaye disk. Gẹgẹbi data data, Clickhouse dara ju ElasticSearch fun awọn idi wọnyi:
- atilẹyin ede SQL;
- Iwọn ti o dara julọ ti funmorawon ti data ti o fipamọ;
- Atilẹyin fun awọn wiwa ikosile deede Regex dipo awọn wiwa ọrọ ni kikun;
- Ilọsiwaju ṣiṣe eto ibeere ati iṣẹ ṣiṣe gbogbogbo ti o ga julọ.
Lọwọlọwọ, iṣoro ti o tobi julọ ti o dide nigbati o ba ṣe afiwe ClickHouse pẹlu ELK ni aini awọn solusan fun ikojọpọ awọn akọọlẹ, ati aini awọn iwe ati awọn ikẹkọ lori koko naa. Pẹlupẹlu, olumulo kọọkan le tunto ELK nipa lilo itọnisọna Digital Ocean, eyiti o ṣe pataki pupọ fun imuse iyara ti iru awọn imọ-ẹrọ. Ẹrọ data data wa, ṣugbọn ko si Filebeat fun ClickHouse sibẹsibẹ. Bẹẹni, o wa nibẹ ati eto fun ṣiṣẹ pẹlu awọn àkọọlẹ , irinṣẹ kan wa lati tẹ data faili log sinu ClickHouse, ṣugbọn gbogbo eyi gba akoko diẹ sii. Sibẹsibẹ, ClickHouse tun jẹ oludari nitori ayedero rẹ, nitorinaa paapaa awọn olubere le fi sori ẹrọ ni irọrun ati bẹrẹ lilo ni iṣẹ ṣiṣe ni kikun ni iṣẹju mẹwa 10.
Nifẹ awọn solusan minimalist, Mo gbiyanju lati lo FluentBit, ohun elo fun awọn iwe gbigbe pẹlu iranti kekere pupọ, pẹlu ClickHouse, lakoko ti o n gbiyanju lati yago fun lilo Kafka. Sibẹsibẹ, awọn aiṣedeede kekere nilo lati koju, gẹgẹbi ṣaaju ki eyi le ṣee ṣe laisi Layer aṣoju ti o yi data pada lati FluentBit si ClickHouse.
Bi yiyan, Kibana le ṣee lo bi a ClickHouse backend . Lati ohun ti Mo loye, eyi le fa awọn ọran iṣẹ nigbati o n ṣe awọn nọmba nla ti awọn aaye data, ni pataki pẹlu awọn ẹya agbalagba ti Grafana. A ko gbiyanju eyi ni Qwintry sibẹsibẹ, ṣugbọn awọn ẹdun nipa eyi han lati igba de igba lori ikanni atilẹyin ClickHouse ni Telegram.
Rirọpo ti Google Big Query ati Amazon RedShift (ojutu fun awọn ile-iṣẹ nla)
Ọran lilo ti o dara julọ fun BigQuery ni lati kojọpọ 1 TB ti data JSON ati ṣiṣe awọn ibeere itupalẹ lori rẹ. Ibeere nla jẹ ọja ti o tayọ ti iwọn rẹ ko le ṣe apọju. Eyi jẹ sọfitiwia eka pupọ ju ClickHouse lọ, eyiti o ṣiṣẹ lori iṣupọ inu, ṣugbọn lati oju wiwo alabara o ni ọpọlọpọ ni wọpọ pẹlu ClickHouse. BigQuery le ni gbowolori ni iyara ni kete ti o bẹrẹ isanwo fun Yan, nitorinaa o jẹ ojuutu SaaS otitọ pẹlu gbogbo awọn anfani ati awọn konsi rẹ.
ClickHouse jẹ yiyan ti o dara julọ nigbati o nṣiṣẹ ọpọlọpọ awọn ibeere idiyele idiyele iṣiro. Awọn ibeere Yan diẹ sii ti o nṣiṣẹ lojoojumọ, diẹ sii o jẹ oye lati rọpo Big Query pẹlu ClickHouse, nitori iru rirọpo le gba ọ ni ẹgbẹẹgbẹrun dọla nigbati o ba de ọpọlọpọ terabytes ti data ti n ṣiṣẹ. Eyi ko kan data ti o fipamọ, eyiti o jẹ olowo poku lati ṣe ilana ni Ibeere nla.
Ninu nkan kan nipasẹ Altinity àjọ-oludasile Alexander Zaitsev sọrọ nipa awọn anfani ti iru iṣilọ DBMS kan.
TimecaleDB rirọpo
TimescaleDB jẹ ifaagun PostgreSQL ti o mu iṣẹ ṣiṣe pọ si pẹlu jara akoko ni ibi ipamọ data deede (, ).
Botilẹjẹpe ClickHouse kii ṣe oludije to ṣe pataki ni onakan ti jara akoko, ṣugbọn ọna ọwọn ati ipaniyan ibeere fekito, o yara pupọ ju TimescaleDB ni ọpọlọpọ awọn ọran ti sisẹ ibeere itupalẹ. Ni akoko kanna, iṣẹ ti gbigba data ipele lati ClickHouse jẹ isunmọ awọn akoko 3 ti o ga julọ, ati pe o tun lo awọn akoko 20 kere si aaye disk, eyiti o ṣe pataki gaan fun sisẹ awọn ipele nla ti data itan: .
Ko dabi ClickHouse, ọna kan ṣoṣo lati fipamọ diẹ ninu aaye disk ni TimescaleDB ni lati lo ZFS tabi awọn ọna ṣiṣe faili ti o jọra.
Awọn imudojuiwọn ti n bọ si ClickHouse yoo ṣe agbekalẹ funmorawon delta, eyiti yoo jẹ ki o dara paapaa fun sisẹ ati titoju data jara akoko. TimescaleDB le jẹ yiyan ti o dara julọ ju ClickHouse igboro ni awọn ọran wọnyi:
- awọn fifi sori ẹrọ kekere pẹlu Ramu kekere pupọ (<3 GB);
- nọmba nla ti awọn INSERT kekere ti o ko fẹ lati fi sinu awọn ajẹkù nla;
- dara aitasera, uniformity ati ACID awọn ibeere;
- PostGIS atilẹyin;
- didapọ mọ awọn tabili PostgreSQL ti o wa tẹlẹ, nitori Timescale DB jẹ pataki PostgreSQL.
Idije pẹlu Hadoop ati MapReduce awọn ọna šiše
Hadoop ati awọn miiran MapReduce awọn ọja le ṣe kan pupo ti eka isiro, sugbon ti won ṣọ lati ṣiṣe pẹlu tobi latencies ClickHouse atunse isoro yi nipa sisẹ terabytes ti data ati producing awọn esi fere lesekese. Nitorinaa, ClickHouse jẹ imunadoko diẹ sii ni ṣiṣe iyara, iwadii itupalẹ ibaraenisepo, eyiti o yẹ ki o jẹ iwulo si awọn onimọ-jinlẹ data.
Idije pẹlu Pinot ati Druid
Awọn oludije to sunmọ ClickHouse jẹ ọwọn, awọn ọja orisun ṣiṣi ti iwọn laini Pinot ati Druid. Iṣẹ ti o tayọ ti o ṣe afiwe awọn eto wọnyi ni a tẹjade ninu nkan naa ọjọ Kínní 1, 2018
Nkan yii nilo imudojuiwọn - o sọ pe ClickHouse ko ṣe atilẹyin imudojuiwọn ati awọn iṣẹ DELETE, eyiti kii ṣe otitọ patapata fun awọn ẹya tuntun.
A ko ni iriri pupọ pẹlu awọn apoti isura infomesonu wọnyi, ṣugbọn Emi ko fẹran pupọ ti awọn amayederun ti o nilo lati ṣiṣẹ Druid ati Pinot - o jẹ gbogbo opo ti awọn ẹya gbigbe ti Java yika ni gbogbo awọn ẹgbẹ.
Druid ati Pinot jẹ awọn iṣẹ akanṣe incubator Apache, ilọsiwaju eyiti o bo ni kikun nipasẹ Apache lori awọn oju-iwe iṣẹ akanṣe GitHub rẹ. Pinot han ninu incubator ni Oṣu Kẹwa ọdun 2018, ati pe Druid ni a bi ni oṣu 8 sẹyin - ni Kínní.
Aini alaye nipa bi AFS ṣe n ṣiṣẹ gbe diẹ ninu awọn, ati boya aṣiwere, awọn ibeere fun mi. Mo ṣe iyalẹnu boya awọn onkọwe Pinot ṣe akiyesi pe Apache Foundation jẹ ọjo diẹ sii si Druid, ati boya ihuwasi yii si oludije fa rilara ilara? Njẹ idagbasoke Druid yoo fa fifalẹ ati idagbasoke Pinot ni iyara ti awọn alatilẹyin ti iṣaaju naa lojiji nifẹ si igbehin?
Awọn alailanfani ti ClickHouse
Immaturity: O han ni, eyi kii ṣe imọ-ẹrọ alaidun, ṣugbọn ni eyikeyi ọran, ko si iru eyi ti a ṣe akiyesi ni awọn DBMS columnar miiran.
Awọn ifibọ kekere ko ṣe daradara ni iyara giga: awọn ifibọ gbọdọ wa ni pin si awọn ege ti o tobi ju nitori iṣẹ ti awọn ifibọ kekere dinku ni ibamu si nọmba awọn ọwọn ni ila kọọkan. Eyi ni bii ClickHouse ṣe tọju data lori disiki - iwe kọọkan duro fun faili 1 tabi diẹ sii, nitorinaa lati fi sii ila kan ti o ni awọn ọwọn 1, o nilo lati ṣii ati kọ o kere ju awọn faili 100. Eyi ni idi ti awọn ifibọ ifibọ nilo agbedemeji (ayafi ti alabara funrararẹ pese ifipamọ) - nigbagbogbo Kafka tabi iru eto iṣakoso isinyi. O tun le lo ẹrọ tabili Buffer lati daakọ awọn chunks nla ti data nigbamii sinu awọn tabili MergeTree.
Table parapo wa ni opin nipasẹ awọn olupin ká Ramu, sugbon o kere ti won ba wa nibẹ! Fun apẹẹrẹ, Druid ati Pinot ko ni iru awọn asopọ bẹ rara, nitori wọn nira lati ṣe taara ni awọn eto pinpin ti ko ṣe atilẹyin gbigbe awọn chunks nla ti data laarin awọn apa.
awari
A gbero lati lo ClickHouse lọpọlọpọ ni Qwintry ni awọn ọdun to nbọ, nitori DBMS yii n pese iwọntunwọnsi iṣẹ ṣiṣe ti o dara julọ, iwọn kekere, iwọn ati ayedero. Mo ni idaniloju pe yoo bẹrẹ lati tan kaakiri ni kete ti agbegbe ClickHouse ba wa pẹlu awọn ọna diẹ sii lati lo ni awọn fifi sori ẹrọ kekere si aarin.
Diẹ ninu awọn ipolowo 🙂
O ṣeun fun gbigbe pẹlu wa. Ṣe o fẹran awọn nkan wa? Ṣe o fẹ lati rii akoonu ti o nifẹ si diẹ sii? Ṣe atilẹyin fun wa nipa gbigbe aṣẹ tabi iṣeduro si awọn ọrẹ, , afọwọṣe alailẹgbẹ ti awọn olupin ipele-iwọle, eyiti a ṣẹda nipasẹ wa fun ọ: (wa pẹlu RAID1 ati RAID10, to awọn ohun kohun 24 ati to 40GB DDR4).
Dell R730xd 2x din owo ni Equinix Tier IV ile-iṣẹ data ni Amsterdam? Nikan nibi ni Netherlands! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - lati $99! Ka nipa
orisun: www.habr.com