hija sistema ta 'ġestjoni tad-database kolonni open-source għall-ipproċessar tal-mistoqsijiet analitiċi onlajn (OLAP) maħluqa minn Yandex. Jintuża minn Yandex, CloudFlare, VK.com, Badoo u servizzi oħra madwar id-dinja biex jaħżnu ammonti tassew kbar ta 'data (inserzjoni ta' eluf ta 'ringieli kull sekonda jew petabytes ta' data maħżuna fuq disk).
F'DBMS normali, "string", li eżempji tagħhom huma MySQL, Postgres, MS SQL Server, id-dejta tinħażen f'din l-ordni:
F'dan il-każ, il-valuri relatati ma 'ringiela waħda huma fiżikament maħżuna ħdejn xulxin. F'DBMS kolonni, il-valuri minn kolonni differenti huma maħżuna separatament, u d-dejta ta 'kolonna waħda tinħażen flimkien:
Eżempji ta’ DBMSs kolonni huma Vertica, Paraccel (Actian Matrix, Amazon Redshift), Sybase IQ, Exasol, Infobright, InfiniDB, MonetDB (VectorWise, Actian Vector), LucidDB, SAP HANA, Google Dremel, Google PowerDrill, Druid, kdb+.
Il-kumpanija hija speditur tal-posta Bdejt nuża Clickhouse fl-2018 għar-rappurtar u kont impressjonat ħafna bis-sempliċità, l-iskalabbiltà, l-appoġġ SQL u l-veloċità tagħha. Il-veloċità ta 'dan id-DBMS kienet tmiss mal-maġija.
Is-sempliċità
Clickhouse jinstalla fuq Ubuntu bi kmand wieħed. Jekk taf l-SQL, tista' immedjatament tibda tuża Clickhouse għall-bżonnijiet tiegħek. Madankollu, dan ma jfissirx li inti tista '"turi toħloq tabella" fil-MySQL u tikkopja-pejst SQL fi Clickhouse.
Meta mqabbel mal-MySQL, hemm differenzi importanti fit-tip tad-dejta fid-definizzjonijiet tal-iskema tat-tabella f'dan id-DBMS, għalhekk għad għandek bżonn xi żmien biex tibdel id-definizzjonijiet tal-iskema tat-tabella u titgħallem il-magni tat-tabella biex tkun komdu.
Clickhouse jaħdem tajjeb mingħajr ebda softwer addizzjonali, imma jekk trid tuża replikazzjoni, ikollok bżonn tinstalla ZooKeeper. L-analiżi tal-prestazzjoni tal-mistoqsijiet turi riżultati eċċellenti - it-tabelli tas-sistema fihom l-informazzjoni kollha, u d-dejta kollha tista 'tinkiseb bl-użu ta' SQL antik u boring.
Produttività
- Clickhouse versus paraguni Vertica u MySQL fuq server ta 'konfigurazzjoni: żewġ sockets Intel® Xeon® CPU E5-2650 v2 @ 2.60GHz; 128 GiB RAM; md RAID-5 fuq 8 6TB SATA HDD, ext4.
- paragun ta' Clickhouse mal-ħażna tas-sħab ta' Amazon RedShift.
- Siltiet tal-blog :
Id-database ClickHouse għandha disinn sempliċi ħafna - in-nodi kollha fil-cluster għandhom l-istess funzjonalità u jużaw ZooKeeper biss għall-koordinazzjoni. Bnejna grupp żgħir ta 'diversi nodi u wettaqna ttestjar, li matulu sibna li s-sistema għandha prestazzjoni pjuttost impressjonanti, li tikkorrispondi għall-vantaġġi ddikjarati f'benchmarks analitiċi tad-DBMS. Iddeċidejna li nagħtu ħarsa aktar mill-qrib lejn il-kunċett wara ClickHouse. L-ewwel ostaklu għar-riċerka kien in-nuqqas ta 'għodod u l-komunità żgħira ta' ClickHouse, għalhekk aħna mdaħħla fid-disinn ta 'dan id-DBMS biex nifhmu kif taħdem.
ClickHouse ma jappoġġjax li tirċievi dejta direttament minn Kafka, peress li hija biss database, għalhekk ktibna s-servizz tal-adapter tagħna stess f'Go. Qari messaġġi kodifikati Cap'n Proto minn Kafka, ikkonvertihom għal TSV, u daħħalhom f'ClickHouse f'lottijiet permezz tal-interface HTTP. Aktar tard ktibna mill-ġdid dan is-servizz biex nużaw il-librerija Go flimkien mal-interface ClickHouse tagħna stess biex intejbu l-prestazzjoni. Meta evalwaw il-prestazzjoni tar-riċeviment ta 'pakketti, skoprejna ħaġa importanti - irriżulta li għal ClickHouse din il-prestazzjoni tiddependi ħafna fuq id-daqs tal-pakkett, jiġifieri, in-numru ta' ringieli mdaħħla fl-istess ħin. Biex nifhmu għaliex jiġri dan, studjajna kif ClickHouse jaħżen id-dejta.
Il-magna ewlenija, jew aħjar, familja ta 'magni tal-mejda użati minn ClickHouse għall-ħażna tad-dejta, hija MergeTree. Din il-magna hija kunċettwalment simili għall-algoritmu LSM użat f'Google BigTable jew Apache Cassandra, iżda tevita li tibni tabella tal-memorja intermedja u tikteb id-dejta direttament fuq id-diska. Dan jagħtiha throughput ta 'kitba eċċellenti, peress li kull pakkett imdaħħal huwa magħżul biss mill-ċavetta primarja "ċavetta primarja", ikkompressat, u miktub fuq disk biex jiffurmaw segment.
In-nuqqas ta 'tabella tal-memorja jew kwalunkwe kunċett ta' "freskezza" tad-data jfisser ukoll li jistgħu jiġu miżjuda biss, is-sistema ma tappoġġjax tibdil jew tħassir. Mil-lum, l-uniku mod biex titħassar id-dejta huwa li titħassar b'xahar kalendarju, peress li s-segmenti qatt ma jaqsmu l-konfini ta 'xahar. It-tim ta' ClickHouse qed jaħdem b'mod attiv biex jagħmel din il-karatteristika personalizzabbli. Min-naħa l-oħra, tagħmel il-kitba u l-għaqda tas-segmenti mingħajr kunflitt, għalhekk tirċievi skali tal-fluss b'mod lineari man-numru ta 'inserzjonijiet paralleli sakemm I/O jew qlub jissaturaw.
Madankollu, din iċ-ċirkustanza tfisser ukoll li s-sistema mhix adattata għal pakketti żgħar, għalhekk is-servizzi u l-inserers Kafka jintużaw għall-buffering. Barra minn hekk, ClickHouse fl-isfond tkompli tgħaqqad is-segmenti kontinwament, sabiex ħafna biċċiet żgħar ta 'informazzjoni jiġu kkombinati u rreġistrati aktar drabi, u b'hekk tiżdied l-intensità tar-reġistrazzjoni. Madankollu, wisq partijiet mhux relatati se jikkawżaw throttling aggressiv ta 'inserzjonijiet sakemm l-għaqda tkompli. Sibna li l-aħjar kompromess bejn l-inġestjoni tad-dejta f'ħin reali u l-prestazzjoni tal-inġestjoni huwa li jiġi aċċettat numru limitat ta' inserzjonijiet kull sekonda fit-tabella.
Iċ-ċavetta għall-prestazzjoni tal-qari tal-mejda hija l-indiċjar u l-post tad-dejta fuq id-diska. Ma jimpurtax kemm hu mgħaġġel l-ipproċessar, meta l-magna teħtieġ tiskennja terabytes ta 'dejta mid-disk u tuża biss frazzjoni minnha, se tieħu ż-żmien. ClickHouse huwa maħżen tal-kolonni, għalhekk kull segment fih fajl għal kull kolonna (kolonna) b'valuri magħżula għal kull ringiela. Għalhekk, kolonni sħaħ mhux preżenti fil-mistoqsija jistgħu l-ewwel jinqabżu, u mbagħad ċelloli multipli jistgħu jiġu pproċessati b'mod parallel ma 'eżekuzzjoni vettorizzata. Biex jiġi evitat skan sħiħ, kull segment għandu fajl indiċi żgħir.
Minħabba li l-kolonni kollha huma magħżula biċ-"ċavetta primarja", il-fajl tal-indiċi fih biss it-tikketti (ringieli maqbuda) ta 'kull Nth filliera, sabiex ikunu jistgħu jżommuhom fil-memorja anke għal tabelli kbar ħafna. Pereżempju, tista 'tissettja s-settings awtomatiċi biex "immarka kull ringiela 8192", imbagħad indiċjar "minn" ta' tabella b'1 triljun. linji li jidħlu faċilment fil-memorja jieħdu biss 122 karattru.
Żvilupp tas-sistema
L-iżvilupp u t-titjib ta 'Clickhouse jistgħu jiġu rintraċċati fuq u kun żgur li l-proċess ta '"tkabbir" qed iseħħ b'pass impressjonanti.
Popolarità
Jidher li l-popolarità ta’ Clickhouse qed tikber b’mod esponenzjali, speċjalment fil-komunità li titkellem bir-Russu. Il-konferenza High load 2018 tas-sena l-oħra (Moska, 8-9 Novembru, 2018) wriet li monsters bħal vk.com u Badoo jużaw Clickhouse, li jdaħħal data (per eżempju, zkuk) minn għexieren ta 'eluf ta' servers simultanjament. F'filmat ta' 40 minuta . Dalwaqt se npoġġu t-traskrizzjoni fuq Habr għall-konvenjenza li naħdmu mal-materjal.
Oqsma ta 'applikazzjoni
Wara li qattajt xi żmien tirriċerka, naħseb li hemm oqsma fejn ClickHouse jista' jkun utli jew kapaċi jissostitwixxi kompletament soluzzjonijiet oħra aktar tradizzjonali u popolari bħal MySQL, PostgreSQL, ELK, Google Big Query, Amazon RedShift, TimescaleDB, Hadoop, MapReduce, Pinot u Druid. Dawn li ġejjin huma d-dettalji tal-użu ta' ClickHouse biex taġġorna jew tissostitwixxi kompletament id-DBMS ta' hawn fuq.
L-estensjoni ta' MySQL u PostgreSQL
L-aktar reċentement, aħna ssostitwijna parzjalment MySQL ma 'ClickHouse għall-pjattaforma tan-newsletter . Il-problema kienet li MySQL minħabba disinn ħażin illoggjat kull email mibgħuta u kull link f'dik l-email b'hash base64, u ħolqot tabella MySQL enormi (email_stats). Wara li bagħtet biss 10 miljun email lill-abbonati tas-servizz, din it-tabella okkupat 150 GB ta 'spazju tal-fajls, u MySQL beda "stupid" fuq mistoqsijiet sempliċi. Biex nirranġaw il-kwistjoni tal-ispazju tal-fajls, użajna b'suċċess il-kompressjoni tat-tabella InnoDB, li naqqsetha b'fattur ta '4. Madankollu, għadu ma jagħmilx sens li taħżen aktar minn 20-30 miljun email fil-MySQL biss għall-fini tal-qari tal-istorja, peress li kwalunkwe mistoqsija sempliċi li għal xi raġuni trid tagħmel skan sħiħ tirriżulta fi tpartit u I/O tqal. overhead, li dwarhom irċevejna regolarment twissijiet ta’ Zabbix.
Clickhouse juża żewġ algoritmi ta 'kompressjoni li jnaqqsu l-ammont ta' dejta b'madwar , iżda f'dan il-każ partikolari, id-dejta kienet speċjalment "kompressibbli".
Sostituzzjoni ELK
Ibbażat fuq l-esperjenza tiegħi stess, il-munzell ELK (ElasticSearch, Logstash u Kibana, f'dan il-każ partikolari ElasticSearch) jeħtieġ ħafna aktar riżorsi biex jaħdem milli huwa meħtieġ biex jaħżnu zkuk. ElasticSearch hija magna kbira jekk trid tfittxija tajba fil-log b'test sħiħ (li ma naħsibx li verament għandek bżonn), imma qed nistaqsi għaliex saret il-magna tal-logging standard de facto. Il-prestazzjoni tal-inġestjoni tagħha, flimkien ma 'Logstash, tatna problemi anke f'piżijiet ta' xogħol pjuttost ħfief u ħtieġet iż-żieda ta 'RAM u aktar spazju fuq disk. Bħala database, Clickhouse hija aħjar minn ElasticSearch għar-raġunijiet li ġejjin:
- Appoġġ għad-djalett SQL;
- L-aħjar grad ta 'kompressjoni ta' data maħżuna;
- Appoġġ għal tfittxija Regex minflok tfittxija b'test sħiħ;
- Skedar imtejjeb tal-mistoqsijiet u prestazzjoni ġenerali aħjar.
Bħalissa, l-akbar problema li tqum meta tqabbel ClickHouse ma 'ELK hija n-nuqqas ta' soluzzjonijiet għat-tlugħ ta 'zkuk, kif ukoll in-nuqqas ta' dokumentazzjoni u tutorials dwar dan is-suġġett. Fl-istess ħin, kull utent jista 'jwaqqaf ELK billi juża l-manwal tal-Oċean Diġitali, li huwa importanti ħafna għall-implimentazzjoni rapida ta' teknoloġiji bħal dawn. Hemm magna tad-database hawn, iżda għad m'hemm l-ebda Filebeat għal ClickHouse. Iva hemm u sistema ta' ħidma maz-zkuk , hemm għodda biex iddaħħal id-dejta tal-fajl tal-ġurnal fi ClickHouse, iżda dan kollu jieħu aktar ħin. Madankollu, ClickHouse għadha tmexxi t-triq minħabba s-sempliċità tagħha, għalhekk anke dawk li jibdew jistgħu faċilment jinstallawha u jibdew l-użu kompletament funzjonali f'10 minuti biss.
Billi ppreferejt soluzzjonijiet minimalisti, ippruvajt nuża FluentBit, għodda ta' upload ta' log tal-memorja baxxa ħafna, ma' ClickHouse filwaqt li ppruvajt nevita li nuża Kafka. Madankollu, jeħtieġ li jiġu indirizzati inkompatibilitajiet minuri, bħal qabel ma jista 'jsir mingħajr is-saff ta' prokura li jikkonverti d-dejta minn FluentBit għal ClickHouse.
Bħala alternattiva għal Kibana, tista 'tuża ClickHouse bħala backend . Sa fejn nifhem, dan jista 'jikkawża problemi ta' prestazzjoni meta tirrendi numru kbir ta 'punti tad-dejta, speċjalment b'verżjonijiet anzjani ta' Grafana. F'Qwintry, għadna ma ppruvajnax dan, iżda l-ilmenti dwar dan jidhru minn żmien għal żmien fuq il-kanal ta' appoġġ ClickHouse f'Telegram.
Sostituzzjoni ta' Google Big Query u Amazon RedShift (soluzzjoni għal kumpaniji kbar)
Il-każ ta' użu ideali għal BigQuery huwa li tgħabbi 1TB ta' dejta JSON u tmexxi mistoqsijiet analitiċi fuqha. Big Query huwa prodott kbir li l-iskalabbiltà tiegħu hija diffiċli biex tiġi stmata żżejjed. Dan huwa softwer ħafna aktar kumpless minn ClickHouse li jaħdem fuq cluster intern, iżda mill-aspett tal-klijent, għandu ħafna komuni ma' ClickHouse. BigQuery jista 'malajr "jgħolli l-prezz" ladarba tibda tħallas għal kull SELECT, għalhekk hija soluzzjoni SaaS reali bil-vantaġġi u l-iżvantaġġi kollha tagħha.
ClickHouse hija l-aħjar għażla meta tmexxi ħafna mistoqsijiet li jiswew ħafna flus. Iktar ma tmexxi mistoqsijiet SELECT kuljum, aktar tagħmel punt li tissostitwixxi Big Query ma' ClickHouse, minħabba li sostituzzjoni bħal din tiffranka eluf ta' dollari meta niġu għal ħafna terabytes ta' dejta li tkun qed tiġi pproċessata. Dan ma japplikax għad-dejta maħżuna, li hija pjuttost irħisa biex tiġi pproċessata fi Big Query.
F'artiklu ta' Alexander Zaitsev, ko-fundatur ta' Altinity jiddeskrivi l-benefiċċji ta 'tali migrazzjoni DBMS.
TimescaleDB Sostituzzjoni
TimescaleDB hija estensjoni PostgreSQL li tottimizza l-ħidma ma 'serje ta' ħin f'database regolari (, ).
Għalkemm ClickHouse mhix kompetitur serju fin-niċċa tas-serje taż-żmien, iżda f'termini ta 'struttura kolonni u eżekuzzjoni ta' mistoqsija vettur, hija ħafna aktar mgħaġġla minn TimescaleDB f'ħafna każijiet ta 'pproċessar ta' mistoqsijiet analitiċi. Fl-istess ħin, il-prestazzjoni li tirċievi dejta tal-pakkett ClickHouse hija madwar 3 darbiet ogħla, barra minn hekk, tuża 20 darba inqas spazju fuq id-diska, li hija tassew importanti għall-ipproċessar ta 'volumi kbar ta' dejta storika: .
B'differenza minn ClickHouse, l-uniku mod biex tiffranka xi spazju fuq id-diska f'TimescaleDB huwa li tuża ZFS jew sistemi ta 'fajls simili.
L-aġġornamenti li ġejjin għal ClickHouse x'aktarx se jintroduċu kompressjoni delta, li tagħmilha saħansitra aktar adattata għall-ipproċessar u l-ħażna tad-dejta tas-serje tal-ħin. TimescaleDB jista 'jkun għażla aħjar minn ClickHouse vojta fil-każijiet li ġejjin:
- installazzjonijiet żgħar bi ftit RAM (<3 GB);
- numru kbir ta 'INSERTS żgħar li inti ma tridx buffer fi frammenti kbar;
- rekwiżiti aħjar ta' konsistenza, uniformità u ACID;
- appoġġ PostGIS;
- jingħaqdu ma 'tabelli PostgreSQL eżistenti, peress li Timescale DB huwa essenzjalment PostgreSQL.
Kompetizzjoni mas-sistemi Hadoop u MapReduce
Hadoop u prodotti oħra ta' MapReduce jistgħu jwettqu ħafna kalkoli kumplessi, iżda għandhom it-tendenza li jaħdmu b'latenza kbira. ClickHouse issolvi din il-problema billi tipproċessa terabytes ta' dejta u tipproduċi riżultati kważi istantanjament. Għalhekk, ClickHouse hija ħafna aktar effiċjenti biex twettaq riċerka analitika rapida u interattiva, li għandha tkun ta 'interess għax-xjenzati tad-dejta.
Kompetizzjoni ma' Pinot u Druid
L-eqreb kompetituri ta 'ClickHouse huma l-prodotti ta' sors miftuħ colonnari, li jistgħu jegħlbuha b'mod lineari Pinot u Druid. Xogħol eċċellenti li jqabbel dawn is-sistemi huwa ppubblikat fl-artiklu 1 ta’ Frar, 2018
Dan l-artikolu jeħtieġ li jiġi aġġornat - jgħid li ClickHouse ma jappoġġjax operazzjonijiet UPDATE u DELETE, li mhuwiex kompletament veru fir-rigward tal-aħħar verżjonijiet.
M'għandniex ħafna esperjenza b'dawn id-DBMSs, iżda ma nħobbx il-kumplessità tal-infrastruttura sottostanti li hija meħtieġa biex imexxu Druid u Pinot - hija mazz sħiħ ta '"partijiet li jiċċaqilqu" imdawwar b'Java minn kull naħa.
Druid u Pinot huma proġetti ta 'inkubatur Apache, li huma koperti fid-dettall minn Apache fuq il-paġni tal-proġett GitHub tagħhom. Pinot deher fl-inkubatur f'Ottubru 2018, u Druid twieled 8 xhur qabel - fi Frar.
In-nuqqas ta' informazzjoni dwar kif taħdem l-AFS iqajjem xi mistoqsijiet, u forsi stupidi, għalija. Nistaqsi jekk l-awturi ta 'Pinot innotaw li l-Fondazzjoni Apache hija aktar disposta lejn Druid, u attitudni bħal din lejn kompetitur ikkawżat sens ta' għira? L-iżvilupp ta 'Druid se jonqos u l-iżvilupp ta' Pinot jaċċellera jekk l-isponsors li jappoġġjaw lill-ewwel f'daqqa waħda jinteressaw ruħhom f'dawn tal-aħħar?
Żvantaġġi ta 'ClickHouse
Immaturità: Ovvjament, din għadha teknoloġija boring, iżda fi kwalunkwe każ, xejn bħal dan ma jidher f'DBMS kolonni oħra.
Inserzjonijiet żgħar ma jaħdmux tajjeb b'veloċità għolja: inserts għandhom jinqasmu f'biċċiet kbar minħabba li l-prestazzjoni ta 'inserzjonijiet żgħar tiddegrada fi proporzjon għan-numru ta' kolonni f'kull ringiela. Dan huwa kif ClickHouse jaħżen id-dejta fuq disk - kull kolonna tfisser fajl 1 jew aktar, għalhekk biex daħħal ringiela 1 li fiha 100 kolonna, trid tiftaħ u tikteb mill-inqas 100 fajl. Dan huwa għaliex insert buffering jeħtieġ intermedjarju (sakemm il-klijent innifsu jipprovdi buffering) - normalment Kafka jew xi tip ta 'sistema ta' kju. Tista 'wkoll tuża l-magna tat-tabella Buffer biex aktar tard tikkopja biċċiet kbar ta' dejta fit-tabelli MergeTree.
It-tabella jingħaqad huma limitati mis-server RAM, iżda għall-inqas qegħdin hemm! Pereżempju, Druid u Pinot m'għandhom xejn konnessjonijiet bħal dawn, peress li huma diffiċli biex jiġu implimentati direttament f'sistemi distribwiti li ma jappoġġjawx iċ-ċaqliq ta 'biċċiet kbar ta' data bejn in-nodi.
Sejbiet
Fis-snin li ġejjin, qed nippjanaw li nagħmlu użu estensiv minn ClickHouse f'Qwintry, peress li dan id-DBMS jipprovdi bilanċ eċċellenti ta' prestazzjoni, overhead baxx, skalabbiltà, u sempliċità. Jien pjuttost ċert li se jinfirex malajr ladarba l-komunità ClickHouse toħroġ b'aktar modi kif tużaha f'installazzjonijiet żgħar u medji.
Xi reklami 🙂
Grazzi talli bqajt magħna. Tħobb l-artikoli tagħna? Trid tara aktar kontenut interessanti? Appoġġuna billi tagħmel ordni jew tirrakkomanda lill-ħbieb, , analogu uniku ta 'servers ta' livell ta 'dħul, li ġie ivvintat minna għalik: (disponibbli b'RAID1 u RAID10, sa 24 core u sa 40GB DDR4).
Dell R730xd 2 darbiet orħos fiċ-ċentru tad-dejta Equinix Tier IV f'Amsterdam? Hawn biss fl-Olanda! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - minn $99! Aqra dwar
Sors: www.habr.com