maoy usa ka open-source columnar database management system alang sa online analytical query processing (OLAP) nga gihimo sa Yandex. Gigamit kini sa Yandex, CloudFlare, VK.com, Badoo ug uban pang mga serbisyo sa tibuok kalibutan sa pagtipig sa tinuod nga dako nga kantidad sa datos (pagsal-ot sa liboan ka mga laray kada segundo o mga petabytes sa datos nga gitipigan sa disk).
Sa usa ka normal, "string" DBMS, ang mga pananglitan niini mao ang MySQL, Postgres, MS SQL Server, ang datos gitipigan niini nga han-ay:
Sa kini nga kaso, ang mga kantidad nga may kalabutan sa usa ka laray pisikal nga gitipigan nga magkauban. Sa kolumnar nga DBMS, ang mga kantidad gikan sa lainlaing mga kolum gitipig nga gilain, ug ang datos sa usa ka kolum gitipigan nga magkauban:
Ang mga pananglitan sa columnar DBMS mao ang Vertica, Paraccel (Actian Matrix, Amazon Redshift), Sybase IQ, Exasol, Infobright, InfiniDB, MonetDB (VectorWise, Actian Vector), LucidDB, SAP HANA, Google Dremel, Google PowerDrill, Druid, kdb+.
Ang kompanya usa ka mail forwarder Nagsugod ako sa paggamit sa Clickhouse kaniadtong 2018 alang sa pagreport ug nakadayeg kaayo sa kayano, scalability, suporta sa SQL, ug katulin niini. Ang katulin niini nga DBMS naa sa salamangka.
mopagaan sa
Ang Clickhouse nag-install sa Ubuntu nga adunay usa ka mando. Kung nahibal-an nimo ang SQL, mahimo ka dayon magsugod sa paggamit sa Clickhouse alang sa imong mga panginahanglan. Bisan pa, wala kini magpasabut nga mahimo nimong "ipakita ang paghimo sa lamesa" sa MySQL ug kopyahon-i-paste ang SQL sa Clickhouse.
Kung itandi sa MySQL, adunay hinungdanon nga mga kalainan sa tipo sa datos sa mga kahulugan sa eskema sa lamesa sa kini nga DBMS, mao nga kinahanglan nimo ang pila ka oras aron mabag-o ang mga kahulugan sa eskema sa lamesa ug mahibal-an ang mga makina sa lamesa aron komportable.
Maayo nga nagtrabaho ang Clickhouse nga wala’y dugang nga software, apan kung gusto nimo mogamit replikasyon kinahanglan nimo nga i-install ang ZooKeeper. Ang pagtuki sa performance sa pangutana nagpakita ug maayo kaayong mga resulta - ang mga lamesa sa sistema naglangkob sa tanang impormasyon, ug ang tanang datos mahimong makuha gamit ang daan ug makalaay nga SQL.
Pag-uswag
- Clickhouse versus Vertica ug MySQL pagtandi sa configuration server: duha ka socket Intel® Xeon® CPU E5-2650 v2 @ 2.60GHz; 128 GiB RAM; md RAID-5 sa 8 6TB SATA HDD, ext4.
- pagtandi sa Clickhouse sa Amazon RedShift cloud storage.
- Mga kinutlo sa blog :
Ang ClickHouse database adunay usa ka yano kaayo nga disenyo - ang tanan nga mga node sa cluster adunay parehas nga gamit ug gigamit lamang ang ZooKeeper alang sa koordinasyon. Nagtukod kami og gamay nga pundok sa daghang mga node ug nagpahigayon og pagsulay, diin among nakita nga ang sistema adunay impresibo nga performance, nga katumbas sa giangkon nga mga bentaha sa analytical DBMS benchmarks. Nakahukom kami nga susihon pag-ayo ang konsepto sa luyo sa ClickHouse. Ang una nga babag sa pagpanukiduki mao ang kakulang sa mga himan ug ang gamay nga komunidad sa ClickHouse, mao nga among gisusi ang disenyo niini nga DBMS aron masabtan kung giunsa kini paglihok.
Ang ClickHouse wala mosuporta sa pagdawat og data direkta gikan sa Kafka, tungod kay kini usa lamang ka database, mao nga among gisulat ang among kaugalingong adapter nga serbisyo sa Go. Gibasa niini ang mga mensahe nga gi-encode sa Cap'n Proto gikan sa Kafka, gi-convert kini sa TSV, ug gisulod kini sa ClickHouse sa mga batch pinaagi sa HTTP interface. Gisulat namo sa ulahi kini nga serbisyo aron magamit ang librarya sa Go inubanan sa among kaugalingong ClickHouse interface aron mapalambo ang performance. Kung gisusi ang pasundayag sa pagdawat sa mga pakete, among nadiskobrehan ang usa ka hinungdanon nga butang - nahimo nga alang sa ClickHouse kini nga pasundayag kusog nga nagdepende sa gidak-on sa pakete, nga mao, ang gidaghanon sa mga laray nga gisulud sa parehas nga oras. Aron masabtan kung ngano nga kini mahitabo, among gitun-an kung giunsa ang ClickHouse nagtipig sa datos.
Ang nag-unang makina, o hinoon, usa ka pamilya sa mga makina sa lamesa nga gigamit sa ClickHouse alang sa pagtipig sa datos, mao ang MergeTree. Kini nga makina susama sa konsepto sa LSM algorithm nga gigamit sa Google BigTable o Apache Cassandra, apan naglikay sa paghimo og intermediate memory table ug direktang nagsulat sa data ngadto sa disk. Naghatag kini og maayo nga pagsulat sa throughput, tungod kay ang matag gisulud nga pakete gisunud-sunod lamang sa "panguna nga yawe" nga panguna nga yawe, gi-compress, ug gisulat sa disk aron maporma ang usa ka bahin.
Ang pagkawala sa usa ka lamesa sa panumduman o bisan unsang konsepto sa "pagkabag-o" sa datos nagpasabut usab nga mahimo ra kini idugang, ang sistema dili mosuporta sa pagbag-o o pagtangtang. Sa karon, ang bugtong paagi sa pagtangtang sa datos mao ang pagtangtang niini pinaagi sa bulan sa kalendaryo, tungod kay ang mga bahin dili gyud makatabok sa usa ka bulan nga utlanan. Ang ClickHouse team aktibo nga nagtrabaho sa paghimo niini nga bahin nga mapasadya. Sa laing bahin, kini naghimo sa pagsulat ug paghiusa sa mga bahin nga walay panagbingkil, mao nga makadawat sa throughput nga mga timbangan nga linearly sa gidaghanon sa parallel inserts hangtud nga ang I/O o mga cores saturate.
Bisan pa, kini nga kahimtang nagpasabut usab nga ang sistema dili angay alang sa gagmay nga mga pakete, mao nga ang mga serbisyo sa Kafka ug mga inserters gigamit alang sa buffering. Dugang pa, ang ClickHouse sa background nagpadayon sa padayon nga paghiusa sa mga bahin, aron daghang gagmay nga mga piraso sa kasayuran ang mahiusa ug marekord sa daghang mga higayon, sa ingon nagdugang ang intensity sa pagrekord. Bisan pa, daghan kaayo nga wala’y kalabutan nga mga bahin ang hinungdan sa agresibo nga pag-throttling sa mga pagsal-ot basta magpadayon ang paghiusa. Among nakaplagan nga ang labing maayo nga pagkompromiso tali sa real-time nga data ingestion ug ingestion performance mao ang pagdawat og limitadong gidaghanon sa mga insert kada segundo sa lamesa.
Ang yawe sa pasundayag sa pagbasa sa lamesa mao ang pag-indeks ug lokasyon sa datos sa disk. Bisan unsa pa ka paspas ang pagproseso, kung ang makina kinahanglan nga mag-scan sa mga terabytes sa data gikan sa disk ug mogamit lamang sa usa ka tipik niini, magkinahanglan kini og panahon. Ang ClickHouse usa ka tindahan sa kolum, mao nga ang matag bahin adunay usa ka file alang sa matag kolum (kolum) nga adunay gisunud nga mga kantidad alang sa matag laray. Sa ingon, ang tibuok nga mga kolum nga wala diha sa pangutana mahimo una nga laktawan, ug unya daghang mga selula ang maproseso nga susama sa vectorized execution. Aron malikayan ang usa ka bug-os nga pag-scan, ang matag bahin adunay gamay nga index file.
Tungod kay ang tanan nga mga kolum gihan-ay sa "panguna nga yawe", ang index file naglangkob lamang sa mga label (nakuha nga mga laray) sa matag Nth nga laray, aron kini matipigan sa panumduman bisan sa dagko kaayo nga mga lamesa. Pananglitan, mahimo nimong itakda ang mga default setting sa "markahan ang matag 8192th row", dayon ang "gamay" nga pag-index sa usa ka lamesa nga adunay 1 trilyon. Ang mga linya nga daling mohaum sa memorya mokuha lang ug 122 ka karakter.
Pagpalambo sa sistema
Ang pag-uswag ug pag-uswag sa Clickhouse mahimong masubay sa ug siguroha nga ang proseso sa "pagtubo" nahitabo sa usa ka impresibo nga tulin.
Pagkapopular
Morag ang pagkapopular sa Clickhouse nagkadako nga nagdako, labi na sa komunidad nga nagsultig Ruso. Ang komperensya sa High load 2018 sa miaging tuig (Moscow, Nobyembre 8-9, 2018) nagpakita nga ang mga monsters sama sa vk.com ug Badoo naggamit sa Clickhouse, nga nagsal-ot sa datos (pananglitan, mga troso) gikan sa napulo ka libo nga mga server nga dungan. Sa usa ka 40 minuto nga video . Sa dili madugay among i-post ang transcript sa Habr para sa kasayon sa pagtrabaho sa materyal.
Mga aplikasyon
Human sa paggahin og pipila ka panahon sa pagsiksik, sa akong hunahuna adunay mga dapit diin ang ClickHouse mahimong mapuslanon o makahimo sa hingpit nga pag-ilis sa uban pang mas tradisyonal ug popular nga mga solusyon sama sa MySQL, PostgreSQL, ELK, Google Big Query, Amazon RedShift, TimescaleDB, Hadoop, MapReduce, Pinot ug Druid. Ang mosunod mao ang mga detalye sa paggamit sa ClickHouse sa pag-upgrade o sa hingpit nga pag-ilis sa ibabaw nga DBMS.
Pagpalapad sa MySQL ug PostgreSQL
Labing bag-o, gipulihan namon ang MySQL sa ClickHouse alang sa plataporma sa newsletter . Ang problema mao nga ang MySQL tungod sa dili maayo nga disenyo nga gi-log ang matag email nga gipadala ug ang matag link sa kana nga email nga adunay base64 hash, nga naghimo sa usa ka dako nga MySQL table (email_stats). Human ipadala lamang ang 10 ka milyon nga mga email ngadto sa mga subscriber sa serbisyo, kini nga lamesa nag-okupar sa 150 GB nga luna sa file, ug ang MySQL nagsugod sa "hungog" sa yano nga mga pangutana. Aron ayohon ang isyu sa luna sa file, malampuson namong gigamit ang InnoDB table compression, nga nakapakunhod niini sa usa ka butang nga 4. Bisan pa, dili gihapon makatarunganon ang pagtipig labaw pa sa 20-30 milyon nga mga email sa MySQL alang lamang sa pagbasa sa kasaysayan, sama sa bisan unsang yano nga pangutana nga tungod sa usa ka hinungdan kinahanglan nga buhaton ang usa ka bug-os nga pag-scan nga mga resulta sa swap ug bug-at nga I/O overhead, nga kanunay namong nadawat ang mga pasidaan sa Zabbix.
Ang Clickhouse naggamit sa duha ka mga algorithm sa compression nga nagpamenos sa gidaghanon sa datos sa halos , apan niining partikular nga kaso, ang datos ilabinang "ma-compressible".
Pagpuli sa ELK
Base sa akong kaugalingong kasinatian, ang ELK stack (ElasticSearch, Logstash ug Kibana, niining partikular nga kaso ElasticSearch) nanginahanglan ug mas daghang kahinguhaan sa pagdagan kay sa gikinahanglan sa pagtipig og mga troso. Ang ElasticSearch usa ka maayo nga makina kung gusto nimo ang maayo nga full-text nga pagpangita sa log (nga sa akong hunahuna wala nimo kinahanglan), apan natingala ako kung ngano nga nahimo kini nga de facto nga sukaranan nga makina sa pag-log. Ang pasundayag sa ingestion niini, inubanan sa Logstash, naghatag kanamo og mga problema bisan sa medyo gaan nga mga karga sa trabaho ug nanginahanglan dugang nga dugang ug dugang nga RAM ug disk space. Ingon usa ka database, ang Clickhouse mas maayo kaysa ElasticSearch tungod sa mga mosunud nga hinungdan:
- Suporta sa SQL dialect;
- Ang labing maayo nga ang-ang sa kompresiyon sa gitipigan data;
- Suporta alang sa pagpangita sa Regex imbes sa bug-os nga pagpangita sa teksto;
- Mas maayo nga pag-iskedyul sa pangutana ug mas maayo nga kinatibuk-ang pasundayag.
Sa pagkakaron, ang pinakadako nga problema nga mitungha kung itandi ang ClickHouse sa ELK mao ang kakulang sa mga solusyon sa pag-upload sa mga troso, ingon man ang kakulang sa dokumentasyon ug mga panudlo bahin niini nga hilisgutan. Sa samang higayon, ang matag user maka-set up sa ELK gamit ang Digital Ocean nga manwal, nga importante kaayo alang sa paspas nga pagpatuman sa maong mga teknolohiya. Adunay usa ka database engine dinhi, apan wala pay Filebeat para sa ClickHouse. Oo, adunay ug usa ka sistema sa pagtrabaho sa mga troso , naay himan sa pagsulod sa log file data ngadto sa ClickHouse, apan kining tanan nagkinahanglan og dugang nga panahon. Bisan pa, ang ClickHouse nag-una gihapon sa dalan tungod sa kayano niini, mao nga bisan ang mga nagsugod dali ra nga ma-install kini ug magsugod sa hingpit nga paggamit sa 10 minuto lang.
Gipalabi ang mga minimalist nga solusyon, gisulayan nako nga gamiton ang FluentBit, usa ka gamay kaayo nga himan sa pag-upload sa log sa memorya, nga adunay ClickHouse samtang naningkamot nga malikayan ang paggamit sa Kafka. Bisan pa, kinahanglan nga sulbaron ang mga menor de edad nga incompatibilities, sama sa sa dili pa kini mahimo nga wala ang proxy layer nga nag-convert sa datos gikan sa FluentBit ngadto sa ClickHouse.
Isip alternatibo sa Kibana, mahimo nimong gamiton ang ClickHouse isip backend . Sa akong nasabtan, mahimo kini nga hinungdan sa mga isyu sa pasundayag kung maghatag daghang mga punto sa datos, labi na sa mga daan nga bersyon sa Grafana. Sa Qwintry, wala pa namo kini gisulayan, apan ang mga reklamo bahin niini makita matag karon ug unya sa channel sa suporta sa ClickHouse sa Telegram.
Pag-ilis sa Google Big Query ug Amazon RedShift (solusyon alang sa dagkong kompanya)
Ang sulundon nga kaso sa paggamit alang sa BigQuery mao ang pag-load sa 1TB sa JSON nga datos ug pagpadagan sa analytic nga mga pangutana niini. Ang Dakong Pangutana usa ka maayo nga produkto kansang scalability lisud i-overestimate. Mas komplikado kini nga software kaysa ClickHouse nga nagdagan sa usa ka internal nga cluster, apan gikan sa punto sa panglantaw sa kliyente, kini adunay daghan nga komon sa ClickHouse. Ang BigQuery dali nga "magpataas sa presyo" sa higayon nga magsugod ka sa pagbayad alang sa matag PILI, mao nga kini usa ka tinuud nga solusyon sa SaaS uban ang tanan nga mga bentaha ug disbentaha niini.
Ang ClickHouse mao ang labing kaayo nga kapilian kung nagpadagan ka daghang mga pangutana nga mahal sa pagkalkula. Ang labi ka PILI nga mga pangutana nga imong gipadagan matag adlaw, mas daghang punto ang gihimo aron mapulihan ang Big Query sa ClickHouse, tungod kay ang ingon nga pagpuli makaluwas kanimo libu-libo nga dolyar kung bahin sa daghang mga terabytes nga datos nga giproseso. Wala kini magamit sa gitipigan nga datos, nga medyo barato nga iproseso sa Big Query.
Sa usa ka artikulo ni Alexander Zaitsev, co-founder sa Altinity naghulagway sa mga benepisyo sa maong DBMS migration.
Pagpuli sa TimescaleDB
Ang TimescaleDB usa ka extension sa PostgreSQL nga nag-optimize sa pagtrabaho kauban ang mga timeseries sa usa ka regular nga database (, ).
Bisan tuod ang ClickHouse dili usa ka seryoso nga kakompetensya sa time series niche, apan sa mga termino sa columnar structure ug vector query execution, kini mas paspas kay sa TimescaleDB sa kadaghanan sa mga kaso sa pagproseso sa analytical nga mga pangutana. Sa samang higayon, ang pasundayag sa pagdawat sa ClickHouse packet data maoy mga 3 ka pilo nga mas taas, dugang pa, kini naggamit ug 20 ka beses nga mas gamay nga disk space, nga importante kaayo sa pagproseso sa dagkong mga volume sa makasaysayanong datos: .
Dili sama sa ClickHouse, ang bugtong paagi sa pagluwas sa pipila ka disk space sa TimescaleDB mao ang paggamit sa ZFS o susama nga mga sistema sa file.
Ang umaabot nga mga update sa ClickHouse lagmit magpaila sa delta compression, nga maghimo niini nga mas angay alang sa pagproseso ug pagtipig sa datos sa serye sa panahon. Ang TimescaleDB mahimo’g usa ka labi ka maayo nga kapilian kaysa wala’y ClickHouse sa mga mosunud nga kaso:
- gagmay nga mga instalasyon nga adunay gamay kaayo nga RAM (<3 GB);
- usa ka dako nga gidaghanon sa gagmay nga mga INSERT nga dili nimo gusto nga buffer sa dagkong mga tipik;
- mas maayo nga pagkamakanunayon, pagkaparehas ug mga kinahanglanon sa ACID;
- Suporta sa PostGIS;
- paghiusa sa mga naa na nga mga lamesa sa PostgreSQL, tungod kay ang Timescale DB sa tinuud PostgreSQL.
Kompetisyon sa mga sistema sa Hadoop ug MapReduce
Ang Hadoop ug uban pang mga produkto sa MapReduce makahimo sa daghang komplikado nga mga kalkulasyon, apan sila adunay kalagmitan nga modagan sa dako nga latency.Giayo sa ClickHouse kini nga problema pinaagi sa pagproseso sa mga terabytes sa datos ug pagpatunghag mga resulta halos diha-diha dayon. Sa ingon, ang ClickHouse labi ka episyente alang sa paghimo sa paspas, interactive nga analitikal nga panukiduki, nga kinahanglan nga interesado sa mga siyentipiko sa datos.
Kompetisyon sa Pinot ug Druid
Ang labing duol nga mga kakompetensya sa ClickHouse mao ang kolumnar, linearly scalable nga open source nga mga produkto nga Pinot ug Druid. Ang usa ka maayo kaayo nga trabaho nga nagtandi niini nga mga sistema gipatik sa artikulo Pebrero 1, 2018
Kini nga artikulo kinahanglan nga ma-update - kini nag-ingon nga ang ClickHouse wala nagsuporta sa UPDATE ug DELETE nga mga operasyon, nga dili hingpit nga tinuod kalabot sa pinakabag-o nga mga bersyon.
Wala kami daghang kasinatian sa kini nga mga DBMS, apan dili ko gusto ang pagkakomplikado sa nagpahiping imprastraktura nga gikinahanglan sa pagpadagan sa Druid ug Pinot - kini usa ka tibuuk nga hugpong sa mga "moving parts" nga gilibutan sa Java gikan sa tanan nga bahin.
Ang Druid ug Pinot mga proyekto sa Apache incubator, nga gisakup sa detalye sa Apache sa ilang mga panid sa proyekto sa GitHub. Si Pinot nagpakita sa incubator kaniadtong Oktubre 2018, ug si Druid natawo 8 ka bulan sa sayo pa - kaniadtong Pebrero.
Ang kakulang sa kasayuran bahin sa kung giunsa ang paglihok sa AFS nagpatunghag pipila, ug tingali hungog, mga pangutana alang kanako. Naghunahuna ko kung ang mga tagsulat sa Pinot nakamatikod nga ang Apache Foundation mas gusto sa Druid, ug ang ingon ba nga kinaiya sa usa ka kakompetensya hinungdan sa usa ka pagbati sa kasina? Mohinay ba ang pag-uswag sa Druid ug ang pag-uswag sa Pinot kung ang mga sponsors nga nagsuporta sa una kalit nga interesado sa naulahi?
Mga disbentaha sa ClickHouse
Immaturity: Dayag, kini usa gihapon ka makalaay nga teknolohiya, apan sa bisan unsa nga kaso, walay sama niini nga makita sa ubang columnar DBMS.
Ang gagmay nga mga pagsal-ot dili maayo sa taas nga tulin: ang mga pagsal-ot kinahanglan nga bahinon ngadto sa dagkong mga tipak tungod kay ang pagbuhat sa gagmay nga mga pagsal-ot mokunhod sa proporsiyon sa gidaghanon sa mga kolum sa matag laray. Mao kini ang paagi nga ang ClickHouse nagtipig sa datos sa disk - ang matag kolum nagpasabot sa 1 ka file o labaw pa, mao nga sa pagsal-ot sa 1 ka laray nga adunay 100 ka mga kolum, kinahanglan nimo nga ablihan ug isulat ang labing menos 100 ka mga file. Mao kini ang hinungdan nga ang insert buffering nanginahanglan usa ka tigpataliwala (gawas kung ang kliyente mismo ang naghatag buffering) - kasagaran Kafka o usa ka matang sa sistema sa pagpila. Mahimo usab nimo gamiton ang Buffer table engine aron kopyahon sa ulahi ang dagkong mga tipik sa datos ngadto sa MergeTree nga mga lamesa.
Ang mga pag-apil sa lamesa limitado sa server RAM, apan labing menos naa sila! Pananglitan, ang Druid ug Pinot wala'y ingon nga mga koneksyon, tungod kay lisud kini nga ipatuman direkta sa mga gipang-apod-apod nga mga sistema nga wala nagsuporta sa paglihok sa dagkong mga tipik sa datos tali sa mga node.
kaplag
Sa umaabot nga mga tuig, nagplano kami nga gamiton ang ClickHouse sa Qwintry, tungod kay kini nga DBMS naghatag usa ka maayo kaayo nga balanse sa pasundayag, ubos nga overhead, scalability, ug kayano. Sigurado ako nga kini mokaylap dayon sa higayon nga ang ClickHouse nga komunidad adunay daghang mga paagi sa paggamit niini sa gagmay ug medium nga mga instalasyon.
Pipila ka mga ad 🙂
Salamat sa pagpabilin kanamo. Ganahan ka ba sa among mga artikulo? Gusto nga makakita og mas makapaikag nga sulod? Suportahi kami pinaagi sa pag-order o pagrekomenda sa mga higala, , usa ka talagsaon nga analogue sa mga entry-level server, nga giimbento namo alang kanimo: (anaa sa RAID1 ug RAID10, hangtod sa 24 ka mga core ug hangtod sa 40GB DDR4).
Dell R730xd 2 ka beses nga mas barato sa Equinix Tier IV data center sa Amsterdam? Dinhi lang sa Netherlands! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - gikan sa $99! Basaha ang mahitungod sa
Source: www.habr.com