dia rafitra fitantanana angon-drakitra misokatra ho an'ny fanodinana famakafakana an-tserasera (OLAP), noforonin'ny Yandex. Izy io dia ampiasain'ny Yandex, CloudFlare, VK.com, Badoo ary serivisy hafa manerana izao tontolo izao hitahiry angon-drakitra be dia be (mampiditra andalana an'arivony isan-tsegondra na petabytes amin'ny angona voatahiry ao anaty kapila).
Ao amin'ny DBMS mahazatra, "string", ohatra amin'izany ny MySQL, Postgres, MS SQL Server, ny angon-drakitra dia voatahiry amin'ny filaharana manaraka:
Amin'ity tranga ity, ny soatoavina mifandraika amin'ny andalana iray dia voatahiry ara-batana eo akaiky eo. Ao amin'ny DBMS tsanganana, ny soatoavina avy amin'ny tsanganana samihafa dia voatahiry misaraka, ary ny angona avy amin'ny tsanganana iray dia voatahiry miaraka:
Ohatra amin'ny DBMS tsanganana dia Vertica, Paraccel (Actian Matrix, Amazon Redshift), Sybase IQ, Exasol, Infobright, InfiniDB, MonetDB (VectorWise, Actian Vector), LucidDB, SAP HANA, Google Dremel, Google PowerDrill, Druid, kdb+.
Orinasa mpandefa mailaka nanomboka nampiasa Clickhouse tamin'ny taona 2018 ho an'ny tatitra ary tena nampiaiky volana azy ny fahatsorany, ny scalability, ny fanohanan'ny SQL ary ny hafainganam-pandehany. Ny hafainganam-pandehan'ity DBMS ity dia nifanandrify tamin'ny majika.
hampitony
Clickhouse dia napetraka ao amin'ny Ubuntu miaraka amin'ny baiko tokana. Raha mahafantatra SQL ianao dia afaka manomboka mampiasa Clickhouse avy hatrany amin'ny zavatra ilainao. Na izany aza, tsy midika izany fa afaka manao "show create table" ao amin'ny MySQL ianao ary mandika ny SQL ao amin'ny Clickhouse.
Raha ampitahaina amin'ny MySQL, misy fahasamihafana lehibe amin'ny karazana data ao amin'ny famaritana schema latabatra, noho izany dia mbola mila fotoana kely hanovana ny famaritana schema latabatra ianao ary hianatra ny motera latabatra mba hahazoana aina.
Clickhouse dia miasa tsara tsy misy rindrambaiko fanampiny, fa raha te hampiasa replication ianao dia mila mametraka ZooKeeper. Ny famakafakana ny fahombiazan'ny fanontaniana dia mampiseho valiny tena tsara - ny latabatra rafitra dia ahitana ny fampahalalana rehetra, ary ny angona rehetra dia azo alaina amin'ny fampiasana SQL taloha sy mankaleo.
vokatra
- fampitahana ny Clickhouse amin'ny Vertica sy MySQL amin'ny fandrindrana mpizara: socket roa Intel® Xeon® CPU E5-2650 v2 @ 2.60GHz; 128 GiB RAM; md RAID-5 amin'ny 8 6TB SATA HDD, ext4.
- fampitahana ny Clickhouse amin'ny fitahirizana rahona Amazon RedShift.
- Ampahany amin'ny bilaogy :
Ny angon-drakitra ClickHouse dia manana endrika tena tsotra - ny nodes rehetra ao amin'ny cluster dia manana fiasa mitovy ary ZooKeeper ihany no ampiasaina amin'ny fandrindrana. Nanangana cluster kely misy node maromaro izahay ary nanao fitiliana, izay nahitanay fa ny rafitra dia manana fampisehoana mahavariana, izay mifanandrify amin'ireo tombony voalaza ao amin'ny mari-pamantarana DBMS analytical. Nanapa-kevitra izahay fa hijery akaiky ny foto-kevitra ao ambadiky ny ClickHouse. Ny sakana voalohany amin'ny fikarohana dia ny tsy fahampian'ny fitaovana sy ny vondrom-piarahamonina ClickHouse kely, noho izany dia nandinika ny famolavolana ity DBMS ity izahay mba hahatakarana ny fomba fiasany.
ClickHouse dia tsy manohana ny fandraisana angona mivantana avy amin'ny Kafka satria angon-drakitra fotsiny izy io, ka nanoratra ny serivisy adaptateranay manokana tao amin'ny Go izahay. Namaky hafatra voafandrika avy ao amin'ny Kafka ny Cap'n Proto, nanova azy ireo ho TSV ary nampiditra azy ireo tao amin'ny ClickHouse amin'ny andiany amin'ny alàlan'ny interface HTTP. Naverina nanoratra ity serivisy ity izahay taty aoriana mba hampiasa ny tranomboky Go miaraka amin'ny interface tsara an'ny ClickHouse mba hanatsarana ny fampisehoana. Rehefa nanombantombana ny fahombiazan'ny fandraisana fonosana, dia nahita zavatra manan-danja izahay - hita fa ho an'ny ClickHouse io fampisehoana io dia miankina tanteraka amin'ny haben'ny fonosana, izany hoe ny isan'ny andalana ampidirina miaraka. Mba hahatakarana ny antony mahatonga izany, dia nijery ny fomba fitehirizana angon-drakitra ny ClickHouse.
Ny motera lehibe, na ny fianakaviamben'ny milina latabatra, ampiasain'ny ClickHouse hitahiry angona dia MergeTree. Ity maotera ity dia mitovitovy amin'ny algorithm LSM ampiasaina amin'ny Google BigTable na Apache Cassandra, saingy misoroka ny fananganana latabatra fitadidiana manelanelana ary manoratra mivantana amin'ny kapila. Izy io dia manome azy ny fampandehanana fanoratana tsara, satria ny fonosana tsirairay ampidirina dia alahatra amin'ny alàlan'ny fanalahidy fototra, voatsindry ary nosoratana ho an'ny kapila mba hamorona fizarana.
Ny tsy fisian'ny latabatra fitadidiana na izay hevitra momba ny "havaozina" ny angon-drakitra dia midika ihany koa fa azo ampiana ihany izy ireo; tsy manohana ny fanovana na famafana ny rafitra. Amin'izao fotoana izao, ny hany fomba hamafa ny angona dia ny famafana azy amin'ny volana kalandrie, satria tsy miampita sisintany iray volana mihitsy ny fizarana. Ny ekipan'ny ClickHouse dia miasa mavitrika amin'ny fanaovana ity endri-javatra ity ho azo zahana. Amin'ny lafiny iray, manoratra sy manambatra ny fizarana tsy misy fifandirana izy, ka raiso ny mizana fidirana amin'ny tsipika miaraka amin'ny isan'ny fampidirana miaraka mandra-pahatongan'ny I/O na ny saturation fototra.
Na izany aza, midika koa izany fa tsy mety amin'ny fonosana kely ilay rafitra, ka ny serivisy Kafka sy ny fampidirana dia ampiasaina amin'ny buffering. Manaraka, ny ClickHouse ao ambadika dia manohy manatanteraka tsy tapaka ny fizarana fizarana, mba hahafahan'ny fampahalalana kely maro hitambatra sy horaketina bebe kokoa, ka hampitombo ny hamafin'ny firaketana. Na izany aza, ny ampahany tsy mifandray be loatra dia hiteraka fanerena mahery vaika ny fampidirana raha mbola mitohy ny fampitambatra. Hitanay fa ny marimaritra iraisana tsara indrindra eo amin'ny fampidiran-dresaka amin'ny fotoana tena izy sy ny fampandehanana ny fandevonan-kanina dia ny fampidirana insert isan-tsegondra voafetra ao anaty latabatra.
Ny fanalahidin'ny fahombiazan'ny famakiana latabatra dia ny fanondroana sy ny toerana misy ny angona amin'ny kapila. Na dia haingana toy inona aza ny fanodinana, rehefa mila mijery terabytes ny angona avy amin'ny kapila ny motera ary mampiasa ampahany amin'izany fotsiny, dia haka fotoana izany. ClickHouse dia fivarotana tsanganana, ka ny fizarana tsirairay dia misy rakitra ho an'ny tsanganana tsirairay (tsanganana) miaraka amin'ny sanda voafantina isaky ny andalana. Amin'izany fomba izany, ny tsanganana manontolo tsy hita ao amin'ny fangatahana dia azo tsidihana aloha, ary avy eo ny sela maro dia azo karakaraina miaraka amin'ny famonoana vectorised. Mba hialana amin'ny fitarafana feno dia manana rakitra fanondro kely ny fizarana tsirairay.
Satria ny tsanganana rehetra dia voalahatra araka ny "fanalahidy voalohany", ny fisie fanondroana dia tsy misy afa-tsy ny etikety (laharana voasambotra) isaky ny laharana Nth mba hahafahana mitazona azy ireo ho fitadidiana na dia ho an'ny latabatra lehibe aza. Ohatra, azonao atao ny mametraka ny firafitry ny default ho "marika isaky ny laharana faha-8192", avy eo ny fanondroana "kely" amin'ny latabatra misy 1 trillion. Ny tsipika mora miditra amin'ny fitadidiana dia tsy handray afa-tsy 122 litera.
Fampivoarana ny rafitra
Ny fampandrosoana sy ny fanatsarana ny Clickhouse dia azo jerena ao ary ataovy izay hahazoana antoka fa ny fizotran'ny "fitomboana" dia mitranga amin'ny hafainganam-pandeha mahavariana.
laza
Toa mitombo be ny lazan'ny Clickhouse, indrindra amin'ny vondrom-piarahamonina miteny Rosiana. Ny fihaonambe High Load 2018 tamin'ny taon-dasa (Moscow, 8-9 novambra 2018) dia nampiseho fa ny biby goavam-be toa ny vk.com sy Badoo dia mampiasa Clickhouse, izay ampidirony data (ohatra, logs) avy amin'ny mpizara an'aliny miaraka. Amin'ny horonan-tsary 40 minitra . Tsy ho ela dia handefa ny dika mitovy amin'ny Habr izahay mba hanamora ny fiasana amin'ny fitaovana.
Toerana fampiharana
Rehefa avy nandany fotoana nikaroka aho dia heveriko fa misy faritra mety hahasoa ny ClickHouse na afaka manolo tanteraka ireo vahaolana hafa nentim-paharazana sy malaza toy ny MySQL, PostgreSQL, ELK, Google Big Query, Amazon RedShift, TimescaleDB, Hadoop, MapReduce, Pinot ary Druid. Ity manaraka ity dia mamaritra ny antsipirian'ny fampiasana ClickHouse hanavaozana na hanoloana tanteraka ny DBMS etsy ambony.
Manitatra ny fahaizan'ny MySQL sy PostgreSQL
Vao tsy ela akory izay dia nosoloinay ampahany ny MySQL tamin'ny ClickHouse ho an'ny sehatra vaovaonay . Ny olana dia ny MySQL, noho ny endrika ratsy, dia nisoratra anarana ny mailaka rehetra nalefa sy ny rohy rehetra ao amin'io mailaka io miaraka amin'ny hash base64, mamorona latabatra MySQL lehibe (email_stats). Taorian'ny nandefasana mailaka 10 tapitrisa fotsiny ho an'ireo mpanjifan'ny serivisy, ity latabatra ity dia nibodo toerana 150 GB, ary nanomboka "adala" ny MySQL tamin'ny fanontaniana tsotra. Mba hamahana ny olan'ny habaka rakitra, dia nahomby ny fampiasana ny famatrarana latabatra InnoDB izay nampihena izany tamin'ny 4. Na izany aza, mbola tsy misy dikany ny mitahiry mailaka mihoatra ny 20-30 tapitrisa ao amin'ny MySQL mba hamakiana tantara fotsiny, satria misy fanontaniana tsotra izay mila manao scan feno amin'ny swap ary maro ny I. /O entana, araka izay nahazoanay fampitandremana matetika avy amin'i Zabbix.
Clickhouse dia mampiasa algorithm famandrihan-toerana roa izay mampihena ny habetsaky ny angona eo ho eo , fa amin'ity tranga manokana ity dia "compressible" indrindra ny angona.
Fanoloana ny ELK
Miorina amin'ny traikefako manokana, ny stack ELK (ElasticSearch, Logstash ary Kibana, amin'ity tranga manokana ity ElasticSearch) dia mitaky loharanon-karena bebe kokoa noho ny ilaina amin'ny fitahirizana logs. ElasticSearch dia motera lehibe raha mila fikarohana log-tsoratra feno tsara ianao (izay heveriko fa tsy tena ilainao), saingy manontany tena aho hoe nahoana izy io no lasa maotera fanoratana manara-penitra. Ny zava-bitany mitambatra miaraka amin'ny Logstash dia nanome olana anay na dia eo ambany enta-mavesatra maivana aza ary nitaky anay hanampy bebe kokoa RAM sy habaka kapila. Amin'ny maha-database, Clickhouse dia tsara kokoa noho ny ElasticSearch noho ireto antony manaraka ireto:
- Fanohanana ny tenim-paritra SQL;
- Ny ambaratonga tsara indrindra amin'ny famatrarana ny angona voatahiry;
- Fanohanana ny fikarohana fiteny mahazatra Regex fa tsy fikarohana lahatsoratra feno;
- Nohatsaraina ny fandrindrana fanontaniana sy fampisehoana ambony kokoa amin'ny ankapobeny.
Amin'izao fotoana izao, ny olana lehibe indrindra mipoitra rehefa mampitaha ny ClickHouse amin'ny ELK dia ny tsy fahampian'ny vahaolana amin'ny fandefasana logs, ary koa ny tsy fisian'ny antontan-taratasy sy fampianarana momba ny lohahevitra. Ankoatr'izay, ny mpampiasa tsirairay dia afaka manamboatra ELK amin'ny fampiasana ny boky Digital Ocean, izay tena zava-dehibe amin'ny fampiharana haingana ny teknolojia toy izany. Misy motera database, fa tsy mbola misy Filebeat ho an'ny ClickHouse. Eny, misy izany ary rafitra miasa amin'ny hazo , misy fitaovana hampiditra angon-drakitra rakitra log ao amin'ny ClickHouse, saingy mitaky fotoana bebe kokoa izany rehetra izany. Na izany aza, ny ClickHouse dia mbola mpitarika noho ny fahatsorany, ka na ireo vao manomboka aza dia afaka mametraka azy mora foana ary manomboka mampiasa azy io amin'ny fomba feno ao anatin'ny 10 minitra fotsiny.
Naleoko ny vahaolana minimalista, nanandrana nampiasa FluentBit aho, fitaovana handefasana diary misy fitadidiana kely, miaraka amin'ny ClickHouse, raha niezaka ny tsy hampiasa Kafka. Na izany aza, ny tsy mifanaraka kely dia mila dinihina, toy ny alohan'ny hanaovana izany raha tsy misy ny sosona proxy izay manova ny angona avy amin'ny FluentBit ho ClickHouse.
Ho solon'izay, azo ampiasaina ho backend ClickHouse i Kibana . Raha ny fahazoako azy dia mety hiteraka olana amin'ny fampisehoana izany rehefa manome teboka angon-drakitra marobe, indrindra amin'ny dikan-teny taloha amin'ny Grafana. Mbola tsy nanandrana izany tao amin'ny Qwintry izahay, fa ny fitarainana momba izany dia miseho tsindraindray ao amin'ny fantsona fanohanana ClickHouse ao amin'ny Telegram.
Fanoloana ny Google Big Query sy Amazon RedShift (vahaolana ho an'ny orinasa lehibe)
Ny fampiasana tsara indrindra ho an'ny BigQuery dia ny mameno ny angona JSON 1 TB ary mametraka fanontaniana fanadihadiana momba izany. Big Query dia vokatra tena tsara izay tsy azo ovaina loatra ny scalability. Ity dia rindrambaiko sarotra kokoa noho ny ClickHouse, izay mandeha amin'ny cluster anatiny, saingy amin'ny fomba fijerin'ny mpanjifa dia misy itovizana betsaka amin'ny ClickHouse. Mety ho lafo haingana ny BigQuery rehefa manomboka mandoa isaky ny SELECT ianao, noho izany dia tena vahaolana SaaS izy io miaraka amin'ny lafy ratsiny sy ny lafy ratsiny.
ClickHouse no safidy tsara indrindra rehefa manao fanontaniana lafo vidy be dia be ianao. Ny fanontaniana SELECT bebe kokoa ataonao isan'andro, dia vao mainka misy dikany ny fanoloana ny Big Query amin'ny ClickHouse, satria ny fanoloana toy izany dia afaka mamonjy anao dolara an'arivony rehefa tonga amin'ny terabytes maro ny angon-drakitra voakarakara. Tsy mihatra amin'ny angon-drakitra voatahiry izany, izay mora vidy amin'ny fanodinana amin'ny Big Query.
Ao amin'ny lahatsoratra iray avy amin'ny mpiara-manorina Altinity Alexander Zaitsev miresaka momba ny tombontsoa azo avy amin'ny fifindra-monina DBMS toy izany.
Fanoloana TimescaleDB
TimescaleDB dia fanitarana PostgreSQL izay manatsara ny fiasana miaraka amin'ny andian-potoana andiam-potoana ao anaty tahiry mahazatra (, ).
Na dia tsy mpifaninana matotra aza ny ClickHouse amin'ny sehatry ny andiam-potoana, fa ny firafitry ny tsanganana sy ny fanatanterahana ny fangatahana vector, dia haingana kokoa noho ny TimescaleDB amin'ny ankamaroan'ny trangan'ny fanodinana famakafakana. Amin'izay fotoana izay ihany koa, ny fampandehanana ny fandraisana angon-drakitra avy amin'ny ClickHouse dia eo ho eo amin'ny avo 3 heny, ary mampiasa habaka kapila avo 20 heny ihany koa izy io, izay tena zava-dehibe amin'ny fanodinana angona ara-tantara be dia be: .
Tsy toy ny ClickHouse, ny hany fomba hamonjena ny habaka kapila ao amin'ny TimescaleDB dia ny fampiasana ZFS na rafitra rakitra mitovy.
Ny fanavaozana ho avy amin'ny ClickHouse dia mety hampiditra ny delta compression, izay hahatonga azy ho mety kokoa amin'ny fanodinana sy fitehirizana angon-drakitra andiam-potoana. Ny TimescaleDB dia mety ho safidy tsara kokoa noho ny ClickHouse tsy misy dikany amin'ireto tranga manaraka ireto:
- fametrahana kely misy RAM kely (<3 GB);
- INSERT kely be dia be izay tsy tianao amboarina amin'ny ampahany lehibe;
- tsy miovaova tsara kokoa, fitoviana ary ny fepetra ACID;
- Fanohanana PostGIS;
- miaraka amin'ny latabatra PostgreSQL efa misy, satria ny Timescale DB dia PostgreSQL.
Fifaninanana amin'ny rafitra Hadoop sy MapReduce
Ny Hadoop sy ny vokatra MapReduce hafa dia afaka manao kajy sarotra be dia be, saingy matetika izy ireo no mihazakazaka miaraka amin'ny fetran-dàlana goavana. Ny ClickHouse dia mamaha ity olana ity amin'ny alàlan'ny fanodinana data terabytes ary mamokatra vokatra saika eo no ho eo. Noho izany, ny ClickHouse dia mahomby kokoa amin'ny fanaovana fikarohana fanadihadiana haingana sy ifanakalozan-kevitra, izay tokony hahaliana ny mpahay siansa momba ny data.
Fifaninanana miaraka amin'i Pinot sy Druid
Ny mpifaninana akaiky indrindra amin'ny ClickHouse dia vokatra loharano misokatra malalaka Pinot sy Druid. Asa tsara mampitaha ireo rafitra ireo no navoaka tao amin'ny lahatsoratra tamin'ny 1 Febroary 2018
Mila fanavaozana ity lahatsoratra ity - milaza fa ny ClickHouse dia tsy manohana ny hetsika UPDATE sy DELETE, izay tsy marina tanteraka amin'ny dikan-teny farany.
Tsy dia manana traikefa firy amin'ireo angon-drakitra ireo izahay, saingy tsy dia tiako loatra ny fahasarotan'ny fotodrafitrasa takiana amin'ny fampandehanana an'i Druid sy Pinot - izany dia andiana ampahany mihetsika voahodidin'ny Java amin'ny lafiny rehetra.
Druid sy Pinot dia tetik'asa incubator Apache, ny fandrosoan'izany dia raketin'ny Apache amin'ny antsipiriany ao amin'ny pejin'ny tetikasa GitHub. Niseho tao amin'ny incubator i Pinot tamin'ny Oktobra 2018, ary teraka 8 volana talohan'izay i Druid - tamin'ny Febroary.
Ny tsy fahampian'ny fampahalalana momba ny fomba fiasan'ny AFS dia miteraka fanontaniana sasany, ary angamba adaladala ho ahy. Manontany tena aho raha tsikaritr'ireo mpanoratra Pinot fa ny Apache Foundation dia mankasitraka kokoa an'i Druid, ary niteraka fialonana ve izany fihetsika manoloana ny mpifaninana izany? Hihena ve ny fivoaran'i Druid ary hihamangatsiaka ve ny fivoaran'i Pinot raha toa ka lasa liana tampoka amin'ity farany ny mpanohana an'ilay teo aloha?
Ny tsy fahampian'ny ClickHouse
Tsy fahamatorana: Mazava ho azy fa mbola tsy teknolojia mankaleo izany, fa na izany na tsy izany, tsy misy zavatra toy izany hita ao amin'ny DBMS andalana hafa.
Ny fampidirana kely dia tsy mandeha tsara amin'ny hafainganam-pandeha avo: tsy maintsy zaraina amin'ny ampahany lehibe kokoa ny fampidirana kely satria miharatsy mifanaraka amin'ny isan'ny tsanganana isaky ny andalana ny fampidiran-dresaka kely. Toy izao ny fomba fitehirizan'ny ClickHouse angona amin'ny kapila - ny tsanganana tsirairay dia maneho rakitra 1 na mihoatra, ka raha te hampiditra andalana 1 misy tsanganana 100 ianao dia mila manokatra sy manoratra rakitra 100 farafahakeliny. Izany no mahatonga ny fampidirana buffering mitaky mpanelanelana (raha tsy ny mpanjifa mihitsy no manome buffering) - matetika Kafka na karazana rafitra fitantanana filaharana. Azonao atao ihany koa ny mampiasa ny motera latabatra Buffer mba handikana angon-drakitra be dia be ao anaty tabilao MergeTree.
Ny fidirana amin'ny latabatra dia voafetra amin'ny RAM an'ny mpizara, fa farafaharatsiny eo izy ireo! Ohatra, tsy manana fifandraisana toy izany mihitsy i Druid sy Pinot, satria sarotra ny mampihatra mivantana amin'ny rafitra mizara izay tsy manohana ny fifindran'ny angon-drakitra lehibe eo anelanelan'ny nodes.
hitany
Mikasa ny hampiasa betsaka ny ClickHouse ao amin'ny Qwintry izahay amin'ny taona ho avy, satria ity DBMS ity dia manome fifandanjana tsara amin'ny fampisehoana, ambany ambony, scalability ary fahatsorana. Azoko antoka fa hanomboka hiparitaka haingana izy io rehefa tonga amin'ny fomba maro kokoa hampiasana azy amin'ny fametrahana kely ka hatramin'ny antonony ny vondrom-piarahamonina ClickHouse.
Ny doka sasany 🙂
Misaotra anao nijanona niaraka taminay. Tianao ve ny lahatsoratray? Te-hahita votoaty mahaliana kokoa? Tohano izahay amin'ny fametrahana baiko na fanolorana amin'ny namana, , analogue tsy manam-paharoa amin'ny mpizara ambaratonga fidirana, izay noforoninay ho anao: (misy miaraka amin'ny RAID1 sy RAID10, hatramin'ny 24 cores ary hatramin'ny 40GB DDR4).
Dell R730xd 2x mora kokoa amin'ny foibe data Equinix Tier IV any Amsterdam? Eto ihany any Holandy! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - manomboka amin'ny $99! Vakio ny momba ny
Source: www.habr.com