Theory na omume nke iji ClickHouse na ezigbo ngwa. Alexander Zaitsev (2018)

N'agbanyeghị na enwere ọtụtụ data ugbu a fọrọ nke nta ka ọ bụrụ ebe niile, ọdụ data nyocha ka dị oke egwu. A maghị ha nke ọma na ọbụna obere ike iji ha rụọ ọrụ nke ọma. Ọtụtụ na-aga n'ihu na-eji MySQL ma ọ bụ PostgreSQL "eri cactus", nke emebere maka ọnọdụ ndị ọzọ, na-alụso NoSQL ọgụ, ma ọ bụ kwụọ ụgwọ maka ngwọta azụmahịa. ClickHouse bụ onye na-agbanwe egwuregwu ma na-ebelata ihe mgbochi ịbanye n'ime ụwa nke DBMS nyocha.

Akụkọ a sitere na BackEnd Conf 2018 wee bipụta ya site na ikike nke ọkà okwu.

Kedu onye m bụ na gịnị kpatara m ji ekwu maka ClickHouse? Abụ m onye isi mmepe na LifeStreet, nke na-eji ClickHouse. Abụkwa m onye malitere Altinity. Nke a bụ onye mmekọ Yandex na-akwalite ClickHouse ma na-enyere Yandex aka ime ClickHouse nke ọma. Adịkwa m njikere ịkọrọ ihe ọmụma gbasara ClickHouse.

Na abụghịkwa m nwanne Petya Zaitsev. A na-ajụkarị m gbasara nke a. Mba, anyị abụghị ụmụnne.

"Onye ọ bụla maara" na ClickHouse:

• Ngwa ngwa ngwa,
• Dị oke mma,
• A na-eji ya na Yandex.

Ọ bụ ntakịrị amachaghị nke ụlọ ọrụ na otu esi eji ya.

Aga m agwa gị ihe kpatara ya, ebe na otu esi eji ClickHouse, ewezuga Yandex.

M ga-agwa gị otu esi edozi nsogbu kpọmkwem site na iji ClickHouse na ụlọ ọrụ dị iche iche, ihe ClickHouse ngwaọrụ ị nwere ike iji maka ọrụ gị, na otu esi eji ha na ụlọ ọrụ dị iche iche.

Ahọpụtala m ihe atụ atọ na-egosi ClickHouse site n'akụkụ dị iche iche. Echere m na ọ ga-adọrọ mmasị.

Ajụjụ mbụ bụ: "Gịnị mere ị chọrọ ClickHouse?" Ọ dị ka ajụjụ a doro anya, ma e nwere ihe karịrị otu azịza ya.

• Azịza mbụ bụ maka ebumnuche arụmọrụ. ClickHouse dị ngwa ngwa. Nchịkọta na ClickHouse dịkwa ngwa ngwa. Enwere ike iji ya na-ejikarị ebe ihe ọzọ na-arụ ọrụ nke nta nke nta ma ọ bụ na-adịghị mma.
• Azịza nke abụọ bụ ọnụ ahịa. Na nke mbụ, ọnụ ahịa scaling. Dịka ọmụmaatụ, Vertica bụ ezigbo nchekwa data. Ọ na-arụ ọrụ nke ọma ma ọ bụrụ na ịnweghị ọtụtụ terabytes nke data. Mana mgbe anyị na-ekwu maka narị terabytes ma ọ bụ petabytes, ọnụ ahịa ikike na nkwado na-akwụ ụgwọ dị oke mkpa. Ọ dịkwa oke ọnụ. Na ClickHouse bụ n'efu.
• Azịza nke atọ bụ ụgwọ ọrụ. Nke a bụ ụzọ dịtụ iche. RedShift bụ ezigbo analog. Na RedShift ị nwere ike ime mkpebi ngwa ngwa. Ọ ga-arụ ọrụ nke ọma, mana n'otu oge ahụ, awa ọ bụla, ụbọchị ọ bụla na ọnwa ọ bụla, ị ga-akwụ Amazon nnukwu ego, n'ihi na ọ bụ ọrụ dị oke ọnụ. Google BigQuery kwa. Ọ bụrụ na onye ọ bụla ejirila ya, mgbe ahụ ọ maara na ị nwere ike ịgba ọsọ ọtụtụ ajụjụ n'ebe ahụ wee nweta akwụkwọ ọnụahịa na mberede maka ọtụtụ narị dollar.

ClickHouse enweghị nsogbu ndị a.

Ebe a na-eji ClickHouse ugbu a? Na mgbakwunye na Yandex, ClickHouse na-eji na ụyọkọ azụmahịa na ụlọ ọrụ dị iche iche.

• Nke mbụ, nke a bụ nyocha ngwa weebụ, yabụ nke a bụ ihe eji eme ihe sitere na Yandex.
• Ọtụtụ ụlọ ọrụ AdTech na-eji ClickHouse.
• Ọtụtụ ụlọ ọrụ chọrọ inyocha ndekọ ọrụ sitere na isi mmalite dị iche iche.
• Ọtụtụ ụlọ ọrụ na-eji ClickHouse nyochaa ndekọ nchekwa. Ha na-ebugo ha na ClickHouse, na-eme akụkọ, wee nweta nsonaazụ ha chọrọ.
• Ndị ụlọ ọrụ na-amalite iji ya na nyocha ego, ya bụ, nke nta nke nta ka nnukwu ụlọ ọrụ na-abịarute ClickHouse.
• CloudFlare. Ọ bụrụ na onye ọ bụla na-eso ClickHouse, ikekwe ị nụla aha ụlọ ọrụ a. Nke a bụ otu n'ime ihe ndị dị mkpa sitere na obodo. Ma ha nwere nrụnye ClickHouse dị oke njọ. Dịka ọmụmaatụ, ha mere Kafka Engine maka ClickHouse.
• Ụlọ ọrụ mgbasa ozi amalitela iji. Ọtụtụ ụlọ ọrụ na-eji ClickHouse dị ka ihe akaebe na echiche ma ọ bụ na-emepụtalarị.
• Otu ụlọ ọrụ na-eji ClickHouse nyochaa usoro mmepụta. Ha na-anwale microcircuits, depụta ụyọkọ paramita, enwere ihe dị ka njirimara 2. Mgbe ahụ, ha na-enyocha ma ogbe ahụ ọ dị mma ka ọ dị njọ.
• Blockchain nchịkọta. Enwere ụlọ ọrụ Rọshịa a na-akpọ Bloxy.info. Nke a bụ nyocha nke netwọk Ethereum. Ha mekwara nke a na ClickHouse.

Ma nha adịghị mkpa. E nwere ọtụtụ ụlọ ọrụ na-eji otu obere sava, ọ na-edozikwa nsogbu ha. Ọbụna ụlọ ọrụ ndị ọzọ na-eji nnukwu ụyọkọ nke ọtụtụ. sava ma ọ bụ ọtụtụ sava.

Ma ọ bụrụ na ị na-ele anya na ndekọ, mgbe ahụ:

• Yandex: sava 500+, ha na-echekwa ihe ndekọ ijeri 25 kwa ụbọchị n'ebe ahụ.
• LifeStreet: sava 60, ihe ndekọ ijeri 75 kwa ụbọchị. Enwere obere sava yana ndekọ karịa na Yandex.
• CloudFlare: Sava 36, ​​ha na-echekwa ihe ndekọ ijeri 200 kwa ụbọchị. Ha nwere obere sava ma na-echekwa data karịa.
• Bloomberg: 102 ihe nkesa, ihe dị ka otu ijeri ntinye kwa ụbọchị. Onye ji ndekọ maka ntinye.

Geographically, nke a bụkwa ọtụtụ. Map a na-egosi ikpo ọkụ nke ebe ClickHouse na-eji n'ụwa. N'ebe a, Russia, China na America pụtara nke ọma. Enwere mba Europe ole na ole. Na 4 ụyọkọ nwere ike iche.

Nke a bụ nyocha ntụnyere, ọ dịghị mkpa ịchọ ọnụọgụgụ zuru oke. Nke a bụ nyocha nke ndị ọbịa na-agụ ihe asụsụ Bekee na webụsaịtị Altinity, n'ihi na ọ nweghị ndị na-asụ Russian n'ebe ahụ. Na Russia, Ukraine, Belarus, ya bụ mpaghara na-asụ Russian nke obodo, bụ ndị ọrụ kacha ukwuu. Mgbe ahụ, USA na Canada na-abịa. China na-enweta nke ọma. Ọ fọrọ nke nta ka ọ bụrụ na ọ nweghị China ebe ahụ ọnwa isii gara aga; ugbu a China agafeela Europe wee na-eto eto. Old Europe adịghịkwa akwụsị n'azụ, na onye ndu n'iji ClickHouse bụ, n'ụzọ zuru oke, France.

Gịnị mere m ji na-ekwu ihe a niile? Iji gosi na ClickHouse na-aghọ ihe ngwọta ọkọlọtọ maka nnukwu nyocha data ma ejirila ya mee ihe n'ọtụtụ ebe. Ọ bụrụ na ị na-eji ya, ị nọ na omume ziri ezi. Ọ bụrụ na ị naghị eji ya eme ihe, mgbe ahụ ị gaghị atụ egwu na a ga-ahapụ gị naanị na ọ dịghị onye ga-enyere gị aka, n'ihi na ọtụtụ ndị na-emebu nke a.

Ndị a bụ ihe atụ nke ezigbo ojiji ClickHouse n'ọtụtụ ụlọ ọrụ.

• Ihe atụ mbụ bụ netwọk mgbasa ozi: mbugharị site na Vertica gaa ClickHouse. Amakwa m ọtụtụ ụlọ ọrụ ndị si na Vertica gbanwee ma ọ bụ na-eme mgbanwe.
• Ihe atụ nke abụọ bụ nchekwa azụmahịa na ClickHouse. Nke a bụ ihe atụ nke e wuru na antipatterns. Ihe niile na-adịghị mkpa ka eme na ClickHouse dị ka ndụmọdụ nke ndị mmepe na-eme ebe a. Ma n'otu oge ahụ a na-eme ya nke ọma na ọ na-arụ ọrụ. Ọ na-arụkwa ọrụ nke ọma karịa ngwọta azụmahịa.
• A na-ekesa ihe atụ nke atọ na kọmputa na ClickHouse. Enwere ajụjụ gbasara otu enwere ike itinye ClickHouse n'ime gburugburu ebe obibi Hadoop. M ga-egosi ihe atụ nke otu ụlọ ọrụ si mee ihe yiri maapụ ebelata akpa na ClickHouse, nlekota data localization, wdg, iji gbakọọ ọrụ na-adịghị mkpa.

• LifeStreet bụ ụlọ ọrụ Ad Tech nwere teknụzụ niile metụtara netwọk mgbasa ozi.
• Ọ na-etinye aka na mgbasa ozi mgbasa ozi na ntinye akwụkwọ mmemme.
• Ọtụtụ data: ihe dị ka ijeri 10 ihe omume kwa ụbọchị. Ọzọkwa, e nwere ike ikewa ihe omume n'ime ọtụtụ sub-mmemme.
• Enwere ọtụtụ ndị ahịa nke data a, ndị a abụghị naanị ndị mmadụ, ọtụtụ ndị ọzọ bụ algọridim dị iche iche na-etinye aka na ntinye mmemme.

Ụlọ ọrụ ahụ abịala ogologo ụzọ ogwu. Ekwuru m ya na HighLoad. Nke mbụ, LifeStreet si na MySQL (na nkwụsịtụ dị mkpirikpi na Oracle) kwaga Vertica. I nwekwara ike ịhụ akụkọ gbasara ya.

Na ihe niile dị ezigbo mma, ma ọ bịara doo anya na data na-eto eto na Vertica dị oke ọnụ. Ya mere, a na-achọ ụzọ dị iche iche. Edepụtara ụfọdụ n'ime ha ebe a. Na n'ezie, anyị mere ihe àmà nke echiche ma ọ bụ mgbe ụfọdụ arụmọrụ ule nke fọrọ nke nta niile ọdụ data dị na ahịa si 13 ka 16 na ndị dị ka ihe kwesịrị ekwesị na arụmọrụ. M na-ekwukwa maka ụfọdụ n'ime ha na HighLoad.

Ọrụ ahụ bụ ibu ụzọ si na Vertica kwaga, n'ihi na data ahụ na-eto eto. Ha toro nke ukwuu ruo ọtụtụ afọ. Mgbe ahụ, ha wee na shelf, ma ka. Na ịkọ uto a, azụmahịa chọrọ maka oke data nke ụdị ụfọdụ nke nyocha dị mkpa, o doro anya na n'oge na-adịghị anya, a ga-enwe okwu nke petabytes. Ma ọ dị oke ọnụ iji kwụọ ụgwọ maka petabytes, yabụ anyị na-achọ ebe ọzọ anyị ga-aga.

Ebee ka aga? Ma ruo ogologo oge ọ bụchaghị ebe ị ga-aga, n'ihi na n'otu aka e nwere ọdụ data azụmahịa, ha yiri ka ọ na-arụ ọrụ nke ọma. Ụfọdụ na-arụ ọrụ fọrọ nke nta ka ọ bụrụ Vertica, ụfọdụ ka njọ. Mana ha niile dị oke ọnụ, ọ nweghị ihe dị ọnụ ala ma ọ bụ nke ka mma enwere ike ịhụ.

N'aka nke ọzọ, e nwere ihe ngwọta na-emeghe, nke na-enweghị ọtụtụ, ya bụ maka nyocha ha nwere ike ịgụta n'otu aka. Na ha bụ n'efu ma ọ bụ ọnụ ala, mana ha na-arụ ọrụ nwayọọ nwayọọ. Na ha na-enwekarị ọrụ dị mkpa na nke bara uru.

Ọ dịghịkwa ihe ọ bụla iji jikọta ihe ọma ndị dị na ọdụ data azụmahịa na ihe niile dị n'efu na-emeghe.

Ọ dịghị ihe mere ruo mgbe Yandex na mberede wepụrụ ClickHouse na okpu dị ka oke bekee nke anwansi. Ma nke a bụ mkpebi a na-atụghị anya ya;

Na ozugbo n'oge okpomọkụ nke 2016, anyị malitere ile anya ihe ClickHouse bụ. Ọ tụgharịrị na ọ nwere ike na-agba ọsọ mgbe ụfọdụ karịa Vertica. Anyị nwalere ọnọdụ dị iche iche na arịrịọ dị iche iche. Ma ọ bụrụ na ajụjụ a na-eji naanị otu tebụl, ya bụ na-enweghị njikọ ọ bụla, mgbe ahụ ClickHouse dị okpukpu abụọ karịa Vertica.

Adịghị m umengwụ ma leba anya n'ule Yandex ọzọ ụbọchị nke ọzọ. Ọ bụ otu ihe ahụ ebe ahụ: ClickHouse dị okpukpu abụọ karịa Vertica, ya mere ha na-ekwukarị banyere ya.

Ma ọ bụrụ na ajụjụ ndị ahụ nwere njikọ, mgbe ahụ, ihe niile na-apụta na-apụtachaghị ìhè. Na ClickHouse nwere ike iji nwayọọ okpukpu abụọ ka Vertica. Ma ọ bụrụ na ị gbazie ma degharịa arịrịọ ahụ ntakịrị, mgbe ahụ, ha ga-abụ nha nhata. Ọ dịghị njọ. Ma ọ bụ n'efu.

Na mgbe ọ nwetasịrị nsonaazụ ule, ma lelee ya n'akụkụ dị iche iche, LifeStreet gara ClickHouse.

Nke a bụ afọ nke iri na isii, echetara m gị. Ọ dị ka ihe ọchị ụmụ oke na-ebe akwa ma gbaa onwe ha ọgwụ, mana gara n'ihu na-eri cactus. A tụlekwara nke a n'ụzọ zuru ezu, enwere vidiyo banyere nke a, wdg.

Ya mere, agaghị m ekwu maka nke a n'ụzọ zuru ezu, m ga-ekwu naanị banyere nsonaazụ na ihe ole na ole na-adọrọ mmasị nke m na-ekwughị banyere ya mgbe ahụ.

Nsonaazụ bụ:

• Mbugharị na-aga nke ọma na usoro a na-emepụta ihe karịrị otu afọ.
• Nrụpụta na mgbanwe abawanyela. Site na ndekọ ijeri iri anyị nwere ike ịchekwa kwa ụbọchị maka naanị obere oge, LifeStreet na-echekwa ndekọ ijeri 10 kwa ụbọchị ma nwee ike ime ya maka ọnwa 75 ma ọ bụ karịa. Ọ bụrụ na ị gụọ na ọnụ ọgụgụ kasị elu, mgbe ahụ, a na-echekwa nke a ihe ruru nde ihe omume kwa nkeji. A na-eziga ihe karịrị otu nde ajụjụ SQL kwa ụbọchị na sistemụ a, ọkachasị site na rọbọt dị iche iche.
• N'agbanyeghị na ClickHouse malitere iji sava karịa Vertica, a na-echekwa ego na ngwaike, n'ihi na Vertica jiri diski SAS dị oke ọnụ. ClickHouse ejiri SATA mee ihe. Gịnịkwa mere? N'ihi na na Vertica ntinye bụ synchronous. Na mmekọrịta na-achọ ka diski ndị ahụ ghara iji nwayọọ nwayọọ, nakwa na netwọk adịghị ebelata nke ukwuu, ya bụ, ọrụ dị oke ọnụ. Na ntinye ClickHouse bụ asynchronous. Ọzọkwa, ị nwere ike dee ihe niile na mpaghara mgbe niile, enweghị ụgwọ ọzọ maka nke a, yabụ enwere ike itinye data n'ime ClickHouse ngwa ngwa karịa na Vertika, ọbụlagodi na ọ bụghị diski ngwa ngwa. Ịgụ ihe bụkwa otu ihe ahụ. Ịgụ na SATA, ọ bụrụ na ha nọ na RAID, mgbe ahụ ọ bụ ngwa ngwa.
• Enweghị oke site na ikike, ya bụ 3 petabytes nke data na sava 60 (sava ​​20 bụ otu oyiri) na ndekọ 6 trillion na eziokwu na mkpokọta. Vertica enweghị ike ị nweta ihe ọ bụla dị ka nke a.

Ugbu a, a na m erute ihe ndị bara uru na ihe atụ a.

• Nke mbụ bụ atụmatụ dị irè. Ọtụtụ na-adabere na atụmatụ.
• Nke abụọ bụ ịmepụta SQL nke ọma.

A na-ahọrọ ajụjụ OLAP a na-ahụkarị. Ụfọdụ kọlụm na-aga otu site, ụfọdụ kọlụm na-aga na mkpokọta ọrụ. Enwere ebe, nke enwere ike iche dị ka iberi nke cube. Enwere ike iche otu a niile dị ka amụma. Ya mere, a na-akpọ ya multivariate data analysis.

Na mgbe mgbe, a na-egosipụta nke a n'ụdị eserese kpakpando, mgbe enwere eziokwu etiti na njirimara nke eziokwu a n'akụkụ, tinyere ụzarị.

Na site n'echiche nke imewe anụ ahụ, otú o si dabara na tebụl, ha na-emekarị ihe nnọchianya nkịtị. Ị nwere ike denormalize, mana ọ dị oke ọnụ na diski na ọ naghị arụ ọrụ nke ọma na ajụjụ. Ya mere, ha na-emekarị ka ele anya nke ọma, ya bụ tebụl eziokwu na ọtụtụ tebụl akụkụ.

Mana nke a anaghị arụ ọrụ nke ọma na ClickHouse. Enwere ihe abụọ kpatara ya:

• Nke mbụ bụ n'ihi na ClickHouse enweghị ezigbo njikọ, ya bụ, enwere njikọ, mana ha dị njọ. Ruo ugbu a, ha dị njọ.
• Nke abụọ bụ na tebụl anaghị emelite. Ọtụtụ mgbe na akara ngosi ndị a dị n'akụkụ eserese kpakpando, ọ dị mkpa ka a gbanwee ihe. Dịka ọmụmaatụ, aha ndị ahịa, aha ụlọ ọrụ, wdg. Ọ naghịkwa arụ ọrụ.

Ma enwere ụzọ pụọ na nke a na ClickHouse. ọbụna abụọ:

• Nke mbụ bụ iji akwụkwọ ọkọwa okwu. Akwụkwọ ọkọwa okwu mpụga bụ ihe na-enyere 99% aka idozi nsogbu ahụ na atụmatụ kpakpando, yana mmelite na ihe ndị ọzọ.
• Nke abụọ bụ iji arrays. Arrays na-enyekwa aka kpochapụ njikọ na nsogbu na normalization.

• Enweghị mkpa maka njikọ.
• Enwere ike imelite. Kemgbe Machị 2018, ohere enweghị akwụkwọ apụtala (ị gaghị ahụ nke a na akwụkwọ) imelite akwụkwọ ọkọwa okwu akụkụ ụfọdụ, ya bụ ndenye ndị gbanwere. Na omume, ọ dị ka tebụl.
• Mgbe niile na ebe nchekwa, yabụ na-esonye na ọrụ ọkọwa okwu ngwa ngwa karịa ma ọ bụrụ na ọ bụ tebụl nke dina na diski ma ọ bụghị eziokwu na ọ dị na cache, o yikarịrị ka ọ bụghị.

• Ịchọghịkwa nsonye.
• Nke a bụ kọmpat 1 maka ọtụtụ nnọchite anya.
• Na n'uche nke m, a na-eme ndokwa maka geeks. Ndị a bụ ọrụ lambda na ihe.

Nke a abụghị maka okwu. Nke a bụ ọrụ siri ike nke na-enye gị ohere ịme ọtụtụ ihe n'ụzọ dị mfe na nke ọma.

Ọmụmaatụ ndị na-enyere aka dozie nhazi. Ihe atụ ndị a dị mfe ma doo anya nke ọma:

• Chọọ site na mkpado. Ọ bụrụ na ị nwere hashtags ebe ahụ ma chọọ ịchọta ụfọdụ posts site na hashtag.
• Chọọ site na ụzọ abụọ igodo-uru. E nwekwara àgwà ụfọdụ nwere ihe ọ pụtara.
• Na-echekwa ndepụta igodo ndị ịchọrọ ịtụgharị asụsụ ka ọ bụrụ ihe ọzọ.

Enwere ike idozi nsogbu ndị a niile n'enweghị usoro. Enwere ike itinye mkpado n'ahịrị ụfọdụ wee họrọ site na iji okwu oge niile, ma ọ bụ na tebụl dị iche, mana mgbe ahụ ị ga-eme njikọ.

Mana na ClickHouse ịkwesighi ime ihe ọ bụla, kọwapụta naanị otu eriri maka hashtags ma ọ bụ mepụta usoro akwụ ụgwọ maka sistemụ uru bara uru.

Ụlọ akwụrụ nwere ike ọ gaghị abụ aha kacha mma. Ndị a bụ arrays abụọ nwere otu akụkụ na aha na ụfọdụ njirimara metụtara ya.

Ma ọ dị mfe ịchọ site na mkpado. Enwere ọrụ has, nke na-enyocha na n'usoro nwere mmewere. Onye ọ bụla, anyị hụrụ ndenye niile metụtara ọgbakọ anyị.

Ịchọ site subid dị ntakịrị mgbagwoju anya. Anyị kwesịrị ibu ụzọ chọta index nke igodo ahụ, wee were mmewere ya na ndeksi a wee lelee na uru a bụ ihe anyị chọrọ. Ma ka o sina dị nnọọ mfe na kọmpat.

Okwu okwu mgbe niile ị ga-achọ ide, ọ bụrụ na ị na-echekwa ya niile n'otu ahịrị, ọ ga-abụ, nke mbụ, mgbagwoju anya. Ma, nke abụọ, ọ na-arụ ọrụ ogologo oge karịa ụdị abụọ.

Ihe atụ ọzọ. Ị nwere nhazi nke ị na-echekwa ID. Ị nwere ike ịtụgharị ha n'aha. Ọrụ arrayMap. Nke a bụ ọrụ lambda a na-ahụkarị. Ị na-agafe okwu lambda ebe ahụ. Ọ na-ewepụta uru aha maka ID nke ọ bụla n'akwụkwọ ọkọwa okwu.

Ị nwere ike ịme ọchụchọ n'otu ụzọ ahụ. A na-agafe ọrụ predicate, nke na-enyocha ihe ihe ndị ahụ dabara.

Ihe ndị a na-eme ka sekit dị mfe ma dozie ụyọkọ nsogbu.

Mana nsogbu ọzọ anyị zutere na nke m ga-achọ ịkọ bụ ajụjụ dị mma.

• ClickHouse enweghị onye nhazi ajụjụ. Ọ bụghị kpamkpam.
• Mana ka o sina dị, a ka kwesịrị ịhazi ajụjụ ndị dị mgbagwoju anya. N'ọnọdụ ndị dị aṅaa?
• Ọ bụrụ na arịrịọ ahụ nwere ọtụtụ njikọ, nke ị kechie na subselects. Na usoro a na-eme ha dị mkpa.
• Na nke abụọ, ọ bụrụ na a na-ekesa arịrịọ ahụ. N'ihi na n'ajụjụ a kesara, ọ bụ naanị onye kacha dị n'ime ka a na-eme n'ụzọ nkesa, na ihe ọ bụla ọzọ ka a na-ezigara na otu ihe nkesa ị jikọtara wee gbuo ebe ahụ. Ya mere, ọ bụrụ na ị kesaa ajụjụ na ọtụtụ njikọ, mgbe ahụ ịkwesịrị ịhọrọ usoro.

Na ọbụna n'ọnọdụ ndị dị mfe, mgbe ụfọdụ ị ga-achọkwa ịrụ ọrụ nke onye nhazi oge ma degharịa ajụjụ ahụ ntakịrị.

Nke a bụ ihe atụ. N'akụkụ aka ekpe bụ ajụjụ na-egosi mba ise kacha elu. Ọ na-agbakwa na sekọnd 5, echere m. Na n'akụkụ aka nri bụ otu arịrịọ ahụ, ma e degharịrị ntakịrị. Kama ịchịkọta site na eriri, anyị malitere iji igodo (int) na-achịkọta. Ọ dịkwa ngwa ngwa. Mgbe ahụ, anyị jikọtara akwụkwọ ọkọwa okwu na nsonaazụ ya. Kama 2,5 sekọnd, arịrịọ ahụ na-ewe 2,5 sekọnd. Nke a dị mma.

Ihe atụ yiri nke a nwere nzacha na-edegharị. Nke a bụ arịrịọ maka Russia. Ọ na-agba maka sekọnd 5. Ọ bụrụ na anyị degharịa ya n'ụzọ na anyị na-atụnyere ọzọ bụghị a eriri, ma nọmba na ụfọdụ set nke igodo ndị metụtara Russia, mgbe ahụ ọ ga-adị ngwa ngwa.

Enwere ọtụtụ aghụghọ dị otú ahụ. Na ha na-enye gị ohere ịme ngwa ngwa ajụjụ ndị i chere na-agba ọsọ ọsọ ọsọ, ma ọ bụ, n'aka nke ọzọ, na-agba ọsọ nwayọọ nwayọọ. Enwere ike ịme ha ngwa ngwa.

• Ọrụ kachasị na ọnọdụ ekesa.
• Na-ahazi site na obere ụdị, dịka m mere site na ints.
• Ọ bụrụ na enwere njikọ ma ọ bụ akwụkwọ ọkọwa okwu ọ bụla, mgbe ahụ ọ ka mma ime ha n'ikpeazụ, mgbe ị nwere data ma ọ dịkarịa ala otu akụkụ, mgbe ahụ, a ga-akpọ ọrụ njikọ ma ọ bụ ịkpọ akwụkwọ ọkọwa okwu obere oge ma ọ ga-adị ngwa ngwa.
• Dochie ihe nzacha.

Enwere usoro ndị ọzọ, ọ bụghị naanị ndị m gosipụtara. Na ha niile mgbe ụfọdụ na-enye gị ohere budata ngwa ngwa ogbugbu nke ajụjụ.

Ka anyị gaa n'ihu n'ihe atụ na-esote. Company X si USA. Gịnị ka ọ na-eme?

Enwere ọrụ:

• Njikọ na-anọghị n'ịntanetị nke azụmahịa mgbasa ozi.
• Simulation nke ụdị njide dị iche iche.

Kedu ihe bụ ọnọdụ ahụ?

Onye ọbịa nkịtị na-eleta saịtị ahụ, dịka ọmụmaatụ, ugboro 20 kwa ọnwa site na mgbasa ozi dị iche iche, ma ọ bụ mgbe ụfọdụ ọ na-abịa na-enweghị mgbasa ozi ọ bụla, n'ihi na ọ na-echeta saịtị a. Na-eleba anya na ngwaahịa ụfọdụ, tinye ha na nkata, wepụ ha na nkata. Na, n'ikpeazụ, ọ na-azụta ihe.

Ajụjụ ndị nwere ezi uche: "Ònye kwesịrị ịkwụ ụgwọ maka mgbasa ozi, ọ bụrụ na ọ dị mkpa?" na "Olee mgbasa ozi, ma ọ bụrụ na ọ bụla, metụtara ya?" Ya bụ, gịnị mere o ji zụta na ka ọ ga-esi jide n'aka na ndị yiri onye a zụrụkwa?

Iji dozie nsogbu a, ịkwesịrị ijikọ ihe omume na-eme na weebụsaịtị n'ụzọ ziri ezi, ya bụ, n'ụzọ ụfọdụ wulite njikọ n'etiti ha. Mgbe ahụ, a na-ebufe ha maka nyocha na DWH. Na dabere na nyocha a, wuo ụdị onye ga-egosi ihe mgbasa ozi.

Azụmahịa mgbasa ozi bụ usoro ihe omume onye ọrụ metụtara ya na-amalite site na mgbasa ozi egosiri, mgbe ahụ ihe na-eme, mgbe ahụ enwere ike ịzụrụ, mgbe ahụ enwere ike ịzụta ihe n'ime ịzụrụ. Dịka ọmụmaatụ, ọ bụrụ na nke a bụ ngwa mkpanaka ma ọ bụ egwuregwu mkpanaka, mgbe ahụ ịwụnye ngwa ahụ na-abụkarị n'efu, mana ọ bụrụ na emere ihe ọzọ ebe ahụ, ọ nwere ike ịchọ ego. Na ka mmadụ na-emefu na ngwa, ka ọ bara uru karị. Mana maka nke a ịkwesịrị ijikọ ihe niile.

Enwere ọtụtụ ụdị njikọ.

Ndị kacha ewu ewu bụ:

• Mmekọrịta ikpeazụ, ebe mmekọrịta bụ ma ọpịpị ma ọ bụ mmetụta.
• Mkpakọrịta mbụ, ya bụ ihe mbụ butere mmadụ na saịtị ahụ.
• Ngwakọta Linear - nha nha maka onye ọ bụla.
• Attenuation.
• Were gabazie.

Oleekwa otú ihe niile si rụọ ọrụ ná mmalite? Enwere oge ịgba ọsọ na Cassandra. A na-eji Cassandra dị ka nchekwa azụmahịa, ya bụ, echekwara azụmahịa niile metụtara ya. Na mgbe ụfọdụ ihe omume mere na Runtime, dịka ọmụmaatụ, ngosi nke ibe ma ọ bụ ihe ọzọ, a na-arịọ Cassandra arịrịọ ma ọ dị onye dị otú ahụ ma ọ bụ na ọ nweghị. Mgbe ahụ, azụmahịa ndị metụtara ya natara. E wee kechie ya.

Ma ọ bụrụ na ị nwere ihu ọma na arịrịọ ahụ nwere id azụmahịa, mgbe ahụ nke a dị mfe. Ma na-emekarị ị na-enweghị chioma. Ya mere, ọ dị mkpa ịchọta azụmahịa ikpeazụ ma ọ bụ azụmahịa na pịa ikpeazụ, wdg.

Na ihe niile na-arụ ọrụ nke ọma ruo mgbe njikọ bụ ikpeazụ click. N'ihi na e nwere, sịnụ, 10 nde clicks kwa ụbọchị, 300 nde kwa ọnwa, ma ọ bụrụ na i debere a window maka otu ọnwa. Ma ebe ọ bụ na na Cassandra, ọ ga-adịrịrị na ebe nchekwa iji rụọ ọrụ ngwa ngwa, n'ihi na a chọrọ oge ịgba ọsọ iji zaghachi ngwa ngwa, ihe dị ka sava 10-15 chọrọ.

Na mgbe ha chọrọ ijikọ azụmahịa na ngosi, ọ tụgharịrị ozugbo ọ bụghị ihe na-atọ ụtọ. Gịnịkwa mere? Enwere ike ịhụ na ọ dị mkpa ka ịchekwa ihe omume ugboro 30 ọzọ. Ma, ya mere, ị ga-achọ sava 30 karịa. Ma ọ na-apụta na nke a bụ ụdị ọdịdị mbara igwe. Idebe ihe ruru sava 500 iji mee njikọ, n'agbanyeghị na enwere obere sava na Runtime, bụ ụdị ụdị na-ezighi ezi. Ha wee malite iche echiche ihe ha ga-eme.

Anyị wee gaa ClickHouse. Kedu ka esi eme nke a na ClickHouse? N'ileghachi anya na mbụ, ọ dị ka nke a bụ usoro mgbochi.

• Azụmahịa ahụ na-eto eto, anyị na-ejikọta ọtụtụ ihe omume na ya, ya bụ na ọ na-agbanwe agbanwe, na ClickHouse anaghị arụ ọrụ nke ọma na ihe ndị nwere ike ịgbanwe.
• Mgbe onye ọbịa na-abịakwute anyị, anyị kwesịrị iweghachite azụmahịa ya site na igodo, site na id nleta ya. Nke a bụkwa ajụjụ ajụjụ; ClickHouse anaghị eme nke ahụ. Ọtụtụ mgbe ClickHouse nwere nnukwu…nyocha, mana ebe a anyị kwesịrị ịnweta ọtụtụ ndekọ. Ọzọkwa ihe mgbochi ụkpụrụ.
• Tụkwasị na nke ahụ, azụmahịa ahụ dị na json, ma ha achọghị idegharị ya, ya mere, ha chọrọ ịchekwa json na-enweghị nhazi, ma ọ bụrụ na ọ dị mkpa, wepụ ihe na ya. Nke a bụkwa ihe mgbochi.

Ya bụ, usoro ihe mgbochi.

Mana ka o sina dị, anyị jisiri ike mepụta usoro na-arụ ọrụ nke ọma.

Gịnị ka e mere? ClickHouse pụtara, nke etinyere na ndekọ, kewara n'ime ndekọ. Ọrụ ewepụtara pụtara nke natara ndekọ sitere na ClickHouse. Mgbe nke ahụ gasịrị, maka ntinye ọ bụla site na id nleta, enwetara m azụmahịa ndị a na-enwebeghị ike ịhazi ya na gbakwunyere snapshots, ya bụ azụmahịa ejikọrọ, ya bụ nsonaazụ nke ọrụ gara aga. Emeela m ezi uche na ha, họrọ azụmahịa ziri ezi, wee jikọọ mmemme ọhụrụ. Etinyela ya ọzọ. Ihe ndekọ ahụ laghachiri na ClickHouse, ya bụ na ọ bụ usoro cyclical mgbe niile. Ma e wezụga nke ahụ, agara m DWH iji nyochaa ya ebe ahụ.

Ọ naghị arụ ọrụ nke ọma n'ụdị a. Na iji mee ka ọ dịrị ClickHouse mfe, mgbe enwere arịrịọ maka id nleta, ha chịkọtara arịrịọ ndị a n'ime ngọngọ nke ids nleta 1-000 wee wepụta azụmahịa niile maka mmadụ 2-000. Ma mgbe ahụ, ihe niile na-arụ ọrụ.

Ọ bụrụ n’ile anya n’ime ClickHouse, enwere naanị tebụl isi atọ na-eje ozi ihe a niile.

Tebụl mbụ nke a na-ebunye ndekọ, na-ebugote ndekọ na-enweghị nhazi ọ bụla.

Tebụl nke abụọ. Site na echiche nke ihe onwunwe, ihe omume ndị a na-ekwubeghị, ya bụ, ndị na-enweghị njikọ, na-esi na ndekọ ndị a pụta. Na site na nhụta nke ihe onwunwe, e wepụrụ azụmahịa n'ime ndekọ ndị a iji wuo foto. Ya bụ, e kere foto nke nwere echiche pụrụ iche nke ihe onwunwe, ya bụ ọnọdụ ikpeazụ chịkọbara nke azụmahịa ahụ.

Ebe a ka edere ederede na SQL. Ọ ga-amasị m ịza ajụjụ maka ọtụtụ ihe dị mkpa na ya.

Ihe mbụ dị mkpa bụ ikike dị na ClickHouse wepụ ogidi na ubi na json. Ya bụ, ClickHouse nwere ụzọ ụfọdụ maka ịrụ ọrụ na json. Ha dị nnọọ ochie.

visitParamExtractInt na-enye gị ohere wepụ àgwà na json, ya bụ, a na-akpalite ihe ọkụkụ mbụ. N'ụzọ dị otú a, ị nwere ike wepụ id azụmahịa ma ọ bụ nleta id. Oge nke a.

Nke abuo, a na-eji ebe a na-eme ihe na-adịghị mma. Kedu ihe ọ pụtara? Nke a pụtara na ị nweghị ike itinye ya na tebụl, ya bụ, etinyeghị ya, a na-agbakọ ma chekwaa ya mgbe etinyere ya. Mgbe itinye, ClickHouse na-arụ ọrụ maka gị. Na ihe ị ga-achọ ma emesịa wepụrụ ya na json.

N'okwu a, nlele ihe onwunwe bụ maka eriri raw. Na tebụl nke mbụ na ihe fọrọ nke nta ka ọ bụrụ raw logs na-eji. Gịnịkwa ka ọ na-eme? Nke mbụ, ọ na-agbanwe nhazi ahụ, ya bụ, a na-eme nhazi ugbu a site na nleta id, n'ihi na anyị kwesịrị ịdọrọ azụmahịa ya ngwa ngwa maka otu onye.

Ihe nke abụọ dị mkpa bụ index_granularity. Ọ bụrụ na ị hụla MergeTree, na-abụkarị uru ndabara bụ 8 index_granularity. Kedu ihe ọ bụ? Nke a bụ paramita sparsity index. Na ClickHouse, index bụ obere; Ọ na-eme nke a kwa 192 Ma nke a dị mma mgbe ịchọrọ ịgbakọ ọtụtụ data, mana ọ dị njọ mgbe ịchọrọ ịgbakọ ntakịrị, n'ihi na enwere nnukwu ego. Ma ọ bụrụ na anyị belata index granularity, mgbe ahụ, anyị na-ebelata n'elu. Ị nweghị ike ibelata ya ka ọ bụrụ otu, n'ihi na enwere ike ghara inwe ebe nchekwa zuru oke. A na-echekwa ndetu mgbe niile na ebe nchekwa.

Ihe onyonyo a na-eji ụfọdụ ọrụ ClickHouse ndị ọzọ na-atọ ụtọ.

Nke mbụ bụ AggregatingMergeTree. Na AggregatingMergeTree na-echekwa argMax, ya bụ, nke a bụ ọnọdụ azụmahịa dabara na akara timestamp ikpeazụ. A na-emepụta azụmahịa ọhụrụ maka onye ọbịa a mgbe niile. Na steeti ikpeazụ nke azụmahịa a, anyị gbakwunyere ihe omume wee nwee steeti ọhụrụ. Ọ kụrụ ClickHouse ọzọ. Na site argMax na nke a materialized echiche anyị nwere ike mgbe niile na-enweta ugbu a ala.

• Njide bụ "anaghị ejikọta ya" site na Oge ojiri gaa.
• A na-echekwa ma hazie azụmahịa ruru ijeri atọ kwa ọnwa. Nke a bụ usoro dị ukwuu karịa na Cassandra, ya bụ, n'usoro azụmahịa a na-ahụkarị.
• ụyọkọ nke sava ClickHouse 2x5. Sava 5 na nkesa ọ bụla nwere oyiri. Nke a dị obere karịa ka ọ dị na Cassandra iji mee njiri mara pịa, mana ebe a anyị nwere echiche dabere. Ya bụ, kama ịbawanye ọnụọgụ nke sava site na ugboro 30, e belatara ha.

Na ihe atụ ikpeazụ bụ ụlọ ọrụ ego Y, nke nyochara njikọ nke mgbanwe na ọnụahịa ngwaahịa.

Na ọrụ bụ nke a:

• Enwere ihe dịka 5 mbak.
• A na-ama nkwute okwu ọ bụla 100 millise seconds.
• Data achịkọtala ihe karịrị afọ 10. N'ụzọ doro anya, maka ụfọdụ ụlọ ọrụ ọ bụ karịa, maka ụfọdụ ọ bụ obere.
• Enwere ihe dịka 100 ijeri ahịrị na mkpokọta.

Na ọ dị mkpa iji gbakọọ njikọ nke mgbanwe.

Nke a bụ ebuka abụọ na nhota ha. Ọ bụrụ na otu na-arị elu na nke ọzọ na-arị elu, mgbe ahụ nke a bụ njikọ dị mma, ya bụ otu na-arị elu na nke ọzọ na-arị elu. Ọ bụrụ na otu na-arị elu, dị ka na njedebe nke eserese, ma nke ọzọ na-agbada, mgbe ahụ, nke a bụ mmekọrịta na-adịghị mma, ya bụ mgbe otu na-arị elu, nke ọzọ na-agbada.

Site n'ịtụle mgbanwe mgbanwe ndị a, mmadụ nwere ike ịme amụma na ahịa ego.

Ma ọrụ ahụ siri ike. Kedu ihe a na-eme maka nke a? Anyị nwere ndekọ 100 ijeri nwere: oge, ngwaahịa na ọnụahịa. Anyị kwesịrị ibu ụzọ gbakọọ ugboro ijeri 100 na-agba ọsọ dị iche na algọridim ọnụahịa. RunningDifference bụ ọrụ dị na ClickHouse nke na-agbakọ ihe dị iche n'etiti ahịrị abụọ.

Ma mgbe nke ahụ gasịrị, anyị kwesịrị ịgbakọ njikọ ahụ, na njikọ ahụ ga-agbakọ maka ụzọ ọ bụla. Maka mbak 5, ụzọ abụọ ahụ bụ nde 000. Ma nke a bụ ọtụtụ ihe, ya bụ, ugboro 12,5 ị chọrọ iji gbakọọ ọrụ mmekọrịta a.

Ma ọ bụrụ na onye ọ bụla chefuru, ͞x na ͞y bụ onye nyocha. atụ anya sample. Ya bụ, ịkwesịrị ọ bụghị naanị gbakọọ mgbọrọgwụ na nchikota, kamakwa nchikota ndị ọzọ n'ime nchikota ndị a. Ọ dị mkpa ka e mee ọtụtụ mgbakọ na mwepụ ugboro nde 12,5, ọ dịkwa mkpa ka a na-achịkọta ha n'otu awa. Anyị nwekwara ọtụtụ awa. Na ị ga-eme ya na 60 sekọnd. Ọ bụ egwuregwu.

Anyị kwesịrị ime ya n'ụzọ ụfọdụ, n'ihi na ọ na-arụ ọrụ nke ukwuu, nnọọ nwayọọ tupu ClickHouse abịarute.

Ha gbalịrị ịgbakọ nke a na Hadoop, na Spark, na Greenplum. Na ihe niile a dị nnọọ ngwa ngwa ma ọ bụ ọnụ ọnụ. Ya bụ, ọ ga-ekwe omume n'ụzọ ụfọdụ gbakọọ ya, ma mgbe ahụ ọ dị oke ọnụ.

Na mgbe ahụ ClickHouse bịara na ihe niile ghọrọ nnọọ mma.

Ka m chetara gị na anyị nwere nsogbu na mpaghara data, yabụ enweghị ike ịmekọrịta mmekọrịta. Anyị enweghị ike itinye ụfọdụ data na otu ihe nkesa, ụfọdụ na nke ọzọ wee gbakọọ anyị ga-enwerịrị data niile ebe niile.

Gịnị ka ha mere? Na mbụ, a na-edekọ data ahụ. Ihe nkesa ọ bụla na-echekwa data ọnụahịa maka otu oke òkè. Ha anaghịkwa agbakọ ọnụ. Ya mere, ọ ga-ekwe omume ịgbakọ logReturn n'otu n'otu na nke onwe ya na-eme n'otu n'otu ma kesaa.

Mgbe ahụ, anyị kpebiri ibelata data a na-enweghị ida nkwupụta. Wedata site na iji arrays, ya bụ maka oge ọ bụla, mee n'usoro nke mbak na n'usoro nke ọnụ ahịa. N'ihi ya, ọ na-ewe ukwuu obere data ohere. Ma ha dịtụ mfe ịrụ ọrụ na. Ihe ndị a fọrọ nke nta ka ọ bụrụ arụmọrụ, ya bụ, anyị na-agụ akụkụ ụfọdụ n'otu oge wee degara sava ahụ akwụkwọ.

Enwere ike megharịa nke a. Akwụkwọ ozi "r" pụtara na anyị megharịrị data a. Ya bụ, anyị nwere otu data na sava atọ niile - ndị a bụ usoro.

Ma mgbe ahụ, na-eji edemede pụrụ iche, ị nwere ike ịme ngwugwu site na njikọ nke nde 12,5 a chọrọ ịgbakọ. Nke ahụ bụ, ọrụ 2 nwere ụzọ njikọ 500. A ghaghị gbakọọ ọrụ a na otu ihe nkesa ClickHouse. O nwere data niile n'ihi na data ahụ bụ otu ma ọ nwere ike gbakọọ ya n'usoro.

Nke a bụ ka ọ dị ọzọ. Nke mbụ, anyị nwere data niile na usoro a: oge, òkè, ọnụahịa. Mgbe ahụ, anyị gbakọọ logReturn, ya bụ, data nke otu ihe owuwu, naanị kama ọnụahịa anyị nwere logReturn. Mgbe ahụ, e megharịrị ha, ya bụ, anyị nwetara oge na otuArray site na nkwalite na ndepụta ọnụahịa. Emegharịrị. Ma mgbe nke ahụ gasịrị, ha mepụtara ọtụtụ ọrụ ma nye ha nri na ClickHouse ka o wee gụọ ha. Ọ na-arụkwa ọrụ.

N'ihe akaebe nke echiche, ọrụ ahụ bụ obere ọrụ, ya bụ, ha were obere data. Na naanị na sava atọ.

Nkeji abụọ mbụ a: ịgbakọ Log_return na ikechi ya n'usoro were ihe dị ka otu awa.

Na ịgbakọ njikọ ahụ na-ewe ihe dị ka awa iri ise. Ma 50 awa ezughị, n'ihi na mbụ ọ na-arụ ọrụ maka ha izu. Ọ bụ nnukwu ihe ịga nke ọma. Ma ọ bụrụ na ị gụọ, mgbe ahụ, a na-agụ ihe niile ugboro 50 kwa nkeji na ụyọkọ a.

Mana ihe kachasị mkpa bụ na usoro a nwere ihe fọrọ nke nta ka ọ bụrụ ihe ọ bụla, ya bụ, ọ na-eru nso n'ahịrị. Ha wee lelee ya. Abara ya nke ọma.

• Atụmatụ ziri ezi bụ ọkara ihe ịga nke ọma. Na atụmatụ ziri ezi bụ iji teknụzụ ClickHouse niile dị mkpa.
• Summing/AggregatingMergeTrees bụ teknụzụ na-enye gị ohere ịchịkọta ma ọ bụ gụọ foto steeti dị ka ihe pụrụ iche. Nke a na-emekwa ka ọtụtụ ihe dị mfe.
• Nleba anya nke ihe na-enye gị ohere ịgafe njedebe nke otu ndeksi. Ma eleghị anya, ekwughị m nke a n'ụzọ doro anya, ma mgbe anyị na-ebunye osisi ndị ahụ, akwụkwọ ndụ akwụkwọ ndụ na-adị na tebụl nke nwere otu ndeksi, na àgwà ndị ahụ na-adị na tebụl, i. kpamkpam nye ndị ọzọ. Ọ dị ka ọ bụ otu data, mana nhazi dị iche iche. Nleba anya na-enye gị ohere, ọ bụrụ na ịchọrọ ya, ịgafe mmachi ClickHouse a.
• Belata granularity index maka ajụjụ ajụjụ.
• Ma kesaa data nke ọma, gbalịa mee ka data dị n'ime ihe nkesa dị ka o kwere mee. Ma gbalịa hụ na arịrịọ na-ejikwa mpaghara ebe enwere ike dịka o kwere mee.

Na iji chịkọta okwu a dị mkpirikpi, anyị nwere ike ịsị na ClickHouse ejirila ebe nchekwa data azụmahịa na ebe nchekwa data mepere emepe, ya bụ kpọmkwem maka nyocha. Ọ dabara nke ọma na odida obodo a. Na ihe ọzọ, ọ na-eji nwayọọ nwayọọ na-amalite ịkwaga ndị ọzọ, n'ihi na mgbe ClickHouse dị ebe ahụ, ị ​​chọghị InfiniDB. Vetikal nwere ike ọ gaghị adị mkpa n'oge adịghị anya ma ọ bụrụ na ha na-enye nkwado SQL nkịtị. Jiri ya!

-Daalụ maka akụkọ ahụ! Ihe na-adọrọ mmasị! Enweela ntụnyere na Apache Phoenix?

-Mba, anụbeghị m onye ọ bụla tụnyere. Anyị na Yandex na-agbalị idobe ntụnyere niile nke ClickHouse nwere ọdụ data dị iche iche. N'ihi na ọ bụrụ na mberede ihe na-apụta dị ngwa karịa ClickHouse, mgbe ahụ Lesha Milovidov enweghị ike ihi ụra n'abalị wee malite ngwa ngwa ngwa ngwa. Anụbeghị m ụdị ntụnyere ahụ.

• (Alexey Milovidov) Apache Phoenix bụ engine SQL dabere na Hbase. Emebere Hbase maka ọnọdụ ọrụ ụdị isi uru. N'ebe ahụ, ahịrị ọ bụla nwere ike ịnwe ọnụ ọgụgụ nke kọlụm nwere aha aka ike. Enwere ike ikwu nke a gbasara sistemu dị ka Hbase na Cassandra. Ma ọ bụ ajụjụ nyocha dị arọ nke na-agaghị arụ ọrụ maka ha. Ma ọ bụ ị nwere ike iche na ha na-arụ ọrụ nke ọma ma ọ bụrụ na ị nwebeghị ahụmịhe ọ bụla na ClickHouse.

• Achọpụta

  • Ehihie ọma Enwere m mmasị na isiokwu a, n'ihi na enwere m usoro nyocha. Mana mgbe m lere anya ClickHouse, enwere m mmetụta na ClickHouse dabara nke ọma maka nyocha ihe omume, na-agbanwe agbanwe. Ma ọ bụrụ na m chọrọ iji nyochaa ọtụtụ data azụmahịa na ụyọkọ nnukwu tebụl, mgbe ahụ ClickHouse, dị ka m ghọtara, ọ bụghị nnọọ adabara m? Karịsịa ma ọ bụrụ na ha na-agbanwe. Nke a ọ bụ eziokwu ma ọ bụ enwere ọmụmaatụ nwere ike ịgọnarị nke a?

  • Nke a ziri ezi. Nke a bụkwa eziokwu gbasara ọdụ data nyocha pụrụiche. A haziri ha n'eziokwu na e nwere otu ma ọ bụ ọtụtụ nnukwu tebụl na-agbanwe agbanwe, na ọtụtụ obere ndị na-agbanwe nwayọọ nwayọọ. Ya bụ, ClickHouse adịghị ka Oracle, ebe ị nwere ike itinye ihe niile ma wuo ụfọdụ ajụjụ dị mgbagwoju anya. Iji jiri ClickHouse rụọ ọrụ nke ọma, ịkwesịrị ịmepụta atụmatụ ahụ n'ụzọ na-arụ ọrụ nke ọma na ClickHouse. Ya bụ, zere imezigharị oke oke, jiri akwụkwọ ọkọwa okwu, gbalịa ime njikọ dị ogologo ole na ole. Ma ọ bụrụ na e wuru atụmatụ ahụ n'ụzọ dị otú a, mgbe ahụ, nsogbu azụmahịa ndị yiri ya nwere ike dozie na ClickHouse nke ọma karịa na nchekwa data mmekọrịta ọdịnala.

Daalụ maka akụkọ ahụ! Enwere m ajụjụ gbasara ikpe ego kacha ọhụrụ. Ha nwere nyocha. Ọ dị mkpa iji tụnyere otú ha si agbago na ala. Aghọtara m na ị wuru usoro ahụ kpọmkwem maka nyocha a? Ọ bụrụ echi, ka anyị kwuo, ha chọrọ akụkọ ọzọ na data a, ha kwesịrị iwulite eserese ahụ ọzọ wee buo data ahụ? Ya bụ, na-eme ụfọdụ ụdị nhazi iji nweta arịrịọ ahụ?

N'ezie, nke a na-eji ClickHouse maka ọrụ a kapịrị ọnụ. Enwere ike idozi ya na omenala n'ime Hadoop. Maka Hadoop nke a bụ ezigbo ọrụ. Mana na Hadoop ọ dị nwayọ. Na ihe mgbaru ọsọ m bụ igosi na ClickHouse nwere ike dozie nsogbu ndị a na-ejikarị ụzọ dị iche iche edozi, ma n'otu oge ahụ na-eme ya nke ọma karị. Emebere nke a maka otu ọrụ akọwapụtara. O doro anya na ọ bụrụ na enwere nsogbu nke yiri nke ahụ, mgbe ahụ enwere ike idozi ya n'ụzọ yiri nke ahụ.

O doro anya. Ị kwuru na ọ were awa 50 iji hazie ya. Ọ na-amalite site na mmalite, mgbe ị bugoro data ma ọ bụ nweta nsonaazụ?

Ee Ee.

OK daalụ nke ukwuu.

Nke a dị na ụyọkọ nkesa 3.

Ekele! Daalụ maka akụkọ ahụ! Ihe niile na-adọrọ mmasị. Anaghị m ajụ ntakịrị banyere ọrụ, mana banyere iji ClickHouse site n'echiche nke nkwụsi ike. Ya bụ, ị nwere nsogbu ọ bụla ma ị ga-eweghachi ha? Kedu ka ClickHouse si eme? Ọ nwetụla mgbe oyiri gị dakwasịrị? Dịka ọmụmaatụ, anyị zutere nsogbu na ClickHouse mgbe ọ ka gafere oke ya wee daa.

N'ezie, ọ dịghị ezigbo usoro. Na ClickHouse nwekwara nsogbu ya. Mana ị nụla banyere Yandex.Metrica anaghị arụ ọrụ ogologo oge? Ikekwe ọ bụghị. Ọ na-arụ ọrụ ntụkwasị obi kemgbe ihe dị ka 2012-2013 na ClickHouse. Enwere m ike ikwu otu ihe ahụ gbasara ahụmịhe m. Anyị enwebeghị ọdịda zuru oke. Ụfọdụ ihe ele mmadụ anya n'ihu nwere ike ime, ma ọ dịghị mgbe ha dị oke egwu iji mebie azụmahịa ahụ. Nke a emetụbeghị mbụ. ClickHouse bụ ihe a pụrụ ịdabere na ya na ọ naghị ada ada na enweghị usoro. Ị gaghị echegbu onwe gị maka ya. Ọ bụghị raw ihe. Ọtụtụ ụlọ ọrụ gosipụtara nke a.

Nnọọ! Ị kwuru na ịkwesịrị iche echiche nke ọma ozugbo banyere atụmatụ data. Gịnị ma ọ bụrụ na nke a emee? Data m na-abata ma na-apụta. Ọnwa isii gafere, aghọtara m na enweghị m ike ibi ndụ dị ka nke a, achọrọ m ibugharị data ma mee ihe na ya.

Nke a dabere, n'ezie, na sistemụ gị. Enwere ụzọ dị iche iche isi mee nke a ọ fọrọ nke nta ka ọ bụrụ nkwụsị. Dịka ọmụmaatụ, ị nwere ike ịmepụta ihe nlele nke ị nwere ike ịmepụta usoro data dị iche ma ọ bụrụ na enwere ike ịdepụta ya n'ụzọ pụrụ iche. Ya bụ, ọ bụrụ na ọ na-enye ohere nkewa site na iji ClickHouse, ya bụ iwepụta ihe ụfọdụ, ịgbanwe isi igodo, ịgbanwe nkebi, mgbe ahụ ị nwere ike ịme ihe nlele. N'ebe ahụ ka a ga-edegharị data ochie gị, a ga-ede ndị ọhụrụ na-akpaghị aka. Ma wee gbanwee gaa na iji Materialized View, wee gbanwee ndekọ wee gbuo tebụl ochie. Nke a bụ ụzọ anaghị akwụsị akwụsị.

Achọpụta.

isi: www.habr.com