M na-atụ aro ka ị gụọ transcript nke 2017 akụkọ nke Igor Stryhar "ClickHouse - anya ngwa ngwa na doro anya data nyocha na Tabix."
Ihe ntanetị weebụ maka ClickHouse na ọrụ Tabix.
Njirimara igodo:
- Na-arụ ọrụ na ClickHouse ozugbo site na ihe nchọgharị ahụ, na-enweghị mkpa ịwụnye ngwanrọ ọzọ;
- Onye nchịkọta akụkọ na-egosipụta syntax;
- Mmezu nke iwu;
- Ngwa maka nyocha eserese nke mmezu ajụjụ;
- Atụmatụ agba ịhọrọ site na.
Abụ m onye isi teknụzụ SMI2. Anyị bụ nchịkọta akụkọ mgbanwe akụkọ. Anyị na-echekwa ọtụtụ data anyị na-enweta n'aka ndị mmekọ anyị wee debanye aha ya na ClickHouse - ihe dịka arịrịọ 30 kwa nkeji.
Nke a bụ data dị ka:
- Pịa na akụkọ.
- Ngosipụta akụkọ na mkpokọta.
- Ngosipụta ọkọlọtọ na netwọkụ anyị.
- Anyị na-edebanye aha ihe omume site na counter nke anyị, nke yiri Yandex.Metrica. Nke a bụ micro-analytics nke anyị.
Anyị nwere ndụ siri ike tupu ClickHouse. Anyị tara ahụhụ dị ukwuu, na-agbalị ịchekwa data a ebe ma nyochaa ya n'ụzọ ụfọdụ.
Ndụ tupu ClickHouse - infiniDB
Ihe mbụ anyị nwere bụ infiniDB. O binyere anyị afọ anọ. Anyị jisiri ike malite ya.
- Ọ naghị akwado ụyọkọ ma ọ bụ nzacha. Ọnweghị ihe amamihe dị otú ahụ si na igbe ahụ pụta na ndabara.
- Ọ na-esiri ya ike itinye data. Naanị otu akụrụngwa njikwa nwere ike ibu naanị faịlụ CSV yana naanị n'ụzọ edoghị anya.
- Ebe nchekwa data nwere eriri otu. Ị nwere ike dee ma ọ bụ gụọ. Mana o mere ka o kwe omume ịhazi nnukwu data.
- O nwekwara ihe na-akpali crutch. Kwa abalị, ekwesịrị ịmalitegharị ihe nkesa ahụ, ma ọ bụghị ya, ọ gaghị arụ ọrụ.
Ọ rụrụ ọrụ maka anyị ruo njedebe nke 2016, mgbe anyị gbanwere kpamkpam na ClickHouse.
Ndụ tupu ClickHouse - Cassandra
Ebe infiniDB bụ eriri otu, anyị kpebiri na anyị chọrọ ụdị nchekwa data nwere ọtụtụ eriri nke anyị nwere ike ide ọtụtụ eri n'otu oge.
Anyị gbalịrị ọtụtụ ihe na-adọrọ mmasị. Mgbe ahụ, anyị kpebiri ịnwale Cassandra. Ihe niile dị mma na Cassandra. Arịrịọ 10 kwa nkeji kwa nkeji. 000 na-arịọ ebe maka ịgụ ihe.
Ma o nwekwara mmasị nke ya. Otu ugboro n'ọnwa ma ọ bụ otu ugboro n'ime ọnwa abụọ ọ nwetara ngbanwe data data. Na m ga-eteta na-agba ọsọ idozi Cassandra. A maliteghachiri sava ndị ahụ otu otu. Na ihe niile wee were ire ụtọ na mara mma.
Ndụ tupu ClickHouse - Druid
Mgbe ahụ, anyị chọpụtara na anyị kwesịrị ide ọbụna data karịa. Na 2016 anyị malitere ikiri Druid.
Druid bụ ngwanrọ mepere emepe edere na Java. kpọmkwem. Ma ọ dabara maka clickstream, mgbe anyị kwesịrị ịchekwa ụdị iyi ihe omume wee mee mkpokọta na ha ma ọ bụ mee akụkọ nyocha.
Druid nwere ụdị 0.9.X.
Ebe nchekwa data n'onwe ya siri ike ibugharị. Nke a bụ mgbagwoju anya nke akụrụngwa. Iji tinye ya, ọ dị mkpa iji wụnye ọtụtụ, ọtụtụ ígwè. Na ngwaike nke ọ bụla bụ maka ọrụ nke ya dị iche iche.
Iji tinye data n'ime ya, ọ dị mkpa iji ụfọdụ ụdị shamanism. Enwere ọrụ OpenSource - Obi iru ala, nke na-efunahụ data anyị na iyi. Mgbe anyị bugoro data n'ime ya, ọ tụfuru ya.
Ma n'ụzọ ụfọdụ anyị malitere ime ya. Anyị, dị ka hedgehogs bụ ndị na-aṅụ ọgwụ ọjọọ mana nọgidere na-eri cactus, malitere iwebata ya. O were anyị ihe dị ka otu ọnwa iji kwadoo akụrụngwa niile maka ya. Ya bụ, nye iwu nkesa, hazie ọrụ, ma mekwaa nkesa nke ọma. Ya bụ, ọ bụrụ na ụyọkọ ọdịda dara, a ga-ebuga ụyọkọ nke abụọ ozugbo.
Ma otu ọrụ ebube mere. Anọ m ezumike na ndị ọrụ ibe m zitere m njikọ , nke na-ekwu na Yandex kpebiri imeghe ClickHouse. Asị m ka anyị nwaa ya.
Na n'ụzọ nkịtị n'ime ụbọchị 2, anyị wepụrụ ụyọkọ ule ClickHouse. Anyị malitere itinye data n'ime ya. Tụnyere infiniDB, nke a bụ elementrị; atụnyere Druid, nke a bụ elementrị. Tụnyere Cassandra, ọ bụkwa elementrị. N'ihi na ọ bụrụ na ị na-ebu data sitere na PHP n'ime Cassandra, nke a abụghị elementrị.
Gịnị ka anyị nwetara? Arụmọrụ na ọsọ. Arụmọrụ na nchekwa data. Ya bụ, a na-eji ohere diski pere mpe. ClickHouse dị ngwa ngwa, ọ dị ngwa ngwa ma e jiri ya tụnyere ngwaahịa ndị ọzọ.
N'oge mmalite, mgbe Yandex bipụtara ClickHouse na OpenSource, enwere naanị onye ahịa njikwa. Anyị na ụlọ ọrụ anyị SMI2 kpebiri ịgbalị ịmepụta onye ahịa ala maka weebụ, ka anyị nwee ike mepee ibe site na ihe nchọgharị, dee arịrịọ ma nweta nsonaazụ, n'ihi na anyị malitere ide ọtụtụ arịrịọ. Ide ihe na console siri ike. Ma anyị mere ụdị mbụ anyị.
Na ebe dị nso na oyi nke afọ gara aga, ngwaọrụ ndị ọzọ maka ịrụ ọrụ na ClickHouse malitere ịpụta. Ndị a bụ ngwaọrụ dịka:
- .
- .
- . (Ugbu a )
- .
- .
M ga-eleba anya na ụfọdụ n'ime ngwá ọrụ ndị a, ya bụ, ndị m rụworo ọrụ.
Ngwá ọrụ dị mma, mana maka Druid. Mgbe a na-emejuputa Druid, m na-anwale SuperSet. Ọ masịrị m. Maka Druid ọ dị ngwa ngwa.
Ọ dịghị mma maka ClickHouse. Ya bụ, ọ dabara, ọ na-amalite, mana ọ dị njikere ịhazi naanị ajụjụ elementrị dị ka: mmemme ahọpụtara, mmemme GROUP BY. Ọ naghị akwado syntax ClickHouse dị mgbagwoju anya.
Ngwá ọrụ na-esote bụ Apache Zeppelin. Nke a bụ ihe dị mma ma na-adọrọ mmasị. Na-arụ ọrụ. Ọ na-akwado akwụkwọ ndetu, bọọdụ dashboard ma na-akwado mgbanwe. Amaara m na onye nọ na ClickHouse na-eji ya.
Mana enweghị nkwado maka syntax ClickHouse, yabụ ị ga-ede ajụjụ na njikwa ma ọ bụ ebe ọzọ. Ọzọ, lelee na ọ niile na-arụ ọrụ. Ọ dịghị mfe. Mana ọ nwere ezigbo nkwado dashboard.
Ngwá ọrụ na-esote bụ Redash.IO. A na-akwado Redash na ịntanetị. Ya bụ, n'adịghị ka ngwaọrụ ndị gara aga, ọ dịghị mkpa ka etinye ya. Na nke a bụ dashboard nwere ikike ijikọ data sitere na DataSources dị iche iche. Ya bụ, ịnwere ike ibudata site na ClickHouse, site na MySQL, site na PostgreSQL yana site na ọdụ data ndị ọzọ.
Naanị otu ọnwa gara aga (March 2017), nkwado pụtara na Grafana. Mgbe ị na-ewu akụkọ na Grafana, dịka ọmụmaatụ, na steeti ngwaike gị ma ọ bụ na ụfọdụ metrics, ugbu a ị nwere ike ịmepụta otu eserese ma ọ bụ ụdị panel site na data sitere na ClickHouse ozugbo. Nke a dị nnọọ mma, anyị na-ejikwa ya n'onwe anyị. Nke a na-enye gị ohere ịchọta anomalies. Nke ahụ bụ, ọ bụrụ na ihe emee na ụfọdụ ngwaike daa ma ọ bụ na-akpaghasị, mgbe ahụ ị nwere ike ilele ihe kpatara ya ma ọ bụrụ na data a jisiri ike banye ClickHouse.
Achọpụtara m na ọ na-ewute m ide na ngwaọrụ ndị a ma ọ bụ na njikwa. M kpebiri imeziwanye interface mbụ anyị. Enwetara m echiche ahụ site na EventSQL, SeperSet, Zeppelin.
Kedu ihe ị chọrọ? Achọrọ m ịnweta eserese, onye editọ emelitere, na mejuputa nkwado maka akwụkwọ ọkọwa okwu ndị na-egosi. N'ihi na ClickHouse nwere nnukwu atụmatụ - akwụkwọ ọkọwa okwu. Ma ọ na-esiri ike ịrụ ọrụ na akwụkwọ ọkọwa okwu, n'ihi na ịkwesịrị icheta usoro nke ụkpụrụ echekwara, ya bụ, ọ bụ nọmba ma ọ bụ eriri, wdg. Na ebe ọ bụ na anyị na-ejikarị akwụkwọ ọkọwa okwu dị iche iche dị iche iche, ọ na-esiri ike ide ajụjụ.
Ọnwa 3 agafeela kemgbe mwepụta nke ụdị mbụ anyị. Emere m ihe dị ka nkwa 330 na alaka ụlọ ọrụ nkeonwe wee bụrụ Tabix.
N'adịghị ka ụdị nke gara aga, nke a na-akpọ ClickHouse-Frontend, ekpebiri m ịmegharị ya ka ọ bụrụ aha dị mfe. O wee bụrụ Tabix.
Gịnị pụtara?
Na-ese eserese. Na-akwado syntax ClickHouse SQL. Na-enye ndụmọdụ gbasara ọrụ ma nwee ike ime ọtụtụ ihe na-adọrọ mmasị.
Nke a bụ ihe atụmatụ Tabix izugbe dị ka. N'aka ekpe bụ osisi. N'etiti bụ onye nchịkọta akụkọ ajụjụ. Na n'okpuru bụ nsonaazụ nke arịrịọ a.
Ọzọ, m ga-egosi gị ka onye nchịkọta akụkọ ajụjụ si arụ ọrụ.
Ebe a autocomplete na-arụ ọrụ na-akpaghị aka na tebụl wee kpalie, ya mere, autocomplete maka ubi. Na ndumodu na ọrụ. Ọ bụrụ na ịpị ctrl tinye, a ga-emerịrị arịrịọ ahụ ma ọ bụ daa na mperi. A na-ezigara arịrịọ kachasị mfe na Tabix ma nweta nsonaazụ ya, i.e. ị nwere ike ịrụ ọrụ ngwa ngwa na ClickHouse.
Akwụkwọ ọkọwa okwu, dịka m kwuburu, bụ ihe na-atọ ụtọ nke anyị ji arụ ọrụ nke ukwuu. Nke nyere anyị ohere ime ọtụtụ ihe. Ka anyị kwuo na anyị na-echekwa obodo niile na akwụkwọ ọkọwa okwu. Anyị na-echekwa ihe njirimara obodo na aha obodo, latitude na lonjituudu ya. Na na nchekwa data anyị na-echekwa naanị ihe njirimara obodo. N'ihi ya, anyị na-akpakọ data nke ukwuu.
Nke a dị ka ihe dị mfe, mana ọ na-enyere aka na ClickHouse n'ụzọ na-adọrọ mmasị. N'ihi eziokwu ahụ bụ na ClickHouse na-akwado naanị ndị jikọtara ọnụ, ajụjụ a na-eto ala na obosara nke ukwuu. Ma mgbe ihe nkwado ahụ meghere ma ụfọdụ ogologo okwu batara, mgbe ahụ ihe dị mfe dị ka ịdaba n'ajụjụ a na-eme ka ọ dịkwuo mfe iji ajụjụ ahụ n'onwe ya rụọ ọrụ. N'ihi na mgbe ajụjụ ahụ dị ahịrị 200-300 ogologo ma buru ibu na obosara, ọ na-enye aka na-adaba ajụjụ ahụ wee chọta ebe ụfọdụ ma ọ bụ n'ụzọ ụfọdụ wepụta ya.
Osisi ihe, ọtụtụ ajụjụ na taabụ (Vidiyo 13:46 )
Ọzọ, m ga-egosi gị gbasara osisi na taabụ. N'aka ekpe bụ osisi; n'elu ị nwere ike ịmepụta ọtụtụ taabụ. Taabụ dị ka oghere ọrụ. Ị nwere ike ịmepụta ọtụtụ taabụ wee kpọọ nke ọ bụla aha dị iche iche. Ọ dị ka obere sistemụ maka iwulite akụkọ.
A na-echekwa taabụ na-akpaghị aka. Ọ bụrụ na ịmalitegharịa ihe nchọgharị gị ma ọ bụ mechie ma ọ bụ mepee Tabix, a ga-echekwa ihe ndị a niile.
Hotkey - adaba (Vidiyo 14:39 )
Enwere hotkeys na enwere ọtụtụ n'ime ha. Ewepụtala m ụfọdụ n'ime ha ebe a dịka ọmụmaatụ. Nke a bụ taabụ ịgbanwee, na-eme arịrịọ ma ọ bụ na-eme ọtụtụ arịrịọ.
Aga m egosi gị otu esi arụ ọrụ na nsonaazụ. Anyị na-eziga arịrịọ. Lee ka m na-esere mmehie, cos na tg. Ị nwere ike ime ka nsonaazụ ya pụta ìhè, ya bụ, see eserese a na-ahụkarị maka kọlụm. Ị nwere ike ime ka ụkpụrụ dị mma ma ọ bụ nke na-adịghị mma pụta ìhè. Ma ọ bụ naanị na-agba otu okpokoro okpokoro. Nke a na-adaba adaba mgbe okpokoro dị ukwuu ma ịchọrọ ịchọta ụfọdụ anomaly na anya gị. Mgbe m na-achọ anomalies, m pụta ìhè ụfọdụ ahịrị, ụfọdụ ọcha na akwụkwọ ndụ akwụkwọ ndụ ma ọ bụ ọbara ọbara.
Enwere ọtụtụ ihe na-adọrọ mmasị n'ebe ahụ. Dịka ọmụmaatụ, otu esi edetuo na Redmine Markdown. Ọ bụrụ na ịchọrọ iṅomi nsonaazụ ya ebe, nke a dị nnọọ mma. Ị nwere ike họrọ mpaghara naanị, kwuo "Detuo ka Redmine" ma ọ ga-edetu na Redmine Markdown ma ọ bụ mepụta ajụjụ Ebe.
Ọzọ bụ njikarịcha ajụjụ. Echefuru m otu oge ịkọwapụta mpaghara "ụbọchị". Achọghịkwa m arịrịọ na ClickHouse nke ukwuu, ngwa ngwa, mana ngwa ngwa, ya bụ ihe na-erughị otu sekọnd. Mgbe m hụrụ ahịrị ole ọ gbafere, ụjọ tụrụ m. Anyị anaghị ede ọtụtụ ahịrị na tebụl otu ụbọchị. Amalitere m inyocha arịrịọ ahụ wee hụ na agbagharala m ụbọchị n'otu ebe. Ya bụ, echefuru m igosi na achọghị m data maka tebụl dum, mana maka oge ụfọdụ.
Tabix nwere taabụ "Stats", nke na-echekwa akụkọ ihe mere eme nke arịrịọ ndị ezigara, ya bụ n'ebe ahụ ị ga-ahụ ahịrị ole gụchara site na arịrịọ a yana ogologo oge ọ na-ewe iji mezuo. Nke a na-enye ohere njikarịcha.
Ị nwere ike wuo tebụl pivot n'elu nsonaazụ ajụjụ. I zigara arịrịọ na ClickHouse wee nweta ụfọdụ data. Ma mgbe ahụ ị nwere ike ibugharị data a na òké gị wee wuo ụfọdụ ụdị tebụl pivot.
Ihe ọzọ na-adọrọ mmasị bụ ịkpa nkata. Ka anyị kwuo na anyị nwere arịrịọ a: maka mmehie, cos si 0 ruo 299. Na ise ya, ị ga-ahọrọ taabụ "Draw" na ị ga-enweta eserese na mmehie gị na cos.
Ị nwere ike kewaa nke a na axes dị iche iche, ya bụ, ị nwere ike ise eserese abụọ n'akụkụ n'otu oge. Dee otu iwu na iwu nke abụọ.
Ị nwere ike ise histogram.
Ị nwere ike imebi nke a n'ime matriks nke eserese.
Ị nwere ike ịmepụta map okpomọkụ.
Ị nwere ike ịmepụta kalenda okpomọkụ. Site n'ụzọ, nke a bụ ihe na-adaba adaba mgbe ịchọrọ nyochaa anomalies ihe karịrị otu afọ, ya bụ, chọta ma ọ bụ spikes ma ọ bụ tụlee. Nhụta data a nyeere m aka na nke a.
Ọzọ bụ Treemap.
Sankeys bụ eserese na-atọ ụtọ. Ọ bụ Streamgrahps ma ọ bụ River. Mana m na-akpọ ya Osimiri. Ọ na-enye gị ohere ịchọ ihe ọ bụla anomalies. Ọ dị mma nke ukwuu. Ana m akwado iji ya chọọ ya.
Ihe ọzọ na-adọrọ mmasị bụ ịbịaru maapụ dị ike. Ọ bụrụ na ị na-echekwa latitude, longitude na nchekwa data gị na, sịnụ, chekwaa ebe ị ga-aga, ọ bụrụ na ị, dịka ọmụmaatụ, nwere ụgbọ ala ma ọ bụ ụgbọ elu na-efe efe, mgbe ahụ ị nwere ike ịdọrọ ụzọ ebe ị ga-aga. Ọzọkwa n'ebe ahụ ị nwere ike ịtọ ọsọ na nha nke ihe ndị a nke ha na-efeba.
Mana nsogbu dị na map a bụ na ọ na-ese naanị maapụ ụwa, enweghị nkọwa ọ bụla.
Emechara m tinye Google map. Ọ bụrụ na ị na-echekwa latitude, longitude, mgbe ahụ ị nwere ike ise nsonaazụ na Google map, ma na-enweghị nkwado ụgbọ elu.
Anyị atụlewo isi ọrụ nke ịrụ ọrụ na nsonaazụ na ajụjụ na Tabix.
Nke na-esote bụ nyocha nke sava ClickHouse gị. Enwere taabụ "Metrics" dị iche, ebe ị nwere ike ịhụ nha data echekwara maka kọlụm ọ bụla. Nseta ihuenyo na-egosi na mpaghara “referrer” a na-ewe ihe dịka 730 Gb. Ọ bụrụ na anyị agbahapụ ubi a, anyị ga-echekwa shards atọ nke 700 GB nke ọ bụla, ya bụ ihe dị ka TB 2 na anyị achọghị.
Anyị nwekwara mpaghara "request_id" nke anyị na-echekwa na eriri. Mana ọ bụrụ na anyị amalite ịchekwa ya n'ụdị ọnụọgụ, mpaghara a ga-adalata nke ukwuu.
Ọ na-egosikwa nhazi nkesa yana ndepụta ọnụ na ụyọkọ gị.
Taabụ na-esote bụ metrik. Ha na-abanye ozugbo na ClickHouse ma kwe ka ị nyochaa ọnọdụ nke ihe nkesa wee ghọta ihe na-eme ya. Nke a abụghị nnọchi maka Grafana zuru oke. Nke a dị mkpa maka nyocha ngwa ngwa.
Taabụ na-esote bụ usoro. Site na ha ị nwere ike ịghọta ihe na-eme na ihe nkesa. Ghọta ihe na-eme ebe ahụ. Enwere m arịrịọ nke na-eri 200 GB nke ọgụgụ oge ọ bụla. Ahụrụ m nke a ekele maka interface a. M jidere ya ma gbazie ya. Ọ tụgharịrị bụrụ ihe dịka 30 GB, ya bụ arụmọrụ mgbe ụfọdụ.
Daalụ! Ma nke a dị na OpenSource
Emechara m. Na n'ụzọ, ọ bụ OpenSource, ọ bụ n'efu na ị na-adịghị mkpa ka ibudata ya. Mepee ya na ihe nchọgharị na ihe niile ga-arụ ọrụ.
Ajụjụ gị
Igor, kedu ihe na-esote? Ebee ka ị ga-emepụta ngwá ọrụ a?
Na-esote, dashboards ga-apụta, ya bụ, ikekwe dashboard ga-apụta. Mmekọrịta na ọdụ data ndị ọzọ. Emere m nke a, mana ebipụtabeghị ya na OpenSource. Nke a bụ MySQL na ikekwe PostgreSQL. Ya bụ, ọ ga-ekwe omume izipu arịrịọ sitere na Tabix ọ bụghị naanị na ClickHouse, kamakwa na ngwaọrụ ndị ọzọ.
O doro anya na a rụrụ nnukwu ọrụ. Ọ tụgharịrị bụrụ echiche zuru oke. Emere nke a na ihe nchọgharị ahụ, dịka o doro anya, iji kpochapụ crutches na ụdị anyụike niile wee tụba ihe niile ngwa ngwa. Anụrụ m na ị nọ PHP na-arụ ọrụ, yabụ ụzọ kachasị mfe bụ iji pịnye ya na ihe nchọgharị ahụ ma ọ ga-arụ ọrụ ebe niile. Enweghị ajụjụ gbasara nke a. Ajụjụ bụ nke a. Emeela ọtụtụ ihe n'ebe ahụ. Mmadụ ole rụrụ ọrụ na nke a? Ogologo oge ole ka ihe niile were? N'ihi na ngwá ọrụ omenala anaghị enwekarị ọrụ dị ukwuu.
Otu onye n'ime ndị otu anyị rụrụ ọrụ site n'oge okpomọkụ ruo n'oge mgbụsị akwụkwọ. Nke a bụ ụdị nke mbụ. Mgbe ahụ enwere m nkwa 330 naanị. Ihe ị hụrụ, mụ na onye ọrụ ibe m mere ya na ọkara. N'ime ọnwa 3, site na ụdị nke mbụ ruo na nke ikpeazụ, m na-emekarị ya naanị. Mana amachaghị m Javascript nke ọma. Nke a bụ naanị m na, enwere m olileanya, ọrụ Javascript ikpeazụ m nke mụ na ya rụkọrọ ọrụ. Enwetara m ya, ahụrụ m - oh, egwu. Ma m chọrọ n'ezie imecha ngwaahịa na nke a bụ ihe merenụ.
Daalụ nke ukwuu maka akụkọ ahụ! Nke a bụ nnukwu ngwá ọrụ. NA table Ị atụnyere?
Daalụ. Ọ bụ ya mere m ji kpọọ ya Tabix, n’ihi na mkpụrụedemede mbụ bụ otu.
N'ihi na ị na-asọmpi?
A ga-enwe nnukwu ego, anyị ga-asọmpi.
Kedu ka ị ga-esi na-enye ndị na-eme nnyocha n'ime ụlọ na ngwá ọrụ a ga-eji dochie kpamkpam *Tableau*? Gịnị ga-abụ arụmụka?
Na-arụ ọrụ nwa afọ na ClickHouse. Agbalịrị m Tableau, mana ị nweghị ike ide nkwado maka akwụkwọ ọkọwa okwu na ihe ndị yiri ya n'ebe ahụ. Amaara m ka ndị mmadụ si arụ ọrụ na Tabix. Ha na-ede ajụjụ, bulite ya na CSV wee bulite ya na BI. Ha na-emekwa ihe n'ebe ahụ. Ma ọ na-esiri m ike iche n'echiche otú ha si eme nke a, n'ihi na ọ bụ ngwá ọrụ eserese. Ọ nwere ike budata ahịrị 5, nke kachasị ahịrị 000, mana ọ nweghị ọzọ, ma ọ bụghị ya, ihe nchọgharị agaghị anabata ya.
Ya bụ, enwere ụfọdụ oke oke na oke data, nri?
Ee. Enweghị m ike iche na ị ga-achọ ibugo ahịrị 10 na tebụl gị na ihuenyo ihe nchọgharị gị. Maka gịnị?
Nke a ọ pụtara na nke a bụ interface maka ịlele data ngwa ngwa? Tụgharịa ya ntakịrị, tụgharịa ya?
Ee, hụ ngwa ngwa ka o si arụ ọrụ wee wuo naanị eserese nchịkọta. Ma nyezie ya ebe. Anyị nwere usoro mkpesa nke anyị, site na ebe m na-ewere arịrịọ a. Ana m ese na Tabix wee ziga ya na mkpesa anyị.
Na ajụjụ ọzọ. Nyocha otu?
Ọ bụrụ na enwere arịrịọ, anyị ga-agbakwunye ya.
Kedu mgbe ị malitere iji ya? ClickHouse, ogologo oge ka mmejuputa a were were? Pịa olọ na-eweta na steeti mmepụta?
Dịka m kwuru, anyị mebere ụyọkọ ule n'ime obere oge. Anyị wepụrụ ya n'ime ụbọchị abụọ. Anyị nwalekwara ya izu ole na ole ọzọ. Na anyị ruru mmepụta na ọnwa 3. Ma anyị nwere ETL nke anyị, ya bụ ngwá ọrụ maka ịdekọ data. O wee dee ihe niile o nwere ike ime. Ọ nwere ike dee na MongoDB, Cassandra, MySQL. Ọ dị mfe ịkụziri ya otú e si ede ihe na ClickHouse. Anyị nwere akụrụngwa ejikere maka mmejuputa ngwa ngwa. N'ime ọnwa 3, anyị malitere ịtụba akụrụngwa mbụ. N'ime ọnwa 6 anyị hapụrụ kpamkpam ihe ọ bụla ọzọ. Anyị nwere naanị otu ClickHouse fọdụrụ.
Igor, daalụ nke ukwuu maka akụkọ ahụ. Enwere m mmasị na ịrụ ọrụ nke iji maapụ arụ ọrụ. Enwere atụmatụ maka ijikọ na Yandex.Maps yana karịsịa na Yandex.Maps omenala?
Agbalịrị m ịmekọrịta kama maapụ Google, mana ahụghị m isiokwu gbara ọchịchịrị na Yandex.Maps. A gwaghị m gị otu mpempe. M ga-atụgharị ka ịgbakwunye.
Slide – Google map. Enwere iwu "DRAW_GMAPS", nke na-ese maapụ. Enwere iwu "DRAW_YMAPS", ya bụ, ọ nwere ike ise Yandex.Map. Mana n'ezie, n'okpuru iwu a enwere Javascript, ya bụ, data ị nwetara site na ClickHouse nwere ike ibufe ya na Javascript, nke ị na-ede ebe a. Na ị nwere mpaghara mmepụta ebe a ga-esere ya. Ị nwere ike ise eserese ọ bụla, ya bụ eserese ọ bụla, maapụ, ị nwere ike ise ihe nke gị. Tupu nke a, enwere m ọbá akwụkwọ ọzọ maka ịse eserese n'onwe ha.
Ya bụ, enwere ngwaọrụ maka ịhazi ọrụ ngosi?
Nke ọ bụla. Ị nwere ike were ma gbanwee ntụpọ ndị a, na-eme ka ha ghara ịcha uhie uhie, kama acha anụnụ anụnụ, akwụkwọ ndụ akwụkwọ ndụ.
Daalụ maka akụkọ ahụ! Ị nwere ihe mmịfe nke gosipụtara ngwaọrụ ajụjụ ọzọ Pịa olọ maka iwulite dashboards na akụkọ nyocha. Aghọtara m na n'oge ị malitere ịrụ ọrụ na ClickHouse, ọ nweghị ihe nkwụnye ihe edebeghị maka ngwaọrụ ndị a. Ma m na-eche ihe mere i ji kpebie ịmepụta ngwá ọrụ nke gị, kama ide ihe nkwụnye maka ụfọdụ ngwá ọrụ emebere? Echere m na tweaking nchịkọta akụkọ ule dị ngwa. Gịnị mere i ji kpebie ịrụ ọtụtụ ọrụ?
Enwere ihe na-adọrọ mmasị ebe a - nke bụ eziokwu bụ na m bụ onye nduzi nkà na ụzụ, ọ bụghị onye ọkà mmụta sayensị data. Ka ọ na-erule oge anyị malitere itinye Druid, ụzọ m ụzọ nwere ihe dị ka 50% nke ọrụ - ka anyị gbakọọ nke a, ma ọ bụ ka anyị gbakọọ nke a, ma ọ bụ nyochaa nke a. Ma ọ tụgharịrị na anyị mejuputa ClickHouse. Ma ọ malitere iwu ihe niile ngwa ngwa, gụọ, ma mechie ụzọ ya ngwa ngwa. Ma n'oge ahụ, achọpụtara m na enweghị m ihe ọmụma na sayensị data na nhụta data. Tabix bụ ụdị ọrụ ụlọ m maka mmụta nhụta data. Anọ m na-ele ka m ga-esi meju Zeppelin. Enwere m ntakịrị mmasị maka mmemme ya. Redash M lere anya ka m ga-esi tinye ya, mana onye nchịkọta akụkọ zuru oke maka m. Edekwara SuperSet n'asụsụ nke na-amasịghị m. N’ihi ya, ekpebiri m ịgba ígwè, nke a bụkwa ihe merenụ.
Igor, ị na-anabata arịrịọ Pull?
Ee.
Daalụ nke ukwuu maka akụkọ ahụ! Na ajụjụ abụọ. Nke mbụ, ị naghị ekwu okwu ire ụtọ Javascript. Ị dere na Javascript efu ka ọ bụ ụdị usoro?*
Ọ ka mma na Javascript efu.
Yabụ kedu usoro?
Angular.
O doro anya. Na ajụjụ nke abụọ. Ị tụlere R и *Na-egbu maramara**?*
E weere ya. Egwuru egwu.
Ị nwekwara ike dee ihe nkwụnye ọkụ.
Ọ bụ. Ọ dị ka ndị obodo mere ya, mana, ka m zara ajụjụ gara aga, achọrọ m ịnwale ya n'onwe m.
* Mba, n'ihe gbasara ịhụ anya, ọ dịkwa ebe ahụ.
Ị na-ekwu na e nwere ihe dị otú ahụ na ọ ga-esere gị eserese. Emepere m akwụkwọ gbasara nhụta data. M wee chee: “Ka m gbalịa iji anya nke uche hụ data a. M ga-edegara ya akwụkwọ ozi ka o nwee ike wughachi data ahụ. " Ma amalitere m ịghọta teknụzụ ọkọnọ data nke ọma. Ma ọ bụrụ na m ewerela ihe ejikere eme, mụ onwe m gaara amụta ihe ka njọ ka esi eji ya eme ihe, ya bụ, ịhụ anya. Mana ee, R masịrị m, mana agụbeghị m akwụkwọ “R for Dummies” ma.
Daalụ!
Ajụjụ dị mfe. Enwere ụzọ ọ bụla iji bulite akara ma ọ bụ nhazi ngwa ngwa?
Enwere ike ibugo ya na CSV ma ọ bụ Excel.
Ọ bụghị data, mana efere emebere, eserese dị njikere? Dịka ọmụmaatụ, igosi onye isi.
Enwere bọtịnụ “Bulite” ma enwere bọtịnụ “Bulite eserese na png, na jpg”.
Daalụ!
Ntuziaka Obere PS maka ịwụnye tabix
- Download
- Wepu ihe, detuo ndekọ
buildna nginx root_path - Hazie nginx
isi: www.habr.com