ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Ka kii atu ahau kia panui koe i te tuhinga o te purongo 2017 na Igor Stryhar "ClickHouse - he tirohanga tere me te maarama o nga raraunga i Tabix."

Atanga Tukutuku mo ClickHouse i roto i te kaupapa Tabix.
Āhuatanga matua:

  • Ka mahi tika me ClickHouse mai i te kaitirotiro, me te kore e hiahia ki te whakauru i etahi atu rorohiko;
  • Etita patai me te tohu wetereo;
  • Te whakaoti-aunoa o nga whakahau;
  • Utauta hei tātari kauwhata mo te mahi uiui;
  • Ko nga kaupapa tae hei whiriwhiri mai.
    ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar


ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Ko ahau te kaiwhakahaere hangarau o SMI2. He whakahiato korero whakawhiti korero matou. Ka penapenahia e matou he maha o nga raraunga ka whiwhi mai i o maatau hoa me te rehita ki ClickHouse - tata ki te 30 tono mo ia hekona.

Koinei nga raraunga penei:

  • Paohia nga korero.
  • Nga whakaaturanga korero i roto i te whakahiato.
  • Nga whakaaturanga kara i runga i to maatau whatunga.
  • A ka rehita matou i nga huihuinga mai i ta matou ake kaute, he rite ki a Yandex.Metrica. Koinei ta matou ake moroiti-analytics.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

He tino pukumahi matou i mua i a ClickHouse. He nui te mamae o matou, e ngana ana ki te penapena i enei raraunga ki tetahi waahi ka tātarihia.

Te ora i mua i te ClickHouse - infiniDB

Ko te mea tuatahi i a maatau ko infiniDB. E 4 tau tana noho ki a matou. I whakarewahia e matou me te uaua.

  • Karekau e tautoko ana i te rapoi, i te tihorea ranei. Kaore he mea maamaa i puta mai i te pouaka ma te taunoa.
  • He uaua ki a ia te uta raraunga. He taputapu papatohu motuhake ka taea anake te uta i nga konae CSV me etahi huarahi tino marama.
  • He miro kotahi te papa raraunga. Ka taea e koe te tuhi, te panui ranei. Engari i taea te tukatuka i te nui o nga raraunga.
  • A he toka whakamere ano tana. Ia po me whakaara ano te tūmau, mena ka kore e mahi.

I mahi ia mo matou tae noa ki te mutunga o te tau 2016, ka huri katoa matou ki ClickHouse.

Te ora i mua i te ClickHouse - Cassandra

I te mea he miro-kotahi te infiniDB, i whakatau matou me hiahia matou ki etahi momo putunga miro-maha ka taea e matou te tuhi i nga miro maha i te wa kotahi.

He maha nga mea whakamere i whakamatauria e matou. Na ka whakatau matou ki te whakamatau i a Cassandra. He pai nga mea katoa me Cassandra. 10 tono mo ia hekona mo ia tuku. 000 tono ki tetahi wahi mo te panui.

Engari i a ia ano ona ake hiahia. Kotahi i te marama kotahi i ia rua marama ranei i kite ia i te wetewetetanga raraunga. Na me oho ahau ka oma ki te whakatika i a Cassandra. I tīmataria anō ngā tūmau takitahi. Na ka maeneene nga mea katoa me te ataahua.

Te ora i mua i te ClickHouse - Druid

Na ka mohio matou me tuhi etahi atu raraunga. I te tau 2016 i timata matou ki te matakitaki i a Druid.

Ko te Druid he punaha punaha tuwhera i tuhia ki Java. Tino motuhake. A he pai mo te clickstream, ina hiahia ana matou ki te penapena i etahi momo rerenga o nga huihuinga katahi ka mahi whakahiato ki runga, ki te hanga purongo tātari ranei.

He putanga 0.9.X a Druid.

Ko te pātengi raraunga ake he tino uaua ki te hora. Koinei te uaua o te hanganga. Ki te tohatoha, he mea tika kia whakauruhia he rota, he rino nui. A ko ia waahanga taputapu he kawenga mo tana ake mahi motuhake.

Hei uta i nga raraunga ki roto, me whakamahi etahi momo shamanism. He kaupapa OpenSource - Tranquility, e ngaro ana nga raraunga mai ia matou i roto i te awa. Ka utaina e matou nga raraunga ki roto, ka ngaro.

Engari he aha i timata matou ki te whakatinana. Ko matou, he rite ki nga matuku i tango i nga raau taero engari i kai tonu i te cactus, i timata ki te whakauru. Tata ki te kotahi marama te roa ki te whakarite i nga hanganga katoa mo taua mea. Arā, whakahau i ngā tūmau, whirihora tūnga, me te whakaaunoa i te tukunga. Arā, ki te kore he kāhui, ka tukuna aunoatia te kāhui tuarua.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Tera râ, ua tupu te hoê semeio. I te hararei ahau ka tukuna mai e aku hoa mahi he hononga ki ahau habr, e kii ana i whakatau a Yandex ki te whakatuwhera i te ClickHouse. E mea ana ahau me whakamatau.

A i roto i nga ra e 2 ka tukuna e matou he kohinga whakamatautau ClickHouse. I timata matou ki te uta raraunga ki roto. Ka whakaritea ki te infiniDB, he mea timatanga tenei; ka whakaritea ki a Druid, he mea timatanga tenei. Ka whakatauritea ki a Cassandra, he mea timatanga ano. Mena ka utaina e koe nga raraunga mai i te PHP ki Cassandra, ehara tenei i te mea timatanga.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

He aha ta tatou i whiwhi? Mahi i roto i te tere. Mahi i roto i te rokiroki raraunga. Arā, he iti ake te mokowā kōpae e whakamahia ana. He tere te ClickHouse, he tere rawa te whakataurite ki etahi atu hua.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

I te wa o te whakarewatanga, i te wa i whakaputahia e Yandex ClickHouse i OpenSource, he kaihoko papatohu anake. I whakatau matou i to matou kamupene SMI2 ki te ngana ki te hanga i tetahi kaihoko taketake mo te paetukutuku, kia taea ai e matou te whakatuwhera i tetahi wharangi mai i te kaitirotiro, tuhia he tono me te whiwhi i te hua, na te mea i timata matou ki te tuhi i nga tono maha. He uaua te tuhi ki te papatohu. Na ka hanga e matou ta matou putanga tuatahi.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Na i tetahi waahi tata ki te hotoke o tera tau, ka timata nga taputapu tuatoru mo te mahi tahi me ClickHouse. He taputapu enei penei:

Ka titiro au ki etahi o enei taputapu, ara, ko era i mahi ai ahau.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

He taputapu pai, engari mo Druid. I te wa e whakatinanahia ana a Druid, kei te whakamatautau ahau i te SuperSet. I pai ahau ki a ia. Mo Druid he tino tere.

Kaore e pai mo ClickHouse. Arā, e tika ana, ka tiimata, engari kua reri ki te tukatuka i nga patai tuatahi penei i te: TIKA TAHI, KAUPAPA MA TE KAUPAPA. Kaore i te tautoko i te wetereo ClickHouse uaua ake.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Ko te taputapu e whai ake nei ko Apache Zeppelin. He mea pai, he mea whakamere hoki tenei. Mahi. Ka tautokohia nga pukatuhi, papatohu, me te tautoko i nga taurangi. E mohio ana ahau kei te whakamahia e tetahi o te hapori ClickHouse.

Engari karekau he tautoko mo ClickHouse syntax, ara me tuhi nga patai kei roto i te papatohu, i tetahi atu waahi ranei. I muri mai, tirohia kei te mahi katoa. He rawe noa. Engari he pai te tautoko papatohu.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Ko te taputapu e whai ake nei ko Redash.IO. Ka whakahaerehia a Redash i runga i te Ipurangi. Arā, kaore i rite ki nga taputapu o mua, kaore e tika kia whakauruhia. A he papatohu tenei me te kaha ki te whakakotahi i nga raraunga mai i nga Raraunga Raraunga rereke. Arā, ka taea e koe te tango mai i ClickHouse, mai i MySQL, mai i te PostgreSQL me etahi atu papaa raraunga.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

He marama noa ki muri (Maehe 2017), ka puta te tautoko i Grafana. Ina hanga koe i nga purongo ki Grafana, hei tauira, i runga i te ahua o to taputapu, i runga ranei i etahi inenga, inaianei ka taea e koe te hanga i te kauwhata kotahi, i etahi momo panui mai i nga raraunga mai i ClickHouse tika. He tino watea tenei, a ka whakamahia e matou. Ma tenei ka taea e koe te kite i nga kohikohiko. Arā, ki te pa mai tetahi mea ka taka etahi taputapu, ka raru ranei, katahi ka taea e koe te titiro ki te take mena i uru enei raraunga ki ClickHouse.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

I kitea e ahau he tino tuke ki te tuhi ki enei taputapu, ki te papatohu ranei. Na ka whakatau ahau ki te whakapai ake i to maatau atanga tuatahi. Na ka whiwhi ahau i te whakaaro mai i EventSQL, SeperSet, Zeppelin.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

He aha to hiahia? I pirangi ahau ki te tiki whakairoiro, he kaiwhakatikatika pai ake, me te whakatinana i te tautoko mo nga papakupu tohu. Na te mea he ahua nui to ClickHouse - papakupu. Engari he uaua ki te mahi me nga papakupu, na te mea me maumahara koe ki te whakatakotoranga o nga uara kua rongoa, ara he tau, he aho ranei, me etahi atu.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Kua pahemo nga marama 3 mai i te tukunga o ta maatau putanga tuatahi. Tata ki te 330 nga paanui i mahia e au ki tetahi peka motuhake ka puta ko Tabix.

Kaore i rite ki te putanga o mua, i kiia ko ClickHouse-Frontend, i whakatau ahau ki te whakaingoa ano ki te ingoa ngawari. Na ka puta ko Tabix.

He aha te mea i puta?

Ka tuhi kauwhata. E tautoko ana i te syntax ClickHouse SQL. Ka tuku tohutohu mo nga mahi me te maha o nga mahi whakamere.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Koinei te ahua o te kaupapa Tabix whanui. Kei te taha maui he rakau. Kei waenganui ko te ētita uiui. A kei raro iho nei te hua o tenei tono.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

I muri mai ka whakaatu ahau ki a koe me pehea te mahi a te kaiwhakatika patai.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

I konei ka mahi aunoa te whakaoti-aunoa i runga i te teepu me te akiaki, na reira, te whakaoti-aunoa mo nga mara. Me nga tohu mo nga mahi. Mena ka pehi koe i te ctrl enter, ka mahia te tono ka kore ranei i te hapa. Ko te tono ngawari ka tukuna ki a Tabix ka whiwhi te hua, ara, ka taea e koe te mahi tere me ClickHouse.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Ko nga papakupu, pera i taku korero i mua ake nei, he mea tino whakamere e mahi nui ana matou. A i taea e matou te mahi i nga mea maha. Me kii kei te rongoa nga taone katoa ki nga papakupu. Ka penapenahia e matou te ingoa o te taone me te ingoa taone, tona ahopae me te ahopou. Na i roto i te pātengi raraunga ka penapenahia e matou te tohu tohu taone anake. Na reira, ka tino kaha te kopiri i nga raraunga.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Ko te ahua he mea ngawari tenei, engari ka awhina i a ClickHouse i roto i te huarahi tino pai. Na te mea ka tautoko noa a ClickHouse i nga hono kohanga, ka piki whakararo te patai me te whanui. A, no te whakatuwheratanga o te taiapa ka uru mai etahi kupu roa, katahi ka ngawari noa atu te tiango i te patai ka ngawari ake te mahi me te patai ake. Na te mea ka 200-300 nga raina te roa me te whanui nui o te patai, he mea tino pai ki te tiango i te patai katahi ka kimi waahi, ki te waahi ranei.

Rakau ahanoa, uiui maha me nga ripa ( Ataata 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

I muri mai ka whakaatu ahau ki a koe mo te rakau me nga ripa. Kei te taha maui he rakau; ki runga ka taea e koe te hanga i etahi ripa. He rite nga ripa ki te mokowāmahi. Ka taea e koe te hanga i etahi ripa me te whakaingoa i ia waahanga rereke. He rite ki te punaha iti mo te hanga ripoata.

Ka tiakina aunoatia nga ripa. Mena ka timata ano koe i to kaitirotiro, ka kati, ka whakatuwhera ranei i a Tabix, ka tiakina enei katoa.

Hotkey - watea ( Ataata 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

He taviri wera, he maha tonu. Kua tangohia e ahau etahi o ratou i konei hei tauira. Ko te huri i nga ripa, ka mahia he tono, ka mahia ranei etahi tono.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Ka whakaatu ahau ki a koe me pehea te mahi me te hua. Ka tukuna he tono. Anei ahau te tuhi hara, cos me tg. Ka taea e koe te tohu i te hua, ara, tuhia he mapi angamaheni mo te pou. Ka taea e koe te whakanui i nga uara pai, kino ranei. Tae noa ranei i tetahi huānga ripanga motuhake. He watea tenei ina he nui te teepu, me rapu koe i tetahi ahua kino ki o kanohi. I te wa e rapu ana ahau mo nga mea koretake, i tohuhia e au etahi rarangi, etahi huānga he kakariki, he whero ranei.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

He maha nga mea whakamere i reira. Hei tauira, me pehea te kape ki te Redmine Markdown. Mena ka hiahia koe ki te kape i te hua ki tetahi waahi, he tino watea tenei. Ka taea noa e koe te kowhiri i tetahi waahi, me kii "Kape ki te Redmine" ka kape ki te Redmine Markdown ka hanga ranei he patai Kei hea.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Panuku ko te arotautanga patai. I wareware ahau ki te tohu i te mara "ra". A ko taku tono i ClickHouse kaore i tino tere, engari i tere, ara, iti iho i te rua. I taku kitenga e hia nga rarangi i rere ia, ka mataku ahau. Kaore matou e tuhi i nga rarangi maha ki tenei tepu i te ra. I timata ahau ki te tātari i te tono, ka kite kua ngaro ahau i tetahi ra i tetahi waahi. Arā, kua wareware ahau ki te tohu kaore au e hiahia raraunga mo te tepu katoa, engari mo te waa motuhake.

He ripa "Tatauranga" a Tabix, e pupuri ana i te hitori katoa o nga tono kua tukuna, ara, kei reira koe e kite ai e hia nga rarangi i panuitia e tenei tono me te roa o te mahi. Ka taea e tenei te arotautanga.

Ka taea e koe te hanga ripanga kaurori ki runga i te hua patai. I tukuna e koe he tono ki a ClickHouse ka whiwhi etahi raraunga. Na ka taea e koe te nuku i enei raraunga me to kiore me te hanga i etahi momo ripanga kaurori.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Ko te mea whakamere e whai ake nei ko te whakatakoto whakaaro. Me kii kei a matou te tono e whai ake nei: mo te hara, cos mai i te 0 ki te 299. A ki te tuhi, me whiriwhiri koe i te ripa "Tuhia" ka whiwhi koe i te kauwhata me to hara me to cos.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Ka taea e koe te wehewehe i tenei ki nga toki rereke, ara ka taea e koe te tuhi i nga kauwhata e rua ki te taha ki te taha kotahi. Tuhia tetahi whakahau me tetahi whakahau tuarua.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Ka taea e koe te tuhi histograms.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Ka taea e koe te wawahi i tenei ki te matrix o kauwhata.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Ka taea e koe te hanga mahere wera.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Ka taea e koe te hanga maramataka waiariki. Ma te ara, he mea tino watea tenei ina hiahia ana koe ki te tātari i nga mahi kino i roto i te tau, ara, ka kitea he koikoi, he maturuturu ranei. Na tenei tirohanga raraunga i awhina i ahau ki tenei.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Whai muri ko te Mahere Rakau.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

He tūtohi whakamere a Sankeys. Ko Streamgrahps, ko River ranei. Engari ka kiia e ahau ko Awa. Ka taea hoki e koe te rapu mo nga mea rereke. He tino hāneanea. Ka tūtohu ahau ki te whakamahi mo te rapu.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Ko te mea whakamere e whai ake nei ko te tuhi mapi hihiri. Mena kei te penapena koe i te ahopae, te ahopou i roto i to paataka raraunga, me te kii, ka penapena he waahi, ki te mea he taraka, he waka rererangi ranei e rere ana, katahi ka taea e koe te tuhi i nga huarahi haerenga. I reira hoki ka taea e koe te whakarite i te tere me te rahi o enei taonga e rere ai.

Engari ko te raru o tenei mapi ko te tuhi mapi o te ao anake, kaore he korero.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

I muri mai ka tapiritia e ahau te mahere Google. Mena kei te penapena koe i te ahopae, te ahopou, katahi ka taea e koe te tuhi i te hua ki runga i te mahere a Google, engari kaore he tautoko rererangi.

Kua korerohia e matou nga mahi matua o te mahi me nga hua me nga patai i Tabix.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Ko te mea e whai ake nei ko te tātaritanga o to tūmau ClickHouse. He ripa motuhake "Metrics", ka kite koe i te rahi o nga raraunga rongoa mo ia pou. Ko te Whakaahuamata e whakaatu ana ko tenei mara "kaiwhakaaro" ka nui ake te 730 Gb. Mena ka whakarerea e matou tenei mara, ka tiakina e matou nga maramara e toru o te 700 GB ia ia, ara mo te 2 TB kaore e hiahiatia e matou.

He mara "request_id" ano ka penapenahia e matou ki te aho. Engari ki te timata taatau ki te penapena i roto i te ahua tatau, ka tino heke tenei mara.

Ka whakaatu hoki i te whirihoranga tūmau me te rārangi kōpuku i roto i tō kāhui.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Ko te ripa e whai ake nei ko nga ine. Ka uru atu ratou ki a ClickHouse me te tuku noa i a koe ki te tātari i te ahua o te tūmau me te mohio ki nga mea e pa ana ki a ia. Ehara tenei i te whakakapi mo te Grafana katoa. He mea tika tenei mo te tātari tere.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Ko te ripa e whai ake nei ko nga tukanga. Mai i a raatau ka mohio koe he aha te mea kei runga i te tūmau. Kia mohio koe ki nga mea kei reira. He tono taku i pau te 200 GB o te panui i ia wa. I kite ahau i tenei mihi ki tenei atanga. Ka mau ahau i a ia ka whakatika. Na ka puta ko te 30 GB, ara he mahi i etahi wa.

ClickHouse - te tirohanga tere me te tātari raraunga whai kiko i Tabix. Igor Stryhar

Mauruuru koe! Na kei OpenSource tenei

I mutu ahau. Na te ara, he OpenSource, he kore utu kaore koe e hiahia ki te tango. Whakatuwheratia i roto i te pūtirotiro ka mahi nga mea katoa.

Au uiui

Igor, he aha te mea ka whai ake? Kei hea koe e whakawhanake ai i tenei taputapu?

I muri mai, ka puta nga papatohu, ara, ka puta pea nga papatohu. Te whakauru ki etahi atu papaarangi. I mahia e au tenei, engari kaore ano kia whakaputaina ki OpenSource. Ko MySQL tenei me PostgreSQL pea. Arā, ka taea te tuku tono mai i a Tabix ki a ClickHouse, engari ki etahi atu taputapu.

E marama ana he nui nga mahi kua oti. I puta mai he whakaaro tino pai. I mahia tenei i roto i te kaitirotiro, te ahua, ki te whakakore i nga tootoo i runga i nga momo toki katoa ka tere te maka tahi. I rongo ahau kei runga koe php mahi, na ko te huarahi ngawari ko te pato i roto i te kaitirotiro ka mahi ki nga waahi katoa. Karekau he patai mo tenei. Ko te patai tenei. He maha nga mea kua mahia ki reira. E hia nga tangata i mahi i tenei mahi? A pehea te roa o te katoa? Na te mea ko nga taputapu ritenga kaore i te nui te mahi.

Kotahi te tangata o ta matou roopu i mahi mai i te raumati ki te ngahuru. Koinei te putanga tuatahi. Na ka mahia e ahau 330 noa iho. Ko te mea e kite ana koe, i mahia e maua ko taku hoa mahi i te haurua. I roto i nga marama 3, mai i te putanga tuatahi ki te whakamutunga, ko te nuinga i mahia e au anake. Engari kaore au i te tino mohio ki te Javascript. Ko taku anake tenei, ko taku tumanako, ko taku kaupapa Javascript whakamutunga i mahi tahi ahau. I whiwhi ahau, ka titiro ahau - aue, whakamataku. Engari i tino hiahia ahau ki te whakaoti i te hua, a koinei te mea i tupu.

Ka nui te mihi ki a koe mo te purongo! He taputapu nui tenei. ME ripanga Kua whakaritea e koe?

Mauruuru koe. Koia ahau i tapaina ai ko Tabix, na te mea he rite tonu nga reta tuatahi.

Na te mea ka whakataetae koe?

Ka nui te haumi, ka whakataetae tatou.

Me pehea e taea ai e koe te tuku ki te hoko ki nga kaitirotiro o roto ka whakakapi katoa tenei taputapu *Tepu*? He aha nga tautohetohe?

Mahi maori me ClickHouse. I whakamatau ahau ki a Tableau, engari kaore e taea e koe te tuhi tautoko mo nga papakupu me era atu mea. E mohio ana ahau ki te mahi a nga tangata me Tabix. Ka tuhia e ratou he patai, ka tukuna ki te CSV ka tukuna ki te BI. A kei te mahi ano ratou ki reira. Engari he uaua ki ahau te whakaaro me pehea ta raatau mahi, na te mea he taputapu kauwhata. Ka taea e ia te tango i nga rarangi 5, te nuinga o te 000 rarangi, engari karekau ake, ki te kore ka kore e taea e te kaitirotiro.

Arā, kei reira etahi here nui mo te nui o nga raraunga, tika?

Ae. Kaore e taea e au te whakaaro ka hiahia koe ki te tuku i nga rarangi 10 ki to ripanga ki runga i to mata tirotiro. Hei aha?

Ko te tikanga he atanga tenei mo te tiro tere i nga raraunga? Kopikopiko iti, kopikopiko?

Ae, kia tere kite pehea te mahi me te hanga kauwhata whakarāpopototanga. Na ka hoatu ki tetahi wahi. Kei a matou ano ta matou punaha ripoata, mai i taku tango i tenei tono. Ka kumea e ahau a Tabix ka tukuna atu ki a maatau korero.

Me tetahi atu patai. Te tātaritanga roopu?

Mena he tono, ka taapirihia e matou.

Nonahea koe i timata ai ki te whakamahi? ClickHouse, pehea te roa o te whakatinanatanga? PaateneToko me te kawe mai ki āhua hanga?

Ka rite ki taku korero, i whakatinanahia e matou he roopu whakamatautau i roto i te wa poto. I tukuna e matou i roto i nga ra e rua. A i whakamatauria e matou mo etahi wiki e rua. Na ka tae matou ki te hanga i roto i nga marama 3. Engari i a matou ake ETL, ara he taputapu mo te tuhi raraunga. Na ka tuhia e ia nga mea katoa ka taea e ia. Ka taea e ia te tuhi ki MongoDB, Cassandra, MySQL. He ngawari ki te ako ia ia ki te tuhi ki ClickHouse. I a matou he hanganga kua rite mo te whakatinana tere. I roto i nga marama 3 ka timata matou ki te maka i te waahanga tuatahi. I roto i nga marama 6 ka tino whakarerea e matou nga mea katoa. Kotahi noa te ClickHouse e toe ana.

Igor, ka nui te mihi ki a koe mo te purongo. I tino pai ki ahau te mahi o te hanga huarahi ma te whakamahi mapi. Kei kona ano etahi mahere mo te whakauru ki a Yandex.Maps me te ritenga o Yandex.Maps?

I whakamatau ahau ki te whakauru hei utu mo te mahere Google, engari kaore au i kitea he kaupapa pouri i runga i te Yandex.Maps. Kaore au i korero ki a koe tetahi wahi. Ka hoki ano ahau ki te taapiri.

Kiriata – Mahere Google. Kei reira he whakahau "DRAW_GMAPS", hei tuhi mapi. He whakahau "DRAW_YMAPS", ara ka taea e ia te tuhi i te Yandex.Map. Engari ko te mea pono, kei raro i tenei whakahau ko Javascript, ara ko nga raraunga ka riro mai i a ClickHouse ka taea te whakawhiti ki Javascript, ka tuhia e koe ki konei. A kei a koe he waahi whakaputa hei tuhi. Ka taea e koe te tuhi kauwhata, ara, tetahi kauwhata, mapi, ka taea e koe te tuhi i to ake waahanga. I mua i tenei, he whare pukapuka ano taku mo te tuhi i nga kauwhata ake.

Arā, he taputapu hei whakarite i te mahi whakaatu?

Tetahi. Ka taea e koe te tango me te peita ano i enei ira, kia kaua e whero, engari he puru, he kakariki.

Nga mihi mo te ripoata! I a koe he kiriata e whakaatu ana i etahi atu taputapu patai PaateneToko mo te hanga papatohu me nga purongo tātari. Kei te mohio ahau i tenei wa i timata koe ki te mahi ClickHouse, karekau he taapiri i tuhia mo enei taputapu. A kei te miharo ahau he aha koe i whakatau ai ki te hanga i a koe ake taputapu, hei utu mo te tuhi urutau mo etahi taputapu kua rite? Ki taku whakaaro he tere te whakatika i te kaiwhakamahara whakamatautau. He aha koe i whakatau ai kia nui te mahi?

He mea whakamere kei konei - ko te mea he kaiwhakahaere hangarau ahau, ehara i te kaiputaiao raraunga. I te wa i timata ai matou ki te whakatinana i a Druid, tata ki te 50% o nga mahi kei taku mahere huarahi - me tatau tenei, me tatau ranei i tenei, ka tātari ranei i tenei. Na ka puta mai i whakatinanahia e matou a ClickHouse. Na ka timata ia ki te hanga i nga mea katoa, ki te tatau, ka kati i tana mahere huarahi. Na i taua wa ka mohio au kua kore au i te mohio ki te Raraunga Raraunga me te tirohanga raraunga. Ko Tabix te ahua o aku mahi kainga mo te ako i te tirohanga raraunga. I titiro ahau me pehea te whakakii i a Zeppelin. He iti taku pai ki tana kaupapa. Redash I titiro ahau me pehea te taapiri, engari ko te ētita noa he nui ki ahau. Na ka tuhia ano a SuperSet i roto i te reo kaore au e tino pai. Na ka whakatau ahau ki te eke pahikara, a koinei te mea i tupu.

Igor, ka whakaae koe ki nga tono Pull?

Ae.

Ka nui te mihi ki a koe mo te purongo! A e rua nga patai. Tuatahi, kaore koe e korero tino whakapati Javascript. I tuhi koe i roto i te Javascript kau, he momo angamahi ranei?*

He pai ake i roto i te Javascript kau.

Na he aha te anga?

koki.

Kua marama. A ko te patai tuarua. Kua whakaarohia e koe R и *kanapa**?*

I whakaarohia. Whakatangihia.

Ka taea hoki e koe te tuhi i tetahi urutau.

Ko ia. Te ahua nei na te hapori i mahi, engari, i taku whakautu i te patai o mua, i pirangi ahau ki te whakamatau i a au ano.

*Kao, mo te whakakitenga, kei reira ano.

E kii ana koe he penei ano ka tuhia he kauwhata. I whakatuwheratia e ahau tetahi pukapuka mo te tirohanga raraunga. Na ka whakaaro ahau: "Me whakamatau ahau ki te tiro i enei raraunga. Ka tuhi ahau ki a ia kia taea e ia te hanga i nga raraunga." Na ka timata ahau ki te mohio pai ki te hangarau whangai raraunga. Mena kua tangohia e au tetahi waahanga kua rite, kua tino pai ake taku ako ki te whakamahi, ara, te tirohanga. Engari ae, i pai ahau ki a R, engari kaore ano au kia panui i te pukapuka "R for Dummies".

Mauruuru!

Uiui ngawari. Kei kona ano etahi huarahi ki te tuku tere i tetahi tohu, raarangi ranei?

Ka taea te tukuake ki te CSV, ki te Excel ranei.

Ehara i te raraunga, engari he pereti kua rite, he kauwhata kua rite? Hei tauira, ki te whakaatu i te rangatira.

He paatene "Tukuatu" me te paatene "Tukuhia te kauwhata ki te png, ki te jpg".

Mauruuru!

PS Mini-tohutohu mo te whakauru tabix

  • Tikiake tukunga hou
  • Wewetehia, kape i te whaiaronga build i roto i te nginx root_path
  • Whirihorahia te nginx

Source: will.com

Tāpiri i te kōrero