Te ariā me te mahi mo te whakamahi ClickHouse i roto i nga tono tuuturu. Alexander Zaitsev (2018)

Ahakoa te mea he maha nga raraunga tata ki nga waahi katoa, he ahua kee tonu nga papaa raraunga tātari. Kaore e tino mohiotia ana, ka iti ake te kaha ki te whakamahi pai. He tokomaha kei te "kai i te cactus" me MySQL, PostgreSQL ranei, i hangaia mo etahi atu ahuatanga, he uaua ki a NoSQL, he utu nui ranei mo nga otinga arumoni. Ko ClickHouse he huringa keemu me te tino whakaheke i te arai ki te uru ki te ao o te DBMS tātari.

No BackEnd Conf 2018 te purongo ka whakaputaina i runga i te whakaaetanga a te kaikorero.

Ko wai ahau he aha ahau e korero ana mo ClickHouse? Ko ahau te Kaiwhakahaere Whakawhanake i LifeStreet, e whakamahi ana i a ClickHouse. Ko ahau ano te kaiwhakaara o Altinity. He hoa Yandex tenei e whakatairanga ana i a ClickHouse me te awhina i a Yandex kia angitu ake a ClickHouse. Kua rite hoki ahau ki te whakapuaki i nga matauranga mo ClickHouse.

A ehara hoki ahau i te teina o Petya Zaitsev. He maha nga wa ka pataihia ahau mo tenei. Kare, ehara matou i te tuakana.

"E mohio ana te katoa" ko ClickHouse:

• Tino tere,
• Tino watea,
• Ka whakamahia i Yandex.

He iti ake te mohio ki nga kamupene me pehea te whakamahi.

Ka korerotia e ahau ki a koe he aha, kei hea me pehea te whakamahi a ClickHouse, haunga a Yandex.

Ka korerotia e ahau ki a koe me pehea te whakaoti rapanga motuhake ma te whakamahi i te ClickHouse i roto i nga kamupene rereke, he aha nga taputapu ClickHouse ka taea e koe te whakamahi mo o mahi, me te pehea i whakamahia ai i roto i nga kamupene rereke.

Kua tohua e ahau nga tauira e toru e whakaatu ana i te ClickHouse mai i nga taha rereke. Ki taku whakaaro ka pai.

Ko te patai tuatahi: "He aha koe e hiahia ai ki te ClickHouse?" Te ahua nei he tino marama te patai, engari he maha atu i te kotahi nga whakautu.

• Ko te whakautu tuatahi mo nga take mahi. He tere te ClickHouse. He tino tere hoki nga tātaritanga i runga i te ClickHouse. He maha nga wa ka taea te whakamahi i tetahi atu mea kei te tino puhoi, kei te tino ngoikore ranei.
• Ko te whakautu tuarua ko te utu. A tuatahi, ko te utu o te tauine. Hei tauira, ko Vertica he putunga tino pai rawa atu. He pai rawa te mahi mena kaore koe i te maha o nga terabytes o nga raraunga. Engari ka korero tatou mo nga rau terabytes, petabytes ranei, he nui te utu mo te raihana me te tautoko. A he utu nui. A he kore utu a ClickHouse.
• Ko te whakautu tuatoru ko te utu whakahaere. He ahua rereke tenei. Ko te RedShift he tino rite. Ma te RedShift ka taea e koe te whakatau tere. Ka pai te mahi, engari i te wa ano, ia haora, ia ra, ia marama ka tino utu koe ki a Amazon, na te mea he ratonga utu nui. Google BigQuery hoki. Mena kua whakamahia e tetahi, ka mohio ia ka taea e koe te whakahaere i etahi patai ki reira ka riro ohorere mai he nama mo nga rau taara.

Kaore he raruraru a ClickHouse.

Kei hea te ClickHouse e whakamahia ana inaianei? I tua atu ki a Yandex, ka whakamahia a ClickHouse i roto i te roopu o nga pakihi me nga kamupene rereke.

• Ko te mea tuatahi, he tātaritanga tono paetukutuku tenei, ara he keehi whakamahi i ahu mai i Yandex.
• He maha nga kamupene AdTech e whakamahi ana i te ClickHouse.
• He maha nga kamupene e hiahia ana ki te tātari i nga raarangi whakahaere mai i nga puna rereke.
• He maha nga kamupene e whakamahi ana i te ClickHouse ki te aro turuki i nga raarangi haumaru. Ka tukuna e ratou ki a ClickHouse, ka hanga ripoata, ka whiwhi i nga hua e hiahiatia ana.
• Kei te timata nga kamupene ki te whakamahi i roto i te tātari putea, ara, kei te tata haere nga pakihi nui ki te ClickHouse.
• CloudFlare. Mena ka whai tetahi i a ClickHouse, kua rongo pea koe i te ingoa o tenei kamupene. Koinei tetahi o nga tino kaikoha mai i te hapori. Na kei a raatau he whakaurunga ClickHouse tino nui. Hei tauira, i hanga e ratou a Kafka Engine mo ClickHouse.
• Kua timata nga kamupene waea ki te whakamahi. He maha nga kamupene e whakamahi ana i te ClickHouse hei tohu mo te ariā, kei te hanga ranei.
• Ko tetahi kamupene e whakamahi ana i te ClickHouse hei aroturuki i nga tukanga whakaputa. Ka whakamatauhia e ratou nga microcircuits, ka tuhi i te paihere o nga tawhā, tata ki te 2 nga ahuatanga. Na ka tātarihia he pai, he kino ranei te puranga.
• Te tātari Poraka. He kamupene Russian ko Bloxy.info. He tātaritanga tenei o te whatunga Ethereum. I mahia ano e ratou tenei i runga i te ClickHouse.

I tua atu, kaore he mea nui te rahi. He maha nga kamupene e whakamahi ana i tetahi tūmau iti. E e faatia oia ia ratou ia faatitiaifaro i to ratou mau fifi. A, he maha atu nga kamupene e whakamahi ana i nga tautau nui o te maha o nga kaitoro, te maha ranei o nga kaitoro.

A, ki te titiro koe ki nga rekoata, na:

• Yandex: 500+ nga kaitoro, kei te penapena 25 piriona rekoata ia ra ki reira.
• LifeStreet: 60 tūmau, tata ki te 75 piriona rekoata ia ra. He iti ake nga kaitoro me te maha atu o nga rekoata i to Yandex.
• CloudFlare: 36 nga kaitoro, kei te penapena 200 piriona rekoata ia ra. He iti ake o raatau kaitoro me te rokiroki i etahi atu raraunga.
• Bloomberg: 102 nga kaitoro, tata ki te trillion rekoata ia ra. Kaipupuri rekoata.

Ki te matawhenua, he nui hoki tenei. Ko tenei mahere e whakaatu ana i te mapi wera o te waahi e whakamahia ana a ClickHouse i te ao. I konei ko Ruhia, Haina me Amerika e tu marama ana. He iti noa nga whenua Pakeha. A e 4 nga tautau ka taea te wehewehe.

He tātaritanga whakatairite tenei, kaore he take ki te rapu tau tino. He tātaritanga tenei mo nga manuhiri e panui ana i nga rauemi reo Ingarihi i runga i te paetukutuku Altinity, na te mea kaore he kaikorero reo Ruhia i reira. A ko Russia, Ukraine, Belarus, ara ko te waahanga reo Ruhia o te hapori, ko nga kaiwhakamahi tino nui. Na ka haere mai nga USA me Kanata. Kei te tino kaha a Haina. Karekau he Haina i reira e ono marama ki muri, inaianei kua eke a Haina ki Uropi me te tipu haere tonu. Ko Uropi tawhito kaore ano i tawhiti atu, a ko te kaiarahi mo te whakamahi i te ClickHouse, he mea whakamiharo, ko France.

He aha ahau i korero ai i enei mea katoa? Hei whakaatu kei te noho a ClickHouse hei otinga paerewa mo te tātari raraunga nui, kua whakamahia kētia ki nga waahi maha. Mena ka whakamahia e koe, kei runga koe i te ahua tika. Mena kaore ano koe e whakamahi, kaore koe e mataku kei waiho koe ko koe anake, kaore he tangata hei awhina ia koe, no te mea he tokomaha kei te mahi i tenei.

He tauira enei mo te whakamahi pono o ClickHouse i roto i nga kamupene maha.

• Ko te tauira tuatahi he whatunga panui: te heke mai i Vertica ki ClickHouse. A e mohio ana ahau he maha nga kamupene kua huri mai i a Vertica kei te huri ranei.
• Ko te tauira tuarua ko te rokiroki hokohoko i runga i te ClickHouse. He tauira tenei i hangaia i runga i nga tauira antipattern. Ko nga mea katoa e kore e tika kia mahia i ClickHouse kia rite ki nga tohutohu a nga kaihanga ka mahia i konei. A i te wa ano ka mahia kia whai hua kia pai ai te mahi. A he pai ake te mahi i te otinga tauwhitinga angamaheni.
• Ko te tauira tuatoru ko te tohatoha rorohiko i runga i te ClickHouse. I puta he patai mo te pehea e taea ai te whakauru a ClickHouse ki te punaha rauropi Hadoop. Ka whakaatu ahau i tetahi tauira o te mahi a te kamupene i tetahi mea e rite ana ki te mahere whakaiti ipu i runga i te ClickHouse, te aroturuki i te waahi raraunga, me etahi atu, hei tatau i tetahi mahi tino kore-iti.

• Ko LifeStreet he kamupene Ad Tech kei a ia nga hangarau katoa e hono ana ki te whatunga panui.
• Kei te mahi ia i roto i te arotautanga panui me te tuku hotaka.
• He maha nga raraunga: tata ki te 10 piriona nga huihuinga ia ra. I tua atu, ka taea te wehewehe i nga huihuinga ki etahi waahanga iti.
• He maha nga kaihoko o enei raraunga, a ehara enei i te tangata anake, he maha atu ano nga momo hātepe e uru ana ki te tuku tono kaupapa.

Kua tae mai te kamupene he huarahi roa me te taratara. A i korero ahau mo runga i te HighLoad. Tuatahi, i heke a LifeStreet mai i MySQL (me te tu poto ki Oracle) ki Vertica. A ka kitea e koe he korero mo taua mea.

Na he tino pai nga mea katoa, engari ka tere te maarama kei te tipu haere nga raraunga me te utu nui o Vertica. No reira, i rapua etahi momo rereke. Ko etahi o ratou kua whakarārangihia ki konei. Ina hoki, i mahia e matou he tohu o te ariā, i etahi wa ranei he whakamatautau mahi mo te nuinga o nga papaunga raraunga e waatea ana i runga i te maakete mai i te 13 ki te 16 me te ahua pai ki te mahi. A i korero ano ahau mo etahi o ratou i runga HighLoad.

Ko te mahi ko te heke mai i Vertica i te tuatahi, na te mea kei te tipu haere nga raraunga. Na ka tipu haere ratou mo etahi tau. Na ka haere ratou ki runga i te whata, engari tonu. A, ko te matapae i tenei tipu, nga whakaritenga pakihi mo te rahinga o nga raraunga e tika ana kia mahia etahi momo tātaritanga, kua marama ka puta he korero mo nga petabytes. A he tino utu kee te utu mo nga petabytes, no reira i rapu maatau ki te haere ki hea.

Me haere ki hea? A mo te wa roa kaore i tino marama ki hea ka haere, na te mea i tetahi taha kei reira nga papaa korero arumoni, he pai te mahi. Ko etahi ka mahi tata ki a Vertica, ko etahi he kino. Engari he utu katoa, kaore he mea iti ake, he pai ake ranei.

I tetahi atu taha, he otinga puna tuwhera, kaore i te maha rawa, ara mo te tātari ka taea te tatau ki tetahi ringa. A he utu kore utu, he utu iti ranei, engari he puhoi te mahi. A he maha nga wa karekau he mahi e tika ana me te whai hua.

A kaore he mea hei whakakotahi i nga mea pai kei roto i nga papaa korero hokohoko me nga mea kore utu katoa kei roto i te puna tuwhera.

Kaore he mea i tupu tae noa ki te wa i unuhia ai e Yandex a ClickHouse mai i te potae penei i te rapeti a te tohunga makutu. A he whakatau ohorere tenei; ka patai tonu nga tangata i te patai: "He aha?", engari ahakoa.

Na i te raumati o te tau 2016, i timata matou ki te titiro he aha te ClickHouse. Na ka puta ko etahi wa ka tere ake i a Vertica. I whakamatauria e matou nga ahuatanga rereke mo nga tono rereke. A, ki te whakamahia e te patai kotahi noa te tepu, ara, kaore he hononga, ka rua te tere o ClickHouse ki a Vertica.

Kare au i tino mangere me te titiro ki etahi atu whakamatautau Yandex i tera ra. He rite ano ki reira: Ko te ClickHouse e rua te tere ake i a Vertica, no reira he maha nga wa ka korerohia e ratou.

Engari mena kei roto i nga patai nga hononga, katahi ka puta nga mea katoa kaore i te tino marama. A ka taea e ClickHouse te rua te puhoi ki a Vertica. A, ki te whakatikatika koe ka tuhi ano i te tono, ka rite tonu. Ehara i te kino. A he kore utu.

A, i muri i te whiwhinga i nga hua whakamatautau, me te titiro mai i nga kokonga rereke, ka haere a LifeStreet ki ClickHouse.

Ko te 16 tenei tau, ka maumahara ahau ki a koe. He rite ki te katakata mo nga kiore i tangi me te wero i a ratou ano, engari ka kai tonu i te cactus. Na tenei i korerohia i roto i nga korero, he ataata mo tenei, etc.

No reira, kare au e korero mo tenei, ka korero noa ahau mo nga hua me etahi mea whakamere kaore au i korero i tera wa.

Ko nga hua ko:

• Neke atu i te kotahi tau te hekenga angitu me te punaha.
• Kua piki ake te hua me te ngawari. Mai i te 10 piriona rekoata ka taea e matou te penapena ia ra mo te wa poto noa, kei te rongoa a LifeStreet inaianei 75 piriona rekoata ia ra ka taea e ia mo te 3 marama neke atu ranei. Mena ka tatau koe i te tihi, ka penapena tenei ki te kotahi miriona kaupapa mo ia hekona. Neke atu i te kotahi miriona nga patai SQL ia ra ka tukuna ki tenei punaha, ko te nuinga mai i nga momo karetao.
• Ahakoa te mea i timata a ClickHouse ki te whakamahi i nga kaitoro maha atu i a Vertica, i penapenahia ano nga taonga mo nga taputapu, na te mea i whakamahia e Vertica nga putea SAS tino utu. I whakamahia e ClickHouse a SATA. He aha hoki? Na te mea kei roto i te whakauru Vertica he tukutahi. A ko te tukutahi me kore e tino puhoi nga kopae, me te kore hoki e tino puhoi te whatunga, ara, he mahi utu nui. A kei roto i te whakauru ClickHouse he tukutahi. I tua atu, ka taea e koe te tuhi i nga mea katoa i te rohe, kaore he utu taapiri mo tenei, na reira ka taea te whakauru i nga raraunga ki ClickHouse tere ake i te Vertika, ahakoa kaore i te tere tere. A he rite tonu te panui. Ko te panui i runga i te SATA, mena kei roto ratou i te RAID, ka tere katoa.
• Karekau ma te raihana, ara, 3 petabytes o nga raraunga i roto i te 60 tūmau (20 tūmau he tauira kotahi) me te 6 trillion rekooti i roto i nga meka me nga whakahiato. Kaore i taea e Vertica te utu i tetahi mea penei.

Inaianei kei te haere ahau ki nga mea whai kiko o tenei tauira.

• Ko te tuatahi he kaupapa whai hua. He nui te whakawhirinaki ki te kaupapa.
• Ko te tuarua ko te whakaputa SQL pai.

Ka tohua he uinga OLAP. Ko etahi o nga pou ka haere ki te roopu ma, ko etahi o nga pou ka haere ki nga mahi whakahiato. He waahi, ka taea te whakaaro he poro o te mataono. Ko te roopu katoa e taea te whakaaro he matapae. A koinei te take i kiia ai ko te tātari raraunga maha.

I te nuinga o nga wa ka whakatauirahia tenei ki te ahua o te hoahoa whetu, ina he meka matua me nga ahuatanga o tenei meka kei nga taha, kei te taha o nga hihi.

A, mai i te tirohanga o te hoahoa-a-tinana, me pehea te uru ki runga i te teepu, ko te nuinga o te waa ka hangai ratou i te ahua noa. Ka taea e koe te whakaheke, engari he utu nui i runga i te kōpae me te kore e tino pai mo nga patai. No reira, ka hangai ratou he tirohanga noa, ara he ripanga meka me te maha o nga ripanga ahu.

Engari kaore tenei e pai ana i ClickHouse. E rua nga take:

• Ko te tuatahi na te mea kaore he hononga tino pai a ClickHouse, ara, he hono, engari he kino. I tenei wa he kino ratou.
• Ko te tuarua ko nga ripanga kaore i te whakahouhia. I te nuinga o nga wa i enei tohu kei te taha o te hoahoa whetu, me whakarereke tetahi mea. Hei tauira, ingoa kiritaki, ingoa kamupene, etc. A kaore e mahi.

A he huarahi kei waho o tenei i ClickHouse. e rua ano:

• Ko te tuatahi ko te whakamahi papakupu. Ko nga Papakupu o waho te mea e awhina ana i te 99% ki te whakaoti rapanga me te kaupapa whetu, me nga whakahoutanga me etahi atu.
• Ko te tuarua ko te whakamahi i nga raupapa. Ka awhina ano nga huānga ki te whakakore i nga hononga me nga raru o te whakatikatika.

• Kaore he hiahia mo te whakauru.
• Ka taea te whakahou. Mai i te marama o Poutū-te-rangi 2018, kua puta mai he waahi kaore i tuhia (kaore koe e kite i tenei i roto i nga tuhinga) ki te whakahou i nga papakupu tetahi waahanga, ara, ko nga whakaurunga kua rereke. I roto i te mahi, he rite ki te tepu.
• Kei te maumahara tonu, no reira ko te hono atu ki te papakupu ka tere ake te mahi i te mea he tepu kei runga kopae, a ehara i te mea kei roto i te keteroki, kaore pea.

• Kaore koe e hiahia ki te whakauru.
• He ahua kiato 1 ki te maha.
• A, ki taku whakaaro, ka mahia nga huinga mo nga geeks. He mahinga lambda enei me etahi atu.

Ehara tenei i te mea mo nga kupu. He mahinga tino kaha tenei e taea ai e koe te mahi maha nga mea tino ngawari me te huatau.

Ko nga tauira angamaheni e awhina ana ki te whakaoti rapanga. He maamaa enei tauira me te tino marama:

• Rapua ma nga tohu. Mena kei a koe nga hashtags kei reira ka hiahia koe ki te rapu i etahi pou ma te hashtag.
• Rapua ma nga takirua matua-uara. Arā ano etahi huanga me te tikanga.
• Pupuri rarangi o nga taviri me whakamaori koe ki tetahi atu mea.

Ko enei raruraru katoa ka taea te whakaoti me te kore he raupapa. Ka taea te whakanoho i nga tohu ki etahi rarangi ka kowhiria ma te whakamahi i te korero auau, ki tetahi ripanga motuhake ranei, engari me hono koe.

Engari i roto i te ClickHouse kaore koe e hiahia ki te mahi i tetahi mea, whakaahua noa i te raupapa aho mo nga hashtags ranei te hanga i tetahi hanganga kohanga mo nga punaha uara-matua.

Ko te hanganga kohanga ehara pea i te ingoa pai. E rua enei huinga he waahanga noa o te ingoa me etahi ahuatanga e pa ana.

A he tino ngawari ki te rapu ma te tohu. He mahi has, e taki ana he huānga kei te huānga. Katoa, i kitea e matou nga tuhinga katoa e pa ana ki ta matou huihuinga.

He uaua ake te rapu ma te subid. Me rapu tuatahi tatou i te taupū o te kī, katahi ka tango i te huānga me tenei taupū ka tirohia ko tenei uara te mea e hiahiatia ana e tatou. Engari ahakoa he tino ngawari me te ngawari.

Ko te korero e hiahia ana koe ki te tuhi, ki te penapena katoa koe ki te rarangi kotahi, ko te tuatahi, he hauwarea. A, tuarua, he roa ake te mahi i nga rarangi e rua.

Ko tetahi atu tauira. He huinga kei roto koe e penapena ai i nga ID. A ka taea e koe te whakamaori ki nga ingoa. Mahi arrayMap. He mahinga lambda angamaheni tenei. Ka tukuna e koe nga korero lambda ki reira. Ka tangohia e ia te uara ingoa mo ia ID mai i te papakupu.

Ka taea e koe te rapu i te huarahi ano. Ka tukuna he mahi tohu, ka tirohia he aha nga huānga e taurite ana.

Ko enei mea he tino ngawari te ara iahiko me te whakaoti rapanga.

Engari ko te raru e whai ake nei i pa mai ki a maatau me taku korero ko nga patai pai.

• Karekau he mahere uiui a ClickHouse. Kare rawa.
• Engari ahakoa, me whakarite tonu nga patai uaua. He aha nga ahuatanga?
• Mena he maha nga hononga o te tono, ka takai koe ki nga waahanga iti. A he mea nui te raupapa o nga mahi.
• A tuarua, mehemea ka tohatohahia te tono. Na te mea i roto i te uiui toha, ko te kowhiringa o roto anake ka mahia i runga i te tikanga toha, ka tukuna nga mea katoa ki te tūmau kotahi i honoa e koe ka mahia ki reira. No reira, mena kua tohatoha koe i nga patai me te maha o nga whakaurunga, me whiriwhiri koe i tetahi ota.

A ahakoa i roto i nga keehi ngawari ake, i etahi wa ka hiahia koe ki te mahi i nga mahi a te kaihoroi me te tuhi ano i nga patai.

Anei he tauira. Kei te taha maui he patai e whakaatu ana i nga whenua e 5 o runga. Na ka rere i roto i te 2,5 hēkona, ki taku whakaaro. A kei te taha matau ko te tono ano, engari he paku tuhi ano. Engari i te whakarōpū ma te aho, i timata matou ki te whakarōpū ma te matua (int). A he tere ake. Na ka honoa he papakupu ki te hua. Engari i te 2,5 hēkona, ka roa te tono kia 1,5 hēkona. He pai tenei.

He tauira rite ki te tuhi ano i nga whiriwhiringa. Anei he tono mo Ruhia. Ka rere mo te 5 hēkona. Mena ka tuhia ano e tatou kia kore e whakatauritehia he aho, engari he nama me etahi huinga o aua taviri e pa ana ki a Ruhia, katahi ka tere ake.

He maha nga tinihanga penei. A ka taea e koe te tere ake i nga patai e whakaaro ana koe kei te tere haere, he rereke ranei, kei te tere haere. Ka taea te tere ake.

• Mahi morahi i roto i te aratau tohatoha.
• Te kōmaka mā ngā momo iti, pēnei i tāku i mahia mā te ints.
• Mena he hononga, he papakupu ranei, he pai ake te mahi mo te mutunga, ina kua whakarōpūhia e koe nga raraunga, katahi ka kiia te mahi hono me te waea papakupu he iti ake nga wa ka tere ake.
• Te whakakapi i nga whiriwhiringa.

He tikanga ano, ehara i te mea ko nga mea i whakaatuhia e au. A ko enei katoa i etahi wa ka taea e koe te tere ake i te mahi o nga patai.

Me haere tatou ki te tauira e whai ake nei. Kamupene X mai i te USA. He aha tana mahi?

He mahi:

• Te hono tuimotu o nga whakawhitinga panui.
• Te whaihanga o nga tauira here rereke.

He aha te ahuatanga?

Ka toro atu tetahi manuhiri noa ki te waahi, hei tauira, 20 nga wa ia marama mai i nga panui rereke, i etahi wa ka tae noa mai kaore he panui, na te mea ka maumahara ia ki tenei waahi. Ka titiro ki etahi hua, ka kuhu ki roto i te kete, ka tangohia mai i te kete. Na, i te mutunga, ka hokona e ia tetahi mea.

Nga patai whaitake: "Ko wai hei utu mo nga panui, mena e tika ana?" me "He aha nga panui, mena he mea, i whakaawe i a ia?" Arā, he aha ia i hoko ai, me pehea hoki te whakarite kia hoko mai ano nga tangata e rite ana ki tenei tangata?

Hei whakatau i tenei raru, me hono koe i nga huihuinga e puta ana i runga i te paetukutuku i runga i te huarahi tika, ara, te hanga hononga ki waenga i a raatau. Katahi ka whakawhitia mo te tātaritanga ki te DWH. A i runga i tenei tātaritanga, hanga tauira mo wai hei whakaatu he aha nga panui.

Ko te tauwhitinga panui he huinga o nga huihuinga kaiwhakamahi e pa ana ka timata me te whakaatu i tetahi panui, katahi ka tupu tetahi mea, katahi ano ka hoko mai, katahi ano ka hoko mai i roto i te hokonga. Hei tauira, mena he tono pūkoro tenei, he keemu pukoro ranei, ko te tikanga he kore utu te whakauru i te tono, engari mena he mahi kee kei reira, katahi ka hiahia moni. A, ka nui ake te whakapau moni a te tangata ki te taupānga, ka nui ake te utu. Engari mo tenei me hono koe i nga mea katoa.

He maha nga tauira here.

Ko nga mea tino rongonui ko:

• Whakawhitiwhitinga Whakamutunga, ko te taunekeneke he panui, he tohu ranei.
• Whakawhitiwhiti Tuatahi, ara ko te mea tuatahi i kawe mai te tangata ki te pae.
• Pahekotanga raina - he wahanga rite mo te katoa.
• Te whakaheke.
• A pera tonu.

A i pehea te mahi katoa i te timatanga? Ko Runtime me Cassandra. I whakamahia a Cassandra hei rokiroki tauwhitinga, ara ko nga whakawhitinga katoa e pa ana ki roto. A, ka puta etahi huihuinga i Runtime, hei tauira, te whakaaturanga o tetahi whaarangi, tetahi atu mea ranei, ka tukuna he tono ki a Cassandra ahakoa he tangata pera, kaore ranei. Na ka riro mai nga whakawhitinga e pa ana ki a ia. Na ka oti te here.

A, ki te waimarie koe kei roto i te tono he id tauwhitinga, he ngawari tenei. Engari ko te nuinga karekau he waimarie. Na reira, he mea tika ki te kimi i te tauwhitinga whakamutunga, te tauwhitinga ranei me te paatene whakamutunga, etc.

A i pai katoa te mahi tae noa ki te hononga ki te paato whakamutunga. Na te mea, penei, 10 miriona pao i ia ra, 300 miriona ia marama, mena ka whakaturia e koe he matapihi mo te marama. A, i te mea i Cassandra me maumahara katoa kia tere te mahi, na te mea e hiahiatia ana te Runtime kia tere te whakautu, tata ki te 10-15 nga kaitoro i hiahiatia.

A, i te wa e hiahia ana ratou ki te hono i tetahi tauwhitinga ki te whakaaturanga, kaore i tino ngahau. He aha hoki? Ka kitea e 30 nga wa ka nui ake nga huihuinga me penapena. Na, na reira, me 30 nga wa ka nui ake nga kaitoro. A ka puta mai he ahua o te ahua wheturangi tenei. Ko te pupuri ki te 500 nga tūmau hei hono, ahakoa he iti ake nga kaitoro i Runtime, he ahua he te ahua. Na ka timata ratou ki te whakaaro me aha.

Na ka haere matou ki ClickHouse. Me pehea te mahi i tenei ki ClickHouse? I te tuatahi o te titiro, ko te ahua nei he huinga antipatterns tenei.

• Kei te tipu haere te tauwhitinga, kei te taapirihia e matou he maha atu o nga huihuinga ki a ia, ara, he rereke, kaore e tino pai te mahi a ClickHouse me nga mea rereke.
• Ka tae mai tetahi manuhiri ki a matou, me tiki e matou ana hokohoko ma te matua, ma tana id toronga. He patai tohu ano tenei; Kaore a ClickHouse e mahi. I te nuinga o te wa he nui nga… karapahia a ClickHouse, engari i konei me tiki etahi rekoata. He antitauira hoki.
• I tua atu, ko te tauwhitinga i roto i te json, engari kaore i hiahia ki te tuhi ano, no reira i hiahia ratou ki te rokiroki i te json kaore i hangaia, a, ki te tika, toia tetahi mea mai i taua mea. A ko tenei hoki he tauira antipattern.

Arā, he huinga antipatterns.

Engari ahakoa, i kaha taatau ki te hanga i tetahi punaha e tino pai ana te mahi.

He aha te mahi? I puta mai a ClickHouse, i makahia nga rakau, kua wehea ki nga rekoata. I puta mai he ratonga e tohuhia ana i whiwhi i nga raarangi mai i ClickHouse. Whai muri i tera, mo ia urunga ma te id toronga, ka whiwhi au i nga tauwhitinga kaore ano kia whakahaerea me te taapiri i nga whakaahua, ara ko nga whakawhitinga kua honoa, ara ko te hua o nga mahi o mua. Kua hanga e au te arorau mai i a raatau, kua tohua te tauwhitinga tika, me te hono i nga kaupapa hou. I takiuru ano. I hoki te pororakau ki ClickHouse, ara, he punaha huri noa. I tua atu, i haere ahau ki DWH ki te tātari i reira.

Kaore i tino pai te mahi i tenei ahua. A, kia ngawari ake mo ClickHouse, i te wa i tonohia he id haerenga, ka whakarōpūhia enei tono ki roto i nga poraka o te 1-000 id haerenga ka unuhia nga whakawhitinga katoa mo te 2-000 tangata. Na ka mahi katoa.

Mena ka titiro koe ki roto ClickHouse, e toru noa nga tepu matua e mahi ana i enei mea katoa.

Ko te ripanga tuatahi ka utaina nga raarangi, ka tukuna nga raarangi kaore he tukatuka.

Tepu tuarua. Na roto i te tirohanga whakakitenga, i tangohia mai nga kaupapa kaore ano kia kiia, ara, kaore he hononga, mai i enei raarangi. A, na roto i te tirohanga hangai, i unuhia nga tauwhitinga mai i enei rakau hei hanga pikitia. Arā, i hangaia he whakaahua me te tirohanga whakakitenga motuhake, ara, ko te ahua whakamutunga o te tauwhitinga.

I konei ka tuhia te tuhinga ki te SQL. E hiahia ana ahau ki te korero mo etahi mea nui kei roto.

Ko te mea nui tuatahi ko te kaha ki ClickHouse ki te tango i nga pou me nga mara mai i te json. Koinei, kei a ClickHouse etahi tikanga mo te mahi tahi me json. He tino taketake ratou.

visitParamExtractInt ka taea e koe te tango i nga huanga mai i te json, ara ko te pa tuatahi ka puta. Na tenei ka taea e koe te tango i te id tauwhitinga, i te toro id ranei. Tenei wa.

Tuarua, ka whakamahia he mara whakaraerae i konei. He aha te tikanga? Ko te tikanga kaore e taea e koe te whakauru ki roto i te ripanga, ara, kaore i whakauruhia, ka tatauhia, ka penapenahia ina whakauruhia. Ka whakauru koe, ka mahi a ClickHouse mo koe. Na ko nga mea e hiahiatia ana e koe i muri mai ka tangohia mai i te json.

I tenei keehi, ko te tirohanga hanga mo nga aho mata. A ko te teepu tuatahi me nga rakau tata ka whakamahia. A he aha tana mahi? Ko te tuatahi, ka huri i te waahanga, ara, kua mahia inaianei ma te id toronga, na te mea me tere te tango i tana tauwhitinga mo te tangata motuhake.

Ko te mea nui tuarua ko te index_granularity. Mena kua kite koe i a MergeTree, ko te uara taunoa ko te 8 index_granularity. He aha tena? Koinei te tawhā mokowhiti taupū. I roto i te ClickHouse, he iti noa te taurangi; kaore e tohuhia nga rekoata katoa. Ka mahia tenei i ia 192. A he pai tenei ina hiahia koe ki te tatau i te maha o nga raraunga, engari he kino ka hiahia koe ki te tatau i te iti, no te mea he nui te utu. A, ki te whakaitihia e tatou te rahi o te taurangi, katahi ka whakahekehia te runga. Kaore e taea e koe te whakaiti ki te kotahi, na te mea kaore pea i te nui te mahara. Kei te rongoa tonu te taupū ki te mahara.

A ka whakamahia e te whakaahua etahi atu mahinga ClickHouse.

Tuatahi ko AggregatingMergeTree. Na AggregatingMergeTree toa argMax, ara, koinei te ahua tauwhitinga e rite ana ki te tohu waahi whakamutunga. Ko nga whakawhitinga hou ka hangaia i nga wa katoa mo tenei manuhiri. A i roto i te ahua whakamutunga o tenei tauwhitinga, i taapirihia e matou he huihuinga, a he ahua hou ta matou. I pa ano ki a ClickHouse. A na roto i te argMax i roto i tenei tirohanga whai kiko ka taea e taatau te tiki i nga ahuatanga o naianei.

• "Karekau" te here mai i te Runtime.
• Tae atu ki te 3 piriona nga whakawhitinga mo ia marama ka rongoa me te tukatuka. He raupapa o te rahinga nui ake tenei i a Cassandra, ara, i roto i te punaha tauwhitinga angamaheni.
• Huihuinga o nga tūmau ClickHouse 2x5. 5 nga tūmau me ia tūmau he tauira. He iti ake tenei i tera i Cassandra kia taea ai e koe te paato i runga i nga tohu, engari kei konei kei a maatau nga whakaaro. Arā, hei utu mo te whakanui ake i te maha o nga kaitoro ma te 30 nga wa, kua heke iho.

Ko te tauira whakamutunga ko te kamupene putea Y, nana i tātari nga hononga o nga huringa o nga utu kararehe.

Na ko te mahi tenei:

• Tata ki te 5 nga hea.
• Ko nga korero mo ia 100 manomano e mohiotia ana.
• Kua whakaemihia nga raraunga mo te 10 tau. Ko te ahua, mo etahi kamupene he nui ake, mo etahi he iti ake.
• Tata ki te 100 piriona rarangi katoa.

A he mea tika ki te tatau i te hononga o nga huringa.

Anei nga putea e rua me o raatau korero. Mena ka piki tetahi, ka piki tetahi, he pai tenei hononga, ara, ka piki tetahi, ka piki tetahi. Ki te piki ake tetahi, penei i te mutunga o te kauwhata, ka heke iho tetahi, he hononga kino tenei, ara, ka piki tetahi, ka heke tetahi.

Ma te tātari i enei huringa tahi, ka taea e tetahi te hanga matapae i te maakete putea.

Engari he uaua te mahi. He aha te mahi mo tenei? Kei a matou 100 piriona rekoata kei roto: te wa, te rakau me te utu. Me tatau tuatahi kia 100 piriona taima te rere ketanga mai i te algorithm utu. Ko te RunningDifference he mahi i ClickHouse e tatau ana i te rereketanga i waenga i nga raina e rua.

A, i muri i tera me tatau i te hononga, me tatau te hononga mo ia takirua. Mo te 5 hea, ko nga takirua he 000 miriona. A he nui tenei, ara, 12,5 nga wa e hiahia ana koe ki te tatau i tenei mahi honohono.

A ki te wareware tetahi, he hoa tata a ͞x me ͞y. tauira tumanako. Arā, kaua e tātai noa i ngā pūtake me ngā tapeke, engari me etahi atu moni kei roto i enei moni. He nui me te maha o nga tatauranga me mahi 12,5 miriona nga wa, me whakarōpūhia hoki ma te haora. A he maha hoki o matou haora. A me mahi koe i roto i te 60 hēkona. He katakata.

Me mahi maatau, na te mea i mahi katoa, tino puhoi i mua i te taenga mai o ClickHouse.

I ngana ratou ki te tatau i tenei i runga i Hadoop, i Spark, i Greenplum. Na ko enei mea katoa he tino puhoi, he utu nui ranei. Arā, ka taea te tātai, engari he utu nui.

Na ka tae mai a ClickHouse ka pai ake nga mea katoa.

Me whakamaumahara ahau ki a koe he raru to taatau ki te waahi raraunga, na reira kaore e taea te whakarite i nga hononga. Kaore e taea e taatau te taapiri i etahi raraunga ki tetahi tūmau, etahi ki tetahi atu ka tatau; me whai raraunga katoa ki nga waahi katoa.

I aha ratou? I te timatanga, ko nga raraunga ka tohua. Kei ia tūmau nga raraunga utu mo tetahi huinga hea. A karekau e whiti. Na reira, ka taea te tatau i te logReturn i roto i te whakarara me te motuhake; ka puta enei mea katoa i roto i te whakarara me te tohatoha.

Na ka whakatau matou ki te whakaiti i enei raraunga me te kore e ngaro te whakapuaki. Whakaitihia te whakamahi i nga raupapa, ara, mo ia wa, hanga he huinga rakau me te huinga utu. No reira ka iti ake te waahi raraunga. A he pai ake te mahi ki a raatau. He tata whakarara enei mahi, ara, ka tatau tatou i tetahi wahanga whakarara ka tuhi ki te tūmau.

Ka taea te tukurua tenei. Ko te reta "r" ko te tikanga i tukuna e matou enei raraunga. Arā, he ōrite ō mātou raraunga i runga i ngā tūmau e toru - koinei ngā rārangi.

Na, ma te whakamahi i tetahi tuhinga motuhake, ka taea e koe te hanga kete mai i tenei huinga 12,5 miriona nga hononga e tika ana kia tatau. Arā, 2 ngā mahi me te 500 takirua o ngā hononga. A me tatau tenei mahi i runga i te tūmau ClickHouse motuhake. Kei a ia nga raraunga katoa na te mea he rite nga raraunga ka taea e ia te tatau i te raupapa.

Anei ano te ahua. Tuatahi, kei a matou nga raraunga katoa i roto i te hanganga e whai ake nei: te wa, nga hea, te utu. Na ka tatauhia e matou te logReturn, ara ko nga raraunga o te hanganga kotahi, engari ko te utu kei a matou te logReturn. Katahi ka mahia ano, ara, ka whai wa me te roopuArray na nga whakatairanga me nga rarangi utu. Whakahokia. A, i muri i tera, he maha nga mahi i mahia e ratou ka whangaia ki ClickHouse kia tatau ai. A ka mahi.

I te tohu o te ariā, he mahi iti te mahi, ara he iti ake nga raraunga i tangohia e ratou. A i runga i nga kaitoro e toru anake.

Ko enei waahanga tuatahi e rua: ko te tatau i te Log_return me te takai ki roto i nga rarangi ka pau te haora kotahi.

Ka tata ki te 50 haora te tatau i te hononga. Engari kaore e ranea nga haora 50, na te mea i mua i mahi mo ratou mo nga wiki. He angitu nui. A, ki te tatau koe, ka tatauhia nga mea katoa 70 nga wa ia hekona i runga i tenei roopu.

Engari ko te mea nui ko tenei punaha karekau he pounamu, ara, ka tata ki te raina. Na ka tirohia e ratou. I pai te tauine.

• Ko te kaupapa tika ko te haurua o te angitu. A ko te kaupapa tika ko te whakamahi i nga hangarau ClickHouse katoa e tika ana.
• Ko te Summing/AggregatingMergeTrees he hangarau e taea ai e koe te whakahiato, te tatau ranei i tetahi whakaahua ahua hei take motuhake. Na tenei ka tino ngawari te maha o nga mea.
• Ko nga Tirohanga Rawa ka taea e koe te huri i te herenga taupū kotahi. Kaore pea au i tino marama te korero, engari i te wa i utaina ai e matou nga poro, ko nga poroporo mata i roto i te teepu kotahi te taurangi, a, i runga i te huanga ko nga raarangi kei roto i te ripanga, ara ko nga raraunga kotahi, kua tātarihia anake, engari ko te taurangi ko tino ki etahi atu. Ko te ahua he rite nga raraunga, engari he rereke te tohatoha. A ko nga Tirohanga Rawa ka taea e koe, ki te hiahia koe, ki te karo i tenei herenga ClickHouse.
• Whakaitihia te tohu tohu mo nga patai tohu.
• A ka tohatoha raraunga marie, ngana ki te waahi i nga raraunga i roto i te tūmau i te mea ka taea. A ka ngana ki te whakarite kia whakamahia ano e nga tono nga waahi ka taea.

Hei whakapoto i tenei korero poto, ka taea e tatou te kii kua noho kaha a ClickHouse ki te rohe o nga papaaarangi arumoni me nga papaaarangi puna tuwhera, ara mo te tātari. He tino pai ia ki tenei whenua. He aha atu, kei te tiimata haere tonu te huri i etahi atu, na te mea kei reira a ClickHouse, kaore koe e hiahia ki te InfiniDB. Kare pea e hiahiatia te poutū mena ka tautokohia e raatau te tautoko SQL. Whakamahia!

-Nga mihi mo te ripoata! Tino whakamere! He whakataurite ki a Apache Phoenix?

-Kao, kaore au i rongo i tetahi e whakataurite ana. Ka ngana matou me Yandex ki te whai i nga whakataurite katoa o ClickHouse me nga papaa raraunga rereke. Na te mea ka puta ohorere mai tetahi mea he tere ake i a ClickHouse, katahi ka kore e moe a Lesha Milovidov i te po ka timata te tere tere. Kare ano au i rongo mo te whakataurite penei.

• (Alexey Milovidov) Ko Apache Phoenix he miihini SQL e pa ana ki te Hbase. Ko te Hbase te nuinga i hangaia mo te ahuatanga mahi momo uara-matua. I reira, ka taea e ia raina te maha o nga pou me nga ingoa noa. Ka taea te korero mo nga punaha penei i te Hbase me Cassandra. A ko nga patai wetewete taumaha kaore e pai te mahi ma ratou. Ka whakaaro pea koe he pai te mahi mena kaore koe i whai wheako ki a ClickHouse.

• Tuhinga

  • Kia pai te ahiahi Kei te tino aro nui ahau ki tenei kaupapa, na te mea he puunaha-a-tatari taku. Engari ka titiro ahau ki a ClickHouse, ka mohio ahau he tino pai a ClickHouse mo te tātari kaupapa, he rereke. A, ki te hiahia ahau ki te wetewete i te maha o nga raraunga pakihi me te paihere o nga tepu nui, na ClickHouse, ki taku mohio, kaore e tino pai mo au? Ina koa ka huri. He tika tenei, he tauira ranei ka taea te whakahē i tenei?

  • He tika tenei. A he pono tenei mo te nuinga o nga paataka tātaritanga motuhake. He mea whakarite kia kotahi, he maha ranei nga teepu nui e rerekee ana, he maha nga papa iti ka puhoi haere. Koinei, kaore a ClickHouse e rite ki a Oracle, ka taea e koe te whakatakoto i nga mea katoa me te hanga i etahi patai tino uaua. Kia pai ai te whakamahi ClickHouse, me hanga e koe te kaupapa kia pai te mahi i roto i te ClickHouse. Arā, karohia te nui o te whakatikatika, whakamahi papakupu, ngana kia iti ake nga hononga roa. A, ki te hangaia te kaupapa i tenei huarahi, ka taea te whakatau i nga raruraru pakihi rite i runga i te ClickHouse he nui ake te pai atu i runga i te paataka hononga tawhito.

Nga mihi mo te ripoata! He patai taku mo te keehi putea hou. He tātaritanga ta ratou. He mea tika kia whakatairitehia te piki me te heke. A kei te mohio ahau nau i hanga te punaha mo tenei tātaritanga? Mena apopo, me kii atu, kei te hiahia ratou ki etahi atu ripoata mo enei raraunga, me hanga ano te hoahoa me te uta i nga raraunga? Arā, te mahi i etahi momo tukatuka o mua ki te whiwhi i te tono?

Ko te tikanga, kei te whakamahi tenei i te ClickHouse mo tetahi mahi tino motuhake. Ka taea te whakatau i roto i te Hadoop. Mo Hadoop he mahi pai tenei. Engari i runga i te Hadoop he tino puhoi. Ko taku whainga ko te whakaatu ka taea e ClickHouse te whakaoti rapanga e whakatauhia ana ma nga huarahi rereke, engari i te wa ano ka pai ake te mahi. He mea whakarite tenei mo tetahi mahi motuhake. E marama ana mena he raruraru he ahua rite, katahi ka taea te whakaoti i te huarahi rite.

Kua marama. I kii koe 50 haora te roa o te mahi. Kei te timata mai i te timatanga, i te wa i utaina ai e koe nga raraunga, i whiwhi ranei i nga hua?

Ae Ae.

OK ka nui te mihi.

Kei runga tenei i te kahui tūmau 3.

Tena koe! Nga mihi mo te ripoata! He tino pai nga mea katoa. Kaore au i te patai iti mo te mahi, engari mo te whakamahi i te ClickHouse mai i te tirohanga o te pumau. Arā, he raru kei a koe, me whakahoki ano e koe? He pehea te mahi a ClickHouse? A, kua tukitukia ano to tauira? Hei tauira, i raru matou ki a ClickHouse i te wa i haere tonu ki tua atu o tona rohe ka hinga.

Ko te tikanga, kaore he punaha pai. A kei a ClickHouse ano ona raru. Engari kua rongo koe mo Yandex.Metrica kaore e mahi mo te wa roa? Kaore pea. Kua mahi pono mai i te tau 2012-2013 i runga i te ClickHouse. Ka taea ano e au te korero mo taku wheako. Kare ano matou i tino rahua. Ko etahi o nga mea ka pa mai, engari kaore rawa i tino whakaraerae kia tino pa ki te pakihi. Kare ano tenei i puta i mua. He tino pono a ClickHouse kaore e pakaru ohorere. E kore koe e manukanuka ki reira. Ehara i te mea noa. Kua whakamatauhia tenei e te maha o nga kamupene.

Kia ora! I kii koe me ata whakaaro tonu koe mo te aronuinga raraunga. He aha mehemea ka tupu tenei? Kei te pupuhi aku raraunga ki roto, ki waho. E ono nga marama ka pahemo, ka mohio ahau kaore e taea e au te noho penei, me tuku ano e au nga raraunga me te mahi i tetahi mea.

Ko te tikanga, ka whakawhirinaki tenei ki to punaha. He maha nga huarahi ki te mahi i tenei tata kore-mutu. Hei tauira, ka taea e koe te hanga i tetahi Tirohanga Rawa ka taea e koe te hanga i tetahi hanganga raraunga rereke mena ka taea te mapi motuhake. Arā, mena ka whakaaetia te mapi ma te whakamahi i te ClickHouse, ara te tango i etahi mea, te huri i te matua matua, te whakarereke i te wehewehenga, katahi ka taea e koe te hanga Tirohanga Materialized. I reira ka tuhia ano o raraunga tawhito, ka tuhia aunoa nga mea hou. Na ka huri noa ki te whakamahi i te Materialized View, ka huri i te rekoata me te patu i te ripanga tawhito. Ko te tikanga kore-mutu tenei.

Mauruuru.

Source: will.com