I te Paenga-whāwhā, i hui nga miihini Avito mo nga hui ipurangi me te kaiwhakawhanake ClickHouse matua Alexey Milovidov me Kirill Shvakov, he kaiwhakawhanake Golang mai i Integros. I korero matou me pehea te whakamahi i te punaha whakahaere papaa raraunga me nga uaua ka pa ki a matou.
I runga i te hui, kua whakahiatohia e matou he tuhinga me nga whakautu a nga tohunga ki a maatau me nga patai a te hunga whakarongo mo nga taapiri, te whakahou raraunga, nga papakupu o waho, te taraiwa Golang me te whakahou i nga putanga ClickHouse. Ka whai hua pea ki nga kaiwhakawhanake kua kaha ki te mahi tahi me te Yandex DBMS me te hiahia ki tona wa me te heke mai. Ma te taunoa, na Alexey Milovidov nga whakautu, mena kaore i tuhia.
Kia tupato, he maha nga tuhinga kei raro i te tapahi. Ko te tumanako ka awhina nga korero me nga patai ki a koe ki te whakatere.
Tuhinga
Mena kaore koe e hiahia ki te panui i te tuhinga, ka taea e koe te maataki i te rekoata o nga huihuinga . Ko nga Waehere Waehere kei te korero tuatahi i raro i te ataata.
Ko te ClickHouse kei te whakahou tonu, engari kaore o maatau raraunga. Me aha?
Ko te ClickHouse kei te whakahou tonu, a ko o maatau raraunga, i whakatikahia i te tukatuka whakamutunga, kaore i te whakahouhia, kei roto i te kape taapiri.
Me kii he raru to maatau ka ngaro nga raraunga. I whakatau matou ki te whakahoki mai, a ka puta ko nga waahanga tawhito, kei te rongoa i runga i nga kaiwhakarato taapiri, he rereke ke atu i te putanga o ClickHouse kua whakamahia inaianei. He aha te mahi i tenei ahuatanga, a ka taea?
Ko te ahuatanga i whakahokia mai e koe nga raraunga mai i te taapiri i roto i te whakatakotoranga tawhito, engari kaore e hono ki te putanga hou, kaore e taea. Ka whakarite matou ka noho whakamuri tonu te whakatakotoranga raraunga i ClickHouse. He mea nui ake tenei i te hototahi whakamuri i roto i te taumahinga mena kua rereke te whanonga o etahi mahi onge. Ko te putanga hou o ClickHouse me kaha ki te panui i nga raraunga kei te rongoa i runga i te kōpae. Ko te ture tenei.
He aha nga mahi pai o naianei mo te tautoko i nga raraunga mai i ClickHouse?
Me pehea te hanga taapiri, me te whakaaro kua arotauhia e matou nga mahi whakamutunga, he papaaapapa nui o nga terabytes, me nga raraunga kua whakahoutia, hei kii, mo nga ra e toru kua hipa, katahi ka kore he tikanga e pa ana?
Ka taea e tatou te hanga i ta tatou ake otinga me te tuhi ki runga i te bash: kohia enei kape taapiri i roto i te huarahi penei. Kaore pea he take ki te toki i tetahi mea, a, no mua noa atu te whakaaro o te pahikara?
Me timata ki nga mahi pai. Ka tohutohu tonu aku hoa mahi, hei whakautu i nga patai mo nga taapiri, hei whakamahara ki a ratou mo te ratonga Yandex.Cloud, kua oti kee tenei raru. No reira whakamahia mena ka taea.
Kaore he otinga oti mo nga taapiri, kotahi rau ōrau i hangaia ki ClickHouse. Anei etahi waahi ka taea te whakamahi. Ki te whiwhi i te otinga oti, ka hiahia koe ki te mahi iti a-ringa, ki te hanga takai ki te ahua o nga tuhinga.
Ka timata ahau me nga otinga tino ngawari ka mutu ki nga mea tino maamaa, i runga i te nui o nga raraunga me te rahi o te kohinga. Ka nui ake te kapoi, ka uaua ake te otinga.
Mena he iti noa nga gigabytes o te ripanga me nga raraunga, ka taea te mahi taapiri penei:
- Tiakina te whakamārama ripanga arā, metadata − whakaatu tepu hanga.
- Hangaia he putunga ma te whakamahi i te kiritaki ClickHouse - tīpako * mai tepu ki te konae. Ma te taunoa ka whiwhi koe i tetahi konae kei te whakatakotoranga TabSeparated. Mena kei te pirangi koe kia pai ake, ka taea e koe ki te whakatakotoranga Maori.
Mena he nui ake te nui o nga raraunga, ka nui ake te wa me te waahi o te taapiri. Ka kiia tenei he taapiri arorau; kaore i te herea ki te whakatakotoranga raraunga ClickHouse. Mena ko te mea, ka taea e koe te tango i te taapiri me te tuku atu ki a MySQL mo te whakaora.
Mo nga keehi tino matatau ake, kei a ClickHouse te kaha ki te hanga whakaahua o nga wehewehenga i roto i te punaha konae a rohe. Kei te waatea tenei waahanga hei tono huri i te wahanga whakatio tepu. He ngawari noa ranei whakarereke te tio tepu - he whakaahua tenei o te ripanga katoa.
Ka hanga rite tonu te whakaahua mo te teepu kotahi i runga i te kongakonga kotahi, ara, kaore e taea te hanga he whakaahua riterite o te kahui katoa penei. Engari mo te nuinga o nga mahi kaore he hiahia pera, a he nui noa ki te whakatutuki i tetahi tono ki ia maramara me te tiki i te whakaahuatanga rite. He mea hanga i te ahua o nga hononga pakeke, na reira kaore e nui ake te waahi. Whai muri, ka kape koe i tenei whakaahua ki te tūmau taapiri, ki te rokiroki ranei e whakamahia ana e koe mo nga taapiri.
He tino ngawari te whakaora i taua taapiri. Tuatahi, hanga ripanga ma te whakamahi i nga whakamaramatanga ripanga o naianei. Panuku, tāruahia nga whakaahua kua tiakina o nga wehewehenga ki te Whaiaronga-Wetea mo enei ripanga ka whakahaere i te patai. whakapiri wehewehenga. He tino pai tenei otinga mo nga pukapuka tino nui o nga raraunga.
I etahi wa ka hiahia koe ki tetahi mea pai ake - i nga keehi he tekau, he rau terabytes ranei kei runga i ia tūmau me nga rau o nga tūmau. He otinga kei konei i tangohia e au mai i aku hoa mahi mai i Yandex.Metrica. Kare au e tūtohu ki te katoa - panuihia ka whakatau maau ake mena he pai, kaore ranei.
Tuatahi me hanga e koe etahi tūmau me nga whata kōpae nui. I muri mai, i runga i enei tuunga, whakaarahia etahi tūmau ClickHouse me te whirihora i a raatau kia mahi hei tauira ano mo nga maru kotahi. Na ka whakamahi i tetahi punaha konae, etahi taputapu ranei i runga i enei tuunga ka taea e koe te hanga pikitia. E rua nga whiringa i konei. Ko te waahanga tuatahi ko nga whakaahua LVM, ko te waahanga tuarua ko ZFS i runga i te Linux.
I muri i tera, i nga ra katoa ka hiahia koe ki te hanga pikitia, ka takoto, ka tango i etahi waahi. Ko te tikanga, ki te rereke nga raraunga, ka piki ake te nui o te waahi mo te wa. Ka taea te tango i tenei whakaahua i nga wa katoa ka whakahokia mai nga raraunga, he otinga rereke. I tua atu, me whakawhäitihia enei tauira i roto i te whirihora kia kore ai e ngana ki te noho rangatira.
Ka taea pea te whakarite i te takamuri o nga tauira i roto i nga rakau?
I tenei tau kei te whakamahere koe ki te hanga rakau i ClickHouse. Ka taea pea te whakarite i te remu o nga tauira i roto i a raatau? Kei te pirangi matou ki te whakamahi hei tiaki i a matou mai i nga ahuatanga kino me nga huringa me etahi atu huringa.
Ka taea ranei te mahi i etahi momo huri whakamuri mo nga whakarereke? Hei tauira, i roto i te rakau o mua, tangohia me te kii tae noa ki tenei wa ka tono koe i nga huringa, a mai i tenei wa ka mutu te tono i nga huringa?
Mena ka tae mai he whakahau ki ta tatou kahui ka pakaru, katahi ka whai tauira herenga me te takamuri o te haora, ka taea e tatou te kii me whakamahi tatou i tenei wa, engari kaore tatou e whakarereketia mo nga meneti tekau kua hipa?
Tuatahi, e pā ana ki te takamuri whakahaere o nga tauira. He penei te tono mai i nga kaiwhakamahi, a i hanga e matou he take ki a Github me te tono: "Ki te hiahia tetahi ki tenei, penei, hoatu he ngakau." Kaore he tangata i tuku, ka kati te take. Heoi, ka taea e koe te whai waahi ma te whakatu i a ClickHouse. Tika, ka timata mai i te putanga 20.3.
Ka mahi tonu a ClickHouse i te hanumi raraunga i muri. Ina oti te hanumi, ka whakakapia etahi huinga raraunga ki tetahi waahanga nui ake. I te wa ano, ka noho tonu nga waahanga o nga raraunga i mua i te kōpae mo etahi wa.
Tuatahi, kei te rongoa tonu i te mea he patai whiriwhiri e whakamahi ana, kia taea ai te mahi aukati-kore. He ngawari te panui i nga patai mai i nga waahanga tawhito.
Tuarua, he paepae wa ano - ko nga waahanga raraunga tawhito kei runga i te kōpae mo te waru meneti. Ko enei meneti e waru ka taea te whakarite me te huri hei ra kotahi. Ka utu tenei mokowā kōpae: i runga i te rere o te raraunga, ka puta ko te ra whakamutunga ka kore e ruarua noa nga raraunga, ka piki ake pea e rima nga wa. Engari ki te mea he raruraru nui, ka taea e koe te whakamutu i te tūmau ClickHouse me te whakariterite i nga mea katoa.
Inaianei ka puta ake te patai me pehea te tiaki i nga huringa. He pai ki te titiro hohonu ki konei, na te mea i roto i nga putanga tawhito o ClickHouse, i mahi te whakarereketanga kia huri tika nga waahanga. He waahanga raraunga me etahi konae, ka mahia e matou, hei tauira, huri i te pou takahanga. Katahi ka tangohia tinanatia tenei pou mai i nga wahanga katoa.
Engari ka timata mai i te putanga 20.3, kua tino whakarereketia te tikanga whakarereke, inaianei ko nga waahanga o nga raraunga kaore e taea te whakarereke. Kare rawa e huri - he rite tonu te mahi a nga huringa ki te hanumi. Engari i te whakakapi i tetahi waahanga i runga i te waahi, ka hangaia he mea hou. I roto i te kohanga hou, ko nga konae kaore ano kia huri ka noho hei hononga pakeke, a, ki te mukua tetahi pou, ka ngaro noa i roto i te waahanga hou. Ko te waahanga tawhito ka whakakorehia ma te taunoa i muri i te waru meneti, a ka taea e koe te tarai i nga tautuhinga kua whakahuahia i runga ake nei.
Ka pa ano ki nga whakarereke penei i nga huringa. Ina mahi koe huri muku ranei whakarereke te whakahou, kaore e huri i te waahanga, engari ka hangaia he mea hou. Na ka mukua te mea tawhito.
He aha mehemea kua rereke te hanga tepu?
Me pehea te whakaora i te taapiri i mahia me te kaupapa tawhito? A ko te patai tuarua mo te keehi me nga whakaahua me nga taputapu punaha konae. He pai a Btrfs ki konei hei utu mo te ZFS i runga i te Linux LVM?
Ki te mahi koe whakapiri wehewehenga wehewehe me te hanganga rereke, katahi ka korero a ClickHouse ki a koe kaore e taea. Koinei te otinga. Ko te tuatahi ko te hanga i tetahi ripanga rangitahi o te momo MergeTree me te hanganga tawhito, te taapiri raraunga ki reira ma te whakamahi i te taapiri, me te hanga i tetahi patai whakarereke. Na ka taea e koe te kape, te whakawhiti ranei i enei raraunga ka whakapiri ano, ka whakamahi tono ranei huri i te wehenga nekehanga tepu.
Inaianei ko te patai tuarua mena ka taea te whakamahi Btrfs. Hei timata, mena kei a koe he LVM, ka nui nga whakaahua LVM, ka taea te punaha konae hei ext4, kaore he mea. Ma te Btrts, ka whakawhirinaki nga mea katoa ki to wheako ki te whakamahi. He punaha konae pakeke tenei, engari kei te noho tonu etahi whakapae mo te mahi o nga mea katoa i roto i nga mahi i roto i tetahi ahuatanga. Kaore au e kii ki te whakamahi i tenei mena kei a koe nga Btrfs kei te mahi.
He aha nga mahi pai o naianei mo te whakahou raraunga?
Ko te take o te whakahou he uaua, he maha nga waahanga. He maha nga whakautu ka taea i konei. Ka taea e koe te haere mai i tetahi taha ka kii i tenei - karekau a ClickHouse he waahanga whakahou. Engari kei te mataku ahau kaore tenei whakautu e pai ki tetahi. Na reira, ka taea e koe te haere mai i tera taha me te kii he maha nga huarahi a ClickHouse ki te whakahou i nga raraunga.
Ki te pau te mokowhiti o te tautau karekau ranei e kaha ki te hapai i te utaina, ka taapirihia e koe he tūmau hou. Engari ko enei kaitoro he kore noa, kaore he raraunga kei runga, kaore he kawenga. Me whakaraupapa ano koe i nga raraunga kia horapa ai ki roto i te kahui hou, nui ake.
Ko te huarahi tuatahi ka taea tenei ko te kape i tetahi waahanga o nga wehewehenga ki nga kaitoro hou ma te tono tono huri i te wahanga tango ripanga. Hei tauira, he wehewehenga koe i te marama, ka tango koe i te marama tuatahi o te tau 2017 ka kape ki tetahi tūmau hou, ka kape i te marama tuatoru ki etahi atu tūmau hou. Na ka mahi koe i tenei kia nui ake, iti ake ranei.
Ka taea te whakawhiti mo nga waahanga karekau e huri i te wa o te rekoata. Mo nga wehewehenga hou, me whakakorehia te rekoata, na te mea ehara to raatau whakawhiti i te ngota. Ki te kore, ka mutu he taarua, he waahi ranei kei roto i nga raraunga. Heoi, he whaihua tenei tikanga me te tino mahi. Ko nga waahanga kua oti te hanga ka tukuna ki runga i te whatunga, ara, kaore nga raraunga i te kopaki, i te whakawaehere ano.
Kotahi tonu te ngoikore o tenei tikanga, a ka whakawhirinaki ki te kaupapa tiritiri, mena i oati koe ki tenei kaupapa tiritiri, he aha te taviri i a koe. I roto i to tauira mo te keehi me nga inenga, ko te taviri wehewehe ko te hash o te ara. Ina tohua e koe he ripanga Tohaina, ka haere ki nga kongakonga katoa o te kahui i te wa kotahi ka tango raraunga mai i reira.
Ko te tikanga tenei kaore he mea nui ki a koe he aha nga raraunga i mutu i runga i te maru. Ko te mea nui ko nga raraunga i runga i te huarahi kotahi ka mutu ki runga i te maramara kotahi, engari ko tehea te mea nui. I tenei keehi, ko te whakawhiti i nga waahanga kua oti te hanga he tino pai, na te mea ko nga patai kua tohua ka whiwhi koe i nga raraunga katoa - ahakoa i mua i te whakahou, i muri ranei, kaore he mea nui te kaupapa.
Engari tera ano etahi keehi he uaua ake. Mena kei te taumata arorau tono ka whakawhirinaki koe ki tetahi kaupapa tiritiri motuhake, kei runga tenei kiritaki i runga i taua marau, ka taea te tuku tika atu te tono ki reira, kaua ki te ripanga Tohatoha. Kei te whakamahi ranei koe i tetahi putanga tata tonu o ClickHouse a kua whakahohea te tautuhinga arotau pekehia nga kongakonga kaore i whakamahia. I tenei keehi, i te wa e whiriwhiria ana te patai, ka tātarihia te kii i te waahi o te waahanga, ka tatauhia ko nga kongakonga hei whakamahi i runga i te kaupapa tiritiri. Ka mahi tenei i te mea ka wehewehea nga raraunga kia rite ki tenei kaupapa tiritiri. Mena ka whakatikahia e koe a ringa, ka rereke pea nga reta.
Na koinei te tikanga nama tuatahi. A kei te tatari ahau mo to whakautu, ahakoa e tika ana te tikanga, me haere tonu ranei.
Ko Vladimir Kolobaev, he kaiwhakahaere punaha matua i Avito: Alexey, ko te tikanga i whakahuahia e koe kaore e tino pai ana ka hiahia koe ki te hora i te kawenga, tae atu ki te panui. Ka taea e matou te tango i tetahi wehewehenga ia marama ka taea te kawe i te marama o mua ki tetahi atu pona, engari ka tae mai he tono mo enei raraunga, ka utaina noa e matou. Engari e hiahia ana matou ki te utaina te katoa o te tautau, no te mea ki te kore, mo etahi wa ka tukatukahia te katoa o te panui panui e rua nga maramara.
Alexey Milovidov: He rereke te whakautu i konei - ae, he kino, engari ka whai hua pea. Ka whakamarama au me pehea. He pai ki te titiro ki te ahuatanga o te kawenga kei muri i o raraunga. Mena kei te aro turuki tenei i nga raraunga, katahi ka taea e taatau te kii ko te nuinga o nga tono mo nga raraunga hou.
I whakauru koe i nga tūmau hou, i heke nga wehewehenga tawhito, engari i whakarereke ano te tuhi i nga raraunga hou. A ka horahia nga raraunga hou puta noa i te roopu. No reira, i muri i te rima meneti noa, ko nga tono mo nga meneti e rima kua hipa ka utaina te tautau; i muri i te ra, ko nga tono mo nga haora XNUMX ka utaina te kahui. A ko nga tono mo te marama o mua, engari, ka haere noa ki tetahi waahanga o nga kaitoro tautau.
Engari he maha nga wa karekau he tono mo te Hui-tanguru 2019. Ko te mea pea, mena ka uru nga tono ki te tau 2019, katahi ka waiho mo te 2019 katoa - mo te waa nui, kaua mo etahi waahanga iti. A ka taea hoki e enei tono te uta i te kahui kia rite. Engari i te nuinga o te waa, he tino tika to korero he otinga noa tenei kaore e tino horahia nga raraunga.
He torutoru ano aku korero hei whakautu i te patai. Ko tetahi o enei e pa ana ki te hoahoa i te kaupapa tiritiri i te tuatahi kia iti ake te mamae o te tiritiri. Kaore e taea tenei i nga wa katoa.
Hei tauira, kei a koe nga raraunga aroturuki. E toru nga take kei te tipu haere nga raraunga aroturuki. Ko te tuatahi ko te whakaemi o nga korero o mua. Ko te tuarua ko te tipu haere. A ko te tuatoru ko te piki ake o te maha o nga mea kei raro i te tirotiro. He ratonga moroiti hou me nga inenga me tiaki.
Ka taea pea e enei, ko te pikinga nui rawa atu e pa ana ki te tuatoru o nga take - te pikinga o te whakamahinga o te aroturuki. A i roto i tenei take, he pai ki te titiro ki te ahua o te kawenga, he aha nga patai whiriwhiri matua. Ko nga paatai tiwhiringa taketake ka ahu mai i etahi waahanga iti o nga inenga.
Hei tauira, ko te whakamahi PTM i runga i etahi o nga tūmau e etahi ratonga. Ko te ahua kei reira tetahi waahanga o nga taviri e whiwhi ai koe i enei raraunga. A ko te tono ake mo tenei raraunga he tino ngawari, ka oti i roto i te tekau maero hēkona. Ka whakamahia mo nga ratonga aroturuki me nga papatohu. Ko taku tumanako ka tino marama ahau ki tenei.
Vladimir Kolobaev: Ko te meka ko te nuinga o nga wa ka tono matou ki nga korero o mua, na te mea ka whakatauritehia e matou te ahuatanga o naianei me te hitori o te waa. A he mea nui kia tere te uru atu ki te maha o nga raraunga, a he pai te mahi a ClickHouse ki tenei.
He tino tika koe, ka kite matou i te nuinga o nga tono panui i te ra whakamutunga, penei i nga punaha aroturuki. Engari i te wa ano, he nui ano te kawenga mo nga raraunga o mua. Ko te tikanga mai i te punaha whakatupato e huri haere ana ia toru tekau hēkona ka kii ki a ClickHouse: “Homai ki ahau nga raraunga mo nga wiki e ono kua hipa. Inaianei hangahia e au etahi momo nekehanga toharite mai i a raatau, ka whakatauritea te uara o naianei me te mea o mua.
E hiahia ana ahau ki te kii mo enei tono tata nei kei a matou ano tetahi teepu iti kei roto e rua noa nga ra e penapena ai nga raraunga, ka rere nga tono matua ki roto. Ka tukuna noa e matou nga patai o mua nui ki te teepu maramara nui.
Alexey Milovidov: Kia aroha mai, ka puta ke te ahua kino mo to ahuatanga, engari ka korerotia e ahau ki a koe he whakaahuatanga mo nga kaupapa e rua kino me te uaua kaore e tika kia whakamahia, engari e whakamahia ana i roto i nga mahi a aku hoa.
He huinga matua me nga huihuinga Yandex.Metrica. Ko nga huihuinga he tirohanga wharangi, pawhiri, me nga huringa. Ko te nuinga o nga tono ka haere ki tetahi paetukutuku motuhake. Ka whakatuwhera koe i te ratonga Yandex.Metrica, kei a koe he paetukutuku - avito.ru, haere ki te ripoata, ka tukuna he tono mo to paetukutuku.
Engari tera ano etahi atu tono - tātari me te ao - na nga kaitirotiro o roto. I roto i te take, ka kite ahau kei te tono nga kaitätari o roto mo nga ratonga Yandex anake. Engari ahakoa, ahakoa ko nga ratonga Yandex he waahi nui o nga raraunga katoa. Ehara enei i nga tono mo nga porotiti motuhake, engari mo te tātari whanui.
Me pehea te whakarite raraunga kia pai ai nga mahi katoa mo te porotiti kotahi, me nga patai o te ao? Ko tetahi atu uaua ko te maha o nga tono kei ClickHouse mo te roopu Metrics he maha mano mo ia hekona. I te wa ano, kaore e taea e tetahi kaitoro ClickHouse te whakahaere i nga tono kore-iti, hei tauira, he maha mano mo ia rua.
Ko te rahi o te tautau he ono rau-tetahi mea tūmau. Mēnā ka kumea noa e koe he ripanga Toha ki runga i tēnei kāhui ka tukuna he tini mano tono ki reira, ka tino kino atu i te tuku ki te tūmau kotahi. I tetahi atu taha, ko te whiringa ka horahia nga raraunga kia rite, ka haere matou ki te tono mai i nga kaitoro katoa, ka tukuna tonu.
He kowhiringa he rereke te ahua. Whakaarohia mehemea ka tohatohahia e tatou nga raraunga puta noa i nga waahi, ka haere te tono mo te waahi kotahi ki te maramara kotahi. Inaianei ka taea e te roopu te whakahaere i te tekau mano tono mo ia hekona, engari i runga i te maramara kotahi ka tere rawa te mahi. Ka kore e tauine i runga i te whakaputanga. Ina koa koinei te pae avito.ru. Kaore au e whakaatu i te mea ngaro mena ka kii ahau ko Avito tetahi o nga waahi tino toro atu ki RuNet. A ko te tukatuka i runga i te maramara kotahi he porangi.
Na reira, ka hangaia te kaupapa sharding i roto i te huarahi mohio. Kua wehea te huinga katoa ki te maha o nga tautau, e kiia nei ko nga paparanga. Kei ia kapoi mai i te tatini ki te maha tatini maarara. E toru tekau ma iwa nga tautau penei.
Me pehea te tauine katoa? Ko te maha o nga tautau kare e rereke - na te mea e toru tekau ma iwa nga tau ki muri, ka noho pera tonu. Engari i roto i ia waahanga, ka piki haere te maha o nga kongakonga i a tatou e whakaemi ana i nga raraunga. A ko te kaupapa sharding katoa he penei: ka wehewehea enei tautau ki nga paetukutuku, kia mohio ai ko tehea paetukutuku kei runga i te roopu, ka whakamahia he metabase motuhake i MySQL. Kotahi te pae - i runga i te tautau kotahi. A, i roto, ka puta te pakarutanga e ai ki nga ID manuhiri.
I te wa e tuhi ana, ka wehewehea e matou ki te toenga o te wehenga o te ID manuhiri. Engari ka taapirihia he mahanga hou, ka huri te kaupapa tiritiri; ka wehe tonu tatou, engari me te toenga o te wehenga ki tetahi atu tau. Ko te tikanga ko tetahi manuhiri kei runga i nga kaitoro maha, a kaore e taea e koe te whakawhirinaki ki tenei. Ka mahia tenei hei whakarite kia pai ake te kopaki o nga raraunga. A, i te wa e tono ana, ka haere matou ki te ripanga Tohatoha, e titiro ana ki te tautau ka uru atu ki te maha o nga kaitoro. He kaupapa poauau tenei.
Engari ka kore e oti taku korero ki te kore au e kii kua whakarerea e matou tenei kaupapa. I roto i te kaupapa hou, i hurihia e matou nga mea katoa me te kape i nga raraunga katoa ma te whakamahi i te clickhouse-copier.
I roto i te kaupapa hou, ka wehewehea nga waahi katoa ki nga waahanga e rua - nui me te iti. Kare au i te mohio me pehea te kowhiringa o te paepae, engari ko te hua ka tuhia nga waahi nui ki runga i te kahui kotahi, 120 nga maramara me nga tauira e toru mo ia - ara, 360 nga kaitoro. A ko te kaupapa tiritiri ko te tikanga ka tae atu nga tono ki nga maramara katoa i te wa kotahi. Mena ka whakatuwherahia e koe tetahi whaarangi ripoata mo avito.ru i Yandex.Metrica, ka haere te tono ki nga kaitoro 120. He iti noa nga waahi nui i RuNet. A ko nga tono ehara i te mano mo ia hekona, engari he iti iho i te kotahi rau. Ko enei katoa ka ngaua marietia e te ripanga Tohatoha, ka mahia e ia o ratou me nga kaitoro 120.
A ko te huinga tuarua mo nga waahi iti. Anei he kaupapa tiritiri i runga i te ID pae, a ka haere ia tono ki te kotahi maramara.
He taputapu clickhouse-copier a ClickHouse. Ka taea e koe te korero ki ahau mo ia?
Ka kii tonu ahau ko tenei otinga he uaua ake, he iti ake te hua. Ko te painga ko te whakapouri i nga raraunga kia rite ki te tauira kua tohua e koe. Engari ko te raru o te whaipainga ko te kore e reshard rawa. Ka kape i nga raraunga mai i tetahi aronuinga tautau ki tetahi atu aronuinga tautau.
Ko te tikanga mo te mahi me rua nga tautau. Ka taea te noho ki runga i nga kaimau kotahi, engari, karekau e nekehia nga raraunga, engari ka kapehia.
Hei tauira, e wha nga kaitoro, inaianei e waru. Ka hangaia e koe he ripanga Tohaina hou ki runga i nga tūmau katoa, nga ripanga hou o te rohe me te whakarewa i te clickhouse-copier, e tohu ana i roto i te kaupapa mahi me panui mai i reira, whakaaehia te kaupapa sharding hou me te whakawhiti i nga raraunga ki reira. A, i runga i nga kaitoro tawhito ka hiahia koe kia kotahi me te haurua nga waahi atu i tenei wa, no te mea me noho tonu nga raraunga tawhito ki runga ia ratou, a ko te hawhe o nga raraunga tawhito ka tae ki runga ake. Mena i whakaaro koe i mua me whakahou ano nga raraunga me te waahi, he pai tenei tikanga.
Me pehea te mahi a clickhouse-copier ki roto? Ka wahia e ia nga mahi katoa ki roto i te huinga o nga mahi mo te tukatuka i tetahi wahanga o te teepu kotahi ki runga i te maramara kotahi. Ko enei mahi katoa ka taea te mahi whakarara, ka taea te whakahaere i te clickhouse-copier i runga i nga miihini rereke i roto i nga waa maha, engari he aha te mahi mo te waahanga kotahi he mea ke atu i te kowhiringa whakauru. Ka panuihia nga raraunga, ka whakahekehia, ka tohatohahia, ka kopaki ano, ka tuhia ki tetahi waahi, ka tohua ano. He whakatau uaua ake tenei.
I a koe tetahi mea pairati e kiia ana ko te resharding. He aha ki a ia?
I tua atu i te tau 2017, he mea pairati koe e kiia ana ko te resharding. He whiringa ano kei ClickHouse. Ki taku mohio, kare i eke. Ka taea e koe te korero mai ki ahau he aha tenei i tupu ai? Te ahua nei he tino whaitake.
Ko te raru katoa ko te mea e tika ana ki te whakahou ano i nga raraunga ki te waahi, ka hiahiatia te tukutahitanga tino uaua hei mahi i tenei ngota. I te wa i timata ai matou ki te titiro ki te mahi o tenei tukutahitanga, ka kitea he raru nui. A ko enei raruraru taketake ehara i te mea noa, engari i timata tonu ki te whakaatu i a raatau ano ki te mahi i roto i te ahua o tetahi mea ka taea te whakamarama noa - kaore he mahi.
Ka taea te hanumi i nga wahanga raraunga katoa i mua i te nuku ki nga kōpae puhoi?
He patai mo te TTL me te nekehanga ki te kopae puhoi i roto i te horopaki o nga hanumi. He huarahi ano, i tua atu i te cron, ki te hanumi i nga wahanga katoa kia kotahi i mua i te neke ki te puhoi kōpae?
Ko te whakautu ki te patai ka taea te whakapiri aunoa i nga waahanga katoa kia kotahi i mua i te whakawhiti - kaore. Ki taku whakaaro kaore e tika ana tenei. Kaore e tika kia hanumi nga wahanga katoa ki te kotahi, engari me tatau noa ka whakawhitia ki nga kōpae puhoi.
E rua a matou paearu mo nga ture whakawhiti. Ko te mea tuatahi ka whakakiia. Mēnā he iti ake i te ōrau o te mokowā mokowā te taumata rokiroki o nāianei, ka tīpakohia e mātou tētahi tiihi ka nukuhia ki te rokiroki pōturi. Engari, kaua e puhoi, engari ko te mea e whai ake nei - i a koe e whirihora ana.
Ko te tohu tuarua ko te rahi. Mo te neke i nga waahanga nui. Ka taea e koe te whakatika i te paepae kia rite ki te waahi waatea i runga i te kōpae tere, ka whakawhiti aunoa nga raraunga.
Me pehea te heke ki nga putanga hou o ClickHouse mena kaore he huarahi ki te tirotiro i te hototahitanga i mua?
He rite tonu te korero mo tenei kaupapa te whakaaro ki nga putanga rereke, me te mea tonu. He pehea te haumaru ki te whakahou mai i te putanga 19.11 ki te 19.16, hei tauira, mai i te 19.16 ki te 20.3. He aha te huarahi pai ki te heke ki nga putanga hou me te kore e taea te tirotiro i te hototahitanga ki te pouaka kirikiri i mua?
He maha nga ture "koura" kei konei. Tuatahi - . He nui, engari he kowae motuhake mo nga huringa hotokore whakamuri. Kaua e kiia enei tohu he haki whero. He iti noa nga hototahitanga e uru ana ki etahi taumahinga taha kaore pea koe e whakamahi.
Tuarua, mena karekau he huarahi ki te tirotiro i te hototahitanga i roto i te pouaka kirikiri, a ka hiahia koe ki te whakahou tonu i roto i te whakaputanga, ko te taunakitanga kaore koe e hiahia ki te mahi i tenei. Tuatahi hanga he pouaka kirikiri me te whakamatautau. Mena kaore he taiao whakamatautau, kaore pea he kamupene nui rawa atu, ko te tikanga ka taea e koe te kape i etahi o nga raraunga ki to pona me te mohio kei te mahi tika nga mea katoa. Ka taea e koe te whakaara i nga tauira maha i runga i to miihini. Ka taea ranei e koe te tiki i tetahi putanga hou ki tetahi waahi tata ka tuku i etahi o nga raraunga ki reira - ara, hanga he taiao whakamatautau.
Ko tetahi atu ture ko te kore e whakahou mo te wiki i muri i te tukunga o te putanga na te hopu i nga pepeke i roto i te hanga me nga whakatikatika tere. Kia ata tirohia te tatau o nga putanga ClickHouse kia kore ai e poauau.
He putanga 20.3.4. Ko te nama 20 e tohu ana i te tau o te hanga - 2020. Mai i te tirohanga o nga mea o roto, kaore he mea nui, na reira kaore matou e aro ki a ia. Panuku - 20.3. Ka whakanuia e matou te nama tuarua - i tenei keehi 3 - i nga wa katoa ka tukuna e matou he tuku me etahi mahi hou. Mena kei te hiahia taatau ki te taapiri i etahi waahanga ki te ClickHouse, me whakanui ake tenei tau. Arā, i te putanga 20.4 ClickHouse ka pai ake te mahi. Ko te mati tuatoru ko 20.3.4. Anei ko te 4 te maha o nga tukunga papaki kaore i taapirihia e matou nga ahuatanga hou, engari i whakatika etahi pepeha. A 4 te tikanga i mahia e matou e wha nga wa.
Kaua e whakaaro he mea whakamataku tenei. I te nuinga o te wa ka taea e te kaiwhakamahi te whakauru i te putanga hou ka mahi me te kore he raru me te wa mahi ia tau. Engari whakaarohia i roto i etahi mahi mo te tukatuka maheremoka, i taapirihia e o maatau hoa Hainamana, ka pakaru te tūmau i te wa e tukuna ana nga tautohetohe. Kei a matou te kawenga ki te whakatika i tenei. Ka tukuna e matou he putanga papaki hou ka noho pumau a ClickHouse.
Mena kei a koe a ClickHouse e whakahaere ana i te mahi, a ka puta mai he putanga hou o ClickHouse me etahi atu waahanga - hei tauira, ko 20.4.1 te mea tuatahi, kaua e tere ki te whakauru ki roto i te mahi i te ra tuatahi. He aha rawa e hiahiatia ai? Mena kaore koe i te whakamahi i te ClickHouse, ka taea e koe te whakauru, me te mea ka pai nga mea katoa. Engari mena kei te kaha kee te mahi a ClickHouse, katahi ka tiro ki nga papanga me nga whakahou kia kite he aha nga raru kei te whakatikahia e matou.
Kirill Shvakov: Kei te pirangi au ki te taapiri i etahi korero mo nga taiao whakamatautau. Kei te tino wehi nga tangata katoa ki nga taiao whakamatautau me etahi take ka whakapono ratou ki te mea he nui rawa te roopu ClickHouse, na, ko te taiao whakamatautau kia kaua e iti ake, kia tekau nga wa iti ake ranei. Ehara rawa i te pera.
Ka taea e au te korero ki a koe mai i taku ake tauira. He kaupapa taku, kei reira ko ClickHouse. Ko ta maatau taiao whakamatautau mo ia anake - he miihini mariko iti tenei i Hetzner mo te rua tekau euros, kei reira nga mea katoa ka tukuna. Ki te mahi i tenei, kei a matou te miihini katoa i roto i te Ansible, na reira, ma te maapono, kaore he rereketanga o te waahi ki te haere - ki nga kaiwhakarato taputapu, ki te tuku noa ranei ki nga miihini mariko.
He aha te mahi? He pai ki te whakarato i tetahi tauira i roto i nga tuhinga ClickHouse mo te whakatakoto i tetahi kahui iti ki to kaainga ake - i Docker, i roto i te LXC, ka hangaia pea he pukapuka takaro Ansible, na te mea he rereke nga taangata rereke. Ma tenei ka tino ngawari. Ka tangohia e koe, ka horahia he tautau i roto i nga meneti e rima, he maamaa ake te ngana ki te whakaaro i tetahi mea. He pai ake tenei, na te mea ka huri ki roto i te putanga whakaputa kaore ano koe i whakamatauria he huarahi ki te kore. I etahi wa ka mahi, i etahi wa kaore. Na reira, ko te tumanako mo te angitu he kino.
Ko Maxim Kotyakov, he tohunga miihini a Avito: Ka taapirihia e ahau he iti mo nga taiao whakamatautau mai i te raupapa o nga raruraru e pa ana ki nga kamupene nui. Kei a matou he roopu whakaae a ClickHouse; mo nga kaupapa raraunga me nga tautuhinga, he kape tika o nga mea kei roto i te mahi. Ka horahia tenei kahui ki roto i nga ipu karekau me te iti rawa o nga rauemi. Ka tuhia e matou etahi paheketanga o nga raraunga whakaputa ki reira, he waimarie ka taea te whakahoki i te awa i Kafka. Ko nga mea katoa kei reira he tukutahi me te tauine - i runga i te kaha me te rere, a, i roto i te ariā, he rite nga mea katoa, me rite te ahua o te hanga i runga i nga inenga. Ko nga mea katoa e pahū ana ka huri tuatahi ki runga i tenei turanga ka waiho ki reira mo etahi ra kia reri noa. Engari ko te tikanga, he utu nui tenei otinga, he uaua, he kore-kore nga utu tautoko.
Alexey Milovidov: Ka korerotia e ahau ki a koe te ahua o te taiao whakamatautau o o maatau hoa mai i Yandex.Metrica. Ko tetahi tautau he 600-rereke nga tūmau, tetahi atu he 360, he tuatoru, he maha nga tautau. Ko te taiao whakamatautau mo tetahi o ratou he rua noa nga maramara me nga tauira e rua ki ia waahanga. He aha e rua nga maramara? Kia kore ai ko koe anake. A me whai tauira ano. He iti noa nga moni ka taea e koe te utu.
Ma tenei taiao whakamatautau ka taea e koe te tirotiro mena kei te mahi o patai me te pakaru tetahi mea nui. Engari i te nuinga o nga wa ka puta ake nga raruraru o te ahua rereke, i te wa e mahi ana nga mea katoa, engari he iti noa nga huringa o te kawenga.
Ka hoatu e ahau he tauira. I whakatau matou ki te whakauru i tetahi putanga hou o ClickHouse. Kua tukuna ki runga i te taiao whakamatautau, kua oti nga whakamatautau aunoa i roto i te Yandex.Metrica ake, e whakataurite ana i nga raraunga mo te putanga tawhito me te mea hou, e whakahaere ana i te paipa katoa. A ko te tikanga, nga whakamatautau matomato o to maatau CI. Ki te kore karekau matou i whakatakoto i tenei putanga.
He pai nga mea katoa. Kei te timata matou ki te neke ki te hanga. Ka tae mai he panui kua piki ake te uta ki runga kauwhata i etahi wa maha. Kei te huri tatou i te putanga. Ka titiro ahau ki te kauwhata ka kite: he maha nga wa i piki ake ai te kawenga i te wa o te whakaputanga, ka heke ki muri i te wa e huri ana. Na ka timata matou ki te huri i te putanga. Na ka nui haere te pikaunga i taua ara ano, ka hoki ano ki muri. Na ko te mutunga tenei: kua piki ake te kawenga na te whakatakotoranga, kaore he mea miharo.
Na he uaua ki te whakatenatena i nga hoa mahi ki te whakauru i te putanga hou. Ka ki atu ahau: "E pai ana, hurihia. Kia whiti o maihao, ka pai nga mea katoa. Inaianei kua piki ake te uta i runga i nga kauwhata, engari he pai nga mea katoa. Kia mau ki reira." I roto i te nuinga, i mahia e matou tenei, a koinei - i tukuna te putanga mo te hanga. Engari tata ki nga whakatakotoranga katoa ka ara ake nga raru.
Ko te patai ki te patu i nga patai, engari kaore. He aha?
I haere mai tetahi kaiwhakamahi, etahi momo kaitātari, ki ahau, ka hanga he tono e whakatakoto ana i taku kohinga ClickHouse. Ko etahi node, kahui katoa ranei, i runga i te tauira me te maramara i haere ai te tono. Ka kite ahau ko nga rauemi CPU katoa i runga i tenei tūmau kei roto i te whata, he whero nga mea katoa. I te wa ano, ka whakautu a ClickHouse ki nga tono. Na ka tuhi ahau: "Tena koa whakaatu mai ki ahau, rarangi mahi, he aha te tono i puta ai tenei porangi."
Ka kitea e ahau tenei tono ka tuhia ki te patu. Na ka kite ahau kaore he mea e tupu ana. Ko taku tūmau kei roto i te whata, ka tukuna mai e ClickHouse etahi whakahau, e whakaatu ana kei te ora te tūmau, a he pai nga mea katoa. Engari kei a au te paheketanga i roto i nga tono a nga kaiwhakamahi katoa, ka timata te whakahekenga me nga rekoata i ClickHouse, a kaore e mahi taku patai patu. He aha? I whakaaro ahau ko te patai whakamate me whakamate nga patai, engari karekau.
Inaianei ka puta he whakautu rereke. Ko te take ko te patai whakamate kaore e patu i nga patai.
Ka takina e te patai patai tetahi pouaka iti e kiia nei "Kei te pirangi au kia patua tenei patai." A ko te tono tonu ka titiro ki tenei haki i te wa e tukatuka ana ia poraka. Mena kua whakaritea, ka mutu te mahi o te tono. Ka puta mai kaore tetahi e patu i te tono, ko ia ano me tirotiro nga mea katoa ka mutu. A me mahi tenei i roto i nga keehi katoa kei te noho te tono i te ahua o te tukatuka poraka o nga raraunga. Ka tukatukahia te paraka raraunga e whai ake nei, tirohia te haki, ka mutu.
Kaore tenei e mahi i nga keehi ka aukatihia te tono mo etahi mahi. He pono, ko te mea pea ehara tenei i to keehi, na te mea, e ai ki a koe, ka whakamahia e ia te maha o nga rauemi tūmau. Kare pea tenei e mahi i roto i te keehi o te tohatoha o waho me etahi atu korero. Engari i te nuinga o te waa kaore tenei e tupu, he pepeke. A ko te mea anake ka taea e au te kii ko te whakahou i te ClickHouse.
Me pehea te tatau i te wa whakautu i raro i te kawenga panui?
He teepu e pupuri ana i nga whakahiato taonga - nga momo porotiti. Tata ki te kotahi rau miriona te maha o nga rarangi. Ka taea te tatau ki te wa whakautu matapae mena ka ringihia e koe te 1K RPS mo nga taonga 1K?
Ki te whakatau i te horopaki, e korero ana matou mo te kawenga panui, na te mea karekau he raru o te tuhi - ahakoa kotahi mano, ahakoa kotahi rau mano, a, i etahi wa ka taea te whakauru i etahi miriona rarangi.
He rereke nga tono panui. I roto i te kowhiringa 1, ka taea e ClickHouse te mahi mo te tekau mano o nga tono mo ia hekona, no reira ko nga tono mo te taviri kotahi ka hiahiatia etahi rauemi. A ka nui ake te uaua o nga patai tohu i etahi o nga papaa raraunga uara matua, na te mea mo ia panui me panui he poraka raraunga ma te taurangi. Ko ta maatau taurangi ehara i ia rekoata, engari ia awhe. Arā, me panui koe i te awhe katoa - he 8192 rarangi taunoa tenei. A me whakakore e koe te poraka raraunga kua kopaki mai i te 64 KB ki te 1 MB. Ko te tikanga, he iti noa nga manomano hei whakaoti i nga patai kua whaaia. Engari koinei te waahanga ngawari rawa atu.
Kia tamata tatou i etahi mahi tatau. Mena ka whakareatia e koe etahi manomano ki te mano, ka whiwhi koe i etahi hēkona. Ka rite ki te mea kaore e taea te pupuri i nga tono kotahi mano mo ia hekona, engari ko te mea ka taea, na te mea he maha nga waahanga tukatuka. Na, ko te tikanga, ka taea e ClickHouse te pupuri i te 1000 RPS i etahi wa, engari mo nga tono poto, ko nga mea kua tohua.
Mena ka hiahia koe ki te tauine i te roopu ClickHouse ma te maha o nga tono ngawari, katahi ka tūtohu ahau ki te mea ngawari - whakanuia te maha o nga tauira me te tuku tono ki tetahi tauira ohorere. Mena kei te kotahi te kape e pupuri ana i nga tono e rima rau mo ia hekona, he tino pono, katahi ka toru nga tauira ka whakahaere i te kotahi mano me te hawhe mano.
I etahi wa, ko te tikanga, ka taea e koe te whirihora i te ClickHouse mo te maha o nga panui tohu. He aha te mea e hiahiatia ana mo tenei? Ko te tuatahi ko te whakaiti i te kiko o te taurangi. I roto i tenei take, kaua e whakahekehia ki te kotahi, engari i runga i te kaupapa ko te maha o nga whakaurunga i roto i te taurangi he maha miriona, tekau miriona ranei mo ia tūmau. Mena he kotahi rau miriona nga rarangi o te teepu, ka taea te tautuhi ki te 64.
Ka taea e koe te whakaiti i te rahi o te poraka kua kopeke. He tautuhinga mo tenei min rahi poraka kōpeke, te rahi o te rahi poraka kōpeke. Ka taea te whakaheke, ka whakakiia ano ki nga raraunga, katahi ka tere ake nga patai kua whakaritea. Engari tonu, ehara a ClickHouse i te papaaarangi uara matua. Ko te maha o nga tono iti he antipattern kawenga.
Kirill Shvakov: Ka hoatu e ahau he tohutohu mehemea he kaute noa kei reira. He ahuatanga tino paerewa tenei ka penapena a ClickHouse i etahi momo porotiti. He kaiwhakamahi taku, no tera whenua tera, me etahi mara tuatoru, me whakanui ake e au tetahi mea. Tangohia a MySQL, hanga he taviri ahurei - ki MySQL he taviri taarua, a ki PostgreSQL he taupatupatu - ka taapirihia he tohu taapiri. Ka pai ake tenei mahi.
Mena kaore koe i te nui o nga raraunga, kaore he mea nui ki te whakamahi i te ClickHouse. He papaa raraunga auau, a he pai ta ratou mahi.
He aha e taea e ahau te takawiri i ClickHouse kia nui ake nga raraunga kei roto i te keteroki?
Whakaarohia he ahuatanga - he 256 GB o RAM nga kaitoro, i roto i nga mahinga o ia ra ka tango a ClickHouse mo te 60-80 GB, i te tihi - ki te 130. He aha te mea ka taea te whakahohe me te takawiri kia nui ake nga raraunga kei roto i te keteroki, a, na reira, he iti ake nga haerenga ki te kōpae?
Ko te tikanga, he pai te mahi a te keteroki whaarangi o te punaha whakahaere. Mena ka whakatuwhera noa koe i te tihi, tirohia kei reira he keteroki, he kore utu ranei - e kii ana ano te nui o te keteroki - katahi ka kite koe kei te whakamahia nga mahara koreutu katoa mo te keteroki. A, ka panuihia enei raraunga, ka panuihia ehara i te kōpae, engari mai i te RAM. I te wa ano, ka taea e au te kii kei te pai te whakamahi i te keteroki na te mea ko nga raraunga taapiri kei te keteroki.
Heoi, ki te hiahia koe ki te tere ake i etahi patai ngawari ake, ka taea te whakahohe i te keteroki i roto i nga raraunga whakaheke i roto i te ClickHouse. Ka kiia keteroki korekore. I roto i te konae whirihoranga config.xml, tautuhia te rahi o te keteroki kore-whakapiri ki te uara e hiahia ana koe - Ka tūtohu ahau kia kaua e neke atu i te hawhe o te RAM kore utu, no te mea ka haere te toenga ki raro i te keteroki wharangi.
I tua atu, e rua nga tautuhinga taumata tono. Tautuhinga tuatahi - whakamahia te keteroki korekore - kei roto ko tana whakamahinga. E taunaki ana kia taea mo nga tono katoa, haunga nga mea taumaha, ka taea te panui i nga raraunga katoa me te horoi i te keteroki. A ko te tautuhinga tuarua he rite ki te maha rawa o nga raina hei whakamahi i te keteroki. Ka whakawhāiti aunoa i ngā pātai nui kia hipa i te keteroki.
Me pehea taku whirihora storage_configuration mo te rokiroki i roto i te RAM?
I roto i nga tuhinga ClickHouse hou ka panuihia e au te waahanga e pa ana . Kei roto i te whakaahuatanga he tauira me te SSD tere.
Ka miharo ahau me pehea e taea ai te whirihora i taua mea me te mahara wera nui. Me tetahi atu patai. Me pehea te mahi a te kowhiri me tenei whakahaere raraunga, ka panuihia te huinga katoa, ko te mea anake kei runga i te kōpae, ka kopakihia enei raraunga ki te mahara? A me pehea te mahi a te waahanga o mua me tetahi whakahaere raraunga penei?
Ko tenei tautuhinga ka pa ki te rokiroki o nga waahanga raraunga, a kaore e rereke o raatau whakatakotoranga.
Kia ata titiro tatou.
Ka taea e koe te whirihora i te rokiroki raraunga i roto i te RAM. Ko nga mea katoa kua whirihorahia mo te kōpae ko tona ara. Ka hangaia e koe he wehewehenga tmpfs e mau ana ki etahi ara i roto i te punaha konae. Ka tohua e koe tenei ara hei ara mo te penapena raraunga mo te wehewehenga tino wera, ka timata nga waahanga raraunga ka tae mai ka tuhia ki reira, he pai nga mea katoa.
Engari kaore au e kii ki te mahi i tenei na te iti o te pono, ahakoa ki te toru nga tauira kei roto i nga pokapū raraunga rereke, ka taea. Mena ka tupu tetahi mea, ka whakahokia mai nga raraunga. Whakaarohia kua weto ohorere te tūmau ka whakakā anō. I whakairihia ano te wehenga, engari kaore he mea i reira. I te wa i timata ai te kaimau ClickHouse, ka kite kaore i a ia enei waahanga, ahakoa, e ai ki nga metadata ZooKeeper, me noho ki reira. Ka tirohia e ia nga tauira kei a ia, ka tono, ka tango mai. Ma tenei ara ka whakahokia mai nga raraunga.
I roto i tenei tikanga, ko te rokiroki raraunga i roto i te RAM kaore i te rerekee mai i te penapena i runga i te kōpae, na te mea ka tuhia nga raraunga ki te kōpae, ka mutu tuatahi ki te keteroki wharangi ka tuhia a tinana i muri mai. Ka whakawhirinaki tenei ki te whiringa whakapuru punaha konae. Engari mo te take, ka kii ahau kaore a ClickHouse e fsync i te wa e whakauru ana.
I tenei keehi, ko nga raraunga i roto i te RAM ka penapena i roto i te ahua rite tonu ki te ahua o te kōpae. Ko te uiui whiriwhiri i te huarahi ano ka kowhiri i nga waahanga me panui, ka kowhiri i nga awhe raraunga e tika ana i roto i nga waahanga, ka panuihia. He rite tonu te mahi o mua, ahakoa ko nga raraunga kei roto i te RAM, kei runga ranei i te kōpae.
Kia pehea te maha o nga uara ahurei e whai hua ana te iti Cardinality?
He maamaa te hoahoa o te Cardinality iti. Ka whakahiato papakupu raraunga, engari no te rohe. Tuatahi, he rereke nga papakupu mo ia waahanga, tuarua, ahakoa i roto i te waahanga kotahi ka rereke pea mo ia awhe. Ka tae te maha o nga uara ahurei ki te tau paepae—kotahi miriona, ki taku whakaaro—ka noho noa te papakupu ka hangaia he mea hou.
Ko te whakautu i te nuinga o te waa: mo ia rohe rohe - me kii, mo ia ra - ki tetahi waahi ki te kotahi miriona uara ahurei e whai hua ana te Low Cardinality. Muri iho ka puta he hokinga whakamuri, he maha nga papakupu rereke ka whakamahia, kaua ko te kotahi anake. He rite tonu te mahi ki te pou aho aho, he iti ake te pai, engari karekau he tino paheketanga mahi.
He aha nga tikanga pai mo te rapu kupu-katoa i te ripanga e rima piriona rarangi?
He rereke nga whakautu. Ko te tuatahi ko te kii ko ClickHouse ehara i te miihini rapu kupu-katoa. He punaha motuhake mo tenei, hei tauira, и . Heoi, ka kite au i nga tangata e kii ana kei te huri mai i Elasticsearch ki ClickHouse.
He aha i penei ai? Ka whakamaramatia e ratou tenei na te mea ka mutu a Elasticsearch ki te tarai i nga kawenga i etahi pukapuka, timata mai i te hanga tohu. Ka tino uaua nga tohu, a, ki te whakawhiti noa koe i nga raraunga ki ClickHouse, ka kitea he maha nga wa ka pai ake te penapena i runga i te rahi. I te wa ano, ko nga patai rapu kaore i te mea he mea tika ki te rapu i etahi kupu i roto i te katoa o nga raraunga, me te whakaaro ki te morphology, engari he rereke nga mea. Hei tauira, kimihia etahi paita ka whai ake i roto i nga raarangi i nga haora kua hipa.
I tenei keehi, ka hangaia e koe he taurangi i ClickHouse, ko te waahi tuatahi ko te ra me te wa. A ko te tapahi raraunga nui rawa atu ka pa ki te awhe ra. I roto i te awhe ra i kowhiria, hei tikanga, kua taea te mahi rapu kupu-katoa, ahakoa te whakamahi i te tikanga taikaha ma te whakamahi penei. Ko te kaiwhakahaere rite i ClickHouse ko te tino pai rawa atu rite te kaiwhakahaere ka kitea e koe. Mena ka kitea e koe tetahi mea pai ake, korero mai ki ahau.
Engari ano, he rite tonu te karapa. A ka taea te puhoi te karapa katoa i runga i te PTM anake, engari i runga i te kōpae. Ki te ohorere ka whiwhi koe i tetahi terabyte o nga raraunga ia ra, ka rapua e koe he kupu i te ra, katahi ka matawai koe i te terabyte. A kei runga pea i nga puku pakeke tonu, a, i te mutunga ka utaina kia kore e taea e koe te uru atu ki tenei tūmau ma te SSH.
I tenei keehi, kua rite ahau ki te tuku i tetahi atu tinihanga iti. He whakamatautau - tera pea ka whai hua, kaore pea. Kei a ClickHouse nga tohu-tuhi-katoa i roto i te ahua o nga whiriwhiringa Bloom trigram. Kua whakamatauhia e o maatau hoa mahi i Arenadata enei tohu tohu, a he maha nga wa e mahi ana ratou i te mea i whakaarohia.
Kia tika ai te whakamahi, me tino mohio koe ki te ahua o te mahi: he aha te tātari Bloom tapatoru me pehea te whiriwhiri i tona rahi. Ka taea e au te kii ka awhina ratou mo nga patai mo etahi kianga onge, he aho iti kare e kitea i roto i nga raraunga. I tenei keehi, ka kowhiria nga awhe iti e nga taurangi ka iti ake nga raraunga ka panuihia.
Ina tata nei, kua taapiri atu a ClickHouse i nga mahi matatau ake mo te rapu kupu-kupu tonu. Ko tenei, ko te tuatahi, he rapu mo te paihere o nga aho iti i te wa kotahi i roto i te paahitanga kotahi, tae atu ki nga whiringa he take-tairongo, take-kore, me te tautoko mo te UTF-8, mo te ASCII anake ranei. Kōwhirihia te mea tino whai hua e hiahia ana koe.
Kua puta ano te rapu mo nga korero maha i roto i te paahi kotahi. Kare koe e hiahia ki te tuhi X kia rite ki tetahi kuini, X ranei kia rite ki tetahi atu aho. Ka tuhi tonu koe, ka mahia nga mea katoa kia pai.
Tuatoru, he rapunga tata mo nga regexps me te rapu tata mo nga reinga. Mēnā i hē te takikupu i tētahi kupu, ka rapua mō te ōritenga mōrahi.
He aha te huarahi pai ki te whakarite uru ki ClickHouse mo te tini o nga kaiwhakamahi?
Korerohia mai me pehea te pai ki te whakarite i te urunga mo te tini o nga kaihoko me nga kaitātari. Me pehea te hanga i te rarangi, te whakarite i nga patai mo te wa kotahi, me nga taputapu?
Mēnā he rahi te kāhui, kātahi ka pai te otinga ko te whakaara i etahi atu tūmau e rua, ka noho hei urunga mo nga kaitätari. Arā, kaua e tukua nga kaitätari ki te uru atu ki nga maramara motuhake i roto i te kohinga, engari me hanga noa e rua nga kaitoro kau, kaore he raraunga, ka whirihora i nga mana uru ki runga. I tenei keehi, ka whakawhitia nga tautuhinga kaiwhakamahi mo nga tono tohatoha ki nga kaitoro mamao. Arā, ka whirihorahia e koe nga mea katoa i runga i enei tuunga e rua, ka whai paanga nga tautuhinga ki te roopu katoa.
Ko te tikanga, kaore he raraunga o enei kaitoro, engari ko te nui o te RAM kei runga i a raatau he mea tino nui mo te whakatutuki i nga tono. Ka taea hoki te whakamahi i te kōpae mo nga raraunga rangitahi mena ka whakahohea te whakahiatotanga o waho, te tohatoha o waho ranei.
He mea nui ki te titiro ki nga tautuhinga e hono ana ki nga rohe katoa ka taea. Mena ka haere ahau inaianei ki te roopu Yandex.Metrica hei kaitirotiro me te tono tono tīpakohia te tatau mai i nga patunga, katahi ka tukuna he tuunga mo au kaore e taea e au te whakatutuki i te tono. Ko te nui rawa o nga rarangi ka taea e au te matawai he kotahi rau piriona, a, ko te katoa, e rima tekau piriona o aua rarangi kei roto i te teepu kotahi i te tautau. Ko te here tuatahi tenei.
Me kii ka tangohia e ahau te tepe haupae ka whakahaere ano i te patai. Na ka kite ahau i te waahanga e whai ake nei - kua whakahohehia te tautuhinga taupū kaha i te rā. Kare e taea e au te whakaoti i te patai mena kare ano au i tohua he awhe ra. Kaore koe e whakawhirinaki ki nga kaitätari ki te tautuhi a-ringa. Ko te keehi ka tuhia he awhe ra ki te waahi o te ra huihuinga i waenga i te wiki. Na ka tohua noa e ratou he taiapa i te waahi he, a, ka puta ko te - ko te URL ranei. Mena karekau he rohe, ka ngokingoki i te pou URL ka moumou noa te tini o nga rauemi.
I tua atu, e rua nga tautuhinga matua a ClickHouse. Kia aroha mai, he tino tawhito ratou. Ka karanga noa tetahi matua. Mena kei te mahia te kaupapa matua ≠ 0, me nga tono me etahi kaupapa matua, engari kei te mahia he tono me te uara kaupapa matua iti iho i te, ko te tikanga he kaupapa matua teitei ake, ka mahia, katahi ka tukuna he tono me te uara matua nui ake, ko te tikanga he iti ake te kaupapa matua. , ka whakatarewa noa ka kore rawa e mahi i tenei wa.
He waahi tino kino tenei, a, kaore e pai mo nga keehi ka mau tonu te kawenga o te tautau. Engari ki te whai koe i nga tono poto, pupuhi he mea nui, a he mangere te nuinga o te tautau, he pai tenei tatūnga.
Ka karangahia te tautuhinga kaupapa matua OS miro matua. Ka tautuhi noa i te uara pai mo nga miro tono tono katoa mo te Kaituhi Linux. He mahi pera-pera, engari kei te mahi tonu. Mena ka whakatauhia e koe te iti rawa o te uara pai - koinei te mea nui rawa atu, na reira ko te mea nui rawa atu - me te whakarite -19 mo nga tono e tino nui ana, katahi ka pau te PTM i nga tono iti e wha nga wa iti iho i nga mea nui.
Me whirihora ano koe i te waa tono morahi - penei, e rima meneti. Ko te tere iti o te mahi uiui ko te mea tino pai. Kua roa tenei tautuhinga, me te hiahia kia kaua e kii anake kaore a ClickHouse e puhoi, engari kia kaha.
Whakaarohia, kua whakaritea e koe: ki te iti iho i te kotahi miriona nga haupae i te rua o nga mahi uiui, kaore e taea e koe. Ka whakama tenei i to tatou ingoa pai, to tatou putunga pai. Me aukati noa tenei. E rua nga tautuhinga. Ka kiia tetahi min tere mahi - i roto i nga rarangi mo ia hekona, a ko te tuarua ka kiia he waahi i mua i te tirotiro i te tere o te mahi - tekau ma rima hēkona ma te taunoa. Arā, tekau ma rima hēkona ka taea, katahi, mena he puhoi, katahi ka maka he tuunga ka whakakorehia te tono.
Me whakarite hoki e koe nga roherohenga. Kei a ClickHouse tetahi waahanga motunga whakaurunga e tatau ana i te kohi rawa. Engari, ko te kino, ehara i nga rauemi taputapu penei i te PTM, nga kopae, engari ko nga mea arorau - te maha o nga tono kua tukatukahia, nga rarangi me nga paita ka panui. A ka taea e koe te whirihora, hei tauira, te nui o te kotahi rau tono i roto i te rima meneti me te mano tono mo ia haora.
He aha te mea nui? Na te mea ka mahia a-ringa etahi patai tātaritanga mai i te kiritaki ClickHouse. A ka pai katoa. Engari ki te whai koe i nga kaitätari matatau i roto i to kamupene, ka tuhia e ratou he tuhinga, a he hapa kei roto i te tuhinga. A ma tenei hapa ka tukuna te tono ki roto i te kohanga mutunga kore. Koinei te mea hei tiaki i a tatou ano.
Ka taea te hoatu nga hua o te patai kotahi ki nga kaihoko tekau?
He maha nga kaiwhakamahi e pai ana ki te uru mai me nga tono nui i te wa kotahi. He nui te tono, a, ko te tikanga, ka tere te mahi, engari na te mea he maha nga tono penei i te wa kotahi, ka tino mamae. Ka taea te whakahaere i te tono kotahi, i tae mai tekau nga wa i te rarangi, kotahi, ka hoatu te hua ki nga kaihoko tekau?
Ko te raruraru ko te kore e whai hua o te keteroki, te keteroki ranei o nga raraunga takawaenga. He keteroki wharangi o te punaha whakahaere, ka aukati i a koe ki te panui i nga raraunga mai i te kōpae, engari, karekau, ka whakahekehia nga raraunga, ka whakakorehia, ka tukuna ano.
Kei te pirangi au ki te karo i tenei, ma te keteroki raraunga takawaenga, ma te whakararangi ranei i nga patai penei i roto i etahi momo rarangi me te taapiri i te keteroki hua. I tenei wa, kotahi te tono kumea kei roto i te whakawhanaketanga e taapiri ana i te keteroki tono, engari mo nga paatai i roto i nga waahanga whakauru me te whakauru - ara, kaore i oti te otinga.
Heoi ano, ka pa ano tatou ki tera ahuatanga. Ko tetahi tauira kanoniana ko nga patai whakahiato. He purongo, he maha nga wharangi, he tono mo te rohe 10. Ka pera ano, engari ko te 10,10 te rohe. Na tetahi atu whaarangi. A ko te patai, he aha tatou ka tatau katoa i enei wa katoa? Inaianei kaore he otinga, kaore he huarahi hei karo.
He otinga kee ka tuuhia hei waka taha ki te taha o ClickHouse - .
Kirill Shvakov: Kei a ClickHouse Takawaenga he riiti reiti kua hangaia me te keteroki hua kua hangaia. He maha nga tautuhinga i mahia ki reira na te mea kei te whakatauhia he raruraru rite. Ka taea e te Takawaenga te whakawhāiti i nga tono ma te tuutira me te whirihora i te roa o te ora o te keteroki tono. Mena he rite tonu nga tono, ka tukuna e te Takawaenga kia maha nga wa, engari ka haere ki ClickHouse kotahi anake.
He keteroki ano a Nginx i roto i te putanga kore utu, a ka mahi ano tenei. Kei a Nginx nga tautuhinga mena ka tae mai nga tono i te wa kotahi, ka whakaroa etahi atu kia oti ra ano tetahi. Engari kei roto i te ClickHouse Proxy he pai ake te mahi o te tatūnga. He mea hanga motuhake mo ClickHouse, mo enei tono, no reira he pai ake. Ana, he ngawari ki te whakauru.
He aha nga mahi tukutahi me nga tirohanga whakakitenga?
He raruraru ko nga mahi me te miihini tukurua he koretake - i te tuatahi ka tuhia nga raraunga, katahi ka hinga. Mēnā kei raro i te tohu tētahi papa whakapūmau me ētahi whakahiato, ka tuhia ngā tārite ki reira. A, ki te kore he arorau matatini, ka taritehia nga raraunga. He aha ta koe e mahi ai?
He otinga kitea - ki te whakatinana i te keu ki runga i etahi momo matviews i te wa o te mahi tiango tukutahi. He matā hiriwa, he mahere ranei hei whakatinana i nga mahi rite?
He mea tika kia maarama me pehea te mahi tangohanga. Ko nga mea ka korerotia e ahau ki a koe inaianei kaore e pa ana ki te patai, engari mena ka tika te mahara.
Ina whakauruhia ki roto i te ripanga tukurua, he tangohanga o nga poraka katoa kua whakauruhia. Mēnā ka kōkuhu anō koe i te paraka kotahi kei roto te tau ōrite o ngā haupae ōrite ki te raupapa ōrite, ka whakakorehia te raraunga. Ka whiwhi koe i te "Ok" hei whakautu ki te whakauru, engari ko te mea ka tuhia kia kotahi te paatete o nga raraunga, karekau e taaruatia.
He mea tika tenei mo te tino mohio. Mena ka whiwhi koe i te "Ok" i te wa e whakauru ana, kua whakauruhia to raraunga. Mena ka whiwhi koe i tetahi hapa mai i te ClickHouse, ko te tikanga kaore i whakauruhia, me whakahoki ano e koe te whakauru. Engari ki te pakaru te hononga i te wa e whakauruhia ana, kare koe e mohio mena i whakauruhia nga raraunga kaore ranei. Ko te mea anake ko te whakahoki ano i te whakaurunga. Mena i whakauruhia nga raraunga ka whakauruhia ano e koe, kei reira te tangohanga poraka. Ka hiahiatia tenei hei karo i nga taarua.
A he mea nui ano hoki me pehea te mahi mo nga tirohanga tino. Mena kua whakakorehia nga raraunga i te wa i whakauruhia ki roto i te ripanga matua, kare ano hoki e uru ki te tirohanga tino.
Inaianei mo te patai. He uaua ake to ahuatanga na te mea kei te tuhi koe i nga taarua o nga raina takitahi. Arā, ehara i te mea ko te mōkihi katoa i tāritehia, engari ko ngā rārangi motuhake, ka hinga ki muri. Ae, ka hinga nga raraunga ki te teepu matua, engari ko nga raraunga kaore i tiangia ka haere ki te tirohanga whakakitenga, a, i te wa o te hanumi karekau he mea e pa ki nga tirohanga kua oti. Na te mea ko te tirohanga whakakitenga he mea ke atu i te keu whakauru. I etahi atu mahi, kaore he mea taapiri e pa ana ki a ia.
A e kore e taea e ahau te koa koe i konei. Me rapu noa koe i tetahi otinga motuhake mo tenei keehi. Hei tauira, ka taea te purei ano i roto i te tirohanga whakakitenga, ka pera ano te mahi a te tikanga tangohanga. Engari, kaore i nga wa katoa. Mena kei te whakahiato, kaore e mahi.
Kirill Shvakov: I hanga ano hoki matou i te ra. He raruraru kei reira nga panui panui, a tera ano etahi raraunga ka taea e matou te whakaatu i te waa tuuturu - he whakaaturanga noa enei. He iti noa te taarua, engari ki te pa mai tenei, ka tiango tatou i muri mai. A ko etahi mea kaore e taea te taarua - pao me tenei korero katoa. Engari i hiahia ano ahau ki te whakaatu ki a ratou tata tonu.
I pehea te hanga o nga whakaaro whakakitenga? He tirohanga i tuhia tika - i tuhia ki nga raraunga mata, ka tuhia ki nga tirohanga. I reira, i etahi wa kaore i te tino tika nga raraunga, ka taarua, me etahi atu. A tera ano tetahi waahanga tuarua o te teepu, he rite tonu te ahua ki nga tirohanga whakaraerae, ara, he rite tonu te hanga. I etahi wa ka tatau ano matou i nga raraunga, tatauhia nga raraunga kaore he taarua, tuhia ki aua ripanga.
I haere matou i roto i te API - kaore tenei e mahi i a ClickHouse. A ko te ahua o te API: ina whiwhi ahau i te ra o te taapiri whakamutunga ki te teepu, i reira ka whakamanahia kua tatauhia nga raraunga tika, ka tono ki tetahi tepu me tetahi atu tepu. Mai i tetahi ka kowhiria te tono ki tetahi wa, mai i tetahi atu ka whiwhi i nga mea kaore ano kia tatauhia. Na ka mahi, engari kaua ma ClickHouse anake.
Mena kei a koe etahi momo API - mo nga kaitätari, mo nga kaiwhakamahi - na, ko te tikanga, he whiringa tenei. Kei te tatau tonu koe, kei te tatau tonu. Ka taea te mahi kotahi i te ra, i etahi atu waa ranei. Ka whiriwhiria e koe maau ake he awhe kaore e hiahiatia ana e koe, kaore hoki e tino nui.
He maha nga raarangi a ClickHouse. Me pehea e kite ai au i nga mea katoa e pa ana ki te tūmau i te titiro?
He nui rawa atu nga rarangi rereke a ClickHouse, a kei te piki haere tenei tau. I roto i nga putanga hou, ko etahi o enei ka whakahohea ma te taunoa; i roto i nga putanga tawhito me whakahohea ina whakahōu ana. Heoi, he nui noa atu o raatau. I te mutunga, ka pirangi au ki te kite he aha te mahi ki taku tūmau inaianei, tera pea kei runga i etahi momo papatohu whakarāpopoto.
He roopu ClickHouse koe, he roopu ranei a o hoa, e tautoko ana i etahi mahi o nga papatohu kua oti te hanga hei whakaatu i enei raarangi hei hua kua oti? I te mutunga, he pai te titiro ki nga raarangi i ClickHouse. Engari he tino hauhautanga mena kua rite te ahua o te papatohu. Ka whiwhi au i te whana.
He papatohu, ahakoa kaore i te paerewa. I roto i ta maatau kamupene, tata ki te 60 nga roopu e whakamahi ana i te ClickHouse, a ko te mea tino rerekee ko te nuinga o ratou he papatohu i mahia e ratou ma ratou ake, me etahi mea rereke. Ko etahi o nga roopu e whakamahi ana i te whakaurunga Yandex.Cloud o roto. He purongo kua rite, ahakoa ehara i te mea e tika ana. Ko etahi atu kei a raatau ano.
Kei aku hoa mahi mai i Metrica ta ratou ake papatohu i Grafana, kei ahau ano taku ake mo ta ratou kahui. Kei te titiro ahau ki nga mea penei i te keteroki patua mo te keteroki serif. A ko te uaua ake ko te whakamahi taputapu rereke. I hanga e ahau taku papatohu ma te whakamahi i tetahi taputapu tawhito e kiia nei ko Graphite-web. He tino kino ia. A kei te whakamahi tonu ahau i tenei huarahi, ahakoa he pai ake, he ataahua a Grafana.
Ko te mea taketake i roto i nga papatohu he rite tonu. He inenga punaha enei mo te roopu: PTM, mahara, kōpae, whatunga. Ko etahi atu - te maha o nga tono tukutahi, te maha o nga hanumi tukutahi, te maha o nga tono mo ia hekona, te nui rawa o nga wahanga mo nga wahanga ripanga MergeTree, te roa o te tukurua, te rahi o te tutira tukurua, te maha o nga rarangi whakauru mo ia hekona, te maha o nga poraka kua whakauruhia mo ia hekona. Ko enei mea katoa ehara i te mea mai i nga raarangi, engari mai i nga inenga.
Vladimir Kolobaev: Alexey, e hiahia ana ahau ki te whakatika iti. Kei reira a Grafana. He puna raraunga a Grafana, ko ClickHouse. Arā, ka taea e au te tuku tono mai i a Grafana tika ki ClickHouse. He tepu a ClickHouse me nga poro, he rite tonu mo te katoa. Ko te mutunga mai, e hiahia ana ahau ki te uru atu ki tenei ripanga rangitaki i Grafana me te kite i nga tono a taku tūmau. He pai ki te whai papatohu penei.
I paihikara ahau ake. Engari he patai taku - mena he mea paerewa katoa, ka whakamahia e te katoa a Grafana, he aha te take kaore he papatohu mana a Yandex?
Kirill Shvakov: Inaianei, ko te puna raraunga e haere ana ki ClickHouse kei te tautoko inaianei i te Altinity. A ka hiahia noa ahau ki te hoatu he vector mo te waahi keri me ko wai hei pana. Ka taea e koe te patai ki a raatau, na te mea kei te mahi tonu a Yandex i te ClickHouse, ehara i te korero a tawhio noa. Ko Altinity te kamupene matua e whakatairanga ana i a ClickHouse. E kore ratou e whakarere ia ia, engari ka tautokona e ratou. No te mea, i roto i te kaupapa, ki te tuku i te papatohu ki te paetukutuku Grafana, me rehita noa koe me te tuku - kaore he raru motuhake.
Alexey Milovidov: I roto i te tau kua pahure ake nei, kua taapirihia e ClickHouse te maha o nga kaha ki te rapu korero. He inenga mo ia tono mo te whakamahinga rauemi. A, no tata nei, ka taapirihia e matou he kaikorero patai taumata-iti ake kia kite kei hea te whakapaunga o te patai ia milihakona. Engari ki te whakamahi i tenei mahi, me whakatuwhera e ahau te kaihoko papatohu me te pato i tetahi tono, ka wareware tonu ahau. I tiakina e ahau ki tetahi waahi ka wareware tonu ki hea.
Ko taku hiahia he taputapu i kii noa mai, koinei o patai taumaha, kua whakarōpūhia e te akomanga patai. I pehia e ahau tetahi, a ka kii mai ratou ki ahau na te mea he taumaha. Karekau he otinga penei inaianei. He tino rerekee ina patai mai nga tangata ki a au: "Korero mai ki ahau, kei kona ano etahi papatohu kua rite mo Grafana?", Ka ki atu ahau: "Haere ki te paetukutuku a Grafana, kei reira he hapori "Dashboards", kei reira he papatohu. mai i Dimka, he papatohu mai i Kostyan. Kaore au i te mohio he aha tena, kaore au i whakamahi i a au ano."
Me pehea te awe i nga hanumi kia kore ai te tūmau e taka ki te OOM?
He ripanga taku, kotahi noa te wehewehenga o te ripanga, ko ReplacingMergeTree. Kua tuhia e au nga raraunga ki roto mo nga tau e wha. I hiahia ahau ki te whakarereke me te whakakore i etahi raraunga.
I mahia e ahau tenei, a, i te wa o te tukatuka o tenei tono, ka pau nga mahara katoa i runga i nga kaitoro katoa i roto i te roopu, a ko nga kaitoro katoa i roto i te roopu i uru ki OOM. Katahi ka whakatika katoa ratou, ka timata ki te whakakotahi i tenei mahi kotahi, tenei poraka raraunga, ka taka ano ki roto i te OOM. Katahi ratou ka whakatika, ka hinga ano. A kaore tenei mea i mutu.
Katahi ka puta ko tenei he bug i whakatikahia e nga taangata. He tino pai tenei, ka nui te mihi. Engari he toenga i toe. Inaianei, ka whakaaro ahau ki te hanga i tetahi momo hanumi ki te teepu, he patai taku - he aha te take e kore e taea e au te awe i enei hanumi? Hei tauira, whakawhāitihia ma te nui o te RAM e hiahiatia ana, ma te maapono ranei, ma te nui e whakahaere i tenei ripanga.
He ripanga taku e kiia nei ko "Metrics", me tukatuka maaku kia rua nga miro. Karekau he take ki te hanga hanumi tekau, kia rima ranei kia whakarara, mahia kia rua. Ki taku whakaaro he nui aku mahara mo te rua, engari kare pea e ranea ki te mahi tekau. He aha te wehi ka mau tonu? Na te mea kei te tipu haere te teepu, a i tetahi ra ka pa ahau ki tetahi ahuatanga, i runga i te kaupapa, kaore i te tika na te pepeha, engari na te mea ka huri nga raraunga i roto i te nui o te nui ka kore noa e nui taku mahara ki te tūmau. Na ka tuki te tūmau ki te OOM ina hanumi. I tua atu, ka taea e au te whakakore i te huringa, engari kua kore a Merji i reira.
E mohio ana koe, i te wa e whakakotahi ana, kaore te kaimau e taka ki roto i te OOM, na te mea ka hanumi, ka whakamahia te nui o te RAM mo tetahi waahanga iti o nga raraunga. Na ka pai nga mea katoa ahakoa te nui o nga raraunga.
Vladimir Kolobaev: pai. I konei ko te waa i muri i te whakatikanga o te bug, ka tango ahau i tetahi putanga hou mo au, a ki runga i tetahi atu tepu, he iti ake, he maha nga waahanga, i mahia e au he mahi rite. A i te wa o te hanumi, tata ki te 100 GB o RAM i tahuna ki runga i te tūmau. 150 ahau i noho, 100 i kai, me te 50 GB matapihi i mahue, na reira kaore au i taka ki te OOM.
He aha te mea hei tiaki i ahau kei taka ki te OOM mena ka pau te 100 GB o te RAM? Me aha mena ka pau te RAM i runga i nga hanumi?
Alexey Milovidov: He raru ano ko te kai o te RAM mo te whakakotahitanga kaore i te iti. A ko te raru tuarua mena kua tohua he momo hanumi, katahi ka mahia na te mea kua tuhia ki te raarangi tukurua. Ko te rangitaki tukurua ko nga mahi e tika ana kia noho rite tonu te tauira. Ki te kore koe e mahi whawhe a-ringa ka huri whakamuri i tenei raarangi tukurua, me mahi te hanumi i tetahi huarahi, i tetahi atu.
Ae ra, ehara i te mea nui ki te whai i te herenga RAM e tiaki ana i te OOM. Kaore e awhina i te whakakotahitanga ki te whakaoti, ka tiimata ano, ka eke ki etahi paepae, ka maka he tuunga, ka timata ano - kaore he mea pai e puta mai i tenei. Engari ko te tikanga, he pai ki te whakauru i tenei here.
Me pehea e whakawhanakehia ai te taraiwa Golang mo ClickHouse?
Ko te taraiwa Golang, i tuhia e Kirill Shvakov, kua tautokohia inaianei e te roopu ClickHouse. Ko ia , kua nui ia inaianei, he pono.
He tuhipoka iti. He putunga whakamiharo me te aroha o nga momo ota mutunga kore - ko Vertica tenei. Kei a raatau ano a raatau ake taraiwa python mana, e tautokohia ana e nga kaihanga Vertica. A he maha nga wa i tino rerekee nga momo rokiroki me nga momo taraiwa, a ka mutu te mahi a te taraiwa. Me te tohu tuarua. Ko te tautoko mo tenei taraiwa mana, ki taku whakaaro, kei te whakahaerehia e te punaha "nipple" - ka tuhia e koe he take, ka whakairihia ake ake.
E rua aku patai. Inaianei ko te taraiwa a Kirill's Golang te huarahi taunoa ki te korero mai i a Golang me ClickHouse. Mena ka korero tonu tetahi ma te atanga http na te mea he pai ki a ia. Ka pehea te whanaketanga o tenei taraiwa? Ka tukutahia me nga huringa pakaru i roto i te putunga ake? A he aha te tikanga mo te whakaaro i tetahi take?
Kirill Shvakov: Ko te tuatahi ko te pehea o te whakariterite i nga mea katoa. Kaore i korerohia tenei korero, no reira kaore au e whakahoki.
Hei whakautu i te patai mo te take, me whai korero iti mo te taraiwa. I mahi ahau mo tetahi kamupene he maha nga raraunga. He kaihuri panui me te maha o nga huihuinga me penapena ki tetahi waahi. A i etahi wa ka puta mai a ClickHouse. I whakakiia e matou ki nga raraunga, i te tuatahi he pai nga mea katoa, engari ka hinga a ClickHouse. I taua wa ka whakatau matou kaore matou e hiahia.
He tau i muri mai, ka hoki matou ki te whakaaro mo te whakamahi i te ClickHouse, me tuhi korero ki reira. Ko te kupu whakataki ko tenei: he ngoikore te taputapu, he iti noa nga rauemi. Engari he penei tonu ta matou mahi, no reira i titiro matou ki te kawa Maori.
I te mea e mahi ana matou i roto i a Go, i kitea e hiahia ana matou ki tetahi taraiwa Go. I mahia e au i te wa katoa - ko taku mahi mahi. I kawea mai e matou ki tetahi waahi, a, ko te tikanga kaore tetahi i whakaaro ka whakamahia e tetahi atu i a matou. Na ka tae mai a CloudFlare me te rite tonu te raruraru, a mo etahi wa i mahi pai matou ki a ratou, na te mea he rite tonu nga mahi. I tua atu, i mahia e matou tenei i roto i te ClickHouse i a matou ano me te taraiwa.
I tetahi wa, ka mutu noa taku mahi, na te mea kua rereke taku mahi mo te ClickHouse me te mahi. No reira kaore nga take e kati. I ia wa, ko nga tangata e hiahia ana ki tetahi mea ka tuku ki te putunga. Katahi ahau ka titiro ki te tono kume, a, i etahi wa ka whakatika ahau i tetahi mea, engari he uaua tenei.
Kei te hiahia ahau ki te hoki ki te kaitaraiwa. He maha nga tau ki muri, i te wa i timata ai tenei mea katoa, he rereke ano a ClickHouse me nga kaha rereke. Inaianei kua maarama taatau me pehea te whakahou i te taraiwa kia pai ai te mahi. Mena ka tupu tenei, ka kore e hototahi te putanga 2 i roto i tetahi keehi na te kohi tootoo.
Kaore au e mohio ki te whakarite i tenei take. Kare au e whai taima nui mo au ano. Mena ka mutu etahi tangata i te taraiwa, ka taea e au te awhina me te korero ki a raatau me aha. Engari ko te whakauru kaha o Yandex ki te whakawhanaketanga o te kaupapa kaore ano kia korerohia.
Alexey Milovidov: Inaa, kare ano he tari tari mo enei kaitaraiwa. Ko te mea anake ka tukuna atu ki tetahi whakahaere whai mana, ara, ko tenei taraiwa e mohiotia ana ko te otinga taunoa mana mo Go. Arā ano etahi atu taraiwa, engari he mea wehe ke.
Karekau he whanaketanga o roto mo enei taraiwa. Ko te patai ka taea e tatou te utu i te tangata takitahi, ehara mo tenei taraiwa motuhake, engari mo te whanaketanga o nga taraiwa hapori katoa, ka kitea ranei he tangata o waho.
Karekau te papakupu o waho e uta ana i muri i te whakaara ano me te tautuhinga lazy_load kua whakahohea. Me aha?
Kua whakahohea te tautuhinga lazy_load, a, i muri i te whakaara ano i te tūmau, karekau te papakupu e uta ki a ia ano. Ka whakaarahia i muri i te urunga o te kaiwhakamahi ki tenei papakupu. A, i te wa tuatahi ka uru atu ahau, ka puta he hapa. Ka taea pea te utaina aunoa i nga papakupu ma te whakamahi i te ClickHouse, me whakahaere ranei e koe i nga wa katoa to ratou hihiko kia kore ai nga kaiwhakamahi e whiwhi hapa?
Tena pea he putanga tawhito o ClickHouse, no reira kaore te papakupu i uta aunoa. Ka penei pea?
Tuatahi, ka taea te utaina nga papakupu ma te whakamahi patai te tango papakupu punaha. Tuarua, mo te hapa - mena kua utaina te papakupu, katahi ka mahi nga patai i runga i nga raraunga i utaina. Mena kaore ano kia utaina te papakupu, ka utaina tika i te wa e tono ana.
Ehara tenei i te tino watea mo nga papakupu taumaha. Hei tauira, me toia he miriona rarangi mai i MySQL. Ka mahia e tetahi he kowhiringa ngawari, engari ko tenei kowhiringa ka tatari mo nga miriona rarangi kotahi. E rua nga otinga i konei. Ko te tuatahi ko te whakaweto i lazy_load. Tuarua, ka eke te tūmau, i mua i te utaina ki runga, mahia papakupu reload system me mahi patai noa ranei e whakamahi ana i te papakupu. Katahi ka utaina te papakupu. Me whakahaere e koe te waatea o nga papakupu me te tautuhinga lazy_load kua whakahohea, na te mea kaore a ClickHouse e utaina aunoa.
Ko te whakautu ki te patai whakamutunga he tawhito ranei te putanga, me whakakore ranei.
He aha te mahi me te mea karekau nga papakupu reload system e uta i tetahi o nga papakupu maha mena ka pakaru tetahi o aua papakupu i te hapa?
He patai ano mo nga papakupu reload system. E rua a matou papakupu - kaore tetahi i utaina, ka utaina te tuarua. I tenei take, karekau nga papakupu reload system e uta i tetahi papakupu, a me utaina e koe tetahi papakupu tohu-a-ira ma tona ingoa ma te whakamahi i te papakupu reload system. He hononga ano tenei ki te putanga ClickHouse?
Kei te pirangi ahau kia koa koe. I huri tenei whanonga. Ko te tikanga, ki te whakahou koe i a ClickHouse, ka huri ano. Mena kaore koe i te harikoa ki o ahuatanga o naianei te tango papakupu punaha, whakahou, me te tumanako ka huri mo te pai ake.
He huarahi hei whirihora i nga korero i roto i te whirihora ClickHouse, engari kaua e whakaatu mena he hapa?
Ko te patai e whai ake nei mo nga hapa e pa ana ki te papakupu, ara nga korero. Kua tohua e matou nga taipitopito hononga i roto i te whirihora ClickHouse mo te papakupu, a, ki te mea he hapa, ka whiwhi matou i enei korero me te kupuhipa hei whakautu.
I whakatauhia e matou tenei hapa ma te taapiri i nga taipitopito ki te whirihora taraiwa ODBC. He huarahi ano hei whirihora i nga korero i roto i te whirihora ClickHouse, engari kaua e whakaatu i enei korero mena he hapa?
Ko te tino otinga i konei ko te kii i enei tohu i roto i te odbc.ini, a i roto i te ClickHouse ka tohua te Ingoa Puna Raraunga ODBC anake. Kaore tenei e pa ki etahi atu puna papakupu - kaua mo te papakupu me MySQL, mo etahi atu ranei, kaua koe e kite i te kupuhipa ina whiwhi koe i te karere hapa. Mo ODBC, ka titiro ano ahau - mena kei te noho, me tango noa e koe.
Takoha: he papamuri mo Zoom mai i nga huihuinga
Ma te panui i te pikitia, ka tuwhera nga papamuri bonus mai i nga huihuinga mo nga kaipanui tohe tonu. Ka tineia e matou te ahi me nga mascots hangarau a Avito, ka korerorero matou ki nga hoa mahi mai i te ruma o te kaiwhakahaere punaha, i te karapu rorohiko kura tawhito ranei, a ka whakahaere matou i nga huihuinga o ia ra i raro i te piriti i runga i te papamuri o te graffiti.
Source: will.com