HighLoad++ Moscow 2018, Whare Runanga. Noema 9, 15:00
Nga waahanga me te whakaaturanga:
Yuri Nasretdinov (VKontakte): ka korero te ripoata mo te wheako o te whakatinana i te ClickHouse i roto i ta maatau kamupene - he aha e hiahiatia ana e matou, he aha te nui o nga raraunga e rongoa ana, me pehea te tuhi, me era atu.
Rauemi taapiri:
Yuri Nasretdinov: - Kia ora katoa! Ko Yuri Nasretdinov toku ingoa, no te mea kua whakauruhia ahau. Mahi ahau i VKontakte. Ka korero ahau mo te whakauru i nga raraunga ki ClickHouse mai i to maatau waka (tekau mano).
He aha nga rakau me te aha i kohia ai?
He aha ta matou e korero ki a koe: he aha ta matou i mahi, he aha i hiahia ai matou ki te "ClickHouse", he aha ta matou i whiriwhiri ai, he aha te ahua o te mahi ka taea e koe me te kore e whirihora i tetahi mea motuhake. Ka korero atu ano ahau ki a koe mo nga ripanga parepare, mo nga raru i pa mai ki a maatau me o maatau otinga i whakawhanakehia e matou mai i te puna tuwhera - KittenHouse me Lighthouse.
He aha i hiahia ai matou ki te mahi i tetahi mea (he pai nga mea katoa i runga i te VKontakte, tika?). I hiahia matou ki te kohi i nga raarangi patuiro (a he rau terapaita o nga raraunga kei reira), tera pea ka pai ake te tatau i nga tatauranga; a kei a matou nga mano tini o nga kaitoro e tika ana kia mahia enei mea katoa.
He aha tatou i whakatau ai? He otinga pea mo te penapena rakau. I konei - kei reira te iwi "Backend VK". Ka tino tūtohu ahau ki te ohauru ki a ia.
He aha nga rakau? He miihini tenei e whakahoki mai ana i nga raupapa kau. Ko nga miihini i roto i te VK ko etahi e kiia ana he microservices. Na tenei he whakapiri ataata (he nui nga mea pai). Me pehea? Tena, whakarongo mai!
He aha te mea ka taea ki te penapena rakau? Kaore e taea te korero ki a Hadup. Na, hei tauira, Rsyslog (te rongoa i enei raarangi i roto i nga konae). LSD. Ko wai ka mohio he aha te LSD? Kao, ehara tenei LSD. Rokiroki kōnae, ia, rawa. Ana, ko ClickHouse he whiringa kee.
Clickhouse me nga whakataetae: nga whakaritenga me nga waahi
He aha ta tatou e hiahia ai? E hiahia ana matou ki te whakarite kia kore matou e manukanuka nui mo te mahi, kia mahi i waho o te pouaka, he pai ki te whirihoranga iti. Kei te pirangi matou ki te tuhi maha, me te tuhi tere. A e hiahia ana matou ki te pupuri mo nga momo marama, tau, ara, mo te wa roa. Ka hiahia pea matou ki te mohio ki etahi raruraru i tae mai ki a matou me te kii, "Kare he mea e mahi ana i konei," a ko te 3 marama ki muri), a ka hiahia matou ki te kite i nga mea i tupu 3 marama ki muri " Kōpeketanga Raraunga - e marama ana he aha te mea ka pai ake - na te mea ka whakaitihia te nui o te waahi ka pau.
A he mea tino pai ta matou: i etahi wa ka tuhia e matou te whakaputanga o etahi whakahau (hei tauira, he raarangi), ka neke ake i te 4 kiropaita te ngawari. A, ki te mahi tenei mea i runga i te UDP, kaore e tika kia whakapaua ... karekau he "i runga ake" mo te hononga, a mo te maha o nga kaitoro ka waiho tenei hei taapiri.
Kia kite tatou he aha te puna tuwhera e tuku ana ki a tatou. Tuatahi, kei a matou te Logs Engine - ko ta matou miihini tenei; Ko te tikanga, ka taea e ia nga mea katoa, ka taea e ia te tuhi i nga rarangi roa. Ana, karekau i te marama te kopiri i nga raraunga - ka taea e matou te kopiri i nga pou nui ki te hiahia matou... karekau matou e pai (mehemea ka taea). Ko te raruraru anake ka taea e ia anake te tuku i nga mea e pai ana ki tana mahara; Hei panui i nga toenga, me tiki e koe te binlog o tenei miihini, a, na reira, ka roa te waa.
He aha etahi atu whiringa kei reira? Hei tauira, "Hadup". Te ngawari o te mahi... Ko wai te whakaaro he ngawari te whakarite a Hadup? Ko te tikanga, kaore he raruraru ki te tuhi. I te wa e panui ana, ka puta nga patai i etahi wa. Ko te tikanga, ka kii au kaore pea, ina koa mo nga rakau. Rokiroki mo te wa roa - o te akoranga, ae, kopae raraunga - ae, nga aho roa - he maamaa ka taea e koe te tuhi. Engari ko te rekoata mai i te maha o nga kaitoro ... Me mahi tonu koe i tetahi mea!
Rsyslog. Ko te tikanga, i whakamahia e matou hei whiringa taapiri kia taea ai e matou te panui me te kore e makahia te binlog, engari kaore e taea te tuhi raina roa; ko te tikanga, kaore e taea te tuhi neke atu i te 4 kiropaita. Me mahi ano koe i te kopeke raraunga. Ka puta te panui mai i nga konae.
Na ko te whanaketanga "badushka" o LSD. He rite tonu ki te "Rsyslog": e tautoko ana i nga aho roa, engari kaore e taea te mahi i runga i te UDP, me te mea, na tenei, engari, he maha nga mea me tuhi ano. Me hoahoa ano a LSD kia taea ai te tuhi mai i nga mano tini o nga kaitoro.
Na konei! He whiringa rorirori ko ElasticSearch. Me pehea te korero? He pai tana mahi ki te panui, ara, he tere tana panui, engari kaore i te tino pai ki te tuhi. Tuatahi, ki te kopirihia e ia nga raraunga, he tino ngoikore. Ko te nuinga pea, ko te rapu katoa e hiahia ana kia nui ake nga hanganga raraunga i te rahinga taketake. He uaua ki te whakahaere me te maha o nga raru ka ara ake. A, ano, te rekoata ki Elastic - ma tatou ano e mahi nga mea katoa.
I konei ko ClickHouse he whiringa pai, o te akoranga. Ko te mea anake ko te tuhi mai i nga mano tini o nga kaitoro he raru. Engari i te iti rawa tetahi raruraru, ka taea e tatou te ngana ki te whakaoti i te ahua. A ko te toenga o te ripoata mo tenei raruraru. He aha te ahua o te mahi ka taea e koe te tumanako mai i a ClickHouse?
Me pehea tatou e whakauru ai? Rakau Hanumi
Ko wai o koutou kare ano i rongo, i mohio ranei mo "ClickHouse"? Me korero atu ahau ki a koe, e hara? Tino tere. Ko te whakaurunga ki reira - 1-2 gigabits mo ia hekona, ko te pakaru ki te 10 gigabits ia hekona ka taea te tu ki tenei whirihoranga - e rua nga Xeons 6-matua (ara, ehara i te mea tino kaha), 256 gigabytes RAM, 20 terabytes i RAID (kaore he tangata i whirihora, tautuhinga taunoa). Ko Alexey Milovidov, te kaiwhakawhanake ClickHouse, kei te noho tangi i reira na te mea kaore matou i whirihora i tetahi mea (he rite nga mea katoa mo matou). Na reira, he tere matawai o, me kii, tata ki te 6 piriona nga raina mo ia hekona ka taea te tiki mena ka pai te kopaki o nga raraunga. Mena he pai ki a koe te % i runga i te aho kupu - 100 miriona nga rarangi mo ia hekona, ara, he tere te ahua.
Me pehea tatou e whakauru ai? Ana, e mohio ana koe kei te whakamahi a VK i te PHP. Ka whakauruhia e matou mai i ia kaimahi PHP ma te HTTP ki "ClickHouse", ki te ripanga MergeTree mo ia rekoata. Ko wai ka kite he raru mo tenei kaupapa? Mo etahi take, kaore nga tangata katoa i hiki o ratou ringa. Kia korero ahau ki a koe.
Tuatahi, he maha nga kaitoro - na reira, ka nui nga hononga (kino). Na he pai ake te whakauru raraunga ki MergeTree kia kaua e nui ake i te kotahi mo ia hekona. A ko wai ka mohio he aha? Pai, pai. He iti ake taku korero mo tenei. Ko tetahi atu patai whakamere ko te kore matou e mahi tātari, kaore matou e hiahia ki te whakarangatira i nga raraunga, kaore matou e hiahia ki nga kaitoro takawaenga, e hiahia ana matou ki te whakauru tika ki roto i te "ClickHouse" (he pai ake - ko te tika ake, ko te pai ake).
Na, me pehea te whakaurunga ki MergeTree? He aha i pai ake ai te kuhu ki roto kia kaua e nui ake i te kotahi i te rua, iti iho ranei? Ko te meka ko te "ClickHouse" he putunga papaarangi me te whakariterite i nga raraunga i roto i te raupapa pikinga o te matua matua, a, ka mahia e koe he whakauru, ka hangaia he maha o nga konae kia rite ki te maha o nga pou kei roto i nga raraunga kua tohua. i roto i te raupapa pikinga o te matua matua (kua hanga he whaiaronga motuhake, he huinga konae kei runga i te kōpae mo ia whakauru). Na ka tae mai te whakaurunga e whai ake nei, a, kei te papamuri ka whakakotahihia ki nga "waahanga" nui. I te mea kua tohua nga raraunga, ka taea te "hanumi" kia rua nga konae kua tohua me te kore e pau te mahara.
Engari, ka whakaaro pea koe, ki te tuhi koe i nga konae 10 mo ia whakaurunga, ka mutu ka tere a ClickHouse (ko to tūmau ranei), na reira ka tūtohu kia whakauruhia ki roto i nga waahanga nui. No reira, kaore matou i whakarewa i te kaupapa tuatahi ki te hanga. I whakarewahia e matou tetahi, kei konei te Nama 2:
I konei ka whakaarohia he kotahi mano nga kaitoro kua whakarewahia e matou, he PHP anake. A kei runga i ia tūmau ko to maatau kaihoko rohe, i huaina e matou ko "Kittenhouse", e pupuri ana i tetahi hononga ki te "ClickHouse" me te whakauru i nga raraunga i nga hēkona ruarua. Ka kuhu raraunga kaua ki MergeTree, engari ki roto i te ripanga parepare, e mahi tika ana ki te karo i te whakauru tika ki MergeTree i taua wa tonu.
Te mahi me nga ripanga papaa
He aha tena? Ko nga ripanga putunga he wahi pumahara kua tihorea (ara, ka taea te whakauru ki roto i nga wa maha). He maha nga waahanga, a ka mahi ia o nga waahanga hei parepare motuhake, ka rehia takitahi (mehemea he maha nga waahanga kei roto i te parapara, he maha nga whakaurunga mo ia hekona). Ka taea te panui mai i enei ripanga - ka panui koe i te whakakotahitanga o nga ihirangi o te papaa me te papa matua, engari i tenei wa ka aukatihia te tuhi, na he pai ake kia kaua e panui mai i reira. A ko nga tepu putunga e whakaatu ana i te QPS tino pai, ara, tae atu ki te 3 mano QPS kaore koe e raru i te wa e whakauru ana. He maamaa mena ka ngaro te mana o te tūmau, ka ngaro nga raraunga, na te mea i penapenahia ki te mahara.
I te wa ano, ko te kaupapa me te parapara ka whakararu i a ALTER, na te mea me tuku tuatahi koe i te teepu papaa tawhito me te kaupapa tawhito (kaore nga raraunga e ngaro ki hea, na te mea ka peehia i mua i te whakakore i te ripanga). Na ka "whakarereke" koe i te ripanga e hiahia ana koe ka hanga ano i te tepu papaa. No reira, ahakoa karekau he ripanga parepare, karekau o raraunga e rere ki hea, engari ka taea e koe ki runga kōpae i te iti rawa o te rohe.
He aha te Kittenhouse me pehea te mahi?
He aha te KittenHouse? He takawaenga tenei. Whakaarohia he aha te reo? I kohia e au nga kaupapa whakahirahira i roto i taku purongo - "Clickhouse", Haere, tera pea ka mahara ahau ki tetahi atu mea. Ae, kua tuhia tenei ki te Haere, na te mea kaore au i te tino mohio ki te tuhi ki te C, kaore au e pai.
Na reira, ka mau tonu he hononga ki ia tūmau ka taea te tuhi ki te mahara. Hei tauira, ki te tuhia e matou he rarangi hapa ki Clickhouse, na, ki te kore a Clickhouse e whai wa ki te whakauru i nga raraunga (i muri i nga mea katoa, mehemea he nui te tuhi), kaore matou e pupuhi i te mahara - ka maka noa atu te toenga. Na te mea ka tuhia e tatou etahi gigabits mo ia hēkona o nga hapa, katahi ka taea e tatou te maka etahi ki waho. Ka taea e Kittenhouse tenei mahi. I tua atu, ka taea e ia te kawe pono, ara, te tuhi ki te kōpae i runga i te miihini o te rohe me te wa kotahi (i reira, kotahi ia rua hēkona) ka ngana ki te tuku raraunga mai i tenei konae. I te tuatahi i whakamahia e matou te whakatakotoranga Uara auau - ehara i te whakatakotoranga rua, he whakatakotoranga tuhinga (penei i te SQL noa).
Inara kua tupu teia. I whakamahia e matou te tuku pono, tuhia nga raarangi, katahi ka whakatauhia (he kahui whakamatautau here)... I tukuna ki waho mo etahi haora ka whakahokia mai, ka timata te whakauru mai i te mano o nga kaitoro - ka kitea kei a Clickhouse tonu he "Miro i runga i te hononga" - na reira, i roto i te mano hononga, ko te whakaurunga kaha ka arahi ki te toharite kawenga i runga i te kaimau mo te kotahi mano me te hawhe mano. He mea whakamiharo, i whakaaehia e te tūmau nga tono, engari i whakauruhia tonu nga raraunga i muri i etahi wa; engari he tino uaua mo te kaimau ki te mahi...
Tāpiri nginx
Ko taua otinga mo te Miro mo ia tauira hononga he nginx. I whakauruhia e matou te nginx ki mua i te Clickhouse, i te wa ano ka whakarite i te whakataurite mo nga tauira e rua (kua piki ake te tere whakauru e 2 nga wa, ahakoa ehara i te mea koinei te take) me te whakaiti i te maha o nga hononga ki Clickhouse, ki te whakarunga, a, na reira, nui atu i te 50 nga hononga, te ahua nei kaore he take ki te whakauru.
Katahi matou ka mohio ko tenei kaupapa te tikanga he ngoikoretanga, na te mea kotahi noa a matou nginx i konei. Na, ki te pakaru tenei nginx, ahakoa te ahua o nga tauira, ka ngaro nga raraunga, kaore ranei, kaua e tuhi ki hea. Koira te take i hanga ai e matou ta matou ake taurite kawenga. I mohio ano matou he pai tonu te "Clickhouse" mo nga rakau, a ka timata ano te "rewera" ki te tuhi i ana rakau ki "Clickhouse" - he tino watea, kia pono. Ka whakamahia tonu e matou mo etahi atu "rewera".
Na ka kitea e matou tenei raru whakamere: mena ka whakamahi koe i tetahi tikanga kore-paerewa mo te whakauru ki te aratau SQL, ka peehia e ia he parser SQL e ahu mai ana i te AST, he tino puhoi. No reira, kua taapirihia e matou nga tautuhinga kia kore ai e puta. I mahia e matou te whakataurite, te tirotiro hauora, mena ka mate tetahi, ka waiho tonu e matou nga raraunga. Inaianei he maha nga ripanga e tika ana kia rereke nga tautau Clickhouse. Na ka timata ano matou ki te whakaaro mo etahi atu whakamahinga - hei tauira, i pirangi matou ki te tuhi i nga raarangi mai i nga waahanga nginx, engari kaore ratou e mohio ki te korero ma te whakamahi i to maatau RPC. Ana, e hiahia ana ahau ki te ako ki a raatau me pehea te tuku atu - hei tauira, ki te whiwhi kaupapa i runga i te localhost ma te UDP ka tuku atu ki a Clickhouse.
Kotahi te taahiraa mai i te otinga
Ko te kaupapa whakamutunga ka penei te ahua (te wha o nga putanga o tenei kaupapa): kei runga i ia tūmau kei mua o Clickhouse kei te nginx (i runga i te tūmau kotahi) a ka tukuna noa e ia nga tono ki te localhost me te rohe mo te maha o nga hononga o te 50 mongamonga. A kua tino mahi tenei kaupapa, he pai nga mea katoa.
Kotahi marama pea matou i noho penei. I harikoa nga tangata katoa, i tapirihia he teepu, he tapiri, he tapiri... I te nuinga o te waa, ko te ahua o te taapiri i nga ripanga papaa kaore i te tino pai (me penei). I mahia e matou nga wahanga 16 ki ia teepu me te waahi hiko mo te rua hēkona; e 20 a matou tepu, a, e 8 nga whakaurunga mo ia teepu mo ia hekona - a i tenei wa ka timata te "Clickhouse"... ka timata nga rekoata ki te puhoi haere. Kare ano ratou i haere ... he mea whakamere a Nginx na te mea ka mutu nga hononga ki te whakarunga, ka whakahoki noa "502" ki nga tono hou katoa.
Na konei kei a matou (i titiro noa ahau ki nga rakau i Clickhouse ake) tata ki te haurua ōrau o nga tono i rahua. Na reira, he nui te whakamahi kōpae, he maha nga hanumi. Kaati, he aha taku mahi? Ko te tikanga, kaore au i raru ki te whakaaro he aha te take i mutu ai te hononga me te whakarunga.
Te whakakapi i te nginx me te takawaenga whakamuri
I whakatau ahau me whakahaere e maatau ake tenei, kaore e tika kia waiho ma te nginx - kaore e mohio te nginx he aha nga tepu kei roto i te Clickhouse, a ka whakakapihia e ahau te nginx me te takawaenga whakamuri, naku ano i tuhi.
He aha tana mahi? E mahi ana i runga i te whare pukapuka fasthttp “goshnoy”, ara, tere, tata ki te nginx. Aroha mai, e Igor, mena kei konei koe (note: Ko Igor Sysoev he kaiwhakaputa Ruhia nana i hanga te tūmau tukutuku nginx). Ka taea e ia te mohio he aha enei momo patai - INSERT, SELECT ranei - na reira, he rereke nga puna hononga mo nga momo patai.
No reira, ahakoa karekau he wa ki te whakaoti i nga tono whakauru, ka paahi nga "whiriwhiri", ka mutu. Na ka whakarōpūhia nga raraunga ki roto i nga ripanga papaa - me te iti o te parapara: mena he hapa, he hapa wetewete, me etahi atu - kia kore ai e tino pa ki nga toenga o nga raraunga, na te mea ka whakauru noa matou ki roto i nga ripanga papaa, ka he "bachi" iti, a ko nga hapa wetereo katoa i pa ki tenei waahanga iti; a i konei ka pa kee ratou ki tetahi parepare nui. Ko te iti he 1 megabyte, ara, ehara i te iti rawa.
Ko te whakauru i te tukutahi me te whakakapi i te nginx, he rite tonu te mahi a nginx i mua - kaore koe e hiahia ki te whakarereke i te "Kittenhouse" o te rohe mo tenei. A, i te mea ka whakamahia e ia te fasthttp, he tino tere - ka taea e koe te neke atu i te 100 mano tono mo ia hekona mo nga whakaurunga kotahi ma te takawaenga whakamuri. Ko te tikanga, ka taea e koe te whakauru i tetahi raina i te wa kotahi ki roto i te takawaenga whakamuri kittenhouse, engari ko te tikanga kaore matou e mahi.
I penei te ahua o te kaupapa: "Kittenhouse", ka whakarōpūhia e te takawaenga whakamuri te maha o nga tono ki roto i nga tepu, a, ka uru atu nga teepu papaa ki roto i nga mea matua.
Ko te Kaipatu he otinga rangitahi, Kitten he pumau
He raruraru whakamere tenei... Kua whakamahia e koe tetahi o koutou fasthttp? Na wai i whakamahi fasthttp me nga tono POST? Tena pea, kaore i mahia tenei, na te mea ka aukati i te tinana tono ma te taunoa, a ko te rahi o to maatau papaa kua whakaritea ki te 16 megabytes. Ka mutu te whakaurunga i tetahi wa, a ka timata te taenga mai o nga 16-megabyte chunks mai i nga mano tini o nga kaimau, a ka mau katoa i roto i te mahara i mua i te tuku ki Clickhouse. Na reira, ka pau te mahara, ka haere mai te Kaipatu i waho-Of-Memory ka patua te takawaenga whakamuri (ko "Clickhouse" ranei, ka taea te "kai" nui atu i te takawaenga whakamuri). Ka hoki ano te huringa. Ehara i te raru tino pai. Ahakoa i tutuki i a matou tenei i muri i etahi marama o te mahi.
He aha aku mahi? Ano, kaore au e tino pai ki te mohio he aha te mea i tupu. Ki taku whakaaro he tino kitea kia kaua koe e uru ki roto i te mahara. Kaore i taea e au te tarai terehttp, ahakoa i whakamatau ahau. Engari i kitea e ahau he huarahi ki te hanga kia kore ai he take ki te papaki i tetahi mea, ka puta ake taku tikanga i roto i te HTTP - ka kiia e ahau ko KITTEN. Ana, he arorau - "VK", "Kitten"... He aha atu?..
Mena ka tae mai he tono ki te tūmau me te tikanga Kitten, me whakautu te tūmau "meow" - arorau. Mena ka whakautuhia e ia tenei, ka whakaarohia e mohio ana ia ki tenei kawa, katahi ka haukotia e ahau te hononga (he tikanga pera te fasthttp), ka uru te hononga ki te aratau "raw". He aha ahau ka hiahia ai? Kei te pirangi au ki te whakahaere me pehea te panui mai i nga hononga TCP. He taonga whakamiharo a TCP: ki te kore tetahi e panui mai i tera taha, ka timata te tuhi ki te tatari, kaore i tino pau te mahara ki tenei.
Na ka panui ahau mai i te 50 nga kaihoko i te wa kotahi (mai i te rima tekau no te mea e rima tekau ka nui, ahakoa ka puta mai te reiti mai i tetahi atu DC)... Kua heke te kai me tenei huarahi i te iti rawa 20 nga wa, engari ko ahau, kia pono. , Kaore i taea e au te ine i te waa, na te mea kua kore noa iho (kua eke ki te taumata o te hapa). He rua te kawa, ara, kei roto te ingoa ripanga me nga raraunga; karekau he pane http, no reira kaore au i whakamahi i te turanga tukutuku (kaore au e hiahia ki te korero ki nga kaitirotiro - I hanga e au he kawa e pai ana ki o maatau hiahia). Na ka pai nga mea katoa ki a ia.
He pouri te teepu papa
Ina tata nei i kite matou i tetahi atu ahuatanga whakamere o nga teepu buffer. A ko tenei raruraru kua tino mamae atu i era atu. Whakaarohia tenei ahuatanga: kei te kaha koe ki te whakamahi i te Clickhouse, he maha nga kaitoro Clickhouse kei a koe, me etahi tono ka roa rawa te panui (me kii, neke atu i te 60 hēkona); a ka haere mai koe ki te mahi i te Alter i tenei wa... I tenei wa, ko nga "whiriwhiri" i timata i mua i te "Alter" e kore e whakaurua ki tenei ripanga, "Alter" e kore e timata - tera pea etahi ahuatanga o te mahi a "Clickhouse" tenei wahi. Ka taea pea tenei te whakatika? Kaore ranei e taea?
I te nuinga o te waa, e marama ana ehara tenei i te raru nui, engari me nga papa papaa ka nui ake te mamae. Na te mea, mena, me kii atu, ko o taima "Whakaahua" (a ka mutu pea ki runga i tetahi atu kaihautu - ehara i a koe, engari i runga i te tauira, hei tauira), na... I mukua e koe te teepu buffer, to "Alter" ( he kaihautu atu ranei) kua pau te taima. katahi ka puta he hapa "Whakaahua" - me whakarite tonu koe kia tuhia tonutia nga raraunga: ka hangaia e koe nga ripanga parepare (kia rite ki te kaupapa rite ki te ripanga matua), katahi Ka haere te "Thuri", ka mutu, ka tiimata te rerekee o te ripanga i te aronuinga mai i te matua. I runga i te ahua o te "Alter", ka kore pea te whakauru e haere ki tenei tepu papaa - he tino pouri tenei.
He tohu pera ano (kua kite pea tetahi) - ka kiia ko query_thread_log i roto i nga putanga hou o Clickhouse. Na roto i te taunoa, i roto i etahi putanga he kotahi. I konei kua kohia e matou te 840 miriona rekoata i roto i nga marama e rua (100 gigabytes). Ko tenei na te mea i tuhia nga "whakauru" ki reira (pea pea inaianei, na te ara, kaore i tuhia). I korero ahau ki a koe, he iti a matou "whakauru" - he maha nga "whakauru" ki roto i nga ripanga papaa. E marama ana kua monoa tenei - kei te korero noa ahau ki a koe nga mea i kitea e au i runga i ta maatau tūmau. He aha? He tohenga ano tenei mo te whakamahi i nga ripanga buffer! He tino pouri a Spotty.
Ko wai i mohio ko Spotty te ingoa o tenei tangata? Ka hiki nga ringa o nga kaimahi VK. pai.
Mo nga mahere mo "KitttenHouse"
Ko nga mahere kaore i te tohatohahia, tika? Kare rawa koe e whakatutuki i aua mea, kare hoki e tino pai ki te titiro a etahi atu. Engari ka mau ahau i te tupono! E hiahia ana matou ki te mahi i enei e whai ake nei: ko nga teepu buffer, ki taku nei whakaaro, he toka tonu, me maatou ano e tarai te whakaurunga. Engari kare ano matou e pirangi ki te parai i runga i te kopae, no reira ka parea te whakaurunga ki te mahara.
No reira, ka mahia he "whakauru", ka kore e tukutahi - ka mahi ano he teepu parepare, ka kuhu ki roto i te ripanga matua (ka pai, i tetahi ra i muri mai) ka ripoata ma te hongere motuhake kua pahemo nga whakaurunga kua pahemo. kahore.
He aha e kore e taea e au te waiho i te whakauru tukutahi? He watea ake. Ko te mea mena ka whakauruhia e koe mai i te 10 mano nga kaihautu, ka pai nga mea katoa - ka whiwhi koe i te iti mai i ia kaihautu, ka whakauru koe ki reira kotahi te rua, he pai nga mea katoa. Engari e hiahia ana ahau kia mahi tenei kaupapa, hei tauira, mai i nga miihini e rua, kia taea ai e koe te tango i runga i te tere tere - kaore pea e puta te nui o te Clickhouse, engari me tuhi kia 100 megabytes ia hekona mai i te miihini kotahi ma te takawaenga whakamuri - me tauine te kaupapa ki nga rahinga nui me nga rahinga iti, no reira e kore e taea te tatari mo te tuarua mo ia whakaurunga, no reira me tukutahi. A pera ano, me tae mai nga whakapumautanga tukutahi i muri i te otinga o te whakaurunga. Ka mohio tatou mehemea kua paahitia, kaore ranei.
Ko te mea nui i roto i tenei kaupapa ka tino mohio tatou mena i uru te whakaurunga kaore ranei. Whakaarohia tenei ahuatanga: kei a koe he ripanga papaa, i tuhia e koe tetahi mea ki roto, katahi, me kii, ka uru te teepu ki te aratau panui anake ka ngana ki te horoi i te parapara. Ka haere nga raraunga ki hea? Ka noho tonu ratou i roto i te papaa. Engari kaore e taea e matou te tino mohio ki tenei - he aha mehemea he hapa ke atu, na te mea kaore nga raraunga e noho ki roto i te papaaa... (Nga wahitau Alexey Milovidov, Yandex, ClickHouse kaiwhakawhanake) Ka noho tonu ranei? I nga wa katoa? E whakapono ana a Alexey ka pai nga mea katoa. Kaore he take kia kaua e whakapono ki a ia. Engari he rite tonu: ki te kore tatou e whakamahi i nga ripanga papaa, karekau he raru ki a raatau. Ko te hanga i nga tepu e rua te maha o nga tepu kaore ano i te pai, ahakoa i roto i te kaupapa kaore he raru nui. Ko te mahere tenei.
Me korero tatou mo te panui
Inaianei me korero tatou mo te panui. I tuhia ano e matou ta matou ake taputapu ki konei. Ko te ahua nei, he aha koe ka tuhi ai i taau ake taputapu ki konei?.. Na wai i whakamahi a Tabix? He iti noa nga tangata i ara ake o ratou ringa... A ko wai e makona ki te mahi a Tabix? Ana, kaore matou i te harikoa, kaore i te tino watea mo te tiro raraunga. He pai mo te tātari, engari mo te maataki noa kaore i tino arotau. Na ka tuhia e au taku ake, taku ake atanga.
He tino ngawari - ka taea anake te panui raraunga. Kaore ia e mohio ki te whakaatu whakairoiro, kaore ia e mohio ki te mahi i tetahi mea. Engari ka taea e ia te whakaatu i nga mea e hiahiatia ana e tatou: hei tauira, e hia nga rarangi kei roto i te ripanga, te nui o te waahi (kaore e pakaru ki nga pou), ara, he atanga tino taketake te mea e hiahiatia ana e tatou.
A he rite tonu te ahua ki te Sequel Pro, engari i hangaia i runga i te Bootstrap Twitter, me te putanga tuarua. Ka patai koe: "Yuri, he aha i te putanga tuarua?" He aha te tau? 2018? I te nuinga o te wa, i mahia e au tenei mo te "Muscle" (MySQL) me te whakarereke i nga rarangi e rua i roto i nga patai i reira, a ka timata te mahi mo "Clickhouse", he mihi nui! Na te mea he tino rite te parser ki te "uaua", he rite tonu nga patai - he tino watea, ina koa i te tuatahi.
Ana, ka taea e ia te tarai i nga ripanga, ka taea te whakaatu i te hanganga me nga ihirangi o te ripanga, ka taea e koe te whakariterite, te tātari ma nga pou, te whakaatu i te patai i puta ai te hua, nga rarangi kua pa (e hia te hua), ara, te nga mea taketake mo te tiro raraunga. Tino tere.
He ētita hoki. I kaha ahau ki te tahae i te katoa o te ētita mai i a Tabix, engari kaore i taea e au. Engari he aha te mahi. Ko te tikanga, ko tera anake.
"Clickhouse" he pai mo nga ana
E hiahia ana ahau ki te korero ki a koe ko Clickhouse, ahakoa nga raruraru katoa i whakaahuahia, he tino pai mo nga rakau. Ko te mea nui, ka whakatauhia to maatau raru - he tere rawa, ka taea e koe te tarai i nga raarangi ma nga pou. Ko te tikanga, kaore i pai te mahi o nga teepu buffer, engari i te nuinga o te waa kaore he tangata e mohio he aha te take... Inaianei pea ka mohio koe ki hea ka raru koe.
TCP? I te nuinga o te waa, i roto i te VK he tikanga ki te whakamahi i te UDP. A, i taku whakamahi i te TCP ... Ko te tikanga, kaore he tangata i kii mai ki ahau: "Yuri, he aha taau e korero ana! Kaore e taea e koe, me UDP koe. I puta mai ko te TCP ehara i te mea whakamataku. Ko te mea anake, mena he tekau mano nga puhui hohe ka tuhia e koe, me ata whakarite e koe; engari ka taea, me te tino ngawari.
I oati ahau ki te tuku i te "Kittenhouse" me te "Lighthouse" ki HighLoad Siberia mena ka ohauru nga tangata katoa ki ta maatau "VK backend" a te iwi ... A e mohio ana koe, kaore nga tangata katoa i ohauru ... Ae ra, kaore au e tono kia ohauru koe ki to maatau tūmatanui. He tokomaha tonu o koutou, tera pea tetahi e hara, heoi ano, ohauru mai (a konei me hanga e au nga kanohi kia rite ki o te ngeru). Koira . Ka nui te mihi! Na matou a Github . Ma te Clickhouse ka ngawari o makawe me te hiraka.
Arataki: - E hoa ma, inaianei mo nga patai. I muri tonu mai i ta matou tuku i te tiwhikete mihi me to ripoata mo VHS.
Yuri Nasretdinov (i muri nei ka kiia ko YN): – I pehea koe ki te tuhi i taku purongo mo VHS mena ka mutu?
Arataki: – Kaore hoki e taea e koe te tino whakatau me pehea te mahi "Clickhouse" kaore ranei! E hoa ma, 5 meneti mo nga patai!
Au uiui
He patai na te hunga whakarongo (ka kiia i muri nei ko Q): - Kia pai te ahiahi. Ka nui te mihi ki a koe mo te ripoata. E rua aku patai. Ka timata ahau ki tetahi mea iti: ka pa te maha o nga reta t i te ingoa "Kittenhouse" i nga hoahoa (3, 4, 7...) ki te pai o nga ngeru?
YN: - Te nui o te aha?
Z: – Reta t. E toru nga t, tata ki te toru nga t.
YN: - Kaore au i whakatika? Ae, he tika! He hua rereke enei - i tinihanga noa ahau i a koe i enei wa katoa. Kaati, kei te kata ahau - kare he aha. Ah, i konei tonu! Kao, he rite tonu te mea, he hapa i mahia e au.
Z: - Mauruuru koe. He taumaha te patai tuarua. Ki taku mohio, i roto i te Clickhouse, ko nga teepu buffer e noho ana i roto i te maharatanga, kaore i te purua ki te kopae, a, na reira, kaore e mau tonu.
YN: - Ae.
Z: – A i te wa ano, ka paopao to kaihoko ki te kopae, e kii ana he taurangi mo te tuku o enei raarangi. Engari kaore tenei e whakamanahia i Clickhouse. Whakamaramahia mai pehea te whakahaeretanga o te taurangi, na te aha?.. Anei tenei tikanga mo etahi atu korero
YN: - Ae, ma te whakaaro kaore he tautohetohe i konei, na te mea ka hinga a Clickhouse, ka kitea e koe i roto i te miriona huarahi rereke. Mena ka pakaru a Clickhouse (mehemea ka he te mutunga), ka taea e koe te whakahoki i te iti o to rangitaki i tuhia e koe ka timata mai i te wa i tino pai nga mea katoa. Me kii ka hoki ano koe mo te meneti, ara, ka whakaarohia kua horoia e koe nga mea katoa i roto i te meneti.
Z: – Arā, “Kittenhouse” te roa ake te pupuri i te matapihi, a, mena ka taka, ka mohio ka taea te whakahoki ano?
YN: – Engari kei roto i te ariā tenei. I roto i nga mahi, kaore matou e mahi i tenei, a ko te tuku pono mai i te kore ki nga wa mutunga kore. Engari i te toharite kotahi. Kei te makona matou mena ka pakaru a Clickhouse mo etahi take, ka "whakahou ano" nga kaitoro, ka ngaro iti. I era atu keehi katoa, kaore he mea e tupu.
Z: - Kia ora. Mai i te timatanga ki taku whakaaro ka tino whakamahi koe i te UDP mai i te timatanga o te purongo. Kei a koe te http, nga mea katoa... A ko te nuinga o nga raru i whakaahuatia e koe, ki taku mohio, na tenei otinga ake...
YN: – He aha ta tatou e whakamahi TCP?
Z: - Ko te tikanga ae.
YN: - No.
Z: – Na te fasthttp i raru koe, me te hononga i raru koe. Mena kua whakamahia e koe te UDP kua tiakina e koe he wa roa. Ana, ka raru pea mo nga karere roa, tetahi atu mea ranei...
YN: - Me te aha?
Z: – Me nga karere roa, na te mea kaore pea e uru ki roto i te MTU, tetahi atu mea... Kaati, tera pea he raruraru o ratou ake. Ko te patai: he aha te UDP?
YN: - E whakapono ana ahau ko nga kaituhi i whakawhanake i te TCP / IP he tino mohio ake i ahau me te mohio pai ake i ahau ki te whakariterite i nga paatete (kia haere ai), i te wa ano ka whakatika i te matapihi tuku, kaua e nui atu i te whatunga, tuku urupare mo te aha kaore i te panuitia, kaore i te tatau ki tera taha ... Ko enei raruraru katoa, ki taku whakaaro, ka noho i roto i te UDP, engari me tuhi e ahau etahi atu waehere nui atu i nga mea kua tuhia e ahau kia taea ai te whakatinana i taua mea ano me te mea pea kino. Kaore au i te tino pai ki te tuhi i roto i te C, waiho noa ki reira...
Z: - Watea noa! Kua pai te tuku me kaua e tatari mo tetahi mea - he kore tukutahi. I hoki mai he panui kei te pai nga mea katoa - ko te tikanga kua tae mai; Ki te kore e tae mai, ko te tikanga he kino.
YN: – Kei te hiahia au ki nga mea e rua – Me kaha ahau ki te tuku i nga mea e rua me te taurangi o te tuku me te kore he taurangi mo te tuku. E rua enei ahuatanga rereke. Me kore au e ngaro etahi rakau, kaua ranei e ngaro i runga i te take.
Z: – E kore ahau e moumou taima. Me korero ake tenei. Mauruuru koe.
Arataki: – Ko wai he patai – ringa ki te rangi!
Z: - Kia ora, ko Sasha ahau. I tetahi waahi i waenganui o te purongo, ka puta mai he whakaaro, i tua atu i te TCP, ka taea te whakamahi i tetahi otinga kua rite - etahi momo Kafka.
YN: – Well... I korerotia e ahau ki a koe e kore ahau e pai ki te whakamahi i nga kaitoro takawaenga, no te mea ... i Kafka, ka puta mai he tekau mano nga kaihautu; inaa, he maha ake a tatou - tekau mano o nga kaihautu. Ka mamae ano te mahi ki a Kafka me te kore he takawaenga. I tua atu, ko te mea nui, ka tukuna tonu e ia te "tere", ka hoatu e ia etahi atu ope e hiahia ana koe. Engari kaore au e pai ki a raatau - kei te pirangi au ...
Z: "Engari i te mutunga ka puta ke tera."
YN: – Kao, karekau he kaihautu! Ka mahi katoa tenei ki nga kaihautu Clickhouse.
Z: - Ae, me te "Kittenhouse", ko te whakamuri - kei hea ia e noho ana?
YN: – I runga i te kaihautu Clickhouse, kaore e tuhia tetahi mea ki te kōpae.
Z: - Me whakaaro tatou.
Arataki: – Kua makona koe? Ka taea e matou te hoatu utu ki a koe?
Z: - Ae, ka taea e koe. Inaa, he maha nga tootoo kia whiwhi ai i te mea ano, inaianei - ko te whakautu o mua mo te kaupapa TCP e whakahē ana, ki taku whakaaro, ki tenei ahuatanga. Te ahua nei kua taea nga mea katoa i runga i oku turi i roto i te wa iti ake.
YN: - A he aha hoki ahau i kore ai e pai ki te whakamahi i a Kafka, na te mea he maha nga amuamu i roto i te korerorero Clickhouse Telegram, hei tauira, kua ngaro nga karere a Kafka. Ehara i a Kafka ano, engari i roto i te whakauru o Kafka me Clickhaus; kaore ranei tetahi mea i hono ki reira. Ko te korero, me tuhi he kaihoko mo Kafka i tera wa. Ki taku whakaaro kaore pea he otinga ngawari ake, pono ake ranei.
Z: – Korero mai ki ahau, he aha koe i kore ai e whakamatau i nga rarangi, i etahi momo pahi noa? I te mea e kii ana koe me te tukutahi ka taea e koe te tuku i nga raarangi i roto i te rarangi me te whiwhi urupare i roto i te rarangi?
YN: – Tena koa whakaaro he aha nga rarangi ka taea te whakamahi?
Z: – Tetahi, ahakoa kahore he taurangi kei te pai. Ko etahi momo Redis, RMQ...
YN: - Kei te whakaaro ahau kaore pea a Redis e kaha ki te toia te rahi o te whakaurunga ahakoa i runga i tetahi kaihautu (i runga i te tikanga o te maha o nga kaitoro) ka toia mai a Clickhouse. Kaore e taea e au te tautoko i tenei me etahi taunakitanga (kaore au i whakatauhia), engari ki taku whakaaro ehara ko Redis te otinga pai i konei. Ko te tikanga, ko tenei punaha ka taea te kiia he rarangi karere i whakapai ake, engari he mea whakarite mo "Clickhouse" anake.
Arataki: – Yuri, ka nui te mihi. E mea ana ahau kia whakamutua nga patai me nga whakautu ki konei ka kii ko wai o te hunga i patai te patai ka hoatu e matou te pukapuka.
YN: – E hiahia ana ahau ki te hoatu pukapuka ki te tangata tuatahi i patai.
Arataki: - Mīharo! Rawe! Mīharo! Nga mihi nui!
Ko etahi panui 🙂
Mauruuru koe mo te noho ki a matou. He pai ki a koe a maatau tuhinga? Kei te hiahia koe ki te kite i etahi atu mea whakamere? Tautokohia matou ma te tuku ota me te tuku korero ki o hoa, , he tairitenga ahurei o nga kaitoro taumata-urunga, na matou i hanga mo koe: (e waatea ana me te RAID1 me te RAID10, tae atu ki te 24 matua me te 40GB DDR4).
Dell R730xd 2x iti ake i te pokapū raraunga Equinix Tier IV i Amsterdam? Anei i konei i roto i te Netherlands! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - mai i te $99! Pānuihia mo
Source: will.com