I roto i nga tau kua pahure ake nei, kua huri nga papaaarangi-waa mai i tetahi mea kee (he tino tohunga i whakamahia i roto i nga punaha aroturuki tuwhera (me te herea ki nga otinga motuhake) i roto ranei i nga kaupapa Raraunga Nui) ki te "hua kaihoko". I te rohe o te Russian Federation, me mihi motuhake ki a Yandex me ClickHouse mo tenei. Tae noa ki tenei wa, ki te hiahia koe ki te penapena i te maha o nga raraunga raupapa-waahi, me whakaae koe me te hiahia ki te hanga i tetahi puranga Hadoop nui me te pupuri, me te korero ranei ki nga kawa takitahi mo ia punaha.
Te ahua nei i te tau 2019 he tuhinga mo te TSDB e pai ana ki te whakamahi ka kotahi noa te rerenga korero: "whakamahia te ClickHouse." Engari ... he nuances.
Inaa, kei te kaha te whanake a ClickHouse, kei te tipu haere te turanga kaiwhakamahi, kei te tino kaha te tautoko, engari kua riro tatou hei mauhere mo te angitu a te iwi o ClickHouse, kua whakamarumaru i etahi atu, tera pea he pai ake/whakapono?
I te timatanga o tera tau, i timata taatau ki te mahi ano i a maatau ake punaha aroturuki, i te waa ka puta te patai mo te kowhiri i tetahi putunga raraunga pai mo te penapena raraunga. E hiahia ana ahau ki te korero mo te hitori o tenei whiringa i konei.
Kaupapa raru
Tuatahi, he kupu whakataki e tika ana. He aha ta tatou ake punaha aroturuki me pehea te hoahoa?
I timata matou ki te whakarato ratonga tautoko i te tau 2008, a i te tau 2010 ka marama kua uaua ki te whakahiato i nga raraunga e pa ana ki nga tukanga e puta ana i roto i te hanganga o te kiritaki me nga otinga i noho i taua wa (e korero ana matou, e te Atua, murua ahau, Cacti, Zabbix me te Graphite e puta mai ana).
Ko o maatau tino whakaritenga ko:
- tautoko (i taua wa - he maha, a kei te heke mai - he rau) o nga kaihoko i roto i te punaha kotahi me te wa ano ko te noho mai o te punaha whakahaere matohi;
- te ngawari ki te whakahaere i te punaha mataara (te pikinga o nga matohi i waenga i nga apiha mahi, te whakarite, te turanga matauranga);
- te kaha ki te tino whakamaarama i nga kauwhata (Na Zabbix i tera wa i whakaputa kauwhata hei ahua pikitia);
- te rokiroki mo te wa roa o te nui o nga raraunga (he tau neke atu ranei) me te kaha ki te tiki tere.
I roto i tenei tuhinga ka aro atu tatou ki te kaupapa whakamutunga.
Mo te rokiroki, ko nga whakaritenga e whai ake nei:
- me tere te mahi a te punaha;
- he mea hiahia kia whai atanga SQL te punaha;
- me u te punaha me te whai turanga kaiwhakamahi kaha me te tautoko (i te wa i pa ki a matou te hiahia ki te tautoko i nga punaha penei i te MemcacheDB, kaore i whakawhanakehia, ko te rokiroki kua tohatohahia e MooseFS, ko te kaitirotiro pepeha i mau ki te reo Hainamana: ka tuaruatia e matou tenei korero mo ta matou kaupapa kaore i hiahia);
- te tautukunga ki te kaupapa CAP: Consitency (hiahiahia) - me noho hou nga raraunga, kaore matou e hiahia kia kore te punaha whakahaere mataara e whiwhi raraunga hou me te tuwha i nga matohi mo te kore e tae mai nga raraunga mo nga kaupapa katoa; Te Whakaaetanga Wehewehenga (e hiahiatia ana) - kaore matou e hiahia ki te tiki i te punaha Roro Waahanga; Te waatea (kaore i te tino nui, mena he tauira kaha) - ka taea e taatau te huri ki te punaha taapiri mena ka puta he aitua, ma te whakamahi i te waehere.
He mea whakamiharo, i tera wa ka puta ko MySQL te otinga pai mo tatou. He tino ngawari to matou hanganga raraunga: id tūmau, id counter, tohuwā me te uara; Ko te whakatauira tere o nga raraunga wera i whakapumauhia e te puna nui, a ko te tauira o nga raraunga o mua i whakapumautia e SSD.
No reira, i tutuki i a matou he tauira o nga raraunga hou e rua-wiki, me nga taipitopito tae noa ki te 200 ms tuarua i mua i te whakaputanga katoa o nga raraunga, ka noho ki tenei punaha mo te wa roa.
I taua wa, ka pahemo te wa, ka piki ake te nui o nga raraunga. I te tau 2016, kua eke nga pukapuka raraunga ki te tekau terabytes, he utu nui i roto i te horopaki o te rokiroki SSD reti.
I tenei wa, kua kaha te whanui o nga papaarangi pourangi, i timata matou ki te whakaaro nui: i roto i nga papaarangi pourangi, kei te rongoa nga raraunga, ka taea e koe te mohio, i roto i nga pou, a ki te titiro koe ki o maatau raraunga, he maamaa te kite i te nui. te maha o nga taarua ka taea, i roto i te Ki te whakamahi koe i te putunga raraunga pourangi, whakakopeketia ma te whakamahi i te kopeketanga.
Heoi, ko te punaha matua o te kamupene i mahi tonu, a kaore au i pai ki te whakamatau me te huri ki tetahi atu mea.
I te tau 2017, i te huihuinga Percona Live i San Jose, ko nga kaiwhakawhanake Clickhouse pea i kii mo te wa tuatahi. I te tuatahi o te titiro, kua rite te punaha (he pai, ko Yandex.Metrica he punaha whakaputa kino), he tere me te ngawari te tautoko, a, ko te mea nui, he ngawari te mahi. Mai i te tau 2018, kua timata matou i te tukanga whakawhiti. Engari i taua wa, he maha nga "pakeke" me nga punaha TSDB kua whakamatauria i te waa, a ka whakatau matou ki te whakapau i te waa me te whakataurite i nga momo rereke kia mohio ai kaore he otinga rereke ki a Clickhouse, e ai ki o maatau whakaritenga.
I tua atu i nga whakaritenga rokiroki kua tohua, kua puta nga mea hou:
- me whakarato te punaha hou i te iti rawa o te mahi rite ki MySQL i runga i te nui o nga taputapu;
- ko te rokiroki o te punaha hou me iti ake te waahi;
- Me ngawari tonu te whakahaere i te DBMS;
- I hiahia ahau ki te whakarereke i te tono i te wa e huri ana i te DBMS.
He aha nga punaha i timata taatau ki te whakaaro?
Apache Hive/Apache Impala
He tapae Hadoop tawhito, kua whakamatauria ki te whawhai. Ko te mea nui, he atanga SQL i hangaia i runga ake o te penapena raraunga ki nga whakatakotoranga taketake i runga i te HDFS.
AtAKi.
- Ki te mahi pūmau, he tino ngawari ki te tauine raraunga.
- He otinga pou mo te rokiroki raraunga (he iti ake te mokowā).
- He tere rawa te mahi o nga mahi whakarara i te wa e waatea ana nga rauemi.
Nga iti.
- He Hadoop, he uaua ki te whakamahi. Mena kaore matou i te rite ki te tango i tetahi otinga kua rite i roto i te kapua (kaore ano matou i te rite mo te utu), me whakahiato te puranga katoa me te tautoko e nga ringaringa o nga kaiwhakahaere, a kaore matou e hiahia. tenei.
- Ka whakahiatohia nga raraunga .
Heoi:
Ka taea te tere ma te whakarahi i te maha o nga kaiwhakarato rorohiko. Me korero noa, mena he kamupene nui matou, e mahi ana i nga mahi tātari, a he mea nui mo te pakihi ki te whakahiato i nga korero i te wa e taea ai (ahakoa te utu mo te whakamahi i te nui o nga rauemi rorohiko), koinei pea ta maatau e whiriwhiri. Engari kaore matou i rite ki te whakanui i nga waka taputapu kia tere ake nga mahi.
Druid/Pinot
He maha ake nga korero mo te TSDB, engari ano, ko te Hadoop stack.
He .
I etahi kupu iti: He pai ake te ahua o Druid/Pinot i a Clickhouse i nga keehi:
- He rerekee to ahua o nga raraunga (i ta matou keehi, ka tuhia e matou nga raupapa taima o nga inenga tūmau, me te pono, he teepu kotahi tenei. Engari tera pea etahi atu keehi: raupapa wa taputapu, raupapa wa ohaoha, me etahi atu. tona ake hanganga, me whakahiato me te tukatuka).
- I tua atu, he nui tenei raraunga.
- Ko nga ripanga me nga raraunga whai raupapa wa ka puta ka ngaro (ara, kua tae mai etahi huinga raraunga, i tātarihia, i whakakorea).
- Karekau he paearu marama e taea ai te wehewehe raraunga.
I etahi atu keehi, he pai ake te mahi a ClickHouse, a koinei to maatau.
PaateneToko
- SQL-rite
- He ngawari ki te whakahaere.
- E ai ki nga tangata ka whai hua.
Ka tohua mo te whakamatautau.
InfluxDB
He rereke ke atu ki a ClickHouse. O nga mea iti: Kei te waatea noa i te waahanga hokohoko, engari me whakataurite.
Ka tohua mo te whakamatautau.
Cassandra
I tetahi taha, e mohio ana matou kei te whakamahia ki te penapena i nga waahanga taima e nga punaha aroturuki penei, hei tauira, OkMeter ranei. Heoi ano, he korero motuhake.
Ehara a Cassandra i te putunga raraunga pourangi i roto i te tikanga tuku iho. He rite tonu te ahua ki te tirohanga haupae, engari he rereke te maha o nga pou o ia rarangi, na reira ka ngawari ki te whakarite tirohanga poupou. I roto i tenei tikanga, e marama ana me te rohe o te 2 piriona pou, ka taea te penapena i etahi raraunga i roto i nga pou (me te raupapa wa ano). Hei tauira, kei MySQL he rohe o nga pou 4096 me te ngawari ki te tutuki i runga i te hapa me te waehere 1117 mena ka ngana koe ki te mahi pera.
Ko te miihini Cassandra e aro nui ana ki te penapena i te nui o nga raraunga i roto i te punaha tohatoha kaore he rangatira, a, ko te kaupapa Cassandra CAP kua whakahuahia ake nei he nui ake mo te AP, ara, mo te waatea o nga raraunga me te aukati ki te wehewehe. No reira, ka pai tenei taputapu mena ka hiahia koe ki te tuhi ki tenei paataka korero me te kore e panui mai. Na konei he mea tika ki te whakamahi i a Cassandra hei rokiroki "makariri". Arā, hei waahi mo te wa roa, he waahi pono ki te penapena i te nui o nga raraunga o mua kaore e hiahiatia ana, engari ka taea te tiki mena ka tika. Heoi, mo te tino pai, ka whakamatauria ano e matou. Engari, ka rite ki taku korero i mua, kaore he hiahia ki te tuhi ano i te waehere mo te otinga raraunga kua tohua, na reira ka whakamatauhia e matou he iti noa - me te kore e whakarereke i te hanganga raraunga ki nga korero a Cassandra.
Prometheus
Ana, na runga i te hiahia, i whakatau matou ki te whakamatautau i te mahi o te rokiroki Prometheus - kia mohio ai mena he tere ake, he puhoi ake ranei i nga otinga o naianei me te nui.
Te tikanga whakamatautau me nga hua
Na, i whakamatauria e matou nga papaaarangi 5 i roto i nga whirihoranga e 6 e whai ake nei: ClickHouse (1 node), ClickHouse (te ripanga tohatoha mo te 3 nodes), InfluxDB, Mysql 8, Cassandra (3 nodes) me Prometheus. Ko te mahere whakamatautau e whai ake nei:
- tukuhia nga raraunga o mua mo te wiki (840 miriona uara ia ra; 208 mano ine);
- ka whakaputahia e matou he kawenga rekoata (6 nga momo kawenga i whakaarohia, tirohia i raro nei);
- Ka rite ki te rekoata, ka whiriwhiri maatau i ia wa, ka peehia nga tono a te kaiwhakamahi e mahi ana me nga tūtohi. Kia kore ai e tino whakararu i nga mea, i kowhiria e matou nga raraunga mo nga inenga 10 (koira te maha kei runga i te kauwhata CPU) mo te wiki.
Ka utaina e matou ma te whai i te whanonga a to maatau kaihoko aroturuki, ka tukuna nga uara ki ia mita kotahi ia 15 hēkona. I te wa ano, e hiahia ana matou ki te rereke:
- te tapeke o nga inenga i tuhia ai te raraunga;
- te wa mo te tuku uara ki te ine kotahi;
- te rahi o te puranga.
Mo te rahi o te puranga. I te mea karekau i te tūtohu kia utaina tata katoa o a maatau papaa raraunga whakamatautau me nga whakaurunga kotahi, ka hiahiatia he reera hei kohi inenga taumai ka whakarōpūhia ki roto i nga roopu ka tuhia ki te papaaarangi hei whakauru puranga.
Ano hoki, kia pai ake te maarama me pehea te whakamaarama i nga raraunga kua riro mai, me whakaaro tatou ehara i te tuku noa i te tini o nga inenga, engari kua whakaritea nga inenga ki roto i nga kaitoro - 125 ine mo ia tūmau. I konei he hinonga mariko noa te tūmau - kia mohio ai, hei tauira, 10000 nga inenga e rite ana ki te 80 nga tūmau.
Na konei, ma te whai whakaaro ki enei mea katoa, ko ta maatau papaarangi 6 nga momo kawenga tuhi:
E rua nga waahi i konei. Tuatahi, mo Cassandra he nui rawa enei rahinga puranga, i reira ka whakamahia e matou nga uara o te 50, 100 ranei. A tuarua, na te mea e mahi kaha ana a Prometheus ki te aratau kume, i.e. ko ia ano ka haere ki te kohi raraunga mai i nga puna inenga (a tae noa ki te huarahi pana, ahakoa te ingoa, kaore e tino rerekee te ahuatanga), i whakatinanahia nga kawenga e rite ana ma te whakakotahitanga o nga whirihora pateko.
Ko nga hua whakamatautau e whai ake nei:
He aha te mea hei tohu: nga tauira tino tere mai i Prometheus, nga tauira tino puhoi mai i a Cassandra, nga tauira puhoi mai i InfluxDB; I runga i te tere o te rekoata, i toa a ClickHouse i nga tangata katoa, a kaore a Prometheus e uru ki te whakataetae, na te mea kei te whakauru i a ia ano, kaore matou e ine i tetahi mea.
Ka rite ki te hua,: Ko te ClickHouse me te InfluxDB i whakaatu ko ratou te mea tino pai, engari ka taea anake te hanga i tetahi huinga mai i te Influx i runga i te putanga o te Enterprise, e utu ana i te moni, kaore he utu a ClickHouse ka hangaia i Russia. He mea arorau kei roto i nga USA ko te whiringa ka pai ki te inInfluxDB, a i to tatou whenua kei te pai ki a ClickHouse.
Source: will.com