E ai ki a ratou ko nga mea katoa o te ao he pai ki te whakamatau i te iti rawa kia kotahi. A, ki te mea kua waia koe ki te mahi me nga DBMS whanaungatanga, he mea pai kia mohio koe ki a NoSQL i roto i nga mahi, tuatahi, mo te whanaketanga whanui. Inaianei, na te tere o te whakawhanaketanga o tenei hangarau, he maha nga whakaaro taupatupatu me nga tautohetohe wera mo tenei kaupapa, ina koa ka whakakorikori i te hiahia.
Mena ka rukuhia e koe te ngako o enei tautohetohe katoa, ka kite koe i puta mai na te he o te huarahi. Ko te hunga e whakamahi ana i nga papaa raraunga NoSQL i nga waahi e hiahiatia ana ka makona me te whiwhi i nga painga katoa mai i tenei otinga. A ko nga kaiwhakamatautau e whakawhirinaki ana ki tenei hangarau hei panacea kaore e tika ana, ka pouri, na te ngaro o nga kaha o nga paaunga hononga me te kore e whiwhi painga nui.
Ka korero atu ahau ki a koe mo to maatau wheako ki te whakatinana i tetahi otinga i runga i te Cassandra DBMS: he aha ta matou i pa ki a matou, me pehea i puta ai matou i nga ahuatanga uaua, mehemea i whai hua matou ki te whakamahi i te NoSQL me te waahi me whakapau moni taatau. .
Ko te mahi tuatahi ko te hanga i tetahi punaha e tuhi ana i nga waea ki etahi momo rokiroki.
Ko te tikanga whakahaere o te punaha e whai ake nei. Kei roto i te whakauru nga konae me tetahi hanganga motuhake e whakaatu ana i te hanganga o te waea. Ko te tono ka whakarite kei te rongoa tenei hanganga ki nga pou e tika ana. I te wa kei te heke mai, ka whakamahia nga waea kua tiakina hei whakaatu i nga korero mo te kohi waka mo nga kaiohauru (nga utu, waea, hitori toenga).
He tino marama te take i kowhiria ai e ratou a Cassandra - he rite tana tuhi ki te pu miihini, he ngawari ki te tauine, me te whakararu i te he.
Na, koinei te mea i homai e te wheako ki a matou
Ae, ehara i te mea he kino te node i rahua. Koinei te tino kaupapa o te manawanui o Cassandra. Engari ka taea e te node te ora me te wa ano ka timata te mamae i roto i te mahi. I te mea i puta mai, ka pa tonu tenei ki te mahi o te roopu katoa.
Kaore a Cassandra e tiaki i a koe i te waahi i ora ai a Oracle me ona here. A, ki te kore te kaituhi o te tono i mohio ki tenei i mua, na ko te rua i tae mai mo Cassandra kaore he kino atu i te taketake. Kia tae mai, ka whakauruhia e matou.
I tino kino a IB ki te Cassandra koreutu mai i te pouaka: Karekau he rehitatanga o nga mahi a nga kaiwhakamahi, karekau he wehewehenga motika. Ko nga korero e pa ana ki nga waea ka kiia ko te raraunga whaiaro, ko te tikanga ko nga ngana katoa ki te tono / whakarereke i nga huarahi katoa me tuhi me te waahi ka taea te tirotiro i muri mai. Ano, me mohio koe ki te hiahia ki te wehe i nga mana ki nga taumata rereke mo nga kaiwhakamahi rereke. He miihini mahi ngawari me tetahi kaiwhakahaere nui ka taea te whakakore noa i te mokowāmahi katoa he rereke nga mahi, he rereke nga kawenga me nga pukenga. Ki te kore he rereketanga o nga motika uru, ka tere ake te patai mo te uara me te pono o nga raraunga i te taumata rite tonu.
Kare matou i whai whakaaro ko nga waea e hiahia ana kia rua nga tātaritanga tino nui me te whakatauira i ia wa mo nga momo ahuatanga. I te mea ko nga rekoata kua tohua ka mukua me te tuhi ano (hei waahanga o te mahi, me tautoko tatou i te tukanga o te whakahou i nga raraunga ina he he te urunga mai o nga raraunga ki ta tatou kopae), ehara a Cassandra i to tatou hoa i konei. He rite a Cassandra ki te putea poaka - he pai ki te whakauru i nga mea, engari kaore e taea e koe te tatau.
I raru matou ki te whakawhiti raraunga ki nga rohe whakamatautau (5 nodes i roto i te whakamātautau versus 20 i roto i te prom). I tenei keehi, kaore e taea te whakamahi i te putunga.
Ko te raruraru ki te whakahou i te aronuinga raraunga o te tono tuhi ki a Cassandra. Ma te whakamuri ka whakaputa i te maha o nga urupa, tera pea ka ngaro nga hua i roto i nga huarahi ohorere.. Ko Cassandra te mea pai mo te rekoata, a kaore i te whakaaro nui i mua i te tuhi. Arā, ma te whakakore i nga mea e kore e tika, ka whakaputa noa atu i etahi atu rekoata, a ko etahi anake ka tohua ki te kowhatu urupa.
Nga waahi i te wa e whakauru ana. He ataahua a Cassandra i te rekoata, engari i etahi wa ka tino raruraru te rere mai i a ia. Ka puta tenei ina timata te tono ki te huri huri noa i etahi rekoata kaore e taea te whakauru mo etahi take. A ka hiahia matou ki tetahi DBA tuuturu hei aroturuki i te gc.log, te punaha me nga raarangi patuiro mo nga patai puhoi, nga inenga mo te taapiri e tatari ana.
He maha nga pokapū raraunga kei roto i te kohinga. Kei hea te panui me te tuhi ki hea?
Ka wehewehe pea ki te panui me te tuhi? A, ki te pera, me noho he DC tata atu ki te tono mo te tuhi, panui ranei? A e kore tatou e mutu ki te tino wehe roro ki te whiriwhiri tatou i te taumata ōritetanga he? He maha nga paatai, he maha nga waahi kaore e mohiotia ana, nga mea ka tino hiahia koe ki te tarai.
Me pehea ta matou whakatau
Kia kore ai e totohu te node, i monoa te SWAP. Na inaianei, ki te kore he mahara, me heke te node kia kaua e hanga i nga okiokinga gc nui.
Na, kua kore matou e ti'aturi i runga i te arorau i roto i te papaa raraunga. Ko nga kaiwhakawhanake tono kei te whakangungu ano i a raatau ano, ka tiimata ki te mahi tupato ki a raatau ake waehere. He tino pai te wehewehenga o te rokiroki raraunga me te tukatuka.
I hokona e matou he tautoko mai i te DataStax. Kua mutu te whanaketanga o Cassandra pouaka (ko te mahi whakamutunga i te Hui-tanguru 2018). I te wa ano, ka tukuna e Datastax te ratonga pai me te maha o nga otinga kua whakarerekehia me te whakarereke mo nga otinga IP o naianei.
Kei te pirangi ano ahau ki te mohio kaore a Cassandra i te tino watea mo nga patai whiriwhiri. Ko te tikanga, ko te CQL he taahiraa nui mo nga kaiwhakamahi (i whakaritea ki a Trift). Engari ki te mea kei a koe nga tari katoa e waia ana ki nga whakaurunga pai, te tātari kore utu na tetahi mara me te kaha ki te arotautanga patai, a kei te mahi enei tari ki te whakatau amuamu me nga aitua, na te otinga mo Cassandra te ahua kino me te poauau ki a ratou. Na ka timata matou ki te whakatau me pehea o maatau hoa mahi ki te hanga tauira.
I whakaarohia e matou nga whiringa e rua. I te waahanga tuatahi, ka tuhia e matou nga waea ehara i te C* anake, engari i roto ano i te puranga raraunga Oracle. Anake, kare i rite ki a C*, ko tenei toa paataka waea waea mo te marama o naianei anake (he rawaka te hohonu o te rokiroki waea mo nga keehi utu). I konei ka kite tonu matou i te raru e whai ake nei: mena ka tuhi tahi tatou, ka ngaro nga painga katoa o C* e hono ana ki te whakaurunga tere; mena ka tuhia e tatou, kaore he taurangi kua tae katoa nga waea e tika ana ki Oracle. He kotahi te taapiri, engari he mea nui: mo te mahi ko te PL/SQL Kaiwhakawhanake e mau tonu ana, ara, ka whakatinanahia e matou te tauira "Facade". Ka whakatinanahia e matou he tikanga ka wetewete i nga waea mai i te C*, ka kumea etahi raraunga hei whakarangatira mai i nga ripanga e pa ana ki Oracle, ka hono atu ki nga tauira ka puta mai ka homai te hua, katahi ka whakamahia e matou (whakahoki, whakahoki, tātari, whakamihi). Raruraru: he tino maha-taahiraa te tukanga, me tua atu, kaore he atanga mo nga kaimahi mahi.
I te mutunga, ka whakatauhia e matou te whiringa tuarua. I whakamahia a Apache Spark hei tauira mai i nga ipu rereke. Ko te ngako o te tikanga kua whakahekehia ki te waehere Java, ma te whakamahi i nga taviri kua tohua (kaiohauru, te wa o te waea - nga taviri waahanga), ka toia nga raraunga mai i te C *, me nga raraunga e tika ana mo te whakarangatira mai i etahi atu papaarangi. Whai muri ka hono atu ki a raatau i roto i tana mahara ka whakaatu i te hua ki te ripanga hua. I taia e matou he kanohi tukutuku ki runga i te korakora, ka tino whai hua.
I te whakatau i te raru o te whakahou i nga raraunga whakamatautau ahumahi, i whakaarohia ano e matou etahi otinga. Ko nga whakawhitinga e rua ma te Sstloader me te kowhiringa ki te wehe i te tautau i te rohe whakamatautau kia rua nga waahanga, ko ia o enei no te roopu kotahi me te mea whakatairanga, na reira ka whakakahangia e ia. I te wa e whakahou ana i te whakamatautau, i whakamaherehia ki te huri i a raatau: ko te waahanga i mahi i roto i te whakamatautau ka whakawāteahia ka uru ki roto ki te mahi, ko tetahi atu ka timata ki te mahi takitahi me nga raraunga. Heoi, i muri i te whakaaro ano, i tino arotauhia e matou nga raraunga e tika ana ki te whakawhiti, me te mohio ko nga waea ano he hinonga koretake mo nga whakamatautau, ka tere te hanga mena e tika ana, a ko te huinga raraunga whakatairanga kaore he utu mo te whakawhiti ki te whakamātautau. He maha nga taonga rokiroki e tika ana kia nekehia, engari he rua noa nga teepu, ehara i te mea tino taumaha. No reira matou hei otinga, ka tae mai ano a Spark ki te whakaora, me te awhina i tuhia e matou, ka timata ki te whakamahi kaha i te tuhinga mo te whakawhiti raraunga i waenga i nga ripanga, prom-test.
Ko ta maatau kaupapa here whakaurunga o naianei ka taea e maatau te mahi me te kore e hoki whakamuri. I mua i te whakatairanga, he oma whakamatautau, kaore i te tino utu te he. Mena he rahua, ka taea e koe te tuku i te mokowāwāmahi me te huri i te kaupapa katoa mai i te timatanga.
Hei whakarite kia noho tonu a Cassandra, me hiahia koe ki te dba, kaua ko ia anake. Ko nga tangata katoa e mahi tahi ana me te tono me maarama ki hea me pehea te titiro ki nga ahuatanga o naianei me pehea te tirotiro i nga raru i roto i te waa. Hei mahi i tenei, ka kaha taatau ki te whakamahi i te DataStax OpsCenter (Whakahaere me te aro turuki i nga taumahatanga mahi), nga inenga punaha a Cassandra Driver (te maha o nga waahi mo te tuhi ki te C*, te maha o nga waahi mo te panui mai i te C*, te roanga teitei, me etahi atu), aroturuki i te mahi. o te tono ake, mahi tahi me Cassandra.
I to maatau whakaaro mo te patai o mua, ka mohio matou kei hea to maatau raru nui. He puka whakaatu raraunga enei e whakaatu ana i nga raraunga mai i etahi patai motuhake ki te rokiroki. Ma tenei ka taea e tatou te tiki korero tino koretake. Engari ka rite tonu tenei raru ki te mahi tahi me te pokapū raraunga kotahi. Na ko te mea tino whaitake i konei, ko te tikanga, ki te hanga i tetahi mahi puranga mo te panui i nga raraunga i runga i te tono tuatoru, ka whakarite kia whiwhi raraunga i roto i te wa kotahi. Mo te wehewehenga ki te panui me te tuhi mo nga mahi, i konei ka aukatihia e te tupono na te ngaro o te hononga i waenga i nga DC, ka mutu ka rua nga tautau karekau e rite ana ki a ratau.
Ko te mutunga, mo tenei wa ka mutu i te taumata rite mo te tuhi EACH_QUORUM, mo te panui - LOCAL_QUORUM
Nga whakaaro poto me nga whakatau
Hei arotake i te otinga ka puta mai i te tirohanga o te tautoko whakahaere me nga tumanako mo etahi atu whanaketanga, i whakatau matou ki te whakaaro ki hea atu ka taea te whakamahi i taua whanaketanga.
Mai i te pekapeka, katahi ka tohu raraunga mo nga kaupapa penei i te "Utu i te wa e watea ana" (ka utaina e matou nga korero ki roto i te C*, te tatau ma te whakamahi i nga tuhinga Spark), te kaute mo nga kerēme me te whakahiato ma te rohe, te penapena i nga waahi me te tatau i nga motika uru a nga kaiwhakamahi i runga i te mahi matrix.
Ka taea e koe te kite, he whanui, he rereke te repertoire. A, ki te whiriwhiria e matou te puni o nga kaitautoko/hoariri o NoSQL, ka uru matou ki nga kaitautoko, i te mea kua riro mai i a matou o matou painga, me te waahi tonu i tumanakohia e matou.
Ahakoa ko te kowhiringa Cassandra i waho o te pouaka ka taea te whakatauira whakapae i roto i te waa tuuturu, ma te tino mamae ki te whakaoti i te take o te piki haere o nga raraunga i roto i te punaha. I taea e matou te nuku i tetahi tikanga tino taumaha mo te tatau i nga whakahiato waea ki roto i te ara iahiko motuhake, me te wehe ano hoki i te aronuinga tono me te arorau, te whakakore i nga mahi kino o te tuhi i nga mahi ritenga me nga taonga i roto i te paataka raraunga ake. I whai waahi matou ki te whiriwhiri me te whirihora, ki te tere ake, ko nga DCs ka mahia e matou nga tatauranga me nga mea ka tuhia e matou nga raraunga, i inihua matou ki nga tukinga o nga waahanga takitahi me te DC katoa.
Ma te whakamahi i ta maatau hoahoanga ki nga kaupapa hou, me te whai wheako ano, ka hiahia ahau ki te whai whakaaro tonu ki nga ahuatanga kua whakaahuahia i runga ake nei, me te aukati i etahi hapa, te maeneene i etahi kokonga koi e kore e taea te karo i te tuatahi.
Hei tauira, kia mau ki nga whakahou a Cassandra i te wa tikana te mea he iti noa nga raru i pa mai ki a maatau kua mohiohia kua whakatikahia.
Kaua e waiho te papaa raraunga ake me te Spark ki runga i nga pona kotahi (ka tino wehewehea ranei ki te nui o te whakamahi rauemi e whakaaetia ana), na te mea ka nui ake te kai a Spark i te OP e tika ana, ka tere te whiwhi raruraru nama 1 mai i ta maatau rarangi ingoa.
Te whakapai ake i te aro turuki me te kaha whakahaere i te waahi whakamatautau kaupapa. I te tuatahi, me whai whakaaro ki nga kaihoko ka taea e taatau otinga, no te mea koinei te mea ka whakawhirinaki te hanganga papaa raraunga.
Hurihia te ara iahiko ka puta he maha nga wa mo te arotautanga pea. Tīpakohia ko ēhea āpure ka taea te rangatū. Kia mohio he aha etahi atu ripanga me hanga kia tika ai, kia tino pai ai te whai whakaaro, katahi ka tukuna nga korero e hiahiatia ana ina tono (hei tauira, ma te whakaaro ka taea e taatau te penapena i nga raraunga ki nga ripanga rereke, me te whakaaro ki nga pakarutanga rereke e ai ki te nga paearu rereke, ka taea e taatau te penapena i te waa CPU mo nga tono panui).
Ehara i te kino Whakaritea mo te taapiri TTL me te horoi i nga raraunga tawhito.
I te wa e tango ana i nga raraunga mai i a Cassandra Me mahi te arorau tono i runga i te kaupapa FETCH, kia kore ai nga rarangi katoa e utaina ki te mahara i te wa kotahi, engari ka kowhiria i roto i nga roopu.
He mea tika i mua i te whakawhiti i te kaupapa ki te otinga kua whakamaramatia tirohia te pai o te hapa o te punaha ma te whakahaere i nga momo whakamatautau tukinga, penei i te ngaronga o nga raraunga i roto i te pokapū raraunga kotahi, te whakahoki mai i nga raraunga kua pakaru i roto i tetahi waa, te whakahekenga whatunga i waenga i nga pokapū raraunga. Ko enei whakamatautau ka kore noa e taea e te tangata te arotake i nga pai me nga huakore o te hoahoanga kua whakaarohia, engari ka pai ano te whakamahana mo nga miihini e whakahaere ana, a, ko nga pukenga kua riro mai i te koretake mena ka whakaputahia nga ngoikoretanga o te punaha ki te whakaputa.
Mena ka mahi tahi tatou me nga korero whakahirahira (penei i nga raraunga mo te nama nama, te tatauranga o te nama o te kaiohauru), he mea tika ano kia aro ki nga taputapu ka whakaiti i nga tupono ka puta mai i nga ahuatanga o te DBMS. Hei tauira, whakamahia te whaipainga nodesync (Datastax), kua whakawhanakehia he rautaki tino pai mo tona whakamahinga i roto i te raupapa mo te rite tonu, kaua e hanga he kawenga nui ki runga ki a Cassandra me te whakamahi mo etahi tepu i roto i tetahi waa.
He aha te mea ka pa ki a Cassandra i muri i te ono marama o tona oranga? I te nuinga o te waa, kaore he raruraru kaore ano kia whakatauhia. Kaore hoki matou i whakaae ki nga aitua nui me te ngaronga raraunga. Ae, me whakaaro matou ki te utu mo etahi raruraru kaore ano i puta ake i mua, engari i te mutunga kaore tenei i tino whakapouri i ta matou otinga hoahoanga. Mena kei te hiahia koe me te kore e mataku ki te whakamatau i tetahi mea hou, i te wa ano kaore koe e hiahia kia pouri rawa, katahi ka rite mo te meka kaore he utu. Me mohio koe, ruku ki roto i nga tuhinga me te whakahiato i to ake ake rake nui ake i te otinga tawhito, kaore he ariā e korero i mua ko tehea rake kei te tatari mo koe.
Source: will.com