Te ariā me te mahi mo te whakamahi i te HBase

Kia pai te ahiahi Ko Danil Lipovoy toku ingoa, i timata ta matou roopu i Sbertech ki te whakamahi i te HBase hei rokiroki mo nga raraunga whakahaere. I te wa e ako ana, kua kohia nga wheako e hiahia ana ahau ki te whakariterite me te whakaahua (e tumanako ana matou ka whai hua ki te tini). Ko nga whakamatautau katoa i raro nei i mahia me nga putanga HBase 1.2.0-cdh5.14.2 me 2.0.0-cdh6.0.0-beta1.

1. Te hoahoanga whanui
2. Te tuhi raraunga ki te HBASE
3. Te panui i nga raraunga mai i te HBASE
4. Keteroki Raraunga
5. Te tukatuka raraunga puranga MultiGet/MultiPut
6. Rautaki mo te wehewehe ripanga ki nga rohe (wehe)
7. Te aukati i te he, te whakahiato me te waahi raraunga
8. Tautuhinga me te mahi
9. Whakamātautau ahotea
10. kitenga

1. Te hoahoanga whanui

Ka whakarongo te Kaiwhakaako taapiri ki te ngakau o te tangata kaha i runga i te node ZooKeeper, a, ki te ngaro atu, ka mau i nga mahi a te rangatira.

2. Tuhia nga raraunga ki te HBASE

Tuatahi, me titiro ki te keehi tino ngawari - te tuhi i tetahi ahanoa uara-matua ki te ripanga ma te whakamahi put(rowkey). Me rapu tuatahi te kiritaki kei hea te Root Region Server (RRS), e pupuri ana i te ripanga hbase:meta. Ka whiwhi ia i enei korero mai i ZooKeeper. Whai muri ka uru ki te RRS me te panui i te ripanga hbase:meta, ka tangohia e ia nga korero e pa ana ki a RegionServer (RS) te kawenga mo te rokiroki raraunga mo tetahi rarangi rarangi i roto i te ripanga paanga. Mo te whakamahi a meake nei, ka keteroki te ripanga meta e te kiritaki, na reira ka tere haere nga waea o muri mai, tika ki te RS.

I muri mai, ka tukuna e RS he tono, ko te tuatahi ka tuhi ki a WriteAheadLog (WAL), he mea tika mo te whakaora i te wa o te tukinga. Na ka tiakina nga raraunga ki MemStore. He parepare tenei i roto i te mahara kei roto he huinga taviri kua tohua mo tetahi rohe. Ka taea te wehewehe i tetahi ripanga ki nga rohe (waahanga), kei ia waahanga he huinga taviri wehe. Ma tenei ka taea e koe te whakanoho rohe ki runga i nga kaitoro rereke hei whakatutuki i nga mahi teitei ake. Heoi, ahakoa te tino marama o tenei korero, ka kite tatou i muri mai kaore tenei e mahi i nga keehi katoa.

Whai muri i te whakatakoto i tetahi urunga ki te MemStore, ka whakahokia mai he whakautu ki te kiritaki i tiakina paitia te urunga. Heoi, i roto i te mooni ka penapenahia ki roto i te parapara ka tae ki te kōpae i muri i te paahitanga o tetahi waa, ka whakakiia ranei ki nga raraunga hou.

I te wa e mahi ana i te mahi "Muku", kaore nga raraunga e mukua tinana. Ka tohua noa kua mukua, a ko te whakangaromanga ka puta i te wa e karangahia ana te mahi kiato nui, e whakaahuahia ana i roto i te waahanga 7.

Ko nga konae kei roto i te whakatakotoranga HFile ka whakaemihia ki te HDFS, mai ia wa ki tera wa ka whakarewahia te tukanga kiato iti, ka hanumi noa i nga konae iti ki roto i nga konae nui me te kore e mukua tetahi mea. Ka roa te wa, ka huri tenei ki te raru ka puta noa i te panui raraunga (ka hoki mai ano tatou ki tenei i muri tata nei).

I tua atu i te tukanga uta e whakaahuatia ana i runga ake nei, he tikanga tino pai ake, koinei pea te taha kaha rawa atu o tenei putunga raraunga - BulkLoad. Ko te mea kei te hanga takitahi tatou i nga HFiles ka tuu ki runga i te kopae, e taea ai e tatou te tauine tika me te eke ki nga tere tino tika. Inaa, ko te here i konei ehara i te HBase, engari ko nga kaha o te taputapu. Kei raro ko nga hua whawhai i runga i te kapoi kei roto 16 RegionServers me 16 NodeManager YARN (CPU Xeon E5-2680 v4 @ 2.40GHz * 64 miro), HBase putanga 1.2.0-cdh5.14.2.

I konei ka taea e koe te kite ma te whakanui ake i te maha o nga wehewehenga (rohe) ki te tepu, tae atu ki nga Kaipupuri Spark, ka piki ake te tere o te tango. Ano, ko te tere e whakawhirinaki ana ki te nui o te rekoata. Ko nga poraka nui ka piki ake te MB/sec, nga poraka iti i roto i te maha o nga rekoata whakauru mo ia wa, he rite nga mea katoa.

Ka taea hoki e koe te tiimata ki te uta ki nga teepu e rua i te wa kotahi, ka rua te tere. Kei raro ka kite koe ko te tuhi i nga poraka 10 KB ki nga ripanga e rua i te wa kotahi ka puta i te tere o te 600 MB/sec i ia (tapeke 1275 MB/sec), e rite ana ki te tere o te tuhi ki tetahi ripanga 623 MB/sec (tirohia Nama 11 i runga ake nei)

Engari ko te oma tuarua me nga rekoata o te 50 KB e whakaatu ana kei te tipu haere te tere o te tango, e tohu ana kei te tata ki nga uara rohe. I te wa ano, me mahara koe kaore he kawenga i hangaia i runga i te HBASE ake, ko nga mea katoa e hiahiatia ana ko te tuku raraunga mai i te hbase:meta, a, i muri i te whakakii i nga HFiles, tautuhi ano i nga raraunga BlockCache ka tiakina te Whakapaia te MemStore ki te kōpae, mena kaore i te putua.

3. Te panui raraunga mai i te HBASE

Mena ka whakaaro tatou kei te kaihoko nga korero katoa mai i te hbase:meta (tirohia te tohu 2), katahi ka haere tika te tono ki te RS kei te penapena te kii e hiahiatia ana. Tuatahi, ka mahia te rapu ki MemCache. Ahakoa he raraunga kei reira, kaore ranei, ka mahia ano te rapu i roto i te papaaru BlockCache, a, ki te tika, i roto i te HFiles. Mena i kitea nga raraunga i roto i te konae, ka tuuhia ki BlockCache ka tere ake te whakahoki mai i te tono e whai ake nei. He tere te rapu i roto i te HFile na te whakamahi i te tātari Bloom, i.e. i te panui i te iti o nga raraunga, ka whakatau tonu mena kei roto i tenei konae te kii e hiahiatia ana, ki te kore, ka neke atu ki te waahanga e whai ake nei.

I te whiwhi raraunga mai i enei puna e toru, ka mahia e RS he whakautu. Ina koa, ka taea e ia te whakawhiti i etahi momo putanga o tetahi mea i te wa kotahi mena ka tono te kaihoko ki te whakaputa.

4. Keteroki Raraunga

Ko te MemStore me te BlockCache buffers ka noho ki runga ki te 80% o te mahara RS i runga i te puranga (ko te toenga kua rahuitia mo nga mahi ratonga RS). Mena ko te tikanga whakamahi angamaheni ko nga tukanga ka tuhi me te panui tonu i nga raraunga ano, na he mea tika ki te whakaiti i te BlockCache me te whakanui ake i te MemStore, na te mea Ki te kore e uru nga raraunga tuhi ki roto i te keteroki mo te panui, ka iti ake te whakamahi a BlockCache. E rua nga wahanga o te kaitapa BlockCache: LruBlockCache (i runga i te puranga tonu) me te BucketCache (te nuinga o te waa kei runga i te puranga, kei runga SSD ranei). Me whakamahi te BucketCache ina he maha nga tono panui karekau e uru ki roto ki te LruBlockCache, e arai ana ki te mahi kaha a te Kaikohi Para. I te wa ano, kaua koe e tumanako ki te pikinga nui o te mahi mai i te whakamahi i te keteroki panui, engari ka hoki ano matou ki tenei i te wharangi 8

Kotahi te BlockCache mo te RS katoa, a he kotahi te MemStore mo ia tepu (kotahi mo ia Whānau Tiwae).

Kia pehea te whakaahuatia i roto i te ariā, i te wa e tuhi ana, kaore nga raraunga e uru ki roto i te keteroki me te pono, ko enei tawhā CACHE_DATA_ON_WRITE mo te tepu me te "Keteroki DATA i runga Tuhituhi" mo te RS kua tautuhia ki te teka. Heoi, i roto i te mahi, ki te tuhia e matou he raraunga ki MemStore, ka peia ki te kopae (na reira ka whakakorehia), ka mukua te konae ka puta, katahi ka tukuna he tono tiki ka whiwhi angitu matou i nga raraunga. I tua atu, ahakoa ka whakakorehia e koe te BlockCache me te whakakii i te tepu ki nga raraunga hou, ka tautuhi ano i te MemStore ki te kōpae, mukua ka tono mai i tetahi atu huihuinga, ka tangohia tonu mai i tetahi waahi. Na ko te HBase e rongoa ana ehara i te raraunga anake, engari ano hoki nga mea ngaro.

hbase(main):001:0> create 'ns:magic', 'cf'
Created table ns:magic
Took 1.1533 seconds
hbase(main):002:0> put 'ns:magic', 'key1', 'cf:c', 'try_to_delete_me'
Took 0.2610 seconds
hbase(main):003:0> flush 'ns:magic'
Took 0.6161 seconds
hdfs dfs -mv /data/hbase/data/ns/magic/* /tmp/trash
hbase(main):002:0> get 'ns:magic', 'key1'
 cf:c      timestamp=1534440690218, value=try_to_delete_me

Kua tautuhia te tawhā "Keteroki DATA i te Panui" ki te teka. Mena kei a koe etahi whakaaro, nau mai ki te matapaki i roto i nga korero.

5. Te tukatuka raraunga puranga MultiGet/MultiPut

Ko te tukatuka i nga tono kotahi (Tikina/Kua/Mukua) he mahi utu nui, na, ki te taea, me whakakotahi koe ki roto ki te Rarangi, ki te Rarangi ranei, e taea ai e koe te whakanui i nga mahi. He tino tika tenei mo te mahi tuhi, engari i te wa e panui ana ko te mahanga e whai ake nei. Ko te kauwhata i raro nei e whakaatu ana i te wa ki te panui i nga rekoata 50 mai i MemStore. I mahia te panui ki te miro kotahi ka whakaatu te tuaka whakapae i te maha o nga taviri i roto i te tono. I konei ka kite koe ka piki ake ki te mano taviri i roto i te tono kotahi, ka heke te wa mahi, i.e. ka piki te tere. Heoi, me te aratau MSLAB kua whakahohea ma te taunoa, i muri i tenei paepae ka timata te heke o te mahi, me te nui o nga raraunga i roto i te rekoata, ka roa ake te wa whakahaere.

I mahia nga whakamatautau i runga i te miihini mariko, e 8 nga matua, te putanga HBase 2.0.0-cdh6.0.0-beta1.

I hangaia te aratau MSLAB ki te whakaiti i te wehewehenga puranga, ka puta mai i te ranu o nga raraunga reanga hou me te tawhito. Hei mahi whakatika, ka whakahoehia a MSLAB, ka tukuna nga raraunga ki roto i nga putau iti (nga mokamoka) ka tukatukahia ki nga waahanga. Ko te mutunga, ka nui ake te rōrahi i roto i te pākete raraunga i tonohia i te rahi i whakaritea, ka tino heke te mahi. I tetahi atu taha, ko te whakaweto i tenei aratau kaore e pai, na te mea ka mutu na te GC i nga wa o te tukatuka raraunga kaha. Ko te otinga pai ko te whakanui ake i te rōrahi pūtau i roto i te take o te tuhi kaha mā te hoatu i te wa ano ki te panui. He mea tika kia mohio koe kaore te raru e puta mena, i muri i te rekoata, ka whakahaere koe i te whakahau flush, ka whakahoki ano i te MemStore ki te kōpae, mena ka utaina koe ma te whakamahi BulkLoad. Ko te ripanga i raro nei e whakaatu ana ko nga paatai ​​​​mai i te MemStore mo nga raraunga nui (me te nui ano) ka puta he puhoi. Heoi, ma te whakanui ake i te chunksize ka whakahokia te wa tukatuka ki te tikanga.

I tua atu i te whakanui ake i te chunksize, te wehewehe i nga raraunga ma te rohe ka awhina, i.e. wehewehe tepu. Na tenei ka iti ake nga tono e tae mai ana ki ia rohe, a, ki te uru ki roto i te pukoro, ka pai tonu te whakautu.

6. Rautaki mo te wehewehe i nga ripanga ki nga rohe (wehenga)

I te mea ko te HBase he putunga uara-matua me te wehewehe ma te matua, he mea tino nui te wehewehe i nga raraunga puta noa i nga rohe katoa. Hei tauira, ko te wehewehe i taua ripanga kia toru nga wahanga ka wehewehea nga raraunga ki nga rohe e toru:

Ka puta tenei ki te tino puhoi mena he rite te ahua o nga raraunga ka utaina i muri mai, hei tauira, he uara roa, ko te nuinga ka timata ki te mati kotahi, hei tauira:

1000001
1000002
...
1100003

I te mea kei te penapena nga ki hei raupapa paita, ka tiimata katoa, ka uru ki te rohe kotahi #1 e penapena ana i tenei awhe o nga taviri. He maha nga rautaki wehewehe:

HexStringSplit – Hurihia te kī ki roto i te aho whakawaeherehere hexadecimal i roto i te awhe "00000000" => "FFFFFFFF" me te papa ki te taha maui me nga kore.

UniformSplit – Hurihia te kī ki te huānga paita me te whakawaehere hautekaumāono i roto i te awhe "00" => "FF" me te hoe ki te taha matau me te kore.

I tua atu, ka taea e koe te tautuhi i tetahi awhe, huinga ranei o nga taviri mo te wehewehe me te whirihora i te wehewehe-aunoa. Heoi, ko tetahi o nga huarahi ngawari me te whai hua ko te UniformSplit me te whakamahi i te whakakotahitanga hash, hei tauira ko nga paita tino nui mai i te whakahaere i te ki ma te mahi CRC32(rowkey) me te rowkey ake:

hash + rowkey

Na ka tohatoha nga raraunga katoa puta noa i nga rohe. I te wa e panui ana, ka whakakorehia nga paita tuatahi e rua, ka noho tonu te kii taketake. Ka whakahaerehia e RS te nui o nga raraunga me nga taviri i roto i te rohe, a, ki te nui ake nga rohe, ka pakaru aunoa ki etahi waahanga.

7. Whakaaetanga hapa me te waahi raraunga

I te mea ko te rohe anake te kawenga mo ia huinga taviri, ko te otinga ki nga raru e pa ana ki nga tukinga RS me te whakakorenga ranei ko te penapena i nga raraunga e tika ana ki te HDFS. Ka hinga a RS, ka kitea e te rangatira tenei na te kore o te ngakau o te ngakau i te node ZooKeeper. Na ka tohatohahia te rohe mahi ki tetahi atu RS ​​a na te mea kei te rongoa nga HFiles ki te punaha konae kua tohatohahia, ka panuihia e te rangatira hou ka mahi tonu i nga raraunga. Heoi, i te mea ko etahi o nga raraunga kei roto i te MemStore me te kore e whai wa ki te whakauru ki nga HFiles, ko te WAL, kei te rongoa ano hoki i roto i te HDFS, ka whakamahia hei whakaora i te hitori o nga mahi. I muri i te tono o nga huringa, ka taea e RS te whakautu ki nga tono, engari ko te nekehanga ka arahi ki etahi o nga raraunga me nga tukanga e mahi ana ki a raatau ka mutu ki runga i nga waahanga rereke, ara. kei te heke haere te rohe.

Ko te otinga ki te raru ko te whakakotahitanga nui - ka nekehia e tenei tikanga nga konae ki nga pona e mau ana ki a raatau (kei te waahi o o raatau rohe), na te mea i roto i tenei mahi ka piki ake te kawenga o te whatunga me nga kōpae. Heoi, i nga ra kei mua, ka tere haere te uru ki nga raraunga. I tua atu, ko te major_compaction e mahi ana i te whakakotahitanga o nga HFiles katoa ki roto i te konae kotahi i roto i te rohe, me te horoi ano i nga raraunga i runga i nga tautuhinga ripanga. Hei tauira, ka taea e koe te tautuhi i te maha o nga putanga o tetahi ahanoa me pupuri, te roa ranei o te wa ka mukua tinana te ahanoa.

Ka taea e tenei mahinga te whai hua tino pai ki te mahi a HBase. Ko te pikitia i raro nei e whakaatu ana i te paheketanga o te mahi na te kaha o te hopu raraunga. I konei ka kite koe me pehea te tuhi o nga miro 40 ki te ripanga kotahi me nga miro 40 ki te panui raraunga i te wa kotahi. Ko te tuhi miro ka nui ake nga HFiles, ka panuihia e etahi atu miro. Ko te mutunga mai, ka nui ake nga raraunga ka tangohia mai i te mahara, ka mutu ka timata te mahi a te GC, ka mutu te mahi katoa. Ko te whakarewatanga o te whakatikitanga nui i arai atu ki te whakakore i nga otaota ka puta me te whakahoki mai i nga hua.

I mahia te whakamatautau ki te 3 DataNodes me te 4 RS (CPU Xeon E5-2680 v4 @ 2.40GHz * 64 miro). Putanga HBase 1.2.0-cdh5.14.2

He mea tika kia mohiohia i whakarewahia te taapiri nui i runga i te tepu "ora", i tuhia ai nga raraunga me te panui. I puta he korero i runga ipurangi tera pea ka he te whakautu ina panui raraunga. Hei taki, i whakarewahia he tukanga i hanga raraunga hou ka tuhia ki te ripanga. I muri i tera ka panui tonu ahau me te tirotiro mena i rite te uara ka puta ki nga mea kua tuhia. I te wa e whakahaere ana tenei mahi, tata ki te 200 nga wa i whakahaerea ai te whakatikitanga nui, a, karekau he rahunga i tuhia. Akene he uaua ka puta mai te raru i te wa e utaina ana, no reira he pai ake te aukati i nga mahi tuhituhi me te panui kia rite ki te whakamahere me te mahi horoi hei aukati i enei tangohanga GC.

Ano hoki, karekau e pa ki te ahua o te MemStore te whakamaaramatanga nui; ki te peia ki te kōpae me te whakakoi, me whakamahi koe i te flush (connection.getAdmin().flush(TableName.valueOf(tblName))).

8. Tautuhinga me te mahi

Ka rite ki te korero i mua ake nei, ka whakaatu a HBase i tana angitu nui ki te kore e mahi i tetahi mea, i te wa e mahia ana te BulkLoad. Heoi, e pa ana tenei ki te nuinga o nga punaha me nga taangata. Heoi, he pai ake tenei taputapu mo te penapena raraunga i roto i nga waahanga nui i roto i nga poraka nui, engari ki te hiahia te tukanga ki te maha o nga tono panui me te tuhi, ka whakamahia nga tono Tikina me te Whakatakotoria i runga ake nei. Hei whakatau i nga tawhā tino pai, i whakahaerehia nga whakarewatanga me nga momo huinga o nga tawhā tepu me nga tautuhinga:

• 10 nga miro i whakarewahia i te wa kotahi e 3 nga wa i te rarangi (kia kiia tenei he poraka miro).
• Ko te wa mahi o nga miro katoa i roto i te poraka he mea tauwaenga, a ko te hua whakamutunga o te mahi a te poraka.
• I mahi nga miro katoa ki te tepu kotahi.
• I mua i ia tiimata o te paraka miro, ka mahia he whakatiki nui.
• I mahia e ia poraka tetahi o nga mahi e whai ake nei:

—Puta
—Tikina
—Tikina+Put

• I mahia e ia poraka te 50 whitiwhitinga o tana mahi.
• Ko te rahi paraka o te rekoata he 100 paita, 1000 paita, 10000 paita ranei (tupurangi).
• I whakarewahia nga poraka me nga maha rereke o nga kii i tonohia (he ki kotahi, 10 ranei).
• I whakahaerehia nga poraka i raro i nga tautuhinga ripanga rereke. Kua huri nga tawhā:

— BlockCache = kua whakaweto, whakaweto ranei
— Rahi Poraka = 65 KB, 16 KB ranei
— Wehewehenga = 1, 5, 30 ranei
— MSLAB = kua taea, kua monoa ranei

Na ko te ahua o te poraka penei:

a. I whakakā/whakawetohia te aratau MSLAB.
b. I waihangahia he ripanga i whakatakotohia ai nga tawhā e whai ake nei: BlockCache = pono/kore, Rahi Poraka = 65/16 Kb, Wehewehenga = 1/5/30.
c. I whakaritea te kōpeketanga ki te GZ.
d. 10 nga miro i whakarewahia i te wa kotahi ki te mahi 1/10 put/get/get+put operations ki tenei ripanga me nga rekoata 100/1000/10000 paita, e mahi ana i nga patai 50 i te rarangi (ki tupurangi).
e. E toru nga wa i tuaruatia ai te tohu d.
f. Ko te wa mahi o nga miro katoa i tauwaenga.

I whakamatauria nga huinga huinga katoa. Ko te matapae ka heke te tere ina piki te rahi o te rekoata, ma te whakakore ranei i te keteroki ka paheke. Engari, ko te whainga ko te mohio ki te tohu me te hiranga o te awe o ia tawhā, no reira ko nga raraunga kua kohia i whangaihia ki te whakauru o te mahi whakaheke ahorangi, e taea ai te aromatawai i te hiranga ma te whakamahi i nga tatauranga-t. Kei raro nei nga hua o nga poraka e mahi ana i nga mahi Put. Ko te huinga katoa o nga huinga 2 * 2 * 3 * 2 * 3 = 144 kōwhiringa + 72 tk. ko etahi i mahia e rua. No reira, e 216 katoa nga oma:

I mahia nga whakamatautau i runga i te roopu-iti e 3 DataNodes me te 4 RS (CPU Xeon E5-2680 v4 @ 2.40GHz * 64 miro). Putanga HBase 1.2.0-cdh5.14.2.

Ko te tere whakauru teitei o te 3.7 hēkona i whiwhihia me te whakakore i te aratau MSLAB, i runga i te teepu me te wehewehenga kotahi, me te BlockCache kua whakahohea, BlockSize = 16, nga rekoata o te 100 paita, 10 nga waahanga mo ia kete.
Ko te iti rawa o te tere whakauru o te 82.8 hekona i riro mai i te aratau MSLAB kua whakahohea, i runga i te teepu me te wehewehenga kotahi, me te PorakaCache kua whakahohea, BlockSize = 16, nga rekoata o te 10000 paita, 1 ia.

Inaianei ka titiro tatou ki te tauira. Ka kite matou i te kounga pai o te tauira i runga i te R2, engari he tino marama kei te aukatihia te taapiri i konei. Ko te whanonga pono o te punaha ka huri nga tawhā karekau e taurangi; ehara tenei tauira mo te matapae, engari mo te mohio ki nga mea i puta i roto i nga tawhā kua tohua. Hei tauira, i konei ka kite tatou mai i te paearu a te Tauira ko nga tawhā BlockSize me te BlockCache he mea nui mo te mahi Put (e tino kitea ana):

Engari ko te mea ko te whakanui ake i te maha o nga wehewehenga ka arahi ki te hekenga o nga mahi he ahua ohorere (kua kite kee matou i te paanga pai o te whakanui ake i te maha o nga wehewehenga me te BulkLoad), ahakoa he maarama. Tuatahi, mo te tukatuka, me whakaputa tono ki nga rohe 30 hei utu mo te kotahi, a ko te nui o nga raraunga kaore i te penei ka puta he hua. Tuarua, ko te tapeke o te wa whakahaere ka whakatauhia e te RS puhoi, a, i te mea he iti ake te maha o nga RaraungaNodes i te maha o nga RS, karekau he waahi o etahi rohe. Ana, kia titiro tatou ki te rima o runga:

Inaianei ka arotakehia nga hua o te mahi Tiki poraka:

Ko te maha o nga wehewehenga kua ngaro te hiranga, tera pea ka whakamaramahia na te mea he pai te keteroki o nga raraunga me te keteroki panui te tawhā tino nui (tatauranga). Ko te tikanga, ko te whakanui ake i te maha o nga karere i roto i te tono ka tino whai hua mo te mahi. Nga kaute teitei:

Ana, ka mutu, me titiro ki te tauira o te poraka i mahia tuatahitia te tiki katahi ka hoatu:

He mea nui nga tawhā katoa i konei. Na nga hua o nga rangatira:

9. Uta whakamatautau

Ana, ka mutu ka whakarewahia e matou he kawenga pai ake, iti ake ranei, engari he pai ake i nga wa ka whai koe i tetahi mea hei whakataurite. I runga i te paetukutuku o DataStax, te kaiwhakawhanake matua o Cassandra, kei reira nga hua NT o te maha o nga rokiroki NoSQL, tae atu ki te putanga HBase 0.98.6-1. Ko te uta i mahia e 40 miro, rahinga raraunga 100 paita, SSD kōpae. Ko te hua o te whakamatautau i nga mahi Panui-Whakakē-Tuhia i whakaatu nga hua e whai ake nei.

Ki taku mohio, i mahia te panui i roto i nga poraka o nga rekoata 100 me te 16 HBase nodes, i whakaatuhia e te whakamatautau DataStax te mahi o te 10 mano nga mahi mo ia rua.

He waimarie kei te 16 ano nga pona o to tatou kahui, engari ehara i te mea tino "waimarie" kei ia tangata he 64 matua (miro), i te whakamatautau DataStax he 4 noa iho. I tetahi atu taha, he puku SSD ta ratou, i a matou he HDD. nui atu ranei ko te putanga hou o te HBase me te whakamahi PTM i te wa e utaina ana kaore i tino piki ake (ma te 5-10 paiheneti). Heoi, me ngana ki te timata ki te whakamahi i tenei whirihoranga. Tautuhinga ripanga taunoa, ka mahia te panui i roto i te awhe matua mai i te 0 ki te 50 miriona matapōkeretia (arā, he mea hou ia wa). E 50 miriona nga rekoata kei roto i te teepu, kua wehea ki nga wahanga 64. Ko nga mau taviri ka whakamaarama ma te whakamahi crc32. He taunoa nga tautuhinga ripanga, kua whakahohea a MSLAB. Ka whakarewahia nga miro 40, ka panuihia e ia miro he huinga o nga taviri matapōkere 100 ka tuhi tonu i nga paita 100 kua hangaia ki enei ki.

Tu: 16 DataNode me 16 RS (CPU Xeon E5-2680 v4 @ 2.40GHz * 64 miro). Putanga HBase 1.2.0-cdh5.14.2.

Ko te hua toharite he tata ki te 40 mano nga mahi mo ia hēkona, he tino pai ake i te whakamatautau DataStax. Heoi, mo nga kaupapa whakamatautau, ka taea e koe te whakarereke i nga tikanga. Kaore pea ka mahia nga mahi katoa i runga i te tepu kotahi, me nga taviri ahurei anake. Me whakaaro tatou he huinga taviri "wera" e whakaputa ana i te kawenga matua. Na reira, me ngana ki te hanga i tetahi uta me nga rekoata nui ake (10 KB), i roto i nga roopu 100, i roto i nga ripanga rereke e 4 me te whakaiti i te awhe o nga taviri i tonohia ki te 50 mano. he huinga o nga taviri 40 me te tuhi matapōkeretia 100 KB ki runga ki enei ki muri.

Tu: 16 DataNode me 16 RS (CPU Xeon E5-2680 v4 @ 2.40GHz * 64 miro). Putanga HBase 1.2.0-cdh5.14.2.

I te wa e utaina ana, he maha nga wa i whakarewahia ai te whakakotahitanga nui, penei i te whakaaturanga i runga ake nei, me te kore tenei tikanga, ka heke haere te mahi, heoi, ka ara ake etahi atu kawenga i te wa e mahia ana. He maha nga take ka puta mai nga whakaheke. I etahi wa ka mutu te mahi o nga miro me te okioki i te wa e whakaara ano ana, i etahi wa ka hangaia e nga tono tuatoru he kawenga ki runga i te tautau.

Ko te panui me te tuhi tonu tetahi o nga ahuatanga mahi tino uaua mo HBase. Mena he iti noa nga tono tuku, hei tauira 100 paita, ka whakakotahi ki roto i nga kete 10-50 mano nga waahanga, ka taea e koe te tiki rau mano o nga mahi mo ia hekona, a he rite te ahuatanga ki nga tono panui-anake. He mea tika kia mohio ko nga hua he tino pai ake i era i whiwhihia e DataStax, ko te nuinga o nga mea na nga tono i roto i nga poraka o 50 mano.

Tu: 16 DataNode me 16 RS (CPU Xeon E5-2680 v4 @ 2.40GHz * 64 miro). Putanga HBase 1.2.0-cdh5.14.2.

10. Whakamutunga

He tino ngawari te whirihora o tenei punaha, engari ko te awe o te maha o nga tawhā kaore tonu i te mohiotia. Ko etahi o ratou i whakamatauria, engari kaore i whakauruhia ki roto i te huinga whakamatautau. Hei tauira, ko nga whakamatautau tuatahi i whakaatu he iti te hiranga o te tawhā penei i te DATA_BLOCK_ENCODING, e whakawaehere ana i nga korero ma te whakamahi i nga uara mai i nga pūtau tata, e marama ana mo nga raraunga hanga matapōkeretia. Mena ka whakamahi koe i te maha o nga taonga taarua, ka nui pea te painga. I te nuinga o te waa, ka taea e tatou te kii ko te HBase e whakaatu ana i te putunga korero tino nui me te tino whakaaro, ka tino whai hua i te wa e mahi ana i nga mahi me nga poraka nui o nga raraunga. Ina koa ka taea te wehe i nga mahi panui me te tuhi i te waa.

Mena he mea kei to whakaaro kaore i tino whaaia, kua rite ahau ki te korero atu ki a koe. Ka tono matou ki a koe ki te whakapuaki i to wheako, ki te korerorero ranei mena kaore koe e whakaae ki tetahi mea.

Source: will.com