Ko nga whakatakotoranga konae i roto i nga raraunga nui: he kaupapa ako poto

Te atua o te rangi na Remarin

rōpū Mail.ru Cloud Solutions tuku whakamaoritanga o te tuhinga he miihini Rahul Bhatia mai i a Clairvoyant mo nga whakatakotoranga konae kei roto i nga raraunga nui, he aha nga ahuatanga tino noa o nga whakatakotoranga Hadoop me tehea whakatakotoranga he pai ake te whakamahi.

He aha i hiahiatia ai nga whakatakotoranga konae rereke?

Ko te maatanga mahi nui mo nga tono HDFS-whakahohea penei i te MapReduce me te Spark ko te waa ki te rapu, ki te panui, ki te tuhi raraunga. Ko enei raruraru ka nui ake i te uaua ki te whakahaere i nga huinga raraunga nui mena kei a maatau te kaupapa e whanake ana, kaua ki te mea kua mau, mena he herenga rokiroki ranei.

Ko te tukatuka i nga raraunga nui ka piki ake te uta ki runga i te puunaha putunga rokiroki - Ka penapena rawatia e Hadoop nga raraunga hei whakatutuki i nga hapa. I tua atu i nga kōpae, ka utaina te tukatuka, te whatunga, te punaha whakauru/puta, me etahi atu. Ka piki ake te rahi o nga raraunga, ka piki ake te utu mo te tukatuka me te penapena.

Nga momo momo whakatakotoranga kei roto Hadoop i hangaia hei whakaoti tika i enei rapanga. Ma te kowhiri i te whakatakotoranga konae e tika ana ka whai hua nui:

1. He tere ake te waa panui.
2. He tere ake te wa tuhi.
3. Kōnae tiritahi.
4. Tautoko mo te whanaketanga aronuinga.
5. Tautoko kōpeketanga kua whakawhānuihia.

Ko etahi o nga whakatakotoranga konae he mea mo te whakamahi whanui, etahi atu mo etahi atu whakamahinga, a ko etahi i hangaia kia tutuki nga ahuatanga raraunga motuhake. Na he tino nui te whiringa.

Hōputu kōnae Avro

Ki raupapa raraunga Ka whakamahia nuitia a Avro - he aho i runga, ara, he whakatakotoranga rokiroki raraunga aho i Hadoop. Ka penapenahia te aronuinga ki te whakatakotoranga JSON, he maamaa te panui me te whakamaori ma tetahi kaupapa. Ko nga raraunga ake kei te whakatakotoranga rua, kiato me te pai.

Ko te punaha raupapatanga a Avro he reo korekore. Ka taea te tukatuka i nga konae i roto i nga momo reo, i tenei wa ko C, C++, C#, Java, Python me Ruby.

Ko tetahi ahuatanga nui o Avro ko tana tautoko kaha mo nga kaupapa raraunga ka huri i te waa, ara, ka whanake. Kei te mohio a Avro ki nga huringa aronuinga—te muku, te taapiri, te huri mara ranei.

Ka tautoko a Avro i nga momo hanganga raraunga. Hei tauira, ka taea e koe te hanga rekoata kei roto he huranga, he momo tatau, he rekoata iti.

He pai tenei whakatakotoranga mo te tuhi ki te rohe taunga (whakawhitinga) o te roto raraunga (roto raraunga, roto raraunga ranei - he kohinga tauira mo te penapena momo momo raraunga hei taapiri atu ki nga puna raraunga tika).

Na, he pai rawa atu tenei whakatakotoranga mo te tuhi ki te rohe taunga o te roto raraunga mo nga take e whai ake nei:

1. Ko nga raraunga mai i tenei rohe ka panuihia katoatia mo te tukatuka ano ma nga punaha whakararo - a he pai ake te whakatakotoranga-a-rarangi i tenei keehi.
2. Ka taea e nga punaha whakararo te tango ngawari i nga ripanga aronuinga mai i nga konae—kaore e tika ki te penapena motuhake i nga aronuinga ki te rokiroki meta o waho.
3. Ko nga huringa ki te aronuinga taketake ka ngawari te tukatuka (te whanaketanga aronuinga).

Hōputu Kōnae Parquet

Ko te Parquet he whakatakotoranga konae puna tuwhera mo Hadoop e penapena ana hanganga raraunga kohanga i roto i te whakatakotoranga pou papatahi.

Ina whakaritea ki te huarahi rarangi tawhito, he pai ake te pai o te Parquet mo te rokiroki me te mahi.

He tino pai tenei mo nga patai e panui ana i nga pou motuhake mai i te ripanga whanui (maha nga pou). He mihi ki te whakatakotoranga konae, ko nga pou e tika ana ka panuihia, na reira ka noho iti te I/O.

He iti nei te rereke me te whakamarama: Kia pai ake te mohio ki te whakatakotoranga konae Parquet i Hadoop, kia kite tatou he aha te whakatakotoranga-a-tiwae - ara. Ko tenei whakatakotoranga ka pupuri i nga uara rite mo ia pou.

Hei tauira, kei roto i te rekoata te ID, Ingoa, me nga mara o te Tari. I tenei keehi, ka penapena tahi nga uara pou ID katoa, pera me nga uara pou ingoa, me era atu. Ka penei te ahua o te ripanga:

ID
ingoa
Tari

1
emp1
d1

2
emp2
d2

3
emp3
d3

I roto i te whakatakotoranga aho, ka tiakina nga raraunga penei:

1
emp1
d1
2
emp2
d2
3
emp3
d3

I roto i te whakatakotoranga konae poupou, ko nga raraunga ano ka tiakina penei:

1
2
3
emp1
emp2
emp3
d1
d2
d3

He pai ake te whakatakotoranga pou ina hiahia koe ki te uiui i nga pou maha mai i te ripanga. Ka panuihia nga pou e hiahiatia ana na te mea kei te taha tata. Ma tenei ara, ka pupurihia nga mahi I/O ki te iti rawa.

Hei tauira, me hiahia noa koe ki te NAME tīwae. IN whakatakotoranga aho Ko ia rekoata kei roto i te huingararaunga me utaina, ka tohatohahia e te mara, ka tangohia nga raraunga NAME. Ko te whakatakotoranga tīwae ka taea e koe te ruri tika ki te rarangi Ingoa na te mea kua penapena nga uara katoa mo taua pou. E kore koe e whai ki te matawai i te tuhi katoa.

No reira, ko te whakatakotoranga pourangi ka pai ake te mahi uiui na te mea he iti ake te waa rapu kia tae atu ki nga pou e hiahiatia ana me te whakaiti i te maha o nga mahi I/O na te mea ko nga pou e hiahiatia ana ka panuihia.

Ko tetahi o nga ahuatanga ahurei Pareke kei roto i tenei whakatakotoranga ka taea rokiroki raraunga me nga hanganga kohanga. Ko te tikanga i roto i te konae Parquet, ahakoa nga mara kohanga ka taea te korero takitahi me te kore e panui i nga mara katoa i roto i te hanganga kohanga. Ka whakamahia e te Parquet te tapahi me te whakauru algorithm ki te penapena i nga hanganga kohanga.

Kia mohio koe ki te whakatakotoranga konae Parquet i Hadoop, me mohio koe ki nga kupu e whai ake nei:

1. Rōpū haupae (rōpū rarangi): te wehewehenga whakapae arorau o nga raraunga ki nga rarangi. Kei roto i te roopu haupae he kongakonga o ia tīwae i te huinga raraunga.
2. Kohanga tīwae (column chunk): He kongakonga o tetahi pou motuhake. Ka noho enei kongakonga tīwae i roto i te roopu haupae motuhake, ka whakapumauhia kia piri tonu ki te konae.
3. Whārangi (Wharangi): Ka wehewehea nga wahanga o te pou ki nga wharangi ka tuhia tetahi ki muri i tetahi. He taitara noa nga wharangi, na reira ka taea e koe te peke i nga mea kore i te wa e panui ana.

I konei kei roto noa i te taitara te nama makutu PAR1 (4 paita) e tohu ana i te konae hei konae Parquet.

E kii ana te hiku e whai ake nei:

1. Raraunga meta konae kei roto nga taunga timatanga o ia metadata o ia pou. I te wa e panui ana, me matua panui koe i nga metadata o te konae kia kitea ai nga kongakonga poupou katoa. Ko nga waahanga o te pou me panui raupapa. Ko etahi atu metadata ko te putanga whakahōputu, te aronuinga, me etahi atu takirua uara-matua.
2. Roa raraunga meta (4 paita).
3. Tau makutu PAR1 (4 paita).

Hōputu Kōnae ORC

Kua arotautia te whakatakotoranga konae rarangi-tiwae (Tiwae Haupae Arotautia, Orc) he huarahi tino pai ki te penapena raraunga, i hoahoatia ki te hinga i nga here o etahi atu whakatakotoranga. Pupuri raraunga i roto i te ahua tino kiato, ka taea e koe te peke i nga korero koretake - me te kore e hiahia ki te hanga i nga tohu tohu nui, uaua, a ringa ranei.

Nga painga o te whakatakotoranga ORC:

1. Ko tetahi konae ko te putanga o ia mahi, e whakaiti ana i te kawenga ki te NameNode (ingoa node).
2. Tautoko mo nga momo raraunga Hive, tae atu ki te RaWa, nga momo raraunga ira-ira me te uaua (hanganga, rarangi, mahere me te uniana).
3. Ko te panui tukutahi o te konae kotahi na nga momo tukanga RecordReader.
4. Te kaha ki te wehe i nga konae me te kore e tirotiro mo nga tohu.
5. Te whakatau tata mo te nui rawa o te tohatoha mahara puranga mo nga tukanga panui/tuhi i runga i nga korero kei roto i te hiku o te konae.
6. Ka penapenahia nga metadata ki te whakatakotoranga rangatū-rua a Protocol Buffers, e taea ai te taapiri me te tango i nga mara.

Ka penapenahia e ORC nga kohinga aho ki te konae kotahi, a, i roto i te kohinga, ka penapena nga raraunga aho ki te whakatakotoranga pou.

Ko te konae ORC kei te rongoa i nga roopu raina e kiia nei ko nga whiu me nga korero tautoko kei te hiku o te konae. Kei roto i te Tuhituhi kei te mutunga o te konae nga tawhā kōpeketanga me te rahi o te hiku kōpeke.

Ko 250 MB te rahi o te karaehe taunoa. Na te nui o nga whiu, ka pai ake te mahi panui mai i te HDFS: i roto i nga poraka nui e piri ana.

Ka tuhia e te hiku o te konae te rarangi o nga ara i roto i te konae, te maha o nga rarangi mo ia ara, me te momo raraunga o ia tīwae. Ko te uara o te tatau, te min, te teitei me te tapeke mo ia pou ka tuhia ki reira.

Kei te hiku o te takai he whaiaronga o nga waahi roma.

Ka whakamahia te raraunga haupae ina matawai i nga ripanga.

Kei roto i nga raraunga taupū nga uara iti me te teitei mo ia tīwae me te tūnga o ngā haupae i ia tīwae. Ka whakamahia nga tohu ORC mo te kowhiri i nga whiu me nga roopu haupae, kaua mo te whakautu patai.

Whakatauritenga o nga momo whakatakotoranga konae

Avro whakaritea ki Parquet

1. Ko te Avro he whakatakotoranga rokiroki haupae, ko te Parquet te penapena raraunga ki nga pou.
2. He pai ake te Parquet mo nga patai tātari, ko te tikanga he pai ake nga mahi panui me nga raraunga patai i te tuhi.
3. Ko nga mahi tuhi i roto i te Avro he pai ake te mahi i te Parquet.
4. He pakari ake a Avro mo te whanaketanga ara iahiko. Ka tautoko noa te Parquet i te taapiri aronuinga, ka tautoko a Avro i te whanaketanga maha, ara, te taapiri, te huri ranei i nga pou.
5. He pai te Parquet mo te uiui i tetahi waahanga o nga pou kei roto i te ripanga-tīwae maha. He pai a Avro mo nga mahi ETL e patai ai matou i nga pou katoa.

ORC vs Parquet

1. He pai ake te penapena i nga raraunga kohanga.
2. He pai ake te ORC ki te whakatau i te pana ki raro.
3. Ka tautokohia e ORC nga taonga ACID.
4. He pai ake te kopiri o te ORC i nga raraunga.

He aha atu hei panui mo te kaupapa:

1. Te tātari raraunga nui i roto i te kapua: me pehea e taea ai e te kamupene te noho-raraunga.
2. He Aratohu Haahaa ki nga Kaupapa Raraunga Raraunga.
3. To tatou hongere waea mo te huringa matihiko.

Source: will.com