Éilíonn aon oibríocht mhór sonraí go leor cumhachta ríomhaireachta. Is féidir go dtógfadh sé seachtainí nó go gcosnaíonn sé an oiread le sciathán eitleáin má dhéantar gnáthaistriú sonraí ó bhunachar sonraí go Hadoop. Ná bí ag iarraidh fanacht agus airgead a chaitheamh? Cothromaigh an t-ualach thar ardáin éagsúla. Bealach amháin is ea optimization pushdown.
D’iarr mé ar phríomh-oiliúnóir na Rúise maidir le forbairt agus riaradh táirgí Informatica, Alexey Ananyev, labhairt faoin bhfeidhm optamaithe brú anuas in Informatica Big Data Management (BDM). Ar fhoghlaim tú riamh oibriú le táirgí Informatica? Is dócha, ba é Alexey a d'inis bunghnéithe PowerCenter duit agus a mhínigh conas mapálacha a thógáil.
Alexey Ananev, ceann oiliúna ag Grúpa DIS
Cad is brú síos?
Tá cur amach ag go leor agaibh ar Informatica Big Data Management (BDM) cheana féin. Is féidir leis an táirge sonraí móra a chomhtháthú ó fhoinsí éagsúla, é a bhogadh idir córais éagsúla, soláthraíonn sé rochtain éasca air, ligeann duit é a phróifíliú, agus i bhfad níos mó.
Sna lámha cearta, is féidir le BDM iontais a oibriú: críochnófar tascanna go tapa agus le hacmhainní ríomhaireachta íosta.
Ar mhaith leat é sin freisin? Foghlaim conas an ghné bhrú síos i BDM a úsáid chun an t-ualach ríomhaireachta a dháileadh ar ardáin éagsúla. Ligeann teicneolaíocht Pushdown duit léarscáiliú a iompú ina script agus an timpeallacht ina reáchtálfar an script seo a roghnú. Ceadaíonn an rogha seo duit láidreachtaí na n-ardán éagsúla a chomhcheangal agus a n-uasfheidhmíocht a bhaint amach.
Chun an timpeallacht forghníomhaithe script a chumrú, ní mór duit an cineál brú anuas a roghnú. Is féidir an script a rith go hiomlán ar Hadoop nó a dháileadh go páirteach idir an fhoinse agus an doirteal. Tá 4 chineál brú anuas féideartha ann. Ní gá an léarscáiliú a iompú ina script (dúchais). Is féidir mapáil a dhéanamh oiread agus is féidir ar an bhfoinse (foinse) nó go hiomlán ar an bhfoinse (lán). Is féidir an mhapáil a iompú ina script Hadoop freisin (gan aon cheann).
leas iomlán a bhaint pushdown
Is féidir na 4 chineál liostaithe a chomhcheangal ar bhealaí éagsúla - is féidir pushdown a bharrfheabhsú do riachtanais shonracha an chórais. Mar shampla, is minic a bhíonn sé níos oiriúnaí sonraí a bhaint as bunachar sonraí ag baint úsáide as a chumais féin. Agus déanfar na sonraí a thiontú ag baint úsáide as Hadoop, ionas nach gcuirfear ró-ualach ar an mbunachar sonraí féin.
Déanaimis an cás a mheas nuair a bhíonn an fhoinse agus an ceann scríbe araon sa bhunachar sonraí, agus is féidir an t-ardán forghníomhaithe claochlaithe a roghnú: ag brath ar na socruithe, beidh sé Informatica, freastalaí bunachar sonraí, nó Hadoop. Tabharfaidh sampla den sórt sin deis duit an taobh teicniúil d'oibriú na meicníochta seo a thuiscint go beacht. Ar ndóigh, sa saol fíor, ní thagann an cás seo chun cinn, ach is fearr a oireann chun feidhmiúlacht a léiriú.
Déanaimis léarscáiliú chun dhá thábla a léamh i mbunachar sonraí Oracle amháin. Agus lig na torthaí léitheoireachta a thaifeadadh i dtábla sa bhunachar sonraí céanna. Beidh an scéim mhapála mar seo:
I bhfoirm mapála ar Informatica BDM 10.2.1 tá an chuma air seo:
Cineál pushdown - dúchasach
Má roghnaímid an cineál dúchais brú anuas, déanfar an léarscáiliú ar an bhfreastalaí Informatica. Déanfar na sonraí a léamh ón bhfreastalaí Oracle, a aistriú chuig an bhfreastalaí Informatica, a chlaochlú ann agus a aistriú go Hadoop. I bhfocail eile, gheobhaidh muid gnáthphróiseas ETL.
Cineál brú anuas – foinse
Agus an cineál foinse á roghnú againn, faigheann muid an deis ár bpróiseas a dháileadh idir an freastalaí bunachar sonraí (DB) agus Hadoop. Nuair a chuirtear próiseas i bhfeidhm leis an socrú seo, seolfar iarratais chun sonraí a aisghabháil ó tháblaí chuig an mbunachar sonraí. Agus déanfar an chuid eile i bhfoirm céimeanna ar Hadoop.
Breathnóidh an léaráid forghníomhaithe mar seo:
Seo thíos sampla de shocrú na timpeallachta rite.
Sa chás seo, déanfar an léarscáiliú in dhá chéim. Ina socruithe feicfimid go bhfuil sé iompaithe ina script a sheolfar chuig an bhfoinse. Ina theannta sin, déanfar táblaí a chomhcheangal agus a chlaochlú sonraí i bhfoirm fiosrúcháin sáraithe ar an bhfoinse.
Sa phictiúr thíos, feicimid léarscáiliú optamaithe ar an BDM, agus ceist athshainithe ar an bhfoinse.
Laghdófar ról Hadoop sa chumraíocht seo chun an sreabhadh sonraí a bhainistiú - é a chur ar bun. Seolfar toradh na ceiste chuig Hadoop. Nuair a bheidh an léamh críochnaithe, scríobhfar an comhad ó Hadoop chuig an doirteal.
Cineál pushdown - iomlán
Nuair a roghnaíonn tú an cineál iomlán, déanfar an léarscáiliú go hiomlán ina cheist bhunachar sonraí. Agus seolfar toradh an iarratais chuig Hadoop. Tá léaráid de phróiseas dá leithéid curtha i láthair thíos.
Taispeántar socrú samplach thíos.
Mar thoradh air sin, gheobhaidh muid léarscáiliú optamaithe cosúil leis an gceann roimhe seo. Is é an t-aon difríocht ná go n-aistrítear an loighic ar fad chuig an nglacadóir i bhfoirm a chur isteach a shárú. Tá sampla de léarscáiliú optamaithe léirithe thíos.
Anseo, mar a tharla sa chás roimhe seo, imríonn Hadoop ról an seoltóra. Ach anseo léitear an fhoinse ina hiomláine, agus ansin déantar an loighic próiseála sonraí ag leibhéal an ghlacadóra.
Tá cineál pushdown null
Bhuel, is é an rogha dheireanach an cineál brú anuas, ina ndéanfar script Hadoop ar ár mapáil.
Féachfaidh an léarscáiliú optamaithe mar seo anois:
Anseo léifear na sonraí ó na comhaid foinse ar dtús ar Hadoop. Ansin, ag baint úsáide as a chuid acmhainní féin, cuirfear an dá chomhad seo le chéile. Tar éis seo, déanfar na sonraí a thiontú agus a uaslódáil chuig an mbunachar sonraí.
Trí phrionsabail leas iomlán a bhaint as brú a thuiscint, is féidir leat go leor próiseas a eagrú go héifeachtach chun oibriú le sonraí móra. Mar sin, le déanaí, rinne cuideachta mhór amháin, i gceann cúpla seachtain, sonraí móra a íoslódáil ón stóras go Hadoop, a bhailigh sí le roinnt blianta anuas roimhe seo.
Foinse: will.com