Feumaidh obrachadh sam bith le dàta mòr cumhachd coimpiutaireachd mòr. Faodaidh gluasad àbhaisteach dàta bho stòr-dàta gu Hadoop seachdainean a thoirt no cosgais cho mòr ri sgiath itealain. Nach eil thu airson feitheamh agus caitheamh? Cothromaich an luchd thairis air diofar àrd-ùrlaran. Is e aon dòigh optimization pushdown.
Dh’ iarr mi air Aleksey Ananyev, prìomh thrèanaiche Ruiseanach airson leasachadh agus rianachd thoraidhean Informatica, bruidhinn mun fheart optimization pushdown ann an Informatica Big Data Management (BDM). An do dh’ ionnsaich thu a-riamh mar a bhith ag obair le toraidhean Informatica? Is coltaiche gur e Aleksey a dh’ innis dhut bunaitean PowerCenter agus a mhìnich mar a thogas tu mapaichean.
Alexei Ananiev, Ceannard Buidheann Trèanaidh DIS
Dè th' ann am pushdown?
Tha mòran agaibh eòlach mu thràth air Informatica Big Data Management (BDM). Tha an toradh comasach air dàta mòr a thoirt a-steach bho dhiofar thùsan, ga ghluasad eadar diofar shiostaman, a 'toirt cothrom furasta air, a' leigeil leat ìomhaigh a dhèanamh air, agus mòran a bharrachd.
Anns na làmhan ceart, faodaidh BDM iongantasan obrachadh: thèid gnìomhan a chrìochnachadh gu sgiobalta agus le glè bheag de ghoireasan coimpiutaireachd.
A bheil thu ag iarraidh sin cuideachd? Ionnsaich mar a chleachdas tu feart pushdown BDM gus eallach obrach coimpiutaireachd a sgaoileadh thairis air diofar àrd-ùrlaran. Leigidh an teicneòlas pushdown leat am mapadh a thionndadh gu sgriobt agus an àrainneachd anns am bi an sgriobt seo a’ ruith a thaghadh. Leigidh comas a leithid de roghainn dhut neartan diofar àrd-ùrlaran a chur còmhla agus an coileanadh as àirde a choileanadh.
Gus an àrainneachd cur an gnìomh sgriobt a rèiteachadh, feumaidh tu an seòrsa pushdown a thaghadh. Faodar an sgriobt a ruith gu tur air Hadoop no a sgaoileadh gu ìre eadar stòr agus targaid. Tha 4 seòrsaichean pushdown comasach. Chan urrainnear mapadh a thionndadh gu sgriobt (dùthchasach). Faodar mapadh a dhèanamh cho mòr 's as urrainn air an stòr (stòr) no gu tur air an stòr (làn). Faodar mapadh a thionndadh gu sgriobt Hadoop (chan eil gin).
Pushdown optimization
Faodar na 4 seòrsaichean clàraichte a chur còmhla ann an diofar dhòighean - gus an fheum as fheàrr a dhèanamh de bhualadh sìos airson feumalachdan sònraichte an t-siostaim. Mar eisimpleir, gu tric tha e nas iomchaidh dàta fhaighinn air ais bho stòr-dàta a’ cleachdadh a chomasan fhèin. Agus gus an dàta atharrachadh - le feachdan Hadoop, gus nach bi an stòr-dàta fhèin air a luchdachadh cus.
Beachdaichidh sinn air a’ chùis nuair a tha an dà chuid an stòr agus an ceann-uidhe san stòr-dàta, agus faodar an àrd-ùrlar airson na h-atharrachaidhean a choileanadh a thaghadh: a rèir nan roghainnean, is e Informatica, frithealaiche an stòr-dàta, no Hadoop a bhios ann. Bidh eisimpleir mar seo a’ tuigsinn taobh theicnigeach gnìomhachd an uidheamachd seo. Gu nàdarra, ann am fìor bheatha, chan eil an suidheachadh seo ag èirigh, ach tha e nas freagarraiche airson a bhith a 'sealltainn comas-gnìomh.
Gabhamaid mapadh airson dà chlàr a leughadh ann an aon stòr-dàta Oracle. Agus leig leis na toraidhean leughaidh a bhith air an sgrìobhadh gu clàr san aon stòr-dàta. Bidh an sgeama mapaidh mar seo:
Ann an cruth mapadh air Informatica BDM 10.2.1, tha e a’ coimhead mar seo:
seòrsa pushdown - dùthchasach
Ma thaghas sinn an seòrsa dùthchasach pushdown, thèid am mapadh a dhèanamh air an t-seirbheisiche Informatica. Thèid an dàta a leughadh bhon t-seirbheisiche Oracle, a ghluasad gu frithealaiche Informatica, atharrachadh an sin agus a ghluasad gu Hadoop. Ann am faclan eile, gheibh sinn pròiseas ETL àbhaisteach.
seòrsa pushdown-source
Nuair a thaghas sinn an seòrsa stòr, gheibh sinn an cothrom ar pròiseas a sgaoileadh eadar frithealaiche an stòr-dàta (DB) agus Hadoop. Nuair a thèid am pròiseas a chur an gnìomh leis an t-suidheachadh seo, thèid ceistean a chuir chun stòr-dàta gus dàta fhaighinn bho chlàran. Agus nìthear an còrr mar cheuman air Hadoop.
Bidh an sgeama cur gu bàs a’ coimhead mar seo:
Gu h-ìosal tha eisimpleir de bhith a’ stèidheachadh na h-àrainneachd runtime.
Anns a 'chùis seo, thèid am mapadh a dhèanamh ann an dà cheum. Anns na roghainnean aige, chì sinn gu bheil e air tionndadh gu bhith na sgriobt a thèid a chuir chun stòr. A bharrachd air an sin, thèid ceangal chlàran agus cruth-atharrachadh dàta a dhèanamh ann an cruth ceist nach deach a dhubhadh às aig an stòr.
Anns an dealbh gu h-ìosal, chì sinn am mapadh làn-leasaichte air an BDM, agus a’ cheist ath-mhìnichte mun stòr.
Thèid àite Hadoop anns an rèiteachadh seo a lughdachadh gu bhith a’ riaghladh sruth dàta - gan cur air dòigh. Thèid toradh na ceiste a chuir gu Hadoop. Às deidh an leughadh a chrìochnachadh, thèid am faidhle bho Hadoop a sgrìobhadh chun ghlacadair.
seòrsa pushdown - làn
Nuair a thaghas tu an seòrsa slàn, tionndaidhidh am mapadh gu tur gu ceist stòr-dàta. Agus thèid toradh na ceiste a chuir gu Hadoop. Tha diagram de leithid de phròiseas air a thaisbeanadh gu h-ìosal.
Tha eisimpleir de shuidheachadh air a shealltainn gu h-ìosal.
Mar thoradh air an sin, gheibh sinn mapadh làn-leasaichte coltach ris an fhear roimhe. Is e an aon eadar-dhealachadh gu bheil an loidsig gu lèir air a ghluasad chun ghlacadair ann an cruth ath-mhìneachadh a chuir a-steach. Tha eisimpleir de mhapadh làn-leasaichte ri fhaicinn gu h-ìosal.
An seo, mar anns a 'chùis roimhe, tha Hadoop a' cluich dreuchd stiùiriche. Ach an seo tha an stòr air a leughadh gu h-iomlan, agus an uairsin tha an loidsig giollachd dàta air a chuir gu bàs aig ìre an ghlacadair.
tha an seòrsa pushdown null
Uill, is e an roghainn mu dheireadh an seòrsa pushdown, anns an tionndaidh ar mapadh gu bhith na sgriobt Hadoop.
Bidh am mapadh leasaichte a-nis a’ coimhead mar seo:
An seo, thèid an dàta bho na faidhlichean tùsail a leughadh le Hadoop an toiseach. An uairsin, leis fhèin, thèid an dà fhaidhle seo a chur còmhla. Às deidh sin, thèid an dàta a thionndadh agus a luchdachadh suas chun stòr-dàta.
Le bhith a’ tuigsinn prionnsapalan optimization pushdown, faodaidh tu mòran phròiseasan obrachadh le dàta mòr a chuir air dòigh gu fìor èifeachdach. Mar sin, o chionn ghoirid, chuir aon chompanaidh mòr dàta mòr bho stòradh gu Hadoop ann an dìreach beagan sheachdainean, a bha air a chruinneachadh roimhe seo airson grunn bhliadhnaichean.
Source: www.habr.com