ʻO kēlā me kēia hana ʻikepili nui e pono ai ka mana helu. ʻO kahi neʻe maʻamau o ka ʻikepili mai kahi waihona i Hadoop hiki ke lawe i nā hebedoma a i ʻole ke kumukūʻai e like me ka ʻēheu mokulele. ʻAʻole makemake e kali a hoʻolilo kālā? E kaulike i ka ukana ma nā paepae like ʻole. ʻO kahi ala ʻo pushdown optimization.
Ua noi au i ke alakaʻi alakaʻi o Rūsia no ka hoʻomohala ʻana a me ka hoʻokele ʻana i nā huahana Informatica, ʻo Alexey Ananyev, e kamaʻilio e pili ana i ka hana pushdown optimization ma Informatica Big Data Management (BDM). Ua aʻo paha ʻoe e hana me nā huahana Informatica? ʻO ka mea nui, ʻo Alexey ka mea i haʻi iā ʻoe i nā kumu o PowerCenter a wehewehe i ke ʻano o ke kūkulu ʻana i nā palapala palapala.
ʻO Alexey Ananyev, ke poʻo o ke aʻo ʻana ma DIS Group
He aha ka pushdown?
Ua kamaʻāina ka nui o ʻoukou me Informatica Big Data Management (BDM). Hiki i ka huahana ke hoʻohui i nā ʻikepili nui mai nā kumu like ʻole, hoʻoneʻe iā ia ma waena o nā ʻōnaehana like ʻole, hāʻawi maʻalahi iā ia, hiki iā ʻoe ke hoʻopili iā ia, a ʻoi aku ka nui.
Ma nā lima ʻākau, hiki i ka BDM ke hana i nā mea kupanaha: e hoʻopau koke ʻia nā hana a me ka liʻiliʻi o nā kumuwaiwai helu.
Makemake ʻoe i kēlā? E aʻo i ka hoʻohana ʻana i ka hiʻohiʻona pushdown ma BDM e puʻunaue i ka haʻahaʻa helu helu ma nā pae like ʻole. Hiki i ka ʻenehana Pushdown ke hoʻololi i ka palapala ʻāina i kahi palapala a koho i ke kaiapuni kahi e holo ai kēia palapala. Hiki i kēia koho ke hoʻohui i nā ikaika o nā paepae like ʻole a hoʻokō i kā lākou hana kiʻekiʻe.
No ka hoʻonohonoho ʻana i ke kaiapuni hoʻokō script, pono ʻoe e koho i ke ʻano pushdown. Hiki ke holo holoʻokoʻa ka palapala ma Hadoop a i ʻole mahele ʻia ma waena o ke kumu a me ke pohō. Aia he 4 mau ʻano pushdown. ʻAʻole pono e hoʻololi ʻia ka palapala ʻāina i palapala (native). Hiki ke hana 'ia ka palapala 'āina ma ke kumu (kumu) a i 'ole ma ke kumu (piha). Hiki ke hoʻololi ʻia ka palapala ʻāina i kahi palapala Hadoop (ʻaʻohe).
Pushdown optimization
Hiki ke hoʻohui ʻia nā ʻano 4 i helu ʻia ma nā ʻano like ʻole - hiki ke hoʻopaʻa ʻia ka pushdown no nā pono kikoʻī o ka ʻōnaehana. No ka laʻana, ʻoi aku ka maikaʻi o ka unuhi ʻana i ka ʻikepili mai kahi waihona me ka hoʻohana ʻana i kona mau mana ponoʻī. A e hoʻololi ʻia ka ʻikepili me ka hoʻohana ʻana iā Hadoop, i ʻole e hoʻonui i ka waihona ponoʻī.
E noʻonoʻo kākou i ka hihia inā aia ke kumu a me ka wahi i ka waihona, a hiki ke koho ʻia ke kahua hoʻokō hoʻololi: ma muli o nā hoʻonohonoho, ʻo ia ʻo Informatica, kahi kikowaena waihona, a i ʻole Hadoop. ʻO ia hiʻohiʻona e ʻae iā ʻoe e hoʻomaopopo pono i ka ʻaoʻao ʻenehana o ka hana ʻana o kēia mīkini. ʻO ka mea maʻamau, i ke ola maoli, ʻaʻole kū kēia kūlana, akā kūpono ia no ka hōʻike ʻana i ka hana.
E lawe kākou i ka palapala ʻāina no ka heluhelu ʻana i ʻelua papa ma ka waihona ʻo Oracle hoʻokahi. A e hoʻopaʻa ʻia nā hopena heluhelu ma ka papa ma ka waihona like. E like me kēia ka papahana palapala:
Ma ke ʻano o ka palapala ʻāina ma Informatica BDM 10.2.1 e like me kēia:
ʻAno hoʻokuʻu - ʻōiwi
Inā koho mākou i ke ʻano ʻōiwi pushdown, a laila e hana ʻia ka palapala ʻāina ma ke kikowaena Informatica. E heluhelu ʻia ka ʻikepili mai ka server Oracle, hoʻoili ʻia i ka server Informatica, hoʻololi ʻia ma laila a hoʻoili ʻia i Hadoop. I nā huaʻōlelo ʻē aʻe, e loaʻa iā mākou kahi kaʻina hana ETL maʻamau.
Pushdown ʻano - kumu
Ke koho ʻana i ke ʻano kumu, loaʻa iā mākou ka manawa e puʻunaue i kā mākou kaʻina hana ma waena o ka waihona kikowaena (DB) a me Hadoop. Ke hoʻokō ʻia kahi kaʻina hana me kēia hoʻonohonoho, e hoʻouna ʻia nā noi e kiʻi i ka ʻikepili mai nā papa i ka waihona. A e hana ʻia ke koena ma ke ʻano o nā ʻanuʻu ma Hadoop.
Penei ke kiʻi hoʻokō:
Aia ma lalo kahi hiʻohiʻona o ka hoʻonohonoho ʻana i ke kaiapuni runtime.
I kēia hihia, e hana ʻia ka palapala ʻāina ma nā ʻanuʻu ʻelua. Ma kāna mau hoʻonohonoho e ʻike mākou ua lilo ia i palapala e hoʻouna ʻia i ke kumu. Eia kekahi, e hana ʻia ka hoʻohui ʻana i nā papa a me ka hoʻololi ʻana i ka ʻikepili ma ke ʻano o kahi nīnau i hoʻopau ʻia ma ke kumu.
Ma ke kiʻi ma lalo nei, ʻike mākou i kahi palapala palapala i hoʻopaʻa ʻia ma ka BDM, a me kahi nīnau i wehewehe hou ʻia ma ke kumu.
ʻO ka hana a Hadoop i kēia hoʻonohonoho e hoʻemi ʻia i ka hoʻokele ʻana i ka kahe o ka ʻikepili - orchestrating ia. E hoʻouna ʻia ka hopena o ka nīnau iā Hadoop. Ke pau ka heluhelu ʻana, e kākau ʻia ka faila mai Hadoop i ka paila.
Pushdown ʻano - piha
Ke koho ʻoe i ke ʻano piha, e lilo ka palapala ʻāina i kahi nīnau waihona. A e hoʻouna ʻia ka hopena o ka noi iā Hadoop. Hōʻike ʻia kahi kiʻi o ia ʻano hana ma lalo nei.
Hōʻike ʻia kahi hoʻonohonoho laʻana ma lalo nei.
ʻO ka hopena, e loaʻa iā mākou kahi palapala palapala i hoʻopaʻa ʻia e like me ka mea ma mua. ʻO ka ʻokoʻa wale nō ke hoʻololi ʻia nā loiloi āpau i ka mea hoʻokipa ma ke ʻano o ka overriding i kāna hoʻokomo. Hōʻike ʻia ma lalo nei kahi laʻana o ka palapala ʻāina i hoʻopaʻa ʻia.
Eia, e like me ka hihia ma mua, hoʻokani ʻo Hadoop i ke kuleana o ke alakaʻi. Eia naʻe ua heluhelu ʻia ke kumu i kona holoʻokoʻa, a laila hoʻokō ʻia ka loiloi hoʻoili ʻikepili ma ka pae hoʻokipa.
He null ke ʻano hoʻokuʻu
ʻAe, ʻo ka koho hope loa ke ʻano pushdown, kahi e lilo ai kā mākou palapala palapala i kahi palapala Hadoop.
E like me kēia ka palapala ʻāina i hoʻopaʻa ʻia:
Maanei e heluhelu mua ʻia ka ʻikepili mai nā faila kumu ma Hadoop. A laila, me ka hoʻohana ʻana i kāna ʻano ponoʻī, e hui pū ʻia kēia mau faila ʻelua. Ma hope o kēia, e hoʻololi ʻia ka ʻikepili a hoʻouka i ka waihona.
Ma ka hoʻomaopopo ʻana i nā loina o ka pushdown optimization, hiki iā ʻoe ke hoʻonohonoho pono i nā kaʻina hana no ka hana ʻana me ka ʻikepili nui. No laila, i kēia manawa, hoʻokahi hui nui, i loko o kekahi mau pule, ua hoʻoiho i ka ʻikepili nui mai ka mālama ʻana i Hadoop, i hōʻiliʻili mua ʻia no nā makahiki he nui.
Source: www.habr.com