Kuidas liikuda, laadida ja integreerida väga suuri andmeid kiiresti ja odavalt? Mis on pushdown-optimeerimine?

Iga operatsioon suurte andmetega nõuab suurt arvutusvõimet. Tavaline andmete liigutamine Hadoopi andmebaasist võib kesta nädalaid või maksta tõeliselt palju. Ei soovi oodata ega raisata? Tasakaalustage koormust erinevate platvormide vahel. Üks võimalus on pushdown-optimeerimine.

Palusin Venemaa juhtival Informatica toodete arendamise ja haldamise treeneril Aleksei Ananjevil rääkida pushdown-optimeerimise funktsioonist Informatica Big Data Managementis (BDM). Kui kunagi õppisite töötama Informatica toodetega, siis tõenäoliselt rääkis just Aleksei teile PowerCenteri põhialustest ja selgitas, kuidas luua kaarte.

Aleksei Ananjev, DIS Group koolituse juht

Mis on pushdown?

Paljud teist tunnevad juba Informatica Big Data Managementi (BDM). Toode suudab integreerida suurandmeid erinevatest allikatest, liigutada neid erinevate süsteemide vahel, tagada nendele lihtne ligipääs, võimaldab neid profiilida ja palju muud.
Osavõtlikus käsitöös suudab BDM teha imesid: ülesanded täidetakse kiiresti ja minimaalsete arvutusressurssidega.

Kas soovite ka seda? Õppige kasutama BDM pushdown funktsiooni arvutuskoormuse jaotamiseks erinevate platvormide vahel. Pushdown tehnoloogia võimaldab muuta kaardistamise skriptiks ja valida keskkonna, milles see skript käivitub. Sellise valiku võimalus võimaldab kombineerida erinevate platvormide tugevusi ja saavutada nende maksimaalset tootlikkust.

Skripti täitmise keskkonna seadistamiseks tuleb valida pushdown tüüp. Skript võib olla täielikult käivitatud Hadoopis või osaliselt jaotatud allika ja sihtkoha vahel. On 4 võimalikku pushdown tüüpi. Kaardistamist ei pea muutma skriptiks (native). Kaardistamist saab maksimaalselt käivitada allikas (source) või täielikult allikas (full). Samuti saab kaardistamise muuta Hadoopi skriptiks (none).

Pushdown-optimeerimine

Kõiki nimetatud 4 tüüpi saab omavahel erinevalt kombineerida – optimeerides pushdown'i konkreetsed süsteemi vajadused. Näiteks on sageli mõistlikum andmeid andmebaasist välja võtta, kasutades selle enda võimalusi. Andmete töötlemine võiks toimuda Hadoopi abil, et mitte koormata andmebaasi üle.

Vaatleme olukorda, kus nii allikas kui ka sihtkoht asuvad andmebaasis, ning transformatsioonide täitmise platvormi saab valida: sõltuvalt seadistustest võib see olla Informatica, andmebaasi server või Hadoop. Selline näide aitab kõige paremini mõista selle mehhanismi tehnilist külge. Loomulikult ei esine selline olukord reaalses elus, kuid funktsionaalsuse demonstreerimiseks sobib see kõige paremini.

Võtame kaardi kahe tabeli lugemiseks, mis asuvad ühes Oracle'i andmebaasis. Ja lugemise tulemused salvestatakse sellesse samasse tabelisse. Kaardistuse schema on järgmine:

Informatica BDM 10.2.1 mappina näeb see välja järgmine:

Pushdown'i tüüp – native

Kui valime pushdown'i tüübiks native, siis kaardistus teostatakse serveril Informatica. Andmed loetakse Oracle serverist, edastatakse Informatica serverisse, muudetakse seal ja üle kantakse Hadoopisse. Teisisõnu, saame tavalise ETL-protsessi.

Pushdown tüüp – source

Source tüübi valimisel saame võimaluse jagada meie protsessi serveriga andmebaaside (ABD) ja Hadoopi vahel. Selle seadistusega protsessi käivitamisel saadetakse andmete valimise päringud andmebaasi tabelitest. Kõik muu toimub Hadoopis sammudena.
Täitmise skeem näeb välja järgmine:

Allpool on näide täitmisvahekorra seadistamisest.

Sellisel juhul viidatakse kaardistamine kahele sammele. Selle seadetes näeme, et see on muutunud skriptiks, mis saadetakse allikale. Lauad ja andmete muutmine toimuvad allikas ümbersuunatud päringuna.
Alloleval pildil näeme optimeeritud kaardistamist BDM-il, ja allikal – ümbersuunatud päringut.

Hadoopi roll selles konfiguratsioonis on andmevoo haldamine – nende dirigeerimine. Päringu tulemus saadetakse Hadoopi. Pärast lugemise lõppu salvestatakse fail Hadoopist vastuvõtjasse.

Pushdown tüüp – full

Full tüübi valimisel muudetakse mappimine täielikult andmebaasi päringuks. Päringu tulemus saadetakse Hadoopile. Selle protsessi skeem on esitatud allpool.

Seadistuse näide on esitatud allpool.

Tulemusena saame optimeeritud mappimise, mis on sarnane eelmisele. Erinevus seisneb ainult selles, et kogu loogika kantakse vastuvõtjale üle tema sisestuse ülekirjutamise kujul. Optimeeritud mappimise näide on esitatud allpool.

Siin, nagu eelmiseski juhul, täidab Hadoop dirigendi rolli. Kuid siin loetakse allikas tervikuna, pärast mida teostatakse andmete töötlemise loogika vastuvõtja tasandil.

Pushdown tüüp – null

Ja viimane variant – pushdown tüüp, mille raames meie mappimine muutub Hadoopi skriptiks.

Optimeeritud mappimine näeb nüüd välja nii:

Siin loetakse andmed esmalt allikafailidest Hadoopis. Seejärel kombineeritakse need kaks faili samade vahenditega. Pärast seda muudetakse andmed ja laaditakse andmebaasi välja.

Mõistes pushdown-optimeerimise põhimõtteid, saab suuri andmeid töötlemise protsesse väga efektiivselt korraldada. Nii, näiteks hiljuti suutis üks suur ettevõte mõne nädalaga laadida Hadoopi oma aastal kogutud suure koguse andmeid, mida oli kogutud aastaid.

Allikas: habr.com