Ts'ebetso efe kapa efe e kholo ea data e hloka matla a mangata a komporo. Tsamaiso e tloaelehileng ea data ho tloha polokelong ea boitsebiso ho ea Hadoop e ka nka libeke kapa ea bitsa chelete e kaalo ka lepheo la sefofane. Ha u batle ho ema ebe u sebelisa chelete? Leka-lekanya mojaro ho pholletsa le li-platform tse fapaneng. Tsela e 'ngoe ke pushdown optimization.
Ke ile ka botsa mokoetlisi ea ka sehloohong oa Russia bakeng sa nts'etsopele le tsamaiso ea lihlahisoa tsa Informatica, Alexey Ananyev, ho bua ka mosebetsi oa pushdown optimization ho Informatica Big Data Management (BDM). Na u kile ua ithuta ho sebetsa le lihlahisoa tsa Informatica? Ho ka etsahala hore ebe ke Alexey ea u boleletseng lintho tsa motheo tsa PowerCenter mme a hlalosa mokhoa oa ho haha limmapa.
Alexey Ananyev, hlooho ea koetliso ho DIS Group
pushdown ke eng?
Bongata ba lona le se le tloaelane le Informatica Big Data Management (BDM). Sehlahisoa se ka kopanya data e kholo ho tsoa mehloling e fapaneng, sa e tsamaisa lipakeng tsa litsamaiso tse fapaneng, e fana ka phihlello e bonolo ho eona, e u lumella ho e etsa profil, le tse ling tse ngata.
Ka matsoho a nepahetseng, BDM e ka etsa mehlolo: mesebetsi e tla phethoa kapele le ka lisebelisoa tse fokolang tsa komporo.
Na le wena o batla seo? Ithute ho sebelisa tšobotsi ea pushdown ho BDM ho tsamaisa mojaro oa komporo ho li-platform tse fapaneng. Theknoloji ea Pushdown e u lumella ho fetola 'mapa hore e be sengoloa ebe u khetha tikoloho eo mongolo ona o tla sebetsa ho eona. Khetho ena e u lumella ho kopanya matla a li-platform tse fapaneng le ho fihlela ts'ebetso ea bona e phahameng.
Ho hlophisa tikoloho ea ts'ebetso ea script, o hloka ho khetha mofuta oa pushdown. Script e ka tsamaisoa ka ho feletseng ho Hadoop kapa ea ajoa ka mokhoa o fokolang pakeng tsa mohloli le teba. Ho na le mefuta e 4 e ka khonehang ea ho theoha. Ho etsa 'mapa ha ho hlokahale hore ho fetoloe mongolo (oa tlhaho). 'Mapa o ka etsoa ka hohle kamoo ho ka khonehang mohloling (mohloli) kapa ka ho feletseng mohloling (o tletseng). Ho etsa 'mapa ho ka boela ha fetoloa hore e be sengoloa sa Hadoop (ha ho letho).
Pushdown optimization
Mefuta e 4 e thathamisitsoeng e ka kopanngoa ka mekhoa e fapaneng - pushdown e ka ntlafatsoa bakeng sa litlhoko tse ikhethileng tsa sistimi. Ka mohlala, hangata ho loketse haholoanyane ho ntša data ho tswa ho database ho sebelisa bokhoni ba eona. Mme data e tla fetoloa ho sebelisoa Hadoop, e le hore e se ke ea jara database ka boeona.
A re ke re nahaneng ka taba ha mohloli le sebaka se eang ho sona se le setsing sa polokelo ea litaba, 'me sethala sa phetoho ea phetoho se ka khethoa: ho itšetlehile ka litlhophiso, e tla ba Informatica, seva sa database, kapa Hadoop. Mohlala o joalo o tla u lumella ho utloisisa ka nepo karolo ea tekheniki ea ts'ebetso ea mochini ona. Ka tlhaho, bophelong ba sebele, boemo bona ha bo hlahe, empa bo loketse ka ho fetisisa bakeng sa ho bontša ts'ebetso.
Ha re nke 'mapa ho bala litafole tse peli polokelong e le' ngoe ea Oracle. 'Me liphetho tsa ho bala li ngoloe ka har'a tafole sebakeng sa polokelo ea litaba. Sekema sa 'mapa se tla ba tjena:
Ka mokhoa oa ho etsa 'mapa ho Informatica BDM 10.2.1 e shebahala tjena:
Mofuta oa pushdown - oa tlhaho
Haeba re khetha mofuta oa tlhaho oa pushdown, 'mapa o tla etsoa ho seva sa Informatica. Lintlha li tla baloa ho tswa ho seva sa Oracle, se fetisetsoa ho seva sa Informatica, se fetoloe moo ebe se fetisetsoa Hadoop. Ka mantsoe a mang, re tla fumana ts'ebetso e tloaelehileng ea ETL.
Mofuta oa pushdown - mohloli
Ha re khetha mofuta oa mohloli, re fumana monyetla oa ho aba ts'ebetso ea rona pakeng tsa seva sa database (DB) le Hadoop. Ha ts'ebetso e etsoa ka tlhophiso ena, likopo tsa ho khutlisa data ho tsoa litafoleng li tla romelloa bobolokelong. 'Me tse ling kaofela li tla etsoa ka mokhoa oa mehato ho Hadoop.
Setšoantšo sa ts'ebetso se tla shebahala tjena:
Ka tlase ke mohlala oa ho theha tikoloho ea nako ea ho sebetsa.
Tabeng ena, 'mapa o tla etsoa ka mehato e' meli. Litlhophisong tsa eona re tla bona hore e fetohile script e tla romelloa mohloling. Ho feta moo, ho kopanya litafole le ho fetola data ho tla etsoa ka mokhoa oa ho botsa mohloli.
Setšoantšong se ka tlase, re bona 'mapa o ntlafalitsoeng ho BDM, le potso e hlalositsoeng mohloling.
Karolo ea Hadoop tlhophisong ena e tla fokotsoa ho laola phallo ea data - ho e hlophisa. Sephetho sa potso se tla romelloa ho Hadoop. Hang ha 'malo o phethiloe, faele e tsoang Hadoop e tla ngolloa sekoting.
Mofuta oa pushdown - o tletse
Ha u khetha mofuta o felletseng, 'mapa e tla fetoha potso ea polokelo ea polokelo ka botlalo. 'Me sephetho sa kopo se tla romelloa Hadoop. Setšoantšo sa ts'ebetso e joalo se hlahisoa ka tlase.
Mohlala oa ho seta o bontšitsoe ka tlase.
Ka lebaka leo, re tla fumana 'mapa o ntlafalitsoeng o ts'oanang le oa pele. Phapang e le 'ngoe feela ke hore logic eohle e fetisetsoa ho moamoheli ka mokhoa oa ho feta ho kenngoa ha eona. Mohlala oa 'mapa o ntlafalitsoeng o hlahisoa ka tlase.
Mona, joalo ka nyeoeng e fetileng, Hadoop e bapala karolo ea mokhanni. Empa mona mohloli o baloa ka botlalo, 'me joale logic ea ts'ebetso ea data e etsoa boemong ba moamoheli.
Mofuta oa pushdown ha o na thuso
Che, khetho ea ho qetela ke mofuta oa pushdown, oo 'mapa oa rona o tla fetoha sengoloa sa Hadoop.
'Mapa o ntlafalitsoeng joale o tla shebahala tjena:
Mona data e tsoang ho lifaele tsa mohloli e tla baloa pele ho Hadoop. Joale, a sebelisa mokhoa oa hae, lifaele tsena tse peli li tla kopanngoa. Ka mor'a sena, data e tla fetoloa ebe e kenngoa ho database.
Ka ho utloisisa melao-motheo ea ts'ebetso ea pushdown, o ka khona ho hlophisa mekhoa e mengata ea ho sebetsa ka data e kholo. Ka hona, haufinyane tjena, k'hamphani e 'ngoe e kholo, ka libeke tse' maloa feela, e ile ea khoasolla data e kholo ho tloha polokelong ho Hadoop, eo e neng e kile ea e bokella ka lilemo tse 'maloa.
Source: www.habr.com