So'o se fa'agaioiga tele fa'amaumauga e mana'omia ai le tele o le mana fa'akomepiuta. O se fa'asologa masani o fa'amaumauga mai se fa'amaumauga i Hadoop e mafai ona alu vaiaso pe tau e pei o se apa'au va'alele. E te le fia faatali ma faaalu tupe? Fa'apaleni le uta i luga o tulaga eseese. O se tasi o auala o le pushdown optimization.
Na ou fesili i le faiaoga sili o Rusia mo le atinaʻeina ma le puleaina o oloa Informatica, Alexey Ananyev, e talanoa e uiga i le faʻaogaina o le faʻaogaina o galuega i Informatica Big Data Management (BDM). Na e a'oa'o e galue ma oloa Informatica? E foliga mai, o Alexey na ia taʻu atu ia te oe faʻavae o le PowerCenter ma faʻamatalaina pe faʻapefea ona fausia faʻafanua.
Alexey Ananyev, ulu o aʻoaʻoga ile DIS Group
O le a le tuleia i lalo?
O le toatele o outou ua leva ona masani i le Informatica Big Data Management (BDM). E mafai e le oloa ona tuʻufaʻatasia faʻamatalaga tetele mai punaoa eseese, faʻanofo i le va o faiga eseese, maua ai le faigofie ona maua, faʻatagaina oe e faʻaalia, ma sili atu.
I lima taumatau, e mafai e le BDM ona faia mea ofoofogia: o galuega o le a faʻamaeʻa vave ma faʻaitiitia le faʻaogaina o punaoa.
E te manaʻo foʻi i lena mea? Aoao e faʻaoga le faʻaogaina o le faʻaogaina i le BDM e tufatufa atu ai le faʻaogaina o uta i luga o tulaga eseese. Tekinolosi Pushdown e mafai ai ona e liliu le faafanua i totonu o se tusitusiga ma filifili le siosiomaga e faʻaoga ai lenei tusitusiga. O lenei filifiliga e mafai ai e oe ona tuʻufaʻatasia le malosi o tulaga eseese ma ausia a latou faʻatinoga maualuga.
Ina ia faʻapipiʻi le siosiomaga faʻatinoina o tusitusiga, e tatau ona e filifilia le ituaiga pushdown. O le tusitusiga e mafai ona faʻatautaia atoa i luga o Hadoop pe tufatufa vaega i le va o le puna ma le goto. E 4 ituaiga pushdown e mafai. E le mana'omia ona liua fa'afanua i se tusitusiga (native). E mafai ona faia fa'afanua i le tele e mafai ai i luga o le fa'apogai (punaoa) po'o le fa'ato'a atoa i le fa'apogai (tumu). E mafai foi ona liua le faafanua i se tusitusiga Hadoop (leai).
Pushdown optimization
O le lisi 4 ituaiga e mafai ona tuʻufaʻatasia i auala eseese - pushdown e mafai ona faʻamalieina mo manaoga faʻapitoa o le faiga. Mo se faʻataʻitaʻiga, e masani ona sili atu ona talafeagai le suʻeina o faʻamaumauga mai se faʻamaumauga e faʻaaoga ai ona lava gafatia. Ma o faʻamatalaga o le a liua e faʻaaoga ai Hadoop, ina ia le faʻateleina le faʻamaumauga lava ia.
Sei o tatou mafaufau i le mataupu pe a oʻo uma le puna ma le taunuʻuga i totonu o faʻamaumauga, ma e mafai ona filifilia le faʻatulagaina o suiga: faʻatatau i faʻatulagaga, o le a avea Informatica, se database server, poʻo Hadoop. O sea fa'ata'ita'iga o le a mafai ai ona e malamalama lelei i le itu fa'apitoa o le fa'aogaina o lenei masini. E masani lava, i le olaga moni, e le tulaʻi mai lenei tulaga, ae e sili ona fetaui mo le faʻaalia o galuega.
Se'i o tatou faia fa'afanua e faitau ai laulau se lua i totonu ole fa'amaumauga a le Oracle e tasi. Ma ia tu'u fa'amaumau fa'ai'uga faitau i se laulau i le fa'amaumauga e tasi. Ole polokalame fa'afanua ole a fa'apea:
I le tulaga o faʻafanua ile Informatica BDM 10.2.1 e pei o lenei:
Ituaiga Pushdown – native
Afai tatou te filifilia le ituaiga o le pushdown, ona faia lea o le faafanua i luga o le Informatica server. O faʻamatalaga o le a faitauina mai le Oracle server, faʻafeiloaʻi i le Informatica server, suia iina ma faʻafeiloaʻi i Hadoop. I se isi faaupuga, o le a tatou maua se faiga masani ETL.
Ituaiga Pushdown – puna
Pe a filifilia le ituaiga punaoa, matou te maua le avanoa e tufatufa atu ai la matou faagasologa i le va o le database server (DB) ma Hadoop. A fa'atinoina se fa'agasologa ma lenei fa'atulagaga, o talosaga e toe aumai fa'amaumauga mai laulau o le a lafo i le fa'amaumauga. Ma o isi mea o le a faia i le tulaga o laasaga i Hadoop.
O le faʻatinoga o faʻataʻitaʻiga o le a pei o lenei:
O lo'o i lalo se fa'ata'ita'iga o le fa'atulagaina o le si'osi'omaga taimi ta'avale.
I lenei tulaga, o le fa'afanua o le a faia i ni laasaga se lua. I ona faatulagaga o le a tatou iloa ai ua liua i se tusitusiga o le a auina atu i le puna. E le gata i lea, o le tuʻufaʻatasia o laulau ma le suiga o faʻamatalaga o le a faia i le tulaga o se fesili faʻafefe i luga o le puna.
I le ata o loʻo i lalo, matou te vaʻai i se faʻafanua sili ona lelei i luga o le BDM, ma se fesili toe faʻamalamalamaina i luga o le puna.
O le matafaioi a Hadoop i lenei faʻatulagaga o le a faʻaititia i le puleaina o le tafe o faʻamaumauga - faʻatulagaina. Ole iuga ole fesili ole a lafo ile Hadoop. A maeʻa le faitauga, o le faila mai Hadoop o le a tusia i le pusa.
Ituaiga Pushdown – tumu
A e filifilia le ituaiga atoa, o le fa'afanua o le a liua atoa i se fa'amatalaga fa'amaumauga. Ma o le taunuuga o le talosaga o le a auina atu i Hadoop. O se ata o sea faiga o loo tuuina atu i lalo.
O se faʻataʻitaʻiga seti o loʻo faʻaalia i lalo.
O se taunuuga, o le a tatou maua se faafanua sili ona lelei e pei o le muamua. Pau lava le eseesega o le faʻaogaina uma o manatu i le tagata e taliaina i le tulaga o le faʻaogaina o lona faʻaofiina. O se fa'ata'ita'iga o fa'afanua sili ona lelei o lo'o tu'uina atu i lalo.
O iinei, e pei o le mataupu muamua, Hadoop e taʻalo le taʻitaʻi. Ae o iinei o loʻo faitau atoa ai le punavai, ona faʻatinoina lea o le faʻaogaina o faʻamatalaga i le tulaga e taliaina.
O le tu'i i lalo e null
Ia, o le filifiliga mulimuli o le pushdown type, lea o le a liliu ai le matou faafanua i se tusitusiga Hadoop.
Ole fa'afanua sili ona lelei ole a fa'apea nei:
O faʻamatalaga mai faila faila o le a muamua faitau ile Hadoop. Ona, faʻaaogaina ana lava mea, o nei faila e lua o le a tuʻufaʻatasia. A maeʻa lenei mea, o le a liua faʻamaumauga ma tuʻuina atu i luga o faʻamaumauga.
I le malamalama i mataupu faavae o le pushdown optimization, e mafai ona e faʻatulagaina lelei le tele o faiga mo le galue ma faʻamatalaga tetele. O le mea lea, talu ai nei, o se tasi kamupani tele, i ni nai vaiaso, na sii mai ai faʻamatalaga tetele mai le teuina i Hadoop, lea na ia aoina muamua mo le tele o tausaga.
puna: www.habr.com