Quaelibet magna data operatio multum vim computandi requirit. Motus typicus notitiarum e database ad Hadoop hebdomades accipere potest vel sumptus quantum aeroplani ala. Non vis exspectare et impendere pecuniam? Paria pondera per diversa Vestibulum. Uno modo optimiization pushdown.
Informatica productorum, Alexey Ananyev institutorem evolutionis et administrationis ducem rogavi Russiam loqui de optimizatione functionis pushdown in Informatica Big Data Management (BDM). Have vos umquam didicit cum Informatica producta laborare? Maxime, Alexey erat qui fundamenta PowerCenter tibi indicavit et quomodo mappings aedificare exposuit.
Alexey Ananyev, princeps disciplinae apud DIS Group
Quid est propulsatio?
Multi vestrum iam nota cum Informatica Big Data Management (BDM). Productum magnas notitias e diversis fontibus integrare potest, illum inter diversas systemata movere, facilem accessum ad illud praebet, te ad eam profile permittit, et multo magis.
In manibus dextrarum, BDM mirabilia operari potest: munia celeriter complebuntur et cum minimis opibus computandis.
Visne id quoque? Disce plumam impulsum in BDM uti ad computationem onera per diversa suggesta distribuere. Detrudere technologiam te permittit ut in scriptione destinata convertas et ambitum eligas in quo hoc scriptum currat. Haec electio permittit vos ut diversae tabulae virtutes coniungatis et eorum maximam observantiam consequantur.
Configurare scriptorum ambitus exsecutionem, genus pushdown eligere debes. Scriptum plane decurrere potest in Hadoop vel ex parte inter fontem et residua distributa. Sunt 4 genera pushdown possibile. Mapping opus non est in scriptionem verti (native). Mapping fieri potest quam maxime in fonte (fonte) vel totaliter in fonte (pleno). Mapping etiam verti potest in scripturam Hadoop.
Pushdown ipsum
Quattuor genera recensentur diversis modis componi possunt - pushdown optimized pro certis systematis necessitatibus. Exempli gratia, saepe aptius est datas ex database suis facultatibus uti. Notitia et usura Hadoop convertetur, ut ipsum datorum non onerare.
Inspiciamus causam, cum tam fons quam destinatio sint in datorum, et mutatio exsecutionis suggestus seligi potest: secundum uncinos, erit Informatica, server database, vel Hadoop. Hoc exemplum sinet ut accuratissime cognoscat technicam partem operationis huius mechanismi. Naturaliter in vita reali haec condicio non oritur, sed aptissima est ad functionem demonstrandam.
Litteras duas tabulas in uno datorum oraculo legere sumamus. Lectiones autem notentur in mensa in datorum eisdem. Ratio destinata sic erit:
Forma destinativa in Informatica BDM 10.2.1 hoc spectat:
Genus pushdown - patria
Si genuinum genus propulsare eligimus, destinatio tum in servo Informatica peragetur. Data legentur ex servo Oraculi, servo informatico translato, illuc transformato et Hadoop transferetur. Id est, normalem processum ETL habebimus.
Genus pushdown - fonte
Cum genus fontis eligens, occasionem nanciscamur ad processum nostrum distribuendi inter servo datorum (DB) et Hadoop. Cum processus cum hoc ambitu exsecutus est, postulationes ex tabulis datas recuperare datorum mittentur. Reliqua autem in forma gradus ab Hadoop facienda erunt.
Executio tabulae sic erit:
Infra exemplum est ambitus cursus constituendi.
In hoc casu destinatio duobus gradibus peragetur. In eius uncinis videbimus quod in scriptione versa est, quae ad fontem mittenda erit. Praeterea tabulae coniungentes et notitias transmutantes fient in forma interrogationis deprimenti in fonte.
In pictura inferius videmus tabulas optimized super BDM, et interrogationem emendatam de fonte.
Munus Hadoop in hac configuratione reducetur ad fluxum notitiarum - orchestrationis administrandum. Effectus interrogationis Hadoop mittendus est. Expleto lectione, tabella ab Hadoop scribenda erit in labello.
Genus pushdown - plena
Cum plenum genus eligis, destinata prorsus interrogationi datorum convertetur. Et effectum rogationis Hadoop mittetur. Figura talis processus infra exhibetur.
Exemplum habet infra.
Quam ob rem habebimus similes tabulae optimized priori. Sola differentia est quod omnis logica transfertur in formam recipientis earundem inserendi. Exemplum tabularum optimizedium infra proponitur.
Hic, ut in priore casu, Hadoop conductoris partes agit. Sed hic fons integre legitur, et tunc fit processus notitiae logicae in gradu recipientis.
Genus nulla est pushdown
Ultima optio genus est impulsus, intra quod tabula nostra in scripto Hadoop convertetur.
Tabulae optimized tabulae hoc modo spectant:
Hic notitia ex fonte lima primum legetur Hadoop. Suo deinde instrumento haec duo fasciculi componentur. Post hoc notitia convertetur et ad datorum uploaded.
Intelligendo principia Optimizationis pushdown, valde efficenter ordinare potes multos processus ad operandum cum magnis data. Ita nuper, unus magna societas, paucis tantum hebdomadibus, magnas notitias ex repositione in Hadoop misit, quod ante aliquot annos collegerat.
Source: www.habr.com