{"id":30268,"date":"2019-10-31T21:34:35","date_gmt":"2019-10-31T18:34:35","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya\/"},"modified":"2019-10-31T21:34:35","modified_gmt":"2019-10-31T18:34:35","slug":"kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","title":{"rendered":"Wie kann man sehr gro\u00dfe Daten kosteng\u00fcnstig und schnell umziehen, exportieren und integrieren? Was ist Pushdown-Optimierung?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Jede Operation mit gro\u00dfen Daten erfordert gro\u00dfe Rechenleistung. Das \u00fcbliche Verschieben von Daten aus einer Datenbank auf Hadoop kann Wochen dauern oder so viel kosten wie ein Flugzeugfl\u00fcgel. M\u00f6chten Sie nicht warten und Geld ausgeben? Verteilen Sie die Last auf verschiedene Plattformen. Eine M\u00f6glichkeit ist die Pushdown-Optimierung.<\/p>\n

<\/p>\n

Ich habe den f\u00fchrenden Trainer f\u00fcr die Entwicklung und Verwaltung von Informatica-Produkten in Russland, Alexey Ananyev, gebeten, die Funktion der Pushdown-Optimierung in Informatica Big Data Management (BDM) zu erl\u00e4utern. Haben Sie einmal gelernt, mit Informatica-Produkten zu arbeiten? Wahrscheinlich hat Alexey Ihnen die Grundlagen von PowerCenter erkl\u00e4rt und wie man Mappings erstellt. <\/p>\n

<\/p>\n

Alexey Ananyev, Leiter der Schulungsabteilung bei DIS Group<\/strong><\/p>\n

<\/p>\n

Was ist Pushdown?<\/strong><\/p>\n

<\/p>\n

Viele von Ihnen sind bereits mit Informatica Big Data Management (BDM) vertraut. Das Produkt kann gro\u00dfe Daten aus verschiedenen Quellen integrieren, sie zwischen verschiedenen Systemen bewegen, einen einfachen Zugang dazu erm\u00f6glichen, sie profilieren und vieles mehr.
\nIn den f\u00e4higen H\u00e4nden kann BDM Wunder wirken: Aufgaben werden schnell und mit minimalen Rechenressourcen ausgef\u00fchrt. <\/p>\n

<\/p>\n

M\u00f6chten Sie das auch? Lernen Sie, die Pushdown-Funktion in BDM zu nutzen, um die Rechenlast zwischen verschiedenen Plattformen zu verteilen. Die Pushdown-Technologie erm\u00f6glicht es, ein Mapping in ein Skript zu verwandeln und die Umgebung auszuw\u00e4hlen, in der dieses Skript ausgef\u00fchrt werden soll. Die M\u00f6glichkeit dieser Wahl erlaubt es, die St\u00e4rken verschiedener Plattformen zu kombinieren und ihre maximale Leistung zu erreichen.<\/p>\n

<\/p>\n

Um die Ausf\u00fchrungsumgebung des Skripts einzurichten, m\u00fcssen Sie den Pushdown-Typ ausw\u00e4hlen. Das Skript kann vollst\u00e4ndig auf Hadoop ausgef\u00fchrt oder teilweise zwischen Quelle und Ziel verteilt werden. Es gibt 4 m\u00f6gliche Pushdown-Typen. Das Mapping kann nicht in ein Skript umgewandelt werden (native). Das Mapping kann maximal an der Quelle (source) oder vollst\u00e4ndig an der Quelle (full) ausgef\u00fchrt werden. Au\u00dferdem kann das Mapping in ein Hadoop-Skript umgewandelt werden (none).<\/p>\n

<\/a><\/noindex><\/p>\n

Pushdown-Optimierung<\/strong><\/p>\n

<\/p>\n

Die genannten 4 Typen k\u00f6nnen unterschiedlich kombiniert werden \u2013 um den Pushdown an die spezifischen Bed\u00fcrfnisse des Systems anzupassen. Zum Beispiel ist es oft sinnvoller, Daten aus der Datenbank zu extrahieren, indem deren eigene M\u00f6glichkeiten genutzt werden, und die Daten dann mit den Ressourcen von Hadoop zu transformieren, um die Datenbank nicht zu \u00fcberlasten.<\/p>\n

<\/p>\n

Betrachten wir den Fall, in dem sowohl die Quelle als auch der Empf\u00e4nger in der Datenbank sind und die Ausf\u00fchrungsplattform f\u00fcr die Transformationen gew\u00e4hlt werden kann: je nach Einstellung wird es Informatica, einen Datenbankserver oder Hadoop sein. Ein solches Beispiel wird es erm\u00f6glichen, die technische Seite des Funktionierens dieses Mechanismus besser zu verstehen. Selbstverst\u00e4ndlich tritt ein solcher Fall in der realen Welt nicht auf, doch zur Demonstration der Funktionalit\u00e4t ist es ideal. <\/p>\n

<\/p>\n

Nehmen wir das Mapping zum Lesen von zwei Tabellen in einer einzigen Oracle-Datenbank. Die Ergebnisse des Lesens sollen in eine Tabelle in dieser gleichen Datenbank geschrieben werden. Das Schema des Mappings wird folgenderma\u00dfen aussehen:<\/p>\n

<\/p>\n

\"Wie<\/p>\n

<\/p>\n

In Form eines Mappings auf Informatica BDM 10.2.1 sieht das so aus:<\/p>\n

<\/p>\n

\"Wie<\/p>\n

<\/p>\n

Pushdown-Typ \u2013 native<\/strong><\/p>\n

<\/p>\n

Wenn wir den Pushdown-Typ native w\u00e4hlen, wird das Mapping auf Informatica ausgef\u00fchrt. Die Daten werden vom Oracle-Server gelesen, auf den Informatica-Server \u00fcbertragen, dort transformiert und an Hadoop \u00fcbergeben. Mit anderen Worten, wir erhalten einen typischen ETL-Prozess. Server<\/a> Pushdown-Typ \u2013 source<\/p>\n

<\/p>\n

Bei der Auswahl des Typs source haben wir die M\u00f6glichkeit, unseren Prozess zwischen <\/strong><\/p>\n

<\/p>\n

Datenbanken (DB) und Hadoop zu verteilen. Bei der Ausf\u00fchrung des Prozesses mit dieser Einstellung werden Abfragen zum Abrufen von Daten aus den Tabellen in die Datenbank gesendet. Der Rest wird in Form von Schritten in Hadoop ausgef\u00fchrt. Server<\/a> Das Ausf\u00fchrungsschema wird folgenderma\u00dfen aussehen:
\nUnten steht ein Beispiel f\u00fcr die Konfiguration der Ausf\u00fchrungsumgebung.<\/p>\n

<\/p>\n

\"Wie<\/p>\n

<\/p>\n

In diesem Fall wird das Mapping in zwei Schritten ausgef\u00fchrt. In seinen Einstellungen werden wir sehen, dass es sich in ein Skript verwandelt hat, das an die Quelle gesendet wird. Dabei erfolgt die Zusammenf\u00fchrung von Tabellen und die Datenumwandlung in Form einer \u00fcberschriebenen Abfrage an der Quelle.<\/p>\n

<\/p>\n

\"Wie<\/p>\n

<\/p>\n

In dem Bild unten sehen wir ein optimiertes Mapping auf BDM, und an der Quelle eine \u00fcberschreibende Abfrage.
\nDie Rolle von Hadoop in dieser Konfiguration beschr\u00e4nkt sich auf das Datenflussmanagement \u2013 das Dirigieren derselben. Das Ergebnis der Abfrage wird an Hadoop gesendet. Nach Abschluss des Lesens wird die Datei aus Hadoop an den Empf\u00e4nger geschrieben.<\/p>\n

<\/p>\n

\"Wie<\/p>\n

<\/p>\n

Pushdown-Typ \u2013 full<\/p>\n

<\/p>\n

Bei der Auswahl des Typs full verwandelt sich das Mapping vollst\u00e4ndig in eine Abfrage an die DB. Das Ergebnis der Abfrage wird an Hadoop gesendet. Das Schema eines solchen Prozesses ist unten dargestellt. <\/strong><\/p>\n

<\/p>\n

Ein Beispiel f\u00fcr die Konfiguration ist unten dargestellt.<\/p>\n

<\/p>\n

\"Wie<\/p>\n

<\/p>\n

Insgesamt werden wir ein optimiertes Mapping erhalten, das dem vorherigen \u00e4hnlich ist. Der einzige Unterschied besteht darin, dass die gesamte Logik in Form einer \u00dcberschreibung seiner Einf\u00fcgung an den Empf\u00e4nger \u00fcbertragen wird. Ein Beispiel f\u00fcr das optimierte Mapping wird unten dargestellt.<\/p>\n

<\/p>\n

\"Wie<\/p>\n

<\/p>\n

In der Folge erhalten wir ein optimiertes Mapping, das dem vorherigen \u00e4hnlich ist. Der einzige Unterschied besteht darin, dass die gesamte Logik auf den Empf\u00e4nger in Form einer \u00dcberschreibung seiner Einf\u00fcgung \u00fcbertragen wird. Ein Beispiel f\u00fcr das optimierte Mapping ist unten dargestellt.<\/p>\n

<\/p>\n

\"Wie<\/p>\n

<\/p>\n

Hier fungiert Hadoop, wie im vorhergehenden Fall, als Dirigent. Doch hier wird die Quelle vollst\u00e4ndig gelesen, und dann wird auf der Ebene des Empf\u00e4ngers die Logik der Datenverarbeitung ausgef\u00fchrt.<\/p>\n

<\/p>\n

Pushdown-Typ \u2013 null<\/strong><\/p>\n

<\/p>\n

Und die letzte M\u00f6glichkeit \u2013 der Pushdown-Typ, im Rahmen dessen unsere Mapping-Logik in ein Hadoop-Skript umgewandelt wird.<\/p>\n

<\/p>\n

Das optimierte Mapping wird jetzt so aussehen:<\/p>\n

<\/p>\n

\"Wie<\/p>\n

<\/p>\n

Hier werden die Daten aus den Quelldateien zun\u00e4chst auf Hadoop gelesen. Dann werden diese beiden Dateien mit denselben Mitteln kombiniert. Danach werden die Daten umgewandelt und in die Datenbank exportiert.<\/p>\n

<\/p>\n

Wenn man die Prinzipien der Pushdown-Optimierung versteht, kann man viele Prozesse im Umgang mit gro\u00dfen Datenmengen sehr effektiv organisieren. So hat ein gro\u00dfes Unternehmen vor kurzem in nur wenigen Wochen gro\u00dfe Daten aus dem Hadoop-Repository extrahiert, die es zuvor \u00fcber mehrere Jahre gesammelt hatte.<\/p>\n

Quelle: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041b\u044e\u0431\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u041e\u0431\u044b\u0447\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0431\u0430\u0437\u044b \u043d\u0430 Hadoop \u043c\u043e\u0436\u0435\u0442 \u0434\u043b\u0438\u0442\u044c\u0441\u044f \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438 \u0438\u043b\u0438 \u0441\u0442\u043e\u0438\u0442\u044c, \u043a\u0430\u043a \u043a\u0440\u044b\u043b\u043e \u0441\u0430\u043c\u043e\u043b\u0451\u0442\u0430. \u041d\u0435 \u0445\u043e\u0442\u0438\u0442\u0435 \u0436\u0434\u0430\u0442\u044c \u0438 \u0442\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f? \u0421\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u0443\u0439\u0442\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b. \u041e\u0434\u0438\u043d \u0438\u0437 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u2013 pushdown-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f. \u042f \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b \u0432\u0435\u0434\u0443\u0449\u0435\u0433\u043e \u0432 \u0420\u043e\u0441\u0441\u0438\u0438 \u0442\u0440\u0435\u043d\u0435\u0440\u0430 \u043f\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0438 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 Informatica \u0410\u043b\u0435\u043a\u0441\u0435\u044f \u0410\u043d\u0430\u043d\u044c\u0435\u0432\u0430 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[10],"tags":[],"class_list":["post-30268","post","type-post","status-publish","format-standard","hentry","category-blog"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Wie bewegt, exportiert und integriert man sehr gro\u00dfe Daten schnell und kosteng\u00fcnstig? Was ist Pushdown-Optimierung? | ProHoster","description":"Jede Operation mit gro\u00dfen Datenmengen erfordert erhebliche Rechenressourcen. Das einfache Verschieben von Daten aus der Datenbank auf Hadoop kann Wochen dauern oder so viel kosten wie ein Flugzeugfl\u00fcgel.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0430\u0442\u044c, \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u0451\u0448\u0435\u0432\u043e \u0438 \u0431\u044b\u0441\u0442\u0440\u043e? \u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 pushdown-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f? | ProHoster","og:description":"\u041b\u044e\u0431\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u041e\u0431\u044b\u0447\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0431\u0430\u0437\u044b \u043d\u0430 Hadoop \u043c\u043e\u0436\u0435\u0442 \u0434\u043b\u0438\u0442\u044c\u0441\u044f \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438 \u0438\u043b\u0438 \u0441\u0442\u043e\u0438\u0442\u044c, \u043a\u0430\u043a \u043a\u0440\u044b\u043b\u043e \u0441\u0430\u043c\u043e\u043b\u0451\u0442\u0430.","og:url":"https:\/\/prohoster.info\/de\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:34:35+00:00","article:modified_time":"2019-10-31T18:34:35+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"30268","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"Article","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-02-09 21:49:15","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 03:38:39","updated":"2026-02-09 21:49:15","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/30268","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=30268"}],"version-history":[{"count":2,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/30268\/revisions"}],"predecessor-version":[{"id":160240,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/30268\/revisions\/160240"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=30268"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=30268"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=30268"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}