{"id":30268,"date":"2019-10-31T21:34:35","date_gmt":"2019-10-31T18:34:35","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya\/"},"modified":"2019-10-31T21:34:35","modified_gmt":"2019-10-31T18:34:35","slug":"kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","title":{"rendered":"Wie kann man sehr gro\u00dfe Daten kosteng\u00fcnstig und schnell verschieben, exportieren und integrieren? Was ist Pushdown-Optimierung?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Jede Bearbeitung von Big Data erfordert immense Rechenleistung. Das gew\u00f6hnliche Verschieben von Daten aus einer Datenbank nach Hadoop kann Wochen dauern oder so viel kosten wie ein Flugzeugfl\u00fcgel. M\u00f6chten Sie nicht warten und Geld ausgeben? Verteilen Sie die Last auf verschiedene Plattformen. Eine Methode dazu ist die Pushdown-Optimierung.<\/p>\n<p><\/p>\n<p>Ich habe den f\u00fchrenden Trainer f\u00fcr Informatica-Produktentwicklung und -administration in Russland, Alexej Ananew, gebeten, die Pushdown-Optimierungsfunktion in Informatica Big Data Management (BDM) vorzustellen. Haben Sie einmal gelernt, wie man mit Informatica-Produkten arbeitet? H\u00f6chstwahrscheinlich hat Alexej Ihnen die Grundlagen von PowerCenter erkl\u00e4rt und wie man Mappings erstellt. <\/p>\n<p><\/p>\n<p><strong>Alexej Ananew, Leiter der Schulungsabteilung DIS Group<\/strong><\/p>\n<p><\/p>\n<p><strong>Was ist Pushdown?<\/strong><\/p>\n<p><\/p>\n<p>Viele von Ihnen sind bereits mit Informatica Big Data Management (BDM) vertraut. Das Produkt kann gro\u00dfe Daten aus verschiedenen Quellen integrieren, sie zwischen verschiedenen Systemen verschieben, einen einfachen Zugang zu ihnen erm\u00f6glichen, deren Profilierung und vieles mehr.<br \/>\nIn den richtigen H\u00e4nden kann BDM Wunder bewirken: Aufgaben werden schnell und mit minimalen Rechenressourcen erledigt. <\/p>\n<p><\/p>\n<p>Wollen Sie das auch? Lernen Sie, die Pushdown-Funktion in BDM zu nutzen, um die Rechenlast zwischen verschiedenen Plattformen zu verteilen. Die Pushdown-Technologie erm\u00f6glicht es, das Mapping in ein Skript zu verwandeln und die Umgebung auszuw\u00e4hlen, in der dieses Skript ausgef\u00fchrt wird. Diese Wahlm\u00f6glichkeit erlaubt es, die St\u00e4rken verschiedener Plattformen zu kombinieren und ihre maximale Leistungsf\u00e4higkeit zu erreichen.<\/p>\n<p><\/p>\n<p>Um die Ausf\u00fchrungsumgebung des Skripts einzurichten, m\u00fcssen Sie den Pushdown-Typ ausw\u00e4hlen. Das Skript kann vollst\u00e4ndig auf Hadoop ausgef\u00fchrt oder teilweise zwischen Quelle und Ziel verteilt werden. Es gibt 4 m\u00f6gliche Pushdown-Typen. Das Mapping kann auf nat\u00fcrlichem Weg (native) ausgef\u00fchrt werden. Es kann maximal auf der Quelle (source) oder vollst\u00e4ndig auf der Quelle (full) ausgef\u00fchrt werden. Au\u00dferdem kann das Mapping in ein Hadoop-Skript (none) umgewandelt werden.<\/p>\n<p><noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p><strong>Pushdown-Optimierung<\/strong><\/p>\n<p><\/p>\n<p>Die vier genannten Typen k\u00f6nnen auf verschiedene Weise kombiniert werden \u2013 der Pushdown kann an die spezifischen Anforderungen des Systems angepasst werden. Oft ist es sinnvoller, Daten direkt aus der Datenbank zu extrahieren und deren eigenen Funktionen zu nutzen. Die Datenumwandlung kann dann mit Hadoop erfolgen, um die Datenbank nicht zu \u00fcberlasten.<\/p>\n<p><\/p>\n<p>Betrachten wir einen Fall, in dem sowohl die Quelle als auch der Empf\u00e4nger in der Datenbank sind, w\u00e4hrend die Plattform f\u00fcr die Transformationen gew\u00e4hlt werden kann: je nach Einstellungen handelt es sich um Informatica, den Datenbankserver oder Hadoop. Dieses Beispiel erm\u00f6glicht ein genaueres Verst\u00e4ndnis der technischen Seite dieses Mechanismus. Nat\u00fcrlich tritt eine solche Situation in der realen Welt nicht h\u00e4ufig auf, aber sie eignet sich hervorragend zur Demonstration der Funktionalit\u00e4t. <\/p>\n<p><\/p>\n<p>Nehmen wir ein Mapping zum Lesen von zwei Tabellen in einer einzigen Oracle-Datenbank. Die Ergebnisse sollen in einer Tabelle dieser Datenbank geschrieben werden. Das Mapping-Schema wird wie folgt aussehen:<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Wie kann man sehr gro\u00dfe Daten kosteng\u00fcnstig und schnell verschieben, exportieren und integrieren? Was ist Pushdown-Optimierung?\" src=\"\/wp-content\/uploads\/2019\/03\/e5bdacf6d7b0c3dbffd56c4876515520.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>In Form eines Mappings in Informatica BDM 10.2.1 sieht das so aus:<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Wie kann man sehr gro\u00dfe Daten kosteng\u00fcnstig und schnell verschieben, exportieren und integrieren? Was ist Pushdown-Optimierung?\" src=\"\/wp-content\/uploads\/2019\/03\/5e7e1d81f0eac539aaec1c21717341e7.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p><strong>Pushdown-Typ \u2013 nativ<\/strong><\/p>\n<p><\/p>\n<p>Wenn wir den Typ Pushdown nativ w\u00e4hlen, wird das Mapping durchgef\u00fchrt auf <a class=\"wpil_keyword_link\" href=\"https:\/\/prohoster.info\/de\/server\/dts-dronten\/\"   title=\"Server\" data-wpil-keyword-link=\"linked\"  data-wpil-monitor-id=\"2457\">Server<\/a> Informatica. Die Daten werden vom Oracle-Server gelesen, auf den Informatica-Server \u00fcbertragen, dort transformiert und an Hadoop \u00fcbermittelt. Mit anderen Worten, wir erhalten einen typischen ETL-Prozess.<\/p>\n<p><\/p>\n<p><strong>Pushdown-Typ \u2013 Quelle <\/strong><\/p>\n<p><\/p>\n<p>Bei der Auswahl des Typen Quelle haben wir die M\u00f6glichkeit, unseren Prozess zwischen <a class=\"wpil_keyword_link\" href=\"https:\/\/prohoster.info\/de\/server\/dts-prohoster\/\"   title=\"dem Server durch\" data-wpil-keyword-link=\"linked\"  data-wpil-monitor-id=\"2959\">dem Server durch<\/a> Datenbanken (DB) und Hadoop zu verteilen. Bei der Ausf\u00fchrung des Prozesses mit dieser Einstellung werden Abfragen zum Abrufen von Daten aus Tabellen an die Datenbank gesendet. Der Rest wird als Schritte auf Hadoop ausgef\u00fchrt.<br \/>\nDas Ausf\u00fchrungsschema wird wie folgt aussehen:<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Wie kann man sehr gro\u00dfe Daten kosteng\u00fcnstig und schnell verschieben, exportieren und integrieren? Was ist Pushdown-Optimierung?\" src=\"\/wp-content\/uploads\/2019\/03\/8b3b071ea0580394b222da033effceee.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Im Folgenden ein Beispiel f\u00fcr die Konfiguration der Ausf\u00fchrungsumgebung.<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Wie kann man sehr gro\u00dfe Daten kosteng\u00fcnstig und schnell verschieben, exportieren und integrieren? Was ist Pushdown-Optimierung?\" src=\"\/wp-content\/uploads\/2019\/03\/da7434ae71f4b2265f61fd31e182897e.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>In diesem Fall wird das Mapping in zwei Schritten durchgef\u00fchrt. In den Einstellungen sehen wir, dass es in ein Skript umgewandelt wurde, das an die Quelle gesendet wird. Dabei erfolgt die Verkn\u00fcpfung der Tabellen und die Datenumwandlung als \u00fcberarbeitete Abfrage an der Quelle.<br \/>\nAuf dem Bild unten sehen wir ein optimiertes Mapping auf BDM, und an der Quelle eine \u00fcberarbeitete Abfrage.<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Wie kann man sehr gro\u00dfe Daten kosteng\u00fcnstig und schnell verschieben, exportieren und integrieren? Was ist Pushdown-Optimierung?\" src=\"\/wp-content\/uploads\/2019\/03\/c0e7534b06d2e09785ad8a6c5df15f6f.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Die Rolle von Hadoop in dieser Konfiguration besteht darin, den Datenfluss zu steuern \u2013 ihn zu dirigieren. Das Ergebnis der Abfrage wird an Hadoop gesendet. Nach Abschluss des Lesens wird die Datei aus Hadoop an den Empf\u00e4nger geschrieben.<\/p>\n<p><\/p>\n<p><strong>Pushdown-Typ \u2013 voll <\/strong><\/p>\n<p><\/p>\n<p>Bei der Auswahl des Typs wird das vollst\u00e4ndige Mapping vollst\u00e4ndig in eine Datenbankabfrage umgewandelt. Das Ergebnis dieser Abfrage wird an Hadoop gesendet. Der Ablauf dieses Prozesses ist unten dargestellt.<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Wie kann man sehr gro\u00dfe Daten kosteng\u00fcnstig und schnell verschieben, exportieren und integrieren? Was ist Pushdown-Optimierung?\" src=\"\/wp-content\/uploads\/2019\/03\/bfbb3f593a7053a0157d481d9b3bce83.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Ein Beispiel f\u00fcr die Konfiguration ist unten dargestellt.<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Wie kann man sehr gro\u00dfe Daten kosteng\u00fcnstig und schnell verschieben, exportieren und integrieren? Was ist Pushdown-Optimierung?\" src=\"\/wp-content\/uploads\/2019\/03\/31c70c7fb10996d5a506c6a4618f5f2f.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Das Ergebnis ist ein optimiertes Mapping, das dem vorherigen \u00e4hnlich ist. Der einzige Unterschied besteht darin, dass die gesamte Logik auf den Empf\u00e4nger in Form einer \u00dcberschreibung seiner Einf\u00fcgung \u00fcbertragen wird. Ein Beispiel f\u00fcr das optimierte Mapping ist unten dargestellt.<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Wie kann man sehr gro\u00dfe Daten kosteng\u00fcnstig und schnell verschieben, exportieren und integrieren? Was ist Pushdown-Optimierung?\" src=\"\/wp-content\/uploads\/2019\/03\/edabf7ab6eba768849d096a4319e5126.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Hier \u00fcbernimmt, wie im vorherigen Fall, Hadoop die Rolle des Dirigenten. Allerdings wird hier die Quelle vollst\u00e4ndig gelesen, und die Logik der Datenverarbeitung erfolgt dann auf Empf\u00e4ngerebene.<\/p>\n<p><\/p>\n<p><strong>Typ Pushdown \u2013 null<\/strong><\/p>\n<p><\/p>\n<p>Und die letzte Variante ist der Typ Pushdown, innerhalb dessen unser Mapping in ein Script auf Hadoop umgewandelt wird.<\/p>\n<p><\/p>\n<p>Das optimierte Mapping wird jetzt so aussehen:<\/p>\n<p><\/p>\n<p><img decoding=\"async\" alt=\"Wie kann man sehr gro\u00dfe Daten kosteng\u00fcnstig und schnell verschieben, exportieren und integrieren? Was ist Pushdown-Optimierung?\" src=\"\/wp-content\/uploads\/2019\/03\/deb8311403d4e95c2fef06d3b5c94e64.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/p>\n<p><\/p>\n<p>Hier werden die Daten aus den Quelldateien zun\u00e4chst auf Hadoop gelesen. Dann werden diese beiden Dateien mit den Tools von Hadoop zusammengef\u00fchrt. Danach werden die Daten transformiert und in die Datenbank exportiert.<\/p>\n<p><\/p>\n<p>Durch das Verst\u00e4ndnis der Prinzipien der Pushdown-Optimierung lassen sich viele Prozesse im Umgang mit gro\u00dfen Datenbest\u00e4nden \u00e4u\u00dferst effizient organisieren. So hat beispielsweise ein gro\u00dfes Unternehmen erst k\u00fcrzlich in nur wenigen Wochen von einem Speicherort in Hadoop gro\u00dfe Daten extrahiert, die zuvor \u00fcber mehrere Jahre gesammelt wurden.<\/p>\n<p>Quelle: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/445240\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041b\u044e\u0431\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u041e\u0431\u044b\u0447\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0431\u0430\u0437\u044b \u043d\u0430 Hadoop \u043c\u043e\u0436\u0435\u0442 \u0434\u043b\u0438\u0442\u044c\u0441\u044f \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438 \u0438\u043b\u0438 \u0441\u0442\u043e\u0438\u0442\u044c, \u043a\u0430\u043a \u043a\u0440\u044b\u043b\u043e \u0441\u0430\u043c\u043e\u043b\u0451\u0442\u0430. \u041d\u0435 \u0445\u043e\u0442\u0438\u0442\u0435 \u0436\u0434\u0430\u0442\u044c \u0438 \u0442\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f? \u0421\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u0443\u0439\u0442\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b. \u041e\u0434\u0438\u043d \u0438\u0437 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u2013 pushdown-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f. \u042f \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b \u0432\u0435\u0434\u0443\u0449\u0435\u0433\u043e \u0432 \u0420\u043e\u0441\u0441\u0438\u0438 \u0442\u0440\u0435\u043d\u0435\u0440\u0430 \u043f\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0438 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 Informatica \u0410\u043b\u0435\u043a\u0441\u0435\u044f \u0410\u043d\u0430\u043d\u044c\u0435\u0432\u0430 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[10],"tags":[],"class_list":["post-30268","post","type-post","status-publish","format-standard","hentry","category-blog"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 4.9.10 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041b\u044e\u0431\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u041e\u0431\u044b\u0447\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0431\u0430\u0437\u044b \u043d\u0430 Hadoop \u043c\u043e\u0436\u0435\u0442 \u0434\u043b\u0438\u0442\u044c\u0441\u044f \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438 \u0438\u043b\u0438 \u0441\u0442\u043e\u0438\u0442\u044c, \u043a\u0430\u043a \u043a\u0440\u044b\u043b\u043e \u0441\u0430\u043c\u043e\u043b\u0451\u0442\u0430. \u041d\u0435 \u0445\u043e\u0442\u0438\u0442\u0435 \u0436\u0434\u0430\u0442\u044c \u0438 \u0442\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f? \u0421\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u0443\u0439\u0442\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b. \u041e\u0434\u0438\u043d \u0438\u0437 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u2013 pushdown-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f. \u042f \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b \u0432\u0435\u0434\u0443\u0449\u0435\u0433\u043e \u0432 \u0420\u043e\u0441\u0441\u0438\u0438 \u0442\u0440\u0435\u043d\u0435\u0440\u0430 \u043f\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0438 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 Informatica \u0410\u043b\u0435\u043a\u0441\u0435\u044f \u0410\u043d\u0430\u043d\u044c\u0435\u0432\u0430 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/de\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 4.9.10\" \/>\n\t\t<meta property=\"og:locale\" content=\"de_DE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0430\u043a \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0430\u0442\u044c, \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u0451\u0448\u0435\u0432\u043e \u0438 \u0431\u044b\u0441\u0442\u0440\u043e? \u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 pushdown-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f? | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041b\u044e\u0431\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u041e\u0431\u044b\u0447\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0431\u0430\u0437\u044b \u043d\u0430 Hadoop \u043c\u043e\u0436\u0435\u0442 \u0434\u043b\u0438\u0442\u044c\u0441\u044f \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438 \u0438\u043b\u0438 \u0441\u0442\u043e\u0438\u0442\u044c, \u043a\u0430\u043a \u043a\u0440\u044b\u043b\u043e \u0441\u0430\u043c\u043e\u043b\u0451\u0442\u0430. \u041d\u0435 \u0445\u043e\u0442\u0438\u0442\u0435 \u0436\u0434\u0430\u0442\u044c \u0438 \u0442\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f? \u0421\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u0443\u0439\u0442\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b. \u041e\u0434\u0438\u043d \u0438\u0437 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u2013 pushdown-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f. \u042f \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b \u0432\u0435\u0434\u0443\u0449\u0435\u0433\u043e \u0432 \u0420\u043e\u0441\u0441\u0438\u0438 \u0442\u0440\u0435\u043d\u0435\u0440\u0430 \u043f\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0438 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 Informatica \u0410\u043b\u0435\u043a\u0441\u0435\u044f \u0410\u043d\u0430\u043d\u044c\u0435\u0432\u0430 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/de\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T18:34:35+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T18:34:35+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Wie k\u00f6nnen sehr gro\u00dfe Daten kosteng\u00fcnstig und schnell verschoben, extrahiert und integriert werden? Was ist Pushdown-Optimierung? | ProHoster","description":"Jede Operation mit gro\u00dfen Daten erfordert erhebliche Rechenleistung. Das blo\u00dfe Verschieben von Daten aus einer Datenbank in Hadoop kann Wochen dauern oder so viel kosten wie ein Flugzeugfl\u00fcgel. M\u00f6chten Sie nicht warten und Kosten sparen? Ausbalancieren Sie die Last auf verschiedene Plattformen. Eine M\u00f6glichkeit ist die Pushdown-Optimierung. Ich habe den f\u00fchrenden Trainer f\u00fcr die Entwicklung und Verwaltung von Informatica-Produkten in Russland, Alexei Ananiew, gebeten, dar\u00fcber zu berichten.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0430\u0442\u044c, \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u0451\u0448\u0435\u0432\u043e \u0438 \u0431\u044b\u0441\u0442\u0440\u043e? \u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 pushdown-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f? | ProHoster","og:description":"\u041b\u044e\u0431\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u041e\u0431\u044b\u0447\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0431\u0430\u0437\u044b \u043d\u0430 Hadoop \u043c\u043e\u0436\u0435\u0442 \u0434\u043b\u0438\u0442\u044c\u0441\u044f \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438 \u0438\u043b\u0438 \u0441\u0442\u043e\u0438\u0442\u044c, \u043a\u0430\u043a \u043a\u0440\u044b\u043b\u043e \u0441\u0430\u043c\u043e\u043b\u0451\u0442\u0430. \u041d\u0435 \u0445\u043e\u0442\u0438\u0442\u0435 \u0436\u0434\u0430\u0442\u044c \u0438 \u0442\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f? \u0421\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u0443\u0439\u0442\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b. \u041e\u0434\u0438\u043d \u0438\u0437 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u2013 pushdown-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f. \u042f \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b \u0432\u0435\u0434\u0443\u0449\u0435\u0433\u043e \u0432 \u0420\u043e\u0441\u0441\u0438\u0438 \u0442\u0440\u0435\u043d\u0435\u0440\u0430 \u043f\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0438 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 Informatica \u0410\u043b\u0435\u043a\u0441\u0435\u044f \u0410\u043d\u0430\u043d\u044c\u0435\u0432\u0430 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e","og:url":"https:\/\/prohoster.info\/de\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:34:35+00:00","article:modified_time":"2019-10-31T18:34:35+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"30268","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"Article","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-02-09 21:49:15","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 03:38:39","updated":"2026-02-09 21:49:15"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/30268","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=30268"}],"version-history":[{"count":2,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/30268\/revisions"}],"predecessor-version":[{"id":160240,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/30268\/revisions\/160240"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=30268"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=30268"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=30268"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}