{"id":30268,"date":"2019-10-31T21:34:35","date_gmt":"2019-10-31T18:34:35","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya\/"},"modified":"2019-10-31T21:34:35","modified_gmt":"2019-10-31T18:34:35","slug":"kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","title":{"rendered":"Como mover, exportar e integrar grandes volumes de dados de maneira econ\u00f4mica e r\u00e1pida? O que \u00e9 otimiza\u00e7\u00e3o de pushdown?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Qualquer opera\u00e7\u00e3o com grandes volumes de dados requer um grande poder de computa\u00e7\u00e3o. O simples movimento de dados de um banco para o Hadoop pode demorar semanas ou custar o mesmo que uma asa de avi\u00e3o. N\u00e3o quer esperar e gastar? Equilibre a carga em diferentes plataformas. Uma das maneiras \u00e9 a otimiza\u00e7\u00e3o de pushdown.<\/p>\n

<\/p>\n

Eu pedi ao principal treinador na R\u00fassia em desenvolvimento e administra\u00e7\u00e3o de produtos Informatica, Alexey Ananyev, para falar sobre a fun\u00e7\u00e3o de otimiza\u00e7\u00e3o de pushdown no Informatica Big Data Management (BDM). Voc\u00ea j\u00e1 aprendeu a trabalhar com produtos Informatica? Provavelmente, foi Alexey quem te ensinou os fundamentos do PowerCenter e explicou como construir mapeamentos. <\/p>\n

<\/p>\n

Alexey Ananyev, chefe da \u00e1rea de treinamento da DIS Group<\/strong><\/p>\n

<\/p>\n

O que \u00e9 pushdown?<\/strong><\/p>\n

<\/p>\n

Muitos de voc\u00eas j\u00e1 est\u00e3o familiarizados com o Informatica Big Data Management (BDM). O produto \u00e9 capaz de integrar grandes dados de diferentes fontes, mov\u00ea-los entre sistemas diversos, garantir f\u00e1cil acesso, permitir a profilagem e muito mais.
\nEm m\u00e3os habilidosas, o BDM pode fazer maravilhas: as tarefas ser\u00e3o executadas rapidamente e com o m\u00ednimo de recursos computacionais. <\/p>\n

<\/p>\n

Voc\u00ea tamb\u00e9m quer isso? Aprenda a usar a fun\u00e7\u00e3o de pushdown no BDM para distribuir a carga computacional entre diferentes plataformas. A tecnologia de pushdown permite transformar um mapeamento em um script e escolher o ambiente onde esse script ser\u00e1 executado. A possibilidade dessa escolha permite combinar os pontos fortes de diferentes plataformas e alcan\u00e7ar seu desempenho m\u00e1ximo.<\/p>\n

<\/p>\n

Para configurar o ambiente de execu\u00e7\u00e3o do script, \u00e9 necess\u00e1rio escolher o tipo de pushdown. O script pode ser totalmente executado no Hadoop ou parcialmente distribu\u00eddo entre a fonte e o receptor. Existem 4 tipos poss\u00edveis de pushdown. O mapeamento pode n\u00e3o ser transformado em script (native). O mapeamento pode ser executado principalmente na fonte (source) ou totalmente na fonte (full). Tamb\u00e9m pode-se transformar o mapeamento em script Hadoop (none).<\/p>\n

<\/a><\/noindex><\/p>\n

Otimiza\u00e7\u00e3o de pushdown<\/strong><\/p>\n

<\/p>\n

Os 4 tipos mencionados podem ser combinados de diferentes maneiras \u2013 otimizar o pushdown para atender \u00e0s necessidades espec\u00edficas do sistema. Por exemplo, muitas vezes \u00e9 mais razo\u00e1vel extrair dados de um banco de dados, aproveitando suas pr\u00f3prias capacidades. E transformar os dados \u2013 pelas for\u00e7as do Hadoop, para n\u00e3o sobrecarregar o pr\u00f3prio banco.<\/p>\n

<\/p>\n

Vamos considerar um caso em que tanto a fonte quanto o receptor est\u00e3o no banco de dados, e a plataforma de execu\u00e7\u00e3o das transforma\u00e7\u00f5es pode ser escolhida: dependendo das configura\u00e7\u00f5es, isso ser\u00e1 Inform\u00e1tica, servidor de banco de dados ou Hadoop. Este exemplo permitir\u00e1 entender melhor o lado t\u00e9cnico do funcionamento desse mecanismo. Naturalmente, na vida real, tal situa\u00e7\u00e3o n\u00e3o ocorre, mas para demonstrar a funcionalidade, ela \u00e9 a mais adequada. <\/p>\n

<\/p>\n

Vamos trabalhar com o mapeamento para leitura de duas tabelas em um \u00fanico banco de dados Oracle. E os resultados da leitura devem ser gravados em uma tabela no mesmo banco. O esquema do mapeamento ser\u00e1 o seguinte:<\/p>\n

<\/p>\n

\"Como<\/p>\n

<\/p>\n

Na forma de mapeamento no Informatica BDM 10.2.1, isso se apresenta da seguinte forma:<\/p>\n

<\/p>\n

\"Como<\/p>\n

<\/p>\n

Tipo pushdown \u2013 nativo<\/strong><\/p>\n

<\/p>\n

Se escolhermos o tipo pushdown nativo, o mapeamento ser\u00e1 executado no servidor<\/a> Informatica. Os dados ser\u00e3o lidos do servidor Oracle, transferidos para o servidor Informatica, transformados l\u00e1 e enviados para o Hadoop. Em outras palavras, teremos um processo ETL convencional.<\/p>\n

<\/p>\n

Tipo pushdown \u2013 origem <\/strong><\/p>\n

<\/p>\n

Ao escolher o tipo origem, obtemos a possibilidade de distribuir nosso processo entre servidor<\/a> bancos de dados (BD) e Hadoop. Ao executar o processo com essa configura\u00e7\u00e3o, as consultas de sele\u00e7\u00e3o de dados das tabelas ser\u00e3o enviadas para o banco. O restante ser\u00e1 executado em etapas no Hadoop.
\nO esquema de execu\u00e7\u00e3o ser\u00e1 assim:<\/p>\n

<\/p>\n

\"Como<\/p>\n

<\/p>\n

Abaixo est\u00e1 um exemplo de configura\u00e7\u00e3o do ambiente de execu\u00e7\u00e3o.<\/p>\n

<\/p>\n

\"Como<\/p>\n

<\/p>\n

Neste caso, o mapeamento ser\u00e1 executado em duas etapas. Em suas configura\u00e7\u00f5es, veremos que ele se transformou em um script que ser\u00e1 enviado para a fonte. Al\u00e9m disso, a jun\u00e7\u00e3o de tabelas e a transforma\u00e7\u00e3o de dados ser\u00e1 executada na forma de uma consulta redefinida na fonte.
\nNa imagem abaixo, vemos um mapeamento otimizado no BDM, e na fonte \u2013 uma consulta redefinida.<\/p>\n

<\/p>\n

\"Como<\/p>\n

<\/p>\n

O papel do Hadoop nesta configura\u00e7\u00e3o ser\u00e1 gerenciar o fluxo de dados \u2013 dirigi-los. O resultado da consulta ser\u00e1 enviado para o Hadoop. Ap\u00f3s a conclus\u00e3o da leitura, um arquivo do Hadoop ser\u00e1 gravado no receptor.<\/p>\n

<\/p>\n

Tipo pushdown \u2013 completo <\/strong><\/p>\n

<\/p>\n

Ao escolher o tipo completo, o mapeamento se transforma completamente em uma consulta no banco de dados. E o resultado da consulta ser\u00e1 enviado para o Hadoop. O esquema desse processo est\u00e1 apresentado abaixo.<\/p>\n

<\/p>\n

\"Como<\/p>\n

<\/p>\n

O exemplo de configura\u00e7\u00e3o \u00e9 apresentado abaixo.<\/p>\n

<\/p>\n

\"Como<\/p>\n

<\/p>\n

Como resultado, obteremos um mapeamento otimizado semelhante ao anterior. A \u00fanica diferen\u00e7a \u00e9 que toda a l\u00f3gica \u00e9 transferida para o receptor na forma de uma redefini\u00e7\u00e3o de sua inser\u00e7\u00e3o. Um exemplo de mapeamento otimizado \u00e9 apresentado abaixo.<\/p>\n

<\/p>\n

\"Como<\/p>\n

<\/p>\n

Aqui, assim como no caso anterior, o Hadoop atua como o maestro. No entanto, aqui a leitura da fonte \u00e9 realizada completamente, e depois, no n\u00edvel do receptor, a l\u00f3gica de processamento de dados \u00e9 executada.<\/p>\n

<\/p>\n

Tipo pushdown - nulo<\/strong><\/p>\n

<\/p>\n

E a \u00faltima op\u00e7\u00e3o \u00e9 o tipo pushdown, no qual nosso mapeamento se transformar\u00e1 em um script no Hadoop.<\/p>\n

<\/p>\n

O mapeamento otimizado agora ficar\u00e1 assim:<\/p>\n

<\/p>\n

\"Como<\/p>\n

<\/p>\n

Aqui, os dados dos arquivos de origem ser\u00e3o primeiro lidos no Hadoop. Em seguida, utilizando os pr\u00f3prios recursos do Hadoop, esses dois arquivos ser\u00e3o combinados. Depois disso, os dados ser\u00e3o transformados e carregados no banco de dados.<\/p>\n

<\/p>\n

Compreendendo os princ\u00edpios da otimiza\u00e7\u00e3o pushdown, \u00e9 poss\u00edvel organizar de maneira muito eficaz muitos processos de trabalho com grandes dados. Recentemente, uma grande empresa descarregou em apenas algumas semanas grandes dados do armazenamento no Hadoop, que anteriormente havia coletado ao longo de v\u00e1rios anos.<\/p>\n

Fonte: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041b\u044e\u0431\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u041e\u0431\u044b\u0447\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0431\u0430\u0437\u044b \u043d\u0430 Hadoop \u043c\u043e\u0436\u0435\u0442 \u0434\u043b\u0438\u0442\u044c\u0441\u044f \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438 \u0438\u043b\u0438 \u0441\u0442\u043e\u0438\u0442\u044c, \u043a\u0430\u043a \u043a\u0440\u044b\u043b\u043e \u0441\u0430\u043c\u043e\u043b\u0451\u0442\u0430. \u041d\u0435 \u0445\u043e\u0442\u0438\u0442\u0435 \u0436\u0434\u0430\u0442\u044c \u0438 \u0442\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f? \u0421\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u0443\u0439\u0442\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b. \u041e\u0434\u0438\u043d \u0438\u0437 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u2013 pushdown-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f. \u042f \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b \u0432\u0435\u0434\u0443\u0449\u0435\u0433\u043e \u0432 \u0420\u043e\u0441\u0441\u0438\u0438 \u0442\u0440\u0435\u043d\u0435\u0440\u0430 \u043f\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0438 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 Informatica \u0410\u043b\u0435\u043a\u0441\u0435\u044f \u0410\u043d\u0430\u043d\u044c\u0435\u0432\u0430 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[10],"tags":[],"class_list":["post-30268","post","type-post","status-publish","format-standard","hentry","category-blog"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Como transferir, descarregar e integrar grandes volumes de dados de forma barata e r\u00e1pida? O que \u00e9 a otimiza\u00e7\u00e3o pushdown? | ProHoster","description":"Qualquer opera\u00e7\u00e3o com grandes dados requer grande poder de computa\u00e7\u00e3o. O simples deslocamento de dados do banco de dados para o Hadoop pode levar semanas ou custar o equivalente a uma asa de avi\u00e3o.","canonical_url":"https:\/\/prohoster.info\/pt\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pt_PT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0430\u0442\u044c, \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u0451\u0448\u0435\u0432\u043e \u0438 \u0431\u044b\u0441\u0442\u0440\u043e? \u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 pushdown-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f? | ProHoster","og:description":"\u041b\u044e\u0431\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u041e\u0431\u044b\u0447\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0431\u0430\u0437\u044b \u043d\u0430 Hadoop \u043c\u043e\u0436\u0435\u0442 \u0434\u043b\u0438\u0442\u044c\u0441\u044f \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438 \u0438\u043b\u0438 \u0441\u0442\u043e\u0438\u0442\u044c, \u043a\u0430\u043a \u043a\u0440\u044b\u043b\u043e \u0441\u0430\u043c\u043e\u043b\u0451\u0442\u0430.","og:url":"https:\/\/prohoster.info\/pt\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:34:35+00:00","article:modified_time":"2019-10-31T18:34:35+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"30268","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"Article","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-02-09 21:49:15","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 03:38:39","updated":"2026-02-09 21:49:15","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/30268","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/comments?post=30268"}],"version-history":[{"count":2,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/30268\/revisions"}],"predecessor-version":[{"id":160240,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/30268\/revisions\/160240"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/media?parent=30268"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/categories?post=30268"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/tags?post=30268"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}