{"id":30268,"date":"2019-10-31T21:34:35","date_gmt":"2019-10-31T18:34:35","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya\/"},"modified":"2019-10-31T21:34:35","modified_gmt":"2019-10-31T18:34:35","slug":"kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","title":{"rendered":"Hur flyttar, laddar och integrerar man mycket stora data effektivt och billigt? Vad \u00e4r pushdown-optimering?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Alla operationer med stora datam\u00e4ngder kr\u00e4ver stora ber\u00e4kningsresurser. Vanlig \u00f6verf\u00f6ring av data fr\u00e5n en databas till Hadoop kan ta veckor eller kosta som en flygplansvinge. Vill du inte v\u00e4nta och spendera? Balansera lasten \u00f6ver olika plattformar. Ett s\u00e4tt \u00e4r pushdown-optimering.<\/p>\n

<\/p>\n

Jag bad den ledande tr\u00e4naren i Ryssland f\u00f6r utveckling och administration av Informatica-produkter, Alexey Ananyev, att ber\u00e4tta om pushdown-optimeringsfunktionen i Informatica Big Data Management (BDM). L\u00e4rde ni er en g\u00e5ng att arbeta med Informatica-produkter? Det var f\u00f6rmodligen Alexey som l\u00e4rde er grunderna i PowerCenter och f\u00f6rklarade hur man bygger mappningar. <\/p>\n

<\/p>\n

Alexey Ananyev, chef f\u00f6r utbildningsavdelningen p\u00e5 DIS Group<\/strong><\/p>\n

<\/p>\n

Vad \u00e4r pushdown?<\/strong><\/p>\n

<\/p>\n

M\u00e5nga av er \u00e4r redan bekanta med Informatica Big Data Management (BDM). Produkten kan integrera stora data fr\u00e5n olika k\u00e4llor, flytta dem mellan olika system, ge enkel \u00e5tkomst till dem, g\u00f6ra profiler och mycket mer.
\nI skickliga h\u00e4nder kan BDM \u00e5stadkomma underverk: uppgifter kommer att slutf\u00f6ras snabbt och med minimala ber\u00e4kningsresurser. <\/p>\n

<\/p>\n

Vill du ocks\u00e5 detta? L\u00e4r dig anv\u00e4nda pushdown-funktionen i BDM f\u00f6r att f\u00f6rdela den ber\u00e4kningsm\u00e4ssiga belastningen mellan olika plattformar. Pushdown-teknik g\u00f6r det m\u00f6jligt att omvandla en mappning till ett skript och v\u00e4lja den milj\u00f6 d\u00e4r detta skript ska k\u00f6ras. Denna valm\u00f6jlighet g\u00f6r att man kan kombinera styrkorna hos olika plattformar och uppn\u00e5 deras maximala prestanda.<\/p>\n

<\/p>\n

F\u00f6r att konfigurera exekveringsmilj\u00f6n f\u00f6r skriptet m\u00e5ste du v\u00e4lja typ av pushdown. Skriptet kan k\u00f6ras helt p\u00e5 Hadoop eller delvis distribueras mellan k\u00e4llan och mottagaren. Det finns 4 m\u00f6jliga typer av pushdown. Mappningen kan utf\u00f6ras utan att omvandlas till ett skript (native). Mappningen kan ocks\u00e5 utf\u00f6ras maximalt p\u00e5 k\u00e4llan (source) eller helt p\u00e5 k\u00e4llan (full). Dessutom kan mappningen omvandlas till ett Hadoop-skript (none).<\/p>\n

<\/a><\/noindex><\/p>\n

Pushdown-optimering<\/strong><\/p>\n

<\/p>\n

Dessa 4 typer kan kombineras p\u00e5 olika s\u00e4tt - optimera pushdown f\u00f6r specifika systembehov. Till exempel \u00e4r det ofta mer f\u00f6rdelaktigt att extrahera data fr\u00e5n databasen, genom att anv\u00e4nda dess egna funktioner. Att transformera data g\u00f6rs b\u00e4ttre med Hadoop, f\u00f6r att undvika att \u00f6verbelasta databasen.<\/p>\n

<\/p>\n

L\u00e5t oss \u00f6verv\u00e4ga ett fall d\u00e4r b\u00e5de k\u00e4llan och mottagaren finns i databasen, och plattformen f\u00f6r att utf\u00f6ra transformationerna kan v\u00e4ljas: beroende p\u00e5 inst\u00e4llningarna kommer det att vara Informatica, databasserver eller Hadoop. Ett s\u00e5dant exempel g\u00f6r det m\u00f6jligt att b\u00e4st f\u00f6rst\u00e5 den tekniska sidan av detta mekanismens arbete. Sj\u00e4lvklart uppst\u00e5r en s\u00e5dan situation s\u00e4llan i verkliga livet, men f\u00f6r att demonstrera funktionaliteten passar det b\u00e4st. <\/p>\n

<\/p>\n

L\u00e5t oss ta en mappning f\u00f6r att l\u00e4sa tv\u00e5 tabeller i en gemensam Oracle-databas. Resultaten av l\u00e4sningen ska sparas i en tabell i samma databas. Mappningsschemat kommer att se ut s\u00e5 h\u00e4r:<\/p>\n

<\/p>\n

\"Hur<\/p>\n

<\/p>\n

I form av mappning i Informatica BDM 10.2.1 ser det ut s\u00e5 h\u00e4r:<\/p>\n

<\/p>\n

\"Hur<\/p>\n

<\/p>\n

Typ pushdown \u2013 native<\/strong><\/p>\n

<\/p>\n

Om vi v\u00e4ljer typ pushdown native, kommer mappningen att utf\u00f6ras p\u00e5 servern<\/a> Informatica. Data kommer att l\u00e4sas fr\u00e5n Oracle-servern, \u00f6verf\u00f6ras till Informatica-servern, transformeras d\u00e4r och skickas till Hadoop. Med andra ord kommer vi att f\u00e5 en vanlig ETL-process.<\/p>\n

<\/p>\n

Typ pushdown \u2013 source <\/strong><\/p>\n

<\/p>\n

Vid val av typ source f\u00e5r vi m\u00f6jlighet att f\u00f6rdela v\u00e5r process mellan servern<\/a> databaser (DB) och Hadoop. N\u00e4r processen utf\u00f6rs med denna inst\u00e4llning kommer f\u00f6rfr\u00e5gningar att skickas till databasen f\u00f6r att h\u00e4mta data fr\u00e5n tabellerna. \u00d6vrigt kommer att utf\u00f6ras i form av steg p\u00e5 Hadoop.
\nMappningens k\u00f6rschema kommer att se ut s\u00e5 h\u00e4r:<\/p>\n

<\/p>\n

\"Hur<\/p>\n

<\/p>\n

Nedan \u00e4r ett exempel p\u00e5 inst\u00e4llning av exekveringsmilj\u00f6n.<\/p>\n

<\/p>\n

\"Hur<\/p>\n

<\/p>\n

I detta fall kommer mappningen att utf\u00f6ras i tv\u00e5 steg. I dess inst\u00e4llningar kommer vi att se att den har omvandlats till ett skript, som ska skickas till k\u00e4llan. Dessutom kommer sammanfogning av tabeller och datatransformation att utf\u00f6ras i form av en omdefinierad fr\u00e5ga p\u00e5 k\u00e4llan.
\nI bilden nedan ser vi en optimerad mappning p\u00e5 BDM, och p\u00e5 k\u00e4llan \u2013 en omdefinierad fr\u00e5ga.<\/p>\n

<\/p>\n

\"Hur<\/p>\n

<\/p>\n

Hadoop:s roll i denna konfiguration kommer att vara att hantera datastreamen \u2013 dirigera dem. Resultatet av f\u00f6rfr\u00e5gan kommer att skickas till Hadoop. Efter att l\u00e4sningen \u00e4r klar kommer filen fr\u00e5n Hadoop att skrivas till mottagaren.<\/p>\n

<\/p>\n

Typ pushdown \u2013 full <\/strong><\/p>\n

<\/p>\n

Vid valet av typ full kommer mappningen att omvandlas helt till en fr\u00e5ga p\u00e5 databasen. Resultatet av f\u00f6rfr\u00e5gan kommer att skickas till Hadoop. Schemat f\u00f6r en s\u00e5dan process presenteras nedan.<\/p>\n

<\/p>\n

\"Hur<\/p>\n

<\/p>\n

Exemplet p\u00e5 inst\u00e4llning presenteras nedan.<\/p>\n

<\/p>\n

\"Hur<\/p>\n

<\/p>\n

Som ett resultat kommer vi att f\u00e5 en optimerad mappning liknande den f\u00f6reg\u00e5ende. Skillnaden \u00e4r bara att hela logiken \u00f6verf\u00f6rs till mottagaren i form av en omdefiniering av dess ins\u00e4ttning. Exemplet p\u00e5 den optimerade mappningen presenteras nedan.<\/p>\n

<\/p>\n

\"Hur<\/p>\n

<\/p>\n

H\u00e4r, precis som tidigare, fungerar Hadoop som dirigent. Men h\u00e4r l\u00e4ses k\u00e4llan i sin helhet, och sedan utf\u00f6rs logiken f\u00f6r databehandling p\u00e5 mottagarniv\u00e5.<\/p>\n

<\/p>\n

Pushdown-typ \u2013 null<\/strong><\/p>\n

<\/p>\n

Och den sista varianten \u2013 pushdown-typ, d\u00e4r v\u00e5r mappning omvandlas till ett skript p\u00e5 Hadoop.<\/p>\n

<\/p>\n

Den optimerade mappningen kommer nu att se ut s\u00e5 h\u00e4r:<\/p>\n

<\/p>\n

\"Hur<\/p>\n

<\/p>\n

H\u00e4r kommer data fr\u00e5n k\u00e4llfiler f\u00f6rst att l\u00e4sas in p\u00e5 Hadoop. Sedan kommer dessa tv\u00e5 filer att kombineras med hj\u00e4lp av dess egna verktyg. Efter detta kommer data att omvandlas och exporteras till databasen.<\/p>\n

<\/p>\n

Genom att f\u00f6rst\u00e5 principerna f\u00f6r pushdown-optimering kan m\u00e5nga processer f\u00f6r arbete med stora datam\u00e4ngder organiseras mycket effektivt. S\u00e5 sent som nyligen lyckades ett stort f\u00f6retag p\u00e5 bara n\u00e5gra veckor exportera stora datam\u00e4ngder fr\u00e5n sitt lagringsutrymme till Hadoop, vilket de hade samlat in under flera \u00e5r.<\/p>\n

K\u00e4lla: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041b\u044e\u0431\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u041e\u0431\u044b\u0447\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0431\u0430\u0437\u044b \u043d\u0430 Hadoop \u043c\u043e\u0436\u0435\u0442 \u0434\u043b\u0438\u0442\u044c\u0441\u044f \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438 \u0438\u043b\u0438 \u0441\u0442\u043e\u0438\u0442\u044c, \u043a\u0430\u043a \u043a\u0440\u044b\u043b\u043e \u0441\u0430\u043c\u043e\u043b\u0451\u0442\u0430. \u041d\u0435 \u0445\u043e\u0442\u0438\u0442\u0435 \u0436\u0434\u0430\u0442\u044c \u0438 \u0442\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f? \u0421\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u0443\u0439\u0442\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b. \u041e\u0434\u0438\u043d \u0438\u0437 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u2013 pushdown-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f. \u042f \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b \u0432\u0435\u0434\u0443\u0449\u0435\u0433\u043e \u0432 \u0420\u043e\u0441\u0441\u0438\u0438 \u0442\u0440\u0435\u043d\u0435\u0440\u0430 \u043f\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0438 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 Informatica \u0410\u043b\u0435\u043a\u0441\u0435\u044f \u0410\u043d\u0430\u043d\u044c\u0435\u0432\u0430 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[10],"tags":[],"class_list":["post-30268","post","type-post","status-publish","format-standard","hentry","category-blog"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Hur kan man flytta, exportera och integrera mycket stora datam\u00e4ngder snabbt och billigt? Vad \u00e4r pushdown-optimering? | ProHoster","description":"Alla operationer med stora datam\u00e4ngder kr\u00e4ver stora ber\u00e4kningskraft. Vanlig \u00f6verf\u00f6ring av data fr\u00e5n databasen till Hadoop kan ta veckor eller kosta som ett flygplansvinge.","canonical_url":"https:\/\/prohoster.info\/sv\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"sv_SE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0430\u0442\u044c, \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u0451\u0448\u0435\u0432\u043e \u0438 \u0431\u044b\u0441\u0442\u0440\u043e? \u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 pushdown-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f? | ProHoster","og:description":"\u041b\u044e\u0431\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u041e\u0431\u044b\u0447\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0431\u0430\u0437\u044b \u043d\u0430 Hadoop \u043c\u043e\u0436\u0435\u0442 \u0434\u043b\u0438\u0442\u044c\u0441\u044f \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438 \u0438\u043b\u0438 \u0441\u0442\u043e\u0438\u0442\u044c, \u043a\u0430\u043a \u043a\u0440\u044b\u043b\u043e \u0441\u0430\u043c\u043e\u043b\u0451\u0442\u0430.","og:url":"https:\/\/prohoster.info\/sv\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:34:35+00:00","article:modified_time":"2019-10-31T18:34:35+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"30268","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"Article","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-02-09 21:49:15","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 03:38:39","updated":"2026-02-09 21:49:15","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/30268","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/comments?post=30268"}],"version-history":[{"count":2,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/30268\/revisions"}],"predecessor-version":[{"id":160240,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/30268\/revisions\/160240"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/media?parent=30268"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/categories?post=30268"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/tags?post=30268"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}