{"id":30268,"date":"2019-10-31T21:34:35","date_gmt":"2019-10-31T18:34:35","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya\/"},"modified":"2019-10-31T21:34:35","modified_gmt":"2019-10-31T18:34:35","slug":"kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","title":{"rendered":"Come spostare, scaricare e integrare grandi quantit\u00e0 di dati in modo economico e veloce? Cos'\u00e8 l'ottimizzazione pushdown?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Qualsiasi operazione con grandi dati richiede grandi capacit\u00e0 di calcolo. Il normale spostamento di dati da un database a Hadoop pu\u00f2 richiedere settimane o costare tanto quanto l'ala di un aereo. Non vuoi aspettare e spendere? Bilancia il carico su diverse piattaforme. Un modo per farlo \u00e8 l'ottimizzazione pushdown.<\/p>\n

<\/p>\n

Ho chiesto a Alexey Ananyev, un trainer leader in Russia per lo sviluppo e la gestione dei prodotti Informatica, di parlarmi della funzione di ottimizzazione pushdown in Informatica Big Data Management (BDM). Hai mai imparato a lavorare con i prodotti Informatica? Probabilmente \u00e8 stato Alexey a insegnarti le basi di PowerCenter e a spiegarti come costruire i mapping. <\/p>\n

<\/p>\n

Alexey Ananyev, responsabile del settore formazione di DIS Group<\/strong><\/p>\n

<\/p>\n

Cos'\u00e8 il pushdown?<\/strong><\/p>\n

<\/p>\n

Molti di voi gi\u00e0 conoscono Informatica Big Data Management (BDM). Il prodotto \u00e8 in grado di integrare grandi dati da diverse fonti, spostarli tra diversi sistemi, fornire un accesso facile, consentire il loro profilo e molto altro.
\nNelle mani esperte, BDM \u00e8 capace di fare miracoli: le attivit\u00e0 vengono eseguite rapidamente e con risorse computazionali minime. <\/p>\n

<\/p>\n

Desideri anche tu? Impara a utilizzare la funzione pushdown in BDM per distribuire il carico di lavoro tra diverse piattaforme. La tecnologia pushdown consente di trasformare il mapping in uno script e di selezionare l'ambiente in cui eseguire questo script. Questa possibilit\u00e0 di scelta permette di combinare i punti di forza delle diverse piattaforme per raggiungere le loro massime prestazioni.<\/p>\n

<\/p>\n

Per configurare l'ambiente di esecuzione dello script, \u00e8 necessario selezionare il tipo di pushdown. Lo script pu\u00f2 essere completamente eseguito su Hadoop o parzialmente distribuito tra la sorgente e il ricevitore. Ci sono 4 tipi possibili di pushdown. Il mapping pu\u00f2 rimanere non trasformato in uno script (native). Il mapping pu\u00f2 essere eseguito principalmente sulla sorgente (source) o completamente sulla sorgente (full). Inoltre, il mapping pu\u00f2 essere trasformato in uno script Hadoop (none).<\/p>\n

<\/a><\/noindex><\/p>\n

Ottimizzazione pushdown<\/strong><\/p>\n

<\/p>\n

I 4 tipi elencati possono essere combinati in vari modi per ottimizzare il pushdown in base alle esigenze specifiche del sistema. Ad esempio, spesso \u00e8 pi\u00f9 utile estrarre i dati da un database utilizzando le sue stesse capacit\u00e0. La trasformazione dei dati pu\u00f2 avvenire tramite Hadoop, per non sovraccaricare il database stesso.<\/p>\n

<\/p>\n

Consideriamo il caso in cui sia la fonte che il destinatario si trovino nel database, e la piattaforma per eseguire le trasformazioni possa essere scelta: a seconda delle impostazioni, sar\u00e0 Informatica, un server di database o Hadoop. Questo esempio permetter\u00e0 di comprendere al meglio il lato tecnico del funzionamento di questo meccanismo. Naturalmente, nella vita reale, tale situazione non si verifica, ma per dimostrare la funzionalit\u00e0 \u00e8 la pi\u00f9 adatta. <\/p>\n

<\/p>\n

Prendiamo un mapping per la lettura di due tabelle in un unico database Oracle. E i risultati della lettura devono essere scritti in una tabella dello stesso database. Lo schema di mapping sar\u00e0 il seguente:<\/p>\n

<\/p>\n

\"Come<\/p>\n

<\/p>\n

In forma di mapping su Informatica BDM 10.2.1 appare in questo modo:<\/p>\n

<\/p>\n

\"Come<\/p>\n

<\/p>\n

Tipo pushdown \u2013 nativo<\/strong><\/p>\n

<\/p>\n

Se scegliamo il tipo pushdown nativo, il mapping verr\u00e0 eseguito su server<\/a> Informatica. I dati saranno letti dal server Oracle, trasferiti sul server Informatica, trasformati l\u00ec e inviati a Hadoop. In altre parole, otterremo un normale processo ETL.<\/p>\n

<\/p>\n

Tipo pushdown \u2013 sorgente <\/strong><\/p>\n

<\/p>\n

Se scegliamo il tipo sorgente, abbiamo la possibilit\u00e0 di distribuire il nostro processo tra server<\/a> database (DB) e Hadoop. Durante l'esecuzione del processo con questa impostazione, verranno inviati alla base dati richieste per l'estrazione di dati dalle tabelle. Tutto il resto sar\u00e0 eseguito in forma di passaggi su Hadoop.
\nLo schema di esecuzione sar\u00e0 il seguente:<\/p>\n

<\/p>\n

\"Come<\/p>\n

<\/p>\n

Di seguito \u00e8 riportato un esempio di configurazione dell'ambiente di esecuzione.<\/p>\n

<\/p>\n

\"Come<\/p>\n

<\/p>\n

In questo caso, il mapping sar\u00e0 eseguito in due passaggi. Nelle sue impostazioni vedremo che \u00e8 diventato uno script che sar\u00e0 inviato alla sorgente. Inoltre, l'unione delle tabelle e la trasformazione dei dati saranno eseguite come una query ridefinita sulla sorgente.
\nNell'immagine sottostante, vediamo un mapping ottimizzato su BDM, mentre sulla sorgente si trova la query ridefinita.<\/p>\n

<\/p>\n

\"Come<\/p>\n

<\/p>\n

Il ruolo di Hadoop in questa configurazione sar\u00e0 quello di gestire il flusso dei dati - orchestrandoli. Il risultato della query sar\u00e0 inviato a Hadoop. Una volta completata la lettura, il file da Hadoop sar\u00e0 scritto nel ricevitore.<\/p>\n

<\/p>\n

Tipo pushdown \u2013 completo <\/strong><\/p>\n

<\/p>\n

Se si sceglie il tipo completo, il mapping si trasformer\u00e0 completamente in una query sul DB. Il risultato della query sar\u00e0 inviato a Hadoop. Lo schema di tale processo \u00e8 presentato di seguito.<\/p>\n

<\/p>\n

\"Come<\/p>\n

<\/p>\n

Ecco un esempio di configurazione.<\/p>\n

<\/p>\n

\"Come<\/p>\n

<\/p>\n

Di conseguenza, otteniamo un mapping ottimizzato simile al precedente. L'unica differenza \u00e8 che tutta la logica viene trasferita sul ricevitore sotto forma di ridefinizione della sua inserzione. Un esempio di mapping ottimizzato \u00e8 presentato di seguito.<\/p>\n

<\/p>\n

\"Come<\/p>\n

<\/p>\n

Qui, come nel caso precedente, Hadoop funge da direttore d'orchestra. Tuttavia, in questo caso, la lettura della sorgente avviene integralmente, e poi, a livello del ricevitore, viene eseguita la logica di elaborazione dei dati.<\/p>\n

<\/p>\n

Tipo pushdown \u2013 null<\/strong><\/p>\n

<\/p>\n

E l'ultima opzione \u00e8 il tipo pushdown, nel quale il nostro mapping si trasformer\u00e0 in uno script su Hadoop.<\/p>\n

<\/p>\n

Il mapping ottimizzato ora apparir\u00e0 cos\u00ec:<\/p>\n

<\/p>\n

\"Come<\/p>\n

<\/p>\n

Qui i dati dai file sorgente verranno prima letti su Hadoop. Successivamente, con le stesse risorse, questi due file verranno uniti. Dopo di ci\u00f2, i dati verranno trasformati e caricati nel database.<\/p>\n

<\/p>\n

Comprendendo i principi dell'ottimizzazione pushdown, \u00e8 possibile organizzare in modo molto efficace molti processi di lavoro con grandi dati. Recentemente, un'importante azienda ha eseguito il caricamento di grandi dati da un deposito in Hadoop in poche settimane, dati che prima aveva raccolto per anni.<\/p>\n

Fonte: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041b\u044e\u0431\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u041e\u0431\u044b\u0447\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0431\u0430\u0437\u044b \u043d\u0430 Hadoop \u043c\u043e\u0436\u0435\u0442 \u0434\u043b\u0438\u0442\u044c\u0441\u044f \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438 \u0438\u043b\u0438 \u0441\u0442\u043e\u0438\u0442\u044c, \u043a\u0430\u043a \u043a\u0440\u044b\u043b\u043e \u0441\u0430\u043c\u043e\u043b\u0451\u0442\u0430. \u041d\u0435 \u0445\u043e\u0442\u0438\u0442\u0435 \u0436\u0434\u0430\u0442\u044c \u0438 \u0442\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f? \u0421\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u0443\u0439\u0442\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b. \u041e\u0434\u0438\u043d \u0438\u0437 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u2013 pushdown-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f. \u042f \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b \u0432\u0435\u0434\u0443\u0449\u0435\u0433\u043e \u0432 \u0420\u043e\u0441\u0441\u0438\u0438 \u0442\u0440\u0435\u043d\u0435\u0440\u0430 \u043f\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0438 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 Informatica \u0410\u043b\u0435\u043a\u0441\u0435\u044f \u0410\u043d\u0430\u043d\u044c\u0435\u0432\u0430 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[10],"tags":[],"class_list":["post-30268","post","type-post","status-publish","format-standard","hentry","category-blog"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Come spostare, scaricare e integrare enormi volumi di dati in modo economico e veloce? Cos'\u00e8 l'ottimizzazione pushdown? | ProHoster","description":"Qualsiasi operazione con grandi dati richiede elevate capacit\u00e0 di calcolo. Il semplice spostamento di dati da un database a Hadoop pu\u00f2 impiegare settimane o costare quanto un'ala di un aereo. Non vuoi aspettare e spendere? Bilancia il carico su diverse piattaforme. Uno dei modi \u00e8 l'ottimizzazione pushdown. Ho chiesto a uno dei principali formatori in Russia per lo sviluppo e l'amministrazione dei prodotti Informatica, Aleksej Anan'ev, di parlarci di","canonical_url":"https:\/\/prohoster.info\/it\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0430\u0442\u044c, \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u0451\u0448\u0435\u0432\u043e \u0438 \u0431\u044b\u0441\u0442\u0440\u043e? \u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 pushdown-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f? | ProHoster","og:description":"\u041b\u044e\u0431\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u041e\u0431\u044b\u0447\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0431\u0430\u0437\u044b \u043d\u0430 Hadoop \u043c\u043e\u0436\u0435\u0442 \u0434\u043b\u0438\u0442\u044c\u0441\u044f \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438 \u0438\u043b\u0438 \u0441\u0442\u043e\u0438\u0442\u044c, \u043a\u0430\u043a \u043a\u0440\u044b\u043b\u043e \u0441\u0430\u043c\u043e\u043b\u0451\u0442\u0430. \u041d\u0435 \u0445\u043e\u0442\u0438\u0442\u0435 \u0436\u0434\u0430\u0442\u044c \u0438 \u0442\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f? \u0421\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u0443\u0439\u0442\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b. \u041e\u0434\u0438\u043d \u0438\u0437 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u2013 pushdown-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f. \u042f \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b \u0432\u0435\u0434\u0443\u0449\u0435\u0433\u043e \u0432 \u0420\u043e\u0441\u0441\u0438\u0438 \u0442\u0440\u0435\u043d\u0435\u0440\u0430 \u043f\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0438 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 Informatica \u0410\u043b\u0435\u043a\u0441\u0435\u044f \u0410\u043d\u0430\u043d\u044c\u0435\u0432\u0430 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e","og:url":"https:\/\/prohoster.info\/it\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:34:35+00:00","article:modified_time":"2019-10-31T18:34:35+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"30268","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"Article","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-02-09 21:49:15","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 03:38:39","updated":"2026-02-09 21:49:15"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/30268","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=30268"}],"version-history":[{"count":2,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/30268\/revisions"}],"predecessor-version":[{"id":160240,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/30268\/revisions\/160240"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=30268"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=30268"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=30268"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}