{"id":30268,"date":"2019-10-31T21:34:35","date_gmt":"2019-10-31T18:34:35","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya\/"},"modified":"2019-10-31T21:34:35","modified_gmt":"2019-10-31T18:34:35","slug":"kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","title":{"rendered":"Come spostare, scaricare e integrare dati molto grandi in modo economico e veloce? Che cos'\u00e8 l'ottimizzazione pushdown?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Qualsiasi operazione con grandi dati richiede grandi potenze di calcolo. Il trasferimento di dati da un database su Hadoop pu\u00f2 durare settimane o costare come l'ala di un aereo. Non vuoi aspettare e spendere? Bilancia il carico su diverse piattaforme. Uno dei modi \u00e8 l'ottimizzazione pushdown.<\/p>\n

<\/p>\n

Ho chiesto al noto formatore russo per lo sviluppo e l'amministrazione dei prodotti Informatica, Alexey Ananyev, di parlarci della funzione di ottimizzazione pushdown in Informatica Big Data Management (BDM). Hai mai imparato a lavorare con i prodotti Informatica? Probabilmente \u00e8 stato proprio Alexey a insegnarti le basi di PowerCenter e a spiegarti come costruire mappature. <\/p>\n

<\/p>\n

Alexey Ananyev, responsabile del dipartimento formazione di DIS Group<\/strong><\/p>\n

<\/p>\n

Che cos'\u00e8 il pushdown?<\/strong><\/p>\n

<\/p>\n

Molti di voi sono gi\u00e0 familiari con Informatica Big Data Management (BDM). Il prodotto pu\u00f2 integrare grandi dati da diverse sorgenti, trasferirli tra sistemi diversi, fornire un facile accesso ad essi, consentire di profilare i dati e molto altro.
\nNelle mani esperte, BDM \u00e8 in grado di fare miracoli: le attivit\u00e0 saranno eseguite rapidamente e con risorse di calcolo minime. <\/p>\n

<\/p>\n

Vuoi anche tu questo? Impara a utilizzare la funzione pushdown in BDM per distribuire il carico di calcolo su diverse piattaforme. La tecnologia pushdown consente di trasformare la mappatura in uno script e scegliere l'ambiente in cui questo script verr\u00e0 eseguito. Questa possibilit\u00e0 di scelta consente di combinare i punti di forza delle diverse piattaforme e di raggiungere la loro massima efficienza.<\/p>\n

<\/p>\n

Per configurare l'ambiente di esecuzione dello script, \u00e8 necessario scegliere il tipo di pushdown. Lo script pu\u00f2 essere eseguito completamente su Hadoop o distribuito parzialmente tra la sorgente e il destinatario. Ci sono 4 tipi possibili di pushdown. La mappatura pu\u00f2 non essere trasformata in uno script (nativo). La mappatura pu\u00f2 essere eseguita al massimo sulla sorgente (source) o completamente sulla sorgente (full). La mappatura pu\u00f2 anche essere trasformata in uno script Hadoop (none).<\/p>\n

<\/a><\/noindex><\/p>\n

Ottimizzazione pushdown<\/strong><\/p>\n

<\/p>\n

I 4 tipi elencati possono essere combinati in vari modi \u2013 ottimizzare il pushdown per le specifiche esigenze del sistema. Ad esempio, spesso \u00e8 pi\u00f9 sensato estrarre i dati da un database sfruttando le sue stesse capacit\u00e0. Mentre la trasformazione dei dati pu\u00f2 avvenire tramite Hadoop, per non sovraccaricare il database.<\/p>\n

<\/p>\n

Consideriamo il caso in cui sia la sorgente che il destinatario si trovano nel database, e la piattaforma di esecuzione delle trasformazioni possa essere scelta: a seconda delle impostazioni, questa sar\u00e0 Informatica, un server di database o Hadoop. Questo esempio permetter\u00e0 di comprendere in modo pi\u00f9 preciso l'aspetto tecnico del funzionamento di questo meccanismo. \u00c8 ovvio che, nella vita reale, una situazione simile non si verifica, ma per dimostrare la funzionalit\u00e0 \u00e8 l'ideale. <\/p>\n

<\/p>\n

Prendiamo la mappatura per la lettura di due tabelle in un unico database Oracle. E i risultati della lettura saranno scritti in una tabella in questo stesso database. Lo schema di mappatura sar\u00e0 il seguente:<\/p>\n

<\/p>\n

\"Come<\/p>\n

<\/p>\n

In forma di mappatura su Informatica BDM 10.2.1 appare in questo modo:<\/p>\n

<\/p>\n

\"Come<\/p>\n

<\/p>\n

Tipo pushdown \u2013 nativo<\/strong><\/p>\n

<\/p>\n

Se scegliamo il tipo pushdown nativo, la mappatura sar\u00e0 eseguita su server<\/a> Informatica. I dati verranno letti dal server Oracle, trasferiti al server Informatica, trasformati l\u00ec e inviati a Hadoop. In altre parole, otterremo un normale processo ETL.<\/p>\n

<\/p>\n

Tipo pushdown \u2013 sorgente <\/strong><\/p>\n

<\/p>\n

Scegliendo il tipo sorgente, otteniamo la possibilit\u00e0 di distribuire il nostro processo tra server<\/a> database (DB) e Hadoop. Durante l'esecuzione del processo con questa impostazione, verranno emessi requisiti per la selezione dei dati dalle tabelle. E il resto sar\u00e0 eseguito in forma di passaggi su Hadoop.
\nLo schema di esecuzione apparir\u00e0 cos\u00ec:<\/p>\n

<\/p>\n

\"Come<\/p>\n

<\/p>\n

Di seguito \u00e8 riportato un esempio della configurazione dell'ambiente di esecuzione.<\/p>\n

<\/p>\n

\"Come<\/p>\n

<\/p>\n

In questo caso, la mappatura sar\u00e0 eseguita in due fasi. Nelle sue impostazioni vedremo che \u00e8 diventata uno script che sar\u00e0 inviato alla sorgente. Inoltre, l'unione delle tabelle e la trasformazione dei dati saranno eseguiti sotto forma di una query ridefinita sulla sorgente.
\nNell'immagine qui sotto, vediamo una mappatura ottimizzata su BDM, e sulla sorgente \u2013 una query ridefinita.<\/p>\n

<\/p>\n

\"Come<\/p>\n

<\/p>\n

Il ruolo di Hadoop in questa configurazione sar\u00e0 quello di gestire il flusso di dati \u2013 di dirigerli. Il risultato della query sar\u00e0 diretto a Hadoop. Dopo il completamento della lettura, il file da Hadoop sar\u00e0 scritto nel destinatario.<\/p>\n

<\/p>\n

Tipo pushdown \u2013 completo <\/strong><\/p>\n

<\/p>\n

Scegliendo il tipo completo, la mappatura si trasformer\u00e0 completamente in una query sul DB. E il risultato della query sar\u00e0 diretto a Hadoop. Lo schema di tale processo \u00e8 presentato qui sotto.<\/p>\n

<\/p>\n

\"Come<\/p>\n

<\/p>\n

Un esempio di configurazione \u00e8 mostrato qui di seguito.<\/p>\n

<\/p>\n

\"Come<\/p>\n

<\/p>\n

Di conseguenza, otterremo una mappatura ottimizzata simile alla precedente. L'unica differenza \u00e8 che tutta la logica sar\u00e0 spostata nel destinatario sotto forma di ridefinizione del suo inserimento. Un esempio di mappatura ottimizzata \u00e8 presentato di seguito.<\/p>\n

<\/p>\n

\"Come<\/p>\n

<\/p>\n

Qui, come nel caso precedente, Hadoop funge da direttore d'orchestra. Tuttavia, qui la lettura della sorgente avviene per intero, mentre la logica di elaborazione dei dati viene eseguita a livello di ricezione.<\/p>\n

<\/p>\n

Tipo pushdown \u2013 null<\/strong><\/p>\n

<\/p>\n

Infine, l'ultimo tipo \u00e8 il pushdown, con il quale il nostro mapping si trasformer\u00e0 in uno script su Hadoop.<\/p>\n

<\/p>\n

Il mapping ottimizzato ora apparir\u00e0 cos\u00ec:<\/p>\n

<\/p>\n

\"Come<\/p>\n

<\/p>\n

Qui i dati dai file sorgente verranno inizialmente letti su Hadoop. Successivamente, con i suoi strumenti, questi due file saranno uniti. Dopo di che, i dati saranno trasformati e caricati nel database.<\/p>\n

<\/p>\n

Comprendendo i principi dell'ottimizzazione pushdown, \u00e8 possibile organizzare in modo molto efficace molti processi di lavoro con grandi dati. Cos\u00ec, recentemente, una grande azienda ha scaricato in soli pochi mesi grandi dati da un deposito su Hadoop, che in precedenza aveva raccolto per diversi anni.<\/p>\n

Fonte: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041b\u044e\u0431\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u041e\u0431\u044b\u0447\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0431\u0430\u0437\u044b \u043d\u0430 Hadoop \u043c\u043e\u0436\u0435\u0442 \u0434\u043b\u0438\u0442\u044c\u0441\u044f \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438 \u0438\u043b\u0438 \u0441\u0442\u043e\u0438\u0442\u044c, \u043a\u0430\u043a \u043a\u0440\u044b\u043b\u043e \u0441\u0430\u043c\u043e\u043b\u0451\u0442\u0430. \u041d\u0435 \u0445\u043e\u0442\u0438\u0442\u0435 \u0436\u0434\u0430\u0442\u044c \u0438 \u0442\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f? \u0421\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u0443\u0439\u0442\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b. \u041e\u0434\u0438\u043d \u0438\u0437 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u2013 pushdown-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f. \u042f \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b \u0432\u0435\u0434\u0443\u0449\u0435\u0433\u043e \u0432 \u0420\u043e\u0441\u0441\u0438\u0438 \u0442\u0440\u0435\u043d\u0435\u0440\u0430 \u043f\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0438 \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 Informatica \u0410\u043b\u0435\u043a\u0441\u0435\u044f \u0410\u043d\u0430\u043d\u044c\u0435\u0432\u0430 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[10],"tags":[],"class_list":["post-30268","post","type-post","status-publish","format-standard","hentry","category-blog"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Come trasferire, scaricare e integrare grandi dati in modo economico e veloce? Che cos'\u00e8 l'ottimizzazione pushdown? | ProHoster","description":"Qualsiasi operazione con grandi dati richiede elevate capacit\u00e0 computazionali. Il semplice spostamento di dati da un database a Hadoop pu\u00f2 richiedere settimane o costare quanto l'ala di un aereo.","canonical_url":"https:\/\/prohoster.info\/it\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0430\u043a \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0430\u0442\u044c, \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u0451\u0448\u0435\u0432\u043e \u0438 \u0431\u044b\u0441\u0442\u0440\u043e? \u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 pushdown-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f? | ProHoster","og:description":"\u041b\u044e\u0431\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439. \u041e\u0431\u044b\u0447\u043d\u043e\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0431\u0430\u0437\u044b \u043d\u0430 Hadoop \u043c\u043e\u0436\u0435\u0442 \u0434\u043b\u0438\u0442\u044c\u0441\u044f \u043d\u0435\u0434\u0435\u043b\u044f\u043c\u0438 \u0438\u043b\u0438 \u0441\u0442\u043e\u0438\u0442\u044c, \u043a\u0430\u043a \u043a\u0440\u044b\u043b\u043e \u0441\u0430\u043c\u043e\u043b\u0451\u0442\u0430.","og:url":"https:\/\/prohoster.info\/it\/blog\/kak-peremeshhat-vygruzhat-i-integrirovat-ochen-bolshie-dannye-dyoshevo-i-bystro-chto-takoe-pushdown-optimizatsiya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:34:35+00:00","article:modified_time":"2019-10-31T18:34:35+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"30268","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"Article","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-02-09 21:49:15","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 03:38:39","updated":"2026-02-09 21:49:15","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/30268","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=30268"}],"version-history":[{"count":2,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/30268\/revisions"}],"predecessor-version":[{"id":160240,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/30268\/revisions\/160240"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=30268"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=30268"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=30268"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}