server<\/a>, sia in HDFS.<\/p>\nIn ogni trasformazione basata sul template predefinito, \u00e8 possibile creare il proprio script in PDL, che ricorda un po' il shell. <\/p>\n
Con il linguaggio PDL puoi estendere le funzionalit\u00e0 delle trasformazioni e, in particolare, puoi generare dinamicamente (durante l'esecuzione) frammenti di codice arbitrari in base ai parametri di runtime.<\/p>\n
In Ab Initio \u00e8 anche molto sviluppata l'integrazione con il sistema operativo tramite shell. In particolare, in Sberbank si utilizza il linux ksh. \u00c8 possibile scambiare variabili con la shell e usarle come parametri per i grafici. Dalla shell \u00e8 possibile avviare l'esecuzione dei grafi di Ab Initio e gestire Ab Initio.<\/p>\n
Oltre ad Ab Initio GDE, la fornitura include molti altri prodotti. C'\u00e8 il proprio Co>Operation System che ambisce a essere un sistema operativo. C'\u00e8 Control>Center, in cui \u00e8 possibile pianificare e monitorare i flussi di caricamento. Ci sono prodotti per lo sviluppo a un livello pi\u00f9 primitivo di quanto consentito da Ab Initio GDE.<\/p>\n
Descrizione del framework MDW e dei lavori di personalizzazione per GreenPlum<\/h3>\n \nInsieme ai propri prodotti, il fornitore offre il prodotto MDW (Metadata Driven Warehouse), che funge da configuratore di grafi, progettato per assistere nelle tipiche attivit\u00e0 di popolamento di data warehouse o data vault.<\/p>\n
Include parser di metadati personalizzati (specifici per il progetto) e generatori di codice pronti all'uso.<\/p>\n
Nei casi di Hive e RDBMS, vengono generati grafi differenti per l'aggiornamento iniziale e incrementale dei dati.<\/p>\n
Nel caso di Hive, i dati della delta in arrivo vengono uniti tramite Ab Initio Join con i dati che erano nella tabella prima dell'aggiornamento. I caricamenti dei dati in MDW (sia in Hive che in RDBMS) non solo inseriscono nuovi dati dalla delta, ma chiudono anche i periodi di validit\u00e0 dei dati basati sulle chiavi primarie tramite le quali \u00e8 arrivata la delta. Inoltre, \u00e8 necessario riscrivere nuovamente la parte di dati che non \u00e8 cambiata. Questo \u00e8 necessario poich\u00e9 in Hive non ci sono operazioni di delete o update.<\/p>\n
Pertanto, siamo giunti alla conclusione che nel caso di Hive, MDW deve procedere alla riscrittura dell'intera tabella, poich\u00e9 Hive non dispone di funzionalit\u00e0 di aggiornamento. Non esiste soluzione migliore della completa riscrittura dei dati durante un aggiornamento. Nel caso degli RDBMS, al contrario, i creatori del prodotto hanno ritenuto opportuno affidare la connessione e l'aggiornamento delle tabelle all'uso di SQL.<\/p>\n
Per il progetto presso Sberbank, abbiamo creato una nuova implementazione di caricatore di database riutilizzabile per GreenPlum. Questo \u00e8 stato fatto sulla base di una versione generata da MDW per Teradata. \u00c8 stata proprio Teradata, e non Oracle, la scelta migliore, poich\u00e9 \u00e8 anch'essa un sistema MPP. Le modalit\u00e0 operative, cos\u00ec come la sintassi di Teradata e GreenPlum, si sono rivelate simili.<\/p>\n
Ecco alcuni esempi di differenze critiche per MDW tra diversi RDBMS. In GreenPlum, a differenza di Teradata, quando si creano tabelle \u00e8 necessario scrivere la clausola<\/p>\n
distributed by<\/code><\/pre>\n\nIn Teradata si scrive<\/p>\n
elimina <table> all<\/code><\/pre>\n\n, mentre in GreenPlum si scrive<\/p>\n
elimina da <table><\/code><\/pre>\n\nIn Oracle, a scopo di ottimizzazione si scrive<\/p>\n
delete from t where rowid in ()<\/code><\/pre>\n\n, mentre in Teradata e GreenPlum si scrive<\/p>\n
delete from t where exists (select * from delta where delta.pk=t.pk)<\/code><\/pre>\n\nInoltre, va notato che per l'utilizzo di Ab Initio con GreenPlum \u00e8 stata necessaria l'installazione del client GreenPlum su tutti i nodi del cluster Ab Initio. Questo perch\u00e9 ci siamo connessi a GreenPlum contemporaneamente da tutti i nodi del nostro cluster. E affinch\u00e9 la lettura da GreenPlum fosse parallela e ogni thread parallelo di Ab Initio leggesse la propria porzione di dati da GreenPlum, \u00e8 stato necessario inserire nella sezione \"where\" delle query SQL una costruzione comprensibile da Ab Initio.<\/p>\n
where ABLOCAL()<\/code><\/pre>\n\n, e definire il valore di questa costruzione, specificando come parametro della trasformazione che legge dal DB<\/p>\n
ablocal_expr=\u00abstring_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))\u00bb<\/code><\/pre>\n\n, che viene compilata in qualcosa come<\/p>\n
mod(sk,10)=3<\/code><\/pre>\n\n, ovvero \u00e8 necessario fornire a GreenPlum un filtro esplicito per ogni partizione. Per altri database (Teradata, Oracle) Ab Initio pu\u00f2 eseguire questa parallelizzazione automaticamente.<\/p>\n
Caratteristiche comparative delle prestazioni di Ab Initio nell'interazione con Hive e GreenPlum<\/h3>\n \nIn Sberbank, an experiment was conducted to compare the performance of generated MDW graphs related to Hive and GreenPlum. In the experiment, Hive utilized 5 nodes on the same cluster as Ab Initio, while GreenPlum had 4 nodes on a separate cluster. Thus, Hive had a slight hardware advantage over GreenPlum.<\/p>\n
Two pairs of graphs were examined, performing the same data update task in Hive and GreenPlum. The graphs generated by the MDW configurator were launched:<\/p>\n
\ninitial loading + incremental loading of randomly generated data into the Hive table<\/li>\n initial loading + incremental loading of randomly generated data into the equivalent GreenPlum table<\/li>\n<\/ul>\n\nIn both cases (Hive and GreenPlum), the loads were executed in 10 parallel streams on the same Ab Initio cluster. Intermediate data for calculations was stored in HDFS (in Ab Initio terms, MFS layout using HDFS was used). One line of randomly generated data occupied 200 bytes in both cases.<\/p>\n
The result was as follows:<\/p>\n
Hive:<\/b><\/p>\n
Initial loading in Hive<\/b><\/p>\n
Rows inserted
Durata del caricamento iniziale
Caricamento incrementale in Hive<\/b><\/p>\n
Numero di righe presenti nella
Numero di righe delta applicate alla
Durata del caricamento incrementale2 541<\/b><\/p>\n
\nGreenPlum:<\/b><\/p>\n
Caricamento iniziale in GreenPlum<\/b><\/p>\n
Rows inserted
Durata del caricamento iniziale
Caricamento incrementale in GreenPlum<\/b><\/p>\n
Numero di righe presenti nella
Numero di righe delta applicate alla
Durata del caricamento incrementale321<\/b><\/p>\n
\nSi osserva che la velocit\u00e0 del caricamento iniziale sia in Hive che in GreenPlum dipende linearmente dal volume dei dati e, a causa di un hardware migliore, \u00e8 leggermente pi\u00f9 veloce per Hive rispetto a GreenPlum.<\/p>\n
Il caricamento incrementale in Hive dipende anch'esso linearmente dal volume dei dati precedentemente caricati nella tabella di destinazione e avviene piuttosto lentamente con l'aumento del volume. Questo \u00e8 causato dalla necessit\u00e0 di riscrivere completamente la tabella di destinazione. Ci\u00f2 significa che applicare piccole modifiche a tabelle enormi non \u00e8 un buon utilizzo per Hive.<\/p>\n
Il caricamento incrementale in GreenPlum dipende scarsamente dal volume dei dati precedentemente caricati nella tabella di destinazione ed avviene piuttosto rapidamente. Questo \u00e8 possibile grazie alle SQL Joins e all'architettura di GreenPlum, che consente l'operazione di delete.<\/p>\n
Quindi, GreenPlum inserisce la delta tramite il metodo delete+insert, mentre in Hive non ci sono operazioni di delete o update, quindi l'intero insieme di dati durante l'aggiornamento incrementale deve essere riscritto completamente. \u00c8 particolarmente significativo il confronto delle celle evidenziate in grassetto, poich\u00e9 rappresentano la modalit\u00e0 di utilizzo pi\u00f9 comune per carichi di lavoro ad alta intensit\u00e0. Possiamo osservare che GreenPlum ha ottenuto un vantaggio rispetto a Hive in questo test di 8 volte.<\/p>\n
Funzionamento di Ab Initio con GreenPlum in modalit\u00e0 Near Real Time<\/h3>\n \nIn questo esperimento verificheremo la capacit\u00e0 di Ab Initio di aggiornare la tabella GreenPlum con porzioni casuali di dati in modalit\u00e0 simile al tempo reale. Consideriamo la tabella GreenPlum dev42_1_db_usl.TESTING_SUBJ_org_finval, su cui lavoreremo.<\/p>\n
Utilizzeremo tre grafi di Ab Initio per lavorarci:<\/p>\n
1) Grafo Create_test_data.mp \u2013 crea file di dati in HDFS con 6.000.000 righe in 10 flussi paralleli. I dati sono casuali e la loro struttura \u00e8 organizzata per l'inserimento nella nostra tabella.<\/p>\n
\ngenerare 6.000.000 righe di test<\/li>\n effettuare un caricamento iniziale per inserire 6.000.000 righe di test in una tabella vuota<\/li>\n ripetere 5 volte il caricamento incrementale\n\ngenerare 6.000.000 righe di test<\/li>\n effettuare un'inserzione incrementale di 6.000.000 righe di test nella tabella (i dati vecchi vengono dotati di un tempo di scadenza valid_to_ts e nuovi dati con la stessa chiave primaria vengono inseriti)<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\nQuesto scenario emula il funzionamento reale di un sistema aziendale: in tempo reale arriva una sufficiente quantit\u00e0 di nuovi dati e viene subito immessa in GreenPlum.<\/p>\n
Ora diamoci un'occhiata al registro dell'esecuzione dello scenario:<\/p>\n
Inizio Create_test_data.input.pset il 2020-06-04 11:49:11
Questa \u00e8 la situazione:<\/p>\n
Grafico
Create_test_data.input.pset
mdw_load.day_one.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
\n\u00c8 evidente che 6.000.000 righe di incremento vengono elaborate in 3 minuti, il che \u00e8 abbastanza veloce.
select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;<\/code><\/pre>\n\n
Conclusione<\/h2>\n \nAttualmente Ab Initio \u00e8 utilizzato da Sberbank per la creazione di un Unico Layer Semantico dei Dati (USSD). Questo progetto prevede la costruzione di una versione unica dello stato di diverse entit\u00e0 aziendali bancarie. Le informazioni provengono da varie fonti, le cui repliche vengono preparate su Hadoop. In base alle esigenze del business, viene preparato un modello di dati e vengono descritte le trasformazioni dei dati. Ab Initio carica le informazioni nell'USSD e i dati caricati non solo sono di interesse per il business stessi, ma servono anche come fonte per la creazione di data warehouse. Inoltre, la funzionalit\u00e0 del prodotto consente di utilizzare diversi sistemi (Hive, Greenplum, Teradata, Oracle) come destinatari, facilitando cos\u00ec la preparazione dei dati in vari formati richiesti dal business.<\/p>\n
Le possibilit\u00e0 di Ab Initio sono ampie; ad esempio, il framework MDW incluso consente di costruire la storicit\u00e0 dei dati in ambito tecnico e business 'out of the box'. Per gli sviluppatori, Ab Initio offre l'opportunit\u00e0 di 'non reinventare la ruota', ma di utilizzare numerosi componenti funzionali gi\u00e0 disponibili, che essenzialmente fungono da librerie necessarie per lavorare con i dati.<\/p>\n
L'autore \u00e8 un esperto della comunit\u00e0 professionale Sberbank SberProfi DWH\/BigData. La comunit\u00e0 professionale SberProfi DWH\/BigData si occupa dello sviluppo delle competenze in ambiti quali l'ecosistema Hadoop, Teradata, Oracle DB, GreenPlum, e anche negli strumenti BI come Qlik, SAP BO, Tableau, e altro.<\/p><\/blockquote>\n
Fonte: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0432\u0441\u0442\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u0432\u044b\u0431\u043e\u0440\u0430 ETL-\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 BigData. \u0420\u0430\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0435\u0435\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435 Informatica BDM \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u043e \u043d\u0430\u0441 \u0438\u0437-\u0437\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0451 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u0435\u043b\u043e\u0441\u044c \u043a \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0443 \u043f\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434 spark-submit. \u041d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438\u043c\u0435\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432, \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c. […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":87610,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-87609","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t