server<\/a>, che in HDFS.<\/p>\nIn ogni trasformazione basata su un template predefinito \u00e8 possibile creare il proprio script in linguaggio PDL, che ricorda un po' la shell. <\/p>\n
Utilizzando il linguaggio PDL, \u00e8 possibile estendere le funzionalit\u00e0 delle trasformazioni e, in particolare, \u00e8 possibile generare dinamicamente (durante l'esecuzione) frammenti di codice arbitrari in base ai parametri di runtime.<\/p>\n
Inoltre, Ab Initio ha una buona integrazione con il sistema operativo tramite shell. In particolare, in Sberbank si utilizza linux ksh. \u00c8 possibile scambiare variabili con la shell e utilizzarle come parametri nei grafic. \u00c8 possibile chiamare l'esecuzione dei grafici Ab Initio dalla shell e gestire Ab Initio.<\/p>\n
Oltre ad Ab Initio GDE, nella fornitura sono inclusi molti altri prodotti. C'\u00e8 il proprio Co>Operation System che ambisce a essere un sistema operativo. C'\u00e8 Control>Center, dove \u00e8 possibile programmare e monitorare i flussi di caricamento. Esistono prodotti per lo sviluppo a un livello pi\u00f9 primitivo rispetto a quanto consente Ab Initio GDE.<\/p>\n
Descrizione del framework MDW e dei lavori per la sua configurazione su GreenPlum<\/h3>\n \nInsieme ai propri prodotti, il fornitore offre il prodotto MDW (Metadata Driven Warehouse), che \u00e8 un configuratore di grafi progettato per assistere nelle attivit\u00e0 tipiche di popolamento dei data warehouse o dei data vault.<\/p>\n
Contiene parser di metadati personalizzati (specifici per il progetto) e generatori di codice pronti all'uso 'out of the box'.<\/p>\n
Nei casi di Hive e RDBMS, vengono generati grafi differenti per l'aggiornamento iniziale e incrementale dei dati.<\/p>\n
Nel caso di Hive, i dati di delta ricevuti vengono uniti tramite Ab Initio Join ai dati che erano presenti nella tabella prima dell'aggiornamento. I caricamenti di dati in MDW (sia in Hive che in RDBMS) non solo inseriscono nuovi dati dalla delta, ma chiudono anche i periodi di validit\u00e0 dei dati in base alle chiavi primarie da cui proviene la delta. Inoltre, \u00e8 necessario riscrivere da zero la parte di dati non modificata. Questo \u00e8 necessario, dato che in Hive non ci sono operazioni di delete o update.<\/p>\n
Pertanto, siamo giunti alla conclusione che nel caso di Hive, MDW deve procedere a riscrivere l'intera tabella, poich\u00e9 Hive non ha una funzione di aggiornamento. Non c'\u00e8 niente di meglio della completa riscrittura dei dati durante l'aggiornamento. Nel caso di RDBMS, al contrario, i creatori del prodotto hanno ritenuto opportuno affidare l'unione e l'aggiornamento delle tabelle all'uso di SQL.<\/p>\n
Per un progetto con Sberbank, abbiamo creato una nuova implementazione riutilizzabile del caricatore di basi dati per GreenPlum. Questo \u00e8 stato realizzato sulla base di una versione generata da MDW per Teradata. Proprio Teradata, e non Oracle, \u00e8 risultata la pi\u00f9 adatta e simile, poich\u00e9 \u00e8 anch'essa un sistema MPP. I metodi operativi e la sintassi di Teradata e GreenPlum si sono dimostrati affini.<\/p>\n
Ecco alcuni esempi delle differenze critiche per MDW tra diversi RDBMS. In GreenPlum, a differenza di Teradata, \u00e8 necessario scrivere una clausola durante la creazione delle tabelle.<\/p>\n
distributed by<\/code><\/pre>\n\nIn Teradata si scrive<\/p>\n
delete <table> all<\/code><\/pre>\n\n, mentre in GreenPlum si scrive<\/p>\n
elimina da <table><\/code><\/pre>\n\nIn Oracle, per ottimizzare, si scrive<\/p>\n
delete from t where rowid in ()<\/code><\/pre>\n\n, mentre in Teradata e GreenPlum si scrive<\/p>\n
delete from t where exists (select * from delta where delta.pk=t.pk)<\/code><\/pre>\n\nVa inoltre notato che per far funzionare Ab Initio con GreenPlum \u00e8 stato necessario installare il client GreenPlum su tutti i nodi del cluster Ab Initio. Questo perch\u00e9 ci siamo connessi a GreenPlum contemporaneamente da tutti i nodi del nostro cluster. E affinch\u00e9 la lettura da GreenPlum fosse parallela e ogni flusso parallelo di Ab Initio leggesse la propria porzione di dati da GreenPlum, abbiamo dovuto inserire nella sezione \"where\" delle query SQL una costruzione comprensibile da Ab Initio.<\/p>\n
where ABLOCAL()<\/code><\/pre>\n\ne definire il valore di questa costruzione, specificando il parametro per la trasformazione che legge dal DB.<\/p>\n
ablocal_expr=\u00abstring_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))\u00bb<\/code><\/pre>\n\n, che si compila in qualcosa di simile a<\/p>\n
mod(sk,10)=3<\/code><\/pre>\n\n, cio\u00e8 \u00e8 necessario fornire a GreenPlum un filtro esplicito per ogni partizione. Per altri database (Teradata, Oracle), Ab Initio pu\u00f2 eseguire automaticamente questo parallelismo.<\/p>\n
Caratteristiche comparative delle prestazioni di Ab Initio con Hive e GreenPlum<\/h3>\n \nIn Sberbank \u00e8 stato condotto un esperimento per confrontare le prestazioni dei grafi generati da MDW in relazione a Hive e a GreenPlum. Nell'ambito dell'esperimento, nel caso di Hive c'erano 5 nodi nello stesso cluster di Ab Initio, mentre nel caso di GreenPlum c'erano 4 nodi in un cluster separato. Cio\u00e8, Hive aveva un certo vantaggio su GreenPlum 'in termini di hardware'.<\/p>\n
Sono state esaminate due coppie di grafi che eseguono lo stesso compito di aggiornamento dei dati in Hive e in GreenPlum. Nel frattempo, sono stati avviati i grafi generati dal configuratore MDW:<\/p>\n
\ncaricamento iniziale + caricamento incrementale di dati generati casualmente nella tabella Hive<\/li>\n caricamento iniziale + caricamento incrementale di dati generati casualmente nella stessa tabella GreenPlum<\/li>\n<\/ul>\n\nIn entrambi i casi (Hive e GreenPlum) sono state avviate le operazioni di caricamento in 10 flussi paralleli su uno stesso cluster Ab Initio. I dati intermedi per il calcolo sono stati salvati in HDFS (in termini di Ab Initio \u00e8 stato utilizzato MFS layout usando HDFS). Una riga di dati generati casualmente occupava in entrambi i casi 200 byte.<\/p>\n
Il risultato \u00e8 stato il seguente:<\/p>\n
Hive:<\/b><\/p>\n
Caricamento iniziale in Hive<\/b><\/p>\n
Righe inserite
Durata del caricamento iniziale
Caricamento incrementale in Hive<\/b><\/p>\n
Numero di righe presenti nella
Numero di righe delta applicate alla
Durata del caricamento incrementale2 541<\/b><\/p>\n
\nGreenPlum:<\/b><\/p>\n
Caricamento iniziale in GreenPlum<\/b><\/p>\n
Righe inserite
Durata del caricamento iniziale
Caricamento incrementale in GreenPlum<\/b><\/p>\n
Numero di righe presenti nella
Numero di righe delta applicate alla
Durata del caricamento incrementale321<\/b><\/p>\n
\nPossiamo vedere che la velocit\u00e0 del caricamento iniziale sia in Hive che in GreenPlum dipende linearmente dalla quantit\u00e0 di dati e per motivi di hardware migliore risulta essere leggermente pi\u00f9 veloce per Hive rispetto a GreenPlum.<\/p>\n
Il caricamento incrementale in Hive dipende anch'esso linearmente dalla quantit\u00e0 di dati precedentemente caricati nella tabella di destinazione e procede piuttosto lentamente con l'aumento della quantit\u00e0. Questo \u00e8 dovuto alla necessit\u00e0 di riscrivere l'intera tabella di destinazione. Ci\u00f2 significa che applicare piccole modifiche a tabelle enormi non \u00e8 un buon approccio per Hive.<\/p>\n
Al contrario, il caricamento incrementale in GreenPlum dipende poco dalla quantit\u00e0 di dati precedentemente caricati nella tabella di destinazione e procede piuttosto rapidamente. Questo \u00e8 stato possibile grazie alle SQL Joins e all'architettura di GreenPlum, che consente l'operazione di delete.<\/p>\n
Quindi, GreenPlum inserisce il delta tramite delete+insert, mentre in Hive non ci sono operazioni delete o update, quindi l'intero set di dati durante l'aggiornamento incrementale ha dovuto essere riscritto completamente. I dati evidenziati in grassetto sono particolarmente significativi poich\u00e9 corrispondono al caso pi\u00f9 comune di utilizzo di carichi di lavoro che richiedono molte risorse. Possiamo vedere che GreenPlum ha superato Hive in questo test di 8 volte.<\/p>\n
Funzionamento di Ab Initio con GreenPlum in modalit\u00e0 Near Real Time<\/h3>\n \nIn questo esperimento verificheremo la capacit\u00e0 di Ab Initio di aggiornare la tabella GreenPlum con porzioni di dati generate casualmente in un modo vicino al tempo reale. Considereremo la tabella GreenPlum dev42_1_db_usl.TESTING_SUBJ_org_finval, con la quale si lavorer\u00e0.<\/p>\n
Useremo tre grafi Ab Initio per lavorarci:<\/p>\n
1) Grafico Create_test_data.mp \u2013 crea file di dati in HDFS con 6.000.000 di righe in 10 flussi paralleli. I dati sono casuali, la loro struttura \u00e8 organizzata per l'inserimento nella nostra tabella.<\/p>\n
\ngenerare 6.000.000 righe di test<\/li>\n effettuare un caricamento iniziale, inserire 6.000.000 righe di test in una tabella vuota<\/li>\n ripetere 5 volte il caricamento incrementale\n\ngenerare 6.000.000 righe di test<\/li>\n effettuare un'inserzione incrementale di 6.000.000 righe di test nella tabella (in questo caso, ai dati esistenti viene assegnata una scadenza valid_to_ts e vengono inseriti dati pi\u00f9 recenti con la stessa chiave primaria).<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\nQuesto scenario emula il funzionamento reale di un sistema aziendale: una quantit\u00e0 significativa di nuovi dati appare in tempo reale e viene immediatamente inserita in GreenPlum.<\/p>\n
Ora diamo un'occhiata al registro dell'esecuzione dello scenario:<\/p>\n
Inizio Create_test_data.input.pset alle 2020-06-04 11:49:11
Ecco l'immagine risultante:<\/p>\n
Grafico
Create_test_data.input.pset
mdw_load.day_one.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
\nPossiamo vedere che 6.000.000 righe di incremento vengono elaborate in 3 minuti, il che \u00e8 abbastanza veloce.
select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;<\/code><\/pre>\n\n
Conclusione<\/h2>\n \nAttualmente, Ab Initio \u00e8 utilizzato da Sberbank per costruire un Unico Livello Semantico dei Dati (ECS). Questo progetto prevede la creazione di una versione unica dello stato di diverse entit\u00e0 di business bancario. Le informazioni provengono da diverse fonti, le cui repliche vengono preparate su Hadoop. Sulla base delle esigenze aziendali, viene preparato un modello di dati e vengono descritte le trasformazioni dei dati. Ab Initio carica l'informazione nell'ECS e i dati caricati non solo sono di interesse per il business, ma servono anche come fonte per costruire vetrine dei dati. Inoltre, le funzionalit\u00e0 del prodotto permettono di utilizzare come destinatario diversi sistemi (Hive, Greenplum, Teradata, Oracle), il che consente di preparare i dati per il business in vari formati richiesti senza eccessivi sforzi.<\/p>\n
Le capacit\u00e0 di Ab Initio sono ampie; ad esempio, il framework allegato MDW consente di costruire la storicit\u00e0 tecnica e aziendale dei dati \"out of the box\". Per gli sviluppatori, Ab Initio offre la possibilit\u00e0 di \"non reinventare la ruota\" e di utilizzare i molteplici componenti funzionali gi\u00e0 disponibili, che essenzialmente fungono da librerie necessarie per lavorare con i dati.<\/p>\n
Autore \u2014 esperto della comunit\u00e0 professionale di Sberbank SberProfi DWH\/BigData. La comunit\u00e0 professionale SberProfi DWH\/BigData \u00e8 responsabile dello sviluppo delle competenze nei settori come l'ecosistema Hadoop, Teradata, Oracle DB, GreenPlum, cos\u00ec come negli strumenti BI Qlik, SAP BO, Tableau e altri.<\/p><\/blockquote>\n
Fonte: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0432\u0441\u0442\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u0432\u044b\u0431\u043e\u0440\u0430 ETL-\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 BigData. \u0420\u0430\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0435\u0435\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435 Informatica BDM \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u043e \u043d\u0430\u0441 \u0438\u0437-\u0437\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0451 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u0435\u043b\u043e\u0441\u044c \u043a \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0443 \u043f\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434 spark-submit. \u041d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438\u043c\u0435\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432, \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c. […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":87610,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-87609","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t