servidor<\/a>, quanto no HDFS.<\/p>\nEm cada transforma\u00e7\u00e3o, com base em um modelo padr\u00e3o, \u00e9 poss\u00edvel criar seu pr\u00f3prio script na linguagem PDL, que \u00e9 um pouco semelhante ao shell. <\/p>\n
Com a linguagem PDL, voc\u00ea pode expandir a funcionalidade das transforma\u00e7\u00f5es e, em particular, pode gerar dinamicamente (durante a execu\u00e7\u00e3o) fragmentos arbitr\u00e1rios de c\u00f3digo dependendo dos par\u00e2metros de execu\u00e7\u00e3o.<\/p>\n
Al\u00e9m disso, o Ab Initio tem uma boa integra\u00e7\u00e3o com o SO atrav\u00e9s do shell. Especificamente, o Sberbank usa o linux ksh. \u00c9 poss\u00edvel trocar vari\u00e1veis com o shell e us\u00e1-las como par\u00e2metros dos gr\u00e1ficos. \u00c9 poss\u00edvel chamar a execu\u00e7\u00e3o dos gr\u00e1ficos Ab Initio a partir do shell e administrar o Ab Initio.<\/p>\n
Al\u00e9m do Ab Initio GDE, o fornecedor oferece muitos outros produtos. Existe seu pr\u00f3prio Co>Operation System, que se prop\u00f5e a ser um sistema operacional. Existe o Control>Center, onde \u00e9 poss\u00edvel agendar e monitorar os fluxos de carga. Existem produtos para realizar desenvolvimento em um n\u00edvel mais primitivo do que o que o Ab Initio GDE permite.<\/p>\n
Descri\u00e7\u00e3o do framework MDW e do trabalho de sua configura\u00e7\u00e3o para o GreenPlum<\/h3>\n \nJunto com seus produtos, o fornecedor entrega o produto MDW (Metadata Driven Warehouse), que \u00e9 um configurador de gr\u00e1ficos, destinado a ajudar nas tarefas t\u00edpicas de preenchimento de armaz\u00e9ns de dados ou data vaults.<\/p>\n
Ele cont\u00e9m parseadores de metadados personalizados (espec\u00edficos do projeto) e geradores de c\u00f3digo prontos para uso.<\/p>\n
Nos casos do Hive e RDBMS, s\u00e3o gerados grafos distintos para a atualiza\u00e7\u00e3o inicial e incremental dos dados.<\/p>\n
No caso do Hive, os dados recebidos do delta s\u00e3o unidos por meio do Ab Initio Join com os dados que estavam na tabela antes da atualiza\u00e7\u00e3o. Os carregadores de dados no MDW (tanto no Hive quanto no RDBMS) n\u00e3o apenas inserem novos dados do delta, mas tamb\u00e9m fecham os per\u00edodos de validade dos dados cujas chaves prim\u00e1rias receberam o delta. Al\u00e9m disso, \u00e9 necess\u00e1rio reescrever a parte inalterada dos dados. Contudo, isso \u00e9 necess\u00e1rio, pois o Hive n\u00e3o possui opera\u00e7\u00f5es de delete ou update.<\/p>\n
Assim, chegamos \u00e0 conclus\u00e3o de que, no caso do Hive, o MDW deve optar por reescrever toda a tabela, pois o Hive n\u00e3o tem a fun\u00e7\u00e3o de atualiza\u00e7\u00e3o. E nada melhor que uma reescrita completa dos dados ao realizar uma atualiza\u00e7\u00e3o. No caso do RDBMS, ao contr\u00e1rio, os criadores do produto acharam necess\u00e1rio confiar \u00e0 utiliza\u00e7\u00e3o do SQL a jun\u00e7\u00e3o e atualiza\u00e7\u00e3o das tabelas.<\/p>\n
Para o projeto no Sberbank, criamos uma nova implementa\u00e7\u00e3o reutiliz\u00e1vel do carregador de banco de dados para GreenPlum. Isso foi feito com base na vers\u00e3o que o MDW gera para Teradata. Foi a Teradata, e n\u00e3o a Oracle, que se mostrou mais adequada, pois tamb\u00e9m \u00e9 um sistema MPP. As formas de opera\u00e7\u00e3o, assim como a sintaxe da Teradata e do GreenPlum, acabaram sendo semelhantes.<\/p>\n
Exemplos de diferen\u00e7as cr\u00edticas para o MDW entre diferentes RDBMS s\u00e3o os seguintes. No GreenPlum, ao contr\u00e1rio da Teradata, ao criar tabelas \u00e9 necess\u00e1rio escrever a cl\u00e1usula<\/p>\n
distributed by<\/code><\/pre>\n\nNa Teradata escreve-se<\/p>\n
delete <table> all<\/code><\/pre>\n\n, enquanto no GreenPlum escreve-se<\/p>\n
deletar de <table><\/code><\/pre>\n\nNa Oracle, para otimiza\u00e7\u00e3o, escreve-se<\/p>\n
delete from t where rowid in ()<\/code><\/pre>\n\n, enquanto na Teradata e no GreenPlum escreve-se<\/p>\n
delete from t where exists (select * from delta where delta.pk=t.pk)<\/code><\/pre>\n\nVale ressaltar que, para o funcionamento do Ab Initio com o GreenPlum, foi necess\u00e1rio instalar o cliente GreenPlum em todos os n\u00f3s do cluster Ab Initio. Isso se deve ao fato de que nos conectamos ao GreenPlum simultaneamente de todos os n\u00f3s do nosso cluster. E, para que a leitura do GreenPlum fosse paralela e cada fluxo paralelo do Ab Initio lesse sua parte dos dados do GreenPlum, foi necess\u00e1rio colocar na se\u00e7\u00e3o \"where\" das consultas SQL uma constru\u00e7\u00e3o compreens\u00edvel ao Ab Initio<\/p>\n
where ABLOCAL()<\/code><\/pre>\n\ne definir o valor dessa constru\u00e7\u00e3o, especificando para a transforma\u00e7\u00e3o que l\u00ea do banco de dados o par\u00e2metro<\/p>\n
ablocal_expr=\u00abstring_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))\u00bb<\/code><\/pre>\n\n, que \u00e9 compilada em algo como<\/p>\n
mod(sk,10)=3<\/code><\/pre>\n\n, ou seja, \u00e9 preciso sugerir ao GreenPlum um filtro expl\u00edcito para cada parti\u00e7\u00e3o. Para outros bancos de dados (Teradata, Oracle), o Ab Initio pode realizar essa paraleliza\u00e7\u00e3o automaticamente.<\/p>\n
Caracter\u00edsticas comparativas de desempenho do Ab Initio em rela\u00e7\u00e3o ao Hive e GreenPlum<\/h3>\n \nNo Sberbank, foi realizado um experimento comparando o desempenho dos gr\u00e1ficos gerados pelo MDW em rela\u00e7\u00e3o ao Hive e ao GreenPlum. No \u00e2mbito do experimento, no caso do Hive havia 5 n\u00f3s no mesmo cluster que o Ab Initio, enquanto no caso do GreenPlum havia 4 n\u00f3s em um cluster separado. Ou seja, o Hive teve certa vantagem sobre o GreenPlum \"em termos de hardware\".<\/p>\n
Foram consideradas duas pares de gr\u00e1ficos realizando a mesma tarefa de atualiza\u00e7\u00e3o de dados no Hive e no GreenPlum. A execu\u00e7\u00e3o dos gr\u00e1ficos foi feita com os gerados pelo configurador MDW:<\/p>\n
\ncarregamento inicial + carregamento incremental de dados aleat\u00f3rios na tabela Hive<\/li>\n carregamento inicial + carregamento incremental de dados aleat\u00f3rios na mesma tabela do GreenPlum<\/li>\n<\/ul>\n\nEm ambos os casos (Hive e GreenPlum), foram realizados carregamentos em 10 fluxos paralelos no mesmo cluster Ab Initio. Os dados intermedi\u00e1rios para os c\u00e1lculos do Ab Initio foram armazenados no HDFS (nos termos do Ab Initio, foi utilizado MFS layout usando HDFS). Uma linha de dados gerados aleatoriamente ocupou 200 bytes em ambos os casos.<\/p>\n
O resultado foi o seguinte:<\/p>\n
Hive:<\/b><\/p>\n
Carga inicial no Hive<\/b><\/p>\n
Linhas inseridas
Dura\u00e7\u00e3o da carga inicial
Carga incremental no Hive<\/b><\/p>\n
N\u00famero de linhas na
N\u00famero de linhas de delta aplicadas \u00e0
Dura\u00e7\u00e3o da carga incremental2 541<\/b><\/p>\n
\nGreenPlum:<\/b><\/p>\n
Carga inicial no GreenPlum<\/b><\/p>\n
Linhas inseridas
Dura\u00e7\u00e3o da carga inicial
Carga incremental no GreenPlum<\/b><\/p>\n
N\u00famero de linhas na
N\u00famero de linhas de delta aplicadas \u00e0
Dura\u00e7\u00e3o da carga incremental321<\/b><\/p>\n
\nObservamos que a velocidade da carga inicial, tanto no Hive quanto no GreenPlum, depende linearmente do volume de dados e, devido ao melhor hardware, \u00e9 um pouco mais r\u00e1pida para o Hive do que para o GreenPlum.<\/p>\n
A carga incremental no Hive tamb\u00e9m depende linearmente do volume de dados anteriormente carregados na tabela alvo e ocorre de forma bastante lenta com o aumento do volume. Isso se deve \u00e0 necessidade de reescrever completamente a tabela alvo. Isso significa que a aplica\u00e7\u00e3o de pequenas altera\u00e7\u00f5es em enormes tabelas n\u00e3o \u00e9 uma boa op\u00e7\u00e3o de uso para o Hive.<\/p>\n
Por outro lado, a carga incremental no GreenPlum depende pouco do volume de dados anteriormente carregados na tabela alvo e ocorre de forma bastante r\u00e1pida. Isso se deve \u00e0s SQL Joins e \u00e0 arquitetura do GreenPlum, que permite a opera\u00e7\u00e3o de delete.<\/p>\n
Assim, o GreenPlum injeta o delta usando delete+insert, enquanto no Hive n\u00e3o h\u00e1 opera\u00e7\u00f5es de delete ou update, portanto, todo o conjunto de dados teve que ser reescrito completamente durante a atualiza\u00e7\u00e3o incremental. A compara\u00e7\u00e3o das c\u00e9lulas em negrito \u00e9 bastante indicativa, pois corresponde \u00e0 op\u00e7\u00e3o mais comum de utiliza\u00e7\u00e3o de carregamentos intensivos em recursos. Vemos que o GreenPlum venceu o Hive neste teste por 8 vezes.<\/p>\n
Funcionamento do Ab Initio com GreenPlum em modo Near Real Time<\/h3>\n \nNeste experimento, vamos verificar a capacidade do Ab Initio de atualizar a tabela GreenPlum com por\u00e7\u00f5es de dados geradas aleatoriamente em um modo pr\u00f3ximo ao tempo real. Vamos considerar a tabela GreenPlum dev42_1_db_usl.TESTING_SUBJ_org_finval, com a qual iremos trabalhar.<\/p>\n
Vamos usar tr\u00eas gr\u00e1ficos do Ab Initio para trabalhar com ela:<\/p>\n
1) Gr\u00e1fico Create_test_data.mp \u2013 cria arquivos de dados no HDFS com 6.000.000 linhas em 10 fluxos paralelos. Os dados s\u00e3o aleat\u00f3rios e sua estrutura \u00e9 organizada para inser\u00e7\u00e3o em nossa tabela.<\/p>\n
\ngerar 6.000.000 linhas de teste.<\/li>\n realizar a carga inicial, inserindo 6.000.000 linhas de teste em uma tabela vazia.<\/li>\n repetir 5 vezes a carga incremental.\n\ngerar 6.000.000 linhas de teste.<\/li>\n realizar a inser\u00e7\u00e3o incremental de 6.000.000 linhas de teste na tabela (nesse caso, os dados antigos recebem um timestamp de expira\u00e7\u00e3o valid_to_ts e dados mais novos s\u00e3o inseridos com a mesma chave prim\u00e1ria).<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\nEsse cen\u00e1rio emula o funcionamento real de um sistema de neg\u00f3cios \u2013 uma quantidade significativa de novos dados aparece em tempo real e \u00e9 imediatamente incorporada ao GreenPlum.<\/p>\n
Agora vamos verificar o log de execu\u00e7\u00e3o do cen\u00e1rio:<\/p>\n
Iniciar Create_test_data.input.pset em 2020-06-04 11:49:11
A imagem \u00e9 a seguinte:<\/p>\n
Gr\u00e1fico
Create_test_data.input.pset
mdw_load.day_one.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
\nObservamos que 6.000.000 linhas de incremento s\u00e3o processadas em 3 minutos, o que \u00e9 bastante r\u00e1pido.
select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;<\/code><\/pre>\n\n
Conclus\u00e3o<\/h2>\n \nAtualmente, o Ab Initio \u00e9 utilizado no Sberbank para construir uma Camada Sem\u00e2ntica \u00danica de Dados (ECA). Este projeto implica a constru\u00e7\u00e3o de uma vers\u00e3o \u00fanica do estado de v\u00e1rias entidades de neg\u00f3cios banc\u00e1rios. A informa\u00e7\u00e3o vem de v\u00e1rias fontes, cujas r\u00e9plicas s\u00e3o preparadas no Hadoop. De acordo com as necessidades do neg\u00f3cio, um modelo de dados \u00e9 preparado e as transforma\u00e7\u00f5es de dados s\u00e3o descritas. O Ab Initio carrega informa\u00e7\u00f5es na ECA e os dados carregados n\u00e3o apenas s\u00e3o de interesse para o neg\u00f3cio em si, mas tamb\u00e9m servem de fonte para a constru\u00e7\u00e3o de vitrines de dados. O funcionalidade do produto permite usar diferentes sistemas como receptores (Hive, Greenplum, Teradata, Oracle), o que possibilita preparar os dados para o neg\u00f3cio em v\u00e1rios formatos necess\u00e1rios sem grandes esfor\u00e7os.<\/p>\n
As capacidades do Ab Initio s\u00e3o amplas; por exemplo, a estrutura MDW proporciona a possibilidade de construir a historicidade t\u00e9cnica e de neg\u00f3cios dos dados \"pronta para uso\". Para os desenvolvedores, o Ab Initio possibilita \"n\u00e3o inventar a roda\", mas sim utilizar uma infinidade de componentes funcionais dispon\u00edveis, que s\u00e3o essencialmente bibliotecas necess\u00e1rias para trabalhar com dados.<\/p>\n
Autor \u2014 especialista da comunidade profissional Sberbank SberProfi DWH\/BigData. A comunidade profissional SberProfi DWH\/BigData \u00e9 respons\u00e1vel pelo desenvolvimento de compet\u00eancias em \u00e1reas como ecossistema Hadoop, Teradata, Oracle DB, GreenPlum, al\u00e9m de ferramentas BI como Qlik, SAP BO, Tableau e outras.<\/p><\/blockquote>\n
Fonte: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0432\u0441\u0442\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u0432\u044b\u0431\u043e\u0440\u0430 ETL-\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 BigData. \u0420\u0430\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0435\u0435\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435 Informatica BDM \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u043e \u043d\u0430\u0441 \u0438\u0437-\u0437\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0451 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u0435\u043b\u043e\u0441\u044c \u043a \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0443 \u043f\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434 spark-submit. \u041d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438\u043c\u0435\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432, \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c. […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":87610,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-87609","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t