servidores<\/a>, como en HDFS.<\/p>\nEn cada transformaci\u00f3n basada en la plantilla por defecto se puede crear un script propio en el lenguaje PDL, que se asemeja un poco a shell. <\/p>\n
A trav\u00e9s del lenguaje PDL se pueden ampliar las funcionalidades de las transformaciones y, en particular, se pueden generar din\u00e1micamente (durante la ejecuci\u00f3n) fragmentos de c\u00f3digo arbitrarios en funci\u00f3n de los par\u00e1metros de tiempo de ejecuci\u00f3n.<\/p>\n
Adem\u00e1s, Ab Initio tiene una buena integraci\u00f3n con el sistema operativo a trav\u00e9s de shell. En particular, en Sberbank se utiliza linux ksh. Se pueden intercambiar variables con shell y usarlas como par\u00e1metros de los gr\u00e1ficos. Se puede invocar la ejecuci\u00f3n de gr\u00e1ficos de Ab Initio desde shell y administrar Ab Initio.<\/p>\n
Adem\u00e1s de Ab Initio GDE, se incluyen muchos otros productos en la entrega. Existe un sistema propio llamado Co>Operation System que pretende ser un sistema operativo. Hay Control>Center, donde se pueden programar y monitorear los flujos de carga. Existen productos para realizar desarrollo en un nivel m\u00e1s primitivo que lo que permite Ab Initio GDE.<\/p>\n
Descripci\u00f3n del marco MDW y el trabajo para su ajuste bajo GreenPlum.<\/h3>\n \nJunto con sus productos, el proveedor entrega el producto MDW (Metadata Driven Warehouse), que es un configurador de gr\u00e1ficos dise\u00f1ado para ayudar en tareas t\u00edpicas de llenado de almacenes de datos o data vaults.<\/p>\n
Contiene analizadores de metadatos personalizados (espec\u00edficos del proyecto) y generadores de c\u00f3digo listos para usar 'out of the box'.<\/p>\n
En los casos de Hive y RDBMS se generan gr\u00e1ficos diferentes para la actualizaci\u00f3n de datos inicial e incremental.<\/p>\n
En el caso de Hive, los datos delta recibidos se combinan mediante Ab Initio Join con los datos que estaban en la tabla antes de la actualizaci\u00f3n. Los cargadores de datos en MDW (tanto en Hive como en RDBMS) no solo insertan nuevos datos de la delta, sino que tambi\u00e9n cierran los per\u00edodos de validez de los datos, bas\u00e1ndose en las claves primarias de las cuales se recibi\u00f3 la delta. Adem\u00e1s, es necesario reescribir de nuevo la parte de los datos que no ha cambiado. Pero esto es necesario, ya que Hive no tiene operaciones de eliminaci\u00f3n o actualizaci\u00f3n.<\/p>\n
As\u00ed, llegamos a la conclusi\u00f3n de que en el caso de Hive, MDW debe optar por reescribir toda la tabla, porque Hive no tiene una funci\u00f3n de actualizaci\u00f3n. No se ha encontrado una mejor soluci\u00f3n que la reescritura total de los datos al actualizar. En el caso de RDBMS, por el contrario, los creadores del producto decidieron confiar la conexi\u00f3n y actualizaci\u00f3n de las tablas al uso de SQL.<\/p>\n
Para el proyecto en Sberbank, creamos una nueva implementaci\u00f3n reutilizable del cargador de bases de datos para GreenPlum. Esto se bas\u00f3 en la versi\u00f3n generada por MDW para Teradata. Teradata, y no Oracle, result\u00f3 ser la opci\u00f3n m\u00e1s adecuada, ya que tambi\u00e9n es un sistema MPP. Los m\u00e9todos de trabajo, as\u00ed como la sintaxis de Teradata y GreenPlum resultaron ser similares.<\/p>\n
Ejemplos de diferencias cr\u00edticas para MDW entre diferentes RDBMS son los siguientes. En GreenPlum, a diferencia de Teradata, al crear tablas es necesario escribir la cl\u00e1usula<\/p>\n
distributed by<\/code><\/pre>\n\nEn Teradata se escribe<\/p>\n
delete <table> todo<\/code><\/pre>\n\n, mientras que en GreenPlum se escribe<\/p>\n
eliminar de <table><\/code><\/pre>\n\nEn Oracle, para optimizaci\u00f3n se escribe<\/p>\n
delete from t where rowid in ()<\/code><\/pre>\n\n, mientras que en Teradata y GreenPlum se escribe<\/p>\n
delete from t where exists (select * from delta where delta.pk=t.pk)<\/code><\/pre>\n\nAdem\u00e1s, cabe se\u00f1alar que para el funcionamiento de Ab Initio con GreenPlum fue necesario instalar el cliente de GreenPlum en todos los nodos del cl\u00faster de Ab Initio. Esto se debe a que nos conectamos a GreenPlum simult\u00e1neamente desde todos los nodos de nuestro cl\u00faster. Para que la lectura desde GreenPlum fuera paralela y cada hilo paralelo de Ab Initio leyera su porci\u00f3n de datos desde GreenPlum, tuvimos que incluir en la secci\u00f3n \u00abwhere\u00bb de las consultas SQL una construcci\u00f3n que Ab Initio entiende<\/p>\n
where ABLOCAL()<\/code><\/pre>\n\ny definir el valor de esta construcci\u00f3n, especificando al transformador que lee de la base de datos el par\u00e1metro<\/p>\n
ablocal_expr=\u00abstring_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))\u00bb<\/code><\/pre>\n\n, que se compila en algo como<\/p>\n
mod(sk,10)=3<\/code><\/pre>\n\n, por lo que se tiene que indicar a GreenPlum un filtro expl\u00edcito para cada partici\u00f3n. Para otras bases de datos (Teradata, Oracle), Ab Initio puede realizar esta paralelizaci\u00f3n autom\u00e1ticamente.<\/p>\n
Caracter\u00edsticas comparativas del rendimiento de Ab Initio en su trabajo con Hive y GreenPlum.<\/h3>\n \nEn Sberbank se realiz\u00f3 un experimento para comparar el rendimiento de los gr\u00e1ficos generados por MDW en relaci\u00f3n con Hive y GreenPlum. En el marco del experimento, en el caso de Hive hab\u00eda 5 nodos en el mismo cl\u00faster que Ab Initio, mientras que en el caso de GreenPlum hab\u00eda 4 nodos en un cl\u00faster separado. Es decir, Hive ten\u00eda cierta ventaja sobre GreenPlum en t\u00e9rminos de hardware.<\/p>\n
Se consideraron dos pares de gr\u00e1ficos que realizan la misma tarea de actualizaci\u00f3n de datos en Hive y en GreenPlum. Se ejecutaron gr\u00e1ficos generados por el configurador de MDW:<\/p>\n
\ncarga inicial + carga incremental de datos generados aleatoriamente en la tabla de Hive<\/li>\n carga inicial + carga incremental de datos generados aleatoriamente en una tabla equivalente de GreenPlum<\/li>\n<\/ul>\n\nEn ambos casos (Hive y GreenPlum), se ejecutaron cargas en 10 flujos paralelos en el mismo cl\u00faster de Ab Initio. Los datos intermedios para los c\u00e1lculos de Ab Initio se almacenaron en HDFS (en t\u00e9rminos de Ab Initio se utiliz\u00f3 el dise\u00f1o MFS usando HDFS). Una l\u00ednea de datos generados aleatoriamente ocupaba en ambos casos 200 bytes.<\/p>\n
El resultado fue el siguiente:<\/p>\n
Hive:<\/b><\/p>\n
Carga inicial en Hive<\/b><\/p>\n
Filas insertadas
Duraci\u00f3n de la carga inicial
Carga incremental en Hive<\/b><\/p>\n
Cantidad de filas que hab\u00eda en la
N\u00famero de filas delta aplicadas a
Duraci\u00f3n de la carga incremental2 541<\/b><\/p>\n
\nGreenPlum:<\/b><\/p>\n
Carga inicial en GreenPlum<\/b><\/p>\n
Filas insertadas
Duraci\u00f3n de la carga inicial
Carga incremental en GreenPlum<\/b><\/p>\n
Cantidad de filas que hab\u00eda en la
N\u00famero de filas delta aplicadas a
Duraci\u00f3n de la carga incremental321<\/b><\/p>\n
\nObservamos que la velocidad de la carga inicial, tanto en Hive como en GreenPlum, depende linealmente del volumen de datos y, debido a un mejor hardware, es un poco m\u00e1s r\u00e1pida en Hive que en GreenPlum.<\/p>\n
La carga incremental en Hive tambi\u00e9n depende linealmente del volumen de los datos previamente cargados en la tabla de destino y se lleva a cabo de manera bastante lenta a medida que crece el volumen. Esto se debe a la necesidad de reescribir completamente la tabla de destino. Esto significa que aplicar peque\u00f1os cambios a tablas enormes no es una buena opci\u00f3n de uso para Hive.<\/p>\n
En cambio, la carga incremental en GreenPlum tiene una baja dependencia del volumen de los datos previamente cargados en la tabla de destino y se lleva a cabo bastante r\u00e1pido. Esto se logr\u00f3 gracias a los SQL Joins y a la arquitectura de GreenPlum, que permite la operaci\u00f3n de eliminaci\u00f3n.<\/p>\n
As\u00ed que, GreenPlum inserta el delta mediante delete+insert, mientras que en Hive no hay operaciones de delete o update, por lo que todo el conjunto de datos durante la actualizaci\u00f3n incremental tuvo que reescribirse completamente. Lo m\u00e1s notable es la comparaci\u00f3n de las celdas en negrita, ya que corresponde al uso m\u00e1s frecuente de cargas intensivas en recursos. Vemos que GreenPlum gan\u00f3 a Hive en esta prueba por un factor de 8.<\/p>\n
Funcionamiento de Ab Initio con GreenPlum en modo Near Real Time.<\/h3>\n \nEn este experimento, verificaremos la capacidad de Ab Initio para actualizar la tabla de GreenPlum con porciones de datos generadas aleatoriamente en un modo cercano al tiempo real. Consideraremos la tabla GreenPlum dev42_1_db_usl.TESTING_SUBJ_org_finval, con la que se trabajar\u00e1.<\/p>\n
Usaremos tres gr\u00e1ficos de Ab Initio para trabajar con ella:<\/p>\n
1) Gr\u00e1fico Create_test_data.mp - crea 10 flujos paralelos de archivos con datos en HDFS con 6,000,000 filas. Los datos son aleatorios, su estructura est\u00e1 organizada para insertarse en nuestra tabla.<\/p>\n
\ngenerar 6,000,000 filas de prueba.<\/li>\n realizar la carga inicial e insertar 6,000,000 filas de prueba en una tabla vac\u00eda.<\/li>\n repetir 5 veces la carga incremental.\n\ngenerar 6,000,000 filas de prueba.<\/li>\n realizar la inserci\u00f3n incremental de 6,000,000 filas de prueba en la tabla (los datos antiguos se les asigna un tiempo de expiraci\u00f3n valid_to_ts y se insertan datos m\u00e1s recientes con la misma clave primaria).<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\nEste escenario emula el modo de operaci\u00f3n real de un sistema empresarial: en tiempo real, se presenta un volumen significativo de nuevos datos y se inyecta inmediatamente en GreenPlum.<\/p>\n
Ahora veamos el registro de ejecuci\u00f3n del escenario:<\/p>\n
Iniciar Create_test_data.input.pset a las 2020-06-04 11:49:11.
Se observa la siguiente imagen:<\/p>\n
Gr\u00e1fico
Create_test_data.input.pset
mdw_load.day_one.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
\nVemos que 6,000,000 filas del incremento se procesan en 3 minutos, lo cual es bastante r\u00e1pido.
select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;<\/code><\/pre>\n\n
Conclusi\u00f3n<\/h2>\n \nActualmente, Ab Initio se utiliza en Sberbank para construir la Capa Sem\u00e1ntica de Datos Unificada (CSDU). Este proyecto implica la creaci\u00f3n de una versi\u00f3n \u00fanica del estado de diversas entidades comerciales del banco. La informaci\u00f3n proviene de diferentes fuentes, cuyas r\u00e9plicas se preparan en Hadoop. Seg\u00fan las necesidades del negocio, se elabora un modelo de datos y se describen las transformaciones de datos. Ab Initio carga la informaci\u00f3n en la CSDU y los datos cargados no solo son de inter\u00e9s para el negocio en s\u00ed, sino que tambi\u00e9n sirven como fuente para construir vistas de datos. Adem\u00e1s, la funcionalidad del producto permite usar diferentes sistemas como receptores (Hive, Greenplum, Teradata, Oracle), lo que permite preparar datos para el negocio en varios formatos que necesita.<\/p>\n
Las capacidades de Ab Initio son amplias, por ejemplo, el marco MDW que se adjunta permite construir la trazabilidad t\u00e9cnica y empresarial de los datos 'fuera de la caja'. Para los desarrolladores, Ab Initio ofrece la posibilidad de 'no reinventar la rueda', sino de utilizar numerosos componentes funcionales existentes, que son esencialmente bibliotecas necesarias para trabajar con datos.<\/p>\n
Autor: experto de la comunidad profesional de Sberbank SberProfi DWH\/BIG Data. La comunidad profesional SberProfi DWH\/BIG Data es responsable del desarrollo de competencias en \u00e1reas como el ecosistema Hadoop, Teradata, Oracle DB, GreenPlum, as\u00ed como en herramientas BI como Qlik, SAP BO, Tableau, entre otras.<\/p><\/blockquote>\n
Fuente: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0432\u0441\u0442\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u0432\u044b\u0431\u043e\u0440\u0430 ETL-\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 BigData. \u0420\u0430\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0435\u0435\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435 Informatica BDM \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u043e \u043d\u0430\u0441 \u0438\u0437-\u0437\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0451 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u0435\u043b\u043e\u0441\u044c \u043a \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0443 \u043f\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434 spark-submit. \u041d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438\u043c\u0435\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432, \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c. […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":87610,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-87609","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t