server<\/a>, s\u00e5vel som i HDFS.<\/p>\nI hver transformation baseret p\u00e5 standard skabelon kan man oprette sit eget script i PDL-sproget, som minder lidt om shell. <\/p>\n
Med PDL-sproget kan du udvide funktionaliteten af transformationer og specifikt generere vilk\u00e5rlige kodefragmenter dynamisk (under k\u00f8rsel) afh\u00e6ngig af runtime-parameterne.<\/p>\n
Derudover er integrationen med OS gennem shell godt udviklet i Ab Initio. Specifikt i Sberbank anvendes linux ksh. Man kan udveksle variabler med shell og bruge dem som parameter i grafen. Man kan ogs\u00e5 kalde udf\u00f8relsen af Ab Initio-grafen fra shell og administrere Ab Initio.<\/p>\n
Udover Ab Initio GDE leveres mange andre produkter. Der er eget Co>Operation System, der h\u00e6vder at v\u00e6re et operativsystem. Der er Control>Center, hvor man kan planl\u00e6gge og overv\u00e5ge indl\u00e6sningsstr\u00f8mme. Der er produkter til udvikling p\u00e5 et mere primitivt niveau end hvad Ab Initio GDE tillader.<\/p>\n
Beskrivelse af MDW-frameworket og arbejdet med dens tilpasning til GreenPlum<\/h3>\n \nSammen med sine produkter leverer leverand\u00f8ren produktet MDW (Metadata Driven Warehouse), som er en konfigureringsv\u00e6rkt\u00f8j til grafer designet til at hj\u00e6lpe med typiske opgaver i datalagring eller data vaults.<\/p>\n
Det indeholder brugerdefinerede (projektspecifikke) metadata-parsere og f\u00e6rdige kodegeneratorer \u201cout of the box\u201d.<\/p>\n
I tilf\u00e6lde af Hive og RDBMS genereres forskellige grafer til indledende og inkrementel opdatering af data.<\/p>\n
I tilf\u00e6lde af Hive kombineres de modtagne delta-data med de data, der allerede var i tabellen f\u00f8r opdateringen, ved hj\u00e6lp af Ab Initio Join. Dataopladere i MDW (b\u00e5de i Hive og RDBMS) inds\u00e6tter ikke kun de nye data fra deltaen, men afslutter ogs\u00e5 datavaliditetsperioderne for de prim\u00e6re n\u00f8gler, som deltaen kom ind for. Desuden skal den u\u00e6ndrede del af dataene skrives om igen. Men det er n\u00f8dvendigt, da Hive ikke har delete- eller update-operationer.<\/p>\n
Dermed konkluderede vi, at i tilf\u00e6lde af Hive skal MDW g\u00e5 ind for at omskrive hele tabellen, fordi Hive ikke har opdateringsfunktion. Der er ikke noget bedre end at omskrive dataene helt ved opdatering. I tilf\u00e6lde af RDBMS ans\u00e5 produktudviklerne dog for n\u00f8dvendigt at overlade forbindelsen og opdateringen af tabellerne til brugen af SQL.<\/p>\n
For the Sberbank project, we created a new reusable implementation of a database loader for GreenPlum. This was based on the version generated by MDW for Teradata. It was Teradata, not Oracle, that was more suitable and closer in nature as it is also an MPP system. The working methods and syntax of Teradata and GreenPlum turned out to be similar.<\/p>\n
Examples of critical differences for MDW between different RDBMS are as follows. In GreenPlum, unlike Teradata, when creating tables, one needs to write a clause<\/p>\n
distributed by<\/code><\/pre>\n\nIn Teradata, one writes<\/p>\n
slet <table> alle<\/code><\/pre>\n\n, while in GreenPlum, one writes<\/p>\n
slet fra <table><\/code><\/pre>\n\nIn Oracle, for optimization purposes, one writes<\/p>\n
delete from t where rowid in ()<\/code><\/pre>\n\n, while in Teradata and GreenPlum, one writes<\/p>\n
delete from t where exists (select * from delta where delta.pk=t.pk)<\/code><\/pre>\n\nIt should also be noted that for Ab Initio to work with GreenPlum, the GreenPlum client had to be installed on all nodes of the Ab Initio cluster. This is because we connected to GreenPlum simultaneously from all nodes of our cluster. To ensure that reading from GreenPlum was parallel and each parallel Ab Initio stream read its portion of data from GreenPlum, it was necessary to include an Ab Initio-recognizable construct in the \"where\" section of the SQL queries<\/p>\n
where ABLOCAL()<\/code><\/pre>\n\nand define the value of this construct by specifying the parameter for the transformation reading from the DB<\/p>\n
ablocal_expr=\u00abstring_concat("mod(t.", string_filter_out("{$TABLE_KEY}", "{}"), ",", (decimal(3))(number_of_partitions()), ")=", (decimal(3))(this_partition()))\u00bb<\/code><\/pre>\n\n, which compiles into something like<\/p>\n
mod(sk,10)=3<\/code><\/pre>\n\n, i.e., it is necessary to provide GreenPlum an explicit filter for each partition. For other databases (Teradata, Oracle), Ab Initio can perform this parallelization automatically.<\/p>\n
Sammenlignende karakteristika for ydelsen af Ab Initio ved arbejde med Hive og GreenPlum<\/h3>\n \nAn experiment was conducted at Sberbank to compare the performance of the generated MDW graphs for Hive and GreenPlum. In this experiment, there were 5 nodes for Hive on the same cluster as Ab Initio, while GreenPlum had 4 nodes on a separate cluster. Hence, Hive had some advantage over GreenPlum in terms of hardware.<\/p>\n
Two pairs of graphs were examined, performing the same data update task in Hive and GreenPlum. The graphs generated by the MDW configurator were run:<\/p>\n
\ninitial load + incremental loading of randomly generated data into the Hive table<\/li>\n initial load + incremental loading of randomly generated data into the equivalent GreenPlum table<\/li>\n<\/ul>\n\nI begge tilf\u00e6lde (Hive og GreenPlum) k\u00f8rte vi indl\u00e6sninger i 10 parallelle str\u00f8mme p\u00e5 den samme Ab Initio-klynge. Mellemdata til beregningerne blev gemt i HDFS (i Ab Initio-termer blev der anvendt MFS layout using HDFS). En r\u00e6kke tilf\u00e6ldigt genererede data tog i begge tilf\u00e6lde 200 byte.<\/p>\n
Resultatet blev:<\/p>\n
Hive:<\/b><\/p>\n
Initieringsindl\u00e6sning i Hive<\/b><\/p>\n
Indsat r\u00e6kker
Varighed af initieringsindl\u00e6sning
Inkrementel indl\u00e6sning i Hive<\/b><\/p>\n
Antal r\u00e6kker, der var i
Antal delta r\u00e6kker, der blev anvendt p\u00e5
Varighed af den inkrementelle2 541<\/b><\/p>\n
\nGreenPlum:<\/b><\/p>\n
Initieringsindl\u00e6sning i GreenPlum<\/b><\/p>\n
Indsat r\u00e6kker
Varighed af initieringsindl\u00e6sning
Inkrementel indl\u00e6sning i GreenPlum<\/b><\/p>\n
Antal r\u00e6kker, der var i
Antal delta r\u00e6kker, der blev anvendt p\u00e5
Varighed af den inkrementelle321<\/b><\/p>\n
\nVi ser, at hastigheden af den initierende indl\u00e6sning b\u00e5de i Hive og i GreenPlum er linear afh\u00e6ngig af datam\u00e6ngden, og p\u00e5 grund af bedre hardware er den noget hurtigere for Hive end for GreenPlum.<\/p>\n
Den inkrementelle indl\u00e6sning i Hive er ogs\u00e5 linear afh\u00e6ngig af m\u00e6ngden af tidligere indl\u00e6ste data i den m\u00e5lrettede tabel og foreg\u00e5r ret langsomt med stigende m\u00e6ngde. Dette skyldes, at det er n\u00f8dvendigt at skrive den m\u00e5lrettede tabel helt om. Det betyder, at anvendelse af sm\u00e5 \u00e6ndringer i store tabeller \u2013 ikke er en s\u00e6rlig god brug for Hive.<\/p>\n
Den inkrementelle indl\u00e6sning i GreenPlum er derimod svagt afh\u00e6ngig af m\u00e6ngden af tidligere indl\u00e6ste data i den m\u00e5lrettede tabel og foreg\u00e5r ret hurtigt. Dette er muligt takket v\u00e6re SQL Joins og arkitekturen i GreenPlum, der tillader delete-operationer.<\/p>\n
S\u00e5ledes inds\u00e6tter GreenPlum deltaen ved hj\u00e6lp af delete+insert, mens Hive ikke har delete eller update-operationer, derfor var hele datas\u00e6ttet tvunget til at blive skrevet om ved inkrementel opdatering. Det mest sl\u00e5ende sammenligning er af de fremh\u00e6vede fed skuffer, da de svarer til den mest almindelige brug af ressourcekr\u00e6vende indl\u00e6sninger. Vi ser, at GreenPlum vandt over Hive i denne test med 8 gange.<\/p>\n
Ab Initios arbejde med GreenPlum i Near Real Time-tilstand<\/h3>\n \nI dette eksperiment vil vi teste, om Ab Initio kan udf\u00f8re en opdatering af GreenPlum-tabellen med tilf\u00e6ldigt genererede datam\u00e6ngder i en tilstand t\u00e6t p\u00e5 realtid. Lad os overveje tabellen GreenPlum dev42_1_db_usl.TESTING_SUBJ_org_finval, som arbejdet vil blive udf\u00f8rt med.<\/p>\n
Vi vil bruge tre Ab Initio-grafer til at arbejde med den:<\/p>\n
1) Graf Create_test_data.mp \u2013 opretter i 10 parallelle tr\u00e5de filer med data i HDFS med 6.000.000 r\u00e6kker. Dataene er tilf\u00e6ldige, deres struktur er organiseret til inds\u00e6ttelse i vores tabel.<\/p>\n
\ngenerere 6.000.000 testlinjer.<\/li>\n foretage den initiale indl\u00e6sning inds\u00e6tte 6.000.000 testlinjer i en tom tabel.<\/li>\n gentage den inkrementelle indl\u00e6sning 5 gange.\n\ngenerere 6.000.000 testlinjer.<\/li>\n foretage en inkrementel inds\u00e6ttelse af 6.000.000 testlinjer i tabellen (mens de gamle data f\u00e5r tildelt udl\u00f8bstidspunkt valid_to_ts, og nyere data med samme prim\u00e6re n\u00f8gle inds\u00e6ttes).<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\nDette scenarie emulerer tilstanden fra en virkelig forretningssystem \u2013 i realtid tilf\u00f8jes en betydelig m\u00e6ngde nye data og integreres straks i GreenPlum.<\/p>\n
Lad os nu se loggen for scenariets k\u00f8rsel:<\/p>\n
Start Create_test_data.input.pset den 2020-06-04 11:49:11.
Det ser s\u00e5ledes ud:<\/p>\n
Graf
Create_test_data.input.pset
mdw_load.day_one.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
\nVi ser, at 6.000.000 r\u00e6kker inkrementelt behandles p\u00e5 3 minutter, hvilket er ganske hurtigt.
select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;<\/code><\/pre>\n\n
Konklusion<\/h2>\n \nI \u00f8jeblikket anvendes Ab Initio i Sberbank til at opbygge et samlet semantisk datalag (ESS). Dette projekt involverer udviklingen af en samlet version af tilstanden for forskellige bankforretningsenheder. Oplysningerne kommer fra forskellige kilder, hvis replikaer forberedes p\u00e5 Hadoop. Baseret p\u00e5 forretningsbehovene udarbejdes en datamodel, og data transformations beskrives. Ab Initio indl\u00e6ser oplysninger i ESS, og de indl\u00e6ste data er ikke kun interessante for forretningen i sig selv, men ogs\u00e5 en kilde til opbygning af datavitriner. Produktets funktionalitet muligg\u00f8r brug af forskellige systemer (Hive, Greenplum, Teradata, Oracle) som modtager, hvilket g\u00f8r det muligt at forberede data til virksomheden i de forskellige formater, der er n\u00f8dvendige.<\/p>\n
Ab Initios muligheder er omfattende; for eksempel g\u00f8r den medf\u00f8lgende MDW-ramme det muligt at bygge teknisk og forretningshistorik af data 'out of the box'. For udviklere tilbyder Ab Initio muligheden for ikke at 'opfinde hjulet' igen, men at bruge mange eksisterende funktionelle komponenter, der i bund og grund er biblioteker, der er n\u00f8dvendige ved arbejde med data.<\/p>\n
Forfatteren er en ekspert i Sberbanks professionelle f\u00e6llesskab SberProfi DWH\/BigData. Det professionelle f\u00e6llesskab SberProfi DWH\/BigData er ansvarligt for udviklingen af kompetencer inden for omr\u00e5der som Hadoop-\u00f8kosystemet, Teradata, Oracle DB, GreenPlum, samt BI-v\u00e6rkt\u00f8jer som Qlik, SAP BO, Tableau osv.<\/p><\/blockquote>\n
Kilde: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0432\u0441\u0442\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u0432\u044b\u0431\u043e\u0440\u0430 ETL-\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 BigData. \u0420\u0430\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0435\u0435\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435 Informatica BDM \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u043e \u043d\u0430\u0441 \u0438\u0437-\u0437\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0451 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u0435\u043b\u043e\u0441\u044c \u043a \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0443 \u043f\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434 spark-submit. \u041d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438\u043c\u0435\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432, \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c. […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":87610,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-87609","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t