servern<\/a>, eller i HDFS.<\/p>\nI varje transformation baserad p\u00e5 en standardmall kan man skapa sitt eget skript p\u00e5 PDL-spr\u00e5ket, som p\u00e5minner lite om shell. <\/p>\n
Med hj\u00e4lp av PDL-spr\u00e5ket kan du ut\u00f6ka funktionaliteten f\u00f6r transformationerna och specifikt kan du dynamiskt (under k\u00f6rning) generera godtyckliga kodfragment beroende p\u00e5 k\u00f6rningsparametrarna.<\/p>\n
Ab Initio har ocks\u00e5 bra integration med operativsystemet via shell. Specifikt anv\u00e4nds linux ksh p\u00e5 Sberbank. Man kan utbyta variabler med shell och anv\u00e4nda dem som parametrar f\u00f6r grafer. Man kan anropa k\u00f6rningen av Ab Initio-grafen fr\u00e5n shell och administrera Ab Initio.<\/p>\n
F\u00f6rutom Ab Initio GDE levereras m\u00e5nga andra produkter. Det finns sin egen Co>Operation System som g\u00f6r anspr\u00e5k p\u00e5 att vara ett operativsystem. Det finns Control>Center, d\u00e4r man kan schemal\u00e4gga och \u00f6vervaka laddningsfl\u00f6den. Det finns produkter f\u00f6r att utf\u00f6ra utveckling p\u00e5 en mer primitiv niv\u00e5 \u00e4n vad Ab Initio GDE till\u00e5ter.<\/p>\n
Beskrivning av ramverket MDW och arbeten med dess anpassning f\u00f6r GreenPlum<\/h3>\n \nTillsammans med sina produkter levererar leverant\u00f6ren produkten MDW (Metadata Driven Warehouse), som \u00e4r en grafkonfigurator avsedd att hj\u00e4lpa till med typiska uppgifter f\u00f6r att fylla datalager eller data vaults.<\/p>\n
Den inneh\u00e5ller anv\u00e4ndardefinierade (projektspecifika) metadata-parse och f\u00e4rdiga kodgeneratorer \u201cur l\u00e5dan\u201d.<\/p>\n
F\u00f6r Hive och RDBMS genereras olika grafer f\u00f6r initierande och inkrementell datauppdatering.<\/p>\n
I fallet med Hive s\u00e5 kopplas de inkommande delta-data ihop med data som fanns i tabellen innan uppdateringen genom Ab Initio Join. Datainladdare i MDW (b\u00e5de i Hive och RDBMS) injicerar inte bara nya data fr\u00e5n delta, utan st\u00e4nger ocks\u00e5 av perioder av datavaliditet baserat p\u00e5 de prim\u00e4ra nycklar som delta-data har kommit in via. Dessutom m\u00e5ste den of\u00f6r\u00e4ndrade datadelen skrivas om. Men detta \u00e4r n\u00f6dv\u00e4ndigt eftersom Hive inte har delete- eller update-operationer.<\/p>\n
D\u00e4rmed drar vi slutsatsen att n\u00e4r det g\u00e4ller Hive, s\u00e5 m\u00e5ste MDW g\u00e5 till att skriva om hela tabellen eftersom Hive inte har n\u00e5gon uppdateringsfunktion. Inga b\u00e4ttre metoder f\u00f6r full dataskrivning vid uppdatering har hittats. I fallet med RDBMS, d\u00e4remot, besl\u00f6t produktens skapare att \u00f6verl\u00e5ta ansvaret f\u00f6r koppling och uppdatering av tabeller till anv\u00e4ndningen av SQL.<\/p>\n
F\u00f6r projektet p\u00e5 Sberbank skapade vi en ny, \u00e5teranv\u00e4ndbar implementering av databasladdaren f\u00f6r GreenPlum. Detta baserades p\u00e5 den version som MDW genererar f\u00f6r Teradata. Just Teradata, inte Oracle, passade b\u00e4st och var n\u00e4rmast, eftersom det ocks\u00e5 \u00e4r ett MPP-system. Arbetsmetoder samt syntaxen f\u00f6r Teradata och GreenPlum visade sig vara liknande.<\/p>\n
Exempel p\u00e5 kritiska skillnader f\u00f6r MDW mellan olika RDBMS \u00e4r f\u00f6ljande. I GreenPlum, till skillnad fr\u00e5n Teradata, m\u00e5ste en klausul skrivas vid skapande av tabeller.<\/p>\n
distributed by<\/code><\/pre>\n\nI Teradata skriver man<\/p>\n
ta bort <table> all<\/code><\/pre>\n\n, medan i GreenPlum skriver man<\/p>\n
ta bort från <table><\/code><\/pre>\n\nI Oracle skriver man f\u00f6r att optimera<\/p>\n
delete from t where rowid in ()<\/code><\/pre>\n\n, medan i Teradata och GreenPlum skriver man<\/p>\n
delete from t where exists (select * from delta where delta.pk=t.pk)<\/code><\/pre>\n\nVi noterade ocks\u00e5 att f\u00f6r att Ab Initio skulle fungera med GreenPlum kr\u00e4vdes installation av GreenPlum-klienten p\u00e5 alla noder i Ab Initio-klustret. Detta berodde p\u00e5 att vi ansl\u00f6t oss till GreenPlum samtidigt fr\u00e5n alla noder i v\u00e5rt kluster. F\u00f6r att m\u00f6jligg\u00f6ra parallell l\u00e4sning fr\u00e5n GreenPlum, s\u00e5 att varje parallell str\u00f6m av Ab Initio skulle l\u00e4sa sin portion data fr\u00e5n GreenPlum, var vi tvungna att inf\u00f6ra en konstruktion som Ab Initio f\u00f6rst\u00e5r i sektionen \u00abwhere\u00bb i SQL-fr\u00e5gorna.<\/p>\n
where ABLOCAL()<\/code><\/pre>\n\noch definiera v\u00e4rdet av denna konstruktion genom att ange parameter f\u00f6r databasinl\u00e4sande transformationer<\/p>\n
ablocal_expr=\u00abstring_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))\u00bb<\/code><\/pre>\n\n, vilket kompileras till n\u00e5got liknande<\/p>\n
mod(sk,10)=3<\/code><\/pre>\n\n, det vill s\u00e4ga vi m\u00e5ste ge GreenPlum ett explicit filter f\u00f6r varje partition. F\u00f6r andra databaser (Teradata, Oracle) kan Ab Initio automatiskt utf\u00f6ra denna parallellisering.<\/p>\n
J\u00e4mf\u00f6rande prestandakarakteristika f\u00f6r Ab Initio i arbetet med Hive och GreenPlum<\/h3>\n \nP\u00e5 Sberbank genomf\u00f6rdes ett experiment f\u00f6r att j\u00e4mf\u00f6ra prestanda av de genererade MDW-grafarna i f\u00f6rh\u00e5llande till Hive och GreenPlum. Inom ramen f\u00f6r experimentet fanns det 5 noder f\u00f6r Hive i samma kluster som Ab Initio, medan det f\u00f6r GreenPlum fanns 4 noder p\u00e5 ett separat kluster. Det vill s\u00e4ga, Hive hade en viss f\u00f6rdel \u00f6ver GreenPlum vad g\u00e4ller h\u00e5rdvaran.<\/p>\n
Tv\u00e5 par grafar som utf\u00f6rde samma datauppdateringsuppgift i Hive och GreenPlum granskades. Dessa k\u00f6rdes med grafar som genererats av MDW-konfiguratorn:<\/p>\n
\ninitiell laddning + inkrementell laddning av slumpm\u00e4ssigt genererade data till en Hive-tabell<\/li>\n initiell laddning + inkrementell laddning av slumpm\u00e4ssigt genererade data till en liknande GreenPlum-tabell<\/li>\n<\/ul>\n\nI b\u00e5da fallen (Hive och GreenPlum) k\u00f6rdes dataladdningar i 10 parallella str\u00f6mmar p\u00e5 samma Ab Initio-kluster. Intermedi\u00e4ra data f\u00f6r ber\u00e4kningarna sparades i HDFS (i termer av Ab Initio anv\u00e4ndes MFS layout using HDFS). En rad slumpm\u00e4ssigt genererade data tog i b\u00e5da fallen 200 byte.<\/p>\n
Resultatet blev f\u00f6ljande:<\/p>\n
Hive:<\/b><\/p>\n
Initierande laddning i Hive<\/b><\/p>\n
Satts in rader
Varaktighet av den initierande
Inkrementell laddning i Hive<\/b><\/p>\n
Antal rader som fanns i
Antal delta-rader som till\u00e4mpades p\u00e5
Varaktighet av den inkrementella2 541<\/b><\/p>\n
\nGreenPlum:<\/b><\/p>\n
Initierande laddning i GreenPlum<\/b><\/p>\n
Satts in rader
Varaktighet av den initierande
Inkrementell laddning i GreenPlum<\/b><\/p>\n
Antal rader som fanns i
Antal delta-rader som till\u00e4mpades p\u00e5
Varaktighet av den inkrementella321<\/b><\/p>\n
\nVi ser att hastigheten p\u00e5 den initierande laddningen, b\u00e5de i Hive och GreenPlum, linj\u00e4rt beror p\u00e5 datam\u00e4ngden och p\u00e5 grund av b\u00e4ttre h\u00e5rdvara \u00e4r den n\u00e5got snabbare f\u00f6r Hive \u00e4n f\u00f6r GreenPlum.<\/p>\n
Den inkrementella laddningen i Hive beror ocks\u00e5 linj\u00e4rt p\u00e5 m\u00e4ngden tidigare inl\u00e4sta data i m\u00e5ltabellen och g\u00e5r ganska l\u00e5ngsamt i takt med att volymen \u00f6kar. Detta orsakas av behovet av att skriva om hela m\u00e5ltabellen. Det betyder att till\u00e4mpningen av sm\u00e5 f\u00f6r\u00e4ndringar p\u00e5 stora tabeller \u2013 inte \u00e4r ett s\u00e4rskilt bra anv\u00e4ndningsalternativ f\u00f6r Hive.<\/p>\n
Den inkrementella laddningen i GreenPlum beror svagt p\u00e5 m\u00e4ngden tidigare inl\u00e4sta data i m\u00e5ltabellen och g\u00e5r ganska snabbt. Detta beror p\u00e5 SQL Joins och GreenPlums arkitektur, som till\u00e5ter delete-operationer.<\/p>\n
S\u00e5ledes injicerar GreenPlum delta med delete+insert-metoden, medan det inte finns n\u00e5gra delete- eller update-operationer i Hive, vilket inneb\u00e4r att hela datam\u00e4ngden vid inkrementell uppdatering var tvungen att skrivas om helt. Det mest exempelaktiga j\u00e4mf\u00f6relsen av de fetmarkerade cellerna, eftersom de motsvarar det vanligaste anv\u00e4ndningsalternativet f\u00f6r resurskr\u00e4vande laddningar. Vi ser att GreenPlum vann \u00f6ver Hive i detta test med 8 g\u00e5nger.<\/p>\n
Arbete med Ab Initio och GreenPlum i Near Real Time-l\u00e4get<\/h3>\n \nI detta experiment kommer vi att unders\u00f6ka m\u00f6jligheten f\u00f6r Ab Initio att uppdatera GreenPlum-tabellen med slumpm\u00e4ssigt genererade datam\u00e4ngder i ett l\u00e4ge som \u00e4r n\u00e4ra realtidsbehandling. Vi kommer att titta p\u00e5 GreenPlum-tabellen dev42_1_db_usl.TESTING_SUBJ_org_finval, som kommer att arbete med.<\/p>\n
Vi kommer att anv\u00e4nda tre Ab Initio-grafer f\u00f6r att arbeta med den:<\/p>\n
1) Graf Create_test_data.mp \u2013 skapar i 10 parallella fl\u00f6den filer med data i HDFS med 6 000 000 rader. Data \u00e4r slumpm\u00e4ssiga, deras struktur \u00e4r organiserad f\u00f6r ins\u00e4ttning i v\u00e5r tabell.<\/p>\n
\ngenerera 6 000 000 testrader.<\/li>\n utf\u00f6ra initierande laddning och s\u00e4tta in 6 000 000 testrader i en tom tabell.<\/li>\n upprepa inkrementell laddning 5 g\u00e5nger.\n\ngenerera 6 000 000 testrader.<\/li>\n utf\u00f6ra inkrementell ins\u00e4ttning av 6 000 000 testrader i tabellen (vid detta tillf\u00e4lle s\u00e4tts gammal data med ett utg\u00e5ngsdatum valid_to_ts och mer f\u00e4rsk data med samma prim\u00e4ra nyckel s\u00e4tts in).<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\nDetta scenario emulerar l\u00e4get f\u00f6r verkligt arbete i ett aff\u00e4rssystem \u2013 en tillr\u00e4ckligt stor portion nya data dyker upp i realtid och fl\u00f6dar in i GreenPlum.<\/p>\n
Nu ser vi loggen f\u00f6r scenariets arbete:<\/p>\n
Starta Create_test_data.input.pset vid 2020-06-04 11:49:11.
Det ser ut s\u00e5 h\u00e4r:<\/p>\n
Diagram
Create_test_data.input.pset
mdw_load.day_one.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
\nVi ser att 6 000 000 rader av inkrementet behandlas p\u00e5 3 minuter, vilket \u00e4r ganska snabbt.
select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;<\/code><\/pre>\n\n
Slutsats<\/h2>\n \nF\u00f6r n\u00e4rvarande anv\u00e4nds Ab Initio p\u00e5 Sberbank f\u00f6r att bygga en enhetlig semantisk datalager (ESL). Detta projekt inneb\u00e4r att skapa en enhetlig version av tillst\u00e5ndet f\u00f6r olika bankaff\u00e4rsenheter. Informationen kommer fr\u00e5n olika k\u00e4llor, vars repliker f\u00f6rbereds p\u00e5 Hadoop. Beroende p\u00e5 aff\u00e4rens behov f\u00f6rbereds en datamodell och datatransformationer beskrivs. Ab Initio laddar informationen i ESL och de laddade uppgifterna \u00e4r inte bara av intresse f\u00f6r verksamheten i sig, utan fungerar ocks\u00e5 som k\u00e4lla f\u00f6r att bygga datavitriner. Samtidigt g\u00f6r produktens funktionalitet det m\u00f6jligt att anv\u00e4nda olika system som mottagare (Hive, Greenplum, Teradata, Oracle), vilket m\u00f6jligg\u00f6r att f\u00f6rbereda data f\u00f6r verksamheten i olika \u00f6nskade format utan st\u00f6rre anstr\u00e4ngning.<\/p>\n
M\u00f6jligheterna med Ab Initio \u00e4r omfattande, till exempel ger det medf\u00f6ljande MDW-ramverket m\u00f6jligheten att bygga teknisk och aff\u00e4rshistorik f\u00f6r data \"ur l\u00e5dan\". F\u00f6r utvecklare ger Ab Initio m\u00f6jligheten att \"inte uppfinna hjulet\", utan att anv\u00e4nda m\u00e5nga befintliga funktionella komponenter, som i grunden \u00e4r bibliotek som beh\u00f6vs vid arbete med data.<\/p>\n
F\u00f6rfattaren \u00e4r expert inom det professionella samfundet Sberbank SberProfi DWH\/BigData. Det professionella SberProfi DWH\/BigData-samh\u00e4llet ansvarar f\u00f6r utvecklingen av kompetenser inom omr\u00e5den som Hadoop-ekosystemet, Teradata, Oracle DB, GreenPlum samt BI-verktyg som Qlik, SAP BO, Tableau och andra.<\/p><\/blockquote>\n
K\u00e4lla: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0432\u0441\u0442\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u0432\u044b\u0431\u043e\u0440\u0430 ETL-\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 BigData. \u0420\u0430\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0435\u0435\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435 Informatica BDM \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u043e \u043d\u0430\u0441 \u0438\u0437-\u0437\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0451 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u0435\u043b\u043e\u0441\u044c \u043a \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0443 \u043f\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434 spark-submit. \u041d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438\u043c\u0435\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432, \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c. […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":87610,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-87609","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t