serverilt<\/a>, as well as in HDFS.<\/p>\nIn each transformation based on the default template, you can create your own script in the PDL language, which somewhat resembles shell scripting. <\/p>\n
With the help of the PDL language, you can extend transformation functionality and, in particular, dynamically (during execution) generate arbitrary code fragments depending on runtime parameters.<\/p>\n
Ab Initio also has well-developed integration with the OS through the shell. Specifically, Linux ksh is used at Sberbank. It is possible to exchange shell variables and use them as graph parameters. You can invoke the execution of Ab Initio graphs from the shell and manage Ab Initio.<\/p>\n
In addition to Ab Initio GDE, many other products are included in the delivery. There is its own Co>Operation System, which claims to be an operating system. There is Control>Center, where you can schedule and monitor load streams. There are products for development at a more primitive level than what Ab Initio GDE allows.<\/p>\n
MDW raamistik ja t\u00f6\u00f6d selle kohandamiseks GreenPlumiga<\/h3>\n \nAlong with its products, the vendor supplies the MDW (Metadata Driven Warehouse) product, which is a graph configurator designed to assist with typical tasks for filling data warehouses or data vaults.<\/p>\n
It contains user-specific (project-specific) metadata parsers and ready-made code generators 'out of the box.'<\/p>\n
Hive'i ja RDBMS'i puhul genereeritakse erinevad graafikud algatava ja inkrementaalse andmete uuendamise jaoks.<\/p>\n
Hive'i puhul \u00fchendatakse tulnud delta Ab Initio Join kaudu andmetega, mis olid tabelis enne uuendust. MDW andmepraktikud (nii Hive'is kui RDBMS'is) mitte ainult ei sisesta uusi andmeid deltast, vaid suletakse ka andmete kehtivuse perioodid, mille p\u00f5hjalikest v\u00f5tmetest delta saabus. Lisaks tuleb \u00fcle kirjutada muutumatud andmed. Kuid see on vajalik, kuna Hive'is ei ole kustutamise v\u00f5i uuendamise operatsioone.<\/p>\n
Nii oleme j\u00e4reldusele j\u00f5udnud, et Hive'i puhul peab MDW minema kogu tabeli \u00fcle kirjutamise juurde, kuna Hive'il ei ole uuendamise funktsiooni. Ja midagi paremat kui andmete t\u00e4ielik \u00fcmberkirjutamine uuendamise ajal ei ole v\u00f5imalik. RDBMS'i puhul otsustasid toote loojad vastupidi, et usaldada tabelite \u00fchendamine ja uuendamine SQL kasutamisele.<\/p>\n
Sberbanki projekti raames l\u00f5ime GreenPlumi jaoks uue korduvalt kasutatava andmebaasi laadija rakenduse. See p\u00f5hines versioonil, mille MDW genereerib Teradata jaoks. Just Teradata, mitte Oracle sobis selleks paremini ja oli k\u00f5ige l\u00e4hemal, kuna on samuti MPP-s\u00fcsteem. T\u00f6\u00f6meetodid ja Teradata ning GreenPlumi s\u00fcntaks osutusid sarnaseks.<\/p>\n
MDW jaoks kriitilised erinevused erinevate RDBMSide vahel on j\u00e4rgmised. GreenPlumis tuleb tabelite loomisel, erinevalt Teradatast, kirjutada klausli<\/p>\n
distributed by<\/code><\/pre>\n\nTeradataks kirjutatakse<\/p>\n
delete <table> all<\/code><\/pre>\n\n, samas kui GreenPlumis kirjutatakse<\/p>\n
kustuta <table><\/code><\/pre>\n\nOracle'is optimeerimise eesm\u00e4rgil kirjutatakse<\/p>\n
delete from t where rowid in ()<\/code><\/pre>\n\n, aga Teradatast ja GreenPlumist kirjutatakse<\/p>\n
delete from t where exists (select * from delta where delta.pk=t.pk)<\/code><\/pre>\n\nSamuti m\u00e4rgime, et Ab Initio t\u00f6\u00f6ks GreenPlumiga tuli GreenPlumi klient installida k\u00f5ikidele Ab Initio klastrite s\u00f5lmedele. See oli vajalik, kuna me \u00fchendasime GreenPlumiga samaaegselt k\u00f5ikidest meie klastrite s\u00f5lmedest. Ja et lugemine GreenPlumist oleks paralleelne ning iga Ab Initio paralleelne k\u00e4ik loeks oma andmepartiid GreenPlumist, tuli SQL-p\u00e4ringute \u201ewhere\u201d sektsiooni lisada Ab Initio m\u00f5istetav konstruktsioon<\/p>\n
where ABLOCAL()<\/code><\/pre>\n\nja m\u00e4\u00e4rata selle konstruktsiooni v\u00e4\u00e4rtus, osutades andmebaasist luges transformatsiooniparameeter<\/p>\n
ablocal_expr=\u00abstring_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))\u00bb<\/code><\/pre>\n\n, mis kompileeritakse millekski sarnaseks<\/p>\n
mod(sk,10)=3<\/code><\/pre>\n\n, st tuleb GreenPlumile anda selge filter iga partitsiooni jaoks. Muude andmebaaside (Teradata, Oracle) puhul v\u00f5ib Ab Initio seda paralleelse laadimise automaatselt teostada.<\/p>\n
V\u00f5rdlussiledused Ab Initio tootlikkuse kohta Hive'i ja GreenPlumiga t\u00f6\u00f6 tegemisel<\/h3>\n \nSberbankis viidi l\u00e4bi katse, et v\u00f5rrelda MDW graafide j\u00f5udlust Hive'i ja GreenPlumi vahel. Katse raames oli Hive puhul 5 s\u00f5lme samas klastris, kus Ab Initio, ja GreenPlumi puhul 4 s\u00f5lme eraldi klastris. See t\u00e4hendab, et Hive'il oli rohkelt eeliseid GreenPlumiga \"riistvara\" osas.<\/p>\n
K\u00e4sitleti kahte graafipaari, mis teostasid sama andmete uuendamise \u00fclesannet Hive'is ja GreenPlumis. Samal ajal k\u00e4ivitati MDW konfigureerija genereeritud graafid:<\/p>\n
\nalguslaadimine + juhuslikult genereeritud andmete inkrementaalne laadimine Hive tabelisse<\/li>\n alguslaadimine + juhuslikult genereeritud andmete inkrementaalne laadimine identse tabelisse GreenPlumis<\/li>\n<\/ul>\n\nM\u00f5lemal juhul (Hive ja GreenPlum) k\u00e4ivitasime laadimised 10 paralleelses voos \u00fchesuguses Ab Initio klastris. Vaheandmed Ab Initio arvutuste jaoks salvestati HDFS-sse (Ab Initio termini j\u00e4rgi kasutati MFS paigutust HDFS-i abil). \u00dcks juhuslikult genereeritud rida andmeid v\u00f5ttis m\u00f5lemal juhul 200 baiti.<\/p>\n
Tulemus oli j\u00e4rgmine:<\/p>\n
Hive:<\/b><\/p>\n
Hive'i alglaadimine<\/b><\/p>\n
Sisestatud ridu
Alglaadimise kestus
Hive'i inkremendiline laadimine<\/b><\/p>\n
Ridade arv, mis olid
Delta ridade arv, mis rakendati
Inkremendilise laadimise kestus2 541<\/b><\/p>\n
\nGreenPlum:<\/b><\/p>\n
GreenPlum'i alglaadimine<\/b><\/p>\n
Sisestatud ridu
Alglaadimise kestus
GreenPlum'i inkremendiline laadimine<\/b><\/p>\n
Ridade arv, mis olid
Delta ridade arv, mis rakendati
Inkremendilise laadimise kestus321<\/b><\/p>\n
\nN\u00e4eme, et alglaadimise kiirus nii Hive'is kui ka GreenPlum'is s\u00f5ltub lineaarselt andmete mahust ja t\u00e4nu paremale riistvarale on see Hive'is veidi kiirem kui GreenPlum'is.<\/p>\n
Hive'i inkremendiline laadimine s\u00f5ltub samuti lineaarselt sihtotstarbelises tabelis varasemalt laaditud andmete mahust ja toimub piisavalt aeglaselt mahu suurenedes. Seda p\u00f5hjustab vajalikus t\u00e4ielikult sihtotstarbelist tabelit \u00fcmber kirjutada. See t\u00e4hendab, et v\u00e4ikeste muudatuste rakendamine suurtes tabelites ei ole Hive'i jaoks kuigi hea kasutus.<\/p>\n
GreenPlum'i inkremendiline laadimine s\u00f5ltub n\u00f5rgalt sihtotstarbelises tabelis varasemalt laaditud andmete mahust ja toimub piisavalt kiiresti. See on v\u00f5imalik SQL Join'ide ja GreenPlum'i arhitektuuri t\u00f5ttu, mis lubab kustutamisoperatsiooni.<\/p>\n
Seega voolab GreenPlum delta kustutamis+lisamise meetodil, samas kui Hive'is pole kustutamis- ega uuendamisoperatsioone, mist\u00f5ttu pidi inkremendilise uuendamise k\u00e4igus kogu andmebaas t\u00e4ielikult \u00fcmber kirjutama. K\u00f5ige silmatorkavam on rasvases kirjas olevate lahtrite v\u00f5rdlemine, kuna see vastab k\u00f5ige tavalisemale ressursimahukate laadimiste kasutusvariandile. N\u00e4eme, et GreenPlum v\u00f5itis Hive'i selles testis 8 korda.<\/p>\n
Ab Initio t\u00f6\u00f6 Near Real Time re\u017eiimis GreenPlumiga<\/h3>\n \nSelles eksperimendis kontrollime Ab Initio v\u00f5imalust uuendada GreenPlum tabelit juhuslikult genereeritud andmepakkidena reaalajas l\u00e4hedases re\u017eiimis. Vaatame GreenPlum'i tabelit dev42_1_db_usl.TESTING_SUBJ_org_finval, millega t\u00f6\u00f6tame.<\/p>\n
Kasutame selle t\u00f6\u00f6tlemiseks kolme Ab Initio graafikut:<\/p>\n
1) Graaf Create_test_data.mp \u2013 loob 10 paralleelses voos andmed failid HDFS-s 6 000 000 rida. Andmed on juhuslikud, nende struktuur on korraldatud meie tabelisse sisestamiseks.<\/p>\n
\ngenereerida 6 000 000 testirida<\/li>\n teostada alglaadimine, sisestada 6 000 000 testirida t\u00fchjasse tabelisse<\/li>\n korrata 5 korda inkrementaalset laadimist\n\ngenereerida 6 000 000 testirida<\/li>\n teostada inkrementaalne sisestamine 6 000 000 testirida tabelisse (sel juhul m\u00e4\u00e4ratakse vanadele andmetele aegumise aeg valid_to_ts ja sisestatakse v\u00e4rskemad andmed sama primaarkilluga).<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\nSelline stsenaarium simuleerib tegeliku t\u00f6\u00f6 re\u017eiimi m\u00f5nes \u00e4ris\u00fcsteemis \u2013 reaalajas ilmub piisavalt suur kogus uusi andmeid ja see voolab kohe GreenPlum-i.<\/p>\n
N\u00fc\u00fcd vaatame stsenaariumi t\u00f6\u00f6logi:<\/p>\n
Alustamine Create_test_data.input.pset 2020-06-04 11:49:11-l
Nii et olukord on j\u00e4rgmine:<\/p>\n
Graafik
Create_test_data.input.pset
mdw_load.day_one.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
\nN\u00e4eme, et 6 000 000 rida inkrementi t\u00f6\u00f6deldakse 3 minutiga, mis on piisavalt kiire.
select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;<\/code><\/pre>\n\n
Kokkuv\u00f5te<\/h2>\n \nPraegu kasutatakse Ab Initio Sberbankis \u00dchtse Semantilise Andmekihi (\u00dcSAS) loomiseks. See projekt h\u00f5lmab erinevate panganduse \u00e4riolukordade \u00fchise versiooni koostamist. Teave tuleb erinevatest allikatest, mille koopiad valmistatakse Hadoopis. \u00c4ri vajadustest l\u00e4htuvalt valmistatakse andmemudel ja kirjeldatakse andmete muutmisi. Ab Initio laadib teabe \u00dcSASse ning laaditud andmed ei ole mitte ainult \u00e4ri jaoks huvitavad, vaid ka allikaks andmemagasiinide koostamisel. Toote funktsionaalsus v\u00f5imaldab kasutada vastuv\u00f5tjatena erinevaid s\u00fcsteeme (Hive, Greenplum, Teradata, Oracle), v\u00f5imaldades seel\u00e4bi andmete valmistamist \u00e4ri jaoks erinevates vajalikes vormingutes.<\/p>\n
Ab Initio v\u00f5imalused on ulatuslikud, n\u00e4iteks kaasasolev raamistik MDW v\u00f5imaldab ehitada tehnilist ja \u00e4ri ajaloo andmeid \u201ckastist v\u00e4lja\u201d. Ab Initio pakub arendajatele v\u00f5imaluse \u201cratast uuesti leiutada\u201d ja kasutada paljusid s\u00fcstemaatilisi komponente, mis on tegelikult raamatukogud, mida on vajalik andmetega t\u00f6\u00f6tamiseks.<\/p>\n
Autor - Sberbanki professionaalse kogukonna SberProfi DWH\/BigData ekspert. Professionaalne kogukond SberProfi DWH\/BigData vastutab teadlikkuse arendamise eest sellistes valdkondades nagu Hadoopi \u00f6kos\u00fcsteem, Teradata, Oracle DB, GreenPlum, samuti BI t\u00f6\u00f6riistad Qlik, SAP BO, Tableau jt.<\/p><\/blockquote>\n
Allikas: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0432\u0441\u0442\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u0432\u044b\u0431\u043e\u0440\u0430 ETL-\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 BigData. \u0420\u0430\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0435\u0435\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435 Informatica BDM \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u043e \u043d\u0430\u0441 \u0438\u0437-\u0437\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0451 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u0435\u043b\u043e\u0441\u044c \u043a \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0443 \u043f\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434 spark-submit. \u041d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438\u043c\u0435\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432, \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c. […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":87610,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-87609","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t