servera<\/a>, tak aj do HDFS.<\/p>\nV ka\u017edej transform\u00e1cii na z\u00e1klade \u0161abl\u00f3ny je mo\u017en\u00e9 vytvori\u0165 svoj vlastn\u00fd skript v jazyku PDL, ktor\u00fd sa trochu podob\u00e1 shell. <\/p>\n
Pomocou jazyka PDL m\u00f4\u017eete roz\u0161irova\u0165 funk\u010dnos\u0165 transform\u00e1ci\u00ed a konkr\u00e9tne m\u00f4\u017eete dynamicky (po\u010das vykon\u00e1vania) generova\u0165 \u013eubovo\u013en\u00e9 \u00fatr\u017eky k\u00f3du v z\u00e1vislosti od parametrov \u010dasu vykon\u00e1vania.<\/p>\n
V Ab Initio je tie\u017e dobre vyvinut\u00e1 integr\u00e1cia s opera\u010dn\u00fdm syst\u00e9mom cez shell. Konkr\u00e9tne v Sberbanke sa pou\u017e\u00edva linux ksh. Je mo\u017en\u00e9 zdie\u013ea\u0165 s shellom premenn\u00e9 a pou\u017e\u00edva\u0165 ich ako parametre grafov. Je mo\u017en\u00e9 z shellu sp\u00fa\u0161\u0165a\u0165 vykon\u00e1vanie grafov Ab Initio a spravova\u0165 Ab Initio.<\/p>\n
Okrem Ab Initio GDE dod\u00e1vka obsahuje mnoho in\u00fdch produktov. Existuje vlastn\u00fd Co>Operation System, ktor\u00fd sa sna\u017e\u00ed naz\u00fdva\u0165 opera\u010dn\u00fdm syst\u00e9mom. Existuje Control>Center, v ktorom je mo\u017en\u00e9 pl\u00e1nova\u0165 a monitorova\u0165 toky na\u010d\u00edtania. Existuj\u00fa produkty na realiz\u00e1ciu v\u00fdvoja na primit\u00edvnej\u0161ej \u00farovni, ako umo\u017e\u0148uje Ab Initio GDE.<\/p>\n
Popis r\u00e1mca MDW a pr\u00e1ce na jeho doladen\u00ed k GreenPlum<\/h3>\n \nSpolu so svojimi produktmi dod\u00e1vate\u013e poskytuje produkt MDW (Metadata Driven Warehouse), ktor\u00fd predstavuje konfigur\u00e1tor grafov ur\u010den\u00fd na pomoc pri typick\u00fdch \u00faloh\u00e1ch plnenia d\u00e1tov\u00fdch skladov alebo data vaults.<\/p>\n
Obsahuje vlastn\u00e9 (\u0161pecifick\u00e9 pre projekt) parsery metadat a hotov\u00e9 gener\u00e1tory k\u00f3du 'ihne\u010f'.<\/p>\n
Vo pr\u00edpadoch Hive a RDBMS sa generuj\u00fa r\u00f4zne grafy pre inicializa\u010dn\u00fa a inkrement\u00e1lnu aktualiz\u00e1ciu d\u00e1t.<\/p>\n
V pr\u00edpade Hive sa prijat\u00e9 d\u00e1ta delty kombinuj\u00fa pomocou Ab Initio Join s d\u00e1tami, ktor\u00e9 boli v tabu\u013eke pred aktualiz\u00e1ciou. Na\u010d\u00edtava\u010de d\u00e1t v MDW (\u010di u\u017e v Hive alebo RDBMS) nielen\u017ee vkladaj\u00fa nov\u00e9 d\u00e1ta z delty, ale aj uzatv\u00e1raj\u00fa obdobia aktu\u00e1lnosti d\u00e1t pod\u013ea prim\u00e1rnych k\u013e\u00fa\u010dov, z ktor\u00fdch pri\u0161la delta. Okrem toho je potrebn\u00e9 nanovo prep\u00edsa\u0165 nezmenen\u00fa \u010das\u0165 d\u00e1t. Ale mus\u00edme to robi\u0165, preto\u017ee v Hive neexistuj\u00fa oper\u00e1cie delete alebo update.<\/p>\n
Tak sme dospeli k z\u00e1veru, \u017ee v pr\u00edpade Hive mus\u00ed MDW prejs\u0165 na prep\u00edsanie celej tabu\u013eky, preto\u017ee Hive nem\u00e1 funkciu aktualiz\u00e1cie. A ni\u010d lep\u0161ieho, ne\u017e \u00fapln\u00e9 prep\u00edsanie d\u00e1t pri aktualiz\u00e1cii, nebolo vymyslen\u00e9. V pr\u00edpade RDBMS, naopak, tvorcovia produktu sa rozhodli zveri\u0165 spojenie a aktualiz\u00e1ciu tabuliek vyu\u017e\u00edvaniu SQL.<\/p>\n
Pre projekt v Sberbanke sme vytvorili nov\u00fa opakovane pou\u017eite\u013en\u00fa implement\u00e1ciu na\u010d\u00edtava\u010da datab\u00e1zy pre GreenPlum. To bolo vykonan\u00e9 na z\u00e1klade verzie, ktor\u00fa MDW generuje pre Teradata. Pr\u00e1ve Teradata, a nie Oracle, bola v tomto pr\u00edpade najvhodnej\u0161ia a najbli\u017e\u0161ia, preto\u017ee je taktie\u017e MPP syst\u00e9mom. Sp\u00f4soby pr\u00e1ce a syntax Teradata a GreenPlum sa uk\u00e1zali ako \u00fazko pr\u00edbuzn\u00e9.<\/p>\n
Pr\u00edklady kritick\u00fdch rozdielov pre MDW medzi r\u00f4znymi RDBMS s\u00fa nasleduj\u00face. V GreenPlum, na rozdiel od Teradata, pri vytv\u00e1ran\u00ed tabuliek je potrebn\u00e9 p\u00edsa\u0165 klauzulu<\/p>\n
distributed by<\/code><\/pre>\n\nV Teradata p\u00ed\u0161u<\/p>\n
vymaza\u0165 <table> všetko<\/code><\/pre>\n\n, a v GreenPlum p\u00ed\u0161u<\/p>\n
vymaza\u0165 z <table><\/code><\/pre>\n\nV Oracle s cie\u013eom optimaliz\u00e1cie p\u00ed\u0161u<\/p>\n
delete from t where rowid in ()<\/code><\/pre>\n\n, a v Teradata a GreenPlum p\u00ed\u0161u<\/p>\n
delete from t where exists (select * from delta where delta.pk=t.pk)<\/code><\/pre>\n\nE\u0161te by sme chceli poznamena\u0165, \u017ee na pr\u00e1cu Ab Initio s GreenPlum bolo potrebn\u00e9 nain\u0161talova\u0165 klienta GreenPlum na v\u0161etky uzly klastra Ab Initio. D\u00f4vodom je, \u017ee sme sa pripojili k GreenPlum s\u00fa\u010dasne zo v\u0161etk\u00fdch uzlov n\u00e1\u0161ho klastra. A pre to, aby bolo \u010d\u00edtanie z GreenPlum paraleln\u00e9 a ka\u017ed\u00fd paraleln\u00fd tok Ab Initio \u010d\u00edtal svoju \u010das\u0165 \u00fadajov z GreenPlum, sme museli do sekcie \u201ewhere\u201c SQL dotazov vlo\u017ei\u0165 Ab Initio zrozumite\u013en\u00fa kon\u0161trukciu<\/p>\n
where ABLOCAL()<\/code><\/pre>\n\na definova\u0165 hodnotu tejto kon\u0161trukcie, ur\u010den\u00edm parametra pre transform\u00e1ciu, ktor\u00e1 \u010d\u00edta z DB<\/p>\n
ablocal_expr=\u00abstring_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))\u00bb<\/code><\/pre>\n\n, ktor\u00e1 sa kompiluje na nie\u010do ako<\/p>\n
mod(sk,10)=3<\/code><\/pre>\n\n, t.j. je potrebn\u00e9 da\u0165 GreenPlum explicitn\u00fd filter pre ka\u017ed\u00fa part\u00edciu. Pre in\u00e9 datab\u00e1zy (Teradata, Oracle) m\u00f4\u017ee Ab Initio vykona\u0165 toto rozdelenie automaticky.<\/p>\n
Porovn\u00e1vacie charakteristiky v\u00fdkonu Ab Initio pri pr\u00e1ci s Hive a GreenPlum<\/h3>\n \nV Sberbanke bol vykonan\u00fd experiment na porovnanie v\u00fdkonu generovan\u00fdch MDW grafov v s\u00favislosti s Hive a GreenPlum. V r\u00e1mci experimentu malo Hive 5 uzlov na tej istej klastri ako Ab Initio, zatia\u013e \u010do GreenPlum malo 4 uzly na samostatnej klastri. T.j. Hive malo ur\u010dit\u00e9 v\u00fdhody oproti GreenPlum \u201ena hardv\u00e9ri\u201c.<\/p>\n
Boli zv\u00e1\u017een\u00e9 dve p\u00e1ry grafov, ktor\u00e9 vykon\u00e1vali rovnak\u00fa \u00falohu aktualiz\u00e1cie \u00fadajov v Hive a GreenPlum. Pri tom sa sp\u00fa\u0161\u0165ali grafy generovan\u00e9 konfigur\u00e1torom MDW:<\/p>\n
\ninicializa\u010dn\u00e9 na\u010d\u00edtanie + inkrement\u00e1lne na\u010d\u00edtanie n\u00e1hodne generovan\u00fdch \u00fadajov do tabu\u013eky Hive<\/li>\n inicializa\u010dn\u00e9 na\u010d\u00edtanie + inkrement\u00e1lne na\u010d\u00edtanie n\u00e1hodne generovan\u00fdch \u00fadajov do rovnakej tabu\u013eky GreenPlum<\/li>\n<\/ul>\n\nV oboch pr\u00edpadoch (Hive a GreenPlum) sa sp\u00fa\u0161\u0165ali nahr\u00e1vky v 10 paraleln\u00fdch pr\u00fadoch na rovnakom klastri Ab Initio. Medzi \u00fadaje pre v\u00fdpo\u010dty Ab Initio sa uchov\u00e1vali v HDFS (v term\u00ednoch Ab Initio bol pou\u017eit\u00fd MFS layout using HDFS). Jeden riadok n\u00e1hodne generovan\u00fdch d\u00e1t mal v oboch pr\u00edpadoch 200 bajtov.<\/p>\n
V\u00fdsledok bol tak\u00fdto:<\/p>\n
Hive:<\/b><\/p>\n
Inicializa\u010dn\u00e1 nahr\u00e1vka v Hive<\/b><\/p>\n
Vlo\u017een\u00e9 riadky
Trvanie inicializa\u010dnej
Pr\u00edrastkov\u00e1 nahr\u00e1vka v Hive<\/b><\/p>\n
Po\u010det riadkov, ktor\u00e9 boli v
Po\u010det riadkov delty, aplikovan\u00fdch na
Trvanie pr\u00edrastkovej2 541<\/b><\/p>\n
\nGreenPlum:<\/b><\/p>\n
Inicializa\u010dn\u00e1 nahr\u00e1vka v GreenPlum<\/b><\/p>\n
Vlo\u017een\u00e9 riadky
Trvanie inicializa\u010dnej
Pr\u00edrastkov\u00e1 nahr\u00e1vka v GreenPlum<\/b><\/p>\n
Po\u010det riadkov, ktor\u00e9 boli v
Po\u010det riadkov delty, aplikovan\u00fdch na
Trvanie pr\u00edrastkovej321<\/b><\/p>\n
\nVid\u00edme, \u017ee r\u00fdchlos\u0165 inicializa\u010dnej nahr\u00e1vky ako v Hive, tak aj v GreenPlum line\u00e1rne z\u00e1vis\u00ed od objemu d\u00e1t a z d\u00f4vodov lep\u0161ieho hardv\u00e9ru je trochu r\u00fdchlej\u0161ia pre Hive, ne\u017e pre GreenPlum.<\/p>\n
Pr\u00edrastkov\u00e1 nahr\u00e1vka v Hive tie\u017e line\u00e1rne z\u00e1vis\u00ed od objemu u\u017e predt\u00fdm nahran\u00fdch d\u00e1t v cie\u013eovej tabu\u013eke a prebieha dos\u0165 pomaly s rastom objemu. To je sp\u00f4soben\u00e9 potrebou \u00faplne prep\u00edsa\u0165 cie\u013eov\u00fa tabu\u013eku. To znamen\u00e1, \u017ee aplik\u00e1cia mal\u00fdch zmien na obrovsk\u00fdch tabu\u013ek\u00e1ch \u2013 nie je ve\u013emi dobr\u00fd variant pou\u017eitia pre Hive.<\/p>\n
Naopak, pr\u00edrastkov\u00e1 nahr\u00e1vka v GreenPlum slab\u0161ie z\u00e1vis\u00ed od objemu predt\u00fdm nahran\u00fdch d\u00e1t v cie\u013eovej tabu\u013eke a prebieha pomerne r\u00fdchlo. To bolo dosiahnut\u00e9 v\u010faka SQL Joins a architekt\u00fare GreenPlum, ktor\u00e1 umo\u017e\u0148uje oper\u00e1cie delete.<\/p>\n
Tak\u017ee GreenPlum nalieva deltu met\u00f3dou delete+insert, zatia\u013e \u010do v Hive neexistuj\u00fa oper\u00e1cie delete alebo update, preto bol cel\u00fd s\u00fabor \u00fadajov pri pr\u00edrastkovom aktualizovan\u00ed n\u00faten\u00fd prep\u00edsa\u0165 kompletne. Najv\u00fdsti\u017enej\u0161ie je porovna\u0165 vyzna\u010den\u00e9 tu\u010dn\u00fdmi p\u00edsmenami bunky, ke\u010f\u017ee zodpovedaj\u00fa naj\u010dastej\u0161iemu variantu pou\u017e\u00edvania n\u00e1ro\u010dn\u00fdch nahr\u00e1vok. Vid\u00edme, \u017ee GreenPlum vyhral u Hive v tomto teste 8-kr\u00e1t.<\/p>\n
Pr\u00e1ca Ab Initio s GreenPlum v re\u017eime Near Real Time<\/h3>\n \nV tomto experimente over\u00edme mo\u017enos\u0165 Ab Initio aktualizova\u0165 tabu\u013eku GreenPlum n\u00e1hodne generovan\u00fdmi d\u00e1vkami d\u00e1t v re\u017eime bl\u00edzkom re\u00e1lnemu \u010dasu. Budeme sa zaobera\u0165 tabu\u013ekou GreenPlum dev42_1_db_usl.TESTING_SUBJ_org_finval, s ktorou sa bude pracova\u0165.<\/p>\n
Budeme pou\u017e\u00edva\u0165 tri grafy Ab Initio na pr\u00e1cu s \u0148ou:<\/p>\n
1) Graf Create_test_data.mp \u2013 vytv\u00e1ra v 10 paraleln\u00fdch tokoch s\u00fabory s \u00fadajmi v HDFS s 6 000 000 riadkami. \u00dadaje s\u00fa n\u00e1hodn\u00e9, \u0161trukt\u00fara je organizovan\u00e1 na vlo\u017eenie do na\u0161ej tabu\u013eky.<\/p>\n
\nvygenerova\u0165 6 000 000 testovac\u00edch riadkov.<\/li>\n vykona\u0165 inicia\u010dn\u00e9 na\u010d\u00edtanie, vlo\u017ei\u0165 6 000 000 testovac\u00edch riadkov do pr\u00e1zdnej tabu\u013eky.<\/li>\n opakova\u0165 5-kr\u00e1t inkrement\u00e1lne na\u010d\u00edtanie.\n\nvygenerova\u0165 6 000 000 testovac\u00edch riadkov.<\/li>\n vykona\u0165 inkrement\u00e1lne vlo\u017eenie 6 000 000 testovac\u00edch riadkov do tabu\u013eky (pritom star\u00fdm \u00fadajom sa nastav\u00ed \u010das expir\u00e1cie valid_to_ts a vlo\u017eia sa \u010derstvej\u0161ie \u00fadaje s t\u00fdm ist\u00fdm prim\u00e1rnym k\u013e\u00fa\u010dom).<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\nTak\u00fdto scen\u00e1r emuluje re\u017eim re\u00e1lnej pr\u00e1ce ur\u010ditej biznis-syst\u00e9my \u2013 v re\u00e1lnom \u010dase sa objav\u00ed dos\u0165 ve\u013ek\u00e9 mno\u017estvo nov\u00fdch \u00fadajov a okam\u017eite sa vprav\u00ed do GreenPlum.<\/p>\n
Teraz sa pozrime na log pr\u00e1ce scen\u00e1ra:<\/p>\n
Start Create_test_data.input.pset at 2020-06-04 11:49:11
Vytv\u00e1ra sa tak\u00fdto obraz:<\/p>\n
Graf
Create_test_data.input.pset
mdw_load.day_one.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
\nVid\u00edme, \u017ee 6 000 000 z\u00e1znamov sa spracov\u00e1va za 3 min\u00faty, \u010do je dos\u0165 r\u00fdchlo.
select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;<\/code><\/pre>\n\n
Z\u00e1ver<\/h2>\n \nV s\u00fa\u010dasnosti sa Ab Initio pou\u017e\u00edva v Sberbank na vybudovanie Jedn\u00e9ho semantick\u00e9ho vrstvy \u00fadajov (E\u0160\u00da). Tento projekt predpoklad\u00e1 vybudovanie jedinej verzie stavu r\u00f4znych bankov\u00fdch obchodn\u00fdch ent\u00edt. Inform\u00e1cie prich\u00e1dzaj\u00fa z r\u00f4znych zdrojov, ktor\u00fdch repliky s\u00fa pripraven\u00e9 na Hadoop. Na z\u00e1klade potrieb podnikania je pripraven\u00fd model \u00fadajov a pop\u00edsan\u00e9 transform\u00e1cie \u00fadajov. Ab Initio na\u010d\u00edtava inform\u00e1cie do E\u0160\u00da a na\u010d\u00edtan\u00e9 \u00fadaje nielen\u017ee predstavuj\u00fa z\u00e1ujem pre podnikanie sam\u00e9 o sebe, ale aj sl\u00fa\u017eia ako zdroj na vytvorenie d\u00e1tov\u00fdch vitr\u00edn. Funkcionalita produktu pritom umo\u017e\u0148uje pou\u017e\u00edva\u0165 ako prij\u00edma\u010d r\u00f4zne syst\u00e9my (Hive, Greenplum, Teradata, Oracle), \u010do umo\u017e\u0148uje bez v\u00e4\u010d\u0161\u00edch n\u00e1mahy pripravova\u0165 \u00fadaje pre podnikanie v r\u00f4znych po\u017eadovan\u00fdch form\u00e1toch.<\/p>\n
Mo\u017enosti Ab Initio s\u00fa \u0161irok\u00e9, napr\u00edklad integrovan\u00fd r\u00e1mec MDW umo\u017e\u0148uje budova\u0165 technick\u00fa a obchodn\u00fa historickos\u0165 \u00fadajov \"z krabice\". Pre v\u00fdvoj\u00e1rov Ab Initio poskytuje mo\u017enos\u0165 \"neobjavova\u0165 koleso\", ale vyu\u017e\u00edva\u0165 mno\u017estvo existuj\u00facich funk\u010dn\u00fdch komponentov, ktor\u00e9 s\u00fa v podstate kni\u017enicami potrebn\u00fdmi pri pr\u00e1ci s \u00fadajmi.<\/p>\n
Autor \u2014 expert profesion\u00e1lneho spolo\u010denstva Sberbank SberProfi DWH\/BigData. Profesion\u00e1lne spolo\u010denstvo SberProfi DWH\/BigData zodpoved\u00e1 za rozvoj kompetenci\u00ed v tak\u00fdch oblastiach, ako s\u00fa ekosyst\u00e9m Hadoop, Teradata, Oracle DB, GreenPlum, ako aj v BI n\u00e1strojoch Qlik, SAP BO, Tableau a \u010fal\u0161\u00edch.<\/p><\/blockquote>\n
Zdroj: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0432\u0441\u0442\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u0432\u044b\u0431\u043e\u0440\u0430 ETL-\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 BigData. \u0420\u0430\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0435\u0435\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435 Informatica BDM \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u043e \u043d\u0430\u0441 \u0438\u0437-\u0437\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0451 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u0435\u043b\u043e\u0441\u044c \u043a \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0443 \u043f\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434 spark-submit. \u041d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438\u043c\u0435\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432, \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c. […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":87610,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-87609","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t