de server<\/a>, als in HDFS.<\/p>\nIn elke transformatie op basis van het standaardtemplate kan een eigen script in de PDL-taal worden gemaakt, wat enigszins lijkt op shell. <\/p>\n
Met de PDL-taal kunt u de functionaliteit van transformaties uitbreiden en, in het bijzonder, kunt u dynamisch (tijdens uitvoering) willekeurige codefragmenten genereren, afhankelijk van uitvoeringsparameters.<\/p>\n
Bovendien heeft Ab Initio een goed ontwikkelde integratie met het besturingssysteem via shell. Specifiek in Sberbank wordt linux ksh gebruikt. U kunt variabelen met shell uitwisselen en deze als parameters voor grafieken gebruiken. Vanuit shell kunt u de uitvoering van Ab Initio-grafieken aanroepen en Ab Initio beheren.<\/p>\n
Naast Ab Initio GDE bevat de levering veel andere producten. Er is een eigen Co>Operation System dat pretentieus als besturingssysteem wordt aangeduid. Er is een Control>Center, waarin u belastingstromen kunt plannen en monitoren. Er zijn producten voor ontwikkeling op een meer primitief niveau dan Ab Initio GDE toelaat.<\/p>\n
Beschrijving van het MDW-framework en werk aan de aanpassing ervan voor GreenPlum<\/h3>\n \nSamen met zijn producten levert de leverancier het MDW (Metadata Driven Warehouse), een grafiekconfigurator die is ontworpen om te helpen bij typische taken voor het vullen van gegevensopslagen of data vaults.<\/p>\n
Het bevat gebruikersspecifieke (projectspecifieke) metadata-parsers en kant-en-klare codegeneratoren 'uit de doos'.<\/p>\n
In het geval van Hive en RDBMS worden verschillende grafieken gegenereerd voor de initi\u00eble en incrementele gegevensupdates.<\/p>\n
Voor Hive worden binnenkomende deltagegevens verbonden met behulp van Ab Initio Join aan de gegevens die v\u00f3\u00f3r de update in de tabel stonden. De gegevensladers in MDW (zowel in Hive als in RDBMS) voegen niet alleen nieuwe gegevens uit de delta toe, maar sluiten ook de actualiteitsperiodes van de gegevens af, op basis van de primaire sleutels waarvan de delta is ontvangen. Daarnaast moet ook het onveranderde deel van de gegevens opnieuw worden geschreven. Dit is echter noodzakelijk omdat Hive geen delete- of update-operaties ondersteunt.<\/p>\n
Zo zijn we tot de conclusie gekomen dat MDW in het geval van Hive de gehele tabel moet herschrijven, omdat Hive geen updatefunctie heeft. Bij een update is er niets beter dan het volledig herschrijven van de gegevens. In het geval van RDBMS vonden de productontwikkelaars daarentegen het nodig om de verbinding en update van tabellen aan SQL over te laten.<\/p>\n
Voor het project bij Sberbank hebben we een nieuwe herbruikbare implementatie van een database-loader voor GreenPlum ontwikkeld. Dit is gedaan op basis van de versie die MDW genereert voor Teradata. Teradata, en niet Oracle, bleek hiervoor de beste en meest geschikte keuze, aangezien het ook een MPP-systeem is. De werkwijzen en de syntaxis van Teradata en GreenPlum bleken naast elkaar te liggen.<\/p>\n
Voorbeelden van kritische MDW-verschillen tussen verschillende RDBMS zijn als volgt. In GreenPlum moet bij het aanmaken van tabellen in tegenstelling tot Teradata de clausule geschreven worden.<\/p>\n
distributed by<\/code><\/pre>\n\nIn Teradata schrijf je<\/p>\n
Verwijder afbeeldingen <table> all<\/code><\/pre>\n\n, terwijl je in GreenPlum schrijft<\/p>\n
verwijder van <table><\/code><\/pre>\n\nIn Oracle schrijf je ter optimalisatie<\/p>\n
delete from t where rowid in ()<\/code><\/pre>\n\n, terwijl je in Teradata en GreenPlum schrijft<\/p>\n
delete from t where exists (select * from delta where delta.pk=t.pk)<\/code><\/pre>\n\nDaarnaast dient opgemerkt te worden dat voor het gebruik van Ab Initio met GreenPlum de GreenPlum-client op alle nodes van het Ab Initio-cluster moest worden ge\u00efnstalleerd. Dit kwam doordat we tegelijkertijd van alle nodes van ons cluster naar GreenPlum verbonden waren. Om ervoor te zorgen dat het lezen uit GreenPlum parallel kon verlopen en elke parallelle thread van Ab Initio zijn eigen gegevensportie uit GreenPlum kon lezen, moest in de sectie \"where\" van de SQL-query een constructie worden geplaatst die door Ab Initio begrepen werd.<\/p>\n
where ABLOCAL()<\/code><\/pre>\n\nen de waarde van deze constructie moet worden gedefinieerd door de parameter te specificeren voor de DB-lezende transformatie.<\/p>\n
ablocal_expr=\u00abstring_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))\u00bb<\/code><\/pre>\n\n, wat compileert naar iets als<\/p>\n
mod(sk,10)=3<\/code><\/pre>\n\n, wat betekent dat je GreenPlum een expliciete filter voor elke partitite moet geven. Voor andere databases (Teradata, Oracle) kan Ab Initio deze parallelisatie automatisch uitvoeren.<\/p>\n
Vergelijkende kenmerken van de prestaties van Ab Initio bij het werken met Hive en GreenPlum<\/h3>\n \nBij Sberbank is een experiment uitgevoerd ter vergelijking van de prestaties van de door MDW gegenereerde grafen ten aanzien van Hive en GreenPlum. In het kader van het experiment had Hive 5 nodes in hetzelfde cluster als Ab Initio, terwijl GreenPlum 4 nodes in een apart cluster had. Dat wil zeggen, Hive had een bepaald voordeel ten opzichte van GreenPlum \u2018qua hardware\u2019.<\/p>\n
Er zijn twee paren grafen bekeken, die dezelfde taak voor het bijwerken van gegevens in Hive en GreenPlum uitvoeren. Hierbij zijn de grafen, gegenereerd door de MDW-configurator, uitgevoerd:<\/p>\n
\niniti\u0451le lading + incrementele lading van willekeurig gegenereerde gegevens in de Hive-tabel.<\/li>\n initi\u0451le lading + incrementele lading van willekeurig gegenereerde gegevens in dezelfde GreenPlum-tabel.<\/li>\n<\/ul>\n\nIn beide gevallen (Hive en GreenPlum) werden de uploads uitgevoerd in 10 parallelle stroomprocessen op dezelfde Ab Initio-cluster. De tussenresultaten voor de berekeningen werden opgeslagen in HDFS (in Ab Initio-termen werd de MFS-layout met HDFS gebruikt). E\u00e9n regel willekeurig gegenereerde gegevens nam in beide gevallen 200 byte in beslag.<\/p>\n
Het resultaat was als volgt:<\/p>\n
Hive:<\/b><\/p>\n
Initi\u00eble upload in Hive<\/b><\/p>\n
Ingevoegde rijen
Duur van de initi\u00eble
Incrementele upload in Hive<\/b><\/p>\n
Aantal rijen in de
Aantal delta-rijen dat is toegepast op
Duur van de incrementele2 541<\/b><\/p>\n
\nGreenPlum:<\/b><\/p>\n
Initi\u00eble upload in GreenPlum<\/b><\/p>\n
Ingevoegde rijen
Duur van de initi\u00eble
Incrementele upload in GreenPlum<\/b><\/p>\n
Aantal rijen in de
Aantal delta-rijen dat is toegepast op
Duur van de incrementele321<\/b><\/p>\n
\nWe zien dat de snelheid van de initi\u00eble upload zowel in Hive als in GreenPlum lineair afhankelijk is van het datavolume en, om redenen van betere hardware, is deze iets sneller voor Hive dan voor GreenPlum.<\/p>\n
De incrementele upload in Hive is ook lineair afhankelijk van de hoeveelheid eerder geladen gegevens in de doeltabel en verloopt relatief langzaam met toenemende volumes. Dit komt door de noodzaak om de doeltabel volledig opnieuw te schrijven. Dit betekent dat het aanbrengen van kleine wijzigingen aan enorme tabellen geen goede gebruiksoptie voor Hive is.<\/p>\n
De incrementele upload in GreenPlum is daarentegen zwak afhankelijk van de hoeveelheid eerder opgeslagen gegevens in de doeltabel en verloopt relatief snel. Dit is mogelijk gemaakt door SQL Joins en de architectuur van GreenPlum, die de delete-operatie toestaat.<\/p>\n
Dus, GreenPlum voegt de delta samen met delete+insert-methoden toe, terwijl Hive geen delete of update-operaties heeft, waardoor de gehele dataset bij incrementele updates volledig opnieuw geschreven moest worden. De vergelijking van de vetgedrukte cellen is het meest illustratief, omdat het overeenkomt met de meest voorkomende manier van resource-intensieve uploads. We zien dat GreenPlum in deze test 8 keer beter presteert dan Hive.<\/p>\n
De werking van Ab Initio met GreenPlum in de Near Real Time-modus<\/h3>\n \nIn dit experiment zullen we de mogelijkheid van Ab Initio onderzoeken om de GreenPlum-tabel te updaten met willekeurig gegenereerde datastromen in een modus die dicht bij real-time is. We zullen kijken naar de GreenPlum-tabel dev42_1_db_usl.TESTING_SUBJ_org_finval, waarmee we aan de slag gaan.<\/p>\n
We zullen drie Ab Initio-grafieken gebruiken voor de interactie met deze tabel:<\/p>\n
1) Graf Create_test_data.mp \u2013 genereert in 10 gelijktijdige threads bestanden met gegevens in HDFS met 6.000.000 regels. De gegevens zijn willekeurig en hun structuur is georganiseerd voor invoeging in onze tabel.<\/p>\n
\ngenereer 6.000.000 testregels.<\/li>\n voeren we een initi\u00eble laad in van 6.000.000 testregels in een lege tabel.<\/li>\n herhaal de incrementele laad 5 keer.\n\ngenereer 6.000.000 testregels.<\/li>\n voeren we een incrementele invoeging van 6.000.000 testregels in de tabel uit (terwijl de oude gegevens een vervaldatum valid_to_ts krijgen en nieuwere gegevens met dezelfde primaire sleutel worden ingevoegd).<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\nDit scenario emuleert de werking van een bepaald bedrijfsysteem \u2013 in realtime komt er een aanzienlijke hoeveelheid nieuwe gegevens binnen en wordt deze direct in GreenPlum gevoegd.<\/p>\n
Laten we nu het log van het script bekijken:<\/p>\n
Start Create_test_data.input.pset at 2020-06-04 11:49:11.
Het resultaat is als volgt:<\/p>\n
Grafiek
Create_test_data.input.pset
mdw_load.day_one.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
\nWe zien dat 6.000.000 rijen incrementen binnen 3 minuten worden verwerkt, wat behoorlijk snel is.
select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;<\/code><\/pre>\n\n
Conclusie<\/h2>\n \nMomenteel wordt Ab Initio gebruikt bij Sberbank voor het opbouwen van de Eenheid Semantische Laag (ESL) van gegevens. Dit project houdt in dat er een enkele versie van de status van verschillende bancaire business-entiteiten wordt gebouwd. Informatie komt uit verschillende bronnen, waarvan de replica's zijn voorbereid op Hadoop. Op basis van de behoeften van het bedrijf wordt een datamodel voorbereid en worden de datatransformaties beschreven. Ab Initio laadt informatie in de ESL en de geladen gegevens zijn niet alleen van belang voor het bedrijf op zichzelf, maar dienen ook als bron voor het opbouwen van datavitrines. Bovendien stelt de functionaliteit van het product ons in staat om verschillende systemen (Hive, Greenplum, Teradata, Oracle) als ontvangers te gebruiken, wat het mogelijk maakt om gegevens zonder al te veel moeite voor het bedrijf in verschillende gewenste formaten voor te bereiden.<\/p>\n
De mogelijkheden van Ab Initio zijn breed, bijvoorbeeld het bijgeleverde MDW-framework biedt de mogelijkheid om technische en zakelijke geschiedenissen van gegevens 'uit de doos' te bouwen. Voor ontwikkelaars biedt Ab Initio de mogelijkheid om 'het wiel niet opnieuw uit te vinden' en gebruik te maken van tal van beschikbare functionele componenten, die in wezen bibliotheken zijn die nodig zijn bij de omgang met gegevens.<\/p>\n
Auteur \u2014 expert van de professionele gemeenschap van Sberbank SberProfi DWH\/BigData. De professionele gemeenschap SberProfi DWH\/BigData is verantwoordelijk voor de ontwikkeling van competenties in gebieden zoals het Hadoop-ecosysteem, Teradata, Oracle DB, GreenPlum, en BI-tools zoals Qlik, SAP BO, Tableau en anderen.<\/p><\/blockquote>\n
Bron: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0432\u0441\u0442\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u0432\u044b\u0431\u043e\u0440\u0430 ETL-\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 BigData. \u0420\u0430\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0435\u0435\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435 Informatica BDM \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u043e \u043d\u0430\u0441 \u0438\u0437-\u0437\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0451 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u0435\u043b\u043e\u0441\u044c \u043a \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0443 \u043f\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434 spark-submit. \u041d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438\u043c\u0435\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432, \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c. […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":87610,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-87609","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t