Server<\/a>als auch im HDFS abgelegt werden.<\/p>\nIn jeder Transformation kann auf Basis des Standardtemplates ein eigenes Skript in der PDL-Sprache erstellt werden, das ein wenig an Shell erinnert. <\/p>\n
Mit der PDL-Sprache k\u00f6nnen Sie die Funktionalit\u00e4t der Transformationen erweitern und insbesondere zur Laufzeit beliebige Codefragmente dynamisch generieren, abh\u00e4ngig von den Laufzeitparametern.<\/p>\n
Auch in Ab Initio ist die Integration mit dem Betriebssystem \u00fcber Shell gut entwickelt. Konkret wird in Sberbank Linux ksh verwendet. Es ist m\u00f6glich, Variablen mit Shell auszutauschen und sie als Parameter f\u00fcr Graphen zu verwenden. Aus Shell heraus k\u00f6nnen Sie die Ausf\u00fchrung von Ab Initio-Graphen aufrufen und Ab Initio verwalten.<\/p>\n
Neben Ab Initio GDE umfasst die Lieferung viele andere Produkte. Es gibt ein eigenes Co>Operation System, das den Anspruch erhebt, ein Betriebssystem zu sein. Es gibt Control>Center, in dem Sie Ladeprozesse planen und \u00fcberwachen k\u00f6nnen. Es gibt Produkte f\u00fcr die Entwicklung auf einer einfacheren Ebene, als es Ab Initio GDE erm\u00f6glicht.<\/p>\n
Beschreibung des MDW-Frameworks und Arbeiten zur Anpassung an GreenPlum<\/h3>\n \nZusammen mit seinen Produkten bietet der Anbieter das Produkt MDW (Metadata Driven Warehouse) an, das einen Konfigurator f\u00fcr Graphen darstellt, der zur Unterst\u00fctzung bei typischen Aufgaben zur Bef\u00fcllung von Data Warehouses oder Data Vaults dient.<\/p>\n
Es enth\u00e4lt benutzerdefinierte (projektbezogene) Metadaten-Parser und standardm\u00e4\u00dfige Codegeneratoren \"out of the box\".<\/p>\n
Bei Hive und RDBMS werden unterschiedliche Graphen f\u00fcr die initiale und inkrementelle Datenaktualisierung generiert.<\/p>\n
Im Fall von Hive werden die eingehenden Delta-Daten \u00fcber einen Ab Initio Join mit den Daten verbunden, die vor der Aktualisierung in der Tabelle vorhanden waren. Die Datenladeprozesse in MDW (sowohl in Hive als auch in RDBMS) f\u00fcgen nicht nur neue Daten aus dem Delta ein, sondern schlie\u00dfen auch die G\u00fcltigkeitszeitr\u00e4ume der Daten, f\u00fcr die das Delta eingegangen ist, anhand der Prim\u00e4rschl\u00fcssel. Au\u00dferdem muss der unver\u00e4nderte Teil der Daten neu geschrieben werden. Das ist notwendig, da es in Hive keine L\u00f6sch- oder Aktualisierungsoperationen gibt.<\/p>\n
Somit sind wir zu dem Schluss gekommen, dass MDW im Falle von Hive die gesamte Tabelle neu schreiben muss, da Hive keine Aktualisierungsfunktion hat. Besser als die vollst\u00e4ndige Neuschreibung von Daten bei einer Aktualisierung wurde nichts gefunden. Im Fall von RDBMS hingegen hielten die Produktentwickler es f\u00fcr notwendig, das Verbinden und Aktualisieren der Tabellen SQL zu \u00fcberlassen.<\/p>\n
F\u00fcr ein Projekt bei Sberbank haben wir eine neue mehrmals verwendbare Implementierung eines Datenbank-Loaders f\u00fcr GreenPlum erstellt. Dies wurde auf der Grundlage einer Version entwickelt, die MDW f\u00fcr Teradata generiert. Teradata, und nicht Oracle, war daf\u00fcr besser geeignet, da es ebenfalls ein MPP-System ist. Die Arbeitsweisen sowie die Syntax von Teradata und GreenPlum erwiesen sich als \u00e4hnlich.<\/p>\n
Beispiele kritischer Unterschiede zwischen verschiedenen RDBMS sind wie folgt. In GreenPlum muss im Gegensatz zu Teradata beim Erstellen von Tabellen die Klausel<\/p>\n
distributed by<\/code><\/pre>\n\nin Teradata wird geschrieben<\/p>\n
delete <table> all<\/code><\/pre>\n\n, w\u00e4hrend in GreenPlum geschrieben wird<\/p>\n
löschen von <table><\/code><\/pre>\n\nIn Oracle wird zur Optimierung geschrieben<\/p>\n
delete from t where rowid in ()<\/code><\/pre>\n\n, w\u00e4hrend in Teradata und GreenPlum geschrieben wird<\/p>\n
delete from t where exists (select * from delta where delta.pk=t.pk)<\/code><\/pre>\n\nDar\u00fcber hinaus stellen wir fest, dass f\u00fcr die Arbeit von Ab Initio mit GreenPlum der GreenPlum-Client auf allen Knoten des Ab-Initio-Clusters installiert werden musste. Dies liegt daran, dass wir uns gleichzeitig von allen Knoten unseres Clusters mit GreenPlum verbunden haben. Damit das Lesen aus GreenPlum parallel erfolgte und jeder parallele Ab-Initio-Thread seine Datenportion aus GreenPlum las, musste in den 'where'-Abschnitt der SQL-Abfragen eine von Ab Initio verstandene Konstruktion eingef\u00fcgt werden.<\/p>\n
where ABLOCAL()<\/code><\/pre>\n\nund der Wert dieser Konstruktion musste angegeben werden, indem der lesenden Transformation aus der Datenbank der Parameter<\/p>\n
ablocal_expr=\u00abstring_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))\u00bb<\/code><\/pre>\n\n, der in etwas wie<\/p>\n
mod(sk,10)=3<\/code><\/pre>\n\n, das hei\u00dft, GreenPlum muss f\u00fcr jede Partition einen expliziten Filter kennen. F\u00fcr andere Datenbanken (Teradata, Oracle) kann Ab Initio diese Parallelisierung automatisch durchf\u00fchren.<\/p>\n
Vergleichende Leistungsmerkmale von Ab Initio mit Hive und GreenPlum<\/h3>\n \nBei Sberbank wurde ein Experiment zur Leistungsbewertung der von MDW generierten Graphen sowohl f\u00fcr Hive als auch f\u00fcr GreenPlum durchgef\u00fchrt. Im Rahmen des Experiments hatten wir im Fall von Hive 5 Knoten im selben Cluster wie Ab Initio, w\u00e4hrend im Fall von GreenPlum 4 Knoten in einem separaten Cluster vorhanden waren. Das hei\u00dft, Hive hatte einen gewissen Vorteil gegen\u00fcber GreenPlum hinsichtlich der Hardware.<\/p>\n
Es wurden zwei Paare von Graphen betrachtet, die dieselbe Aufgabe der Datenaktualisierung in Hive und GreenPlum erf\u00fcllen. Dabei wurden die von dem MDW-Konfigurator generierten Graphen gestartet:<\/p>\n
\nInitiale Ladeoperation + inkrementelles Laden zuf\u00e4llig generierter Daten in die Hive-Tabelle<\/li>\n Initiale Ladeoperation + inkrementelles Laden zuf\u00e4llig generierter Daten in dieselbe GreenPlum-Tabelle<\/li>\n<\/ul>\n\nIn beiden F\u00e4llen (Hive und GreenPlum) wurden Uploads mit 10 parallelen Streams auf demselben Ab Initio-Cluster gestartet. Die Zwischendaten f\u00fcr die Berechnungen wurden von Ab Initio im HDFS gespeichert (in Ab Initio-Begriffen wurde das MFS-Layout unter Verwendung von HDFS verwendet). Eine Zeile zuf\u00e4llig generierter Daten belegte in beiden F\u00e4llen 200 Byte.<\/p>\n
Das Ergebnis war folgendes:<\/p>\n
Hive:<\/b><\/p>\n
Initialer Upload in Hive<\/b><\/p>\n
Eingef\u00fcgte Zeilen
Dauer des initialen
Inkrementeller Upload in Hive<\/b><\/p>\n
Anzahl der Zeilen, die in der
Anzahl der Delta-Zeilen, die in der
Dauer des inkrementellen2 541<\/b><\/p>\n
\nGreenPlum:<\/b><\/p>\n
Initialer Upload in GreenPlum<\/b><\/p>\n
Eingef\u00fcgte Zeilen
Dauer des initialen
Inkrementeller Upload in GreenPlum<\/b><\/p>\n
Anzahl der Zeilen, die in der
Anzahl der Delta-Zeilen, die in der
Dauer des inkrementellen321<\/b><\/p>\n
\nWir sehen, dass die Geschwindigkeit des initialen Uploads sowohl in Hive als auch in GreenPlum linear vom Datenvolumen abh\u00e4ngt. Aufgrund besserer Hardware ist es in Hive etwas schneller als in GreenPlum.<\/p>\n
Der inkrementelle Upload in Hive h\u00e4ngt ebenfalls linear von dem Volumen der zuvor in der Zieltabelle geladenen Daten ab und erfolgt relativ langsam mit wachsendem Volumen, da die gesamte Zieltabelle neu geschrieben werden muss. Dies bedeutet, dass kleine \u00c4nderungen an gro\u00dfen Tabellen \u2013 keine gute Option f\u00fcr Hive sind.<\/p>\n
Der inkrementelle Upload in GreenPlum hingegen h\u00e4ngt nur schwach von dem Volumen der zuvor in der Zieltabelle geladenen Daten ab und erfolgt relativ schnell. Dies wurde durch SQL Joins und die Architektur von GreenPlum erm\u00f6glicht, die Operationen wie delete zul\u00e4sst.<\/p>\n
Somit f\u00fcgt GreenPlum die Delta durch delete+insert hinzu, w\u00e4hrend es in Hive keine delete- oder update-Operationen gibt, weshalb der gesamte Datensatz beim inkrementellen Update vollst\u00e4ndig neu geschrieben werden musste. Besonders aufschlussreich ist der Vergleich der fettgedruckten Zellen, da dies dem h\u00e4ufigsten Einsatz ressourcenintensiver Uploads entspricht. Wir sehen, dass GreenPlum in diesem Test 8 Mal besser abgeschnitten hat als Hive.<\/p>\n
Einsatz von Ab Initio mit GreenPlum im Near Real Time-Modus<\/h3>\n \nIn diesem Experiment werden wir die M\u00f6glichkeit von Ab Initio \u00fcberpr\u00fcfen, die Tabelle GreenPlum mit zuf\u00e4llig generierten Datenmengen in einem nahezu Echtzeitszenario zu aktualisieren. Wir betrachten die GreenPlum-Tabelle dev42_1_db_usl.TESTING_SUBJ_org_finval, mit der wir arbeiten werden.<\/p>\n
Wir werden drei Ab Initio-Grafiken verwenden, um mit ihr zu arbeiten:<\/p>\n
1) Graf Create_test_data.mp \u2013 erstellt in 10 parallelen Streams Dateien mit Daten in HDFS mit 6.000.000 Zeilen. Die Daten sind zuf\u00e4llig, ihre Struktur ist f\u00fcr die Einspeisung in unsere Tabelle organisiert.<\/p>\n
\n6.000.000 Testzeilen generieren.<\/li>\n Die initiale Einspeisung durchf\u00fchren: 6.000.000 Testzeilen in eine leere Tabelle einf\u00fcgen.<\/li>\n Die inkrementelle Einspeisung 5 Mal wiederholen.\n\n6.000.000 Testzeilen generieren.<\/li>\n Die inkrementelle Einspeisung von 6.000.000 Testzeilen in die Tabelle vornehmen (dabei wird den alten Daten die G\u00fcltigkeitsdauer valid_to_ts zugewiesen, und es werden neuere Daten mit demselben Prim\u00e4rschl\u00fcssel eingef\u00fcgt).<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\nEin solches Szenario emuliert den Betrieb eines tats\u00e4chlichen Gesch\u00e4ftssystems \u2013 in Echtzeit erscheinen eine relativ umfangreiche Charge neuer Daten und werden sofort in GreenPlum eingespeist.<\/p>\n
Lassen Sie uns nun das Protokoll der Szenarioausf\u00fchrung betrachten:<\/p>\n
Start Create_test_data.input.pset am 2020-06-04 11:49:11
So ergibt sich folgendes Bild:<\/p>\n
Graf
Create_test_data.input.pset
mdw_load.day_one.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
\nWir sehen, dass 6.000.000 Zeilen Inkremente in 3 Minuten bearbeitet werden, was ziemlich schnell ist.
select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;<\/code><\/pre>\n\n
Fazit<\/h2>\n \nDerzeit wird Ab Initio bei der Sberbank f\u00fcr den Aufbau einer einheitlichen semantischen Datenschicht (ESS) verwendet. Dieses Projekt sieht den Aufbau einer einheitlichen Version des Zustands verschiedener bankgesch\u00e4ftlicher Entit\u00e4ten vor. Informationen kommen aus verschiedenen Quellen, deren Replikate auf Hadoop vorbereitet werden. Je nach den Anforderungen des Unternehmens wird ein Datenmodell erstellt und Datenumwandlungen beschrieben. Ab Initio l\u00e4dt Informationen in die ESS und die geladenen Daten sind nicht nur f\u00fcr das Unternehmen von Interesse, sondern dienen auch als Quelle f\u00fcr die Erstellung von Datensichten. Die Funktionalit\u00e4t des Produkts erm\u00f6glicht es zudem, verschiedene Systeme (Hive, Greenplum, Teradata, Oracle) als Empf\u00e4nger zu nutzen, was es dem Unternehmen erleichtert, Daten in den ben\u00f6tigten Formaten bereitzustellen.<\/p>\n
Die M\u00f6glichkeiten von Ab Initio sind breit gef\u00e4chert, zum Beispiel erm\u00f6glicht das mitgelieferte MDW-Framework den Aufbau der technischen und gesch\u00e4ftlichen Historie der Daten 'out of the box'. F\u00fcr Entwickler bietet Ab Initio die M\u00f6glichkeit, 'das Rad nicht neu zu erfinden' und auf eine Vielzahl vorhandener funktionaler Komponenten zur\u00fcckzugreifen, die im Grunde Bibliotheken sind, die bei der Arbeit mit Daten ben\u00f6tigt werden.<\/p>\n
Autor \u2014 Experte der professionellen Gemeinschaft der Sberbank SberProfi DWH\/BIGDATA. Die professionelle Gemeinschaft SberProfi DWH\/BIGDATA ist verantwortlich f\u00fcr die Entwicklung von Kompetenzen in Bereichen wie Hadoop-\u00d6kosystem, Teradata, Oracle DB, GreenPlum sowie BI-Tools wie Qlik, SAP BO, Tableau usw.<\/p><\/blockquote>\n
Quelle: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0432\u0441\u0442\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u0432\u044b\u0431\u043e\u0440\u0430 ETL-\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 BigData. \u0420\u0430\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0435\u0435\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435 Informatica BDM \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u043e \u043d\u0430\u0441 \u0438\u0437-\u0437\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0451 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u0435\u043b\u043e\u0441\u044c \u043a \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0443 \u043f\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434 spark-submit. \u041d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438\u043c\u0435\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432, \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c. […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":87610,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-87609","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t