\u0441\u0435\u0440\u0432\u0435\u0440\u0430<\/a>als auch im HDFS abgelegt werden.<\/p>\nIn jeder Transformation basierend auf der Standardvorlage kann ein eigenes Skript in der PDL-Sprache erstellt werden, das ein wenig an Shell erinnert. <\/p>\n
Mit der PDL-Sprache k\u00f6nnen Sie die Funktionalit\u00e4t von Transformationen erweitern und insbesondere k\u00f6nnen Sie zur Laufzeit beliebige Codeausschnitte dynamisch generieren, abh\u00e4ngig von den Laufzeitparametern.<\/p>\n
Dar\u00fcber hinaus ist die Integration mit dem Betriebssystem \u00fcber die Shell in Ab Initio gut ausgebaut. Konkret wird im Sberbank Linux ksh verwendet. Es ist m\u00f6glich, Variablen mit der Shell auszutauschen und sie als Parameter f\u00fcr die Graphen zu verwenden. Sie k\u00f6nnen aus der Shell die Ausf\u00fchrung von Ab Initio-Graphen ansto\u00dfen und Ab Initio verwalten.<\/p>\n
Neben Ab Initio GDE umfasst die Lieferung viele andere Produkte. Es gibt ein eigenes Co>Operation System, das den Anspruch erhebt, ein Betriebssystem zu sein. Es gibt das Control>Center, in dem Sie Zeitpl\u00e4ne f\u00fcr die Ladefl\u00fcsse erstellen und diese \u00fcberwachen k\u00f6nnen. Es gibt Produkte f\u00fcr die Entwicklung auf einer primitiveren Ebene als das, was Ab Initio GDE erm\u00f6glicht.<\/p>\n
Beschreibung des MDW-Frameworks und der Arbeiten zu seiner Feinabstimmung f\u00fcr GreenPlum.<\/h3>\n \nZusammen mit seinen Produkten bietet der Anbieter das Produkt MDW (Metadata Driven Warehouse) an, einen Graph-Configurator, der entwickelt wurde, um bei typischen Aufgaben zur Bef\u00fcllung von Data Warehouses oder Data Vaults zu unterst\u00fctzen.<\/p>\n
Es enth\u00e4lt benutzerdefinierte (projektspezifische) Metadaten-Parser und vorkonfigurierte Code-Generatoren \u201eout of the box\u201c.<\/p>\n
In den F\u00e4llen von Hive und RDBMS werden unterschiedliche Graphen f\u00fcr die initiale und inkrementelle Datenaktualisierung generiert.<\/p>\n
Im Fall von Hive werden die eingegangenen Delta-Daten mithilfe des Ab Initio Join mit den Daten verbunden, die vor dem Update in der Tabelle vorhanden waren. Die Datenladeprozesse in MDW (sowohl in Hive als auch in RDBMS) f\u00fcgen nicht nur neue Daten aus dem Delta hinzu, sondern schlie\u00dfen auch die G\u00fcltigkeitszeitr\u00e4ume der Daten ab, f\u00fcr die das Delta eingegangen ist. Zudem muss der unver\u00e4nderte Teil der Daten neu geschrieben werden. Dies ist notwendig, da es in Hive keine Delete- oder Update-Operationen gibt.<\/p>\n
Somit sind wir zu dem Schluss gekommen, dass im Falle von Hive MDW die gesamte Tabelle neu geschrieben werden muss, da Hive keine Update-Funktion hat. Eine vollst\u00e4ndige Neukodierung der Daten ist beim Aktualisieren schlichtweg die beste L\u00f6sung. Bei RDBMS hingegen hielten es die Produktentwickler f\u00fcr notwendig, die Verbindung und Aktualisierung der Tabellen SQL zu \u00fcberlassen.<\/p>\n
F\u00fcr das Projekt bei Sberbank haben wir eine neue wiederverwendbare Implementierung des Datenbank-Loaders f\u00fcr GreenPlum entwickelt. Diese basiert auf der Version, die MDW f\u00fcr Teradata generiert. Teradata war daf\u00fcr besser geeignet und am n\u00e4chsten dran, da es ebenfalls ein MPP-System ist. Die Arbeitsweise sowie die Syntax von Teradata und GreenPlum erwiesen sich als \u00e4hnlich.<\/p>\n
Beispiele f\u00fcr kritische Unterschiede zwischen verschiedenen RDBMS, die f\u00fcr MDW relevant sind, sind wie folgt. In GreenPlum muss im Gegensatz zu Teradata beim Erstellen von Tabellen die Klausel<\/p>\n
distributed by<\/code><\/pre>\n\nin Teradata verwendet man<\/p>\n
löschen <table> all<\/code><\/pre>\n\n, w\u00e4hrend in GreenPlum geschrieben wird<\/p>\n
löschen von <table><\/code><\/pre>\n\n. In Oracle zur Optimierung schreibt man<\/p>\n
delete from t where rowid in ()<\/code><\/pre>\n\n, w\u00e4hrend man in Teradata und GreenPlum schreibt<\/p>\n
delete from t where exists (select * from delta where delta.pk=t.pk)<\/code><\/pre>\n\nAu\u00dferdem ist zu beachten, dass f\u00fcr den Betrieb von Ab Initio mit GreenPlum der GreenPlum-Client auf allen Knoten des Ab Initio-Clusters installiert werden musste. Dies ist erforderlich, da wir uns von allen Knoten unseres Clusters gleichzeitig mit GreenPlum verbunden haben. Um die parallele Leseoperation aus GreenPlum zu gew\u00e4hrleisten und sicherzustellen, dass jeder parallele Ab Initio-Thread seinen eigenen Datensatz aus GreenPlum liest, musste eine f\u00fcr Ab Initio verst\u00e4ndliche Konstruktion in den Abschnitt \u201ewhere\u201c der SQL-Abfragen eingebaut werden.<\/p>\n
where ABLOCAL()<\/code><\/pre>\n\nund der Wert dieser Konstruktion musste angegeben werden, indem der lesenden Transformation aus der Datenbank der Parameter zugewiesen wurde<\/p>\n
ablocal_expr=\u00abstring_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))\u00bb<\/code><\/pre>\n\n, die in etwas wie<\/p>\n
mod(sk,10)=3<\/code><\/pre>\n\nkompiliert, was bedeutet, dass f\u00fcr jede Partition ein expliziter Filter f\u00fcr GreenPlum angegeben werden muss. F\u00fcr andere Datenbanken (Teradata, Oracle) kann Ab Initio diese Parallelisierung automatisch durchf\u00fchren.<\/p>\n
Vergleichende Leistungsmerkmale von Ab Initio im Umgang mit Hive und GreenPlum.<\/h3>\n \nIm Sberbank wurde ein Experiment zur Vergleichsanalyse der Leistung generierter MDW-Diagramme in Bezug auf Hive und GreenPlum durchgef\u00fchrt. Im Rahmen des Experiments verf\u00fcgte Hive \u00fcber 5 Nodes im selben Cluster wie Ab Initio, w\u00e4hrend GreenPlum \u00fcber 4 Nodes in einem separaten Cluster verf\u00fcgte. Das bedeutet, dass Hive in Bezug auf die Hardware einen gewissen Vorteil gegen\u00fcber GreenPlum hatte.<\/p>\n
Es wurden zwei Paare von Diagrammen betrachtet, die dieselbe Aufgabe f\u00fcr das Datenupdate in Hive und GreenPlum ausf\u00fchren. Dabei wurden die Diagramme eingesetzt, die von dem MDW-Konfigurator generiert wurden:<\/p>\n
\ninitiale Datenladung + inkrementelle Ladung zuf\u00e4llig generierter Daten in eine Hive-Tabelle<\/li>\n initiale Datenladung + inkrementelle Ladung zuf\u00e4llig generierter Daten in eine entsprechende GreenPlum-Tabelle<\/li>\n<\/ul>\n\nIn beiden F\u00e4llen (Hive und GreenPlum) wurden die Ladevorg\u00e4nge in 10 parallelen Str\u00f6men im selben Cluster von Ab Initio ausgef\u00fchrt. Die Zwischendaten f\u00fcr die Berechnungen wurden von Ab Initio in HDFS gespeichert (in Ab Initio-Begriffen wurde ein MFS-Layout unter Verwendung von HDFS genutzt). Eine Zeile zuf\u00e4llig generierter Daten belegte in beiden F\u00e4llen 200 Bytes.<\/p>\n
Das Ergebnis war folgendes:<\/p>\n
Hive:<\/b><\/p>\n
Initiale Datenladung in Hive<\/b><\/p>\n
Zeilen eingef\u00fcgt
Dauer der Initialisierung
Inkrementelles Laden in Hive<\/b><\/p>\n
Anzahl der Zeilen, die zu Beginn des Experiments in
Anzahl der Delta-Zeilen, die w\u00e4hrend des Experiments auf
Dauer des inkrementellen2 541<\/b><\/p>\n
\nGreenPlum:<\/b><\/p>\n
Initiales Laden in GreenPlum<\/b><\/p>\n
Zeilen eingef\u00fcgt
Dauer der Initialisierung
Inkrementelles Laden in GreenPlum<\/b><\/p>\n
Anzahl der Zeilen, die zu Beginn des Experiments in
Anzahl der Delta-Zeilen, die w\u00e4hrend des Experiments auf
Dauer des inkrementellen321<\/b><\/p>\n
\nWir sehen, dass die Geschwindigkeit des initialen Ladevorgangs sowohl in Hive als auch in GreenPlum linear vom Datenvolumen abh\u00e4ngt und aufgrund besserer Hardware etwas schneller f\u00fcr Hive ist als f\u00fcr GreenPlum.<\/p>\n
Das inkrementelle Laden in Hive h\u00e4ngt ebenfalls linear vom Volumen der zuvor geladenen Daten in der Ziel-Tabelle ab und verl\u00e4uft mit steigendem Volumen relativ langsam. Dies liegt daran, dass die gesamte Ziel-Tabelle neu geschrieben werden muss. Das bedeutet, dass die Anwendung kleiner \u00c4nderungen auf gro\u00dfe Tabellen f\u00fcr Hive nicht besonders sinnvoll ist.<\/p>\n
Die inkrementelle Ladegeschwindigkeit in GreenPlum ist nur schwach vom Volumen der zuvor in der Zieltabelle geladenen Daten abh\u00e4ngig und verl\u00e4uft relativ schnell. Dies wurde durch SQL Joins und die Architektur von GreenPlum erm\u00f6glicht, die die L\u00f6schoperation unterst\u00fctzt.<\/p>\n
GreenPlum speist daher die Delta-Daten durch delete+insert ein, w\u00e4hrend es in Hive keine delete- oder update-Operationen gibt. Deshalb musste der gesamte Datensatz bei inkrementellen Updates vollst\u00e4ndig neu geschrieben werden. Besonders aussagekr\u00e4ftig ist der Vergleich der fett hervorgehobenen Zellen, da sie dem h\u00e4ufigsten Nutzungsszenario ressourcenintensiver Ladevorg\u00e4nge entsprechen. Wir sehen, dass GreenPlum in diesem Test in einem Verh\u00e4ltnis von 1 zu 8 gegen\u00fcber Hive gewonnen hat.<\/p>\n
Ab Initio im Einsatz mit GreenPlum im Near Real Time-Modus.<\/h3>\n \nIn diesem Experiment \u00fcberpr\u00fcfen wir die M\u00f6glichkeit von Ab Initio, die Tabelle GreenPlum mit zuf\u00e4llig generierten Datenportionen in einem nahezu Echtzeitmodus zu aktualisieren. Wir betrachten die Tabelle GreenPlum dev42_1_db_usl.TESTING_SUBJ_org_finval, mit der wir arbeiten werden.<\/p>\n
Wir werden drei Ab Initio-Diagramme f\u00fcr die Arbeit mit dieser Tabelle verwenden:<\/p>\n
1) Das Diagramm Create_test_data.mp \u2013 erstellt in 10 parallelen Str\u00f6men Dateien mit Daten in HDFS mit 6.000.000 Zeilen. Die Daten sind zuf\u00e4llig, ihre Struktur ist so organisiert, dass sie in unsere Tabelle eingef\u00fcgt werden k\u00f6nnen.<\/p>\n
\n6.000.000 Testzeilen generieren<\/li>\n eine initiale Ladeoperation durchf\u00fchren, um 6.000.000 Testzeilen in eine leere Tabelle einzuf\u00fcgen<\/li>\n 5 Mal das inkrementelle Laden wiederholen\n\n6.000.000 Testzeilen generieren<\/li>\n eine inkrementelle Einf\u00fcgung von 6.000.000 Testzeilen in die Tabelle vornehmen (wobei alten Daten die G\u00fcltigkeit valid_to_ts entzogen und frischere Daten mit demselben Prim\u00e4rschl\u00fcssel eingef\u00fcgt werden)<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\nEin solches Szenario emuliert den Echtzeitbetrieb eines bestimmten Gesch\u00e4ftssystems \u2013 in Echtzeit tritt eine erhebliche Menge neuer Daten auf, die sofort in GreenPlum eingebracht wird.<\/p>\n
Lassen Sie uns nun das Protokoll der Arbeit des Szenarios ansehen:<\/p>\n
Start Create_test_data.input.pset am 2020-06-04 11:49:11
Das ergibt folgendes Bild:<\/p>\n
Grafik
Create_test_data.input.pset
mdw_load.day_one.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
\nWir sehen, dass 6.000.000 inkrementeller Zeilen in 3 Minuten verarbeitet werden, was ziemlich schnell ist.
select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;<\/code><\/pre>\n\n
Fazit<\/h2>\n \nAktuell wird Ab Initio von Sberbank zur Erstellung einer einheitlichen semantischen Datenschicht (ESS) verwendet. Dieses Projekt zielt darauf ab, eine konsolidierte Version des Zustands verschiedener bankenspezifischer Gesch\u00e4ftsobjekte zu schaffen. Die Informationen stammen aus unterschiedlichen Quellen, deren Replikate auf Hadoop vorbereitet werden. Auf Basis der gesch\u00e4ftlichen Anforderungen wird ein Datenmodell erstellt und die Daten-Transformationen werden beschrieben. Ab Initio l\u00e4dt die Informationen in die ESS, und die geladenen Daten sind nicht nur von Interesse f\u00fcr das Gesch\u00e4ft selbst, sondern dienen auch als Quelle f\u00fcr die Erstellung von Datenvisualisierungen. Die Funktionalit\u00e4t des Produkts erm\u00f6glicht es, verschiedene Systeme (Hive, Greenplum, Teradata, Oracle) als Ziel zu nutzen, was es erm\u00f6glicht, die Daten ohne gro\u00dfen Aufwand in den ben\u00f6tigten Formaten f\u00fcr das Gesch\u00e4ft vorzubereiten.<\/p>\n
Die M\u00f6glichkeiten von Ab Initio sind vielf\u00e4ltig. Beispielsweise erm\u00f6glicht das integrierte MDW-Framework, Datenhistorien f\u00fcr technische und gesch\u00e4ftliche Zwecke \"out of the box\" zu erstellen. Entwicklern bietet Ab Initio die Chance, \"das Rad nicht neu zu erfinden\" und aus einer Vielzahl von verf\u00fcgbaren Funktionalit\u00e4ten zu sch\u00f6pfen, die im Wesentlichen als Bibliotheken zur Arbeit mit Daten dienen.<\/p>\n
Autor \u2013 Experte der professionellen Gemeinschaft von Sberbank SberProfi DWH\/BigData. Die SberProfi DWH\/BigData-Gemeinschaft ist verantwortlich f\u00fcr die Entwicklung von Kompetenzen in Bereichen wie der Hadoop-\u00d6kosystem, Teradata, Oracle DB, GreenPlum sowie BI-Tools wie Qlik, SAP BO, Tableau und weitere.<\/p><\/blockquote>\n
Quelle: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0432\u0441\u0442\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u0432\u044b\u0431\u043e\u0440\u0430 ETL-\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 BigData. \u0420\u0430\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0435\u0435\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435 Informatica BDM \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u043e \u043d\u0430\u0441 \u0438\u0437-\u0437\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0451 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u0435\u043b\u043e\u0441\u044c \u043a \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0443 \u043f\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434 spark-submit. \u041d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438\u043c\u0435\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432, \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c. […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":87610,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-87609","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t