serwera<\/a>, jak i w HDFS.<\/p>\nW ka\u017cdej transformacji na bazie szablonu domy\u015blnego mo\u017cna stworzy\u0107 w\u0142asny skrypt w j\u0119zyku PDL, kt\u00f3ry przypomina nieco shell. <\/p>\n
Dzi\u0119ki j\u0119zykowi PDL mo\u017cna rozszerza\u0107 funkcjonalno\u015b\u0107 transformacji i, w szczeg\u00f3lno\u015bci, dynamicznie (w czasie wykonania) generowa\u0107 dowolne fragmenty kodu w zale\u017cno\u015bci od parametr\u00f3w wykonania.<\/p>\n
W Ab Initio dobrze rozwini\u0119ta jest integracja z systemem operacyjnym przez shell. W Sberbanku u\u017cywa si\u0119 konkretnego linux ksh. Mo\u017cna wymienia\u0107 si\u0119 ze shell zmiennymi i u\u017cywa\u0107 ich jako parametr\u00f3w graf\u00f3w. Mo\u017cna z shell wywo\u0142ywa\u0107 wykonanie graf\u00f3w Ab Initio i zarz\u0105dza\u0107 Ab Initio.<\/p>\n
Opr\u00f3cz Ab Initio GDE dostarczanych jest wiele innych produkt\u00f3w. Jest w\u0142asny system Co>Operation, kt\u00f3ry aspiruje do nazwy systemu operacyjnego. Istnieje Control>Center, w kt\u00f3rym mo\u017cna ustawia\u0107 harmonogramy i monitorowa\u0107 strumienie za\u0142adunku. S\u0105 r\u00f3wnie\u017c produkty do realizacji rozwoju na bardziej prymitywnym poziomie, ni\u017c pozwala na to Ab Initio GDE.<\/p>\n
Opis frameworka MDW oraz prace nad jego dostosowaniem do GreenPlum<\/h3>\n \nWraz ze swoimi produktami dostawca dostarcza tak\u017ce produkt MDW (Metadata Driven Warehouse), kt\u00f3ry stanowi konfigurator graf\u00f3w, przeznaczony do wspomagania w typowych zadaniach zwi\u0105zanych z zape\u0142nianiem hurtowni danych lub vault\u00f3w danych.<\/p>\n
Zawiera on parsery metadanych dostosowane do projektu oraz gotowe generatory kodu 'z pude\u0142ka'.<\/p>\n
W przypadku Hive i RDBMS generowane s\u0105 r\u00f3\u017cne grafy dla inicjalizacji i inkrementalnej aktualizacji danych.<\/p>\n
W przypadku Hive otrzymane dane delta s\u0105 \u0142\u0105czone za pomoc\u0105 Ab Initio Join z danymi, kt\u00f3re znajdowa\u0142y si\u0119 w tabeli przed aktualizacj\u0105. \u0141adowarki danych w MDW (zar\u00f3wno w Hive, jak i RDBMS) nie tylko wstawiaj\u0105 nowe dane z delty, ale tak\u017ce zamykaj\u0105 okresy wa\u017cno\u015bci danych, dla kt\u00f3rych delta zosta\u0142a przes\u0142ana. Ponadto, nale\u017cy ponownie zapisa\u0107 niezmienion\u0105 cz\u0119\u015b\u0107 danych. Tak trzeba robi\u0107, poniewa\u017c w Hive nie ma operacji delete ani update.<\/p>\n
W ten spos\u00f3b doszli\u015bmy do wniosku, \u017ce w przypadku Hive MDW musi zdecydowa\u0107 si\u0119 na ponowne zapisanie ca\u0142ej tabeli, poniewa\u017c Hive nie ma funkcji aktualizacji. I nic lepszego ni\u017c pe\u0142ne przepisanie danych podczas aktualizacji nie zosta\u0142o wymy\u015blone. W przypadku RDBMS, przeciwnie, tw\u00f3rcy produktu uznali za stosowne zleci\u0107 \u0142\u0105czenie i aktualizacj\u0119 tabel wykorzystaniu SQL.<\/p>\n
Dla projektu w Sberbanku stworzyli\u015bmy now\u0105 wielokrotnego u\u017cytku implementacj\u0119 \u0142adowarki bazy danych dla GreenPlum. Zosta\u0142o to zrealizowane na podstawie wersji, kt\u00f3r\u0105 MDW generuje dla Teradata. To w\u0142a\u015bnie Teradata, a nie Oracle, okaza\u0142a si\u0119 lepsza i najbli\u017csza, poniewa\u017c r\u00f3wnie\u017c jest systemem MPP. Sposoby pracy oraz sk\u0142adnia Teradata i GreenPlum okaza\u0142y si\u0119 bliskie.<\/p>\n
Przyk\u0142ady krytycznych r\u00f3\u017cnic dla MDW mi\u0119dzy r\u00f3\u017cnymi RDBMS s\u0105 nast\u0119puj\u0105ce. W GreenPlum, w przeciwie\u0144stwie do Teradata, podczas tworzenia tabel nale\u017cy napisa\u0107 klauzul\u0119<\/p>\n
distributed by<\/code><\/pre>\n\nW Teradata pisze si\u0119<\/p>\n
usu\u0144 <table> wszystko<\/code><\/pre>\n\n, a w GreenPlum pisze si\u0119<\/p>\n
usu\u0144 z <table><\/code><\/pre>\n\nW Oracle w celu optymalizacji pisze si\u0119<\/p>\n
delete from t where rowid in ()<\/code><\/pre>\n\n, a w Teradata i GreenPlum pisze si\u0119<\/p>\n
delete from t where exists (select * from delta where delta.pk=t.pk)<\/code><\/pre>\n\nDodatkowo zauwa\u017camy, \u017ce do pracy Ab Initio z GreenPlum konieczne by\u0142o zainstalowanie klienta GreenPlum na wszystkich w\u0119z\u0142ach klastra Ab Initio. Dzieje si\u0119 tak, poniewa\u017c po\u0142\u0105czyli\u015bmy si\u0119 z GreenPlum jednocze\u015bnie ze wszystkich w\u0119z\u0142\u00f3w naszego klastra. Aby odczyt z GreenPlum odbywa\u0142 si\u0119 r\u00f3wnolegle i ka\u017cdy r\u00f3wnoleg\u0142y w\u0105tek Ab Initio odczytywa\u0142 swoj\u0105 porcj\u0119 danych z GreenPlum, musieli\u015bmy umie\u015bci\u0107 w sekcji \u201ewhere\u201d zapytania SQL konstrukcj\u0119 rozumian\u0105 przez Ab Initio<\/p>\n
where ABLOCAL()<\/code><\/pre>\n\ni zdefiniowa\u0107 warto\u015b\u0107 tej konstrukcji, wskazuj\u0105c czytaj\u0105cej z bazy danych transformacji parametr<\/p>\n
ablocal_expr=\u00abstring_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))\u00bb<\/code><\/pre>\n\n, kt\u00f3ra kompiluje si\u0119 w co\u015b w rodzaju<\/p>\n
mod(sk,10)=3<\/code><\/pre>\n\n, tzn. musimy podsun\u0105\u0107 GreenPlum wyra\u017any filtr dla ka\u017cdej partycji. Dla innych baz danych (Teradata, Oracle) Ab Initio mo\u017ce wykona\u0107 to r\u00f3wnoleglenie automatycznie.<\/p>\n
Por\u00f3wnawcze charakterystyki wydajno\u015bci Ab Initio w pracy z Hive i GreenPlum<\/h3>\n \nW Sberbanku przeprowadzono eksperyment por\u00f3wnawczy wydajno\u015bci wygenerowanych graf\u00f3w MDW w odniesieniu do Hive i GreenPlum. W ramach eksperymentu w przypadku Hive by\u0142o 5 w\u0119z\u0142\u00f3w w tym samym klastrze, co Ab Initio, a w przypadku GreenPlum by\u0142o 4 w\u0119z\u0142y w osobnym klastrze. Tzn. Hive mia\u0142o pewn\u0105 przewag\u0119 nad GreenPlum \u201ena sprz\u0119cie\u201d.<\/p>\n
Rozwa\u017cono dwie pary graf\u00f3w, kt\u00f3re wykonuj\u0105 to samo zadanie aktualizacji danych w Hive i GreenPlum. Przy tym uruchomiono grafy wygenerowane przez konfigurator MDW:<\/p>\n
\ninicjalizuj\u0105ce \u0142adowanie + inkrementalne \u0142adowanie losowo wygenerowanych danych do tabeli Hive<\/li>\n inicjalizuj\u0105ce \u0142adowanie + inkrementalne \u0142adowanie losowo wygenerowanych danych do identycznej tabeli GreenPlum<\/li>\n<\/ul>\n\nW obu przypadkach (Hive i GreenPlum) uruchomiono \u0142adowania w 10 r\u00f3wnoleg\u0142ych w\u0105tkach na tym samym klastrze Ab Initio. Po\u015brednie dane do oblicze\u0144 Ab Initio by\u0142y przechowywane w HDFS (w terminach Ab Initio u\u017cyto uk\u0142adu MFS u\u017cywaj\u0105cego HDFS). Jedna losowo wygenerowana linia danych zajmowa\u0142a w obu przypadkach po 200 bajt\u00f3w.<\/p>\n
Wynik jest nast\u0119puj\u0105cy:<\/p>\n
Hive:<\/b><\/p>\n
Inicjalne \u0142adowanie w Hive<\/b><\/p>\n
Wstawiono wierszy
Czas trwania inicjalnego
Inkrementalne \u0142adowanie w Hive<\/b><\/p>\n
Liczba wierszy, kt\u00f3re znajdowa\u0142y si\u0119 w
Liczba wierszy r\u00f3\u017cnicy, kt\u00f3re zastosowano do
Czas trwania inkrementalnego2 541<\/b><\/p>\n
\nGreenPlum:<\/b><\/p>\n
Inicjalne \u0142adowanie w GreenPlum<\/b><\/p>\n
Wstawiono wierszy
Czas trwania inicjalnego
Inkrementalne \u0142adowanie w GreenPlum<\/b><\/p>\n
Liczba wierszy, kt\u00f3re znajdowa\u0142y si\u0119 w
Liczba wierszy r\u00f3\u017cnicy, kt\u00f3re zastosowano do
Czas trwania inkrementalnego321<\/b><\/p>\n
\nWidzimy, \u017ce pr\u0119dko\u015b\u0107 inicjalnego \u0142adowania zar\u00f3wno w Hive, jak i w GreenPlum liniowo zale\u017cy od obj\u0119to\u015bci danych, a z powodu lepszego sprz\u0119tu jest nieco szybsza dla Hive ni\u017c dla GreenPlum.<\/p>\n
Inkrementalne \u0142adowanie w Hive tak\u017ce liniowo zale\u017cy od obj\u0119to\u015bci danych wcze\u015bniej za\u0142adowanych do docelowej tabeli i przebiega stosunkowo wolno w miar\u0119 wzrostu obj\u0119to\u015bci. Spowodowane jest to konieczno\u015bci\u0105 ca\u0142kowitego przepisania docelowej tabeli. Oznacza to, \u017ce zastosowanie ma\u0142ych zmian w ogromnych tabelach nie jest najlepszym sposobem wykorzystania dla Hive.<\/p>\n
Z kolei inkrementalne \u0142adowanie w GreenPlum ma s\u0142abo rozwini\u0119t\u0105 zale\u017cno\u015b\u0107 od obj\u0119to\u015bci dotychczasowych danych w docelowej tabeli i przebiega wystarczaj\u0105co szybko. Uda\u0142o si\u0119 to dzi\u0119ki SQL Joins i architekturze GreenPlum, kt\u00f3ra pozwala na operacj\u0119 delete.<\/p>\n
Zatem GreenPlum wprowadza r\u00f3\u017cnic\u0119 metod\u0105 delete+insert, a w Hive nie ma operacji delete ani update, dlatego ca\u0142y zbi\u00f3r danych podczas inkrementalnej aktualizacji musia\u0142 by\u0107 przepisywany w ca\u0142o\u015bci. Najbardziej wyra\u017ane jest por\u00f3wnanie wyr\u00f3\u017cnionych pogrubionych kom\u00f3rek, poniewa\u017c odpowiada ono najcz\u0119stszemu wariantowi u\u017cytkowania zasoboch\u0142onnych \u0142adowa\u0144. Widzimy, \u017ce GreenPlum wygra\u0142 z Hive w tym te\u015bcie 8 razy.<\/p>\n
Praca Ab Initio z GreenPlum w trybie Near Real Time<\/h3>\n \nW tym eksperymencie sprawdzimy mo\u017cliwo\u015b\u0107 Ab Initio dokonywania aktualizacji tabeli GreenPlum losowo generowanymi porcjami danych w trybie zbli\u017conym do rzeczywistego czasu. Rozwa\u017cymy tabel\u0119 GreenPlum dev42_1_db_usl.TESTING_SUBJ_org_finval, z kt\u00f3r\u0105 b\u0119dzie prowadzona praca.<\/p>\n
B\u0119dziemy u\u017cywa\u0107 trzech graf\u00f3w Ab Initio do pracy z ni\u0105:<\/p>\n
1) Graf Create_test_data.mp \u2013 tworzy w 10 r\u00f3wnoleg\u0142ych w\u0105tkach pliki z danymi w HDFS zawieraj\u0105ce 6 000 000 wierszy. Dane s\u0105 losowe, ich struktura jest zorganizowana do wstawienia w nasz\u0105 tabel\u0119.<\/p>\n
\nwygenerowa\u0107 6 000 000 testowych wierszy.<\/li>\n przeprowadzi\u0107 inicjalizuj\u0105c\u0105 za\u0142adunek i wstawi\u0107 6 000 000 testowych wierszy do pustej tabeli.<\/li>\n powt\u00f3rzy\u0107 5 razy za\u0142adunek inkrementalny.\n\nwygenerowa\u0107 6 000 000 testowych wierszy.<\/li>\n przeprowadzi\u0107 inkrementalne wstawienie 6 000 000 testowych wierszy do tabeli (w tym przypadku starym danym przypisywany jest czas wyga\u015bni\u0119cia valid_to_ts i wstawiane s\u0105 nowsze dane z tym samym kluczem g\u0142\u00f3wnym).<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\nTen scenariusz emuluje tryb rzeczywistej pracy pewnego systemu biznesowego \u2013 w czasie rzeczywistym pojawia si\u0119 znaczna porcja nowych danych i natychmiast zlewa si\u0119 w GreenPlum.<\/p>\n
Teraz przyjrzyjmy si\u0119 logowi pracy scenariusza:<\/p>\n
Start Create_test_data.input.pset at 2020-06-04 11:49:11
Uzyskuje si\u0119 taki obraz:<\/p>\n
Wykres
Create_test_data.input.pset
mdw_load.day_one.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
Create_test_data.input.pset
mdw_load.regular.current.
\nWidzimy, \u017ce 6 000 000 wierszy inkrementalnych przetwarza si\u0119 w ci\u0105gu 3 minut, co jest wystarczaj\u0105co szybkie.
select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;<\/code><\/pre>\n\n
Podsumowanie<\/h2>\n \nObecnie Ab Initio jest u\u017cywane w Sberbanku do budowy Jednolitej semantycznej warstwy danych (ESS). Projekt ten zak\u0142ada budow\u0119 jedynej wersji stanu r\u00f3\u017cnych bankowych byt\u00f3w biznesowych. Informacje pochodz\u0105 z r\u00f3\u017cnych \u017ar\u00f3de\u0142, kt\u00f3rych repliki s\u0105 przygotowywane na Hadoop. W zale\u017cno\u015bci od potrzeb biznesowych, opracowywany jest model danych i opisane s\u0105 transformacje danych. Ab Initio \u0142aduje informacje do ESS, a za\u0142adowane dane nie tylko same w sobie maj\u0105 znaczenie dla biznesu, ale s\u0105 r\u00f3wnie\u017c \u017ar\u00f3d\u0142em do budowy witryn danych. Funkcjonalno\u015b\u0107 produktu pozwala na u\u017cywanie r\u00f3\u017cnych system\u00f3w jako odbiornik\u00f3w (Hive, Greenplum, Teradata, Oracle), co daje mo\u017cliwo\u015b\u0107 przygotowania danych dla biznesu w r\u00f3\u017cnych jego wymaganych formatach.<\/p>\n
Mo\u017cliwo\u015bci Ab Initio s\u0105 szerokie, na przyk\u0142ad do\u0142\u0105czony framework MDW pozwala na budowanie technicznej i biznesowej historii danych \"z pude\u0142ka\". Dla programist\u00f3w Ab Initio daje mo\u017cliwo\u015b\u0107 \"nie wymy\u015blania ko\u0142a na nowo\", a korzystania z wielu istniej\u0105cych komponent\u00f3w funkcjonalnych, b\u0119d\u0105cych de facto bibliotekami, kt\u00f3re s\u0105 potrzebne przy pracy z danymi.<\/p>\n
Autor \u2014 ekspert profesjonalnej spo\u0142eczno\u015bci Sberbanku SberProfi DWH\/BiGoData. Spo\u0142eczno\u015b\u0107 profesjonalna SberProfi DWH\/BiGoData odpowiada za rozw\u00f3j kompetencji w takich dziedzinach jak ekosystem Hadoop, Teradata, Oracle DB, GreenPlum, a tak\u017ce narz\u0119dzia BI takie jak Qlik, SAP BO, Tableau i inne.<\/p><\/blockquote>\n
\u0179r\u00f3d\u0142o: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0437\u0430\u0434 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0432\u0441\u0442\u0430\u043b \u0432\u043e\u043f\u0440\u043e\u0441 \u0432\u044b\u0431\u043e\u0440\u0430 ETL-\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0430 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 BigData. \u0420\u0430\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0435\u0435\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435 Informatica BDM \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b\u043e \u043d\u0430\u0441 \u0438\u0437-\u0437\u0430 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0415\u0451 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0432\u0435\u043b\u043e\u0441\u044c \u043a \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0443 \u043f\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u043a\u043e\u043c\u0430\u043d\u0434 spark-submit. \u041d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438\u043c\u0435\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432, \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0435\u043c \u043e\u0431\u044a\u0451\u043c\u043e\u043c \u0434\u0430\u043d\u043d\u044b\u0445, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c. […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":87610,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-87609","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t