Nigbati o ba ni awọn irẹjẹ Sber. Lilo Ab Initio pẹlu Ile Agbon ati GreenPlum

Ni akoko diẹ sẹhin, a dojuko ibeere ti yiyan ohun elo ETL fun ṣiṣẹ pẹlu Big Data. Ojutu BDM Informatica ti a lo tẹlẹ ko baamu wa nitori iṣẹ ṣiṣe to lopin. Lilo rẹ ti dinku si ilana kan fun ifilọlẹ awọn aṣẹ ifisilẹ sipaki. Ko si ọpọlọpọ awọn analogues lori ọja ti o jẹ, ni ipilẹ, ti o lagbara lati ṣiṣẹ pẹlu iwọn data ti a ṣe pẹlu lojoojumọ. Ni ipari a yan Ab Initio. Lakoko awọn ifihan awaoko, ọja naa ṣafihan iyara sisẹ data giga pupọ. O fẹrẹ ko si alaye nipa Ab Initio ni Russian, nitorinaa a pinnu lati sọrọ nipa iriri wa lori Habré.

Ab Initio ni ọpọlọpọ Ayebaye ati awọn iyipada dani, koodu eyiti o le faagun ni lilo ede PDL tirẹ. Fun iṣowo kekere kan, iru ohun elo ti o lagbara yoo ṣee ṣe pupọju, ati pupọ julọ awọn agbara rẹ le jẹ gbowolori ati ki o ko lo. Ṣugbọn ti iwọn rẹ ba sunmọ Sberov's, lẹhinna Ab Initio le jẹ ohun ti o nifẹ si ọ.

O ṣe iranlọwọ fun iṣowo lati ṣajọpọ imo ni agbaye ati idagbasoke ilolupo eda, ati olupilẹṣẹ lati mu awọn ọgbọn rẹ dara si ni ETL, mu imọ rẹ dara si ninu ikarahun, pese aye lati ṣakoso ede PDL, funni ni aworan wiwo ti awọn ilana ikojọpọ, ati irọrun idagbasoke. nitori awọn opo ti iṣẹ-ṣiṣe irinše.

Ninu ifiweranṣẹ yii Emi yoo sọrọ nipa awọn agbara ti Ab Initio ati pese awọn abuda afiwera ti iṣẹ rẹ pẹlu Hive ati GreenPlum.

• Apejuwe ti ilana MDW ati ṣiṣẹ lori isọdi rẹ fun GreenPlum
• Ab Initio išẹ lafiwe laarin Ile Agbon ati GreenPlum
• Ṣiṣẹ Ab Initio pẹlu GreenPlum ni Ipo Akoko Gidi Nitosi

Iṣẹ ṣiṣe ti ọja yii gbooro pupọ ati pe o nilo akoko pupọ lati kawe. Sibẹsibẹ, pẹlu awọn ọgbọn iṣẹ to dara ati awọn eto iṣẹ ṣiṣe to tọ, awọn abajade ti sisẹ data jẹ iwunilori pupọ. Lilo Ab Initio fun idagbasoke kan le pese iriri ti o nifẹ si. Eyi jẹ imudani tuntun lori idagbasoke ETL, arabara laarin agbegbe wiwo ati idagbasoke igbasilẹ ni ede ti o dabi iwe afọwọkọ.

Awọn iṣowo n ṣe idagbasoke awọn eto ilolupo wọn ati pe ọpa yii wa ni ọwọ diẹ sii ju igbagbogbo lọ. Pẹlu Ab Initio, o le ṣajọpọ imọ nipa iṣowo lọwọlọwọ rẹ ki o lo imọ yii lati faagun atijọ ati ṣiṣi awọn iṣowo tuntun. Awọn yiyan si Ab Initio pẹlu awọn agbegbe idagbasoke wiwo Informatica BDM ati awọn agbegbe idagbasoke ti kii ṣe wiwo Apache Spark.

Apejuwe ti Ab Initio

Ab Initio, bii awọn irinṣẹ ETL miiran, jẹ akojọpọ awọn ọja.

Ab Initio GDE (Ayika Idagbasoke Aworan) jẹ agbegbe fun idagbasoke ninu eyiti o ṣe atunto awọn iyipada data ati so wọn pọ pẹlu ṣiṣan data ni irisi awọn ọfa. Ni ọran yii, iru eto awọn iyipada ni a pe ni iwọn:

Awọn isopọ titẹ sii ati iṣelọpọ ti awọn paati iṣẹ jẹ awọn ebute oko oju omi ati ni awọn aaye ti a ṣe iṣiro laarin awọn iyipada. Orisirisi awọn aworan ti a ti sopọ nipasẹ awọn ṣiṣan ni irisi awọn ọfa ni aṣẹ ti ipaniyan wọn ni a pe ni ero.

Ọpọlọpọ awọn paati iṣẹ-ṣiṣe ọgọrun wa, eyiti o jẹ pupọ. Ọpọlọpọ awọn ti wọn wa ni gíga specialized. Awọn agbara ti awọn iyipada Ayebaye ni Ab Initio jẹ gbooro ju awọn irinṣẹ ETL miiran lọ. Fun apẹẹrẹ, Darapọ mọ ni ọpọlọpọ awọn abajade. Ni afikun si abajade ti sisopọ datasets, o le gba awọn igbasilẹ ti o wu jade ti awọn igbewọle datasets ti awọn bọtini ko le sopọ. O tun le gba awọn ikọsilẹ, awọn aṣiṣe ati iwe akọọlẹ ti iṣẹ iyipada, eyiti o le ka ni iwe kanna bi faili ọrọ ati ni ilọsiwaju pẹlu awọn iyipada miiran:

Tabi, fun apẹẹrẹ, o le ṣe ohun elo olugba data ni irisi tabili kan ki o ka data lati ọdọ rẹ ni iwe kanna.

Awọn iyipada atilẹba wa. Fun apẹẹrẹ, iyipada Scan naa ni iṣẹ ṣiṣe ti o jọra si awọn iṣẹ itupalẹ. Awọn iyipada wa pẹlu awọn orukọ asọye ti ara ẹni: Ṣẹda Data, Ka Excel, Normalize, Too laarin Awọn ẹgbẹ, Ṣiṣe Eto, Ṣiṣe SQL, Darapọ mọ DB, bbl Awọn aworan le lo awọn aye akoko ṣiṣe, pẹlu iṣeeṣe ti awọn aye gbigbe lati tabi si ẹrọ ṣiṣe. Awọn faili pẹlu eto ti a ti ṣetan ti awọn aye ti o kọja si iyaya naa ni a pe ni awọn eto paramita (psets).

Gẹgẹbi a ti ṣe yẹ, Ab Initio GDE ni ibi ipamọ tirẹ ti a pe ni EME (Ayika Meta Idawọlẹ). Awọn olupilẹṣẹ ni aye lati ṣiṣẹ pẹlu awọn ẹya agbegbe ti koodu ati ṣayẹwo ninu awọn idagbasoke wọn sinu ibi ipamọ aarin.

O ṣee ṣe, lakoko ipaniyan tabi lẹhin ṣiṣe awọn aworan, lati tẹ lori eyikeyi sisan ti o so iyipada naa ki o wo data ti o kọja laarin awọn iyipada wọnyi:

O tun ṣee ṣe lati tẹ lori ṣiṣan eyikeyi ki o wo awọn alaye ipasẹ - iye awọn afiwera ti iyipada naa ṣiṣẹ ninu, awọn laini ati awọn baiti melo ni a kojọpọ sinu eyiti o jọra:

O ṣee ṣe lati pin ipaniyan ti iwọn si awọn ipele ati samisi pe diẹ ninu awọn iyipada nilo lati ṣe ni akọkọ (ni ipele odo), awọn atẹle ni ipele akọkọ, awọn atẹle ni ipele keji, ati bẹbẹ lọ.

Fun iyipada kọọkan, o le yan ohun ti a pe ni akọkọ (nibiti yoo ti ṣiṣẹ): laisi awọn afiwera tabi ni awọn okun ti o jọra, nọmba eyiti o le sọ pato. Ni akoko kanna, awọn faili igba diẹ ti Ab Initio ṣẹda nigbati awọn iyipada nṣiṣẹ ni a le gbe mejeeji sinu eto faili olupin ati ni HDFS.

Ninu iyipada kọọkan, da lori awoṣe aiyipada, o le ṣẹda iwe afọwọkọ tirẹ ni PDL, eyiti o jẹ diẹ bi ikarahun kan.

Pẹlu PDL, o le fa iṣẹ ṣiṣe ti awọn iyipada ati, ni pataki, o le ni agbara (ni akoko asiko) ṣe ina awọn ajẹku koodu lainidii da lori awọn aye asiko.

Ab Initio tun ni isọdọkan ti o ni idagbasoke daradara pẹlu OS nipasẹ ikarahun. Ni pato, Sberbank nlo linux ksh. O le paarọ awọn oniyipada pẹlu ikarahun naa ki o lo wọn bi awọn aye ayaworan. O le pe ipaniyan ti awọn aworan Ab Initio lati ikarahun ati ṣakoso Ab Initio.

Ni afikun si Ab Initio GDE, ọpọlọpọ awọn ọja miiran wa ninu ifijiṣẹ. Eto Iṣọkan ti tirẹ wa pẹlu ẹtọ lati pe ni ẹrọ ṣiṣe. Iṣakoso wa>Ile-iṣẹ nibiti o ti le ṣeto ati ṣetọju awọn ṣiṣan igbasilẹ. Awọn ọja wa fun ṣiṣe idagbasoke ni ipele alakoko diẹ sii ju Ab Initio GDE gba laaye.

Apejuwe ti ilana MDW ati ṣiṣẹ lori isọdi rẹ fun GreenPlum

Paapọ pẹlu awọn ọja rẹ, olutaja n pese ọja MDW (Metadata Driven Warehouse), eyiti o jẹ atunto ayaworan kan ti a ṣe lati ṣe iranlọwọ pẹlu awọn iṣẹ ṣiṣe aṣoju ti awọn ibi ipamọ data gbigbe tabi awọn ibi ipamọ data.

O ni aṣa (pato-iṣẹ akanṣe) awọn parsers metadata ati awọn olupilẹṣẹ koodu ti o ṣetan lati inu apoti.

Gẹgẹbi titẹ sii, MDW gba awoṣe data kan, faili atunto kan fun eto asopọ si ibi ipamọ data (Oracle, Teradata tabi Ile Agbon) ati diẹ ninu awọn eto miiran. Apakan-iṣẹ akanṣe, fun apẹẹrẹ, nfi awoṣe ranṣẹ si ibi ipamọ data. Apakan-jade ti ọja naa n ṣe awọn aworan ati awọn faili atunto fun wọn nipa gbigbe data sinu awọn tabili awoṣe. Ni ọran yii, awọn aworan (ati awọn psets) ni a ṣẹda fun ọpọlọpọ awọn ipo ti ipilẹṣẹ ati iṣẹ afikun lori awọn nkan isọdọtun.

Ni awọn ọran ti Hive ati RDBMS, awọn aworan oriṣiriṣi wa ni ipilẹṣẹ fun ipilẹṣẹ ati awọn imudojuiwọn data afikun.

Ninu ọran ti Hive, data delta ti nwọle ti sopọ nipasẹ Ab Initio Darapọ mọ data ti o wa ninu tabili ṣaaju imudojuiwọn naa. Awọn agberu data ni MDW (mejeeji ni Ile Agbon ati RDBMS) kii ṣe fi data tuntun sii nikan lati delta, ṣugbọn tun pa awọn akoko ibaramu ti data ti awọn bọtini akọkọ gba delta naa. Ni afikun, o ni lati tun kọ apakan ti ko yipada ti data naa. Ṣugbọn eyi ni lati ṣee nitori Ile Agbon ko ni piparẹ tabi awọn iṣẹ ṣiṣe imudojuiwọn.

Ninu ọran ti RDBMS, awọn aworan fun imudojuiwọn data afikun wo aipe diẹ sii, nitori RDBMS ni awọn agbara imudojuiwọn gidi.

Ti kojọpọ delta ti o gba sinu tabili agbedemeji ninu aaye data. Lẹhin eyi, delta ti sopọ si data ti o wa ninu tabili ṣaaju imudojuiwọn naa. Ati pe eyi ni lilo SQL nipa lilo ibeere SQL ti ipilẹṣẹ. Nigbamii ti, lilo awọn pipaṣẹ SQL piparẹ + fi sii, data tuntun lati delta ti fi sii sinu tabili ibi-afẹde ati awọn akoko ibaramu ti data ti awọn bọtini akọkọ ti gba delta ti wa ni pipade.
Ko si ye lati tun kọ data ti ko yipada.

Nitorinaa a wa si ipari pe ninu ọran ti Ile Agbon, MDW ni lati lọ lati tun gbogbo tabili kọ nitori Ile Agbon ko ni iṣẹ imudojuiwọn. Ati pe ko si ohun ti o dara julọ ju atunkọ data naa patapata nigbati a ti ṣe imudojuiwọn. Ninu ọran ti RDBMS, ni ilodi si, awọn olupilẹṣẹ ọja rii pe o jẹ dandan lati fi igbẹkẹle asopọ ati imudojuiwọn awọn tabili si lilo SQL.

Fun iṣẹ akanṣe kan ni Sberbank, a ṣẹda tuntun kan, imuse atunlo ti agberu data fun GreenPlum. Eyi ni a ṣe da lori ẹya ti MDW ṣe ipilẹṣẹ fun Teradata. O jẹ Teradata, kii ṣe Oracle, ti o sunmọ ati dara julọ fun eyi, nitori… jẹ tun ẹya MPP eto. Awọn ọna iṣẹ, bakanna bi sintasi, ti Teradata ati GreenPlum ti jade lati jẹ iru.

Awọn apẹẹrẹ ti awọn iyatọ MDW-pataki laarin awọn RDBMS oriṣiriṣi jẹ atẹle. Ni GreenPlum, ko dabi Teradata, nigba ṣiṣẹda awọn tabili o nilo lati kọ gbolohun kan

distributed by

Teradata kọ:

delete <table> all

, ati ni GreenPlum wọn kọ

delete from <table>

Ni Oracle, fun awọn idi iṣapeye wọn kọ

delete from t where rowid in (<соединение t с дельтой>)

, ati Teradata ati GreenPlum kọ

delete from t where exists (select * from delta where delta.pk=t.pk)

A tun ṣe akiyesi pe fun Ab Initio lati ṣiṣẹ pẹlu GreenPlum, o jẹ dandan lati fi sori ẹrọ alabara GreenPlum lori gbogbo awọn apa ti iṣupọ Ab Initio. Eyi jẹ nitori a sopọ si GreenPlum nigbakanna lati gbogbo awọn apa inu iṣupọ wa. Ati ni ibere fun kika lati GreenPlum lati wa ni afiwe ati kọọkan ni afiwe Ab Initio o tẹle lati ka awọn oniwe-ara ìka ti data lati GreenPlum, a ni lati gbe kan ikole ti oye nipa Ab Initio ni "ibi ti" apakan ti SQL ibeere.

where ABLOCAL()

ki o si pinnu iye ti ikole yii nipa sisọ pato kika paramita lati ibi ipamọ data iyipada

ablocal_expr=«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))»

, eyi ti o ṣe akopọ si nkan bi

mod(sk,10)=3

, i.e. o ni lati tọ GreenPlum pẹlu àlẹmọ fojuhan fun ipin kọọkan. Fun awọn apoti isura data miiran (Teradata, Oracle), Ab Initio le ṣe isọdọkan yii laifọwọyi.

Ab Initio išẹ lafiwe laarin Ile Agbon ati GreenPlum

Sberbank ṣe idanwo kan lati ṣe afiwe iṣẹ ti awọn aworan ti ipilẹṣẹ MDW ni ibatan si Ile Agbon ati ni ibatan si GreenPlum. Gẹgẹbi apakan ti idanwo naa, ninu ọran ti Hive awọn apa 5 wa lori iṣupọ kanna bi Ab Initio, ati ninu ọran ti GreenPlum awọn apa 4 wa lori iṣupọ lọtọ. Awon. Ile Agbon ni diẹ ninu awọn anfani ohun elo lori GreenPlum.

A ṣe akiyesi awọn aworan meji meji ti n ṣe iṣẹ-ṣiṣe kanna ti imudojuiwọn data ni Hive ati GreenPlum. Ni akoko kanna, awọn aworan ti ipilẹṣẹ nipasẹ atunto MDW ti ṣe ifilọlẹ:

• fifuye akọkọ + fifuye afikun ti data ti ipilẹṣẹ laileto sinu tabili Ile Agbon
• fifuye ibẹrẹ + ẹru afikun ti data ti ipilẹṣẹ laileto sinu tabili GreenPlum kanna

Ni awọn ọran mejeeji (Hive ati GreenPlum) wọn ran awọn ikojọpọ si awọn okun ti o jọra 10 lori iṣupọ Ab Initio kanna. Ab Initio ti fipamọ data agbedemeji fun iṣiro ni HDFS (ni awọn ofin ti Ab Initio, ipilẹ MFS nipa lilo HDFS ti lo). Laini kan ti data ti ipilẹṣẹ laileto gba 200 baiti ni awọn ọran mejeeji.

Abajade jẹ bi eleyi:

Ile Agbon:

Ikojọpọ akọkọ ni Ile Agbon

Awọn ori ila ti a fi sii
6 000 000
60 000 000
600 000 000

Iye akoko ibẹrẹ
gbigba lati ayelujara ni iṣẹju-aaya
41
203
1 601

Ikojọpọ ti o pọ si ni Ile Agbon

Nọmba awọn ori ila ti o wa ninu
tabili afojusun ni ibẹrẹ ti ṣàdánwò
6 000 000
60 000 000
600 000 000

Nọmba awọn laini delta ti a lo si
tabili afojusun nigba ti ṣàdánwò
6 000 000
6 000 000
6 000 000

Iye akoko ti afikun
gbigba lati ayelujara ni iṣẹju-aaya
88
299
2 541

GreenPlum:

Ikojọpọ akọkọ ni GreenPlum

Awọn ori ila ti a fi sii
6 000 000
60 000 000
600 000 000

Iye akoko ibẹrẹ
gbigba lati ayelujara ni iṣẹju-aaya
72
360
3 631

Ikojọpọ ti o pọ si ni GreenPlum

Nọmba awọn ori ila ti o wa ninu
tabili afojusun ni ibẹrẹ ti ṣàdánwò
6 000 000
60 000 000
600 000 000

Nọmba awọn laini delta ti a lo si
tabili afojusun nigba ti ṣàdánwò
6 000 000
6 000 000
6 000 000

Iye akoko ti afikun
gbigba lati ayelujara ni iṣẹju-aaya
159
199
321

A rii pe iyara ti ikojọpọ akọkọ ni mejeeji Hive ati GreenPlum laini da lori iye data ati, fun awọn idi ti ohun elo to dara julọ, o yara diẹ fun Ile Agbon ju fun GreenPlum.

Ikojọpọ ti afikun ni Ile Agbon tun laini da lori iwọn ti data ti kojọpọ tẹlẹ ti o wa ninu tabili ibi-afẹde ati tẹsiwaju laiyara bi iwọn didun ti n dagba. Eyi jẹ idi nipasẹ iwulo lati tun kọ tabili ibi-afẹde patapata. Eyi tumọ si pe lilo awọn ayipada kekere si awọn tabili nla kii ṣe ọran lilo to dara fun Ile Agbon.

Ikojọpọ ti o pọ si ni GreenPlum ni ailagbara da lori iwọn didun ti data ti kojọpọ tẹlẹ ti o wa ninu tabili ibi-afẹde ati ere ni iyara. Eyi ṣẹlẹ ọpẹ si SQL Joins ati GreenPlum faaji, eyiti o fun laaye iṣẹ piparẹ.

Nitorinaa, GreenPlum ṣafikun delta nipa lilo ọna piparẹ + fi sii, ṣugbọn Ile-iwe ko ni paarẹ tabi awọn iṣẹ ṣiṣe imudojuiwọn, nitorinaa gbogbo akopọ data ni a fi agbara mu lati tun kọ patapata lakoko imudojuiwọn afikun. Ifiwera ti awọn sẹẹli ti a ṣe afihan ni igboya jẹ ifihan pupọ julọ, nitori pe o ni ibamu si aṣayan ti o wọpọ julọ fun lilo awọn igbasilẹ aladanla awọn orisun. A rii pe GreenPlum lu Ile Agbon ni idanwo yii nipasẹ awọn akoko 8.

Ṣiṣẹ Ab Initio pẹlu GreenPlum ni Ipo Akoko Gidi Nitosi

Ninu idanwo yii, a yoo ṣe idanwo agbara Ab Initio lati ṣe imudojuiwọn tabili GreenPlum pẹlu awọn ṣoki ti ipilẹṣẹ laileto ti data ni isunmọ akoko gidi. Jẹ ki a ṣe akiyesi tabili GreenPlum dev42_1_db_usl.TESTING_SUBJ_org_finval, pẹlu eyiti a yoo ṣiṣẹ.

A yoo lo awọn aworan Ab Initio mẹta lati ṣiṣẹ pẹlu rẹ:

1) Aworan Create_test_data.mp – ṣẹda awọn faili data ni HDFS pẹlu awọn ori ila 10 ni awọn okun ti o jọra 6. Awọn data jẹ laileto, eto rẹ ti ṣeto fun fifi sii sinu tabili wa

2) Aworan mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset – MDW ti ipilẹṣẹ aworan nipa pilẹṣẹ ifibọ data sinu tabili wa ni 10 parallel threads (data igbeyewo ti ipilẹṣẹ nipa awonya (1) ti lo)

3) Aworan mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset – aworan kan ti a ṣe nipasẹ MDW fun imudojuiwọn afikun ti tabili wa ni awọn okun ti o jọra 10 nipa lilo ipin kan ti data ti a ṣẹṣẹ gba (delta) ti ipilẹṣẹ nipasẹ aworan (1)

Jẹ ki a ṣiṣẹ iwe afọwọkọ ni isalẹ ni ipo NRT:

• ina 6 igbeyewo ila
• ṣe ifibọ fifuye akọkọ 6 awọn ori ila idanwo sinu tabili ṣofo
• tun afikun download 5 igba
  • ina 6 igbeyewo ila
  • ṣe ifibọ afikun ti awọn ori ila idanwo 6 sinu tabili (ni idi eyi, akoko ipari valid_to_ts ti ṣeto si data atijọ ati data aipẹ diẹ sii pẹlu bọtini akọkọ kanna ti fi sii)

Oju iṣẹlẹ yii ṣe apẹẹrẹ ipo iṣẹ ṣiṣe gidi ti eto iṣowo kan - ipin ti o tobi pupọ ti data tuntun han ni akoko gidi ati pe o da silẹ lẹsẹkẹsẹ sinu GreenPlum.

Bayi jẹ ki a wo akọọlẹ iwe afọwọkọ naa:

Bẹrẹ Create_test_data.input.pset ni 2020-06-04 11:49:11
Pari Create_test_data.input.pset ni 2020-06-04 11:49:37
Bẹrẹ mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset ni 2020-06-04 11:49:37
Pari mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset ni 2020-06-04 11:50:42
Bẹrẹ Create_test_data.input.pset ni 2020-06-04 11:50:42
Pari Create_test_data.input.pset ni 2020-06-04 11:51:06
Bẹrẹ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ni 2020-06-04 11:51:06
Pari mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ni 2020-06-04 11:53:41
Bẹrẹ Create_test_data.input.pset ni 2020-06-04 11:53:41
Pari Create_test_data.input.pset ni 2020-06-04 11:54:04
Bẹrẹ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ni 2020-06-04 11:54:04
Pari mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ni 2020-06-04 11:56:51
Bẹrẹ Create_test_data.input.pset ni 2020-06-04 11:56:51
Pari Create_test_data.input.pset ni 2020-06-04 11:57:14
Bẹrẹ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ni 2020-06-04 11:57:14
Pari mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ni 2020-06-04 11:59:55
Bẹrẹ Create_test_data.input.pset ni 2020-06-04 11:59:55
Pari Create_test_data.input.pset ni 2020-06-04 12:00:23
Bẹrẹ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ni 2020-06-04 12:00:23
Pari mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ni 2020-06-04 12:03:23
Bẹrẹ Create_test_data.input.pset ni 2020-06-04 12:03:23
Pari Create_test_data.input.pset ni 2020-06-04 12:03:49
Bẹrẹ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ni 2020-06-04 12:03:49
Pari mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ni 2020-06-04 12:06:46

O wa jade aworan yii:

Awọn aworan
Akoko akoko
Pari akoko
ipari

Ṣẹda_test_data.input.pset
04.06.2020 11: 49: 11
04.06.2020 11: 49: 37
00:00:26

mdw_load.day_one.lọwọlọwọ.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 49: 37
04.06.2020 11: 50: 42
00:01:05

Ṣẹda_test_data.input.pset
04.06.2020 11: 50: 42
04.06.2020 11: 51: 06
00:00:24

mdw_load.deede.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 51: 06
04.06.2020 11: 53: 41
00:02:35

Ṣẹda_test_data.input.pset
04.06.2020 11: 53: 41
04.06.2020 11: 54: 04
00:00:23

mdw_load.deede.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 54: 04
04.06.2020 11: 56: 51
00:02:47

Ṣẹda_test_data.input.pset
04.06.2020 11: 56: 51
04.06.2020 11: 57: 14
00:00:23

mdw_load.deede.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 57: 14
04.06.2020 11: 59: 55
00:02:41

Ṣẹda_test_data.input.pset
04.06.2020 11: 59: 55
04.06.2020 12: 00: 23
00:00:28

mdw_load.deede.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 00: 23
04.06.2020 12: 03: 23
00:03:00

Ṣẹda_test_data.input.pset
04.06.2020 12: 03: 23
04.06.2020 12: 03: 49
00:00:26

mdw_load.deede.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 03: 49
04.06.2020 12: 06: 46
00:02:57

A rii pe awọn laini afikun 6 ti ni ilọsiwaju ni iṣẹju 000, eyiti o yara pupọ.
Awọn data ti o wa ninu tabili ibi-afẹde ti jade lati pin bi atẹle:

select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;

O le wo ifọrọranṣẹ ti data ti a fi sii si awọn akoko ti a ṣe ifilọlẹ awọn aworan naa.
Eyi tumọ si pe o le ṣiṣe ikojọpọ data ti afikun sinu GreenPlum ni Ab Initio pẹlu igbohunsafẹfẹ giga pupọ ati ṣe akiyesi iyara giga ti fifi data yii sinu GreenPlum. Nitoribẹẹ, kii yoo ṣee ṣe lati ṣe ifilọlẹ lẹẹkan ni iṣẹju-aaya, nitori Ab Initio, bii eyikeyi ọpa ETL, nilo akoko lati “bẹrẹ” nigbati o ṣe ifilọlẹ.

ipari

Ab Initio ti lo lọwọlọwọ ni Sberbank lati kọ Layer Data Semantic ti iṣọkan (ESS). Ise agbese yii jẹ pẹlu kikọ ẹya iṣọkan ti ipo ti ọpọlọpọ awọn ile-iṣẹ iṣowo ile-ifowopamọ. Alaye wa lati awọn orisun oriṣiriṣi, awọn ẹda ti eyiti a pese sile lori Hadoop. Da lori awọn iwulo iṣowo, awoṣe data ti pese ati awọn iyipada data jẹ apejuwe. Ab Initio gbe alaye sinu ESN ati pe data ti o gbasilẹ kii ṣe iwulo si iṣowo funrararẹ, ṣugbọn tun jẹ orisun fun kikọ awọn ọja data. Ni akoko kanna, iṣẹ ṣiṣe ti ọja n gba ọ laaye lati lo awọn ọna ṣiṣe pupọ bi olugba (Hive, Greenplum, Teradata, Oracle), eyiti o jẹ ki o ṣee ṣe lati ni irọrun mura data fun iṣowo ni awọn ọna kika pupọ ti o nilo.

Awọn agbara Ab Initio gbooro; fun apẹẹrẹ, ilana MDW ti o wa ninu jẹ ki o ṣee ṣe lati kọ imọ-ẹrọ ati data itan iṣowo jade kuro ninu apoti. Fun awọn olupilẹṣẹ, Ab Initio jẹ ki o ṣee ṣe lati ma ṣe tun kẹkẹ pada, ṣugbọn lati lo ọpọlọpọ awọn paati iṣẹ ṣiṣe ti o wa, eyiti o jẹ awọn ile-ikawe pataki ti o nilo nigbati o n ṣiṣẹ pẹlu data.

Onkọwe jẹ amoye ni agbegbe ọjọgbọn ti Sberbank SberProfi DWH/BigData. Awujọ alamọdaju SberProfi DWH/BigData jẹ iduro fun idagbasoke awọn agbara ni awọn agbegbe bii ilolupo eda Hadoop, Teradata, Oracle DB, GreenPlum, ati awọn irinṣẹ BI Qlik, SAP BO, Tableau, ati bẹbẹ lọ.

orisun: www.habr.com