Ha o na le sekala sa Sber. Ho sebelisa Ab Initio ka Hive le GreenPlum

Nakong e fetileng, re ne re tobane le potso ea ho khetha sesebelisoa sa ETL bakeng sa ho sebetsa le Big Data. Tharollo ea Informatica BDM e neng e sebelisoa pele e ne e sa re tšoanele ka lebaka la ts'ebetso e fokolang. Tšebeliso ea eona e fokotsoe ho ba moralo oa ho qala litaelo tsa ho fana ka spark-submit. Ho ne ho se na li-analogue tse ngata 'marakeng tseo, ha e le hantle, li neng li khona ho sebetsa ka bongata ba data eo re sebetsanang le eona letsatsi le letsatsi. Qetellong re ile ra khetha Ab Initio. Nakong ea lipontšo tsa lifofane, sehlahisoa se bontšitse lebelo le phahameng haholo la ho sebetsa ha data. Hoo e ka bang ha ho na tlhahisoleseding e mabapi le Ab Initio ka Serussia, kahoo re ile ra etsa qeto ea ho bua ka phihlelo ea rona ho Habré.

Ab Initio e na le liphetoho tse ngata tsa khale le tse sa tloaelehang, tseo khoutu ea tsona e ka atolosoang ka puo ea eona ea PDL. Bakeng sa khoebo e nyenyane, sesebelisoa se matla joalo se ka 'na sa e-ba boima ho feta tekano,' me boholo ba bokhoni ba sona bo ka ba bo theko e boima 'me bo sa sebelisoe. Empa haeba tekanyo ea hau e le haufi le Sberov's, joale Ab Initio e ka 'na ea u khahla.

E thusa khoebo ho bokella tsebo lefatšeng ka bophara le ho nts'etsapele tikoloho, mme nts'etsopele ho ntlafatsa tsebo ea hae ho ETL, ho ntlafatsa tsebo ea hae ho khetla, ho fana ka monyetla oa ho tseba puo ea PDL, ho fana ka setšoantšo sa pono ea lits'ebetso tsa ho jarolla, le ho nolofatsa nts'etsopele. ka lebaka la bongata ba likarolo tse sebetsang.

Ka poso ena ke tla bua ka bokhoni ba Ab Initio mme ke fane ka litšobotsi tse bapisang tsa mosebetsi oa eona le Hive le GreenPlum.

• Tlhaloso ea moralo oa MDW le ho sebetsa ho tlhophiso ea eona bakeng sa GreenPlum
• Ab Initio papiso ea ts'ebetso lipakeng tsa Hive le GreenPlum
• Ho sebetsa Ab Initio le GreenPlum ka mokhoa oa Haufi le Nako ea 'Nete

Ts'ebetso ea sehlahisoa sena e pharaletseng haholo 'me e hloka nako e ngata ea ho ithuta. Leha ho le joalo, ka tsebo e nepahetseng ea mosebetsi le litlhophiso tse nepahetseng tsa ts'ebetso, liphello tsa ts'ebetso ea data li tsoteha haholo. Ho sebelisa Ab Initio bakeng sa nts'etsopele ho ka fana ka boiphihlelo bo khahlisang. Ena ke ts'ebetso e ncha ea nts'etsopele ea ETL, lebasetere lipakeng tsa tikoloho e bonoang le nts'etsopele ea ho jarolla ka puo e kang ea mongolo.

Likhoebo li ntse li ntlafatsa tikoloho ea tsona 'me sesebelisoa sena se sebetsa ho feta leha e le neng pele. Ka Ab Initio, o ka bokella tsebo ka khoebo ea hau ea hajoale mme o sebelisa tsebo ena ho holisa le ho bula likhoebo tse ncha. Mekhoa e meng ea Ab Initio e kenyelletsa tikoloho ea nts'etsopele ea pono ea Informatica BDM le tikoloho eo e seng ea pono ea Apache Spark.

Tlhaloso ea Ab Initio

Ab Initio, joalo ka lisebelisoa tse ling tsa ETL, ke pokello ea lihlahisoa.

Ab Initio GDE (Tikoloho ea Ntlafatso ea Graphical) ke tikoloho bakeng sa moqapi eo ho eona a lokisang liphetoho tsa data le ho li hokahanya le phallo ea data ka mokhoa oa metsu. Tabeng ena, sete e joalo ea liphetoho e bitsoa graph:

Likhokahano tsa ho kenya le tse hlahisoang tsa likarolo tse sebetsang ke likou 'me li na le likarolo tse baloang ka har'a liphetoho. Li-graph tse 'maloa tse hokahaneng ka phallo ka mokhoa oa metsu ho ea ka tatellano ea ho bolaoa ha tsona li bitsoa moralo.

Ho na le likarolo tse makholo tse sebetsang, tse ngata haholo. Tse ngata tsa tsona li ikhethile haholo. Bokhoni ba liphetoho tsa khale ho Ab Initio bo pharalletse ho feta lisebelisoa tse ling tsa ETL. Mohlala, Join e na le liphetho tse ngata. Ntle le sephetho sa ho hokahanya li-datasets, u ka fumana lirekoto tsa tlhahiso ea li-dataset tsa ho kenya tseo linotlolo tsa tsona li neng li sa khone ho hokahana. U ka boela ua fumana ho lahloa, liphoso le logi ea ts'ebetso ea phetoho, e ka baloang kholomong e tšoanang le faele ea mongolo mme ea sebetsoa ka liphetoho tse ling:

Kapa, ​​​​ka mohlala, u ka sebelisa moamoheli oa data ka mokhoa oa tafole 'me u bale lintlha tse tsoang ho eona kholeng e le 'ngoe.

Ho na le liphetoho tsa pele. Mohlala, phetoho ea Scan e na le ts'ebetso e ts'oanang le mesebetsi ea tlhahlobo. Ho na le liphetoho tse nang le mabitso a itlhalosang: Theha Data, Bala Excel, Normalize, Hlopha ka har'a Lihlopha, Run Program, Run SQL, Join with DB, joalo-joalo sistimi e sebetsang. Lifaele tse nang le sete e lokiselitsoeng ea li-parameter tse fetiselitsoeng ho graph li bitsoa li-parameter sets (psets).

Joalokaha ho lebelletsoe, Ab Initio GDE e na le polokelo ea eona e bitsoang EME (Enterprise Meta Environment). Bahlahisi ba na le monyetla oa ho sebetsa le mefuta ea lehae ea khoutu le ho hlahloba tsoelo-pele ea bona sebakeng sa polokelo e bohareng.

Hoa khoneha, nakong ea ts'ebetso kapa ka mor'a ho etsa kerafo, ho tobetsa phallo efe kapa efe e hokahanyang phetoho le ho sheba lintlha tse fetileng lipakeng tsa liphetoho tsena:

Hape hoa khonahala ho tobetsa molapong ofe kapa ofe 'me u bone lintlha tsa ho lata - hore na phetoho e sebetsa ho tse kae tse tšoanang, ke mela e mengata le li-byte tse kentsoeng ho efe ea tse tšoanang:

Hoa khoneha ho arola ho etsoa ha graph ka mekhahlelo le ho tšoaea hore liphetoho tse ling li lokela ho etsoa pele (karolong ea zero), tse latelang karolong ea pele, tse latelang karolong ea bobeli, joalo-joalo.

Bakeng sa phetoho e 'ngoe le e' ngoe, u ka khetha seo ho thoeng ke sebopeho (moo se tla etsoa): ntle le ho bapisa kapa ka likhoele tse tšoanang, palo ea eona e ka boleloang. Ka nako e ts'oanang, lifaele tsa nakoana tseo Ab Initio e li bōpang ha liphetoho li ntse li sebetsa li ka behoa ka bobeli tsamaisong ea faele ea seva le HDFS.

Phetohong e 'ngoe le e' ngoe, ho ipapisitsoe le template ea kamehla, u ka iketsetsa script ho PDL, e batlang e tšoana le khetla.

Ka PDL, o ka holisa ts'ebetso ea liphetoho mme, haholoholo, o ka khona ka matla (ka nako ea ho sebetsa) ho hlahisa likhechana tsa khoutu tse hanyetsanang ho ipapisitse le li-parameter tsa nako ea ho sebetsa.

Ab Initio e boetse e na le kopanyo e ntlafalitsoeng hantle le OS ka khetla. Ka ho khetheha, Sberbank e sebelisa linux ksh. U ka fapanyetsana lintho tse fapaneng le khetla 'me u li sebelise e le liparamente tsa graph. O ka letsetsa ts'ebetso ea li-graph tsa Ab Initio ho tsoa ho khetla ebe o tsamaisa Ab Initio.

Ho phaella ho Ab Initio GDE, lihlahisoa tse ling tse ngata li kenyelelitsoe tlhahisong. Ho na le Co>Operation System ea eona e nang le tleleime ea ho bitsoa sistimi e sebetsang. Ho na le Setsi sa Taolo> moo o ka hlophisang le ho hlokomela phallo ea download. Ho na le lihlahisoa tsa ho etsa nts'etsopele maemong a khale ho feta Ab Initio GDE e lumella.

Tlhaloso ea moralo oa MDW le ho sebetsa ho tlhophiso ea eona bakeng sa GreenPlum

Hammoho le lihlahisoa tsa eona, morekisi o fana ka sehlahisoa sa MDW (Metadata Driven Warehouse), e leng configurator ea graph e etselitsoeng ho thusa ka mesebetsi e tloaelehileng ea ho tlatsa matlo a polokelo ea data kapa li-vaults tsa data.

E na le li-parser tsa metadata tse tloaelehileng (tse ikhethileng ka morero) le lijenereithara tsa khoutu tse entsoeng ka ntle ho lebokose.

E le ho kenya letsoho, MDW e amohela mohlala oa data, faele ea tlhophiso bakeng sa ho theha khokahanyo ho database (Oracle, Teradata kapa Hive) le litlhophiso tse ling. Karolo e ikhethileng ea morero, mohlala, e fetisetsa mohlala ho database. Karolo e ka ntle ho lebokose la sehlahisoa e hlahisa li-graph le lifaele tsa tlhophiso bakeng sa tsona ka ho kenya data ho litafole tsa mohlala. Tabeng ena, li-graph (le li-psets) li etsoa bakeng sa mekhoa e mengata ea ho qala le ho eketsa mosebetsi oa ho ntlafatsa mekhatlo.

Maemong a Hive le RDBMS, ho etsoa li-graph tse fapaneng bakeng sa ho qala le ho ntlafatsa lintlha tse eketsehileng.

Tabeng ea Hive, data e kenang ea delta e hokahane ka Ab Initio Join le data e neng e le tafoleng pele ho ntlafatso. Li-loader tsa data ho MDW (ka bobeli ho Hive le RDBMS) ha li kenye feela lintlha tse ncha tse tsoang ho delta, empa hape li koala linako tsa bohlokoa tsa lintlha tseo linotlolo tsa tsona tsa mantlha li amohetseng delta. Ho feta moo, o tlameha ho ngola bocha karolo e sa fetoheng ea data. Empa sena se tlameha ho etsoa hobane Hive ha e na ts'ebetso ea ho hlakola kapa ho ntlafatsa.

Tabeng ea RDBMS, li-graph bakeng sa ntlafatso ea data e ntseng e eketseha li shebahala li le ntle haholo, hobane RDBMS e na le bokhoni ba ho ntlafatsa.

Delta e amohetsoeng e kentsoe tafoleng e bohareng sebakeng sa polokelo ea litaba. Kamora sena, delta e hokahane le data e neng e le tafoleng pele ho ntlafatso. 'Me sena se etsoa ho sebelisoa SQL ho sebelisoa potso ea SQL e hlahisitsoeng. Ka mor'a moo, ho sebelisa litaelo tsa SQL ho hlakola + kenya, data e ncha e tsoang ho delta e kenngoa tafoleng e shebiloeng 'me linako tsa bohlokoa tsa data tseo linotlolo tsa mantlha li fumaneng delta li koetsoe.
Ha ho hlokahale ho ngola hape data e sa fetoheng.

Kahoo re fihletse qeto ea hore tabeng ea Hive, MDW e tlameha ho ea ngola tafole eohle hobane Hive ha e na ts'ebetso ea ntlafatso. 'Me ha ho letho le molemo ho feta ho ngola hape data ka botlalo ha ntlafatso e se e qapiloe. Tabeng ea RDBMS, ho fapana le hoo, baetsi ba sehlahisoa ba fumane ho hlokahala ho beha khokahano le ntlafatso ea litafole ts'ebelisong ea SQL.

Bakeng sa morero oa Sberbank, re thehile ts'ebetsong e ncha, e ka sebelisoang hape ea polokelo ea polokelo ea polokelo ea GreenPlum. Sena se entsoe ho ipapisitsoe le mofuta oo MDW e o hlahisang bakeng sa Teradata. E ne e le Teradata, eseng Oracle, e ileng ea atamela ka ho fetisisa bakeng sa sena, hobane ... hape ke sistimi ea MPP. Mekhoa ea ho sebetsa, hammoho le syntax, ea Teradata le GreenPlum e ile ea tšoana.

Mehlala ea liphapang tsa bohlokoa tsa MDW lipakeng tsa li-RDBMS tse fapaneng ke tse latelang. Ho GreenPlum, ho fapana le Teradata, ha u theha litafole u hloka ho ngola poleloana

distributed by

Teradata e ngola:

delete <table> all

, mme ho GreenPlum ba ngola

delete from <table>

Ho Oracle, ba ngola molemong oa ntlafatso

delete from t where rowid in (<соединение t с дельтой>)

, le Teradata le GreenPlum ba ngola

delete from t where exists (select * from delta where delta.pk=t.pk)

Hape rea hlokomela hore hore Ab Initio e sebetse le GreenPlum, ho ne ho hlokahala ho kenya moreki oa GreenPlum libakeng tsohle tsa sehlopha sa Ab Initio. Sena ke hobane re hokahane le GreenPlum ka nako e le 'ngoe ho tsoa ho li-node tsohle sehlopheng sa rona. E le hore ho bala ho tsoa ho GreenPlum ho tsamaisane le khoele e 'ngoe le e' ngoe e tšoanang ea Ab Initio ho bala karolo ea eona ea data ho tsoa GreenPlum, re ile ra tlameha ho beha mohaho o utloisisoang ke Ab Initio karolong ea "moo" ea lipotso tsa SQL.

where ABLOCAL()

le ho fumana boleng ba kaho ena ka ho hlakisa palo ea ho bala ho tsoa polokelong ea data ea phetoho

ablocal_expr=«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))»

, e bokellang ntho e kang

mod(sk,10)=3

, ke. o tlameha ho khothaletsa GreenPlum ka sefe e hlakileng bakeng sa karohano ka 'ngoe. Bakeng sa li-database tse ling (Teradata, Oracle), Ab Initio e ka etsa papiso ena ka bo eona.

Ab Initio papiso ea ts'ebetso lipakeng tsa Hive le GreenPlum

Sberbank e ile ea etsa teko ea ho bapisa ts'ebetso ea li-graph tse entsoeng ke MDW mabapi le Hive le mabapi le GreenPlum. E le karolo ea teko, tabeng ea Hive ho ne ho e-na le li-node tse 5 sehlopheng se le seng le Ab Initio, 'me tabeng ea GreenPlum ho ne ho e-na le li-node tse 4 sehlopheng se arohaneng. Tseo. Hive e bile le molemo o itseng oa hardware ho feta GreenPlum.

Re nahanne ka lipara tse peli tsa li-graph tse etsang mosebetsi o tšoanang oa ho nchafatsa data ho Hive le GreenPlum. Ka nako e ts'oanang, li-graph tse hlahisitsoeng ke MDW configurator li ile tsa qalisoa:

• mojaro oa pele + mojaro o ntseng o eketseha oa data e hlahisitsoeng ka tšohanyetso tafoleng ea Hive
• mojaro oa pele + mojaro o ntseng o eketseha oa data e hlahisitsoeng ka tšohanyetso tafoleng e tšoanang ea GreenPlum

Maemong ana ka bobeli (Hive le GreenPlum) li tsamaisitse li-uploads ho likhoele tse 10 tse bapileng sehlopheng se le seng sa Ab Initio. Ab Initio e bolokile data ea mahareng bakeng sa lipalo ho HDFS (ho latela Ab Initio, ho ile ha sebelisoa sebopeho sa MFS se sebelisang HDFS). Mohala o le mong oa data o hlahisitsoeng ka tšohanyetso o nkile li-byte tse 200 maemong ao ka bobeli.

Sephetho se bile tjena:

hive:

Ho qala ho kenya Hive

Mela e kentsoeng
6 000 000
60 000 000
600 000 000

Nako ea ho qala
tse jarollotsoeng ka metsotsoana
41
203
1 601

Keketseho ea mojaro ho Hive

Nomoro ea mela e fumanehang ho
tafole e lebisitsoeng qalong ea teko
6 000 000
60 000 000
600 000 000

Palo ea melapo ea delta e sebelisoang ho
tafole e shebiloeng nakong ea teko
6 000 000
6 000 000
6 000 000

Nako ea ho eketseha
tse jarollotsoeng ka metsotsoana
88
299
2 541

GreenPlum:

E qala ho kenya GreenPlum

Mela e kentsoeng
6 000 000
60 000 000
600 000 000

Nako ea ho qala
tse jarollotsoeng ka metsotsoana
72
360
3 631

Keketseho ea ho kenya GreenPlum

Nomoro ea mela e fumanehang ho
tafole e lebisitsoeng qalong ea teko
6 000 000
60 000 000
600 000 000

Palo ea melapo ea delta e sebelisoang ho
tafole e shebiloeng nakong ea teko
6 000 000
6 000 000
6 000 000

Nako ea ho eketseha
tse jarollotsoeng ka metsotsoana
159
199
321

Rea bona hore lebelo la ho qala ho kenya Hive le GreenPlum ka mokhoa o ikhethileng ho latela palo ea data, 'me, ka mabaka a lisebelisoa tse betere, e potlakile hanyane bakeng sa Hive ho feta ea GreenPlum.

Katoloso e ntseng e eketseha ho Hive le eona e ipapisitse le boholo ba data e kentsoeng pele e fumanehang lethathamong la sepheo 'me e tsoela pele butle ha molumo o ntse o hola. Sena se bakoa ke tlhokahalo ea ho ngola hape tafole e reretsoeng ka botlalo. Sena se bolela hore ho sebelisa liphetoho tse nyane litafoleng tse kholo ha se taba e ntle bakeng sa Hive.

Keketseho e ntseng e eketseha ho GreenPlum e ipapisitse le palo ea data e neng e laetsoe pele e fumanehang tafoleng ea sepheo mme e tsoela pele kapele. Sena se etsahetse ka lebaka la SQL Joins le meralo ea GreenPlum, e lumellang ts'ebetso ea ho hlakola.

Kahoo, GreenPlum e eketsa delta e sebelisa mokhoa oa ho hlakola +, empa Hive ha e na ts'ebetso ea ho hlakola kapa ho e ntlafatsa, kahoo lethathamo lohle la data le ile la qobelloa ho ngoloa bocha ka botlalo nakong ea ntlafatso e ntseng e eketseha. Papiso ea lisele tse totobalitsoeng ka mongolo o motenya e senola haholo, kaha e lumellana le khetho e atileng haholo ea ho sebelisa lisebelisoa tse jarollotsoeng ka matla. Rea bona hore GreenPlum e ile ea otla Hive tekong ena ka makhetlo a 8.

Ho sebetsa Ab Initio le GreenPlum ka mokhoa oa Haufi le Nako ea 'Nete

Tekong ena, re tla leka bokhoni ba Ab Initio ba ho nchafatsa tafole ea GreenPlum ka likarolo tsa data tse hlahisitsoeng ka tšohanyetso haufinyane. Ha re shebeng tafole ea GreenPlum dev42_1_db_usl.TESTING_SUBJ_org_finval, eo re tla sebetsa ka eona.

Re tla sebelisa li-graph tse tharo tsa Ab Initio ho sebetsa le eona:

1) Kerafo Create_test_data.mp - e etsa lifaele tsa data ho HDFS ka mela e 10 ka likhoele tse 6 tse tšoanang. Lintlha ke tsa tšohanyetso, sebopeho sa eona se hlophisitsoe bakeng sa ho kenngoa tafoleng ea rona

2) Kerafo mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset - MDW e hlahisitse kerafo ka ho qala ho kenngoa ha data tafoleng ea rona ka likhoele tse 10 tse tšoanang (lintlha tsa teko tse hlahisoang ke graph (1) li sebelisoa)

3) Kerafo mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset - kerafo e hlahisoang ke MDW bakeng sa ntlafatso e ntseng e eketseha ea tafole ea rona ka likhoele tse 10 tse tšoanang ho sebelisa karolo ea data e sa tsoa amoheloa (delta) e hlahisoang ke graph (1)

Ha re tsamaise sengoloa se ka tlase ka mokhoa oa NRT:

• hlahisa mela ea teko ea 6
• etsa mojaro oa pele kenya mela ea liteko tse 6 tafoleng e se nang letho
• pheta download e ntseng e eketseha makhetlo a 5
  • hlahisa mela ea teko ea 6
  • kenya ka ho eketsa mela e 6 ea liteko tafoleng (tabeng ena, nako e nepahetseng ea_to_ts e behiloe ho data ea khale 'me ho kentsoe lintlha tsa morao-rao tse nang le senotlolo se tšoanang)

Boemo bona bo etsisa mokhoa oa ts'ebetso ea 'nete ea sistimi e itseng ea khoebo - karolo e kholo ea data e ncha e hlaha ka nako ea nnete mme hang-hang e tšeloa ho GreenPlum.

Joale a re shebeng log ea script:

Qala Create_test_data.input.pset ka 2020-06-04 11:49:11
Qetella Create_test_data.input.pset ka 2020-06-04 11:49:37
Qala mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset ka 2020-06-04 11:49:37
Qetella mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset ka 2020-06-04 11:50:42
Qala Create_test_data.input.pset ka 2020-06-04 11:50:42
Qetella Create_test_data.input.pset ka 2020-06-04 11:51:06
Qala mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ka 2020-06-04 11:51:06
Qetella mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ka 2020-06-04 11:53:41
Qala Create_test_data.input.pset ka 2020-06-04 11:53:41
Qetella Create_test_data.input.pset ka 2020-06-04 11:54:04
Qala mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ka 2020-06-04 11:54:04
Qetella mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ka 2020-06-04 11:56:51
Qala Create_test_data.input.pset ka 2020-06-04 11:56:51
Qetella Create_test_data.input.pset ka 2020-06-04 11:57:14
Qala mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ka 2020-06-04 11:57:14
Qetella mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ka 2020-06-04 11:59:55
Qala Create_test_data.input.pset ka 2020-06-04 11:59:55
Qetella Create_test_data.input.pset ka 2020-06-04 12:00:23
Qala mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ka 2020-06-04 12:00:23
Qetella mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ka 2020-06-04 12:03:23
Qala Create_test_data.input.pset ka 2020-06-04 12:03:23
Qetella Create_test_data.input.pset ka 2020-06-04 12:03:49
Qala mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ka 2020-06-04 12:03:49
Qetella mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ka 2020-06-04 12:06:46

E fana ka setšoantšo sena:

kerafo
Qala nako
Qetella nako
Length

Create_test_data.input.pset
04.06.2020 11: 49: 11
04.06.2020 11: 49: 37
00:00:26

mdw_load.day_one.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 49: 37
04.06.2020 11: 50: 42
00:01:05

Create_test_data.input.pset
04.06.2020 11: 50: 42
04.06.2020 11: 51: 06
00:00:24

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 51: 06
04.06.2020 11: 53: 41
00:02:35

Create_test_data.input.pset
04.06.2020 11: 53: 41
04.06.2020 11: 54: 04
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 54: 04
04.06.2020 11: 56: 51
00:02:47

Create_test_data.input.pset
04.06.2020 11: 56: 51
04.06.2020 11: 57: 14
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 57: 14
04.06.2020 11: 59: 55
00:02:41

Create_test_data.input.pset
04.06.2020 11: 59: 55
04.06.2020 12: 00: 23
00:00:28

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 00: 23
04.06.2020 12: 03: 23
00:03:00

Create_test_data.input.pset
04.06.2020 12: 03: 23
04.06.2020 12: 03: 49
00:00:26

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 03: 49
04.06.2020 12: 06: 46
00:02:57

Re bona hore mela ea increment ea 6 e sebetsoa ka metsotso e 000, e leng kapele haholo.
Lintlha tse ka har'a tafole eo ho shebiloeng ho tsona li ile tsa ajoa ka tsela e latelang:

select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;

U ka bona ngollano ea data e kentsoeng ho isa linakong tseo li-graph li qalileng ka tsona.
Sena se bolela hore o ka tsamaisa phallo e ntseng e eketseha ea data ho GreenPlum ho Ab Initio ka maqhubu a phahameng haholo mme o shebelle lebelo le phahameng la ho kenya data ena ho GreenPlum. Ehlile, ho ke ke ha khoneha ho qala hang ka motsotsoana, kaha Ab Initio, joalo ka sesebelisoa leha e le sefe sa ETL, e hloka nako ea ho "qala" ha e qala.

fihlela qeto e

Hona joale Ab Initio e sebelisoa Sberbank ho haha ​​​​Semantic Data Layer e Kopaneng (ESS). Morero ona o kenyelletsa ho theha mofuta o kopaneng oa boemo ba mekhatlo e fapaneng ea khoebo ea libanka. Lintlha li tsoa mehloling e fapaneng, eo likopi tsa eona li lokiselitsoeng ho Hadoop. Ho ipapisitsoe le litlhoko tsa khoebo, mohlala oa data o lokiselitsoe mme ho hlalosoa liphetoho tsa data. Ab Initio e kenya tlhahisoleseling ho ESN mme data e jarollotsoeng ha e thahaselle khoebo ka boeona feela, empa hape e sebetsa e le mohloli oa ho haha ​​marang-rang a data. Ka nako e ts'oanang, ts'ebetso ea sehlahisoa e u lumella ho sebelisa litsamaiso tse fapaneng joalo ka moamoheli (Hive, Greenplum, Teradata, Oracle), e etsang hore ho khonehe ho lokisa data bakeng sa khoebo ka mekhoa e fapaneng eo e e hlokang.

Bokhoni ba Ab Initio bo pharalletse; mohlala, moralo o kenyellelitsoeng oa MDW o etsa hore ho khonehe ho aha data ea nalane ea khoebo ka ntle ho lebokose. Bakeng sa bahlahisi, Ab Initio e etsa hore ho khonehe hore ba se ke ba qapa lebili hape, empa ba sebelise likarolo tse ngata tse sebetsang, tseo ha e le hantle e leng lilaebrari tse hlokahalang ha o sebetsa ka data.

Mongoli ke setsebi sechabeng sa setsebi sa Sberbank SberProfi DWH/BigData. Sechaba sa litsebi tsa SberProfi DWH/BigData se na le boikarabelo ba ho ntlafatsa litsebo libakeng tse kang Hadoop ecosystem, Teradata, Oracle DB, GreenPlum, hammoho le lisebelisoa tsa BI Qlik, SAP BO, Tableau, joalo-joalo.

Source: www.habr.com