Fotoana vitsy lasa izay, niatrika fanontaniana momba ny fisafidianana fitaovana ETL hiasa amin'ny Big Data izahay. Ny vahaolana Informatica BDM teo aloha dia tsy nety taminay noho ny fampiasa voafetra. Ny fampiasana azy dia nahena ho rafitra iray handefasana baiko fandefasana spark. Tsy nisy analogues maro teny an-tsena izay, raha ny fitsipika, dia afaka miasa amin'ny habetsaky ny angon-drakitra izay iainantsika isan'andro. Tamin'ny farany dia nisafidy Ab Initio izahay. Nandritra ny fihetsiketsehana mpanamory, ny vokatra dia nampiseho hafainganam-pandehan'ny fanodinana angon-drakitra. Saika tsy misy fampahalalana momba ny Ab Initio amin'ny teny Rosiana, ka nanapa-kevitra ny hiresaka momba ny traikefanay momba ny Habré izahay.
Ab Initio dia manana fiovana mahazatra sy tsy mahazatra maro, ny kaody izay azo itarina amin'ny alàlan'ny fiteny PDL azy manokana. Ho an'ny orinasa madinika, fitaovana mahery vaika toy izany dia mety ho tafahoatra, ary ny ankamaroan'ny fahaiza-manaony dia mety ho lafo sy tsy ampiasaina. Fa raha akaiky an'i Sberov ny mizanao, dia mety hahaliana anao ny Ab Initio.
Manampy ny orinasa iray hanangona fahalalana maneran-tany sy hampivelatra tontolo iainana, ary mpamorona hanatsara ny fahaizany amin'ny ETL, hanatsara ny fahalalany amin'ny akorandriaka, manome fahafahana hifehy ny fiteny PDL, manome sary an-tsary momba ny fizotran'ny entana, ary manamora ny fampandrosoana. noho ny habetsahan'ny singa miasa.
Amin'ity lahatsoratra ity dia hiresaka momba ny fahaiza-manaon'ny Ab Initio aho ary hanome ny toetra mampiavaka ny asany miaraka amin'ny Hive sy GreenPlum.
- Famaritana ny rafitra MDW ary miasa amin'ny fanamboarana azy ho an'ny GreenPlum
- Ab Initio fampitahana ny fahombiazan'ny Hive sy GreenPlum
- Miasa Ab Initio miaraka amin'ny GreenPlum amin'ny fomba akaiky ny fotoana tena izy
Ny fiasan'ity vokatra ity dia tena midadasika ary mitaky fotoana be hianarana. Na izany aza, miaraka amin'ny fahaiza-manao mety amin'ny asa sy ny fampandehanana tsara, ny vokatry ny fanodinana data dia tena mahavariana. Ny fampiasana Ab Initio ho an'ny mpamorona dia afaka manome traikefa mahaliana. Ity dia fomba fijery vaovao momba ny fivoaran'ny ETL, hybride eo amin'ny tontolon'ny maso sy ny fampidinana fampivoarana amin'ny fiteny mitovy amin'ny script.
Mamolavola ny tontolo iainany ny orinasa ary ity fitaovana ity dia tena ilaina kokoa noho ny hatramin'izay. Miaraka amin'i Ab Initio, azonao atao ny manangona fahalalana momba ny orinasanao amin'izao fotoana izao ary mampiasa izany fahalalana izany hanitarana ny orinasa taloha sy hanokafana orinasa vaovao. Ny hafa ho an'ny Ab Initio dia ahitana ny tontolon'ny fampandrosoana hita maso Informatica BDM sy ny tontolo fampandrosoana tsy hita maso Apache Spark.
Famaritana ny Ab Initio
Ab Initio, toy ny fitaovana ETL hafa, dia fitambarana vokatra.
Ab Initio GDE (Environnement de développement grapika) dia tontolo iray ho an'ny mpamorona izay amboary ny fiovan'ny angona sy mampifandray azy ireo amin'ny fikorianan'ny angona amin'ny endrika zana-tsipìka. Amin'ity tranga ity, ny andiana fiovana toy izany dia antsoina hoe graph:
Ny fampifandraisana miditra sy mivoaka amin'ny singa miasa dia seranana ary misy saha kajy ao anatin'ny fanovana. Antsoina hoe drafitra ny kisary maromaro mifamatotra amin'ny fikorianan'ny zana-tsipìka amin'ny filaharan'ny fanatanterahana azy.
Misy singa miasa an-jatony maro, izay be dia be. Maro amin'izy ireo no tena manokana. Ny fahafahan'ny fanovana mahazatra ao amin'ny Ab Initio dia midadasika kokoa noho ny amin'ny fitaovana ETL hafa. Ohatra, ny Join dia manana vokatra marobe. Ho fanampin'ny vokatry ny fampifandraisana angon-drakitra, azonao atao ny mahazo firaketana mivoaka amin'ny angon-drakitra fampidirana izay tsy azo ampifandraisina ny fanalahidy. Azonao atao ihany koa ny mahazo fandavana, hadisoana ary diarin'ny hetsika fanovàna, izay azo vakiana amin'ny tsanganana mitovy amin'ny rakitra lahatsoratra ary karakaraina miaraka amin'ny fanovana hafa:
Na, ohatra, azonao atao ny mametraka mpandray data amin'ny endrika latabatra ary mamaky ny angona avy aminy ao amin'ny tsanganana iray ihany.
Misy fiovana tany am-boalohany. Ohatra, ny fanovana Scan dia manana fiasa mitovy amin'ny asa famakafakana. Misy fiovana miaraka amin'ny anarana manazava tena: Mamorona Data, Mamaky Excel, Normalize, Soritana ao anatin'ny vondrona, Run Program, Run SQL, Miaraha amin'ny DB, sns. ny rafitra fiasana . Ny rakitra miaraka amin'ny masontsivana efa vonona alefa amin'ny grafika dia antsoina hoe seta paramètre (psets).
Araka ny efa nampoizina, Ab Initio GDE dia manana tahiry manokana antsoina hoe EME (Enterprise Meta Environment). Manana fahafahana hiara-miasa amin'ny dikan-kaody eo an-toerana ny mpamorona ary hijery ny fivoarany ao amin'ny tahiry foibe.
Azo atao, mandritra ny famonoana na aorian'ny fanatanterahana ny grafika, ny manindry izay mikoriana rehetra mampifandray ny fanovana ary mijery ny angon-drakitra nandalo teo anelanelan'ireo fiovana ireo:
Azo atao ihany koa ny manindry ny stream rehetra ary mijery ny antsipirian'ny fanaraha-maso - firy ny parallèle niasa tamin'ny fanovana, firy ny andalana sy bytes nampidirina tao amin'ny parallèle:
Azo atao ny mizara ny fanatanterahana ny grafika ho dingana ary manamarika fa ny fanovana sasany dia mila atao aloha (amin'ny dingana aotra), ny manaraka amin'ny dingana voalohany, ny manaraka amin'ny dingana faharoa, sns.
Ho an'ny fanovana tsirairay dia azonao atao ny misafidy ilay antsoina hoe layout (izay hotanterahina): tsy misy parallèle na amin'ny kofehy mifanandrify, ny isan'izy ireo dia azo faritana. Mandritra izany fotoana izany, ny rakitra vonjimaika izay noforonin'i Ab Initio rehefa mandeha ny fanovana dia azo apetraka ao amin'ny rafitra fichier server na HDFS.
Amin'ny fanovana tsirairay, mifototra amin'ny maodely mahazatra, azonao atao ny mamorona ny scripto manokana amin'ny PDL, izay mitovy amin'ny akorandriaka.
Miaraka amin'ny PDL, azonao atao ny manitatra ny fiasan'ny fanovana ary, indrindra indrindra, azonao atao amin'ny fomba mavitrika (amin'ny fotoana fandehanana) mamorona sombin-kaody tsy manara-penitra miankina amin'ny mari-pamantarana runtime.
Ab Initio koa dia manana fampidirana tsara amin'ny OS amin'ny alàlan'ny shell. Ny Sberbank manokana dia mampiasa linux ksh. Azonao atao ny mifanakalo varimbazaha miaraka amin'ny akorandriaka ary mampiasa azy ireo ho mari-pamantarana grafika. Azonao atao ny miantso ny famonoana ny sarin'i Ab Initio avy amin'ny akorany ary mitantana ny Ab Initio.
Ho fanampin'ny Ab Initio GDE, vokatra maro hafa no tafiditra ao anatin'ny fanaterana. Misy ny Co>Operation System azy manokana miaraka amin'ny filazana fa antsoina hoe rafitra miasa. Misy Control> Center izay ahafahanao mandamina sy manara-maso ny fandehan'ny fampidinana. Misy vokatra hanaovana fampandrosoana amin'ny ambaratonga voalohany kokoa noho ny azon'i Ab Initio GDE.
Famaritana ny rafitra MDW ary miasa amin'ny fanamboarana azy ho an'ny GreenPlum
Miaraka amin'ny vokatra azony, ny mpivarotra dia mamatsy ny vokatra MDW (Metadata Driven Warehouse), izay rindran-tsary natao hanampiana amin'ny asa mahazatra amin'ny famenoana trano fanatobiana angona na trano fitehirizam-baovao.
Izy io dia misy mpizara metadata mahazatra (manokana amin'ny tetikasa) sy mpamorona kaody efa vonona ivelan'ny boaty.
Amin'ny maha-input azy, ny MDW dia mahazo modely angon-drakitra, rakitra fikirakirana ho an'ny fametrahana fifandraisana amin'ny angon-drakitra (Oracle, Teradata na Hive) ary ny toe-javatra hafa. Ny ampahany manokana amin'ny tetikasa, ohatra, dia mametraka ny modely amin'ny tahiry. Ny ampahany ivelan'ny boaty amin'ny vokatra dia mamokatra grafika sy rakitra fikirakirana ho azy ireo amin'ny alàlan'ny fampidirana angona ao anaty tabilao modely. Amin'ity tranga ity, ny grafika (sy ny psets) dia noforonina ho an'ny fomba fanombohana sy asa fanampiny amin'ny fanavaozana ireo singa.
Amin'ny trangan'ny Hive sy RDBMS, dia misy grafika samihafa novokarina ho an'ny fanombohana sy fanavaozana angon-drakitra fanampiny.
Raha ny momba an'i Hive, ny angon-drakitra delta miditra dia mifandray amin'ny alàlan'ny Ab Initio Join miaraka amin'ny angona tao amin'ny latabatra alohan'ny fanavaozana. Ny mpanafatra data ao amin'ny MDW (samy ao amin'ny Hive na RDBMS) dia tsy mampiditra angon-drakitra vaovao avy amin'ny delta fotsiny, fa manidy koa ny vanim-potoana mifandraika amin'ny angon-drakitra izay nahazo ny delta ny lakile voalohany. Ankoatra izany, tsy maintsy manoratra indray ny ampahany tsy miova amin'ny angona ianao. Saingy tsy maintsy atao izany satria tsy manana asa famafana na fanavaozana i Hive.
Amin'ny tranga RDBMS, ny grafika amin'ny fanavaozana angon-drakitra fanampiny dia mijery tsara kokoa, satria ny RDBMS dia manana fahaiza-manao fanavaozana tena izy.
Ny delta voaray dia ampidirina ao anaty latabatra manelanelana ao amin'ny tahiry. Aorian'izany, ny delta dia mifandray amin'ny angona izay teo amin'ny latabatra alohan'ny fanavaozana. Ary izany dia atao amin'ny fampiasana SQL amin'ny fampiasana fangatahana SQL noforonina. Avy eo, amin'ny fampiasana ny baiko SQL hamafa + ampidiro, ny angon-drakitra vaovao avy amin'ny delta dia ampidirina ao amin'ny latabatra kendrena ary mihidy ny vanim-potoana mifandraika amin'ny angon-drakitra izay nahazoan'ny lakile voalohany ny delta.
Tsy ilaina ny mamerina manoratra angona tsy miova.
Noho izany dia tonga tamin'ny fanatsoahan-kevitra izahay fa amin'ny raharaha Hive, MDW dia tsy maintsy manoratra ny latabatra manontolo satria tsy manana fiasa fanavaozana i Hive. Ary tsy misy tsara kokoa noho ny fanoratana tanteraka ny angon-drakitra rehefa noforonina ny fanavaozana. Raha ny momba ny RDBMS, ny mifanohitra amin'izany, ny mpamorona ny vokatra dia nahita fa ilaina ny manankina ny fifandraisana sy ny fanavaozana ny latabatra amin'ny fampiasana SQL.
Ho an'ny tetikasa iray ao amin'ny Sberbank, dia namorona fampiharana vaovao azo ampiasaina amin'ny loader database ho an'ny GreenPlum izahay. Izany dia natao mifototra amin'ny dikan-teny navoakan'ny MDW ho an'ny Teradata. Teradata, fa tsy Oracle, no tonga akaiky indrindra sy tsara indrindra amin'izany, satria... dia rafitra MPP ihany koa. Ny fomba fiasa, ary koa ny syntax, an'ny Teradata sy GreenPlum dia nivadika ho mitovy.
Ohatra amin'ny fahasamihafan'ny MDW-kritika eo amin'ny RDBMS samihafa dia toy izao manaraka izao. Ao amin'ny GreenPlum, tsy toa an'i Teradata, rehefa mamorona latabatra dia mila manoratra fehezanteny ianao
distributed byTeradata nanoratra hoe:
delete <table> all, ary ao amin'ny GreenPlum izy ireo no manoratra
delete from <table>Ao amin'ny Oracle, ho an'ny tanjona fanatsarana izy ireo dia manoratra
delete from t where rowid in (<соединение t с дельтой>), ary Teradata sy GreenPlum manoratra
delete from t where exists (select * from delta where delta.pk=t.pk)Marihina ihany koa fa ho an'i Ab Initio hiara-miasa amin'ny GreenPlum dia ilaina ny mametraka ny mpanjifa GreenPlum amin'ny node rehetra amin'ny cluster Ab Initio. Izany dia satria mifandray amin'ny GreenPlum miaraka amin'ny node rehetra ao amin'ny cluster izahay. Ary mba hifanaraka amin'ny famakiana avy amin'ny GreenPlum ary ny kofehy Ab Initio mifanandrify hamaky ny ampahany amin'ny angon-drakitra avy amin'ny GreenPlum, dia tsy maintsy nametraka fanorenana azon'i Ab Initio tao amin'ny fizarana "aiza" amin'ny fangatahana SQL izahay.
where ABLOCAL()ary hamaritana ny sandan'ity fanorenana ity amin'ny alàlan'ny famaritana ny vakiteny masontsivana avy amin'ny angon-drakitra fanovana
ablocal_expr=«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))», izay mitambatra ho toy ny
mod(sk,10)=3, i.e. tsy maintsy manosika ny GreenPlum amin'ny sivana mazava ho an'ny fizarana tsirairay ianao. Ho an'ny angon-drakitra hafa (Teradata, Oracle), Ab Initio dia afaka manao an'io fampitoviana ho azy io.
Ab Initio fampitahana ny fahombiazan'ny Hive sy GreenPlum
Nanao andrana ny Sberbank mba hampitahana ny zava-bitan'ny grafika vokarin'ny MDW mifandraika amin'ny Hive sy amin'ny GreenPlum. Ao anatin'ny fanandramana, amin'ny trangan'i Hive dia misy nodes 5 ao amin'ny cluster mitovy amin'ny Ab Initio, ary amin'ny tranga GreenPlum dia misy nodes 4 amin'ny cluster misaraka. Ireo. Ny Hive dia manana tombony amin'ny hardware amin'ny GreenPlum.
Noheverinay ny kisary roa manao asa mitovy amin'ny fanavaozana ny angona ao amin'ny Hive sy GreenPlum. Tamin'izany fotoana izany, natomboka ny grafika novokarin'ny configurator MDW:
- enta-mavesatra voalohany + enta-mavesatra fanampiny amin'ny angona novokarina kisendrasendra ao anaty latabatra Hive
- enta-mavesatra voalohany + enta-mavesatra fanampiny amin'ny angon-drakitra noforonina ho an'ny latabatra GreenPlum mitovy
Amin'ireo tranga roa ireo (Hive sy GreenPlum) dia nandefa fampidinana ho an'ny kofehy 10 mifanitsy amin'ny cluster Ab Initio iray ihany izy ireo. Ab Initio dia nitahiry angona manelanelana ho an'ny kajy ao amin'ny HDFS (amin'ny lafiny Ab Initio, MFS layout mampiasa HDFS no nampiasaina). Ny andalana iray amin'ny angon-drakitra noforonina kisendrasendra dia nibodo 200 bytes tamin'ireo tranga roa ireo.
Toy izao ny vokany:
hive:
Fametrahana voalohany ao amin'ny Hive
Niditra andalana
6 000 000
60 000 000
600 000 000
Faharetan'ny fanombohana
fampidinana ao anatin'ny segondra
41
203
1 601
Fanampiana fanampiny ao amin'ny Hive
Isan'ny andalana misy ao
latabatra kendrena amin'ny fiandohan'ny andrana
6 000 000
60 000 000
600 000 000
Isan'ny tsipika delta ampiharina amin'ny
latabatra kendrena mandritra ny andrana
6 000 000
6 000 000
6 000 000
Ny faharetan'ny incremental
fampidinana ao anatin'ny segondra
88
299
2 541
GreenPlum:
Fametrahana voalohany amin'ny GreenPlum
Niditra andalana
6 000 000
60 000 000
600 000 000
Faharetan'ny fanombohana
fampidinana ao anatin'ny segondra
72
360
3 631
Fampidinana fanampiny amin'ny GreenPlum
Isan'ny andalana misy ao
latabatra kendrena amin'ny fiandohan'ny andrana
6 000 000
60 000 000
600 000 000
Isan'ny tsipika delta ampiharina amin'ny
latabatra kendrena mandritra ny andrana
6 000 000
6 000 000
6 000 000
Ny faharetan'ny incremental
fampidinana ao anatin'ny segondra
159
199
321
Hitantsika fa miankina amin'ny habetsaky ny angon-drakitra ny hafainganam-pandehan'ny entana voalohany ao amin'ny Hive sy GreenPlum ary, noho ny fitaovana tsara kokoa, dia haingana kokoa ho an'ny Hive noho ny GreenPlum.
Miankina amin'ny habetsahan'ny angon-drakitra efa voapetraka teo aloha ihany koa ny fampiakarana entana ao amin'ny Hive ary mandeha miadana rehefa mitombo ny volume. Izany dia noho ny filàna ny fanoratana tanteraka ny latabatra kendrena. Midika izany fa ny fampiharana fanovana kely amin'ny latabatra lehibe dia tsy mety tsara ho an'ny Hive.
Miankina kely amin'ny habetsahan'ny angon-drakitra efa voapetraka teo aloha ny fampiakarana entana ao amin'ny GreenPlum ary mandeha haingana haingana. Nitranga izany noho ny SQL Joins sy ny rafitra GreenPlum, izay mamela ny famafana.
Noho izany, GreenPlum dia manampy ny delta amin'ny alàlan'ny fomba famafana + ampidiro, fa ny Hive dia tsy manana asa famafana na fanavaozana, noho izany dia voatery naverina nosoratana tanteraka ny angon-drakitra manontolo nandritra ny fanavaozana fanampiny. Ny fampitahana ireo sela asongadina amin'ny bold no tena mampiharihary, satria mifanitsy amin'ny safidy mahazatra indrindra amin'ny fampiasana fampidinana misy loharanon-karena. Hitantsika fa resin'i GreenPlum i Hive tamin'ity fitsapana ity in-8.
Miasa Ab Initio miaraka amin'ny GreenPlum amin'ny fomba akaiky ny fotoana tena izy
Amin'ity andrana ity, dia hitsapa ny fahaizan'i Ab Initio manavao ny latabatra GreenPlum miaraka amin'ny angon-drakitra noforonina kisendrasendra ao anatin'ny fotoana fohy. Andeha hodinihintsika ny tabilao GreenPlum dev42_1_db_usl.TESTING_SUBJ_org_finval, izay hiarahantsika miasa.
Hampiasa grafika Ab Initio telo izahay hiarahana aminy:
1) Graph Create_test_data.mp - mamorona rakitra angona ao amin'ny HDFS miaraka amin'ny laharana 10 amin'ny kofehy 6 mifanitsy. Ny angona dia kisendrasendra, ny firafiny dia nalamina mba hampidirana ao amin'ny latabatra
2) Graph mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset – MDW dia namorona grafika tamin'ny alàlan'ny fanombohana ny fampidirana angon-drakitra ao amin'ny latabatray amin'ny kofehy mifanandrify 10 (ampiasaina ny angona fitsapana vokarin'ny grafika (1))
3) Graph mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset – kisary novokarin'ny MDW mba hanavaozana tsikelikely ny latabatray amin'ny kofehy mifanandrify 10 amin'ny fampiasana ampahany amin'ny angon-drakitra vao haingana (delta) novokarin'ny kisary (1)
Andeha hojerentsika ny script eto ambany amin'ny fomba NRT:
- mamorona tsipika fitsapana 6
- manaova enta-mavesatra voalohany mampiditra andalana fitsapana 6 ao anaty latabatra tsy misy na inona na inona
- avereno in-5 ny fampidinana incremental
- mamorona tsipika fitsapana 6
- manaova incremental incremental 6 andalana fitsapana ao amin'ny latabatra (amin'ity tranga ity, ny valid_to_ts fotoana lany dia napetraka amin'ny angona taloha ary ny angona vao haingana miaraka amin'ny fanalahidy fototra iray ihany no ampidirina)
Ity toe-javatra ity dia maka tahaka ny fomba fiasa tena izy amin'ny rafitra fandraharahana iray - ampahany betsaka amin'ny angon-drakitra vaovao no miseho amin'ny fotoana tena izy ary arotsaka avy hatrany ao amin'ny GreenPlum.
Andeha hojerentsika izao ny log'ny script:
Manomboka Create_test_data.input.pset amin'ny 2020-06-04 11:49:11
Vitao ny Create_test_data.input.pset amin'ny 2020-06-04 11:49:37
Manomboka mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset amin'ny 2020-06-04 11:49:37
Vitao ny mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset amin'ny 2020-06-04 11:50:42
Manomboka Create_test_data.input.pset amin'ny 2020-06-04 11:50:42
Vitao ny Create_test_data.input.pset amin'ny 2020-06-04 11:51:06
Manomboka mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset amin'ny 2020-06-04 11:51:06
Vitao ny mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset amin'ny 2020-06-04 11:53:41
Manomboka Create_test_data.input.pset amin'ny 2020-06-04 11:53:41
Vitao ny Create_test_data.input.pset amin'ny 2020-06-04 11:54:04
Manomboka mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset amin'ny 2020-06-04 11:54:04
Vitao ny mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset amin'ny 2020-06-04 11:56:51
Manomboka Create_test_data.input.pset amin'ny 2020-06-04 11:56:51
Vitao ny Create_test_data.input.pset amin'ny 2020-06-04 11:57:14
Manomboka mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset amin'ny 2020-06-04 11:57:14
Vitao ny mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset amin'ny 2020-06-04 11:59:55
Manomboka Create_test_data.input.pset amin'ny 2020-06-04 11:59:55
Vitao ny Create_test_data.input.pset amin'ny 2020-06-04 12:00:23
Manomboka mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset amin'ny 2020-06-04 12:00:23
Vitao ny mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset amin'ny 2020-06-04 12:03:23
Manomboka Create_test_data.input.pset amin'ny 2020-06-04 12:03:23
Vitao ny Create_test_data.input.pset amin'ny 2020-06-04 12:03:49
Manomboka mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset amin'ny 2020-06-04 12:03:49
Vitao ny mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset amin'ny 2020-06-04 12:06:46
Ity sary ity no hita:
Tabilao
Hanomboka fotoana
Fotoana famaranana
Length
Create_test_data.input.pset
04.06.2020: 11: 49: 11
04.06.2020: 11: 49: 37
00:00:26
mdw_load.day_one.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 49: 37
04.06.2020: 11: 50: 42
00:01:05
Create_test_data.input.pset
04.06.2020: 11: 50: 42
04.06.2020: 11: 51: 06
00:00:24
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 51: 06
04.06.2020: 11: 53: 41
00:02:35
Create_test_data.input.pset
04.06.2020: 11: 53: 41
04.06.2020: 11: 54: 04
00:00:23
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 54: 04
04.06.2020: 11: 56: 51
00:02:47
Create_test_data.input.pset
04.06.2020: 11: 56: 51
04.06.2020: 11: 57: 14
00:00:23
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 57: 14
04.06.2020: 11: 59: 55
00:02:41
Create_test_data.input.pset
04.06.2020: 11: 59: 55
04.06.2020: 12: 00: 23
00:00:28
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 12: 00: 23
04.06.2020: 12: 03: 23
00:03:00
Create_test_data.input.pset
04.06.2020: 12: 03: 23
04.06.2020: 12: 03: 49
00:00:26
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 12: 03: 49
04.06.2020: 12: 06: 46
00:02:57
Hitantsika fa tsipika 6 no voahodina ao anatin'ny 000 minitra, izay tena haingana.
Ny angon-drakitra ao amin'ny latabatra kendrena dia nizara toy izao manaraka izao:
select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;
Azonao atao ny mahita ny taratasin'ny angon-drakitra nampidirina tamin'ny fotoana nanombohana ny grafika.
Midika izany fa afaka mampandeha ny fampidinana angon-drakitra ianao ao amin'ny GreenPlum ao amin'ny Ab Initio amin'ny hafainganam-pandeha avo be ary mijery ny hafainganam-pandehan'ny fampidirana an'io data io ao amin'ny GreenPlum. Mazava ho azy fa tsy azo atao ny manomboka indray mandeha isan-tsegondra, satria ny Ab Initio, toy ny fitaovana ETL rehetra, dia mitaky fotoana "manomboka" rehefa atomboka.
famaranana
Ab Initio dia ampiasaina ao amin'ny Sberbank amin'izao fotoana izao mba hananganana Unified Semantic Data Layer (ESS). Tafiditra ao anatin'ity tetikasa ity ny fananganana dikan-teny mitambatra amin'ny fanjakana amin'ireo sampandraharaham-pandraharahana banky samihafa. Avy amin'ny loharanom-baovao isan-karazany ny fampahalalam-baovao, ny dika mitovy amin'izany dia voaomana ao amin'ny Hadoop. Mifototra amin'ny filan'ny orinasa, ny maodely angon-drakitra nomanina ary nofaritana ny fiovan'ny data. Ab Initio dia mampiditra ny vaovao ao amin'ny ESN ary ny angon-drakitra alaina dia tsy mahaliana ny orinasa ihany, fa koa loharanon'ny fananganana data marts. Mandritra izany fotoana izany, ny fiasan'ny vokatra dia ahafahanao mampiasa rafitra isan-karazany ho mpandray (Hive, Greenplum, Teradata, Oracle), izay ahafahana manomana mora foana ny angona ho an'ny orinasa amin'ny endrika isan-karazany ilainy.
Malalaka ny fahaizan'i Ab Initio; ohatra, ny rafitra MDW tafiditra ao dia ahafahana manangana angona ara-teknika sy ara-barotra ivelan'ny boaty. Ho an'ny mpamorona, ny Ab Initio dia mamela ny tsy hamorona indray ny kodiarana, fa ny fampiasana singa miasa maro efa misy, izay tena ilaina ny tranomboky rehefa miasa miaraka amin'ny data.
Ny mpanoratra dia manam-pahaizana manokana amin'ny vondrom-piarahamonina matihanina amin'ny Sberbank SberProfi DWH/BigData. Ny vondrom-piarahamonina matihanina SberProfi DWH/BigData dia tompon'andraikitra amin'ny fampivelarana ny fahaiza-manao amin'ny sehatra toy ny ecosystem Hadoop, Teradata, Oracle DB, GreenPlum, ary koa ny fitaovana BI Qlik, SAP BO, Tableau, sns.
Source: www.habr.com