I etahi wa i mua, i pa ki a maatau te patai mo te whiriwhiri i tetahi taputapu ETL mo te mahi me nga Raraunga Nui. Ko te otinga Informatica BDM i whakamahia i mua kaore i pai ki a maatau na te iti o te mahi. Kua whakahekehia tona whakamahinga ki te anga mo te whakarewa i nga whakahau korakora-tuku. Kaore he maha o nga taatai i runga i te maakete, ko te tikanga, ka kaha ki te mahi me te nui o nga raraunga e pa ana ki a maatau ia ra. I te mutunga i kowhiria e matou a Ab Initio. I nga whakaaturanga pairati, i whakaatu te hua i te tere tere tukatuka raraunga. Karekau he korero mo Ab Initio i te reo Ruhia, no reira ka whakatau matou ki te korero mo o maatau wheako i runga i a Habré.
He maha nga huringa matarohia me te rerekee o Ab Initio, ko te waehere ka taea te whakawhānui ma te whakamahi i tana ake reo PDL. Mo te pakihi iti, tera pea ka nui rawa atu nga taputapu kaha, a, ko te nuinga o ona kaha he utu nui me te kore e whakamahia. Engari ki te tata to tauine ki a Sberov, ka pai pea a Ab Initio ki a koe.
Ka awhina i te pakihi ki te kohi matauranga puta noa i te ao me te whakawhanake i te rauwiringa kaiao, me te kaiwhakawhanake ki te whakapai ake i ona pukenga ki te ETL, ki te whakapai ake i tona mohiotanga ki te anga, ka whai waahi ki te mohio ki te reo PDL, ka hoatu he pikitia ataata mo nga tukanga uta, me te whakangawari i te whanaketanga. na te nui o nga waahanga mahi.
I tenei pou ka korero ahau mo nga kaha o Ab Initio me te whakarato i nga ahuatanga whakatairite o ana mahi ki a Hive me GreenPlum.
- Whakaahuatanga o te angamahi MDW me te mahi i tana whakaritenga mo GreenPlum
- Ab Initio whakarite mahi i waenga i a Hive me GreenPlum
- Mahi Ab Initio me GreenPlum i roto i te aratau Tata mo te Wa Tuturu
Ko te mahi o tenei hua he tino whanui me te wa roa ki te ako. Engari, me nga pukenga mahi tika me nga tautuhinga mahi tika, he tino whakamiharo nga hua o te tukatuka raraunga. Ma te whakamahi i te Ab Initio mo te kaiwhakawhanake ka puta he wheako whakamere. He tirohanga hou tenei mo te whanaketanga ETL, he ranu i waenga i te taiao ataata me te tango whanaketanga i roto i te reo rite-tuhi.
Kei te whakawhanake nga pakihi i o raatau rauwiringa kaiao me tenei taputapu ka nui ake i te waa. Ki a Ab Initio, ka taea e koe te kohi matauranga mo to pakihi o naianei me te whakamahi i enei matauranga ki te whakawhānui ake i nga pakihi tawhito me te whakatuwhera i nga pakihi hou. Ko etahi atu ki Ab Initio ko nga taiao whanaketanga ataata Informatica BDM me nga taiao whanaketanga kore-ataata Apache Spark.
Whakaahuatanga o Ab Initio
Ko Ab Initio, penei i etahi atu taputapu ETL, he kohinga hua.
Ko Ab Initio GDE (Taiao Whakawhanake Whakairoiro) he taiao mo te kaiwhakawhanake e whirihora ai i nga huringa raraunga me te hono atu ki nga rerenga raraunga i te ahua o nga pere. I roto i tenei take, ko enei huinga huringa ka kiia he kauwhata:
Ko nga hononga whakauru me te whakaputanga o nga waahanga mahi he tauranga, kei roto nga mara kua tatauhia i roto i nga huringa. He maha nga kauwhata e honoa ana e nga rerenga i te ahua o nga pere i runga i te raupapa o te mahi ka kiia he mahere.
He maha nga rau o nga waahanga mahi, he nui. Ko te nuinga o ratou he tino tohunga. Ko nga kaha o nga huringa matarohia i Ab Initio he whanui ake i era atu taputapu ETL. Hei tauira, he maha nga putanga a Hono. I tua atu i te hua o te hono i nga huingararaunga, ka taea e koe te tiki rekoata whakaputanga o nga huingararaunga whakaurunga kaore e taea te hono o raatau ki. Ka taea hoki e koe te tiki whakahē, he hapa me te raarangi o te mahi huringa, ka taea te panui i te pou kotahi ano he konae tuhinga me te tukatuka me etahi atu huringa:
Ranei, hei tauira, ka taea e koe te hanga i tetahi kaiwhiwhi raraunga i roto i te ahua o te ripanga me te panui raraunga mai i a ia i roto i te pou kotahi.
He huringa taketake. Hei tauira, he rite te mahinga o te huringa Matawai ki nga mahi tātari. He panonitanga me nga ingoa whakamarama ake: Waihanga Raraunga, Panui Excel, Whakaritea, Whakaritea i roto i nga Rōpū, Whakahaere Papatono, Whakahaere SQL, Hono me te DB, me etahi atu. Ka taea e nga kauwhata te whakamahi i nga tawhā oma-wa, tae atu ki te tuku i nga tawhā mai i, ki te punaha whakahaere. Ko nga konae me te huinga tawhā kua rite kua tukuna ki te kauwhata ka kiia ko nga huinga tawhā (psets).
Ka rite ki te tumanako, kei a Ab Initio GDE tana ake putunga e kiia nei ko EME (Enterprise Meta Environment). Ka whai waahi nga kaiwhakawhanake ki te mahi me nga putanga o te rohe o te waehere me te tirotiro i o raatau whanaketanga ki roto i te putunga putunga.
Ka taea, i te wa e mahia ana, i muri ranei i te mahi i te kauwhata, ki te paato i tetahi rerenga e hono ana i te huringa me te titiro ki nga raraunga i puta i waenga i enei huringa:
Ka taea hoki te paato i tetahi roma ka kite i nga taipitopito aroturuki - e hia nga whakarara i mahi ai te huringa, e hia nga rarangi me nga paita i utaina ki tehea o nga whakarara:
Ka taea te wehewehe i te mahinga o te kauwhata ki nga wahanga me te tohu me mahi etahi huringa i te tuatahi (i te wahanga kore), nga mea e whai ake nei i te waahanga tuatahi, nga mea e whai ake nei i te waahanga tuarua, etc.
Mo ia huringa, ka taea e koe te kowhiri i te tahora e kiia nei (te waahi ka mahia): kaore he whakarara, he miro whakarara ranei, ka taea te tohu te maha. I te wa ano, ko nga konae rangitahi ka hangaia e Ab Initio i te wa e rere ana nga huringa ka taea te whakanoho ki roto i te punaha konae tūmau me te HDFS.
I ia huringa, i runga i te tauira taunoa, ka taea e koe te hanga i to ake tuhinga ki te PDL, he ahua rite te anga.
Ma te PDL, ka taea e koe te whakawhānui ake i nga mahi o nga huringa, ina koa, ka taea e koe te whakahihiri (i te wa whakahaere) te whakaputa i nga kongakonga waehere noa i runga i nga tawhā o te wa whakahaere.
Kei a Ab Initio hoki te whakaurunga pai ki te OS ma te anga. Inaa, ka whakamahi a Sberbank i te linux ksh. Ka taea e koe te whakawhiti taurangi me te anga ka whakamahia hei tawhā kauwhata. Ka taea e koe te waea atu i nga kauwhata Ab Initio mai i te anga me te whakahaere i a Ab Initio.
Hei taapiri atu ki a Ab Initio GDE, he maha atu nga hua kei roto i te tuku. Kei a ia ano tana ake Co>Operation System me te kereme ka kiia he punaha whakahaere. He Mana> Pokapū ka taea e koe te whakarite me te aroturuki i nga rerenga tango. He hua mo te mahi whanaketanga i te taumata o mua ake i ta Ab Initio GDE e whakaae ana.
Whakaahuatanga o te angamahi MDW me te mahi i tana whakaritenga mo GreenPlum
I te taha o ana hua, ka tukuna e te kaihoko te hua MDW (Metadata Driven Warehouse), he kaitahuri kauwhata i hangaia hei awhina i nga mahi angamaheni o te whakakii i nga whare putunga raraunga me nga waahi raraunga.
Kei roto i nga korero metadata ritenga (kaupapa-motuhake) me nga kaihanga waehere kua rite mai i te pouaka.
Hei whakaurunga, ka whiwhi a MDW i tetahi tauira raraunga, he konae whirihoranga mo te whakarite hononga ki te papaunga raraunga (Oracle, Teradata, Hive ranei) me etahi atu tautuhinga. Ko te waahanga kaupapa-motuhake, hei tauira, ka horahia te tauira ki te putunga raraunga. Ko te waahanga o waho o te hua ka whakaputa kauwhata me nga konae whirihoranga mo ratou ma te uta i nga raraunga ki nga ripanga tauira. I tenei take, ka hangaia nga kauwhata (me nga tohu) mo te maha o nga momo mahi arawhiti me nga mahi taapiri mo te whakahou i nga hinonga.
I roto i nga keehi o Hive me RDBMS, ka hangaia nga kauwhata rereke mo te aratakitanga me nga whakahoutanga raraunga taapiri.
I roto i te take o Hive, ka hono nga raraunga delta taumai ma Ab Initio Hono me nga raraunga kei te ripanga i mua i te whakahou. Ko nga kaipupuri raraunga i roto i te MDW (kei roto i te Hive me te RDBMS) kaore i te whakauru noa i nga raraunga hou mai i te delta, engari ka kati ano i nga wa e tika ana o nga raraunga i whakawhiwhia e nga kii tuatahi te delta. I tua atu, me tuhi ano koe i te waahanga kaore i whakarereketia o nga raraunga. Engari me mahi tenei na te mea karekau a Hive i nga mahi muku, whakahou ranei.
Mo te RDBMS, he pai ake te ahua o nga kauwhata mo te whakahou i nga raraunga taapiri, na te mea kei a RDBMS nga mana whakahou.
Ka utaina te delta kua riro ki roto i te ripanga takawaenga i te putunga raraunga. I muri i tenei, ka hono te delta ki nga raraunga i te ripanga i mua i te whakahou. Na ka mahia tenei ma te whakamahi i te SQL ma te whakamahi i te patai SQL i hangaia. I muri mai, ma te whakamahi i nga whakahau SQL delete+insert, ka whakauruhia nga raraunga hou mai i te delta ki roto i te ripanga whaainga me nga wa e whai kiko ana o nga raraunga ka mau nga kii tuatahi i te delta kua katia.
Kaore he take ki te tuhi ano i nga raraunga kaore i whakarereketia.
Na ka tae mai matou ki te whakatau i roto i te take o Hive, me haere a MDW ki te tuhi ano i te tepu katoa na te mea kaore he mahi whakahou a Hive. A kaore he mea pai atu i te tuhi ano i nga raraunga i te wa i hangaia te whakahou. I roto i te take o RDBMS, engari, i kitea e nga kaihanga o te hua he mea tika ki te tuku i te hononga me te whakahou i nga ripanga ki te whakamahi i te SQL.
Mo tetahi kaupapa i Sberbank, i hangahia e matou he whakatinanatanga hou, ka taea te whakamahi ano o te putunga putunga raraunga mo GreenPlum. I mahia tenei i runga i te putanga i hangaia e MDW mo Teradata. Ko Teradata, ehara ko Oracle, i tata mai, i tino pai mo tenei, na te mea... he punaha MPP ano. Ko nga tikanga mahi, me te syntax, o Teradata me GreenPlum i puta he rite.
Ko nga tauira o nga rereketanga nui-MDW i waenga i nga RDBMS rereke e whai ake nei. I GreenPlum, kaore i rite ki a Teradata, i te wa e hanga ana i nga ripanga me tuhi koe i tetahi rara
distributed byKa tuhi a Teradata:
delete <table> all, a ki GreenPlum ka tuhia e ratou
delete from <table>I Oracle, mo nga kaupapa arotautanga ka tuhia e ratou
delete from t where rowid in (<соединение t с дельтой>), me Teradata me GreenPlum te tuhi
delete from t where exists (select * from delta where delta.pk=t.pk)Ka kite ano matou, kia mahi tahi a Ab Initio me GreenPlum, me whakauru te kiritaki GreenPlum ki nga pona katoa o te roopu Ab Initio. Ko tenei na te mea i hono atu matou ki a GreenPlum i te wa kotahi mai i nga kohanga katoa o ta matou kahui. A kia noho whakarara te panui mai i GreenPlum me ia miro whakarara Ab Initio ki te panui i tana ake waahanga raraunga mai i GreenPlum, me tuu he hanga i maarama e Ab Initio ki te waahanga "kei hea" o nga patai SQL
where ABLOCAL()me te whakatau i te uara o tenei hanga ma te tohu i te panui tawhā mai i te paataka huringa
ablocal_expr=«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))», e whakahiato ana ki tetahi mea penei
mod(sk,10)=3, i.e. Me akiaki koe ki a GreenPlum me te tātari marama mo ia wehenga. Mo etahi atu paparangi raraunga (Teradata, Oracle), ka taea e Ab Initio te mahi aunoa i tenei whakarara.
Ab Initio whakarite mahi i waenga i a Hive me GreenPlum
I whakahaerehia e Sberbank tetahi whakamatautau ki te whakataurite i nga mahi o nga kauwhata i hangaia e te MDW e pa ana ki a Hive me te hononga ki a GreenPlum. Hei waahanga o te whakamatautau, i roto i te keehi o Hive, e 5 nga pona kei runga i te roopu rite tonu ki a Ab Initio, a, i te keehi o GreenPlum, e 4 nga pona kei runga i tetahi tautau motuhake. Ko era. He pai ake nga taputapu a Hive ki a GreenPlum.
I whakaarohia e matou nga kauwhata takirua e mahi ana i te mahi kotahi ki te whakahou i nga raraunga i Hive me GreenPlum. I taua wa ano, i whakarewahia nga kauwhata i hangaia e te whirihora MDW:
- te uta tuatahi + te uta pikinga o nga raraunga i hangaia matapōkeretia ki te ripanga Hive
- te kawenga tuatahi + te pikinga ake o nga raraunga i hangaia matapōkeretia ki te ripanga GreenPlum kotahi
I roto i nga take e rua (Hive me GreenPlum) ka tukuna e ratou nga tukunga ki nga miro whakarara 10 i runga i te kahui Ab Initio kotahi. I tiakina e Ab Initio nga raraunga takawaenga mo nga tatauranga i roto i te HDFS (mo Ab Initio, i whakamahia te whakatakotoranga MFS ma te HDFS). Kotahi te rarangi o nga raraunga hanga matapōkeretia i noho i te 200 paita i roto i nga keehi e rua.
Ko te hua i penei:
takurua:
Te uta tuatahi ki Hive
Kua whakauruhia nga rarangi
6 000 000
60 000 000
600 000 000
Te roa o te timatanga
tikiake i roto i te hēkona
41
203
1 601
Uta pikinga ki Hive
Te maha o nga rarangi kei roto
tepu whainga i te timatanga o te whakamatautau
6 000 000
60 000 000
600 000 000
Te maha o nga raina delta i hoatu ki
tepu whaainga i te wa o te whakamatautau
6 000 000
6 000 000
6 000 000
Te roanga o te pikinga
tikiake i roto i te hēkona
88
299
2 541
Parama Kakariki:
Te uta tuatahi ki GreenPlum
Kua whakauruhia nga rarangi
6 000 000
60 000 000
600 000 000
Te roa o te timatanga
tikiake i roto i te hēkona
72
360
3 631
Uta piki i GreenPlum
Te maha o nga rarangi kei roto
tepu whainga i te timatanga o te whakamatautau
6 000 000
60 000 000
600 000 000
Te maha o nga raina delta i hoatu ki
tepu whaainga i te wa o te whakamatautau
6 000 000
6 000 000
6 000 000
Te roanga o te pikinga
tikiake i roto i te hēkona
159
199
321
E kite ana matou ko te tere o te uta tuatahi i roto i te Hive me te GreenPlum e whakawhirinaki ana ki te nui o nga raraunga, a, mo te pai ake o nga taputapu, he tere ake mo Hive i to GreenPlum.
Ko te pikinga ake o te uta ki Hive ka whakawhirinaki ano ki te nui o nga raraunga kua utaina i mua e waatea ana i te ripanga whaainga me te tere haere i te wa e tipu haere ana te rōrahi. I puta mai tenei na te hiahia ki te tuhi ano i te ripanga whaainga. Ko te tikanga ko te tono huringa iti ki nga ripanga nui ehara i te take pai mo Hive.
Ko te pikinga ake o te uta i GreenPlum he ngoikore te whakawhirinaki ki te nui o nga raraunga kua utaina i mua e waatea ana ki te teepu whaainga me te tere haere. I puta tenei na te SQL Joins me te hoahoanga GreenPlum, e taea ai te mahi whakakore.
Na, ka taapirihia e GreenPlum te delta ma te whakamahi i te tikanga muku+whakauru, engari kaore a Hive i te whakakore, te whakahou ranei i nga mahi, na reira i kaha te tuhi katoa o nga rarangi raraunga i te wa o te whakahou ake. Ko te whakatairite o nga pūtau kua tohua ki roto i te maia he tino whakakitenga mai, na te mea e rite ana ki te kowhiringa noa mo te whakamahi i nga tango rawa-nui. Ka kite matou i whiua e GreenPlum a Hive i tenei whakamatautau ma te 8 nga wa.
Mahi Ab Initio me GreenPlum i roto i te aratau Tata mo te Wa Tuturu
I roto i tenei whakamatautau, ka whakamatauhia e matou te kaha o Ab Initio ki te whakahou i te tepu GreenPlum me nga waahanga raraunga i hangaia matapōkeretia i roto i te waa tino. Me whakaaro tatou ki te ripanga GreenPlum dev42_1_db_usl.TESTING_SUBJ_org_finval, ka mahi maatau.
Ka whakamahia e matou nga kauwhata Ab Initio e toru hei mahi tahi:
1) Kauwhata Create_test_data.mp – ka hanga i nga konae raraunga ki HDFS me nga rarangi 10 i roto i nga miro whakarara 6. Ko nga raraunga he matapōkeretia, kua whakaritea tona hanganga mo te whakauru ki roto i to maatau ripanga
2) Kauwhata mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset – I hangaia e MDW te kauwhata ma te arawhiti i te whakauru raraunga ki roto i ta maatau ripanga i roto i nga miro whakarara 10 (ka whakamahia nga raraunga whakamatautau i hangaia e te kauwhata (1))
3) Kauwhata mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset – he kauwhata i hangaia e MDW mo te whakahou ake i ta matou ripanga i roto i nga miro whakarara 10 ma te whakamahi i tetahi waahanga o nga raraunga hou kua riro mai (delta) i hangaia e te kauwhata (1)
Me whakahaere te tuhinga i raro nei ki te aratau NRT:
- whakaputa 6 raina whakamatautau
- mahia he uta tuatahi whakaurua 6 rarangi whakamatautau ki roto i te teepu kau
- tukuruatia te tangohanga taapiri kia 5 nga wa
- whakaputa 6 raina whakamatautau
- mahia he whakauru whakaurunga o nga rarangi whakamatautau 6 ki roto i te ripanga (i tenei keehi, kua tautuhia te wa paunga_to_ts ki nga raraunga tawhito me nga raraunga hou me te kii matua kotahi ka whakauruhia)
Ko tenei ahuatanga ka peehia te ahua o te mahi tuturu o tetahi punaha pakihi - he tino nui te waahanga o nga raraunga hou ka puta i te waa tuuturu ka ringihia tonu ki GreenPlum.
Inaianei me titiro ki te raarangi o te tuhinga:
Tīmata Waihanga_test_data.input.pset i 2020-06-04 11:49:11
Whakaoti Waihanga_test_data.input.pset i 2020-06-04 11:49:37
Tīmata mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset i 2020-06-04 11:49:37
Whakaoti mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset i 2020-06-04 11:50:42
Tīmata Waihanga_test_data.input.pset i 2020-06-04 11:50:42
Whakaoti Waihanga_test_data.input.pset i 2020-06-04 11:51:06
Tīmata mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset i 2020-06-04 11:51:06
Whakaoti mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset i 2020-06-04 11:53:41
Tīmata Waihanga_test_data.input.pset i 2020-06-04 11:53:41
Whakaoti Waihanga_test_data.input.pset i 2020-06-04 11:54:04
Tīmata mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset i 2020-06-04 11:54:04
Whakaoti mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset i 2020-06-04 11:56:51
Tīmata Waihanga_test_data.input.pset i 2020-06-04 11:56:51
Whakaoti Waihanga_test_data.input.pset i 2020-06-04 11:57:14
Tīmata mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset i 2020-06-04 11:57:14
Whakaoti mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset i 2020-06-04 11:59:55
Tīmata Waihanga_test_data.input.pset i 2020-06-04 11:59:55
Whakaoti Waihanga_test_data.input.pset i 2020-06-04 12:00:23
Tīmata mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset i 2020-06-04 12:00:23
Whakaoti mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset i 2020-06-04 12:03:23
Tīmata Waihanga_test_data.input.pset i 2020-06-04 12:03:23
Whakaoti Waihanga_test_data.input.pset i 2020-06-04 12:03:49
Tīmata mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset i 2020-06-04 12:03:49
Whakaoti mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset i 2020-06-04 12:06:46
Ka puta tenei pikitia:
Kauwhata
Tīmata te wa
Whakaoti te wa
roa
Create_test_data.input.pset
04.06.2020 11: 49: 11
04.06.2020 11: 49: 37
00:00:26
mdw_load.day_one.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 49: 37
04.06.2020 11: 50: 42
00:01:05
Create_test_data.input.pset
04.06.2020 11: 50: 42
04.06.2020 11: 51: 06
00:00:24
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 51: 06
04.06.2020 11: 53: 41
00:02:35
Create_test_data.input.pset
04.06.2020 11: 53: 41
04.06.2020 11: 54: 04
00:00:23
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 54: 04
04.06.2020 11: 56: 51
00:02:47
Create_test_data.input.pset
04.06.2020 11: 56: 51
04.06.2020 11: 57: 14
00:00:23
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 57: 14
04.06.2020 11: 59: 55
00:02:41
Create_test_data.input.pset
04.06.2020 11: 59: 55
04.06.2020 12: 00: 23
00:00:28
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 00: 23
04.06.2020 12: 03: 23
00:03:00
Create_test_data.input.pset
04.06.2020 12: 03: 23
04.06.2020 12: 03: 49
00:00:26
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 03: 49
04.06.2020 12: 06: 46
00:02:57
Ka kite matou e 6 nga raina pikinga ka tukahia i roto i te 000 meneti, he tino tere.
Ko nga raraunga i roto i te ripanga whaainga kua tohatohahia penei:
select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;
Ka taea e koe te kite i nga reta o nga raraunga kua whakauruhia ki nga wa i whakarewahia nga kauwhata.
Ko te tikanga ka taea e koe te kawe i nga taapiringa taapiri o nga raraunga ki roto i te GreenPlum i Ab Initio me te tino auau me te kite i te tere tere o te whakauru i enei raraunga ki GreenPlum. Ko te tikanga, kaore e taea te whakarewa i te wa kotahi, na te mea ko Ab Initio, penei me tetahi taputapu ETL, me wa ki te "tiimata" ka whakarewahia.
mutunga
Kei te whakamahia a Ab Initio i Sberbank i tenei wa ki te hanga i tetahi Paparanga Raraunga Semantic Unified (ESS). Kei roto i tenei kaupapa te hanga i tetahi putanga whakakotahi o te ahua o nga momo hinonga pakihi peeke. Ko nga korero ka ahu mai i nga puna maha, ko nga tauira kua rite ki Hadoop. I runga i nga hiahia pakihi, ka whakaritea he tauira raraunga ka whakaahuahia nga huringa raraunga. Ka utaina e Ab Initio nga korero ki roto i te ESN, a, ko nga raraunga kua tangohia ake ehara i te mea e pai ana ki te pakihi i a ia ano, engari ka noho ano hei puna mo te hanga i nga maakete raraunga. I te wa ano, ko te mahi o te hua ka taea e koe te whakamahi i nga momo punaha hei kaiwhiwhi (Hive, Greenplum, Teradata, Oracle), ka taea te whakarite i nga raraunga mo tetahi pakihi i roto i nga momo whakatakotoranga e hiahiatia ana.
He whanui te kaha o Ab Initio; hei tauira, ko te angamahi MDW kua whakauruhia ka taea te hanga i nga raraunga o mua hangarau me nga pakihi mai i te pouaka. Mo nga kaiwhakawhanake, ka taea e Ab Initio te kore e hanga ano i te wira, engari ki te whakamahi i te maha o nga waahanga mahi, he whare pukapuka e hiahiatia ana ina mahi ana me nga raraunga.
Ko te kaituhi he tohunga i roto i te hapori ngaio o Sberbank SberProfi DWH/BigData. Ko te hapori ngaio SberProfi DWH/BigData te kawenga mo te whakawhanake i nga pukenga i roto i nga waahanga penei i te punaha hauropi Hadoop, Teradata, Oracle DB, GreenPlum, me nga taputapu BI Qlik, SAP BO, Tableau, etc.
Source: will.com