Sawetara wektu kepungkur, kita ngadhepi pitakonan babagan milih alat ETL kanggo nggarap Big Data. Solusi Informatica BDM sing digunakake sadurunge ora cocog karo kita amarga fungsi sing winates. Panggunaan wis dikurangi dadi kerangka kanggo ngluncurake perintah spark-submit. Ora ana akeh analog ing pasar sing, ing prinsip, bisa nggarap volume data sing ditindakake saben dina. Ing pungkasan kita milih Ab Initio. Sajrone demonstrasi pilot, produk kasebut nuduhake kecepatan pangolahan data sing dhuwur banget. Meh ora ana informasi babagan Ab Initio ing basa Rusia, mula kita mutusake kanggo ngobrol babagan pengalaman ing HabrΓ©.
Ab Initio nduweni akeh transformasi klasik lan ora biasa, kode sing bisa ditambah nganggo basa PDL dhewe. Kanggo bisnis cilik, alat sing kuat kaya ngono bakal overkill, lan sebagian besar kemampuane bisa uga larang lan ora digunakake. Nanging yen skala sampeyan cedhak karo Sberov, banjur Ab Initio bisa uga menarik kanggo sampeyan.
Iku mbantu bisnis kanggo nglumpukake kawruh global lan ngembangaken ekosistem, lan pangembang kanggo nambah skills ing ETL, nambah kawruh ing cangkang, menehi kesempatan kanggo master basa PDL, menehi gambaran visual saka proses loading, lan nyederhanakake pembangunan. amarga akeh komponen fungsional.
Ing kirim iki, aku bakal ngomong babagan kemampuan Ab Initio lan menehi ciri komparatif karyane karo Hive lan GreenPlum.
- Katrangan babagan kerangka MDW lan nggarap kustomisasi kanggo GreenPlum
- Perbandingan kinerja Ab Initio antarane Hive lan GreenPlum
- Nggarap Ab Initio karo GreenPlum ing mode Near Real Time
Fungsi produk iki jembar banget lan mbutuhake wektu akeh kanggo sinau. Nanging, kanthi katrampilan kerja sing tepat lan setelan kinerja sing tepat, asil pangolahan data pancen apik banget. Nggunakake Ab Initio kanggo pangembang bisa menehi pengalaman sing menarik. Iki minangka pendekatan anyar babagan pangembangan ETL, hibrida antarane lingkungan visual lan pangembangan download ing basa kaya skrip.
Bisnis ngembangake ekosistem lan alat iki luwih migunani tinimbang sadurunge. Kanthi Ab Initio, sampeyan bisa nglumpukake kawruh babagan bisnis saiki lan nggunakake kawruh iki kanggo nggedhekake bisnis lawas lan mbukak bisnis anyar. Alternatif kanggo Ab Initio kalebu lingkungan pangembangan visual Informatica BDM lan lingkungan pangembangan non-visual Apache Spark.
Deskripsi Ab Initio
Ab Initio, kaya alat ETL liyane, minangka koleksi produk.
Ab Initio GDE (Lingkungan Pengembangan Grafis) minangka lingkungan kanggo pangembang ing ngendi dheweke ngatur transformasi data lan nyambungake karo aliran data ing bentuk panah. Ing kasus iki, sakumpulan transformasi kasebut diarani grafik:
Sambungan input lan output komponen fungsional minangka port lan ngemot kolom sing diwilang sajrone transformasi. Sawetara grafik sing disambungake kanthi aliran ing wangun panah miturut urutan eksekusi kasebut diarani rencana.
Ana sawetara atus komponen fungsional, sing akeh banget. Akeh sing duwe spesialisasi dhuwur. Kapabilitas transformasi klasik ing Ab Initio luwih akeh tinimbang alat ETL liyane. Contone, Gabung wis sawetara output. Saliyane asil nyambungake set data, sampeyan bisa entuk cathetan output set data input sing kuncine ora bisa disambungake. Sampeyan uga bisa nolak, kesalahan lan log operasi transformasi, sing bisa diwaca ing kolom sing padha karo file teks lan diproses nganggo transformasi liyane:
Utawa, contone, sampeyan bisa materialize panrima data ing wangun tabel lan maca data saka iku ing kolom padha.
Ana transformasi asli. Contone, transformasi Pindai nduweni fungsi sing padha karo fungsi analitis. Ana transformasi kanthi jeneng sing jelas: Nggawe Data, Maca Excel, Normalisasi, Urut ing Grup, Run Program, Run SQL, Gabung karo DB, lsp. sistem operasi. File kanthi set paramèter sing wis siap diterusake menyang grafik diarani set parameter (pset).
Kaya sing dikarepake, Ab Initio GDE duwe gudang dhewe sing diarani EME (Enterprise Meta Environment). Pangembang duwe kesempatan kanggo nggarap versi kode lokal lan mriksa perkembangane menyang repositori tengah.
Sampeyan bisa, sajrone eksekusi utawa sawise nglakokake grafik, sampeyan bisa ngeklik aliran apa wae sing nyambungake transformasi lan ndeleng data sing liwati antarane transformasi kasebut:
Sampeyan uga bisa ngeklik stream apa wae lan ndeleng rincian pelacakan - pira paralel sing ditindakake transformasi, pira garis lan bita sing dimuat menyang paralel:
Sampeyan bisa mbagi eksekusi grafik dadi fase lan menehi tandha manawa sawetara transformasi kudu ditindakake dhisik (ing fase nol), sing sabanjure ing fase pisanan, sing sabanjure ing fase kapindho, lsp.
Kanggo saben transformasi, sampeyan bisa milih tata letak sing diarani (ing ngendi bakal dieksekusi): tanpa paralel utawa ing benang paralel, jumlah sing bisa ditemtokake. Ing wektu sing padha, file sementara sing digawe Ab Initio nalika transformasi mlaku bisa diselehake ing sistem file server lan ing HDFS.
Ing saben transformasi, adhedhasar cithakan standar, sampeyan bisa nggawe skrip dhewe ing PDL, sing rada kaya cangkang.
Kanthi PDL, sampeyan bisa nggedhekake fungsi transformasi lan, utamane, sampeyan bisa kanthi dinamis (ing runtime) ngasilake fragmen kode sewenang-wenang gumantung saka parameter runtime.
Ab Initio uga nduweni integrasi sing wis dikembangake kanthi apik karo OS liwat cangkang. Khusus, Sberbank nggunakake linux ksh. Sampeyan bisa ngganti variabel karo cangkang lan digunakake minangka paramèter grafik. Sampeyan bisa nelpon eksekusi grafik Ab Initio saka cangkang lan ngatur Ab Initio.
Saliyane Ab Initio GDE, akeh produk liyane sing kalebu ing pangiriman. Ana Co> Sistem Operasi dhewe kanthi pratelan sing diarani sistem operasi. Ana Control> Pusat ing ngendi sampeyan bisa gawe jadwal lan ngawasi aliran download. Ana produk kanggo nindakake pembangunan ing tingkat luwih primitif saka Ab Initio GDE ngidini.
Katrangan babagan kerangka MDW lan nggarap kustomisasi kanggo GreenPlum
Bebarengan karo produke, vendor nyedhiyakake produk MDW (Metadata Driven Warehouse), yaiku konfigurator grafik sing dirancang kanggo mbantu tugas-tugas khas kanggo ngisi gudang data utawa kubah data.
Isine parser metadata khusus (proyek khusus) lan generator kode sing wis siap metu saka kothak.
Minangka input, MDW nampa model data, file konfigurasi kanggo nyetel sambungan menyang database (Oracle, Teradata utawa Hive) lan sawetara setelan liyane. Bagean khusus proyek, contone, nyebarake model menyang database. Bagean produk sing ora ana ing kothak ngasilake grafik lan file konfigurasi kanggo dheweke kanthi ngemot data menyang tabel model. Ing kasus iki, grafik (lan pset) digawe kanggo sawetara mode wiwitan lan kerja tambahan kanggo nganyari entitas.
Ing kasus Hive lan RDBMS, grafik beda digawe kanggo wiwitan lan nganyari data tambahan.
Ing kasus Hive, data delta mlebu disambungake liwat Ab Initio Gabung karo data sing ana ing tabel sadurunge nganyari. Pemuat data ing MDW (loro ing Hive lan RDBMS) ora mung nglebokake data anyar saka delta, nanging uga nutup periode relevansi data sing kunci utama nampa delta. Kajaba iku, sampeyan kudu nulis ulang bagean data sing ora diganti. Nanging iki kudu ditindakake amarga Hive ora duwe operasi mbusak utawa nganyari.
Ing kasus RDBMS, grafik kanggo nganyari data tambahan katon luwih optimal, amarga RDBMS duwe kemampuan nganyari nyata.
Delta sing ditampa dimuat menyang tabel penengah ing basis data. Sawise iki, delta disambungake menyang data sing ana ing tabel sadurunge nganyari. Lan iki rampung nggunakake SQL nggunakake query SQL kui. Sabanjure, nggunakake perintah SQL delete+insert, data anyar saka delta dilebokake menyang tabel target lan periode relevansi data sing kunci utama nampa delta ditutup.
Ora perlu nulis ulang data sing ora diganti.
Dadi, kita entuk kesimpulan yen ing kasus Hive, MDW kudu nulis ulang kabeh tabel amarga Hive ora duwe fungsi nganyari. Lan ora ana sing luwih apik tinimbang nulis ulang data nalika nganyari wis diciptakake. Ing kasus RDBMS, sebaliknya, panyipta produk nemokake yen kudu ngandelake sambungan lan nganyari tabel kanggo nggunakake SQL.
Kanggo proyek ing Sberbank, kita nggawe implementasine database loader anyar sing bisa digunakake maneh kanggo GreenPlum. Iki ditindakake adhedhasar versi sing digawe MDW kanggo Teradata. Iku Teradata, lan dudu Oracle, sing paling cedhak lan paling apik kanggo iki, amarga ... uga sistem MPP. Cara kerja, uga sintaks, Teradata lan GreenPlum ternyata padha.
Conto beda MDW-kritis antarane RDBMS beda minangka nderek. Ing GreenPlum, ora kaya Teradata, nalika nggawe tabel sampeyan kudu nulis klausa
distributed byTeradata nyerat:
delete <table> all, lan ing GreenPlum padha nulis
delete from <table>Ing Oracle, kanggo tujuan optimasi padha nulis
delete from t where rowid in (<ΡΠΎΠ΅Π΄ΠΈΠ½Π΅Π½ΠΈΠ΅ t Ρ Π΄Π΅Π»ΡΡΠΎΠΉ>), lan Teradata lan GreenPlum nulis
delete from t where exists (select * from delta where delta.pk=t.pk)Kita uga nyathet yen Ab Initio bisa nggarap GreenPlum, kudu nginstal klien GreenPlum ing kabeh simpul kluster Ab Initio. Iki amarga kita nyambung menyang GreenPlum bebarengan saka kabeh simpul ing kluster kita. Lan supaya maca saka GreenPlum dadi podo karo lan saben benang Ab Initio paralel kanggo maca bagean data dhewe saka GreenPlum, kita kudu nggawe konstruksi sing dingerteni Ab Initio ing bagean "ngendi" pitakon SQL.
where ABLOCAL()lan nemtokake nilai konstruksi iki kanthi nemtokake maca parameter saka database transformasi
ablocal_expr=Β«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))Β», kang compiles kanggo kaya
mod(sk,10)=3, i.e. sampeyan kudu njaluk GreenPlum kanthi panyaring eksplisit kanggo saben partisi. Kanggo database liyane (Teradata, Oracle), Ab Initio bisa nindakake paralelisasi iki kanthi otomatis.
Perbandingan kinerja Ab Initio antarane Hive lan GreenPlum
Sberbank nganakake eksperimen kanggo mbandhingake kinerja grafik MDW sing ana hubungane karo Hive lan GreenPlum. Minangka bagΓ©an saka eksperimen, ing kasus Hive ana 5 simpul ing kluster sing padha karo Ab Initio, lan ing kasus GreenPlum ana 4 simpul ing kluster sing kapisah. Sing. Hive duwe sawetara kauntungan hardware tinimbang GreenPlum.
Kita nganggep rong pasangan grafik sing nindakake tugas sing padha kanggo nganyari data ing Hive lan GreenPlum. Ing wektu sing padha, grafik sing digawe dening configurator MDW diluncurake:
- mbukak dhisikan + mbukak incremental data kui acak menyang Tabel Hive
- mbukak dhisikan + mbukak incremental saka data kui acak menyang Tabel GreenPlum padha
Ing loro kasus kasebut (Hive lan GreenPlum) padha ngunggah menyang 10 benang paralel ing kluster Ab Initio sing padha. Ab Initio nyimpen data penengah kanggo petungan ing HDFS (ing istilah Ab Initio, tata letak MFS nggunakake HDFS digunakake). Siji baris data sing digawe kanthi acak ngenggoni 200 bita ing loro kasus kasebut.
Hasile kaya iki:
Sarang:
Loading dhisikan ing Hive
Larik dipasang
6 000 000
60 000 000
600 000 000
Durasi wiwitan
downloads ing detik
41
203
1 601
Loading tambahan ing Hive
Jumlah larik sing kasedhiya ing
tabel target ing wiwitan eksperimen
6 000 000
60 000 000
600 000 000
Jumlah garis delta ditrapake kanggo
tabel target sajrone eksperimen
6 000 000
6 000 000
6 000 000
Duration saka incremental
downloads ing detik
88
299
2 541
GreenPlum:
Loading awal ing GreenPlum
Larik dipasang
6 000 000
60 000 000
600 000 000
Durasi wiwitan
downloads ing detik
72
360
3 631
Loading tambahan ing GreenPlum
Jumlah larik sing kasedhiya ing
tabel target ing wiwitan eksperimen
6 000 000
60 000 000
600 000 000
Jumlah garis delta ditrapake kanggo
tabel target sajrone eksperimen
6 000 000
6 000 000
6 000 000
Duration saka incremental
downloads ing detik
159
199
321
Kita weruh manawa kacepetan loading awal ing Hive lan GreenPlum sacara linear gumantung saka jumlah data lan, amarga hardware sing luwih apik, luwih cepet kanggo Hive tinimbang GreenPlum.
Loading inkremental ing Hive uga linearly gumantung ing volume data dimuat sadurunge kasedhiya ing tabel target lan nerusake cukup alon nalika volume mundak akeh. Iki disebabake kudu nulis ulang tabel target kanthi lengkap. Iki tegese nglamar owah-owahan cilik kanggo tabel ageng ora kasus nggunakake apik kanggo Hive.
Pemuatan tambahan ing GreenPlum gumantung saka volume data sing dimuat sadurunge sing kasedhiya ing tabel target lan nerusake kanthi cepet. Iki kedadeyan amarga SQL Joins lan arsitektur GreenPlum, sing ngidini operasi mbusak.
Dadi, GreenPlum nambahake delta nggunakake metode delete+insert, nanging Hive ora duwe operasi mbusak utawa nganyari, saengga kabeh data kudu ditulis maneh sajrone nganyari tambahan. Perbandhingan sel sing disorot kanthi kandel paling jelas, amarga cocog karo pilihan sing paling umum kanggo nggunakake download kanthi intensif sumber daya. Kita weruh manawa GreenPlum ngalahake Hive ing tes iki kaping 8.
Nggarap Ab Initio karo GreenPlum ing mode Near Real Time
Ing eksperimen iki, kita bakal nyoba kemampuan Ab Initio kanggo nganyari tabel GreenPlum kanthi potongan data sing digawe kanthi acak ing wektu nyata. Ayo dipikirake tabel GreenPlum dev42_1_db_usl.TESTING_SUBJ_org_finval, sing bakal ditindakake.
Kita bakal nggunakake telung grafik Ab Initio kanggo nggarap:
1) Grafik Create_test_data.mp - nggawe file data ing HDFS kanthi 10 larik ing 6 benang paralel. Data kasebut acak, strukture diatur kanggo dilebokake ing tabel kita
2) Grafik mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset β MDW ngasilake grafik kanthi nginisialisasi sisipan data menyang tabel ing 10 utas paralel (data tes sing digawe dening grafik (1) digunakake)
3) Grafik mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset β grafik sing digawe dening MDW kanggo nganyari tambahan tabel ing 10 utas paralel nggunakake bagean saka data sing anyar ditampa (delta) digawe dening grafik (1)
Ayo mbukak skrip ing ngisor iki ing mode NRT:
- ngasilake 6 garis test
- nindakake insert mbukak dhisikan 6 larik test menyang meja kosong
- baleni undhuhan tambahan 5 kaping
- ngasilake 6 garis test
- nindakake insert incremental saka 6 larik test menyang tabel (ing kasus iki, valid_to_ts wektu kadaluwarsa disetel kanggo data lawas lan data paling anyar karo kunci utami padha dilebokake)
Skenario iki niru mode operasi nyata sistem bisnis tartamtu - bagean data anyar sing cukup gedhe katon ing wektu nyata lan langsung diwutahake menyang GreenPlum.
Saiki ayo goleki log skrip:
Mulai Create_test_data.input.pset ing 2020-06-04 11:49:11
Rampung Create_test_data.input.pset ing 2020-06-04 11:49:37
Mulai mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset ing 2020-06-04 11:49:37
Rampung mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset ing 2020-06-04 11:50:42
Mulai Create_test_data.input.pset ing 2020-06-04 11:50:42
Rampung Create_test_data.input.pset ing 2020-06-04 11:51:06
Miwiti mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ing 2020-06-04 11:51:06
Rampung mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ing 2020-06-04 11:53:41
Mulai Create_test_data.input.pset ing 2020-06-04 11:53:41
Rampung Create_test_data.input.pset ing 2020-06-04 11:54:04
Miwiti mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ing 2020-06-04 11:54:04
Rampung mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ing 2020-06-04 11:56:51
Mulai Create_test_data.input.pset ing 2020-06-04 11:56:51
Rampung Create_test_data.input.pset ing 2020-06-04 11:57:14
Miwiti mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ing 2020-06-04 11:57:14
Rampung mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ing 2020-06-04 11:59:55
Mulai Create_test_data.input.pset ing 2020-06-04 11:59:55
Rampung Create_test_data.input.pset ing 2020-06-04 12:00:23
Miwiti mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ing 2020-06-04 12:00:23
Rampung mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ing 2020-06-04 12:03:23
Mulai Create_test_data.input.pset ing 2020-06-04 12:03:23
Rampung Create_test_data.input.pset ing 2020-06-04 12:03:49
Miwiti mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ing 2020-06-04 12:03:49
Rampung mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ing 2020-06-04 12:06:46
Ternyata gambar iki:
Grafik
Wiwit wektu
Rampung wektu
Length
Create_test_data.input.pset
04.06.2020: 11: 49: 11
04.06.2020: 11: 49: 37
00:00:26
mdw_load.day_one.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 49: 37
04.06.2020: 11: 50: 42
00:01:05
Create_test_data.input.pset
04.06.2020: 11: 50: 42
04.06.2020: 11: 51: 06
00:00:24
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 51: 06
04.06.2020: 11: 53: 41
00:02:35
Create_test_data.input.pset
04.06.2020: 11: 53: 41
04.06.2020: 11: 54: 04
00:00:23
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 54: 04
04.06.2020: 11: 56: 51
00:02:47
Create_test_data.input.pset
04.06.2020: 11: 56: 51
04.06.2020: 11: 57: 14
00:00:23
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 11: 57: 14
04.06.2020: 11: 59: 55
00:02:41
Create_test_data.input.pset
04.06.2020: 11: 59: 55
04.06.2020: 12: 00: 23
00:00:28
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 12: 00: 23
04.06.2020: 12: 03: 23
00:03:00
Create_test_data.input.pset
04.06.2020: 12: 03: 23
04.06.2020: 12: 03: 49
00:00:26
mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020: 12: 03: 49
04.06.2020: 12: 06: 46
00:02:57
Kita weruh yen 6 garis tambahan diproses sajrone 000 menit, sing cukup cepet.
Data ing tabel target pranyata disebarake kaya ing ngisor iki:
select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;
Sampeyan bisa ndeleng korespondensi data sing dilebokake ing wektu grafik diluncurake.
Iki tegese sampeyan bisa mbukak incremental loading data menyang GreenPlum ing Ab Initio kanthi frekuensi dhuwur banget lan mirsani kacepetan dhuwur nglebokake data iki menyang GreenPlum. Mesthine, ora bisa diluncurake sepisan, amarga Ab Initio, kaya alat ETL, mbutuhake wektu kanggo "miwiti" nalika diluncurake.
kesimpulan
Ab Initio saiki digunakake ing Sberbank kanggo mbangun Unified Semantic Data Layer (ESS). Proyek iki kalebu mbangun versi manunggal saka negara saka macem-macem entitas bisnis perbankan. Informasi teka saka macem-macem sumber, replika sing disiapake ing Hadoop. Adhedhasar kabutuhan bisnis, model data disiapake lan transformasi data diterangake. Ab Initio ngemot informasi menyang ESN lan data sing diundhuh ora mung dadi kapentingan kanggo bisnis kasebut, nanging uga dadi sumber kanggo mbangun pasar data. Ing wektu sing padha, fungsi produk ngidini sampeyan nggunakake macem-macem sistem minangka panrima (Hive, Greenplum, Teradata, Oracle), sing ndadekake gampang nyiyapake data kanggo bisnis ing macem-macem format sing dibutuhake.
Kapabilitas Ab Initio jembar; contone, kerangka MDW sing kalebu ndadekake bisa nggawe data historis teknis lan bisnis metu saka kothak. Kanggo gawe, Ab Initio ndadekake iku bisa ora reinvent setir, nanging nggunakake akeh komponen fungsi ana, kang ateges perpustakaan needed nalika nggarap data.
Penulis minangka pakar ing komunitas profesional Sberbank SberProfi DWH/BigData. Komunitas profesional SberProfi DWH/BigData tanggung jawab kanggo ngembangake kompetensi ing wilayah kayata ekosistem Hadoop, Teradata, Oracle DB, GreenPlum, uga alat BI Qlik, SAP BO, Tableau, lsp.
Source: www.habr.com