Komponén ETL tina gudang data sering dibayangkeun ku gudang éta sorangan sareng nampi kirang perhatian tibatan pangkalan data utama atanapi komponén hareup, BI, sareng ngalaporkeun. Dina waktos anu sami, tina sudut pandang mékanika ngeusian gudang kalayan data, ETL maénkeun peran konci sareng henteu peryogi perhatian pangurus ti komponén sanés. Nami abdi Alexander, abdi ayeuna administer ETL di Rostelecom, sarta dina artikel ieu kuring baris coba babagi saeutik naon administrator salah sahiji sistem ETL kawentar dina gudang data badag di Rostelecom kudu nungkulan.
Upami pamiarsa anu dipikacinta parantos akrab sacara umum sareng proyék gudang data kami sareng produk Informatica PowerCenter, teras anjeun tiasa langsung ngaléngkah ka bagian salajengna.
Sababaraha taun ka pengker, pamanggih gudang data perusahaan tunggal matured sarta mimiti dilaksanakeun di Rostelecom. Sajumlah repositories nu direngsekeun masalah individu geus dijieun, tapi jumlah skenario tumuwuh, waragad rojongan ogé ngaronjat, sarta eta janten jelas yén mangsa nu bakal datang iklas di sentralisasi. Sacara arsitéktur, ieu mangrupikeun panyimpenan sorangan, diwangun ku sababaraha lapisan, dilaksanakeun dina Hadoop sareng GreenPlum, pangkalan data bantu, mékanisme ETL sareng BI.
Dina waktos anu sami, kusabab jumlahna ageung sumber data anu disebarkeun sacara geografis, hétérogén, mékanisme unggah data khusus diciptakeun, operasi anu dikawasa ku Informatica. Hasilna, bungkusan data mungkas nepi di wewengkon panganteur Hadoop, nu satutasna prosés loading data ngaliwatan lapisan gudang, Hadoop na GreenPlum dimimitian, sarta aranjeunna diatur ku mékanisme kontrol disebut ETL dilaksanakeun di Informatica. Janten, sistem Informatica mangrupikeun salah sahiji elemen konci anu ngajamin operasi gudang.
Panyimpenan kami bakal dijelaskeun langkung rinci dina salah sahiji tulisan di handap ieu.
Informatica PowerCenter / Manajemén Data Besar ayeuna dianggap parangkat lunak ngarah dina widang alat integrasi data. Ieu mangrupikeun produk perusahaan Amérika Informatica, anu mangrupikeun salah sahiji pamaén anu paling kuat dina ETL (Extract Transform Load), manajemén kualitas data, MDM (Manajemén Data Master), ILM (Manajemén Lifecycle Informasi) sareng seueur deui.
PowerCenter anu kami anggo mangrupikeun server aplikasi Tomcat terpadu dimana aplikasi Informatica sorangan ngajalankeun, ngalaksanakeun jasana:
domain, kanyataanna, ieu téh dasar pikeun sagalana sejenna; jasa, pamaké, jeung komponén GRID beroperasi dina domain nu.
Konsol Administrator, alat manajemén jeung monitoring basis web, salian ti Informatica Developer klien, alat utama pikeun interacting jeung produk
MRS, Modél Repository Service, Repository metadata, nyaéta lapisan antara pangkalan data dimana metadata disimpen sacara fisik sareng klien Informatica Developer dimana pangwangunan lumangsung. Repositories nyimpen déskripsi data sareng inpormasi anu sanés, kalebet pikeun sababaraha jasa Infromatica sanés, contona, jadwal pikeun ngajalankeun tugas (Jadwal) atanapi ngawaskeun data, ogé parameter aplikasi, khususna, ngamungkinkeun panggunaan aplikasi anu sami pikeun dianggo sareng. rupa-rupa sumber data jeung panarima.
DIS, Layanan Integrasi Data, Ieu mangrupikeun jasa dimana prosés fungsional utama lumangsung, aplikasi dijalankeun di jerona sareng peluncuran Workflows saleresna (deskripsi tina sekuen pemetaan sareng interaksina) sareng Mappings (transformasi, blok dimana transformasi sorangan lumangsung, ngolah data. ) lumangsung.
Konfigurasi GRID - dasarna, pilihan pikeun ngawangun komplek nganggo sababaraha server, nalika beban anu diluncurkeun ku DIS disebarkeun diantara titik-titik (nyaéta, server anu bagian tina domain). Dina kasus pilihan ieu, salian ngadistribusikaeun beban dina DIS ngaliwatan lapisan abstraksi GRID tambahan anu ngahijikeun sababaraha titik, dimana DIS ngajalankeun tinimbang dianggo dina titik tunggal husus, instansi MRS cadangan tambahan ogé bisa dijieun. Anjeun malah tiasa nerapkeun kasadiaan anu luhur, dimana telepon éksternal tiasa dilakukeun ngaliwatan titik cadangan upami anu utama gagal. Kami parantos ngantunkeun pilihan konstruksi ieu ayeuna.
Informatica PowerCenter, skéma
Dina tahap awal gawé salaku bagian tina ranté suplai data, masalah rutin timbul, sababaraha di antarana alatan operasi teu stabil tina Informatica dina waktos éta. Abdi badé ngabagikeun sababaraha momen anu teu émut dina saga ieu - ngawasaan Informatica 10.
Tilas logo Informatica
Wewengkon tanggung jawab kami ogé kalebet lingkungan Informatica anu sanés, aranjeunna gaduh spésifik sorangan kusabab beban anu béda, tapi pikeun ayeuna kuring bakal émut persis kumaha Informatica dikembangkeun salaku komponén ETL tina gudang data sorangan.
Kumaha ieu kajadian
Dina 2016, nalika urang janten tanggung jawab karya Informatica, éta parantos ngahontal versi 10.0, sareng pikeun kolega optimis anu mutuskeun pikeun ngagunakeun produk kalayan versi minor .0 dina solusi anu serius, sadayana sigana atra - urang kedah nganggo. versi anyar! Tina sudut pandang sumber daya hardware, sadayana saé dina waktos éta.
Kusabab cinyusu 2016, hiji kontraktor geus jawab karya Informatica, sarta nurutkeun sababaraha pamaké sistem, "éta digawé sababaraha kali saminggu." Di dieu perlu netelakeun yén gudang éta sacara de facto dina tahap PoC, teu aya pangurus dina tim sareng sistem terus-terusan nabrak ku sababaraha alesan, saatos éta insinyur kontraktor ngajemput deui.
Dina usum gugur, tilu pangurus ngagabung tim, ngabagi wewengkon tanggung jawab maranéhanana, sarta karya normal mimiti ngatur operasi sistem dina proyék, kaasup Informatica. Kapisah, kudu disebutkeun yen produk ieu teu nyebar sarta ngabogaan komunitas badag dimana anjeun bisa manggihan jawaban kana patarosan wae tur ngajawab masalah nanaon. Ku alatan éta, rojongan teknis pinuh ti mitra Rusia Informatica éta pohara penting, kalayan bantuan nu sagala kasalahan sarta kasalahan urang Informatica 10 lajeng ngora dilereskeun.
Hal kahiji anu urang kedah laksanakeun pikeun pamekar tim kami sareng kontraktor nyaéta pikeun nyaimbangkeun karya Informatica sorangan, pikeun mastikeun pungsionalitas konsol administrasi wéb (Informatica Administrator).
Ieu kumaha urang sering patepung pamekar Informatica
Ninggalkeun prosés pikeun manggihan alesan, alesan utama pikeun kacilakaan éta pola interaksi software Informatica jeung database gudang, nu lokasina dina server rélatif jauh, ti sudut pandang bentang jaringan. Ieu nyababkeun telat sareng ngaganggu mékanisme anu ngawas kaayaan domain Informatica. Saatos sababaraha tuning pangkalan data, ngarobih parameter Informatica, anu ngajantenkeun langkung toleran kana telat database, sareng pamustunganana ngamutahirkeun versi Informatica ka 10.1 sareng nransferkeun databés tina server sateuacana ka server anu caket sareng Informatica, masalahna leungit. relevansi, sareng ti saprak éta aya kacilakaan sapertos anu urang henteu perhatikeun.
Salah sahiji usaha pikeun ngagarap Informatica Monitor
Kaayaan sareng konsol administrasi ogé kritis. Kusabab pangwangunan aktip dijalankeun langsung dina lingkungan anu rélatif produktif, kolega terus-terusan peryogi analisa karya pemetaan sareng alur kerja "dina perjalanan". Dina Informatica anyar, Layanan Integrasi Data henteu gaduh alat anu misah pikeun ngawaskeun sapertos kitu, tapi bagian ngawaskeun parantos muncul dina konsol wéb administrasi (Informatica Administrator Monitor), dimana anjeun tiasa ngawas operasi aplikasi, alur kerja sareng pemetaan, ngaluncurkeun, log. Périodik, konsol jadi lengkep sadia, atawa informasi ngeunaan prosés ayeuna di DIS eureun ngamutahirkeun, atawa kasalahan lumangsung nalika muka kaca.
Pamilihan parameter java pikeun nyaimbangkeun operasi
Masalahna dilereskeun ku sababaraha cara, percobaan dilaksanakeun pikeun ngarobih parameter, log sareng jstack dikumpulkeun, dikirim ka dukungan, dina waktos anu sami aya googling aktip sareng ngan ukur observasi.
Anu mimiti, MRS anu misah didamel pikeun ngawaskeun; tétéla engké, ieu mangrupikeun salah sahiji konsumén sumberdaya utama di lingkungan urang, sabab pemetaan diluncurkeun sacara intensif. Parameter ngeunaan java heap sareng sajumlah anu sanésna parantos dirobih.
Hasilna, ku update salajengna Informatica 10.1.1, operasi konsol jeung monitor ieu stabilized, pamekar mimiti dianggo leuwih éfisién, sarta prosés biasa janten beuki teratur.
Pangalaman interaksi antara pamekaran sareng administrasi tiasa pikaresepeun. Masalah pamahaman umum ngeunaan kumaha hal-hal jalan, naon anu tiasa dilakukeun sareng naon anu henteu tiasa dilakukeun, sok penting nalika ngagunakeun sistem anu kompleks. Ku alatan éta, urang aman tiasa nyarankeun yén anjeun mimitina ngalatih tim administrasi ngeunaan kumaha carana administer software, sarta tim ngembangkeun on cara nulis kode jeung ngagambar prosés dina sistem, sarta ngan lajeng ngirim kahiji jeung kadua pikeun berpungsi dina hasilna. Ieu leres-leres penting nalika waktos sanés sumber daya anu teu terbatas. Loba masalah bisa direngsekeun malah ku pilarian acak tina pilihan, tapi kadang sababaraha merlukeun pangaweruh apriori - hal urang confirms pentingna ngartos axiom ieu.
Contona, nalika urang diusahakeun sangkan versioning di MRS (sakumaha tétéla dina tungtungna, versi béda tina SVN diperlukeun), sanggeus sababaraha waktu kami alarmed pikeun manggihan yén sistem balikan deui waktu geus ngaronjat nepi ka sababaraha puluhan menit. Saanggeus kapanggih alesan pikeun reureuh di mimiti na nganonaktipkeun versioning, urang ngalakukeun ogé deui.
Halangan anu penting anu aya hubunganana sareng Informatica kalebet perang epik kalayan ngembang benang java. Dina sababaraha waktos, waktosna parantos sumping pikeun réplikasi, nyaéta, manjangkeun prosés anu ditetepkeun ka sajumlah ageung sistem sumber. Tétéla teu sakabéh prosés di 10.1.1 digawé ogé, sarta sanggeus sababaraha waktu DIS jadi inoperable. Puluhan rébu benang dideteksi, jumlahna ningkat hususna nalika prosedur panyebaran aplikasi. Sakapeung kuring kedah ngamimitian deui sababaraha kali sadinten pikeun mulangkeun fungsionalitas.
Di dieu urang kedah hatur nuhun kana dukungan; masalahna dilokalkeun sareng dibenerkeun rélatif gancang ngagunakeun EBF (Emergency Bug Fix) - saatos éta, sadayana ngagaduhan perasaan yén alat éta leres-leres jalanna.
Ieu masih jalan!
Nalika urang ngamimitian damel dina modeu target, Informatica katingali sapertos kieu. Vérsi Informatica 10.1.1HF1 (HF1 nyaeta HotFix1, assembly vendor ti kompléks EBFs) kalawan tambahan dipasang EBF, nu corrects masalah urang jeung skala jeung sababaraha séjén, dina hiji server kaluar tina tilu éta bagian tina GRID, 20 x86_64 cores. jeung neundeun, dina Asép Sunandar Sunarya slow badag tina disk lokal - ieu téh konfigurasi server pikeun klaster Hadoop. Dina server anu sami - Oracle DBMS dimana duanana domain Informatica sareng mékanisme kontrol ETL tiasa dianggo. Sadaya ieu diawaskeun ku alat ngawaskeun standar anu dianggo dina tim (Zabbix + Grafana) dina dua sisi - Informatica sorangan sareng jasana, sareng prosés muatkeunana. Ayeuna duanana kinerja sarta stabilitas, tanpa nyokot kana akun faktor éksternal, ayeuna gumantung kana setélan nu ngawatesan beban.
Kapisah, urang tiasa nyarios ngeunaan GRID. Lingkungan diwangun dina tilu titik, kalayan kamungkinan beban balancing. Nanging, nalika uji coba, kapanggih yén kusabab masalah interaksi antara instansi ngajalankeun aplikasi urang, konfigurasi ieu henteu jalan sakumaha anu diharapkeun, sareng aranjeunna mutuskeun pikeun samentawis ngantunkeun skéma konstruksi ieu, ngaleungitkeun dua tina tilu titik tina domain. Dina waktos anu sami, skéma sorangan tetep sami, sareng ayeuna éta mangrupikeun jasa GRID, tapi degenerate kana hiji titik.
Ayeuna, kasusah tetep aya hubunganana sareng turunna kinerja nalika rutin ngabersihkeun sirkuit monitor - kalayan prosés sakaligus dina CNN sareng ngajalankeun beberesih, gangguan dina operasi mékanisme kontrol ETL tiasa lumangsung. Ieu ayeuna keur direngsekeun "salaku crutch a" - ku cara manual ngabersihan sirkuit monitor, jeung leungitna sakabéh data na saméméhna. Ieu henteu kritis teuing pikeun produktivitas, salami operasi rutin normal, tapi pikeun ayeuna milarian solusi normal dijalankeun.
Masalah anu sanés timbul tina kaayaan anu sami - kadang sababaraha peluncuran mékanisme kontrol urang lumangsung.
Sababaraha peluncuran aplikasi ngarah kana gagalna mékanisme
Nalika ngajalankeun dumasar kana jadwal, dina waktos beban beurat dina sistem, kadang aya kaayaan anu nyababkeun karusakan mékanisme. Masalahna masih dibenerkeun sacara manual, sareng solusi permanén dipilarian.
Sacara umum, urang tiasa nyimpulkeun yén nalika aya beban beurat, penting pisan pikeun nyayogikeun sumber daya anu nyukupan pikeun éta, ieu ogé lumaku pikeun sumber hardware pikeun Informatica sorangan, sareng sami pikeun gudang databésna, ogé nyayogikeun setélan anu optimal. keur maranehna. Salaku tambahan, patarosan tetep kabuka ngeunaan skéma panempatan database mana anu langkung saé - dina host anu misah, atanapi dina anu sami dimana parangkat lunak Informatica dijalankeun. Di hiji sisi, éta bakal langkung mirah dina hiji server, sareng nalika digabungkeun, kamungkinan masalah sareng interaksi jaringan praktis dileungitkeun; di sisi sanésna, beban host tina pangkalan data ditambah ku beban ti Informatica.
Sapertos produk anu serius, Informatica ogé gaduh waktos lucu.
Sakali, bari nyortir kaluar sababaraha jenis kacilakaan, abdi noticed nu MRS log ahéngna nunjukkeun waktu kajadian.
Dualisme temporal dina MRS log "ku desain"
Tétéla yén perangko waktu ditulis dina format 12 jam, tanpa nangtukeun AM / PM, nyaeta, saméméh beurang atawa sanggeus. Hiji aplikasi malah dibuka ngeunaan hal ieu, sarta respon resmi geus narima - ieu téh kumaha eta dimaksudkeun, tanda ditulis dina MRS log persis format ieu. Nyaéta, sakapeung tetep aya sababaraha intrik ngeunaan waktos lumangsungna sababaraha ERROR ...
narékahan pikeun pangalusna
Kiwari, Informatica mangrupikeun alat anu cukup stabil, cocog pikeun pangurus sareng pangguna, kuat pisan dina hal kamampuan sareng poténsi ayeuna. Ieu ngaleuwihan pangabutuh fungsional urang sababaraha kali leuwih sarta de facto ayeuna dipake dina proyék dina cara nu teu paling has tur has. Kasusahna sabagean aya hubunganana sareng cara mékanisme jalan - hal anu khusus nyaéta dina waktos anu pondok sajumlah ageung benang diluncurkeun anu sacara intensif ngapdet parameter sareng damel sareng pangkalan data gudang, sedengkeun sumber hardware server dianggo ampir lengkep. ku CPU.
Urang ayeuna deukeut pindah ka Informatica 10.2.1 atawa 10.2.2, nu geus reworked sababaraha mékanisme internal tur ngarojong janji pikeun ngaleungitkeun sababaraha masalah kinerja sarta fungsionalitas ayeuna urang. Sareng tina sudut pandang hardware, kami ngarepkeun server kalayan konfigurasi anu optimal pikeun kami, kalayan nganggap cadangan pikeun masa depan anu caket kusabab kamekaran sareng pamekaran gudang.
Tangtosna, bakal aya uji coba, mariksa kasaluyuan, sareng kamungkinan parobahan arsitéktur dina bagian HA GRID. Pangwangunan dina Informatica bakal diteruskeun, sabab dina jangka pondok urang teu tiasa nyayogikeun nanaon pikeun ngagentos sistem.
Sareng jalma-jalma anu bakal nanggungjawaban kana sistem ieu di hareup pasti bakal tiasa nyangkingkeun kana réliabilitas anu diperyogikeun sareng indikator kinerja anu diteruskeun ku para nasabah.
Artikel ieu disiapkeun ku tim manajemen data Rostelecom
Logo Informatica ayeuna
sumber: www.habr.com