Komponenti ETL i magazinës së të dhënave shpesh errësohet nga vetë magazina dhe merr më pak vëmendje sesa baza e të dhënave kryesore ose komponenti i përparme, BI dhe raportimi. Në të njëjtën kohë, nga pikëpamja e mekanikës së mbushjes së magazinës me të dhëna, ETL luan një rol kyç dhe kërkon jo më pak vëmendje nga administratorët sesa përbërësit e tjerë. Emri im është Alexander, tani administroj ETL në Rostelecom dhe në këtë artikull do të përpiqem të ndaj pak nga ajo që duhet të merret administratori i një prej sistemeve më të famshme ETL në një depo të madhe të dhënash në Rostelecom.
Nëse lexuesit e dashur tashmë janë njohur në përgjithësi me projektin tonë të depove të të dhënave dhe me produktin Informatica PowerCenter, atëherë mund të kaloni menjëherë në seksionin tjetër.
Disa vite më parë, ideja e një depoje të vetme të të dhënave të korporatës u pjekur dhe filloi të zbatohej në Rostelecom. Një numër deposh që zgjidhnin probleme individuale ishin krijuar tashmë, por numri i skenarëve u rrit, kostot e mbështetjes gjithashtu u rritën dhe u bë e qartë se e ardhmja qëndronte në centralizimin. Arkitekturisht, kjo është vetë ruajtja, e përbërë nga disa shtresa, të zbatuara në Hadoop dhe GreenPlum, bazat e të dhënave ndihmëse, mekanizmat ETL dhe BI.
Në të njëjtën kohë, për shkak të numrit të madh të burimeve heterogjene të të dhënave të shpërndara gjeografikisht, u krijua një mekanizëm i veçantë i ngarkimit të të dhënave, funksionimi i të cilit kontrollohet nga Informatica. Si rezultat, paketat e të dhënave përfundojnë në zonën e ndërfaqes Hadoop, pas së cilës fillojnë proceset e ngarkimit të të dhënave përmes shtresave të ruajtjes, Hadoop dhe GreenPlum, dhe ato menaxhohen nga i ashtuquajturi mekanizmi i kontrollit ETL i implementuar në Informatica. Kështu, sistemi Informatica është një nga elementët kyç që siguron funksionimin e magazinës.
Ruajtja jonë do të përshkruhet më në detaje në një nga postimet e mëposhtme.
Informatica PowerCenter/Big Data Management konsiderohet aktualisht si softueri kryesor në fushën e mjeteve të integrimit të të dhënave. Ky është një produkt i kompanisë amerikane Informatica, e cila është një nga lojtarët më të fortë në ETL (Extract Transform Load), menaxhimin e cilësisë së të dhënave, MDM (Master Data Management), ILM (Information Lifecycle Management) dhe më shumë.
PowerCenter që përdorim është një server aplikacioni i integruar Tomcat në të cilin funksionojnë vetë aplikacionet Informatica, duke zbatuar shërbimet e tij:
Fushë, në fakt, kjo është baza për gjithçka tjetër; shërbimet, përdoruesit dhe komponentët GRID funksionojnë brenda domenit.
Konsola e Administratorit, një mjet menaxhimi dhe monitorimi i bazuar në ueb, përveç klientit Informatica Developer, mjeti kryesor për ndërveprim me produktin
MRS, Shërbimi i Depove të Modelit, një depo e meta të dhënave, është një shtresë midis bazës së të dhënave në të cilën meta të dhënat ruhen fizikisht dhe klientit Informatica Developer në të cilin po zhvillohet zhvillimi. Depot ruajnë përshkrimet e të dhënave dhe informacione të tjera, duke përfshirë për një sërë shërbimesh të tjera Infromatica, për shembull, oraret për ekzekutimin e detyrave (Skedulat) ose të dhënat e monitorimit, si dhe parametrat e aplikacionit, në veçanti, duke lejuar përdorimin e të njëjtit aplikacion për punë me burime dhe marrës të ndryshëm të të dhënave.
DIS, Shërbimi i Integrimit të të Dhënave, ky është një shërbim në të cilin zhvillohen proceset kryesore funksionale, aplikacionet ekzekutohen në të dhe nisjet aktuale të Workflows (përshkrimet e sekuencës së hartave dhe ndërveprimet e tyre) dhe Mappings (transformimet, blloqet në të cilat ndodhin vetë transformimet, përpunimi i të dhënave ) zhvillohet.
Konfigurimi GRID – në thelb, një opsion për ndërtimin e një kompleksi duke përdorur disa serverë, kur ngarkesa e nisur nga DIS shpërndahet midis nyjeve (d.m.th., serverëve që janë pjesë e domenit). Në rastin e këtij opsioni, përveç shpërndarjes së ngarkesës në DIS përmes një shtrese shtesë abstraksioni GRID që bashkon disa nyje, në të cilat funksionon DIS në vend që të punojë në një nyje të vetme specifike, mund të krijohen edhe instanca shtesë rezervë MRS. Ju madje mund të zbatoni disponueshmëri të lartë, ku thirrjet e jashtme mund të bëhen përmes nyjeve rezervë nëse ai kryesor dështon. Ne e kemi braktisur këtë opsion ndërtimi për momentin.
Informatica PowerCenter, skematike
Në fazat e hershme të punës si pjesë e zinxhirit të furnizimit të të dhënave, lindnin rregullisht probleme, disa prej tyre për shkak të funksionimit të paqëndrueshëm të Informatica në atë kohë. Unë do të ndaj disa nga momentet e paharrueshme të kësaj sage - zotërimi i Informatica 10.
Ish logoja e Informatica
Fusha jonë e përgjegjësisë përfshin edhe mjedise të tjera Informatica, ato kanë specifikat e tyre për shkak të një ngarkese të ndryshme, por tani për tani do të kujtoj saktësisht se si u zhvillua Informatica si një komponent ETL i vetë magazinës së të dhënave.
Si ndodhi kjo
Në vitin 2016, kur u bëmë përgjegjës për punën e Informatica, ai kishte arritur tashmë versionin 10.0, dhe për kolegët optimistë që po vendosnin të përdornin një produkt me një version të vogël .0 në një zgjidhje serioze, gjithçka dukej e qartë - duhet të përdorim versioni i ri! Nga pikëpamja e burimeve harduerike, gjithçka ishte në rregull në atë kohë.
Që nga pranvera e 2016-ës, për punën e Informatica-s është përgjegjës një kontraktor, i cili sipas pak përdoruesve të sistemit “punonte nja dy herë në javë”. Këtu është e nevojshme të sqarohet se depoja ishte de fakto në fazën e PoC, nuk kishte administratorë në ekip dhe sistemi u rrëzua vazhdimisht për arsye të ndryshme, pas së cilës inxhinieri i kontraktorit e mori përsëri.
Në vjeshtë, tre administratorë iu bashkuan ekipit, duke ndarë fushat e tyre të përgjegjësisë midis tyre dhe filloi puna normale për të organizuar funksionimin e sistemeve në projekt, përfshirë Informatica. Më vete, duhet thënë se ky produkt nuk është i përhapur dhe ka një komunitet të madh në të cilin mund të gjeni përgjigje për çdo pyetje dhe të zgjidhni çdo problem. Prandaj, mbështetja e plotë teknike nga partneri rus Informatica ishte shumë i rëndësishëm, me ndihmën e të cilit u korrigjuan të gjitha gabimet tona dhe gabimet e të rinjve të atëhershëm Informatica 10.
Gjëja e parë që duhej të bënim për zhvilluesit e ekipit tonë dhe kontraktorin ishte stabilizimi i punës së vetë Informatica, për të siguruar funksionalitetin e tastierës së administrimit në internet (Informatica Administrator).
Kështu takuam shpesh zhvilluesit e Informatica
Duke lënë mënjanë procesin e zbulimit të arsyeve, arsyeja kryesore e përplasjeve ishte modeli i ndërveprimit të softuerit Informatica me bazën e të dhënave të depove, e cila ndodhej në një server relativisht të largët, nga pikëpamja e peizazhit të rrjetit. Kjo shkaktoi vonesa dhe prishi mekanizmat që monitorojnë gjendjen e domenit Informatica. Pas disa akordimit të bazës së të dhënave, ndryshimit të parametrave të Informatica, gjë që e bëri atë më tolerant ndaj vonesave të bazës së të dhënave dhe përfundimisht përditësimit të versionit Informatica në 10.1 dhe transferimit të bazës së të dhënave nga serveri i mëparshëm në një server të vendosur më afër Informatica, problemi humbi rëndësi, dhe që atëherë ka pasur përplasje të këtij lloji që ne nuk i vëzhgojmë.
Një nga përpjekjet për të funksionuar Informatica Monitor
Situata me tastierën e administratës ishte gjithashtu kritike. Meqenëse zhvillimi aktiv ishte duke u zhvilluar drejtpërdrejt në mjedisin relativisht produktiv, kolegët vazhdimisht kishin nevojë të analizonin punën e hartave dhe rrjedhës së punës "në lëvizje". Në Informatica-n e re, Shërbimi i Integrimit të të Dhënave nuk ka një mjet të veçantë për një monitorim të tillë, por një seksion monitorimi është shfaqur në tastierën në internet të administratës (Informatica Administrator Monitor), në të cilin mund të monitoroni funksionimin e aplikacioneve, rrjedhën e punës dhe hartat, nis, shkrimet. Periodikisht, tastiera bëhej plotësisht e padisponueshme, ose informacioni rreth proceseve aktuale në DIS ndaloi përditësimin ose ndodhnin gabime gjatë ngarkimit të faqeve.
Përzgjedhja e parametrave java për të stabilizuar funksionimin
Problemi u korrigjua në shumë mënyra, u kryen eksperimente për të ndryshuar parametrat, u mblodhën regjistrat dhe jstack, u dërguan në mbështetje, në të njëjtën kohë kishte google aktiv dhe thjesht vëzhgim.
Para së gjithash, u krijua një MRS e veçantë për monitorim; siç doli më vonë, ky është një nga konsumatorët kryesorë të burimeve në mjediset tona, pasi hartat lansohen shumë intensivisht. Parametrat në lidhje me grumbullin java dhe një numër të tjerash janë ndryshuar.
Si rezultat, me përditësimin tjetër Informatica 10.1.1, funksionimi i tastierës dhe monitorit u stabilizua, zhvilluesit filluan të punojnë në mënyrë më efikase dhe proceset e rregullta u bënë gjithnjë e më të rregullta.
Përvoja e ndërveprimit ndërmjet zhvillimit dhe administrimit mund të jetë interesante. Çështja e një kuptimi të përgjithshëm se si funksionojnë gjërat, çfarë mund të bëhet dhe çfarë nuk mund të bëhet, është gjithmonë e rëndësishme kur përdoren sisteme komplekse. Prandaj, ne mund t'ju rekomandojmë me siguri që së pari të trajnoni ekipin administrativ se si të administrojë softuerin dhe ekipin e zhvillimit se si të shkruani kodin dhe të vizatoni proceset në sistem, dhe vetëm më pas të dërgoni të parën dhe të dytën për të punuar me rezultatin. Kjo është me të vërtetë e rëndësishme kur koha nuk është një burim i pafund. Shumë probleme mund të zgjidhen edhe me një kërkim të rastësishëm të opsioneve, por ndonjëherë disa kërkojnë njohuri apriori - rasti ynë konfirmon rëndësinë e të kuptuarit të kësaj aksiome.
Për shembull, kur u përpoqëm të aktivizonim versionin në MRS (siç doli në fund, nevojitej një version tjetër i SVN), pas ca kohësh u alarmuam kur zbuluam se koha e rifillimit të sistemit ishte rritur në disa dhjetëra minuta. Pasi gjetëm arsyen e vonesës në fillimin dhe çaktivizimin e versionit, ne bëmë përsëri mirë.
Pengesat e dukshme që lidhen me Informatica përfshijnë betejën epike me fijet në rritje të java-s. Në një moment, ka ardhur koha për përsëritje, domethënë për të shtrirë proceset e vendosura në një numër të madh sistemesh burimore. Doli që jo të gjitha proceset në 10.1.1 funksionuan mirë, dhe pas ca kohësh DIS u bë jofunksional. U zbuluan dhjetëra mijëra fije, numri i tyre u rrit veçanërisht dukshëm gjatë procedurës së vendosjes së aplikacionit. Ndonjëherë më duhej të rinisja disa herë në ditë për të rivendosur funksionalitetin.
Këtu duhet të falënderojmë mbështetjen; problemet u lokalizuan dhe u rregulluan relativisht shpejt duke përdorur EBF (Rigjimi i defekteve urgjente) - pas kësaj, të gjithë patën ndjenjën se mjeti me të vërtetë funksionon.
Ende funksionon!
Në kohën kur filluam të punonim në modalitetin e synuar, Informatica dukej kështu. Versioni i Informatica 10.1.1HF1 (HF1 është HotFix1, një montim shitës nga një kompleks EBF) me EBF të instaluar shtesë, i cili korrigjon problemet tona me shkallëzimin dhe disa të tjera, në një server nga tre që ishin pjesë e GRID, 20 bërthama x86_64 dhe ruajtja, në një grup të madh të ngadaltë disqesh lokalë - ky është konfigurimi i serverit për një grup Hadoop. Në një server tjetër të ngjashëm - një Oracle DBMS me të cilin funksionojnë domeni Informatica dhe mekanizmi i kontrollit ETL. E gjithë kjo monitorohet nga mjetet standarde të monitorimit të përdorura në ekip (Zabbix + Grafana) në të dyja anët - vetë Informatica me shërbimet e saj, dhe proceset e ngarkimit që shkojnë në të. Tani si performanca ashtu edhe stabiliteti, pa marrë parasysh faktorët e jashtëm, tani varen nga cilësimet që kufizojnë ngarkesën.
Më vete, mund të themi për GRID. Ambienti u ndërtua në tre nyje, me mundësi balancimi të ngarkesës. Megjithatë, gjatë testimit, u zbulua se për shkak të problemeve të ndërveprimit midis instancave të ekzekutimit të aplikacioneve tona, ky konfigurim nuk funksionoi siç pritej dhe ata vendosën të braktisnin përkohësisht këtë skemë ndërtimi, duke hequr dy nga tre nyjet nga domeni. Në të njëjtën kohë, vetë skema ka mbetur e njëjtë, dhe tani është pikërisht një shërbim GRID, por i degjeneruar në një nyje.
Për momentin, vështirësia mbetet e lidhur me një rënie të performancës kur pastroni rregullisht qarkun e monitorit - me procese të njëkohshme në CNN dhe pastrimin e funksionimit, mund të ndodhin keqfunksionime në funksionimin e mekanizmit të kontrollit ETL. Kjo aktualisht po zgjidhet "si paterica" - duke pastruar manualisht qarkun e monitorit, me humbjen e të gjitha të dhënave të tij të mëparshme. Kjo nuk është shumë kritike për produktivitetin, gjatë funksionimit normal rutinë, por tani për tani një kërkim për një zgjidhje normale është duke u zhvilluar.
Një problem tjetër lind nga e njëjta situatë - ndonjëherë ndodhin lëshime të shumta të mekanizmit tonë të kontrollit.
Nisjet e shumta të aplikacioneve që çojnë në dështimin e mekanizmit
Kur punoni sipas një orari, në momente të ngarkesës së madhe në sistem, ndonjëherë ndodhin situata që çojnë në prishje të mekanizmit. Problemi është ende duke u rregulluar manualisht dhe po kërkohet një zgjidhje e përhershme.
Në përgjithësi, mund të përmbledhim se kur ka një ngarkesë të madhe, është shumë e rëndësishme të sigurohen burime adekuate për të, kjo vlen edhe për burimet harduerike për vetë Informatica, dhe e njëjta gjë për depon e saj të bazës së të dhënave, si dhe për të ofruar cilësime optimale. për ata. Për më tepër, pyetja mbetet e hapur se cila skemë e vendosjes së bazës së të dhënave është më e mirë - në një host të veçantë, ose në të njëjtin ku funksionon softueri Informatica. Nga njëra anë, do të jetë më e lirë në një server, dhe kur kombinohet, problemi i mundshëm me ndërveprimin në rrjet praktikisht eliminohet; nga ana tjetër, ngarkesa në host nga baza e të dhënave plotësohet nga ngarkesa nga Informatica.
Si çdo produkt serioz, edhe Informatica ka momente qesharake.
Një herë, duke zgjidhur një lloj aksidenti, vura re se regjistrat e MRS tregonin çuditërisht kohën e ngjarjeve.
Dualizmi i përkohshëm në regjistrat MRS "sipas dizajnit"
Doli se vulat kohore shkruhen në format 12 orësh, pa specifikuar AM/PM, pra para mesditës ose pas. Madje u hap një aplikim në lidhje me këtë çështje dhe u mor një përgjigje zyrtare - kështu ishte menduar, shenjat janë shkruar në regjistrin e MRS pikërisht në këtë format. Domethënë, ndonjëherë mbetet ndonjë intrigë në lidhje me kohën e shfaqjes së ndonjë GABIM...
Përpiquni për më të mirën
Sot, Informatica është një mjet mjaft i qëndrueshëm, i përshtatshëm për administratorët dhe përdoruesit, jashtëzakonisht i fuqishëm për sa i përket aftësive dhe potencialit aktual. Ai i tejkalon nevojat tona funksionale shumë herë dhe de facto tani po përdoret në projekt në një mënyrë që nuk është më tipike dhe tipike. Vështirësitë lidhen pjesërisht me mënyrën e funksionimit të mekanizmave - e veçanta është se në një periudhë të shkurtër lansohen një numër i madh thread-sh që përditësojnë intensivisht parametrat dhe punojnë me bazën e të dhënave të depove, ndërsa burimet harduerike të serverit përdoren pothuajse plotësisht. nga CPU.
Tani jemi afër kalimit në Informatica 10.2.1 ose 10.2.2, të cilat kanë ripunuar disa nga mekanizmat e brendshëm dhe kanë mbështetur premtimet për të eliminuar disa nga problemet e performancës dhe funksionalitetit që kemi aktualisht. Dhe nga pikëpamja harduerike, ne presim serverë me një konfigurim optimal për ne, duke marrë parasysh rezervën për të ardhmen e afërt për shkak të rritjes dhe zhvillimit të ruajtjes.
Sigurisht, do të ketë testime, kontrolle të përputhshmërisë dhe ndoshta ndryshime arkitekturore në pjesën HA GRID. Zhvillimi brenda Informatica do të vazhdojë, pasi në një afat të shkurtër nuk mund të ofrojmë asgjë për të zëvendësuar sistemin.
Dhe ata që do të jenë përgjegjës për këtë sistem në të ardhmen do të jenë patjetër në gjendje ta sjellin atë në treguesit e kërkuar të besueshmërisë dhe performancës të paraqitur nga klientët.
Artikulli u përgatit nga ekipi i menaxhimit të të dhënave të Rostelecom
Logoja aktuale e Informatica
Burimi: www.habr.com