Qaybta ETL ee bakhaarka xogta inta badan waxaa hadheeyay bakhaarka laftiisa oo hela feejignaan ka yar kan kaydka ugu weyn ama qaybta dhamaadka hore, BI, iyo warbixinta. Isla mar ahaantaana, marka laga eego dhinaca makaanikada ee buuxinta bakhaarka xogta, ETL waxay ciyaaraysaa door muhiim ah oo uma baahna feejignaan ka yar maamulayaasha marka loo eego qaybaha kale. Magacaygu waa Alexander, hadda waxaan maamulaa ETL ee Rostelecom, maqaalkan waxaan isku dayi doonaa inaan la wadaago wax yar oo ka mid ah waxa maamulaha mid ka mid ah nidaamyada ugu caansan ETL ee kaydka xogta weyn ee Rostelecom ay tahay inuu wax ka qabto.
Haddii akhristayaasha qaaliga ah ay horeba u yaqaaniin guud ahaan mashruucayada kaydinta xogta iyo alaabta Informatica PowerCenter, markaa waxaad isla markiiba u gudbi kartaa qaybta xigta.
Dhowr sano ka hor, fikradda bakhaar xogta shirkadeed oo keliya ayaa koray oo bilaabay in lagu fuliyo Rostelecom. Tiro kayd ah oo xalliyey mashaakil shaqsiyeed ayaa mar hore la abuuray, laakiin tirada xaaladaha ayaa koray, kharashaadka taageerada ayaa sidoo kale kordhay, waxaana caddaatay in mustaqbalka uu yahay mid dhexe. Qaab dhismeed ahaan, kani waa kaydinta lafteeda, oo ka kooban dhawr lakab, oo laga hirgeliyay Hadoop iyo GreenPlum, xog-ururinta caawimada, hababka ETL iyo BI.
Isla mar ahaantaana, sababtoo ah tirada badan ee juqraafi ahaan loo qaybiyey, ilo xogeedyo kala duwan, waxaa la abuuray habka xogta gaarka ah ee xogta, hawlgalka kaas oo ay maamusho Informatica. Natiijo ahaan, xirmooyinka xogtu waxay ku dhammaanayaan aagga interface Hadoop, ka dib markaa hababka rarista xogta iyada oo loo marayo lakabyada kaydinta, Hadoop iyo GreenPlum ayaa bilaabmaya, waxaana lagu maamulaa waxa loogu yeero habka xakamaynta ETL ee lagu hirgeliyay Informatica. Sidaa darteed, nidaamka Informatica waa mid ka mid ah walxaha muhiimka ah ee hubinaya hawlgalka bakhaarka.
Kaydintayada waxa si faahfaahsan loogu sifayn doonaa mid ka mid ah qoraalada soo socda.
Informatica PowerCenter/Maaraynta Xogta Weyn ayaa hadda loo arkaa software-ka hormuudka ka ah agabka isku dhafka xogta. Tani waa wax soo saarka shirkadda Maraykanka ee Informatica, taas oo ah mid ka mid ah ciyaartoyda ugu xoogga badan ETL (Soo saarista Beddelka Load), maaraynta tayada xogta, MDM (Maareynta Xogta Masterka), ILM (Maareynta Nolosha Xogta) iyo in ka badan.
PowerCenter-ka aan isticmaalno waa adeegaha codsiga Tomcat isku dhafan kaas oo codsiyada Informatica laftoodu ay ku shaqeeyaan, iyaga oo fulinaya adeegyadooda:
Domain, dhab ahaantii, tani waa saldhigga wax kasta oo kale; adeegyada, isticmaalayaasha, iyo qaybaha GRID waxay ku shaqeeyaan gudaha domainka.
Console maamulaha, Qalabka maamulka iyo kormeerka ku salaysan shabakada, marka lagu daro Informatica Developer macmiilka, qalabka ugu muhiimsan ee la falgalka alaabta
MRS, Adeegga Kaydka Model, kaydinta metadata, waa lakab u dhexeeya kaydka xogta oo metadata jir ahaan lagu kaydiyo iyo Informatica Developer macmiilka kaas oo horumarku ka socdo. Kaydadka waxay kaydiyaan sharraxaadaha xogta iyo macluumaadka kale, oo ay ku jiraan tiro ka mid ah adeegyada kale ee Infromatica, tusaale ahaan, jadwalka hawlaha socodsiinta (Jadwalka) ama xogta la socodka, iyo sidoo kale cabbirrada codsiyada, gaar ahaan, u oggolaanaya isticmaalka isla codsi la mid ah shaqada ilo xogo kala duwan iyo kuwa qaata.
DIS, Adeegga Isku-dhafka Xogta, Kani waa adeeg ay ku dhacaan hababka ugu muhiimsan ee hawlaha, codsiyada ku dhex jira iyo bilaabista dhabta ah ee Workflows (sharaxaadaha taxanaha khariidadaha iyo isdhexgalka) iyo Mappings (isbeddelka, blocks kuwaas oo isbeddelada laftoodu ay dhacaan, habaynta xogta ) dhacaan.
qaabeynta GRID - asal ahaan, ikhtiyaarka lagu dhisayo dhisme adag iyadoo la adeegsanayo dhowr server, marka culeyska ay soo saartay DIS loo qaybiyo noodhka (taas oo ah, server-yada qayb ka ah domainka). Xaaladda doorashadan, marka lagu daro qaybinta culeyska ee DIS iyada oo loo marayo lakabka dheeraadka ah ee GRID oo mideeya dhowr nood, kaas oo DIS ay ku shaqeyso halkii ay ka shaqeyn lahayd hal nood gaar ah, tusaaleyaal dheeraad ah oo MRS ah ayaa sidoo kale la abuuri karaa. Waxaad xitaa hirgelin kartaa helitaan sare, halkaas oo wicitaannada dibadda laga samayn karo iyada oo loo marayo noodhadhka kaydka haddii kan ugu weyni uu ku guuldareysto. Waanu ka tagnay doorashadan dhismaha hadda.
Informatica PowerCenter, schematic
Marxaladaha hore ee shaqada oo qayb ka ah silsiladda sahayda xogta, dhibaatooyin ayaa si joogto ah u kacay, qaarkoodna waxaa sabab u ah hawlgalka aan degganayn ee Informatica wakhtigaas. Waxaan doonayaa inaan wadaago qaar ka mid ah waqtiyada xusuusta leh ee sheekadan - mastering Informatica 10.
Astaantii hore ee Informatica
Aaggayaga mas'uuliyadda sidoo kale waxaa ku jira deegaanno kale oo Informatica ah, waxay leeyihiin waxyaabo u gaar ah sababtoo ah culeys kala duwan, laakiin hadda waxaan xasuusan doonaa sida saxda ah ee Informatica u horumarisay qayb ETL ah ee bakhaarka xogta lafteeda.
Sidee tani ku dhacday
2016, markii aan mas'uul ka noqonnay shaqada Informatica, waxay horeyba u gaartay nooca 10.0, iyo asxaabtii rajo-gelinta leh ee go'aansaday inay isticmaalaan badeecad leh nooc yar .0 xal halis ah, wax walba waxay u muuqdeen kuwo cad - waxaan u baahanahay inaan isticmaalno nooca cusub! Marka loo eego aragtida agabka qalabka, wax walba way fiicnaayeen wakhtigaas.
Tan iyo gu'gii 2016, qandaraasle ayaa mas'uul ka ahaa shaqada Informatica, iyo sida laga soo xigtay dhowr isticmaalayaasha nidaamka, "waxay shaqeysay dhowr jeer todobaadkii." Halkan waxaa lagama maarmaan ah in la caddeeyo in kaydku ahaa de facto marxaladda PoC, ma jirin maamulayaal kooxda iyo nidaamku si joogto ah u burburay sababo kala duwan, ka dib markii injineerka qandaraaslaha uu mar kale soo qaaday.
Deyrtan, saddex maamule ayaa ku biiray kooxda, iyaga oo u qaybinaya aagagga mas'uuliyadda dhexdooda, shaqada caadiga ah waxay bilaabeen inay abaabulaan nidaamka hawlgalka mashruuca, oo ay ku jiraan Informatica. Dhanka kale, waa in la sheegaa in badeecadani aysan fiicneyn oo ay leedahay bulsho weyn oo aad ka heli karto jawaabaha su'aal kasta oo aad xalliso dhib kasta. Sidaa darteed, taageero farsamo oo buuxda oo ka timid lammaanaha Ruushka ee Informatica ayaa ahaa mid aad muhiim u ah, iyada oo la kaashanayo dhammaan khaladaadkayada iyo khaladaadkayaga Informatica 10 ee da'da yar ayaa la saxay.
Waxa ugu horreeya ee aan u sameynay horumarinta kooxdeena iyo qandaraasluhu waxay ahayd inaan xasilinno shaqada Informatica lafteeda, si loo hubiyo shaqeynta konsole maamulka shabakada (Informatica Administrator).
Tani waa sida aan inta badan ula kulannay horumariyeyaasha Informatica
Marka laga tago habka lagu ogaanayo sababaha, sababta ugu weyn ee shilalka ayaa ahayd habka isdhexgalka ee software-ka Informatica ee leh kaydka kaydka, kaas oo ku yaala server-ka fog, marka laga eego aragtida muuqaalka shabakada. Tani waxay keentay dib u dhac waxayna khalkhal galisay hababka kormeeraya xaalada domainka Informatica. Ka dib markii xoogaa la hagaajiyay xogta xogta, beddelidda cabbirrada Informatica, taas oo ka dhigtay mid aad u dulqaadanaysa dib-u-dhacyada xogta, iyo ugu dambeyntii cusboonaysiinta nooca Informatica oo loo beddelo 10.1 oo laga wareejiyo kaydka server-kii hore loona wareejiyo server ku yaal meel u dhow Informatica, dhibaatadu way lumisay. ku habboonaanta, iyo tan iyo markaas waxaa jiray shilalka noocan oo kale ah ma ilaalinno.
Mid ka mid ah isku dayga lagu doonayo in Informatica Monitor uu shaqeeyo
Xaaladda consoles'ka maamulka ayaa sidoo kale ahayd mid halis ah. Maadaama horumarka firfircooni uu si toos ah uga socday deegaanka wax soo saarka leh, asxaabtu waxay si joogto ah ugu baahnaayeen inay falanqeeyaan shaqada khariidadaha iyo socodka shaqada "socod." Informatica-ka cusub, Adeegga Is-dhexgalka Xogta ma laha qalab gaar ah oo loogu talagalay kormeerka noocan oo kale ah, laakiin qayb kormeer ah ayaa ka soo muuqatay konsole webka maamulka (Informatica Administrator Monitor), kaas oo aad kula socon karto hawlgalka codsiyada, socodka shaqada iyo khariidadaha, bilaabay, qoryo. Marmar, console-ku wuxuu noqday mid gebi ahaanba aan la heli karin, ama macluumaadka ku saabsan hababka hadda jira ee DIS ayaa joojiyay cusboonaysiinta, ama khaladaad ayaa dhacay markii boggaga la shubayo.
Doorashada xuduudaha Java si loo dejiyo waxqabadka
Dhibaatada waxaa lagu saxay siyaabo badan, tijaabooyin ayaa la sameeyay si loo beddelo xuduudaha, logs iyo jstack ayaa la ururiyay, loo diray si ay u taageeraan, isla mar ahaantaana waxaa jiray googlayn firfircoon iyo si fudud u fiirsashada.
Ugu horrayn, MRS gaar ah ayaa loo sameeyay la socodka; sida ay dib u noqotay, tani waa mid ka mid ah macaamiisha ugu muhiimsan ee kheyraadka deegaankeena, maadaama khariidadaha si aad ah loo bilaabay. Halbeegyada ku saabsan tuullada Java iyo tiro kale ayaa la beddelay.
Natiijo ahaan, cusbooneysiinta soo socota ee Informatica 10.1.1, hawlgalka konsole iyo kormeeraha ayaa la xasiliyay, horumariyayaashu waxay bilaabeen inay si hufan u shaqeeyaan, hababka caadiga ah waxay noqdeen kuwo aad u badan oo joogto ah.
Waayo-aragnimada is-dhexgalka ka dhexeeya horumarka iyo maamulka ayaa laga yaabaa inay noqoto mid xiiso leh. Arrinta fahamka guud ee sida ay arrimuhu u shaqeeyaan, waxa la qaban karo iyo waxa aan la samayn karin, had iyo jeer waa muhiim marka la isticmaalayo hababka adag. Sidaa darteed, waxaan si ammaan ah kugula talineynaa inaad marka hore u tababarto kooxda maamulka sida loo maamulo software-ka, iyo kooxda horumarinta sida loo qoro koodka iyo sawirista hababka nidaamka, ka dibna kaliya u dir kan koowaad iyo labaad si ay ugu shaqeeyaan natiijada. Tani runtii waa muhiim marka wakhtigu aanu ahayn kheyraad aan la koobi karin. Dhibaatooyin badan ayaa lagu xallin karaa xitaa iyada oo si aan toos ahayn loo raadiyo xulashooyin, laakiin mararka qaarkood qaarkood waxay u baahan yihiin aqoon mudnaanta leh - kiiskeenu wuxuu xaqiijinayaa muhiimada fahamka axiom-kan.
Tusaale ahaan, markii aan isku daynay in aan awoodno in lagu daabaco MRS (sida ay noqotay dhamaadka, nooc ka duwan SVN ayaa loo baahday), muddo ka dib waxaan ka naxsanay in aan ogaano in nidaamka dib u bilaabista uu kordhay dhowr iyo toban daqiiqo. Ka dib markii aanu helnay sababta dib u dhaca bilawga iyo curyaaminta nuqulka, si fiican ayaan mar labaad u samaynay.
Caqabadaha la arki karo ee la xidhiidha Informatica waxaa ka mid ah dagaalka hal-abuurka leh ee sii kordhaya dunta Java. Mar marka qaarkood, waxaa la gaaray waqtigii dib u soo celinta, taas oo ah, in la kordhiyo hababka la aasaasay oo la gaarsiiyo tiro badan oo ah nidaamyada ilaha. Waxaa soo baxday in dhammaan hababka 10.1.1 aysan si fiican u shaqeynin, iyo wakhti ka dib DIS waxay noqotay mid aan shaqaynayn. Tobanaan kun oo xadhig ah ayaa la ogaaday, tiradooduna way sii kordheysaa gaar ahaan inta lagu jiro nidaamka dirida codsiga. Mararka qaarkood waxay ahayd inaan dib u bilaabo dhowr jeer maalintii si aan u soo celiyo shaqeynta.
Halkan waxaan u baahanahay inaan uga mahadcelino taageerada; dhibaatooyinku waa la meeleeyay oo si dhakhso ah ayaa loo hagaajiyay iyadoo la adeegsanayo EBF (Emergency Bug Fix) - intaas ka dib, qof kastaa wuxuu helay dareenka in qalabku runtii shaqeeyo.
Wali way shaqeysaa!
Markii aan bilownay inaan ku shaqeyno qaabka bartilmaameedka, Informatica wuxuu u ekaa sidan. Nooca Informatica 10.1.1HF1 (HF1 waa HotFix1, shirka iibiyaha ee ka kooban EBFs) oo ay ku rakiban yihiin EBF, kaas oo saxaya dhibaheena xagga miisaanka iyo qaar kale, mid ka mid ah server-yada saddexdiiba qayb ka ahaa GRID, 20 x86_64 cores iyo kaydinta, oo ku jira qalab aad u gaabis ah oo aad u badan Seerfar kale oo la mid ah - Oracle DBMS oo ay labadaba ku shaqeeyaan Informatica domain iyo habka xakamaynta ETL. Waxaas oo dhan waxaa lagu kormeeraa qalabyada kormeerka caadiga ah ee loo isticmaalo kooxda (Zabbix + Grafana) labada dhinacba - Informatica lafteeda adeegyadeeda, iyo hababka rarka ee galaya. Hadda labadaba waxqabadka iyo xasilloonida, iyada oo aan la tixgelinaynin arrimaha dibadda, hadda waxay ku xiran tahay goobaha xaddidaya culeyska.
Si gooni ah, waxaan ka sheegi karnaa GRID. Deegaanka waxaa lagu dhisay seddex geesood, iyadoo suurtagal ah in culeyska la isku dheellitiro. Si kastaba ha noqotee, intii lagu jiray tijaabada, waxaa la ogaaday in dhibaatooyinka isdhexgalka ee u dhexeeya xaaladaha socodsiinta codsiyadayada, qaabeyntani uma shaqeynin sidii la filayay, waxayna go'aansadeen in ay si ku-meel-gaar ah uga tanaasulaan nidaamkan dhismaha, iyagoo ka saaraya laba ka mid ah saddexda nood ee domainka. Isla mar ahaantaana, nidaamka laftiisa sidiisii ββayuu ahaan jiray, oo hadda waa adeeg GRID, laakiin wuu sii xumaanayaa ilaa hal nood.
Hadda, dhibtu waxay weli la xiriirtaa hoos u dhaca waxqabadka marka si joogto ah loo nadiifiyo wareegga kormeeraha - oo leh geeddi-socod isku mar ah CNN iyo nadiifinta socodsiinta, cilladaha hawlgalka habka xakamaynta ETL ayaa dhici karta. Tan hadda waxaa lagu xalliyaa "sidoo kale" - iyadoo gacanta lagu nadiifiyo wareegga kormeeraha, iyadoo la luminayo dhammaan xogteedii hore. Tani maaha mid aad muhiim u ah wax soo saarka, inta lagu jiro hawlgalka caadiga ah, laakiin hadda waxaa socda raadinta xal caadi ah.
Dhibaato kale ayaa ka dhalata isla xaaladdan oo kale - mararka qaarkood waxaa dhacda dhowr jeer oo la soo rogo habka xakamaynta.
Codsi badan ayaa bilaabay taasoo horseedaysa fashilka farsamada
Markaad u socoto si waafaqsan jadwal, waqtiyada culeyska culus ee nidaamka, mararka qaarkood waxaa dhaca xaalado keena burburka habka. Dhibka weli gacanta ayaa lagu xallinayaa, waxaana la raadinayaa xal waara.
Guud ahaan, waxaan ku soo koobi karnaa in marka uu jiro culeys culus, ay aad muhiim u tahay in la siiyo kheyraad ku filan, tani waxay sidoo kale khuseysaa agabka qalabka ee Informatica laftiisa, iyo isku mid ah kaydka xogta, iyo sidoo kale in la bixiyo goobaha ugu fiican. iyaga. Intaa waxaa dheer, su'aashu waxay weli u furan tahay nidaamka meelaynta xogta ee ka fiican - martigeliyaha goonida ah, ama mid la mid ah halka software-ka Informatica uu ku shaqeeyo. Dhinaca kale, way ka raqiisanaan doontaa hal server, marka la isku daro, dhibaatada suurtagalka ah ee isdhexgalka shabakada ayaa si dhab ah meesha looga saarayaa; Dhanka kale, culeyska ku jira martida loo yahay database-ka waxaa lagu kabi karaa culeyska Informatica.
Sida badeecad kasta oo halis ah, Informatica sidoo kale waxay leedahay daqiiqado qosol leh.
Mar, markii aan xalinayey nooc shil ah, waxaan ogaaday in diiwaannada MRS ay si lama filaan ah u tilmaameen wakhtiga dhacdooyinka.
Ku-meel-gaadhka laba-geesoodka ah ee diiwaannada MRS-ga "naqshad ahaan"
Waxaa soo baxday in shaambada wakhtiga lagu qoro qaab 12 saac ah, iyada oo aan la sheegin AM/PM, taas oo ah, ka hor duhurkii ama ka dib. Xataa codsi ayaa la furay oo arrintan ku saabsan, waxaana la helay jawaab rasmi ah - sidan ayaa loogu talagalay, calaamaduhu waxay ku qoran yihiin log MRS sida saxda ah qaabkan. Taasi waa, mararka qaarkood waxaa jira xoogaa khiyaamo ah oo ku saabsan waqtiga ay dhacdo qaladka qaar...
Ku dadaal wanaagga
Maanta, Informatica waa qalab si cadaalad ah u deggan, oo ku habboon maamulayaasha iyo isticmaalayaasha, aadna u awood badan marka la eego awooddeeda iyo kartideeda hadda. Waxay ka badan tahay baahidayada shaqeyneysa marar badan iyo de facto hadda waxaa loo isticmaalay mashruuca si aan ahayn midka caadiga ah iyo midka caadiga ah. Dhibaatooyinka qayb ahaan waxay la xiriiraan habka farsamadu u shaqeeyaan - shay gaar ah ayaa ah in muddo gaaban gudaheed tiro badan oo xadhig ah la bilaabay kuwaas oo si degdeg ah u cusbooneysiiya xuduudaha oo la shaqeeya xogta kaydka, halka agabka qalabka server-ka si buuxda loo isticmaalo. by CPU.
Waxaan hadda ku dhownahay inaan u dhaqaaqno Informatica 10.2.1 ama 10.2.2, kuwaas oo dib u habeyn ku sameeyay qaar ka mid ah hababka gudaha iyo ballanqaadyada taageerada si loo baabi'iyo qaar ka mid ah arrimaha waxqabadka iyo shaqeynta ee aan hadda haysano. Iyo marka laga eego dhinaca qalabka, waxaan fileynaa server-yada leh qaabeynta ugu fiican annaga, iyada oo la tixgelinayo kaydka mustaqbalka dhow sababtoo ah koritaanka iyo horumarinta kaydinta.
Dabcan, waxaa jiri doona tijaabin, hubinta iswaafajinta, iyo suurtogalnimada isbedelada qaabdhismeedka qaybta HA GRID. Horumarka gudaha Informatica wuu sii socon doonaa, maadaama muddada gaaban aanan la siin karin wax lagu beddelo nidaamka.
Kuwa mas'uul ka noqon doona nidaamkan mustaqbalka waxay hubaal noqon doonaan inay keenaan kalsoonida loo baahan yahay iyo tilmaamayaasha waxqabadka ee ay soo bandhigeen macaamiisha.
Maqaalka waxaa diyaariyay kooxda maamulka xogta ee Rostelecom
Astaanta Informatica hadda
Source: www.habr.com