Se eleman ETL nan depo done a souvan kouvri pa depo nan tèt li epi li resevwa mwens atansyon pase baz done prensipal la oswa eleman front-end, BI, ak rapò. An menm tan an, nan pwen de vi mekanik yo ranpli depo a ak done, ETL jwe yon wòl kle epi li mande pa mwens atansyon nan men administratè pase lòt konpozan. Non mwen se Alexander, mwen kounye a administre ETL nan Rostelecom, ak nan atik sa a mwen pral eseye pataje yon ti kras nan sa ki administratè a nan youn nan sistèm yo ETL ki pi popilè nan yon gwo depo done nan Rostelecom gen fè fas ak.
Si chè lektè yo deja abitye an jeneral ak pwojè depo done nou an ak pwodwi Informatica PowerCenter, Lè sa a, ou ka imedyatman ale nan pwochen seksyon an.
Plizyè ane de sa, lide yon sèl depo done antrepriz te gen matirite epi yo te kòmanse aplike nan Rostelecom. Yon kantite depo ki te rezoud pwoblèm endividyèl yo te deja kreye, men kantite senaryo a te grandi, depans sipò yo te ogmante tou, epi li te vin klè ke lavni an kouche nan santralizasyon. Achitekti, sa a se depo nan tèt li, ki fòme ak plizyè kouch, aplike sou Hadoop ak GreenPlum, baz done oksilyè, mekanis ETL ak BI.
An menm tan an, akòz gwo kantite jeyografik distribye, sous done eterojèn, yo te kreye yon mekanis espesyal telechaje done, operasyon an ki kontwole pa Informatica. Kòm yon rezilta, pakè done yo fini nan zòn koòdone Hadoop, apre sa pwosesis yo nan chaje done atravè kouch depo, Hadoop ak GreenPlum kòmanse, epi yo jere pa sa yo rele mekanis kontwòl ETL aplike nan Informatica. Kidonk, sistèm Informatica a se youn nan eleman kle ki asire operasyon depo a.
Depo nou an pral dekri an plis detay nan youn nan pòs sa yo.
Informatica PowerCenter/Big Data Management kounye a konsidere kòm lojisyèl dirijan nan domèn zouti entegrasyon done yo. Sa a se yon pwodwi nan konpayi Ameriken Informatica, ki se youn nan jwè ki pi fò nan ETL (Extract Transform Load), jesyon kalite done, MDM (Master Data Management), ILM (Information Lifecycle Management) ak plis ankò.
PowerCenter nou itilize a se yon sèvè aplikasyon Tomcat entegre kote aplikasyon Informatica yo menm ap kouri, pou mete ann aplikasyon sèvis li yo:
Domèn, an reyalite, sa a se baz pou tout lòt bagay; sèvis, itilizatè, ak eleman GRID opere nan domèn nan.
Administratè konsole, yon zouti jesyon ak siveyans ki baze sou entènèt, anplis de kliyan Informatica Developer, zouti prensipal pou kominike avèk pwodwi a.
MRS, Sèvis Modèl Repository, yon depo metadata, se yon kouch ant baz done kote metadata yo estoke fizikman ak kliyan Informatica Developer kote devlopman ap fèt. Repozitwa yo estoke deskripsyon done ak lòt enfòmasyon, ki gen ladan pou yon kantite lòt sèvis Infromatica, pou egzanp, orè pou fè travay yo (Orè) oswa done siveyans, osi byen ke paramèt aplikasyon an, an patikilye, ki pèmèt itilize nan menm aplikasyon an pou travay avèk divès sous done ak reseptè.
DIS, Sèvis Entegrasyon Done, sa a se yon sèvis nan ki pwosesis prensipal yo fonksyonèl pran plas, aplikasyon yo kouri nan li ak lanse aktyèl yo nan Workflows (deskripsyon nan sekans nan kat ak entèraksyon yo) ak Mappings (transfòmasyon, blòk nan ki transfòmasyon yo tèt yo rive, pwosesis done yo). ) pran plas.
GRID konfigirasyon – esansyèlman, yon opsyon pou bati yon konplèks lè l sèvi avèk plizyè serveurs, lè chaj la te lanse pa DIS distribye nan mitan nœuds yo (ki se, sèvè ki fè pati domèn nan). Nan ka opsyon sa a, anplis distribye chay la nan DIS atravè yon kouch grid abstrè adisyonèl ki ini plizyè nœuds, sou ki DIS kouri olye pou yo travay sou yon sèl nœud espesifik, yo ka kreye plis enstans MRS backup. Ou ka menm aplike disponiblite segondè, kote apèl ekstèn yo ka fèt nan nœuds backup si youn prensipal la echwe. Nou te abandone opsyon konstriksyon sa a pou kounye a.
Enfòmatik PowerCenter, chema
Nan premye etap yo nan travay kòm yon pati nan chèn ekipman pou done a, pwoblèm regilyèman leve, kèk nan yo akòz operasyon an enstab nan Informatica nan tan sa a. Mwen pral pataje kèk nan moman memorab nan lejand sa a - metrize Informatica 10.
Ansyen logo Informatica
Zòn responsablite nou an gen ladan tou lòt anviwònman Informatica, yo gen pwòp spesifik yo akòz yon chaj diferan, men pou kounye a mwen pral sonje egzakteman ki jan Informatica devlope kòm yon eleman ETL nan depo done tèt li.
Ki jan sa te rive?
Nan 2016, lè nou te vin responsab travay Informatica, li te deja rive nan vèsyon 10.0, ak pou kòlèg optimis ki te deside sèvi ak yon pwodwi ki gen yon vèsyon minè .0 nan yon solisyon serye, tout bagay te sanble evidan - nou bezwen sèvi ak nouvo vèsyon an! Soti nan pwen de vi resous pyès ki nan konpitè, tout bagay te byen nan moman sa a.
Depi prentan 2016, yon kontraktè te responsab travay Informatica, e dapre kèk itilizatè sistèm nan, "li te travay yon koup de fwa pa semèn." Isit la li nesesè klarifye ke repozitwa a te defakto nan etap nan PoC, pa te gen okenn administratè nan ekip la ak sistèm nan toujou ap fè aksidan pou plizyè rezon, apre sa enjenyè kontraktè a ranmase l 'ankò.
Nan sezon otòn la, twa administratè te rantre nan ekip la, divize zòn responsablite yo nan mitan tèt yo, ak travay nòmal yo te kòmanse òganize operasyon an nan sistèm nan pwojè a, ki gen ladan Informatica. Separeman, li dwe di ke pwodui sa a pa gaye toupatou epi li gen yon gwo kominote kote ou ka jwenn repons a nenpòt kesyon ak rezoud nenpòt pwoblèm. Se poutèt sa, sipò teknik konplè nan men patnè Ris Informatica a te trè enpòtan, ak èd nan ki tout erè nou yo ak erè nan Lè sa a, jèn Informatica 10 yo te korije.
Premye bagay nou te dwe fè pou devlopè ekip nou an ak kontraktè a se te estabilize travay Informatica li menm, pou asire fonksyonalite konsole administrasyon entènèt la (Administratè Informatica).
Sa a se jan nou souvan rankontre devlopè Informatica
Kite sou kote pwosesis pou chèche konnen rezon ki fè yo, rezon prensipal pou aksidan yo te modèl entèraksyon lojisyèl Informatica ak baz done depo a, ki te chita sou yon sèvè relativman aleka, nan pwen de vi nan jaden flè rezo a. Sa a te lakòz reta ak deranje mekanis yo ki kontwole eta a nan domèn nan Informatica. Apre kèk ajisteman nan baz done a, chanje paramèt yo nan Informatica, ki te fè li pi toleran nan reta baz done, ak evantyèlman mete ajou vèsyon an Informatica a 10.1 ak transfere baz done a soti nan sèvè anvan an nan yon sèvè ki sitiye pi pre Informatica, pwoblèm nan pèdi li. enpòtans, e depi lè sa a te gen aksidan nan kalite sa a nou pa obsève.
Youn nan tantativ pou fè Informatica Monitor travay
Sitiyasyon an ak konsole administrasyon an te kritik tou. Depi devlopman aktif te sou pye dirèkteman sou anviwònman relativman pwodiktif la, kòlèg yo te toujou bezwen analize travay kat yo ak workflow "nan ale." Nan nouvo Informatica a, Sèvis Entegrasyon Done a pa gen yon zouti separe pou siveyans sa yo, men yon seksyon siveyans te parèt nan konsole entènèt administrasyon an (Informatica Administrator Monitor), kote ou ka kontwole operasyon aplikasyon yo, workflow ak kat, lanse, mòso bwa. Tanzantan, konsole a te vin konplètman disponib, oswa enfòmasyon sou pwosesis aktyèl nan DIS sispann mete ajou, oswa erè ki te fèt lè chaje paj yo.
Seleksyon paramèt java pou estabilize pèfòmans
Pwoblèm nan te korije nan plizyè fason, eksperyans yo te pote soti nan chanje paramèt, mòso bwa ak jstack yo te kolekte, voye bay sipò, an menm tan an te gen googling aktif ak tou senpleman obsèvasyon.
Premyèman, yo te kreye yon MRS separe pou siveyans; kòm li te vin parèt pita, sa a se youn nan konsomatè prensipal yo nan resous nan anviwònman nou an, depi kat yo te lanse trè entansif. Paramèt konsènan pil java ak yon kantite lòt yo te chanje.
Kòm yon rezilta, pa pwochen aktyalizasyon Informatica 10.1.1, operasyon konsole a ak monitè a te estabilize, devlopè yo te kòmanse travay pi efikas, ak pwosesis regilye yo te vin pi plis ak plis regilye.
Eksperyans nan entèraksyon ant devlopman ak administrasyon ka enteresan. Pwoblèm nan yon konpreyansyon jeneral sou ki jan bagay yo travay, sa ki ka fè ak sa ki pa ka fè, se toujou enpòtan lè w ap itilize sistèm konplèks. Se poutèt sa, nou ka san danje rekòmande ke ou premye antrene ekip administratif la sou kòman yo administre lojisyèl an, ak ekip devlopman an sou kòman yo ekri kòd ak trase pwosesis nan sistèm nan, epi sèlman Lè sa a, voye premye a ak dezyèm nan travay sou rezilta a. Sa a se reyèlman enpòtan lè tan se pa yon resous enfini. Anpil pwoblèm ka rezoud menm pa yon rechèch o aza nan opsyon, men pafwa gen kèk ki mande yon konesans a priori - ka nou an konfime enpòtans ki genyen nan konpreyansyon aksyòm sa a.
Pou egzanp, lè nou te eseye pèmèt vèsyon nan MRS (tankou li te tounen soti nan fen a, yo te bezwen yon vèsyon diferan nan SVN), apre kèk tan nou te pè dekouvri ke tan an rekòmanse sistèm te ogmante a plizyè dizèn de minit. Lè nou jwenn rezon ki fè yo reta nan kòmansman an ak enfimite vèsyon, nou te fè byen ankò.
Obstak remakab ki asosye ak Informatica gen ladan batay la sezon ak k ap grandi fil java. Nan kèk pwen, lè a rive pou replikasyon, se sa ki, pou yon ekstansyon pou pwosesis yo etabli nan yon gwo kantite sistèm sous. Li te tounen soti ke se pa tout pwosesis nan 10.1.1 te travay byen, epi apre kèk tan DIS te vin pa fonksyone. Yo te detekte plizyè dizèn de milye fil, nimewo yo ap grandi sitou pandan pwosedi deplwaman aplikasyon an. Pafwa mwen te oblije rekòmanse plizyè fwa pa jou pou retabli fonksyonalite.
Isit la nou bezwen remèsye sipò a; pwoblèm yo te lokalize ak ranje relativman rapid lè l sèvi avèk EBF (Emergency Bug Fix) - apre sa, tout moun te santi ke zouti a vrèman travay.
Li toujou ap travay!
Depi lè nou te kòmanse travay nan mòd sib, Informatica te sanble ak sa a. Vèsyon Informatica 10.1.1HF1 (HF1 se HotFix1, yon asanble machann ki soti nan yon konplèks EBF) ak EBF enstale anplis, ki korije pwoblèm nou yo ak dekale ak kèk lòt, sou yon sèl sèvè sou twa ki te fè pati GRID, 20 x86_64 nwayo. ak depo, sou yon etalaj gwo ralanti nan disk lokal - sa a se konfigirasyon sèvè a pou yon gwoup Hadoop. Sou yon lòt sèvè menm jan an - DBMS Oracle ak ki tou de domèn Informatica ak mekanis kontwòl ETL travay. Tout bagay sa a se kontwole pa zouti siveyans estanda yo itilize nan ekip la (Zabbix + Grafana) sou tou de bò - Informatica tèt li ak sèvis li yo, ak pwosesis yo chaje ale nan li. Koulye a, tou de pèfòmans ak estabilite, san yo pa pran an kont faktè ekstèn, kounye a depann sou anviwònman yo ki limite chaj la.
Separeman, nou ka di sou GRID. Anviwònman an te bati sou twa nœuds, ak posiblite pou balanse chaj. Sepandan, pandan tès la, yo te dekouvri ke akòz pwoblèm entèraksyon ant aplikasyon yo kouri nan aplikasyon nou yo, konfigirasyon sa a pa t travay jan yo espere, epi yo deside abandone tanporèman konplo konstriksyon sa a, retire de nan twa nœuds yo nan domèn nan. An menm tan an, konplo nan tèt li te rete menm jan an, epi kounye a li se jisteman yon sèvis GRID, men dejenere nan yon sèl ne.
Kounye a, difikilte a rete asosye ak yon gout nan pèfòmans lè w regilyèman netwaye sikwi monitè a - ak pwosesis similtane nan CNN a ak kouri netwayaj, fonksyone byen nan operasyon an nan mekanis kontwòl ETL la ka rive. Sa a se kounye a ke yo te rezoud "kòm yon beki" - pa manyèlman netwaye kous la pou kontwole, ak pèt la nan tout done anvan li yo. Sa a se pa twò kritik pou pwodiktivite, pandan operasyon nòmal woutin, men pou kounye a yon rechèch pou yon solisyon nòmal se sou pye.
Yon lòt pwoblèm rive nan menm sitiyasyon sa a - pafwa plizyè lansman mekanis kontwòl nou an rive.
Lanse aplikasyon miltip ki mennen nan echèk mekanis
Lè kouri selon yon orè, nan moman chaj lou sou sistèm nan, sitiyasyon pafwa rive ki mennen nan pann nan mekanis la. Pwoblèm nan toujou ap fikse manyèlman, epi yo ap chèche yon solisyon pèmanan.
An jeneral, nou ka rezime ke lè gen yon chaj lou, li trè enpòtan pou bay resous adekwat pou li, sa a aplike tou pou resous pyès ki nan konpitè pou Informatica li menm, ak menm bagay la tou pou depo baz done li yo, osi byen ke bay paramèt optimal. pou yo. Anplis de sa, kesyon an rete louvri sou ki konplo plasman baz done ki pi bon - sou yon lame separe, oswa sou yon sèl nan menm kote lojisyèl Informatica a kouri. Sou yon bò, li pral pi bon mache sou yon sèl sèvè, epi lè konbine, pwoblèm nan posib ak entèraksyon rezo pratikman elimine; nan lòt men an, chaj la sou lame a soti nan baz done a konplete pa chaj la soti nan Informatica.
Menm jan ak nenpòt pwodwi serye, Informatica tou gen moman komik.
Yon fwa, pandan y ap fè klasman kèk kalite aksidan, mwen remake ke mòso bwa MRS yo etranj endike lè evènman yo.
Dualism tanporèl nan mòso bwa MRS "pa konsepsyon"
Li te tounen soti ke koupon pou tan yo ekri nan fòma 12 èdtan, san yo pa espesifye AM / PM, se sa ki, anvan midi oswa apre. Yo te menm louvri yon aplikasyon konsènan zafè sa a, epi yo te resevwa yon repons ofisyèl - se konsa li te gen entansyon, mak yo ekri nan jounal MRS nan egzakteman fòma sa a. Sa vle di, pafwa rete kèk konplote konsènan lè a nan ensidan kèk ERÈ...
Fè efò pou pi bon an
Jodi a, Informatica se yon zouti ase ki estab, pratik pou administratè yo ak itilizatè yo, trè pwisan an tèm de kapasite aktyèl li yo ak potansyèl yo. Li depase bezwen fonksyonèl nou yo anpil fwa epi defakto kounye a yo te itilize nan pwojè a nan yon fason ki pa pi tipik ak tipik. Difikilte yo an pati ki gen rapò ak fason mekanis yo travay - bagay la espesifik se ke nan yon kout peryòd de tan yo te lanse yon gwo kantite fil ki entansif mete ajou paramèt ak travay ak baz done a depo, pandan y ap resous pyès ki nan konpitè sèvè yo itilize prèske nèt. pa CPU a.
Kounye a nou prèt pou n ale nan Informatica 10.2.1 oswa 10.2.2, ki te retravay kèk nan mekanis entèn yo ak pwomès sipò pou elimine kèk nan pwoblèm pèfòmans ak fonksyonalite nou genyen kounye a. Ak nan yon pwen de vi pyès ki nan konpitè, nou espere serveurs ak yon konfigirasyon optimal pou nou, pran an kont rezèv la pou fiti prè akòz kwasans lan ak devlopman nan depo.
Natirèlman, pral gen tès, tcheke konpatibilite, epi pètèt chanjman achitekti nan pati HA GRID la. Devlopman nan Informatica pral kontinye, paske nan kout tèm nou pa ka bay anyen pou ranplase sistèm nan.
Ak moun ki pral responsab pou sistèm sa a nan tan kap vini an pral definitivman kapab pote li nan fyab ki nesesè yo ak endikatè pèfòmans mete devan pa kliyan yo.
Atik la te prepare pa ekip jesyon done Rostelecom la
Kouran logo Informatica
Sous: www.habr.com