{"id":34842,"date":"2019-10-31T22:00:43","date_gmt":"2019-10-31T19:00:43","guid":{"rendered":"https:\/\/prohoster.info\/blog\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina\/"},"modified":"2019-10-31T22:00:43","modified_gmt":"2019-10-31T19:00:43","slug":"ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","title":{"rendered":"A napi balesetekr\u0151l a stabilit\u00e1sra: Informatica 10 egy admin szem\u00e9vel","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"A<\/a><\/noindex><\/p>\n

Az ETL komponens az adatt\u00e1rol\u00f3ban gyakran a t\u00e1rol\u00f3 \u00e1rny\u00e9k\u00e1ban marad, \u00e9s kevesebb figyelmet kap, mint a f\u0151 adatb\u00e1zis vagy a front\u00e1lis komponens, a BI, a jelent\u00e9sk\u00e9sz\u00edt\u00e9s. Ugyanakkor a t\u00e1rol\u00f3 adatokkal val\u00f3 felt\u00f6lt\u00e9s\u00e9nek mechanik\u00e1ja szempontj\u00e1b\u00f3l az ETL kulcsszerepet j\u00e1tszik, \u00e9s nem kevesebb figyelmet ig\u00e9nyel az adminisztr\u00e1torokt\u00f3l, mint a t\u00f6bbi komponens. A nevem Alexander, jelenleg az ETL-t adminisztr\u00e1lom a Rosztelekomn\u00e1l, \u00e9s ebben a cikkben megpr\u00f3b\u00e1lom megosztani azt, amivel az adminisztr\u00e1torok egy ismert ETL rendszerben a Rosztelekmon szembes\u00fclnek.
\n<\/a><\/noindex>
\nHa a tisztelt olvas\u00f3k m\u00e1r ismerik a projekt\u00fcnket az adatt\u00e1rol\u00f3r\u00f3l \u00e9s az Informatica PowerCenter term\u00e9kr\u0151l, akkor k\u00f6zvetlen\u00fcl \u00e1tugorhatnak a k\u00f6vetkez\u0151 szakaszra.<\/p>\n

N\u00e9h\u00e1ny \u00e9vvel ezel\u0151tt a Rosztelekmon meg\u00e9rett \u00e9s \u00e9letre kelt az egyes\u00edtett v\u00e1llalati adatt\u00e1rol\u00f3 \u00f6tlete. Sz\u00e1mos adatt\u00e1rol\u00f3, amelyek k\u00fcl\u00f6nf\u00e9le feladatokat l\u00e1ttak el, m\u00e1r l\u00e9trej\u00f6tt, de a forgat\u00f3k\u00f6nyvek sz\u00e1ma n\u0151tt, a t\u00e1mogat\u00e1si k\u00f6lts\u00e9gek is emelkedtek, \u00e9s vil\u00e1goss\u00e1 v\u00e1lt, hogy a k\u00f6zpontos\u00edt\u00e1s a j\u00f6v\u0151. \u00c9p\u00edt\u00e9szeti szempontb\u00f3l ez a t\u00e1rol\u00f3 t\u00f6bb r\u00e9tegb\u0151l \u00e1ll, Hadoop \u00e9s GreenPlum alap\u00fa, seg\u00e9dadatb\u00e1zisokkal, ETL mechanizmusokkal \u00e9s BI-val.<\/p>\n

A sok f\u00f6ldrajzilag elosztott, heterog\u00e9n adatforr\u00e1s miatt egy speci\u00e1lis adatexport mechanizmus j\u00f6tt l\u00e9tre, amelynek m\u0171k\u00f6d\u00e9s\u00e9t az Informatica ir\u00e1ny\u00edtja. Ennek eredm\u00e9nyek\u00e9nt az adatcsomagok a Hadoop interf\u00e9sz ter\u00fclet\u00e9n ker\u00fclnek elhelyez\u00e9sre, majd elkezd\u0151dnek az adatok r\u00e9tegek k\u00f6z\u00f6tti bet\u00f6lt\u00e9si folyamatai, a Hadoopba \u00e9s a GreenPlumba, amelyeket az Informatica-ban megval\u00f3s\u00edtott \u00fagynevezett ETL ir\u00e1ny\u00edt\u00f3 mechanizmus kezel. \u00cdgy az Informatica rendszere egyike a t\u00e1rol\u00f3 m\u0171k\u00f6d\u00e9s\u00e9t biztos\u00edt\u00f3 kulcselemeknek.<\/p>\n

R\u00e9szletesebben a t\u00e1rol\u00f3nkr\u00f3l a k\u00f6vetkez\u0151 bejegyz\u00e9sek egyik\u00e9ben fogunk besz\u00e9lni.<\/p>\n

Az Informatica PowerCenter\/Big Data Management jelenleg az adatintegr\u00e1ci\u00f3s eszk\u00f6z\u00f6k ter\u00e9n vezet\u0151 szoftvernek sz\u00e1m\u00edt. Ez az Informatica amerikai c\u00e9g term\u00e9ke, amely az ETL (Extract Transform Load), az adatok min\u0151s\u00e9g\u00e9nek kezel\u00e9s\u00e9ben, MDM (Master Data Management), ILM (Information Lifecycle Management) \u00e9s m\u00e1s ter\u00fcleteken az egyik leger\u0151sebb szerepl\u0151.<\/p>\n

A \u00e1ltalunk haszn\u00e1lt PowerCenter egy integr\u00e1lt Tomcat alkalmaz\u00e1sszerver, amelyen az Informatica alkalmaz\u00e1sok futnak, megval\u00f3s\u00edtva a szolg\u00e1ltat\u00e1sait: <\/p>\n

Domain<\/b>, l\u00e9nyeg\u00e9ben ez az alapja mindennek, a tartom\u00e1ny keretein bel\u00fcl m\u0171k\u00f6dnek a szolg\u00e1ltat\u00e1sok, felhaszn\u00e1l\u00f3k \u00e9s GRID komponensek.<\/p>\n

Administrator Console<\/b>, webes ir\u00e1ny\u00edt\u00f3 \u00e9s monitoroz\u00f3 eszk\u00f6z, az Informatica Developer kliens mellett a f\u0151 eszk\u00f6z a term\u00e9kkel val\u00f3 interakci\u00f3hoz<\/p>\n

MRS, Model Repository Service<\/b>, a metaadatok t\u00e1rol\u00f3ja, egy r\u00e9teg a fizikai t\u00e1rol\u00e1si adatb\u00e1zis \u00e9s az Informatica Developer kliens k\u00f6z\u00f6tt, amelyben a fejleszt\u00e9s zajlik. A repozit\u00f3riumok t\u00e1rolj\u00e1k az adatok le\u00edr\u00e1s\u00e1t \u00e9s egy\u00e9b inform\u00e1ci\u00f3kat, bele\u00e9rtve m\u00e1s Informatica szolg\u00e1ltat\u00e1sokhoz, p\u00e9ld\u00e1ul a feladatok \u00fctemez\u00e9s\u00e9hez (Schedules) vagy a monitoroz\u00e1si adatokhoz sz\u00fcks\u00e9ges parameterset-eket, amelyek lehet\u0151v\u00e9 teszik, hogy ugyanazt az alkalmaz\u00e1st k\u00fcl\u00f6nb\u00f6z\u0151 adatforr\u00e1sokkal \u00e9s -fogad\u00f3kkal haszn\u00e1lj\u00e1k.<\/p>\n

DIS, Data Integration Service<\/b>, ez a szolg\u00e1ltat\u00e1s, ahol a f\u0151 funkcion\u00e1lis folyamatok t\u00f6rt\u00e9nnek, az alkalmaz\u00e1sok m\u0171k\u00f6dnek, \u00e9s itt ker\u00fcl sor a Workflows (mappingek \u00e9s azok interakci\u00f3inak le\u00edr\u00e1sa) \u00e9s Mappings (transzform\u00e1ci\u00f3k, blokkok, ahol a t\u00e9nyleges \u00e1talak\u00edt\u00e1sok, adatfeldolgoz\u00e1s zajlik) ind\u00edt\u00e1s\u00e1ra.<\/p>\n

GRID konfigur\u00e1ci\u00f3<\/b> \u2013 l\u00e9nyeg\u00e9ben egy komplexum l\u00e9trehoz\u00e1s\u00e1nak lehet\u0151s\u00e9ge t\u00f6bb szerver felhaszn\u00e1l\u00e1s\u00e1val, ahol a DIS \u00e1ltal gener\u00e1lt terhel\u00e9s a node-ok (azaz a domainbe tartoz\u00f3 szerverek) k\u00f6z\u00f6tt ker\u00fcl eloszt\u00e1sra. Ebben az esetben, a DIS terhel\u00e9s\u00e9nek eloszt\u00e1sa mellett a GRID egy tov\u00e1bbi absztrakci\u00f3s r\u00e9teget biztos\u00edt, amely t\u00f6bb node-ot egyes\u00edt, \u00e9s amin a DIS m\u0171k\u00f6dik, nem egyetlen node-on. Tov\u00e1bbi tartal\u00e9k MRS p\u00e9ld\u00e1nyokat is lehet l\u00e9trehozni. Magas rendelkez\u00e9sre \u00e1ll\u00e1s megval\u00f3s\u00edthat\u00f3, amikor a k\u00fcls\u0151 k\u00e9r\u00e9sek a tartal\u00e9k node-okon kereszt\u00fcl is teljes\u00edthet\u0151k, ha a f\u0151 node meghib\u00e1sodik. Ezt a megval\u00f3s\u00edt\u00e1st egyel\u0151re nem v\u00e1lasztottuk.<\/p>\n

\"A
\nInformatica PowerCenter, schematikus<\/i><\/p>\n

A data supply chain els\u0151 szakaszaiban rendszeresen felmer\u00fcltek probl\u00e9m\u00e1k, n\u00e9h\u00e1nyat az Informatica akkor m\u00e9g instabil m\u0171k\u00f6d\u00e9se okozott. Meg szeretn\u00e9m osztani n\u00e9h\u00e1ny eml\u00e9kezetes pillanatot ebb\u0151l a sag\u00e1b\u00f3l - az Informatica 10 elsaj\u00e1t\u00edt\u00e1sa.<\/p>\n

\"A
\nAz Informatica kor\u00e1bbi log\u00f3ja<\/i><\/p>\n

A felel\u0151ss\u00e9gi k\u00f6r\u00fcnkbe tartozik m\u00e1s Informatica k\u00f6rnyezetek is, amelyek saj\u00e1t speci\u00e1lis k\u00f6vetelm\u00e9nyeikkel b\u00edrnak a k\u00fcl\u00f6nb\u00f6z\u0151 terhel\u00e9sek miatt, de most f\u0151k\u00e9nt arr\u00f3l fogok besz\u00e9lni, hogyan fejl\u0151d\u00f6tt az Informatica mint az adathalmoz\u00f3 ETL komponense.<\/p>\n

Hogyan t\u00f6rt\u00e9nt ez?<\/h2>\n

\n2016-ban, amikor \u00e1tvett\u00fck az Informatica m\u0171k\u00f6d\u00e9s\u00e9nek felel\u0151ss\u00e9g\u00e9t, az m\u00e1r a 10.0 verzi\u00f3n\u00e1l j\u00e1rt, \u00e9s a der\u0171l\u00e1t\u00f3 koll\u00e9g\u00e1k sz\u00e1m\u00e1ra, akik a term\u00e9k komoly megold\u00e1sban a kisebb verzi\u00f3t v\u00e1lasztott\u00e1k, egy\u00e9rtelm\u0171 volt \u2014 a leg\u00fajabb verzi\u00f3t kell haszn\u00e1lni! A hardver er\u0151forr\u00e1sok szempontj\u00e1b\u00f3l minden j\u00f3 volt abban az id\u0151szakban.<\/p>\n

2016 tavasz\u00e1n a Informatica m\u0171k\u00f6d\u00e9s\u00e9t egy alv\u00e1llalkoz\u00f3 ir\u00e1ny\u00edtotta, \u00e9s a rendszer kev\u00e9s felhaszn\u00e1l\u00f3j\u00e1nak elmond\u00e1sa szerint 'hetente p\u00e1r alkalommal m\u0171k\u00f6d\u00f6tt'. Fontos megjegyezni, hogy a t\u00e1rol\u00f3 de facto a PoC szakaszban volt, nem voltak adminisztr\u00e1torok a csapatban, \u00e9s a rendszer folyamatosan \u00f6sszeomlott k\u00fcl\u00f6nb\u00f6z\u0151 okok miatt, amely ut\u00e1n az alv\u00e1llalkoz\u00f3 m\u00e9rn\u00f6ke \u00fajraind\u00edtotta.<\/p>\n

\u0150sszel a csapatban megjelent h\u00e1rom adminisztr\u00e1tor, akik megosztott\u00e1k a felel\u0151ss\u00e9gi ter\u00fcleteiket, \u00e9s elkezd\u0151d\u00f6tt a norm\u00e1lis \u00fczemeltet\u00e9si munka az informatikai rendszerek k\u00f6r\u00fcl, bele\u00e9rtve az Informatica-t is. K\u00fcl\u00f6n meg kell eml\u00edteni, hogy ez a term\u00e9k nem elterjedt, \u00e9s nincs nagy k\u00f6z\u00f6ss\u00e9ge, ahol b\u00e1rmilyen k\u00e9rd\u00e9sre v\u00e1laszt tal\u00e1lhatn\u00e1nk, vagy probl\u00e9m\u00e1t megoldhatn\u00e1nk. Ez\u00e9rt nagyon fontos volt a teljes k\u00f6r\u0171 technikai t\u00e1mogat\u00e1s az orosz Informatica partnert\u0151l, amely seg\u00edtett az \u00f6sszes hib\u00e1nk \u00e9s a fiatal Informatica 10 hib\u00e1inak jav\u00edt\u00e1s\u00e1ban.<\/p>\n

Az els\u0151 dolog, amit meg kellett tenn\u00fcnk a csapatunk \u00e9s az alv\u00e1llalkoz\u00f3 fejleszt\u0151i sz\u00e1m\u00e1ra \u2014 stabiliz\u00e1lni az Informatica m\u0171k\u00f6d\u00e9s\u00e9t, \u00e9s el\u00e9rni az adminisztr\u00e1ci\u00f3s webkonzolt (Informatica Administrator) m\u0171k\u00f6d\u0151k\u00e9pess\u00e9g\u00e9t.<\/p>\n

\"A
\n\u00cdgy gyakran tal\u00e1lkoztunk az Informatica fejleszt\u0151ivel.<\/i><\/p>\n

A f\u0151 ok, ami\u00e9rt a szoftveres le\u00e1ll\u00e1sok t\u00f6rt\u00e9ntek, az a Informatica szoftver \u00e9s a t\u00e1voli adatb\u00e1zis k\u00f6z\u00f6tti interakci\u00f3s s\u00e9ma volt, amely a h\u00e1l\u00f3zati t\u00e1j felett viszonylag t\u00e1voli szerveren helyezkedett el. Ez k\u00e9sedelmeket okozott, \u00e9s megzavarta az Informatica domain \u00e1llapot\u00e1nak ellen\u0151rz\u00e9s\u00e9\u00e9rt felel\u0151s mechanizmusok m\u0171k\u00f6d\u00e9s\u00e9t. A t\u00e1rol\u00f3 optimaliz\u00e1l\u00e1sa, az adatb\u00e1zis param\u00e9tereinek m\u00f3dos\u00edt\u00e1sa, amelyek toler\u00e1nsabb\u00e1 tett\u00e9k az Informatica-t a k\u00e9s\u00e9sek ir\u00e1nt, v\u00e9g\u00fcl a Informatica 10.1 verzi\u00f3ra val\u00f3 friss\u00edt\u00e9se \u00e9s az adatb\u00e1zis \u00e1thelyez\u00e9se a kor\u00e1bbi szerverr\u0151l a Informatica-hoz k\u00f6zelebb elhelyezked\u0151 szerverre megoldotta a probl\u00e9m\u00e1t, \u00e9s az\u00f3ta hasonl\u00f3 le\u00e1ll\u00e1sok nem fordultak el\u0151.<\/p>\n

\"A
\nAz Informatica Monitor m\u0171k\u00f6d\u00e9s\u00e9nek el\u00e9r\u00e9se \u00e9rdek\u00e9ben tett egyik k\u00eds\u00e9rlet<\/i><\/p>\n

A rendszeradminisztr\u00e1ci\u00f3val kapcsolatban is kritikus volt a helyzet. Mivel akt\u00edv fejleszt\u00e9s folyt egy felt\u00e9telesen \u00e9les k\u00f6rnyezetben, a koll\u00e9g\u00e1k folyamatosan sz\u00fcks\u00e9g\u00e9t \u00e9rezt\u00e9k a mappings \u00e9s workflow-k \"akkor \u00e9s ott\" t\u00f6rt\u00e9n\u0151 elemz\u00e9s\u00e9nek. Az \u00faj Informatica Data Integration Service-j\u00e9ben nem l\u00e9tezett k\u00fcl\u00f6n eszk\u00f6z az ilyen t\u00edpus\u00fa megfigyel\u00e9shez, de a webes adminisztr\u00e1ci\u00f3s konzolban megjelent egy monitoring r\u00e9szleg (Informatica Administrator Monitor), ahol nyomon k\u00f6vethett\u00fck az alkalmaz\u00e1sok, workflow-k \u00e9s mappings munk\u00e1j\u00e1t, futtat\u00e1sait \u00e9s napl\u00f3it. Id\u0151szakosan teljesen hozz\u00e1f\u00e9rhetetlenn\u00e9 v\u00e1lt a konzol, vagy lehetetlenn\u00e9 v\u00e1lt a DIS aktu\u00e1lis folyamatainak adatait friss\u00edteni, vagy hiba l\u00e9pett fel az oldalak bet\u00f6lt\u00e9sekor.<\/p>\n

\"A
\nJava param\u00e9terek be\u00e1ll\u00edt\u00e1sa a m\u0171k\u00f6d\u00e9s stabiliz\u00e1l\u00e1sa \u00e9rdek\u00e9ben<\/i><\/p>\n

A probl\u00e9ma megold\u00e1sa sokf\u00e9le \u00faton haladt, k\u00eds\u00e9rletek t\u00f6rt\u00e9ntek a param\u00e9terek m\u00f3dos\u00edt\u00e1s\u00e1ra, napl\u00f3kat, jstack f\u00e1jlokat gy\u0171jt\u00f6ttek, amelyeket a t\u00e1mogat\u00e1snak k\u00fcldtek, p\u00e1rhuzamosan intenz\u00edv keres\u00e9s folyt, \u00e9s egyszer\u0171en figyelni kezdt\u00e9k a folyamatokat.<\/p>\n

Els\u0151sorban egy k\u00fcl\u00f6n MRS k\u00e9sz\u00fclt a monitoroz\u00e1sra, ami k\u00e9s\u0151bb kider\u00fclt, hogy az egyik legf\u0151bb er\u0151forr\u00e1s-felhaszn\u00e1l\u00f3 a k\u00f6rnyezet\u00fcnkben, mivel a mappings futtat\u00e1sai nagyon intenz\u00edvek voltak. Megv\u00e1ltoztatt\u00e1k a java heap-re vonatkoz\u00f3 param\u00e9tereket, \u00e9s sz\u00e1mos egy\u00e9b param\u00e9tert is.
\nEnnek eredm\u00e9nyek\u00e9nt a k\u00f6vetkez\u0151 Informatica 10.1.1 friss\u00edt\u00e9sre a konzol \u00e9s a monitor m\u0171k\u00f6d\u00e9s\u00e9t siker\u00fclt stabiliz\u00e1lni, a fejleszt\u0151k hat\u00e9konyabban kezdtek dolgozni, \u00e9s a rendszeres folyamatok egyre rendszerezettebb\u00e9 v\u00e1ltak.<\/p>\n

\u00c9rdekes tapasztalat lehet a fejleszt\u00e9s \u00e9s az adminisztr\u00e1ci\u00f3 k\u00f6z\u00f6tti interakci\u00f3. A k\u00e9rd\u00e9s, hogy k\u00f6z\u00f6s meg\u00e9rt\u00e9ssel b\u00edrjunk arr\u00f3l, hogyan m\u0171k\u00f6dik minden, \u00e9s mit lehet, illetve mit nem lehet tenni, mindig fontos a bonyolult rendszerek haszn\u00e1latakor. Ez\u00e9rt b\u00e1tran aj\u00e1nlom el\u0151sz\u00f6r kik\u00e9pezni az adminisztr\u00e1torok csapat\u00e1t arra, hogyan kell kezelni a szoftvert, \u00e9s a fejleszt\u0151k csapat\u00e1t arra, hogyan kell k\u00f3dot \u00edrni \u00e9s folyamatokat modellezni a rendszerben, majd ut\u00e1na k\u00fcldeni \u0151ket a munk\u00e1ba az eredm\u00e9ny \u00e9rdek\u00e9ben. Ez val\u00f3ban fontos, amikor az id\u0151 nem v\u00e9gtelen er\u0151forr\u00e1s. Sok probl\u00e9m\u00e1t v\u00e9letlenszer\u0171 pr\u00f3b\u00e1lgat\u00e1ssal is meg lehet oldani, de n\u00e9ha n\u00e9h\u00e1ny eset el\u0151zetes tud\u00e1st ig\u00e9nyel \u2014 a mi eset\u00fcnk meger\u0151s\u00edti ennek az axi\u00f3m\u00e1nak a fontoss\u00e1g\u00e1t.<\/p>\n

P\u00e9ld\u00e1ul, amikor megpr\u00f3b\u00e1ltuk aktiv\u00e1lni a verzi\u00f3kezel\u00e9st az MRS-ben (ahogy v\u00e9g\u00fcl kider\u00fclt, egy m\u00e1sik SVN verzi\u00f3ra volt sz\u00fcks\u00e9g), egy id\u0151 ut\u00e1n aggaszt\u00f3an tapasztaltuk, hogy a rendszer \u00fajraind\u00edt\u00e1si ideje t\u00f6bb tucat percre n\u0151tt. Miut\u00e1n felfedezt\u00fck a k\u00e9sedelmes ind\u00edt\u00e1s ok\u00e1t \u00e9s deaktiv\u00e1ltuk a verzi\u00f3kezel\u00e9st, minden visszat\u00e9rt a norm\u00e1lis ker\u00e9kv\u00e1g\u00e1sba.<\/p>\n

Az Informatica-val kapcsolatos figyelemre m\u00e9lt\u00f3 akad\u00e1lyok k\u00f6z\u00f6tt eml\u00edthetj\u00fck a n\u00f6vekv\u0151 Java sz\u00e1lakkal v\u00edvott epikus harcot. Egy ponton el\u00e9rkezett az id\u0151 a m\u00e1sol\u00e1sra, azaz a megszervezett folyamatok kiterjeszt\u00e9s\u00e9re a forr\u00e1ssz\u00e1mok sz\u00e9les k\u00f6r\u00e9re. Ekkor kider\u00fclt, hogy messze nem minden folyamat m\u0171k\u00f6d\u00f6tt j\u00f3l a 10.1.1 verzi\u00f3ban, \u00e9s egy id\u0151 ut\u00e1n a DIS m\u0171k\u00f6d\u00e9sk\u00e9ptelenn\u00e9 v\u00e1lt. T\u00edzezres nagys\u00e1grend\u0171 sz\u00e1lakat \u00e9szlelt\u00fcnk, melyek sz\u00e1ma k\u00fcl\u00f6n\u00f6sen a alkalmaz\u00e1sok telep\u00edt\u00e9sekor n\u00f6vekedett. N\u00e9ha naponta t\u00f6bbsz\u00f6r is \u00fajra kellett ind\u00edtani a rendszert a m\u0171k\u00f6d\u00e9s helyre\u00e1ll\u00edt\u00e1sa \u00e9rdek\u00e9ben.<\/p>\n

Itt k\u00f6sz\u00f6netet kell mondani a t\u00e1mogat\u00e1snak, viszonylag gyorsan lokaliz\u00e1lt\u00e1k \u00e9s jav\u00edtott\u00e1k a probl\u00e9m\u00e1kat EBF (Emergency Bug Fix) seg\u00edts\u00e9g\u00e9vel \u2013 ezut\u00e1n mindenkinek olyan \u00e9rz\u00e9se volt, hogy az eszk\u00f6z val\u00f3ban m\u0171k\u00f6dik.<\/p>\n

M\u00e9gis m\u0171k\u00f6dik!<\/h2>\n

\nA munkav\u00e9gz\u00e9s c\u00e9lzott \u00fczemm\u00f3dba l\u00e9p\u00e9sekor az Informatica a k\u00f6vetkez\u0151k\u00e9ppen n\u00e9zett ki. Informatica 10.1.1HF1 (HF1 a HotFix1, a gy\u00e1rt\u00f3 \u00e1ltal l\u00e9trehozott EBF csomagb\u00f3l) dolgozott, kieg\u00e9sz\u00edt\u0151 EBF-ekkel, amelyek orvosolt\u00e1k a m\u00e9retez\u00e9si probl\u00e9m\u00e1inkat \u00e9s n\u00e9h\u00e1ny egy\u00e9b gondot, egy a h\u00e1rom GRID-be tartoz\u00f3 szerveren, 20 x86_64 maggal \u00e9s t\u00e1rol\u00f3val, egy hatalmas, lass\u00fa helyi lemezekb\u0151l \u00e1ll\u00f3 t\u00f6mb\u00f6n. szerver konfigur\u00e1ci\u00f3<\/a> Hadoop klaszterhez. Egy m\u00e1sik, ugyanilyen szerveren tal\u00e1lhat\u00f3 az Oracle DB, amelyhez az Informatica domain \u00e9s az ETL vez\u00e9rl\u00e9si mechanizmus kapcsol\u00f3dik. Mindezt a csapat \u00e1ltal haszn\u00e1lt szokv\u00e1nyos monitoroz\u00f3 eszk\u00f6z\u00f6kkel figyelj\u00fck (Zabbix + Grafana), mindk\u00e9t f\u00e9l - maga az Informatica \u00e9s annak szolg\u00e1ltat\u00e1sai, valamint a bet\u00f6lt\u00e9si folyamatok, amik zajlanak. Jelenleg a teljes\u00edtm\u00e9ny \u00e9s a m\u0171k\u00f6d\u00e9s stabilit\u00e1sa, figyelembe v\u00e9ve a k\u00fcls\u0151 t\u00e9nyez\u0151ket, a terhel\u00e9s korl\u00e1toz\u00e1s\u00e1ra vonatkoz\u00f3 be\u00e1ll\u00edt\u00e1sokt\u00f3l f\u00fcgg.<\/p>\n

\u00c9rdemes k\u00fcl\u00f6n besz\u00e9lni a GRID-r\u0151l. A k\u00f6rnyezet h\u00e1rom node-on alakult ki, lehet\u0151s\u00e9ggel a terhel\u00e9s egyens\u00falyoz\u00e1s\u00e1ra. Azonban a tesztel\u00e9s sor\u00e1n kider\u00fclt, hogy a fut\u00f3 p\u00e9ld\u00e1nyok k\u00f6z\u00f6tti interakci\u00f3s probl\u00e9m\u00e1k miatt ez a konfigur\u00e1ci\u00f3 nem m\u0171k\u00f6d\u00f6tt az elv\u00e1rt m\u00f3don, \u00e9s \u00e1tmenetileg elvetett\u00fck ezt a fel\u00e9p\u00edt\u00e9si s\u00e9m\u00e1t, k\u00e9t node-ot kiemelve a domainb\u0151l. A s\u00e9ma mindazon\u00e1ltal v\u00e1ltozatlan maradt, \u00e9s most ez val\u00f3ban egy GRID-szolg\u00e1ltat\u00e1s, de lecs\u00f6kkentve egy node-ra.<\/p>\n

Jelenleg tov\u00e1bbra is bonyodalmak mer\u00fclnek fel a monitoroz\u00f3 s\u00e9ma rendszeres tiszt\u00edt\u00e1sa sor\u00e1n bek\u00f6vetkez\u0151 teljes\u00edtm\u00e9nycs\u00f6kken\u00e9s miatt - egyszerre folyamatban l\u00e9v\u0151 CHNN folyamatok \u00e9s a fut\u00f3 tiszt\u00edt\u00e1s mellett a vez\u00e9rl\u00e9si mechanizmus ETL m\u0171k\u00f6d\u00e9s\u00e9ben zavarok l\u00e9phetnek fel. Ezt jelenleg 'bark\u00e1cs' m\u00f3don oldjuk meg - a monitoroz\u00f3 s\u00e9ma k\u00e9zi tiszt\u00edt\u00e1s\u00e1val, az \u00f6sszes kor\u00e1bbi adat elveszt\u00e9s\u00e9vel. Ez nem t\u00fal kritikus a termel\u00e9si k\u00f6rnyezetben norm\u00e1l m\u0171k\u00f6d\u00e9s eset\u00e9n, de m\u00e9g keresj\u00fck a megfelel\u0151 megold\u00e1st.<\/p>\n

Ebb\u0151l a helyzetb\u0151l ad\u00f3dik egy \u00fajabb probl\u00e9ma - n\u00e9ha t\u00f6bbsz\u00f6r\u00f6s elindul\u00e1sok t\u00f6rt\u00e9nnek a vez\u00e9rl\u00e9si mechanizmusunkn\u00e1l.<\/p>\n

\"A
\nT\u00f6bbsz\u00f6r\u00f6s elindul\u00e1sok az alkalmaz\u00e1sban, amelyek a mechanizmus meghib\u00e1sod\u00e1s\u00e1hoz vezetnek.<\/i><\/p>\n

Id\u0151z\u00edt\u00e9ssel t\u00f6rt\u00e9n\u0151 ind\u00edt\u00e1skor, a rendszer nagy terhelts\u00e9ge mellett n\u00e9ha olyan helyzetek fordulnak el\u0151, amelyek a mechanizmus meghib\u00e1sod\u00e1s\u00e1hoz vezetnek. Eddig a probl\u00e9m\u00e1t k\u00e9zzel jav\u00edtj\u00e1k, folytatj\u00e1k a tart\u00f3s megold\u00e1s keres\u00e9s\u00e9t.<\/p>\n

\u00d6sszess\u00e9g\u00e9ben meg\u00e1llap\u00edthat\u00f3, hogy nagy terhel\u00e9s eset\u00e9n rendk\u00edv\u00fcl fontos megfelel\u0151 er\u0151forr\u00e1sokat biztos\u00edtani, ez vonatkozik az Informatica szoftverhez sz\u00fcks\u00e9ges hardveres er\u0151forr\u00e1sokra, valamint az adatb\u00e1zis-repozit\u00f3riumra, \u00e9s biztos\u00edtani kell sz\u00e1mukra az optim\u00e1lis be\u00e1ll\u00edt\u00e1sokat is. Tov\u00e1bb\u00e1 nyitott k\u00e9rd\u00e9s marad, hogy melyik adatb\u00e1zis-elhelyez\u00e9si s\u00e9ma jobb \u2014 k\u00fcl\u00f6n hoszton, vagy ugyanazon, ahol az Informatica szoftver m\u0171k\u00f6dik. Egyr\u00e9szt egy\u00fctt olcs\u00f3bbnak t\u0171nik, \u00e9s a kombin\u00e1l\u00e1s szinte megsz\u00fcnteti a h\u00e1l\u00f3zati interakci\u00f3b\u00f3l ad\u00f3d\u00f3 lehets\u00e9ges probl\u00e9m\u00e1t, m\u00e1sr\u00e9szt az adatb\u00e1zisb\u00f3l sz\u00e1rmaz\u00f3 terhel\u00e9s kieg\u00e9sz\u00edti az Informatica terhel\u00e9s\u00e9t.<\/p>\n

Mint b\u00e1rmilyen komoly term\u00e9k eset\u00e9ben, az Informatica eset\u00e9ben is vannak vicces pillanatok.
\nEgyszer, amikor egy balesetet elemeztem, \u00e9szrevettem, hogy az MRS napl\u00f3kban furcs\u00e1n van jel\u00f6lve az esem\u00e9nyek id\u0151pontja.<\/p>\n

\"A
\nId\u0151beli dualizmus az MRS napl\u00f3kban \u201etervezett m\u00f3don\u201d<\/i><\/p>\n

Kider\u00fclt, hogy az id\u0151b\u00e9lyegek 12 \u00f3r\u00e1s form\u00e1tumban ker\u00fclnek r\u00f6gz\u00edt\u00e9sre, AM\/PM megjel\u00f6l\u00e9s n\u00e9lk\u00fcl, teh\u00e1t d\u00e9l el\u0151tt vagy ut\u00e1n. Ezzel kapcsolatban m\u00e9g jegyz\u00e9ket is nyitottak, \u00e9s hivatalos v\u00e1laszt kaptak \u2014 \u00edgy volt megtervezve, az MRS napl\u00f3kban \u00edgy r\u00f6gz\u00edtik az id\u0151b\u00e9lyegeket. Teh\u00e1t n\u00e9ha fenntartja a rejt\u00e9lyt egy ERROR felmer\u00fcl\u00e9s\u00e9nek id\u0151pontja\u2026<\/p>\n

A legjobbra t\u00f6rekedni<\/h2>\n

\nMa az Informatica egy viszonylag stabil eszk\u00f6z, amely k\u00e9nyelmes az adminisztr\u00e1torok \u00e9s felhaszn\u00e1l\u00f3k sz\u00e1m\u00e1ra, rendk\u00edv\u00fcl er\u0151teljes a jelenlegi lehet\u0151s\u00e9geivel \u00e9s potenci\u00e1lj\u00e1val. Funkcionalit\u00e1sban t\u00f6bbsz\u00f6r\u00f6sen meghaladja ig\u00e9nyeinket, \u00e9s de facto most nem a legkarakteresebb \u00e9s tipikusabb m\u00f3don haszn\u00e1lj\u00e1k a projektben. A neh\u00e9zs\u00e9gek r\u00e9szben azzal \u00f6sszef\u00fcgg\u00e9sben ad\u00f3dnak, ahogyan a mechanizmusok m\u0171k\u00f6dnek \u2014 a saj\u00e1toss\u00e1g az, hogy r\u00f6vid id\u0151 alatt nagy mennyis\u00e9g\u0171 sz\u00e1l indul el, amelyek intenz\u00edven friss\u00edtik a parameterset-eket \u00e9s dolgoznak az adatb\u00e1zis-repozit\u00f3riummal, mik\u00f6zben a szerver hardveres er\u0151forr\u00e1sai gyakorlatilag teljesen ki vannak haszn\u00e1lva a CPU \u00e1ltal. <\/p>\n

Jelenleg k\u00f6zel\u00edt\u00fcnk az Informatica 10.2.1 vagy 10.2.2 verzi\u00f3ra val\u00f3 \u00e1tt\u00e9r\u00e9shez, amelyekben n\u00e9h\u00e1ny bels\u0151 mechanizmus \u00e1t lett dolgozva, \u00e9s a t\u00e1mogat\u00e1s \u00edg\u00e9ri, hogy megsz\u0171nnek sz\u00e1mos, jelenleg n\u00e1lunk fenn\u00e1ll\u00f3 teljes\u00edtm\u00e9ny- \u00e9s m\u0171k\u00f6d\u00e9si probl\u00e9ma. \u00c9s hardver szempontj\u00e1b\u00f3l optim\u00e1lis konfigur\u00e1ci\u00f3j\u00fa szerverek v\u00e1rhat\u00f3k sz\u00e1munkra, figyelembe v\u00e9ve a k\u00f6zelj\u00f6v\u0151beli n\u00f6veked\u00e9st \u00e9s a t\u00e1rol\u00e1s fejl\u0151d\u00e9s\u00e9t.<\/p>\n

Term\u00e9szetesen, tesztel\u00e9s, kompatibilit\u00e1s-ellen\u0151rz\u00e9s, \u00e9s esetlegesen architektur\u00e1lis v\u00e1ltoztat\u00e1sok v\u00e1rnak r\u00e1nk a HA GRID ter\u00fclet\u00e9n. Az Informatica keretein bel\u00fcli fejl\u0151d\u00e9s folytat\u00f3dni fog, mivel a r\u00f6vid t\u00e1v\u00fa c\u00e9ljaink k\u00f6z\u00f6tt nem szerepel a rendszer helyettes\u00edt\u00e9se.
\n\u00c9s azok, akik k\u00e9s\u0151bb felelni fognak ez\u00e9rt a rendszer\u00e9rt, biztosan k\u00e9pesek lesznek el\u00e9rni a megrendel\u0151k \u00e1ltal megk\u00f6vetelt megb\u00edzhat\u00f3s\u00e1gi \u00e9s teljes\u00edtm\u00e9nybeli mutat\u00f3kat.<\/p>\n

A cikket a \u201eRostelecom\u201d adatkezel\u0151 csapata k\u00e9sz\u00edtette.<\/i><\/p>\n

\"A
\nAz Informatica aktu\u00e1lis log\u00f3ja<\/i>
\n
Forr\u00e1s: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

ETL-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u0435\u043d\u0438 \u0441\u0430\u043c\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0438 \u0435\u0439 \u0443\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0447\u0435\u043c \u0433\u043b\u0430\u0432\u043d\u043e\u0439 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043b\u0438 \u0444\u0440\u043e\u043d\u0442-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0435, BI, \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u0442\u0447\u0451\u0442\u043e\u0432. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0438 \u043d\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, ETL \u0438\u0433\u0440\u0430\u0435\u0442 \u043a\u043b\u044e\u0447\u0435\u0432\u0443\u044e \u0440\u043e\u043b\u044c \u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u043e\u0432, \u0447\u0435\u043c \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b. \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0441\u0435\u0439\u0447\u0430\u0441 \u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u0443\u044e ETL \u0432 \u0420\u043e\u0441\u0442\u0435\u043b\u0435\u043a\u043e\u043c\u0435, \u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":26234,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-34842","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47A napi le\u00e1ll\u00e1sokt\u00f3l a stabilit\u00e1sig: Informatica 10 admin szemsz\u00f6gb\u0151l | ProHoster","description":"","canonical_url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"hu_HU","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u0442 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u044b\u0445 \u0430\u0432\u0430\u0440\u0438\u0439 \u043a \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438: Informatica 10 \u0433\u043b\u0430\u0437\u0430\u043c\u0438 \u0430\u0434\u043c\u0438\u043d\u0430 | ProHoster","og:url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:00:43+00:00","article:modified_time":"2019-10-31T19:00:43+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"34842","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-02-08 21:32:10","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:14:05","updated":"2026-02-08 21:32:10","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/34842","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/comments?post=34842"}],"version-history":[{"count":1,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/34842\/revisions"}],"predecessor-version":[{"id":158197,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/34842\/revisions\/158197"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/media\/26234"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/media?parent=34842"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/categories?post=34842"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/tags?post=34842"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}