Ẹya ETL ti ile-itaja data nigbagbogbo ṣiji bò nipasẹ ile-itaja funrararẹ ati gba akiyesi diẹ sii ju aaye data akọkọ tabi paati ipari iwaju, BI, ati ijabọ. Ni akoko kanna, lati oju-ọna ti awọn ẹrọ ti kikun ile-ipamọ pẹlu data, ETL ṣe ipa pataki ati pe ko nilo akiyesi kere si lati ọdọ awọn alakoso ju awọn paati miiran lọ. Orukọ mi ni Alexander, Mo n ṣakoso ETL ni Rostelecom bayi, ati ninu nkan yii Emi yoo gbiyanju lati pin diẹ ninu ohun ti oludari ọkan ninu awọn eto ETL olokiki julọ ni ile itaja data nla kan ni Rostelecom ni lati ṣe pẹlu.
Ti awọn oluka olufẹ ba ti mọ tẹlẹ ni gbogbogbo pẹlu iṣẹ akanṣe ile itaja data wa ati pẹlu ọja Informatica PowerCenter, lẹhinna o le lọ lẹsẹkẹsẹ si apakan atẹle.
Ni ọpọlọpọ ọdun sẹyin, imọran ti ile-itaja data ile-iṣẹ kan ti dagba ati bẹrẹ lati ṣe imuse ni Rostelecom. Nọmba awọn ibi ipamọ ti o yanju awọn iṣoro kọọkan ni a ti ṣẹda tẹlẹ, ṣugbọn nọmba awọn oju iṣẹlẹ dagba, awọn idiyele atilẹyin tun pọ si, ati pe o han gbangba pe ọjọ iwaju wa ni aarin. Ni ayaworan, eyi ni ibi ipamọ funrararẹ, ti o ni ọpọlọpọ awọn fẹlẹfẹlẹ, ti a ṣe lori Hadoop ati GreenPlum, awọn apoti isura infomesonu iranlọwọ, awọn ọna ETL ati BI.
Ni akoko kanna, nitori nọmba nla ti pinpin agbegbe, awọn orisun data oriṣiriṣi, a ṣẹda ẹrọ gbigbe data pataki kan, eyiti o jẹ iṣakoso nipasẹ Informatica. Bi abajade, awọn idii data pari ni agbegbe Hadoop ni wiwo, lẹhin eyi awọn ilana ti ikojọpọ data nipasẹ awọn ipele ipamọ, Hadoop ati GreenPlum bẹrẹ, ati pe wọn ni iṣakoso nipasẹ ohun ti a pe ni ẹrọ iṣakoso ETL ti a ṣe imuse ni Informatica. Nitorinaa, eto Informatica jẹ ọkan ninu awọn eroja pataki ti o ṣe idaniloju iṣẹ ti ile-itaja naa.
Ibi ipamọ wa yoo ṣe apejuwe ni awọn alaye diẹ sii ninu ọkan ninu awọn ifiweranṣẹ atẹle.
Informatica PowerCenter/Big Data Management ni Lọwọlọwọ ka sọfitiwia oludari ni aaye ti awọn irinṣẹ isọpọ data. Eyi jẹ ọja ti ile-iṣẹ Amẹrika Informatica, eyiti o jẹ ọkan ninu awọn oṣere ti o lagbara julọ ni ETL (Iru Iyipada Yipada Jade), iṣakoso didara data, MDM (Iṣakoso Data Titunto), ILM (Alaye Lifecycle Management) ati diẹ sii.
PowerCenter ti a nlo jẹ olupin ohun elo Tomcat ti a ṣepọ ninu eyiti awọn ohun elo Informatica tikararẹ nṣiṣẹ, ti n ṣe awọn iṣẹ rẹ:
-ašẹ, ni otitọ, eyi ni ipilẹ fun ohun gbogbo miiran; awọn iṣẹ, awọn olumulo, ati awọn paati GRID nṣiṣẹ laarin agbegbe naa.
Console Alakoso, iṣakoso orisun wẹẹbu ati ọpa ibojuwo, ni afikun si Informatica Developer client, ọpa akọkọ fun ibaraenisepo pẹlu ọja naa.
MRS, Awoṣe Ibi ipamọ Service, ibi ipamọ metadata, jẹ ipele kan laarin ibi ipamọ data ninu eyiti metadata ti wa ni ipamọ ti ara ati Informatica Developer client ninu eyiti idagbasoke n ṣẹlẹ. Awọn ibi ipamọ tọju awọn apejuwe data ati alaye miiran, pẹlu fun nọmba kan ti awọn iṣẹ Infromatica miiran, fun apẹẹrẹ, awọn iṣeto fun ṣiṣe awọn iṣẹ ṣiṣe (Awọn iṣeto) tabi data ibojuwo, ati awọn paramita ohun elo, ni pataki, gbigba lilo ohun elo kanna fun iṣẹ pẹlu orisirisi awọn orisun data ati awọn olugba.
DIS, Data Integration Service, Eyi jẹ iṣẹ kan ninu eyiti awọn ilana iṣẹ ṣiṣe akọkọ ti waye, awọn ohun elo nṣiṣẹ ninu rẹ ati awọn ifilọlẹ gangan ti Workflows (awọn apejuwe ti awọn ilana ti awọn maapu ati awọn ibaraẹnisọrọ wọn) ati Mappings (awọn iyipada, awọn ohun amorindun ninu eyiti awọn iyipada ti ara wọn waye, ṣiṣe data ṣiṣe). ) waye.
GRID iṣeto ni Ni pataki, aṣayan fun kikọ eka kan nipa lilo awọn olupin pupọ, nigbati ẹru ti a ṣe ifilọlẹ nipasẹ DIS ti pin laarin awọn apa (iyẹn ni, awọn olupin ti o jẹ apakan ti agbegbe naa). Ninu ọran ti aṣayan yii, ni afikun si pinpin fifuye ni DIS nipasẹ afikun Layer abstraction GRID ti o ṣọkan ọpọlọpọ awọn apa, eyiti DIS nṣiṣẹ dipo ti ṣiṣẹ lori ipade kan pato, awọn apẹẹrẹ MRS afẹyinti tun le ṣẹda. O le paapaa ṣe wiwa giga, nibiti awọn ipe ita le ṣee ṣe nipasẹ awọn apa afẹyinti ti akọkọ ba kuna. A ti kọ aṣayan ikole yii silẹ fun bayi.
Informatica PowerCenter, sikematiki
Ni awọn ipele ibẹrẹ ti iṣẹ gẹgẹ bi apakan ti pq ipese data, awọn iṣoro dide nigbagbogbo, diẹ ninu wọn nitori iṣẹ iduroṣinṣin ti Informatica ni akoko yẹn. Emi yoo pin diẹ ninu awọn akoko iranti ti saga yii - mastering Informatica 10.
Tele Informatica logo
Agbegbe ojuse wa tun pẹlu awọn agbegbe Informatica miiran, wọn ni awọn pato ti ara wọn nitori ẹru ti o yatọ, ṣugbọn fun bayi Emi yoo ranti ni deede bii Informatica ṣe dagbasoke bi ẹya ETL ti ile itaja data funrararẹ.
Bawo ni eyi ṣe ṣẹlẹ
Ni ọdun 2016, nigba ti a di oniduro fun iṣẹ Informatica, o ti de ẹya 10.0 tẹlẹ, ati fun awọn ẹlẹgbẹ ireti ti o pinnu lati lo ọja kan pẹlu ẹya kekere .0 ni ojutu pataki, ohun gbogbo dabi ẹni pe o han gbangba - a nilo lati lo. titun ti ikede! Lati oju wiwo ti awọn orisun ohun elo, ohun gbogbo dara ni akoko yẹn.
Lati orisun omi ti 2016, olugbaisese kan ti jẹ iduro fun iṣẹ Informatica, ati ni ibamu si awọn olumulo diẹ ti eto naa, “o ṣiṣẹ ni igba meji ni ọsẹ kan.” Nibi o jẹ dandan lati ṣalaye pe ibi-ipamọ jẹ de facto ni ipele PoC, ko si awọn alabojuto lori ẹgbẹ naa ati pe eto naa kọlu nigbagbogbo fun awọn idi pupọ, lẹhin eyi ẹlẹrọ olugbaisese tun mu lẹẹkansi.
Ni Igba Irẹdanu Ewe, awọn alakoso mẹta darapọ mọ ẹgbẹ, pin awọn agbegbe ti ojuse laarin ara wọn, ati pe iṣẹ deede bẹrẹ lati ṣeto awọn iṣẹ ti awọn ọna ṣiṣe ninu iṣẹ naa, pẹlu Informatica. Lọtọ, o gbọdọ sọ pe ọja yii ko ni ibigbogbo ati pe o ni agbegbe nla ninu eyiti o le wa awọn idahun si awọn ibeere eyikeyi ati yanju eyikeyi iṣoro. Nitorina, atilẹyin imọ-ẹrọ ni kikun lati ọdọ alabaṣepọ Russia Informatica jẹ pataki pupọ, pẹlu iranlọwọ ti gbogbo awọn aṣiṣe wa ati awọn aṣiṣe ti Informatica 10 ọdọ lẹhinna ti ṣe atunṣe.
Ohun akọkọ ti a ni lati ṣe fun awọn olupilẹṣẹ ti ẹgbẹ wa ati olugbaisese ni lati ṣe iduroṣinṣin iṣẹ ti Informatica funrararẹ, lati rii daju iṣẹ ṣiṣe ti console iṣakoso wẹẹbu (Administrator Informatica).
Eyi ni bii a ṣe pade awọn olupolowo Informatica nigbagbogbo
Nlọ kuro ilana ti wiwa awọn idi, idi pataki fun awọn ipadanu naa jẹ ilana ibaraenisepo ti sọfitiwia Informatica pẹlu ibi ipamọ data ibi ipamọ, eyiti o wa lori olupin ti o jinna jijin, lati oju wiwo ti ala-ilẹ nẹtiwọọki. Eyi fa awọn idaduro ati idalọwọduro awọn ilana ti o ṣe atẹle ipo ti agbegbe Informatica. Lẹhin diẹ ninu yiyi ti data data, yiyipada awọn paramita ti Informatica, eyiti o jẹ ki o ni ifarada diẹ sii ti awọn idaduro data, ati nikẹhin imudojuiwọn ẹya Informatica si 10.1 ati gbigbe data data lati olupin iṣaaju si olupin ti o wa nitosi Informatica, iṣoro naa padanu rẹ. ibaramu, ati lati igba naa awọn ipadanu ti iru yii ti a ko ṣe akiyesi.
Ọkan ninu awọn igbiyanju lati gba Informatica Monitor ṣiṣẹ
Ipo pẹlu console iṣakoso tun ṣe pataki. Niwọn bi idagbasoke ti nṣiṣe lọwọ ti n lọ taara taara lori agbegbe ti o munadoko, awọn ẹlẹgbẹ nilo nigbagbogbo lati ṣe itupalẹ iṣẹ ti awọn aworan maapu ati ṣiṣan iṣẹ “lori lilọ.” Ninu Informatica tuntun, Iṣẹ Integration Data ko ni ohun elo lọtọ fun iru ibojuwo, ṣugbọn apakan ibojuwo ti han ninu console wẹẹbu iṣakoso (Atẹle Alakoso Informatica), ninu eyiti o le ṣe atẹle iṣẹ ti awọn ohun elo, ṣiṣan iṣẹ ati awọn maapu, awọn ifilọlẹ, àkọọlẹ. Lẹẹkọọkan, console naa di aini patapata, tabi alaye nipa awọn ilana lọwọlọwọ ni DIS da imudojuiwọn imudojuiwọn, tabi awọn aṣiṣe waye nigbati awọn oju-iwe ikojọpọ.
Aṣayan awọn paramita Java lati mu iṣẹ ṣiṣe duro
Iṣoro naa ni atunṣe ni ọpọlọpọ awọn ọna, awọn idanwo ni a ṣe lati yi awọn aye pada, awọn igbasilẹ ati jstack ni a gba, firanṣẹ si atilẹyin, ni akoko kanna googling ti nṣiṣe lọwọ ati akiyesi ni irọrun.
Ni akọkọ, MRS lọtọ ni a ṣẹda fun ibojuwo; bi o ti tan-an nigbamii, eyi jẹ ọkan ninu awọn alabara akọkọ ti awọn orisun ni awọn agbegbe wa, niwọn igba ti awọn aworan maapu ti ṣe ifilọlẹ ni itara. Awọn paramita nipa okiti Java ati nọmba awọn miiran ti yipada.
Bi abajade, nipasẹ imudojuiwọn atẹle Informatica 10.1.1, iṣẹ ti console ati atẹle jẹ iduroṣinṣin, awọn olupilẹṣẹ bẹrẹ lati ṣiṣẹ daradara siwaju sii, ati awọn ilana deede di deede ati siwaju sii.
Awọn iriri ti ibaraenisepo laarin idagbasoke ati isakoso le jẹ awon. Ọrọ ti oye gbogbogbo ti bi awọn nkan ṣe n ṣiṣẹ, kini o le ṣee ṣe ati ohun ti a ko le ṣe, jẹ pataki nigbagbogbo nigba lilo awọn ọna ṣiṣe eka. Nitorinaa, a le ṣeduro lailewu pe ki o kọkọ kọ ẹgbẹ iṣakoso lori bi o ṣe le ṣakoso sọfitiwia naa, ati ẹgbẹ idagbasoke bi o ṣe le kọ koodu ati fa awọn ilana ninu eto, ati lẹhinna firanṣẹ akọkọ ati keji lati ṣiṣẹ lori abajade. Eyi ṣe pataki gaan nigbati akoko kii ṣe orisun ailopin. Ọpọlọpọ awọn iṣoro le ṣee yanju paapaa nipasẹ wiwa laileto ti awọn aṣayan, ṣugbọn nigbami diẹ ninu awọn nilo imọ iṣaaju - ọran wa jẹrisi pataki ti oye axiom yii.
Fun apẹẹrẹ, nigba ti a gbiyanju lati jeki ti ikede ni MRS (bi o ti wa ni jade ni ipari, ti o yatọ version of SVN ti a nilo), lẹhin ti awọn akoko ti a ba wa ni a aruwo lati iwari pe awọn eto tun akoko ti pọ si orisirisi mewa ti iṣẹju. Lehin ti o rii idi fun idaduro ni ibẹrẹ ati piparẹ ẹya, a tun ṣe daradara lẹẹkansi.
Awọn idiwọ akiyesi ti o ni nkan ṣe pẹlu Informatica pẹlu ogun apọju pẹlu awọn okun java ti o dagba. Ni aaye kan, akoko ti de fun atunkọ, eyini ni, lati fa awọn ilana ti iṣeto si nọmba nla ti awọn eto orisun. O wa jade pe kii ṣe gbogbo awọn ilana ni 10.1.1 ṣiṣẹ daradara, ati lẹhin igba diẹ DIS di aiṣiṣẹ. Ẹgbẹẹgbẹrun awọn okun ni a rii, nọmba wọn dagba paapaa ni akiyesi lakoko ilana imuṣiṣẹ ohun elo. Nigba miiran Mo ni lati tun bẹrẹ ni igba pupọ ni ọjọ kan lati mu iṣẹ ṣiṣe pada.
Nibi a nilo lati dupẹ lọwọ atilẹyin naa; awọn iṣoro naa ti wa ni agbegbe ati pe o wa titi ni iyara ni lilo EBF (Pajawiri Bug Fix) - lẹhin iyẹn, gbogbo eniyan ni rilara pe ohun elo naa ṣiṣẹ gaan.
O tun ṣiṣẹ!
Ni akoko ti a bẹrẹ ṣiṣẹ ni ipo ibi-afẹde, Informatica dabi eyi. Ẹya ti Informatica 10.1.1HF1 (HF1 jẹ HotFix1, apejọ ataja lati eka ti EBFs) pẹlu EBF ti a fi sii, eyiti o ṣe atunṣe awọn iṣoro wa pẹlu iwọn ati diẹ ninu awọn miiran, lori olupin kan ninu mẹta ti o jẹ apakan ti GRID, awọn ohun kohun 20 x86_64 ati ibi ipamọ, lori titobi nla ti awọn disiki agbegbe - eyi ni iṣeto ni olupin fun iṣupọ Hadoop. Lori olupin miiran ti o jọra - Oracle DBMS pẹlu eyiti mejeeji aaye Informatica ati ẹrọ iṣakoso ETL n ṣiṣẹ. Gbogbo eyi ni abojuto nipasẹ awọn irinṣẹ ibojuwo boṣewa ti a lo ninu ẹgbẹ (Zabbix + Grafana) ni ẹgbẹ mejeeji - Informatica funrararẹ pẹlu awọn iṣẹ rẹ, ati awọn ilana ikojọpọ ti n lọ sinu rẹ. Bayi mejeeji iṣẹ ati iduroṣinṣin, laisi akiyesi awọn ifosiwewe ita, ni bayi dale lori awọn eto ti o fi opin si fifuye naa.
Lọtọ, a le sọ nipa GRID. A ṣe itumọ ayika naa lori awọn apa mẹta, pẹlu iṣeeṣe ti iwọntunwọnsi fifuye. Sibẹsibẹ, lakoko idanwo, o ṣe awari pe nitori awọn iṣoro ibaraenisepo laarin awọn iṣẹlẹ ti nṣiṣẹ ti awọn ohun elo wa, iṣeto yii ko ṣiṣẹ bi o ti ṣe yẹ, ati pe wọn pinnu lati fi eto ikole yii silẹ fun igba diẹ, yọ awọn meji ninu awọn apa mẹta lati agbegbe naa. Ni akoko kanna, ero naa funrararẹ ti wa kanna, ati ni bayi o jẹ iṣẹ GRID ni deede, ṣugbọn o bajẹ si apa kan.
Ni bayi, iṣoro naa wa ni nkan ṣe pẹlu idinku ninu iṣẹ nigba ṣiṣe mimọ Circuit atẹle nigbagbogbo - pẹlu awọn ilana igbakana ni CNN ati ṣiṣe mimọ, awọn aiṣedeede ninu iṣẹ ti ẹrọ iṣakoso ETL le waye. Eyi ni ipinnu lọwọlọwọ “gẹgẹbi crutch” - nipa imukuro ọwọ atẹle atẹle, pẹlu pipadanu gbogbo data iṣaaju rẹ. Eyi kii ṣe pataki pupọ fun iṣelọpọ, lakoko iṣẹ ṣiṣe deede, ṣugbọn fun bayi wiwa fun ojutu deede kan n lọ lọwọ.
Iṣoro miiran dide lati ipo kanna - nigbakan awọn ifilọlẹ pupọ ti ẹrọ iṣakoso wa waye.
Awọn ifilọlẹ ohun elo lọpọlọpọ ti o yori si ikuna ẹrọ
Nigbati o ba n ṣiṣẹ ni ibamu si iṣeto kan, ni awọn akoko ẹru iwuwo lori eto, awọn ipo nigbakan waye ti o yori si didenukole ẹrọ naa. Iṣoro naa tun jẹ atunṣe pẹlu ọwọ, ati pe a n wa ojutu pipe kan.
Ni gbogbogbo, a le ṣe akopọ pe nigbati ẹru iwuwo ba wa, o ṣe pataki pupọ lati pese awọn orisun ti o peye, eyi tun kan si awọn orisun ohun elo fun Informatica funrararẹ, ati kanna fun ibi ipamọ data rẹ, ati lati pese awọn eto to dara julọ. fun won. Ni afikun, ibeere naa wa ni ṣiṣi si iru ero ibi ipamọ data dara julọ - lori agbalejo lọtọ, tabi lori ọkan kanna nibiti sọfitiwia Informatica nṣiṣẹ. Ni apa kan, yoo din owo lori olupin kan, ati pe nigba ti o ba ni idapo, iṣoro ti o ṣeeṣe pẹlu ibaraenisepo nẹtiwọọki ti yọkuro ni adaṣe; ni apa keji, fifuye lori agbalejo lati ibi ipamọ data jẹ afikun nipasẹ fifuye lati Informatica.
Bi pẹlu eyikeyi ọja to ṣe pataki, Informatica tun ni awọn akoko alarinrin.
Ni ẹẹkan, lakoko ti o n ṣatunṣe iru ijamba kan, Mo ṣe akiyesi pe awọn akọọlẹ MRS ni ajeji tọka si akoko awọn iṣẹlẹ.
Meji akoko igba diẹ ninu awọn akọọlẹ MRS “nipasẹ apẹrẹ”
O wa jade pe awọn ontẹ akoko ni a kọ ni ọna kika wakati 12, laisi pato AM/PM, iyẹn ni, ṣaaju ọsan tabi lẹhin. Ohun elo kan paapaa ṣii nipa ọran yii, ati pe a gba esi osise kan - eyi ni bi a ti pinnu rẹ, awọn aami ni a kọ sinu iwe MRS ni ọna kika gangan. Iyẹn ni, nigba miiran awọn intrigue kan wa nipa akoko iṣẹlẹ ti diẹ ninu awọn aṣiṣe…
Gbiyanju fun ohun ti o dara julọ
Loni, Informatica jẹ ohun elo iduroṣinṣin to peye, rọrun fun awọn oludari ati awọn olumulo, ti o lagbara pupọ ni awọn ofin ti awọn agbara lọwọlọwọ ati agbara rẹ. O kọja awọn iwulo iṣẹ ṣiṣe wa ni ọpọlọpọ igba ati de facto ti wa ni lilo ni iṣẹ akanṣe ni ọna ti kii ṣe aṣoju julọ ati aṣoju. Awọn iṣoro naa jẹ apakan ni ibatan si ọna ti awọn ẹrọ n ṣiṣẹ - ohun kan pato ni pe ni akoko kukuru kan nọmba nla ti awọn okun ni a ṣe ifilọlẹ ti o ṣe imudojuiwọn awọn aye to lekoko ati ṣiṣẹ pẹlu ibi ipamọ data ibi ipamọ, lakoko ti awọn orisun ohun elo olupin ti wa ni lilo patapata patapata. nipa Sipiyu.
A ti wa nitosi si gbigbe si Informatica 10.2.1 tabi 10.2.2, eyiti o ti tun ṣe diẹ ninu awọn ilana inu ati awọn ileri atilẹyin lati yọkuro diẹ ninu awọn iṣẹ ṣiṣe ati awọn ọran iṣẹ ti a ni lọwọlọwọ. Ati lati oju wiwo ohun elo, a nireti awọn olupin pẹlu iṣeto to dara julọ fun wa, ni akiyesi ifiṣura fun ọjọ iwaju nitosi nitori idagbasoke ati idagbasoke ibi ipamọ.
Nitoribẹẹ, idanwo yoo wa, iṣayẹwo ibamu, ati boya awọn ayipada ayaworan ni apakan HA GRID. Idagbasoke laarin Informatica yoo tẹsiwaju, nitori ni igba kukuru a ko le pese ohunkohun lati rọpo eto naa.
Ati pe awọn ti yoo jẹ iduro fun eto yii ni ọjọ iwaju yoo dajudaju ni anfani lati mu wa si igbẹkẹle ti a beere ati awọn itọkasi iṣẹ ti a fi siwaju nipasẹ awọn alabara.
Nkan naa ti pese sile nipasẹ ẹgbẹ iṣakoso data Rostelecom
Logo Informatica lọwọlọwọ
orisun: www.habr.com