Parçeya ETL ya depoya daneyê bi gelemperî ji hêla wargehê bixwe ve tê dorpêç kirin û ji databasa bingehîn an pêkhateya pêşîn, BI, û raporê kêmtir bala xwe distîne. Di heman demê de, ji hêla mekanîka dagirtina depoyê bi daneyan ve, ETL rolek sereke dilîze û ji pêkhateyên din ne kêmtir bala rêvebiran hewce dike. Navê min Alexander e, ez naha ETL li Rostelecom îdare dikim, û di vê gotarê de ez ê hewl bidim ku piçûkek ji tiştê ku rêvebirê yek ji pergalên herî navdar ên ETL-ê di depoyek daneya mezin a Rostelecom de pê re mijûl bibe parve bikim.
Ger xwendevanên hêja jixwe bi gelemperî bi projeya meya depoya daneyê û bi hilbera Informatica PowerCenter re nas in, wê hingê hûn dikarin tavilê biçin beşa din.
Çend sal berê, ramana depoyek daneya pargîdanî ya yekane mezin bû û di Rostelecom de dest pê kir. Hejmarek depoyên ku pirsgirêkên kesane çareser dikirin, berê hatibûn afirandin, lê hejmara senaryoyan mezin bû, lêçûnên piştgirîyê jî zêde bûn, û eşkere bû ku paşeroj di nav navendîbûnê de ye. Ji hêla mîmarî ve, ev hilanîn bixwe ye, ku ji çend qatan pêk tê, li ser Hadoop û GreenPlum, databasên alîkar, mekanîzmayên ETL û BI-yê hatine bicîh kirin.
Di heman demê de, ji ber hejmareke mezin a çavkaniyên daneya heterojen ên ku ji hêla erdnîgarî ve hatine belav kirin, mekanîzmayek barkirina daneya taybetî hate afirandin, ku operasyona ku ji hêla Informatica ve tê kontrol kirin. Wekî encamek, pakêtên daneyê di qada navbeynkariya Hadoop de diqedin, piştî ku pêvajoyên barkirina daneyan bi navgîniya hilanînê, Hadoop û GreenPlum dest pê dikin, û ew ji hêla mekanîzmaya kontrolê ya bi navê ETL ve ku di Informatica de hatî bicîh kirin têne rêve kirin. Ji ber vê yekê, pergala Informatica yek ji hêmanên sereke ye ku xebata bargehê misoger dike.
Depoya me dê di yek ji postên jêrîn de bi hûrgulî were vegotin.
Informatica PowerCenter / Big Data Management niha di warê amûrên yekbûna daneyê de nermalava pêşeng tê hesibandin. Ev hilberek pargîdaniya Amerîkî Informatica ye, ku yek ji wan lîstikvanên herî bihêz e di ETL (Extract Veguherîna Barkirinê), rêveberiya kalîteya daneyê, MDM (Rêveberiya Daneyên Master), ILM (Rêveberiya Jiyana Agahdariyê) û hêj bêtir.
PowerCenter ku em bikar tînin serverek serîlêdana Tomcat a yekbûyî ye ku tê de serîlêdanên Informatica bixwe dimeşîne, karûbarên xwe bicîh tîne:
Domain, bi rastî, ev bingeh ji bo her tiştê din e; karûbar, bikarhêner, û hêmanên GRID di hundurê domainê de dixebitin.
Konsolê Rêveber, amûrek rêveberî û çavdêrîkirina-based web-ê, ji bilî xerîdarê Informatica Developer, amûra sereke ya danûstandina bi hilberê re.
MRS, Karûbarê Depoya Modelê, depoya metadatayê, qatek e di navbera databasa ku tê de metadata bi fizîkî tê hilanîn û muwekîlê Pêşvebirê Informatica ku pêşkeftin tê de pêk tê. Depo danasînên daneyan û agahdariyên din diparêzin, di nav de ji bo hejmarek karûbarên din ên Infromatica, mînakî, nexşeyên ji bo xebitandina peywiran (Bername) an çavdêrîkirina daneyan, û her weha pîvanên serîlêdanê, bi taybetî, ku destûrê dide karanîna heman serîlêdanê ji bo xebata bi çavkaniyên daneyan û wergirên cihêreng.
DIS, Xizmeta Yekbûna Daneyên, ev karûbarek e ku tê de pêvajoyên fonksiyonel ên sereke diqewimin, serîlêdan tê de têne xebitandin û destpêkirina rastîn a Workflows (ravekirinên rêza nexşeyan û danûstendinên wan) û Nexşeyan (veguhertin, blokên ku tê de veguhertin bixwe diqewimin, hilberandina daneyê. ) qewimîn.
veavakirina GRID - di bingeh de, vebijarkek ji bo avakirina kompleksek bi karanîna çend serveran, dema ku barkirina ku ji hêla DIS ve hatî destpêkirin di nav girêkan de tê belav kirin (ango serverên ku beşek domainê ne). Di rewşa vê vebijarkê de, ji bilî belavkirina barkirinê di DIS-ê de bi navgînek pêvekek abstraksiyonê ya GRID-ê ya ku gelek girêkan li hev dike, ku li ser wê yekê DIS li şûna ku li ser yek girêkek taybetî bixebite, di heman demê de dikarin mînakên MRS-ê yên paşverû yên din jî bêne afirandin. Tewra hûn dikarin hebûna bilind bicîh bînin, ku ger ya sereke têk biçe, bangên derveyî dikarin bi navgînên paşvekêşanê ve werin kirin. Me ji bo niha dev ji vê vebijarka avakirinê berda.
Informatica PowerCenter, şematîk
Di qonaxên destpêkê yên xebatê de wekî beşek ji zincîra dabînkirina daneyê, pirsgirêk bi rêkûpêk derketin, hin ji wan jî ji ber xebata ne aram a Informatica di wê demê de. Ez ê çend kêliyên bîranîn ên vê sagayê parve bikim - masterkirina Informatica 10.
Logoya berê ya Informatica
Qada berpirsiyariya me di heman demê de hawîrdorên din ên Informatica-yê jî vedihewîne, wan ji ber barek cûda taybetmendiyên xwe hene, lê heya niha ez ê tam bi bîr bînim ka Informatica çawa wekî pêkhateyek ETL ya depoya daneyê bixwe pêşketiye.
Ev çawa çêbû
Di sala 2016-an de, dema ku em bûn berpirsiyarê xebata Informatica, ew jixwe gihîştibû guhertoya 10.0, û ji bo hevkarên xweşbîn ên ku biryar dabûn ku hilberek bi guhertoyek piçûktir .0 di çareseriyek cidî de bikar bînin, her tişt eşkere xuya bû - pêdivî ye ku em bikar bînin guhertoya nû! Ji hêla çavkaniyên hardware ve, wê demê her tişt baş bû.
Ji bihara 2016-an vir ve, peymankarek ji xebata Informatica berpirsiyar e û li gorî çend bikarhênerên pergalê, "heftê du caran dixebitî." Li vir pêdivî ye ku were ronî kirin ku depo di qonaxa PoC de defakto bû, di tîmê de rêvebir tunebûn û pergal bi domdarî ji ber sedemên cihêreng têk çû, piştî ku endezyarê peymankar ew dîsa hilda.
Di payizê de, sê rêveber tevlî tîmê bûn, qadên berpirsiyariya xwe di nav xwe de parve kirin, û xebata normal dest pê kir ji bo organîzekirina xebata pergalên di projeyê de, tevî Informatica. Ji hev veqetandî, divê bê gotin ku ev hilber ne berbelav e û xwedan civatek mezin e ku tê de hûn dikarin bersiva her pirsê bibînin û her pirsgirêkek çareser bikin. Ji ber vê yekê, piştgiriya teknîkî ya bêkêmasî ya hevkarê rûsî Informatica pir girîng bû, bi alîkariya wê hemî xeletî û xeletiyên me yên wê demê ciwan Informatica 10 hatin rast kirin.
Yekemîn tiştê ku divê em ji bo pêşdebirên tîmê xwe û peykerê xwe bikin ev bû ku xebata Informatica bixwe aram bike, da ku fonksiyona konsolê rêveberiya webê (Rêvebirê Informatica) misoger bike.
Bi vî rengî em pir caran bi pêşdebirên Informatica re hevdîtin kirin
Dev ji pêvajoya dîtina sedeman berdin, sedema sereke ya qezayan şêwaza danûstendina nermalava Informatica bi databasa depoyê re, ku li ser serverek nisbeten dûr bû, ji nihêrîna perestgeha torê bû. Ev bû sedema derengmayîn û mekanîzmayên ku rewşa qada Informatica dişopînin asteng kir. Piştî hin ahengkirina databasê, guheztina pîvanên Informatica, ku ew ji derengiya databasê re toleranstir kir, û di dawiyê de nûvekirina guhertoya Informatica bo 10.1 û veguheztina databasê ji servera berê veguhezîne serverek ku nêzîkê Informatica ye, pirsgirêk xwe winda kir. eleqedar e, û ji hingê ve qezayên bi vî rengî hene ku em nabînin.
Yek ji hewildanên ji bo xebitandina Informatica Monitor
Rewşa konsolê rêveberiyê jî krîtîk bû. Ji ber ku pêşkeftina çalak rasterast li ser hawîrdora bi hilberîner pêk dihat, hevkaran bi domdarî hewce dikir ku xebata nexşeyan û tevgera xebatê "li ser rê" analîz bikin. Di Informatica-ya nû de, Karûbarê Yekbûna Daneyê ji bo çavdêrîkirina wusa amûrek veqetandî nîne, lê di konsoleya webê ya rêveberiyê de (Informatica Administrator Monitor) beşek çavdêriyê derketiye, ku tê de hûn dikarin xebata serîlêdanan, tevgera xebatê û nexşeyan bişopînin. dest pê dike, têketin. Dem bi dem, konsol bi tevahî neberdest dibû, an agahdariya di derheqê pêvajoyên heyî yên di DIS de nûvekirin rawestand, an jî di barkirina rûpelan de xeletî derketin.
Hilbijartina parametreyên java ji bo aramkirina performansê
Pirsgirêk bi gelek awayan hate rast kirin, ceribandin hatin kirin da ku pîvanan biguhezînin, têketin û jstack hatin berhev kirin, ji piştgirîyê re hatin şandin, di heman demê de googlingek çalak û bi tenê çavdêrî hebû.
Berî her tiştî, MRS-yek cihêreng ji bo çavdêriyê hate afirandin; wekî ku paşê derket holê, ev yek ji xerîdarên sereke yên çavkaniyên li hawîrdora me ye, ji ber ku nexşe pir bi zexm têne destpêkirin. Parametreyên di derbarê java heap û hejmareke din de hatine guhertin.
Wekî encamek, ji hêla nûvekirina paşîn Informatica 10.1.1 ve, xebata konsol û çavdêriyê stabîl bû, pêşdebiran dest bi xebata bikêrtir kirin, û pêvajoyên birêkûpêk her ku diçe bi rêkûpêktir dibin.
Dibe ku ezmûna pêwendiya di navbera pêşkeftin û rêveberiyê de balkêş be. Pirsgirêka têgihiştinek giştî ya ka tişt çawa dixebitin, çi dikare were kirin û çi nayê kirin, dema ku pergalên tevlihev bikar tînin her gav girîng e. Ji ber vê yekê, em dikarin bi ewlehî pêşniyar bikin ku hûn pêşî tîmê îdarî li ser meriv çawa birêvebirina nermalavê, û tîmê pêşkeftinê li ser awayê nivîsandina kodê û xêzkirina pêvajoyên di pergalê de perwerde bikin, û tenê dûv re yekem û duyemîn bişînin da ku li ser encamê bixebitin. Dema ku dem ne çavkaniyek bêdawî be ev bi rastî girîng e. Gelek pirsgirêk dikarin bi lêgerînek bêserûber a vebijarkan jî werin çareser kirin, lê carinan hin hewcedarî zanyariyek pêşîn in - doza me girîngiya têgihîştina vê axiomê piştrast dike.
Mînakî, dema ku me hewl da ku guhertoya di MRS-ê de çalak bikin (wek ku di dawiyê de derket holê, guhertoyek cihêreng a SVN hewce bû), piştî demekê em hişyar bûn ku em kifş bikin ku dema ji nû ve destpêkirina pergalê bi çend deh hûrdeman zêde bûye. Piştî ku sedema derengiya destpêkê û neçalakkirina guhertoyê dît, me dîsa baş kir.
Astengiyên berbiçav ên ku bi Informatica re têkildar in, şerê epîk bi mezinbûna tîrêjên java re vedihewîne. Di hin xalan de, dema dubarekirinê hatiye, ango dirêjkirina pêvajoyên sazkirî li hejmareke mezin ji pergalên çavkaniyê. Derket holê ku ne hemî pêvajoyên di 10.1.1 de baş xebitîn, û piştî demekê DIS nexebitî. Bi deh hezaran têlan hatin tesbît kirin, hejmara wan bi taybetî di dema prosedûra danîna serîlêdanê de bi baldarî zêde dibe. Carinan ez neçar bûm ku rojê çend caran ji nû ve dest pê bikim da ku fonksiyonê vegerînim.
Li vir pêdivî ye ku em spasiya piştgiriyê bikin; Pirsgirêkan bi karanîna EBF (Serastkirina Bugên Awarte) herêmî bûn û rast hatin çareser kirin - piştî wê, her kesî hest kir ku amûr bi rastî dixebite.
Ew hîn jî dixebite!
Wexta ku me di moda armancê de dest bi xebatê kir, Informatica bi vî rengî xuya bû. Guhertoya Informatica 10.1.1HF1 (HF1 HotFix1 e, meclîsek firoşkarê ji kompleksek EBF-an) digel EBF-ya pêvek hatî saz kirin, ku pirsgirêkên me yên bi pîvan û hinên din rast dike, li ser serverek ji sê ku beşek ji GRID-ê bûn, 20 x86_64 core û hilanîn, li ser rêzek mezin a hêdî ya dîskên herêmî - ev veavakirina serverê ji bo komek Hadoop e. Li ser serverek din a wekhev - Oracle DBMS ku hem domaina Informatica û hem jî mekanîzmaya kontrolê ya ETL pê re dixebitin. Hemî ev ji hêla amûrên çavdêriya standard ên ku di tîmê de têne bikar anîn (Zabbix + Grafana) ji her du aliyan ve têne şopandin - Informatica bixwe digel karûbarên xwe, û pêvajoyên barkirinê yên ku di nav wê de diçin. Naha hem performans û hem jî aramî, bêyî ku faktorên derveyî li ber çavan bigirin, naha bi mîhengên ku barkirinê sînordar dikin ve girêdayî ye.
Ji hev veqetandî, em dikarin li ser GRID bibêjin. Jîngeh li ser sê girêkan, bi îmkana hevsengkirina bargiraniyê hate çêkirin. Lêbelê, di dema ceribandinê de, hate kifş kirin ku ji ber pirsgirêkên danûstendinê yên di navbera mînakên xebitandinê yên sepanên me de, ev veavakirin wekî ku tê hêvî kirin nexebitî, û wan biryar da ku bi demkî dev ji vê pilana çêkirinê berdin, du ji sê girêkan ji domanê derxînin. Di heman demê de, nexşe bixwe jî heman maye, û naha ew bi rastî karûbarek GRID e, lê ji yek nodê dejenere bûye.
Naha, dema ku bi rêkûpêk çerxa çavdêriyê paqij dike, zehmetî bi daketina performansê re têkildar dimîne - digel pêvajoyên hevdem ên di CNN-ê de û paqijkirina xebitandinê, dibe ku di xebata mekanîzmaya kontrolê ya ETL de xeletî çêbibin. Ev naha "wek kelekek" tê çareser kirin - bi paqijkirina desta dora çavdêriyê, bi windakirina hemî daneyên wê yên berê. Ev ji bo hilberandinê, di dema xebata rûtîn ya normal de ne pir krîtîk e, lê heya niha lêgerînek ji bo çareseriyek normal tê meşandin.
Pirsgirêkek din jî ji heman rewşê derdikeve - carinan gelek destpêkirina mekanîzmaya kontrolê ya me çêdibe.
Gelek serîlêdan dest pê dike ku dibe sedema têkçûna mekanîzmayê
Dema ku li gorî nexşeyek dimeşîne, di demên bargiraniya giran de li ser pergalê, carinan rewşên ku dibin sedema têkçûna mekanîzmayê diqewimin. Pirsgirêk hîn jî bi destan tê çareser kirin, û çareseriyek mayînde tê xwestin.
Bi gelemperî, em dikarin kurt bikin ku dema ku barek giran hebe, pir girîng e ku çavkaniyên têra wê peyda bikin, ev jî ji bo çavkaniyên hardware yên ji bo Informatica bixwe jî derbas dibe, û heman tişt ji bo depoya databasa wê, û her weha peydakirina mîhengên çêtirîn. ji bo wan. Wekî din, pirs vekirî dimîne ka kîjan nexşeya danîna databasê çêtir e - li ser mêvandarek veqetandî, an li ser heman yekê ku nermalava Informatica lê dimeşe. Ji aliyek ve, ew ê li ser yek serverê erzantir be, û dema ku were berhev kirin, pirsgirêka muhtemel a bi danûstendina torê bi pratîkî ji holê radibe; ji aliyek din ve, barkirina mêvandarê ji databasê bi barkirina ji Informatica ve tê zêdekirin.
Mîna her hilberek cidî, Informatica jî demên xweş hene.
Carekê, dema ku cûreyek qezayê çêdikir, min dît ku têketinên MRS bi ecêb dema bûyeran destnîşan dikin.
Dualîzma demkî di têketinên MRS de "ji hêla sêwiranê ve"
Derket holê ku morên demê bi formata 12 saetan, bêyî diyarkirina AM/PM, ango berî nîvro an piştî nîvro, têne nivîsandin. Tewra di derbarê vê mijarê de serîlêdanek hate vekirin, û bersivek fermî hate wergirtin - bi vî rengî hate armanc kirin, nîşaneyên di têketina MRS de tam bi vî rengî têne nivîsandin. Ango, carinan di derbarê dema rûdana ÇEWTÎ de hin entrîka dimîne...
Ji bo çêtirîn hewl bidin
Îro, Informatica amûrek bi îstîqrar e, ji bo rêveber û bikarhêneran rehet e, di warê kapasîteyên xwe û potansiyela heyî de pir bi hêz e. Ew gelek caran ji hewcedariyên me yên fonksiyonel derbas dibe û de facto naha di projeyê de bi rengek ku ne ya herî tîpîk û tîpîk e tê bikar anîn. Zehmetî hinekî bi awayê xebitandina mekanîzmayan ve girêdayî ne - ya taybetî ev e ku di demek kurt de hejmareke mezin ji mijarên ku bi tundî parametre nûve dikin û bi databasa depoyê re dixebitin têne destpêkirin, dema ku çavkaniyên hardware server hema hema bi tevahî têne bikar anîn. ji hêla CPU ve.
Em naha nêzîkê çûna Informatica 10.2.1 an 10.2.2-ê ne, ku hin mekanîzmayên hundurîn ji nû ve xebitandine û sozên piştgirî didin da ku hin pirsgirêkên performans û fonksiyonê yên ku em niha hene ji holê rakin. Û ji nêrînek hardware, em li bendê ne serverên ku ji bo me veavakirinek çêtirîn heye, ji ber mezinbûn û pêşkeftina hilanînê rezerva ji bo pêşerojek nêzîk tê hesibandin.
Bê guman, dê di beşa HA GRID de ceribandin, kontrolkirina lihevhatinê, û dibe ku guhertinên mîmarî hebin. Pêşveçûn di hundurê Informatica de dê berdewam bike, ji ber ku di demek kurt de em nikanin tiştek li şûna pergalê peyda bikin.
Û yên ku dê di pêşerojê de berpirsiyarê vê pergalê bin, bê guman dê karibin wê bigihînin pêbawerî û performansa pêdivî ya ku ji hêla xerîdaran ve hatî pêşandan.
Gotar ji hêla tîmê rêveberiya daneya Rostelecom ve hatî amadekirin
Logoya Informatica ya heyî
Source: www.habr.com