{"id":34842,"date":"2019-10-31T22:00:43","date_gmt":"2019-10-31T19:00:43","guid":{"rendered":"https:\/\/prohoster.info\/blog\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina\/"},"modified":"2019-10-31T22:00:43","modified_gmt":"2019-10-31T19:00:43","slug":"ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","title":{"rendered":"Igap\u00e4evastest avariidest stabiilsuseni: Informatica 10 administraatori silmade l\u00e4bi","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Igap\u00e4evastest<\/a><\/noindex><\/p>\n

Andmete ladustamise ETL-komponent j\u00e4\u00e4b sageli peamise ladustamise varju ja sellele p\u00f6\u00f6ratakse v\u00e4hem t\u00e4helepanu kui peamisele andmebaasile v\u00f5i esifunktsioonidele, nagu BI ja aruandlus. Siiski m\u00e4ngib ETL andmete laadimise mehhanismi osas v\u00f5tmerolli ja vajab haldurite t\u00e4helepanu mitte v\u00e4hem kui teised komponendid. Minu nimi on Aleksandr, hetkel haldan ETL-i ettev\u00f5ttes Rostelecom, ja antud artiklis p\u00fc\u00fcan jagada oma kogemusi, millega silmitsi seisab haldur tuntud ETL-s\u00fcsteemi juures suures andmete ladustamise mahus ettev\u00f5ttes Rostelecom.
\n<\/a><\/noindex>
\nKui austatud lugejad on juba tuttavad meie andmete ladustamise projektiga ja toote Informatica PowerCenteriga, siis v\u00f5ib kohe j\u00e4rgmisesse jaotisesse \u00fcle minna.<\/p>\n

M\u00f5ni aasta tagasi s\u00fcndis Rostelecomis idee \u00fchtsest ettev\u00f5tte andmesalvestusest ning see hakkas ellu viidama. Mitmed salvestuss\u00fcsteemid, mis lahendasid erinevaid \u00fclesandeid, olid juba loodud, kuid stsenaariumide arv kasvas, hoolduskulud suurenesid ning sai selgeks, et tulevik kuulub centraliseerimisele. Arhitektuuriliselt koosneb see salvestus mitmest kihist, rakendatud Hadoopis ja GreenPlumis, abistavad andmebaasid, ETL mehhanismid ja BI.<\/p>\n

Samas, arvestades suurte territoriaalsete ja heterogeensete andmeallikate arvu, loodi spetsiaalne andmete eksportimise mehhanism, mille t\u00f6\u00f6d juhib Informatica. Tulemusena j\u00f5uavad andmepaketid Hadoopi liidesealasse, p\u00e4rast mida algavad andmete laadimise protsessid salvestuse kihtidesse, Hadoopisse ja GreenPlumi, mida juhib nn ETL juhtimismehhanism, mis on rakendatud Informatica. Seega on Informatica s\u00fcsteem \u00fcks v\u00f5tmeelemente, mis tagab salvestuse toimimise.<\/p>\n

Meie salvestusest r\u00e4\u00e4gitakse l\u00e4hemalt \u00fches j\u00e4rgnevates postitustes.<\/p>\n

Informatica PowerCenter\/Big Data Management on hetkel peetakse juhtivaks tarkvaraks andmete integreerimise t\u00f6\u00f6riistade valdkonnas. See on Ameerika ettev\u00f5tte Informatica toode, mis on \u00fcks tugevaimaid m\u00e4ngijaid ETL (Extract Transform Load), andmekvaliteedi haldamise, MDM (Master Data Management), ILM (Information Lifecycle Management) ja muudes valdkondades.<\/p>\n

Kasutatav PowerCenter on integreeritud rakenduste server Tomcat, milles t\u00f6\u00f6tavad ise Informatica rakendused, mis rakendavad selle teenuseid: <\/p>\n

Domeen<\/b>, see on p\u00f5him\u00f5tteliselt alus kogu \u00fclej\u00e4\u00e4nule, mille raames tegutsevad teenused, kasutajad ja GRID-i komponendid.<\/p>\n

Administrator Console<\/b>, veebi haldus- ja monitooringu t\u00f6\u00f6riist, lisaks Informatica arendaja kliendile, p\u00f5hivahend tootega suhtlemiseks<\/p>\n

MRS, Model Repository Service<\/b>, metadata storage, toimib kihina andmebaasi vahel, kus metaandmed f\u00fc\u00fcsiliselt talletatakse, ja Informatica Developer kliendi vahel, kus arendus toimub. Repositoriad hoiavad nii andmete kirjeldusi kui ka muud teavet, sealhulgas mitme muu Informatica teenuse jaoks, n\u00e4iteks t\u00f6\u00f6de k\u00e4ivitamise ajakava (Schedules) v\u00f5i j\u00e4lgimisandmeid, samuti rakenduste parameterset\u2019id, mis v\u00f5imaldavad kasutada sama rakendust erinevate andmeallikate ja sihtkohtadega t\u00f6\u00f6tamiseks.<\/p>\n

DIS, Andmeintegratsiooni teenus<\/b>, see on teenus, kus toimuvad p\u00f5hifunktsionaalsed protsessid, kus t\u00f6\u00f6tavad rakendused ja toimub tegelik Workflows (mappingute j\u00e4rjestuse ja nende omavaheline suhtlemine) ja Mappings (transformatsioonide, plokkide, kus toimuvad andmete t\u00f6\u00f6tlemise muutused).<\/p>\n

GRID-i konfiguratsioon<\/b> \u2013 sisuliselt on see komplekside ehitamise variant, kus mitmed serverid koos t\u00f6\u00f6tavad, jagades DIS-i t\u00f5ukej\u00f5udu s\u00f5lmede (st domeenisse kuuluvate serverite) vahel. Sellise variandi puhul, peale DIS-i koormuse jaotamise l\u00e4bi t\u00e4iendava abastraktsiooni kihi GRID, mis \u00fchendab mitmeid s\u00f5lmi, mis t\u00f6\u00f6tavad DIS-iga, mitte ainult \u00fchel konkreetsel s\u00f5lmil, v\u00f5ivad samuti olla loodud t\u00e4iendavad varukoopia MRS-i eksemplarid. V\u00f5ib isegi rakendada k\u00f5rget saadavust, kus v\u00e4listes taotlustes saab \u00fchendust luua l\u00e4bi varu s\u00f5lmede, kui peamine langeb v\u00e4lja. Sellisest ehitamisvariantist oleme veel loobunud.<\/p>\n

\"Igap\u00e4evastest
\nInformatica PowerCenter, scheemiliselt<\/i><\/p>\n

Andmete tarne ahelas t\u00f6\u00f6tamise varastes etappides esines pidevalt probleeme, millest osa oli tingitud Informatica tol ajal ebastabiilsest t\u00f6\u00f6st. Kavatseme jagada m\u00f5ningaid meeldej\u00e4\u00e4vamaid hetki sellest saagast \u2013 Informatica 10 omandamine.<\/p>\n

\"Igap\u00e4evastest
\nEelmine Informatica logo<\/i><\/p>\n

Meie osakonna vastutusalasse kuuluvad ka teised Informatica keskkonnad, millel on oma spetsiifika erineva koormuse t\u00f5ttu. Praegu keskendun aga sellele, kuidas Informatica on arenenud ETL-komponendina andmehoidla osana.<\/p>\n

Kuidas see juhtus<\/h2>\n

\n2016. aastal, kui hakkasime vastutama Informatica t\u00f6\u00f6 eest, oli see juba j\u00f5udnud versioonini 10.0. Optimistlikult meelestatud kolleegide jaoks, kes otsustasid toote rakendamise \u00fcle, oli k\u00f5ik selge \u2014 kasutada tuleb uut versiooni! Riistvaralised ressursid olid sel ajal suurep\u00e4rased.<\/p>\n

2016. aasta kevadest vastutas Informatica t\u00f6\u00f6 eest allt\u00f6\u00f6v\u00f5tja ning v\u00e4heste s\u00fcsteemi kasutajate s\u00f5nul \"t\u00f6\u00f6tas see paar korda n\u00e4dalas\". Siin on vaja selgitada, et andmehoidla oli de facto PoC etapis, administraatoreid meeskonnas ei olnud ja s\u00fcsteem langes pidevalt erinevatel p\u00f5hjustel, p\u00e4rast mida t\u00f5stis allt\u00f6\u00f6v\u00f5tja insener selle uuesti \u00fcles.<\/p>\n

S\u00fcgiseks liitus meeskonnas kolm administraatorit, kes jagasid omavahel vastutusalad, ja s\u00fcsteemide t\u00f5hus haldamine projektis, sealhulgas Informatica, hakkas sujuma. Peab eraldi m\u00e4rkima, et see toode ei ole laialdaselt levinud ega oma suurt kogukonda, kust leida vastuseid k\u00fcsimustele v\u00f5i lahendada probleeme. Seet\u00f5ttu oli \u00e4\u00e4rmiselt oluline t\u00f5hus tehniline tugi Vene partnerilt Informatica, kelle abil parandati k\u00f5ik meie vead ja ka noore Informatica 10 vead.<\/p>\n

Esimene asi, mida meie meeskonna arendajate ja allt\u00f6\u00f6v\u00f5tjate jaoks tegema pidime, oli Informatica t\u00f6\u00f6 stabiliseerimine ja web-administreerimise konsoli (Informatica Administrator) t\u00f6\u00f6korda saamine.<\/p>\n

\"Igap\u00e4evastest
\nNii kohtasime sageli Informatica arendajaid.<\/i><\/p>\n

J\u00e4tkates probleemiosalist v\u00e4lja j\u00e4tmist, oli peamine p\u00f5hjuseks Infomratica tarkvara suhtlemise skeem andmebaasi reposiitriumiga, mis asus v\u00f5rgu maastiku seisukohalt suhteliselt kaugel serveris. See tekitas hilinemisi ja h\u00e4iris Informatica domeeni oleku kontrollimise mehhanismide toimimist. Andmebaasi m\u00f5ningase h\u00e4\u00e4lestamise, Informatica parameetrite muutmise, mis muutsid selle andmebaasi viivituste suhtes tolerantsemaks, ning l\u00f5puks versiooniuuendamise Infomratica versioonile 10.1 ja andmebaasi \u00fcleviimise eelmiselt serverilt l\u00e4hemal asuvasse serverisse, kaotas probleem oma aktuaalsuse ning selliseid t\u00f5rkeid me enam ei j\u00e4lgi.<\/p>\n

\"Igap\u00e4evastest
\n\u00dcks katsetest saavutada Informatica Monitori t\u00f6\u00f6<\/i><\/p>\n

Administreerimise konsool oli samuti kriitilises seisundis. Kuna aktiivne arendustegevus k\u00e4idi otse tootmiskeskkonnas, oli kolleegidel pidevalt vajalik anal\u00fc\u00fcsida mappings'i ja workflow'd \"liikvel\" olles. Uues Informatica Data Integration Service'is pole eraldi t\u00f6\u00f6riista selliseks j\u00e4lgimiseks, kuid veebikonsoolis on ilmunud j\u00e4lgimise sektsioon (Informatica Administrator Monitor), kus on v\u00f5imalik j\u00e4lgida rakenduste, workflow'de ja mappings'ite t\u00f6\u00f6d, k\u00e4ivitusi ja logisid. Aeg-ajalt muutus konsool t\u00e4iesti k\u00e4ttesaamatuks, v\u00f5i lakkasid DIS-i k\u00e4imasolevate protsesside andmed uuendumast, v\u00f5i tekkisid vead lehtede laadimisel.<\/p>\n

\"Igap\u00e4evastest
\nJava parameetrite kohandamine t\u00f6\u00f6 stabiilsuse tagamiseks<\/i><\/p>\n

Probleemi lahendamine toimus mitmeid teid pidi, eksperimenteeriti parameetrite muutmisega, koguti logisid, jstack'e, saadeti tugiteenusesse, samal ajal toimus aktiivne googeldamine ja lihtsalt j\u00e4lgimine.<\/p>\n

Esmalt oli loodud eraldi MRS j\u00e4lgimiseks, kuna hiljem osutus see \u00fcheks meie keskkondade peamiseks ressursikasutajaks, kuna mappingute k\u00e4ivitamine toimub v\u00e4ga intensiivselt. Muudetud on java heap'i seadeid ja mitmeid teisi.
\nTulemuseks oli, et j\u00e4rgmise Informatica 10.1.1 uuenduse puhul \u00f5nnestus konsoli ja monitori t\u00f6\u00f6 stabiliseerida, arendajad hakkasid t\u00f6\u00f6tama efektiivsemalt ning regulaarprotsessid muutusid \u00fcha regulaarsemaks.<\/p>\n

Huvitav v\u00f5ib olla kogemus arenduse ja haldamise vahel. \u00dchine arusaam sellest, kuidas k\u00f5ik t\u00f6\u00f6tab, mida on v\u00f5imalik teha ja mida mitte, on alati oluline keeruliste s\u00fcsteemide kasutamisel. Seet\u00f5ttu on soovitatav k\u00f5igepealt koolitada administratiivmeeskond selle kohta, kuidas tarkvara haldada, ja arendajate meeskond selle kohta, kuidas koodi kirjutada ja s\u00fcsteemis protsesse kavandada, ning alles seej\u00e4rel lasta neil t\u00f6\u00f6tada. See on t\u00f5eliselt oluline, kui aeg ei ole l\u00f5pmatu ressurss. Paljusid probleeme saab lahendada isegi juhusliku lahenduste proovimise kaudu, kuid m\u00f5nikord on m\u00f5ned neist n\u00f5uavad eelnevat teadmisi \u2014 meie juhtum kinnitab selle aksioomi m\u00f5istmise olulisust.<\/p>\n

N\u00e4iteks, kui proovida aktiveerida versioonihaldust MRS-is (kui l\u00f5puks selgub, et vajalik oli teine SVN versioon), avastasime m\u00f5ne aja p\u00e4rast murelikult, et s\u00fcsteemi taask\u00e4ivitamise aeg oli kasvanud mitme k\u00fcmne minutini. P\u00f5hjuse leidmisel ja versioonihalduse v\u00e4ljal\u00fclitamisel l\u00e4ks k\u00f5ik taas h\u00e4sti.<\/p>\n

M\u00f5ned m\u00e4rkimisv\u00e4\u00e4rsed takistused, millega seoses on seotud Informatica, h\u00f5lmavad eepilist v\u00f5itlust kasvavate Java-voogudega. \u00dchel hetkel tuli kohtumisele, et expandida loodud protsessid suurtele allika s\u00fcsteemidele. Selgus, et kaugelki k\u00f5ik protsessid versioonis 10.1.1 ei t\u00f6\u00f6tanud h\u00e4sti ning m\u00f5ne aja p\u00e4rast muutus DIS toimimatuks. Avastati k\u00fcmneid tuhandeid vooge, mille arv kasvas eriti silmatorkavalt rakenduste juurutamise protseduuri k\u00e4igus. M\u00f5nikord tuli t\u00f6\u00f6v\u00f5ime taastamiseks teha mitu restarti p\u00e4evas.<\/p>\n

Siinkohal tuleb t\u00e4nada tuge, probleemid lokaliseeriti ja parandati v\u00f5rreldes kiiresti EBF (Emergency Bug Fix) abil \u2013 p\u00e4rast seda tundsid k\u00f5ik, et t\u00f6\u00f6riist t\u00f5epoolest t\u00f6\u00f6tab.<\/p>\n

See t\u00f6\u00f6tab t\u00f5epoolest!<\/h2>\n

\nKui Informatica sihtre\u017eiimis t\u00f6\u00f6le asus, n\u00e4gi see v\u00e4lja j\u00e4rgmiselt. Versioon Informatica 10.1.1HF1 (HF1 on HotFix1, tootja ehitus EBF-de kogumisest) oli lisatud EBF, mis lahendas meie mastaapsuse probleemid ja m\u00f5ned muud, \u00fchel kolmest GRID-i serverist, 20 x86_64 tuuma ja salvestus suurel aeglasel kohalike ketaste kogumil \u2014 see on serveri konfiguratsioon<\/a> Hadoop-kliendile. Teisel samasugusel serveril on Oracle DB, millega t\u00f6\u00f6tavad nii Informatica domeen kui ka ETL-i juhtimismehhanism. K\u00f5ike seda j\u00e4lgitakse meeskonnas kasutatavate tavap\u00e4raste j\u00e4lgimisvahendite (Zabbix + Grafana) abil, kahest osapoost \u2014 nii Informatica kui tema teenustest, kui ka laadimisprotsessidest. Praegu s\u00f5ltuvad j\u00f5udlus ja t\u00f6\u00f6 stabiilsus, arvestamata v\u00e4liseid tegureid, seadistustest, mis piiravad koormust.<\/p>\n

GRID-ist on eraldi r\u00e4\u00e4kimist v\u00e4\u00e4rt. Keskkond ehitati kolme Node'i p\u00f5hjal, koormuse tasakaalustamise v\u00f5imalusega. Siiski testimise k\u00e4igus leiti, et meie rakenduste k\u00e4ivitatud instantside vahelise suhtlemise probleemide t\u00f5ttu ei t\u00f6\u00f6tanud selline konfiguratsioon oodatud viisil, mist\u00f5ttu otsustati ajutiselt sellest skeemist loobuda, viies kaks kolmest node'ist domeenist v\u00e4lja. Skeem ise j\u00e4i samaks ja see on praegu GRID-teenus, kuid lihtsustatud \u00fche node'iga.<\/p>\n

Hetkel on endiselt keerukus, mis on seotud j\u00f5udluse langusega monitooringu skeemi regulaarse puhastamise k\u00e4igus \u2014 samal ajal toimuva t\u00f6\u00f6tlemise ja k\u00e4ivitatud puhastuse t\u00f5ttu v\u00f5ivad ETL-i juhtimise mehhanismi t\u00f6\u00f6s esineda t\u00f5rked. See lahendatakse praegu \u201ekustutuste\u201d kaudu \u2014 monitooringu skeemi k\u00e4sitsi puhastamisega, kaotades k\u00f5ik varasemad andmed. See ei ole liiga kriitiline tootmises tavap\u00e4rase t\u00f6\u00f6 k\u00e4igus, kuid samas otsitakse normaalsemat lahendust.<\/p>\n

Samas olukorrast tuleneb veel \u00fcks probleem \u2014 m\u00f5nikord toimuvad meie juhtimismehhanismi mitu k\u00e4ivitamist.<\/p>\n

\"Igap\u00e4evastest
\nRakenduste korduvad k\u00e4ivitamised, mis p\u00f5hjustavad mehhanismi purunemise.<\/i><\/p>\n

Ajakava j\u00e4rgi k\u00e4ivitamisel s\u00fcsteemi suurte koormuste hetkedest v\u00f5ivad tekkida olukorrad, mis viivad mehhanismi purunemiseni. Probleemi lahendatakse siiani k\u00e4sitsi, otsides p\u00fcsivat lahendust.<\/p>\n

Kokkuv\u00f5ttes v\u00f5ib \u00f6elda, et suurte koormuste korral on \u00e4\u00e4rmiselt oluline pakkuda adekvaatseid ressursse, sealhulgas nii riistvaralisi ressursse Informatica jaoks kui ka andmebaasi hoidmiseks, samuti tagada nendele optimaalsed seaded. Lisaks on k\u00fcsimus lahtine seoses sellega, milline andmebaasi paigutusskeem on parem \u2014 eraldi serveris v\u00f5i samas serveris, kus t\u00f6\u00f6tab Informatica tarkvara. \u00dchelt poolt on \u00fche serveri kasutamine odavam ja \u00fchendamise korral praktiliselt k\u00f5rvaldatakse v\u00f5rguside probleem, teisalt t\u00f5ukab andmebaasi koormus serveri koormust \u00fclespoole, lisandudes Informatica koormusele.<\/p>\n

Nagu igas t\u00f5sises tootmises, leidub ka Informatica puhul paar naljakat hetke.
\nKord, kui uurisin m\u00f5nda \u00f5nnetust, p\u00f6\u00f6rasin t\u00e4helepanu sellele, et MRS logides on s\u00fcndmuste kellaaeg kahtlaselt m\u00e4rgitud.<\/p>\n

\"Igap\u00e4evastest
\nAjadualism MRS logides on \"disaini t\u00f5ttu\".<\/i><\/p>\n

Selgus, et ajatempleid kirjutatakse 12-tunnises formaadis, ilma AM\/PM n\u00e4idusteta, st enne v\u00f5i p\u00e4rast keskp\u00e4eva. Selle kohta avati isegi paberimajandus ja saadi ametlik vastus \u2013 just nii oli see ette n\u00e4htud, logis MRS on m\u00e4rgid kirjutatud just sellises formaadis. See j\u00e4tab vahel siiski mingi intriigi seoses m\u00f5ne ERROR-i tekkimise ajaga...<\/p>\n

P\u00fc\u00fcdle paremuse poole<\/h2>\n

\nT\u00e4naseks on Informatica piisavalt stabiilne t\u00f6\u00f6riist, mis on mugav administraatoritele ja kasutajatele ning neid v\u00f5imalusi ja potentsiaali arvesse v\u00f5ttes \u00e4\u00e4rmiselt v\u00f5imas. See \u00fcletab meie funktsionaalsed vajadused korduvalt ja de facto kasutatakse seda projektis mitte k\u00f5ige iseloomulikumas ja t\u00fc\u00fcpilisemalt. Raskused on osaliselt seotud sellega, kuidas mehhanismid t\u00f6\u00f6tavad \u2013 erip\u00e4ra seisneb selles, et l\u00fchikese ajavahemiku jooksul k\u00e4ivitatakse suur hulk protsesse, mis intensiivselt v\u00e4rskendavad parameterset\u2019e ja t\u00f6\u00f6tavad andmebaasi reposiitriumiga, samal ajal kui serveri riistvararessursid on protsessoril peaaegu t\u00e4ielikult\u5229\u7528itud. <\/p>\n

Oleme n\u00fc\u00fcd l\u00e4hedal \u00fcleminekule Informatica 10.2.1 v\u00f5i 10.2.2 versioonile, kus on \u00fcmber tehtud m\u00f5ned sisemised mehhanismid ja toetuse lubadus, et lahendatakse mitmed praegu meie jaoks olemasolevad j\u00f5udluse ja toimimise probleemid. Samuti oodatakse riistvara osas servereid, mis on meie jaoks optimaalsete konfiguratsioonidega, arvestades l\u00e4hiaja kasvu ja arengu vajadusi.<\/p>\n

Muidugi tuleb l\u00e4bi viia testimine, kontrollida \u00fchilduvust ja v\u00f5imalik, et teha arhitektuuri muudatusi HA GRID osas. Informatica raames areng j\u00e4tkub, kuna l\u00fchiajaliselt ei saa me s\u00fcsteemi asendamiseks midagi paigaldada.
\nNeed, kes tulevikus vastutavad selle s\u00fcsteemi eest, suudavad kindlasti tuua selle n\u00f5utud usaldusv\u00e4\u00e4rsuse ja j\u00f5udluse n\u00e4itajate juurde, mida tellijad n\u00f5uavad.<\/p>\n

Artikkel on koostatud \u201eRostelecomi\u201d andmejuhtimise meeskonna poolt.<\/i><\/p>\n

\"Igap\u00e4evastest
\nAktiivne Informatica logo<\/i>
\n
Allikas: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

ETL-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u0435\u043d\u0438 \u0441\u0430\u043c\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0438 \u0435\u0439 \u0443\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0447\u0435\u043c \u0433\u043b\u0430\u0432\u043d\u043e\u0439 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043b\u0438 \u0444\u0440\u043e\u043d\u0442-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0435, BI, \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u0442\u0447\u0451\u0442\u043e\u0432. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0438 \u043d\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, ETL \u0438\u0433\u0440\u0430\u0435\u0442 \u043a\u043b\u044e\u0447\u0435\u0432\u0443\u044e \u0440\u043e\u043b\u044c \u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u043e\u0432, \u0447\u0435\u043c \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b. \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0441\u0435\u0439\u0447\u0430\u0441 \u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u0443\u044e ETL \u0432 \u0420\u043e\u0441\u0442\u0435\u043b\u0435\u043a\u043e\u043c\u0435, \u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":26234,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-34842","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Igap\u00e4evaste avariide k\u00f5rvalt stabiilsuseni: Informatica 10 administraatori silmade l\u00e4bi | ProHoster","description":"Andmetehoidla ETL-komponent j\u00e4\u00e4b sageli andmetehoidla varju ja sellele p\u00f6\u00f6ratakse v\u00e4hem t\u00e4helepanu kui p\u00f5hikohtv\u00f5rgu v\u00f5i BI, aruandluse komponentidele. Andmetehoidla t\u00e4itmise mehhanika seisukohalt m\u00e4ngib ETL v\u00f5tmerolli ja vajab samasugust t\u00e4helepanu administraatoritelt kui k\u00f5ik teised komponendid. Minu nimi on Aleksander, hetkel administreerin ETL-i Rostelecomis ja","canonical_url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"et_EE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u0442 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u044b\u0445 \u0430\u0432\u0430\u0440\u0438\u0439 \u043a \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438: Informatica 10 \u0433\u043b\u0430\u0437\u0430\u043c\u0438 \u0430\u0434\u043c\u0438\u043d\u0430 | ProHoster","og:description":"ETL-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u0435\u043d\u0438 \u0441\u0430\u043c\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0438 \u0435\u0439 \u0443\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0447\u0435\u043c \u0433\u043b\u0430\u0432\u043d\u043e\u0439 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043b\u0438 \u0444\u0440\u043e\u043d\u0442-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0435, BI, \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u0442\u0447\u0451\u0442\u043e\u0432. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0438 \u043d\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, ETL \u0438\u0433\u0440\u0430\u0435\u0442 \u043a\u043b\u044e\u0447\u0435\u0432\u0443\u044e \u0440\u043e\u043b\u044c \u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u043e\u0432, \u0447\u0435\u043c \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b. \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0441\u0435\u0439\u0447\u0430\u0441 \u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u0443\u044e ETL \u0432 \u0420\u043e\u0441\u0442\u0435\u043b\u0435\u043a\u043e\u043c\u0435, \u0438","og:url":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:00:43+00:00","article:modified_time":"2019-10-31T19:00:43+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"34842","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-02-08 21:32:10","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:14:05","updated":"2026-02-08 21:32:10"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/34842","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/comments?post=34842"}],"version-history":[{"count":1,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/34842\/revisions"}],"predecessor-version":[{"id":158197,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/posts\/34842\/revisions\/158197"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/media\/26234"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/media?parent=34842"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/categories?post=34842"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/et\/wp-json\/wp\/v2\/tags?post=34842"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}