{"id":34842,"date":"2019-10-31T22:00:43","date_gmt":"2019-10-31T19:00:43","guid":{"rendered":"https:\/\/prohoster.info\/blog\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina\/"},"modified":"2019-10-31T22:00:43","modified_gmt":"2019-10-31T19:00:43","slug":"ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","title":{"rendered":"Von t\u00e4glichen Ausf\u00e4llen zur Stabilit\u00e4t: Informatica 10 aus der Sicht eines Administrators","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Von<\/a><\/noindex><\/p>\n

Die ETL-Komponente eines Data Warehouses steht oft im Schatten des eigentlichen Lagers und erh\u00e4lt weniger Aufmerksamkeit als die Hauptdatenbank oder die Frontkomponenten, BI und Berichterstattung. Dabei spielt ETL aus mechanischer Sicht eine Schl\u00fcsselrolle bei der Bef\u00fcllung des Lagers mit Daten und verdient genauso viel Aufmerksamkeit von den Administratoren wie die anderen Komponenten. Mein Name ist Alexander, ich verwalte aktuell ETL bei Rostelecom, und in diesem Artikel m\u00f6chte ich einige Herausforderungen teilen, mit denen ein Administrator eines bekannten ETL-Systems in einem gro\u00dfen Data Warehouse von Rostelecom konfrontiert ist.
\n<\/a><\/noindex>
\nWenn unsere gesch\u00e4tzten Leser bereits insgesamt mit unserem Data Warehouse-Projekt und dem Produkt Informatica PowerCenter vertraut sind, k\u00f6nnen sie direkt zum n\u00e4chsten Abschnitt \u00fcbergehen.<\/p>\n

Vor einigen Jahren reifte bei Rostelecom die Idee eines einheitlichen Unternehmensdatenlagers und wurde schlie\u00dflich umgesetzt. Eine Reihe von Speichersystemen, die spezifische Aufgaben erf\u00fcllten, war bereits geschaffen worden; jedoch stieg die Anzahl an Szenarien und die Kosten f\u00fcr die Wartung wuchsen ebenfalls. Es wurde klar, dass die Zukunft in der Zentralisierung liegt. Architektonisch besteht dieses Speicherlager aus mehreren Schichten, realisiert auf Hadoop und GreenPlum, einschlie\u00dflich unterst\u00fctzender Datenbanken, ETL-Mechanismen und BI.<\/p>\n

Angesichts der Vielzahl geografisch verteilter, heterogener Datenquellen wurde ein spezieller Mechanismus zur Datenextraktion geschaffen, dessen Betrieb durch Informatica gesteuert wird. Infolgedessen gelangen die Datenpakete in den Interface-Bereich von Hadoop, danach beginnen die Prozesse zum Laden der Daten in die Schichten des Speichers, sowohl in Hadoop als auch in GreenPlum. Diese Prozesse werden durch den sogenannten ETL-Verwaltungsmechanismus, der in Informatica implementiert ist, gesteuert. Somit ist das System Informatica eines der Schl\u00fcsselelemente, die den Betrieb des Speichers gew\u00e4hrleisten.<\/p>\n

In einem der folgenden Beitr\u00e4ge werden wir ausf\u00fchrlicher \u00fcber unser Speicherlager berichten.<\/p>\n

Informatica PowerCenter und Big Data Management gelten derzeit als f\u00fchrende Softwarel\u00f6sung im Bereich der Datenintegrationswerkzeuge. Dieses Produkt stammt von der amerikanischen Firma Informatica, einem der st\u00e4rksten Akteure im Bereich ETL (Extract, Transform, Load), Datenqualit\u00e4tsmanagement, MDM (Master Data Management), ILM (Information Lifecycle Management) und mehr.<\/p>\n

Das von uns verwendete PowerCenter ist ein integrierter Anwendungsserver auf Basis von Tomcat, auf dem die Informatica-Anwendungen betrieben werden, die ihre Dienste bereitstellen: <\/p>\n

Domain<\/b>, im Grunde ist es die Grundlage f\u00fcr alles Weitere, innerhalb der Dom\u00e4ne arbeiten die Dienste, die Benutzer und die GRID-Komponenten.<\/p>\n

Administrator Console<\/b>, ein webbasiertes Management- und \u00dcberwachungstool, neben dem Informatica Developer Client, das Hauptwerkzeug f\u00fcr die Interaktion mit dem Produkt.<\/p>\n

MRS, Model Repository Service<\/b>, ein Metadaten-Repository, dient als Schnittstelle zwischen der physischen Datenbank, in der die Metadaten gespeichert sind, und dem Informatica Developer-Client, in dem die Entwicklung erfolgt. Repositories speichern sowohl die Datenbeschreibung als auch andere Informationen, einschlie\u00dflich Daten f\u00fcr verschiedene andere Informatica-Dienste, beispielsweise Ausf\u00fchrungspl\u00e4ne (Schedules) oder \u00dcberwachungsdaten sowie Parametersets von Anwendungen, die es erm\u00f6glichen, dass dieselbe Anwendung mit verschiedenen Datenquellen und -senken arbeitet.<\/p>\n

DIS, Data Integration Service<\/b>, ist der Dienst, in dem die wesentlichen Funktionsprozesse stattfinden, in dem Anwendungen ausgef\u00fchrt werden und in dem die eigentlichen Workflows (Beschreibungen der Reihenfolge von Mappings und deren Interaktion) und Mappings (Transformationen, Bl\u00f6cke, in denen die Transformationen und Datenverarbeitung stattfinden) gestartet werden.<\/p>\n

GRID-Konfiguration<\/b> \u2013 im Wesentlichen handelt es sich um eine Bauweise eines Komplexes, bei der mehrere Server verwendet werden, um die von DIS erzeugte Last auf Knoten (d. h. Server innerhalb der Dom\u00e4ne) zu verteilen. In dieser Variante kann, neben der Lastverteilung in DIS \u00fcber eine zus\u00e4tzliche Abstraktionsschicht GRID, die mehrere Knoten miteinander verbindet und auf der DIS anstelle eines einzelnen Knoten arbeitet, auch die Erstellung zus\u00e4tzlicher Backup-Instanzen von MRS erfolgen. Man kann sogar Hochverf\u00fcgbarkeit implementieren, bei der externe Anfragen \u00fcber Backup-Knoten bei einem Ausfall des Hauptknotens abgewickelt werden. Von dieser Bauweise haben wir vorerst Abstand genommen.<\/p>\n

\"Von
\nInformatica PowerCenter, schematisch<\/i><\/p>\n

In den fr\u00fchen Phasen der Arbeit in der Datenlieferkette gab es regelm\u00e4\u00dfig Probleme, von denen einige auf die damals instabile Leistung von Informatica zur\u00fcckzuf\u00fchren waren. Ich m\u00f6chte einige der denkw\u00fcrdigen Momente dieser Saga \u2013 der Einarbeitung in Informatica 10 \u2013 teilen.<\/p>\n

\"Von
\nDas fr\u00fchere Logo von Informatica<\/i><\/p>\n

Unser Bereich umfasst auch andere Informatica-Umgebungen, die aufgrund unterschiedlicher Lasten ihre eigenen Besonderheiten aufweisen. Momentan m\u00f6chte ich jedoch darauf eingehen, wie sich Informatica als ETL-Komponente des Data Warehouses entwickelt hat.<\/p>\n

Wie kam es dazu<\/h2>\n

\nIm Jahr 2016, als wir die Verantwortung f\u00fcr Informatica \u00fcbernahmen, war sie bereits in der Version 10.0. F\u00fcr optimistisch eingestellte Kollegen, die die Entscheidung \u00fcber den Einsatz des Produkts mit einer Minor-Version .0 getroffen hatten, war es offensichtlich: Wir m\u00fcssen die neue Version nutzen! Was die Hardware-Ressourcen angeht, war zu diesem Zeitpunkt alles prima.<\/p>\n

Seit dem Fr\u00fchjahr 2016 war ein Auftragnehmer f\u00fcr den Betrieb von Informatica verantwortlich, und aus den Worten der wenigen Nutzer des Systems \u201elief es ein paar Mal in der Woche\u201c. Hier ist anzumerken, dass das Data Warehouse de facto im PoC-Stadium war, es gab keine Administratoren im Team und das System fiel aus verschiedenen Gr\u00fcnden st\u00e4ndig aus, wobei der Ingenieur des Auftragnehmers es dann wieder hochfahren musste.<\/p>\n

Im Herbst stie\u00dfen drei Administratoren zu unserem Team, die die Verantwortungsbereiche aufteilten und so eine reibungslose Betriebsf\u00fchrung der Systeme im Projekt, einschlie\u00dflich Informatica, erm\u00f6glichten. Hierbei ist zu erw\u00e4hnen, dass dieses Produkt nicht weit verbreitet und nicht von einer gro\u00dfen Community unterst\u00fctzt wird, in der man Antworten auf Fragen finden oder Probleme l\u00f6sen kann. Daher war eine vollumf\u00e4ngliche technische Unterst\u00fctzung durch unseren russischen Partner Informatica entscheidend, um all unsere Fehler sowie die Fehler des damals noch jungen Informatica 10 zu korrigieren.<\/p>\n

Das erste, was wir f\u00fcr die Entwickler unseres Teams und den Auftragnehmer tun mussten, war die Stabilisierung des Betriebs von Informatica und die Wiederherstellung der Funktionalit\u00e4t der Web-Verwaltungskonsole (Informatica Administrator).<\/p>\n

\"Von
\nSo trafen wir h\u00e4ufig auf die Entwickler von Informatica.<\/i><\/p>\n

Unabh\u00e4ngig von dem Prozess, der zur Kl\u00e4rung der Ursachen f\u00fchrte, war der Hauptgrund f\u00fcr die Ausf\u00e4lle die Interaktion zwischen der Informatica-Software und der Datenbank des Repositories, die sich auf einem im Netzwerkvergleich relativ entfernten Server befand. Dies f\u00fchrte zu Verz\u00f6gerungen und beeintr\u00e4chtigte die Funktion der Mechanismen zur \u00dcberwachung des Zustands der Informatica-Dom\u00e4ne. Nach einigen Anpassungen der Datenbank und \u00c4nderungen der Informatica-Parameter, die die Software toleranter gegen\u00fcber Datenbank-Verz\u00f6gerungen machten, sowie nach dem Upgrade auf die Version 10.1 und dem Umzug der Datenbank auf einen n\u00e4her gelegenen Server, ist das Problem an Bedeutung verloren, und seitdem beobachten wir keine \u00e4hnlichen Ausf\u00e4lle mehr.<\/p>\n

\"Von
\nEin Versuch, den Informatica Monitor zum Laufen zu bringen<\/i><\/p>\n

Die Situation mit der Administrationskonsole war ebenfalls kritisch. Da aktiv an der sogenannten produktiven Umgebung gearbeitet wurde, mussten die Kollegen st\u00e4ndig die Funktionalit\u00e4t der Mappings und Workflows 'live' \u00fcberpr\u00fcfen. In der neuen Informatica gibt es im Data Integration Service zwar kein separates Werkzeug f\u00fcr diese \u00dcberwachung, jedoch wurde in der Web-Administrationskonsole ein \u00dcberwachungsbereich (Informatica Administrator Monitor) eingef\u00fchrt, in dem die Leistung von Anwendungen, Workflows und Mappings, sowie Starts und Protokolle verfolgt werden k\u00f6nnen. Gelegentlich war die Konsole vollst\u00e4ndig nicht erreichbar, oder die Informationen \u00fcber die aktuellen Prozesse im DIS wurden nicht mehr aktualisiert, oder es traten Fehler beim Laden der Seiten auf.<\/p>\n

\"Von
\nEinstellungen f\u00fcr Java zur Stabilisierung des Betriebs<\/i><\/p>\n

Die Probleml\u00f6sung verlief auf mehreren Wegen: Es wurden Tests zur \u00c4nderung der Parameter durchgef\u00fchrt, Protokolle und JStacks gesammelt und an den Support gesendet, w\u00e4hrend parallel aktiv gegoogelt und einfach beobachtet wurde.<\/p>\n

Zun\u00e4chst wurde ein separater MRS zur \u00dcberwachung eingerichtet, der sich sp\u00e4ter als einer der Hauptressourcenverbraucher in unseren Umgebungen herausstellte, da die Mappings sehr intensiv ausgef\u00fchrt werden. Die Einstellungen bez\u00fcglich des Java-Heap und eine Reihe weiterer Parameter wurden angepasst.
\nInfolge dessen gelang es, mit dem n\u00e4chsten Update von Informatica 10.1.1 die Funktionalit\u00e4t von Konsole und Monitor zu stabilisieren. Die Entwickler arbeiteten effizienter, und die regelm\u00e4\u00dfigen Prozesse wurden zunehmend konstanter.<\/p>\n

Die Interaktion zwischen Entwicklung und Administration kann sehr interessant sein. Das gemeinsame Verst\u00e4ndnis daf\u00fcr, wie alles funktioniert, was m\u00f6glich ist und was nicht, ist besonders wichtig bei der Nutzung komplexer Systeme. Daher ist es ratsam, zun\u00e4chst das Administrator-Team im Umgang mit der Software zu schulen, w\u00e4hrend das Entwicklungsteam lernt, wie man Code schreibt und Prozesse im System entwirft. Erst danach sollte man beide Teams auf ihre Aufgaben ansetzen. Dies ist besonders wichtig, wenn die Zeit ein begrenzter Faktor ist. Viele Probleme lassen sich durch Ausprobieren l\u00f6sen, doch einige erfordern tiefere Kenntnisse \u2014 unser Fall best\u00e4tigt die Bedeutung dieses Grundsatzes.<\/p>\n

Zum Beispiel, als wir versuchten, die Versionsverwaltung in MRS zu aktivieren (wie sich sp\u00e4ter herausstellte, ben\u00f6tigten wir eine andere SVN-Version), bemerkten wir mit Besorgnis, dass die Neustartzeit des Systems auf mehrere Dutzend Minuten angestiegen war. Nachdem wir die Ursache der Verz\u00f6gerung identifiziert und die Versionsverwaltung deaktiviert hatten, lief es wieder optimal.<\/p>\n

Unter den bemerkenswerten Herausforderungen, die mit Informatica verbunden sind, kann man den epischen Kampf gegen steigende Java-Threads erw\u00e4hnen. Irgendwann kam der Zeitpunkt f\u00fcr die Skalierung, also um etablierte Prozesse auf eine gro\u00dfe Anzahl von Quellsystemen auszudehnen. Dabei stellte sich heraus, dass l\u00e4ngst nicht alle Prozesse in 10.1.1 reibungslos liefen, und nach einer Weile wurde das DIS unbrauchbar. Es wurden zehntausende Threads entdeckt, deren Zahl besonders auff\u00e4llig w\u00e4hrend des Deployments von Anwendungen anstieg. Manchmal mussten mehrere Neustarts pro Tag durchgef\u00fchrt werden, um die Funktionst\u00fcchtigkeit wiederherzustellen.<\/p>\n

Hier gilt es, dem Support zu danken; die Probleme wurden relativ schnell lokalisiert und mithilfe von EBF (Emergency Bug Fix) behoben \u2013 danach hatte jeder das Gef\u00fchl, dass das Tool wirklich funktioniert.<\/p>\n

Es funktioniert tats\u00e4chlich!<\/h2>\n

\nZum Zeitpunkt der Inbetriebnahme im Zielmodus sah Informatica wie folgt aus: Version Informatica 10.1.1HF1 (HF1 ist HotFix1, ein vendor-spezifischer Build aus einer Sammlung von EBFs) mit zus\u00e4tzlich installierten EBFs, die unsere Skalierungsprobleme und einige andere behoben, auf einem von drei Servern im GRID, 20 Kerne x86_64 und Speicherung auf einem riesigen, langsamen Array lokaler Festplatten \u2014 das ist die Serverkonfiguration<\/a> f\u00fcr den Hadoop-Cluster. Auf einem anderen, identischen Server \u2014 die Oracle-Datenbank, mit der sowohl das Informatica-Domain als auch der ETL-Management-Mechanismus arbeiten. All dies wird mit den Standard\u00fcberwachungswerkzeugen \u00fcberwacht, die im Team verwendet werden (Zabbix + Grafana), von zwei Seiten \u2014 sowohl das Informatica-System mit seinen Diensten als auch die darin laufenden Ladeprozesse. Derzeit h\u00e4ngt sowohl die Leistung als auch die Stabilit\u00e4t der Arbeit, unabh\u00e4ngig von externen Faktoren, von den Einstellungen ab, die die Last begrenzen.<\/p>\n

Eine besondere Erw\u00e4hnung verdient das GRID. Die Umgebung wurde auf drei Knoten aufgebaut, mit der M\u00f6glichkeit zur Lastenverteilung. Bei den Tests stellte sich jedoch heraus, dass aufgrund von Interaktionsproblemen zwischen den laufenden Instanzen unserer Anwendungen diese Konfiguration nicht wie erwartet funktionierte. Daher haben wir vor\u00fcbergehend entschieden, von diesem Aufbau abzusehen und zwei der drei Knoten aus der Dom\u00e4ne herauszunehmen. Die Struktur selbst blieb jedoch unver\u00e4ndert, und es handelt sich nach wie vor um einen GRID-Dienst, der jedoch auf einen Knoten reduziert wurde.<\/p>\n

Derzeit besteht eine Herausforderung im Zusammenhang mit der Leistungsverschlechterung w\u00e4hrend der regelm\u00e4\u00dfigen Reinigung der Monitorstruktur. Bei gleichzeitig ablaufenden Prozessen im ETL-Management und laufender Reinigung k\u00f6nnen St\u00f6rungen im Betrieb des Steuerungsmechanismus auftreten. Momentan wird dieses Problem \u00bbmit einem Workaround\u00ab gel\u00f6st \u2013 durch manuelle Reinigung der Monitorstruktur, wobei alle vorherigen Daten verloren gehen. Dies ist f\u00fcr den Produktionsbereich nicht zu kritisch unter normalen Betriebsbedingungen, aber es wird weiterhin nach einer ordentlichen L\u00f6sung gesucht.<\/p>\n

Aus dieser Situation ergibt sich ein weiteres Problem \u2013 gelegentlich kommt es zu mehrfachen Ausf\u00fchrungen unseres Steuerungsmechanismus.<\/p>\n

\"Von
\nMehrfache Anwendungsstarts, die zu einem Mechanikfehler f\u00fchren<\/i><\/p>\n

Bei zeitlich geplanten Starts in Zeiten hoher Systembelastung kommt es gelegentlich zu Situationen, die zu einem Mechanikfehler f\u00fchren. Bislang wird das Problem manuell behoben, w\u00e4hrend nach einer dauerhaften L\u00f6sung gesucht wird.<\/p>\n

Insgesamt l\u00e4sst sich zusammenfassen, dass es bei hoher Belastung wichtig ist, angemessene Ressourcen zur Verf\u00fcgung zu stellen. Dazu geh\u00f6ren sowohl die Hardware-Ressourcen f\u00fcr Informatica selbst als auch die f\u00fcr das Datenbank-Repository und deren optimale Konfiguration. Zudem bleibt die Frage offen, welches Datenbank-Setup besser ist \u2013 auf einem separaten Host oder auf demselben, auf dem die Informatica-Software l\u00e4uft. Einerseits w\u00e4re es g\u00fcnstiger, alles auf einem Server zu betreiben, und bei einer gemeinsamen Nutzung entf\u00e4llt praktisch das m\u00f6gliche Problem der Netzwerkinteraktion. Andererseits bedeutet die Belastung des Hosts durch die Datenbank eine zus\u00e4tzliche Last f\u00fcr Informatica.<\/p>\n

Wie bei jedem ernsthaften Produkt gibt es auch in Informatica kuriose Momente.
\nEinst, als ich einen Vorfall analysierte, fiel mir auf, dass in den MRS-Protokollen die Zeitstempel der Ereignisse merkw\u00fcrdig vermerkt waren.<\/p>\n

\"Von
\nDer zeitliche Dualismus in den MRS-Protokollen ist \u201eby design\u201c.<\/i><\/p>\n

Es stellte sich heraus, dass die Zeitstempel im 12-Stunden-Format ohne AM\/PM angegeben werden, also vor oder nach Mittag. Es wurde sogar ein entsprechendes Ticket er\u00f6ffnet, und die offizielle Antwort lautete \u2014 genau so war es geplant, die MRS-Logs werden tats\u00e4chlich in diesem Format aufgezeichnet. Das bedeutet, dass manchmal eine gewisse Spannung hinsichtlich des Zeitpunkts eines ERRORs verbleibt\u2026<\/p>\n

Streben nach Besserem<\/h2>\n

\nHeute ist Informatica ein ausreichend stabiles Tool, das sowohl f\u00fcr Administratoren als auch f\u00fcr Anwender bequem ist und \u00fcber aktuelle M\u00f6glichkeiten und Potenziale \u00e4u\u00dferst leistungsstark ist. Es \u00fcbertrifft unsere funktionalen Bed\u00fcrfnisse bei weitem und wird in diesem Projekt nicht auf die typischen und gewohnten Weise genutzt. Die Schwierigkeiten h\u00e4ngen teilweise mit der Funktionsweise der Mechanismen zusammen \u2013 die Besonderheit ist, dass in kurzer Zeit eine gro\u00dfe Anzahl von Threads gestartet wird, die intensiv Parameter-Sets aktualisieren und mit der Datenbank des Repositories arbeiten, w\u00e4hrend die Hardware-Ressourcen des Servers nahezu vollst\u00e4ndig durch die CPU ausgelastet sind. <\/p>\n

Wir stehen kurz vor dem Umstieg auf Informatica 10.2.1 oder 10.2.2, in denen einige internen Mechanismen \u00fcberarbeitet wurden. Der Support verspricht, dass eine Reihe von aktuell bestehenden Leistungs- und Funktionsproblemen nicht mehr auftreten werden. Auch aus hardwaretechnischer Sicht erwarten wir Server in einer f\u00fcr uns optimalen Konfiguration, die gen\u00fcgend Spielraum f\u00fcr das zuk\u00fcnftige Wachstum und die Entwicklung des Speichers bieten.<\/p>\n

Nat\u00fcrlich stehen Tests, Kompatibilit\u00e4tspr\u00fcfungen und m\u00f6glicherweise architektonische Ver\u00e4nderungen im Bereich HA GRID an. Die Entwicklung innerhalb von Informatica wird fortschreiten, da wir kurzfristig nichts als Ersatz f\u00fcr das bestehende System implementieren k\u00f6nnen.
\nUnd diejenigen, die in Zukunft f\u00fcr dieses System verantwortlich sein werden, werden es sicherlich schaffen, die erforderlichen Standards in Bezug auf Zuverl\u00e4ssigkeit und Leistung, die von den Kunden gefordert werden, zu erreichen.<\/p>\n

Dieser Artikel wurde vom Datenmanagement-Team von \"Rostelecom\" erstellt.<\/i><\/p>\n

\"Von
\nAktuelles Informatica-Logo<\/i>
\n
Quelle: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

ETL-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u0435\u043d\u0438 \u0441\u0430\u043c\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0438 \u0435\u0439 \u0443\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0447\u0435\u043c \u0433\u043b\u0430\u0432\u043d\u043e\u0439 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043b\u0438 \u0444\u0440\u043e\u043d\u0442-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0435, BI, \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u0442\u0447\u0451\u0442\u043e\u0432. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0438 \u043d\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, ETL \u0438\u0433\u0440\u0430\u0435\u0442 \u043a\u043b\u044e\u0447\u0435\u0432\u0443\u044e \u0440\u043e\u043b\u044c \u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u043e\u0432, \u0447\u0435\u043c \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b. \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0441\u0435\u0439\u0447\u0430\u0441 \u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u0443\u044e ETL \u0432 \u0420\u043e\u0441\u0442\u0435\u043b\u0435\u043a\u043e\u043c\u0435, \u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":26234,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-34842","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Von t\u00e4glichen Ausf\u00e4llen zur Stabilit\u00e4t: Informatica 10 aus der Sicht eines Administrators | ProHoster","description":"Die ETL-Komponente eines Data Warehouses steht oft im Schatten des eigentlichen Speichers und erh\u00e4lt weniger Aufmerksamkeit als die Hauptdatenbank oder die Front-Komponente, BI, bei der Erstellung von Berichten. Dabei spielt ETL aus mechanischer Sicht eine Schl\u00fcsselrolle beim Bef\u00fcllen des Speichers mit Daten und erfordert nicht weniger Aufmerksamkeit von den Administratoren als die anderen Komponenten. Mein Name ist Alexander, ich verwalte derzeit ETL bei Rostelecom, und","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u0442 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u044b\u0445 \u0430\u0432\u0430\u0440\u0438\u0439 \u043a \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438: Informatica 10 \u0433\u043b\u0430\u0437\u0430\u043c\u0438 \u0430\u0434\u043c\u0438\u043d\u0430 | ProHoster","og:description":"ETL-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u0435\u043d\u0438 \u0441\u0430\u043c\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0438 \u0435\u0439 \u0443\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0447\u0435\u043c \u0433\u043b\u0430\u0432\u043d\u043e\u0439 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043b\u0438 \u0444\u0440\u043e\u043d\u0442-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0435, BI, \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u0442\u0447\u0451\u0442\u043e\u0432. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0438 \u043d\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, ETL \u0438\u0433\u0440\u0430\u0435\u0442 \u043a\u043b\u044e\u0447\u0435\u0432\u0443\u044e \u0440\u043e\u043b\u044c \u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u043e\u0432, \u0447\u0435\u043c \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b. \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0441\u0435\u0439\u0447\u0430\u0441 \u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u0443\u044e ETL \u0432 \u0420\u043e\u0441\u0442\u0435\u043b\u0435\u043a\u043e\u043c\u0435, \u0438","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:00:43+00:00","article:modified_time":"2019-10-31T19:00:43+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"34842","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-02-08 21:32:10","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:14:05","updated":"2026-02-08 21:32:10"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/34842","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=34842"}],"version-history":[{"count":1,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/34842\/revisions"}],"predecessor-version":[{"id":158197,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/34842\/revisions\/158197"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/26234"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=34842"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=34842"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=34842"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}