{"id":34842,"date":"2019-10-31T22:00:43","date_gmt":"2019-10-31T19:00:43","guid":{"rendered":"https:\/\/prohoster.info\/blog\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina\/"},"modified":"2019-10-31T22:00:43","modified_gmt":"2019-10-31T19:00:43","slug":"ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","title":{"rendered":"Vom t\u00e4glichen Unfall zur Stabilit\u00e4t: Informatica 10 durch die Augen eines Administrators","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/rostelecom\/blog\/454126\/\"><img decoding=\"async\" alt=\"Vom t\u00e4glichen Unfall zur Stabilit\u00e4t: Informatica 10 durch die Augen eines Administrators\" src=\"\/wp-content\/uploads\/2019\/06\/1594fcccd46a5cd779c58ddc60e34422.jpg\" style=\"display:block;margin: 0 auto;\" \/><\/a><\/noindex><\/p>\n<p>Die ETL-Komponente des Data Warehouses steht oft im Schatten des eigentlichen Data Warehouses und erh\u00e4lt weniger Aufmerksamkeit als die Hauptdatenbank oder die Front-Komponente, BI, bei der Erstellung von Berichten. Dabei spielt ETL aus mechanischer Sicht eine Schl\u00fcsselrolle bei der Bef\u00fcllung des Data Warehouses und erfordert nicht weniger Aufmerksamkeit von den Administratoren als die anderen Komponenten. Mein Name ist Alexander, derzeit administriere ich ETL bei Rostelecom, und in diesem Artikel werde ich versuchen, ein wenig zu teilen, mit was ein Administrator eines der bekanntesten ETL-Systeme in einem gro\u00dfen Data Warehouse von Rostelecom konfrontiert ist.<br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><br \/>\nWenn die gesch\u00e4tzten Leser bereits allgemein mit unserem Data Warehouse-Projekt und dem Produkt Informatica PowerCenter vertraut sind, k\u00f6nnen sie direkt zum n\u00e4chsten Abschnitt \u00fcbergehen.<\/p>\n<p>Vor einigen Jahren reifte bei Rostelecom die Idee eines einheitlichen Unternehmens-Data Warehouses und wurde konkret umgesetzt. Eine Reihe von Data Warehouses, die einzelne Aufgaben l\u00f6sen, war bereits geschaffen worden, doch die Anzahl der Szenarien wuchs, die Kosten f\u00fcr die Unterst\u00fctzung nahmen ebenso zu, und es wurde klar, dass die Zukunft in der Zentralisierung liegt. Architektonisch besteht dieses Data Warehouse aus mehreren Schichten, die auf Hadoop und GreenPlum realisiert sind, einschlie\u00dflich unterst\u00fctzender Datenbanken, ETL-Mechanismen und BI.<\/p>\n<p>Aufgrund der Vielzahl von geografisch verteilten, heterogenen Datenquellen wurde ein spezieller Mechanismus zur Datenextraktion geschaffen, dessen Arbeiten von Informatica gesteuert werden. Infolgedessen gelangen die Datenpakete in den Schnittstellenbereich von Hadoop, nach dem die Prozesse zur Beladung der Daten durch die Schichten des Data Warehouses, in Hadoop und GreenPlum, beginnen, die durch den sogenannten Steuermechanismus ETL, der in Informatica implementiert ist, verwaltet werden. Somit ist das System Informatica eines der Schl\u00fcsselelemente, das den Betrieb des Data Warehouses sichert.<\/p>\n<p>In einem der n\u00e4chsten Beitr\u00e4ge wird ausf\u00fchrlicher \u00fcber unser Data Warehouse berichtet.<\/p>\n<p>Informatica PowerCenter\/BIG Data Management gilt derzeit als die f\u00fchrende Software im Bereich der Datenintegrationswerkzeuge. Es handelt sich um ein Produkt des amerikanischen Unternehmens Informatica, das zu den st\u00e4rksten Akteuren im Bereich ETL (Extract Transform Load), Datenqualit\u00e4tsmanagement, MDM (Master Data Management), ILM (Information Lifecycle Management) und mehr geh\u00f6rt.<\/p>\n<p>Der von uns verwendete PowerCenter ist ein integrierter Tomcat-Anwendungsserver, auf dem die Informatica-Anwendungen laufen, die deren Dienste bereitstellen: <\/p>\n<p><b>Domain<\/b>, im Grunde genommen ist dies die Grundlage f\u00fcr alles Weitere: Innerhalb der Dom\u00e4ne arbeiten Dienste, Benutzer und GRID-Komponenten.<\/p>\n<p><b>Administrator-Konsole<\/b>, ein webbasiertes Management- und \u00dcberwachungstool, neben dem Informatica Developer Client das Hauptwerkzeug f\u00fcr die Interaktion mit dem Produkt.<\/p>\n<p><b>MRS, Modell-Repository-Dienst<\/b>, ein Metadatenrepository, das eine Schicht zwischen der Datenbank, in der die Metadaten physisch gespeichert werden, und dem Informatica Developer Client, in dem die Entwicklung erfolgt, darstellt. Die Repositories speichern sowohl die Datenbeschreibung als auch andere Informationen, unter anderem f\u00fcr verschiedene andere Informatica-Dienste, wie z. B. Zeitpl\u00e4ne f\u00fcr die Ausf\u00fchrung von Aufgaben (Schedules) oder \u00dcberwachungsdaten sowie Parametersets von Anwendungen, insbesondere solche, die es erm\u00f6glichen, dass dasselbe Anwendung f\u00fcr verschiedene Datenquellen und -senken verwendet wird.<\/p>\n<p><b>DIS, Datenintegrationsdienst<\/b>, dies ist der Dienst, in dem die wesentlichen funktionalen Prozesse stattfinden, in dem Anwendungen laufen und tats\u00e4chlich Workflows (Beschreibungen der Sequenz von Mappings und deren Interaktion) und Mappings (Transformationen, Bl\u00f6cke, in denen die tats\u00e4chlichen Umwandlungen und die Datenverarbeitung stattfinden) gestartet werden.<\/p>\n<p><b>GRID-Konfiguration<\/b> \u2013 im Grunde genommen eine Variante des Aufbaus eines komplexen Systems unter Verwendung mehrerer Server, bei der die Last, die vom DIS gestartet wird, auf Nodes (d.h. Server, die Teil der Dom\u00e4ne sind) verteilt wird. In einem solchen Szenario, neben der Lastenverteilung im DIS durch eine zus\u00e4tzliche Abstraktionsschicht GRID, die mehrere Nodes vereint, auf der das DIS arbeitet, anstatt auf einem bestimmten Node, k\u00f6nnen auch zus\u00e4tzliche Backup-Instanzen von MRS erstellt werden. Es kann sogar eine hohe Verf\u00fcgbarkeit implementiert werden, bei der externe Anfragen \u00fcber Backup-Nodes bei Ausfall des Haupt-Nodes erfolgen k\u00f6nnen. Von dieser Art der Einrichtung haben wir jedoch vorerst Abstand genommen.<\/p>\n<p><img decoding=\"async\" alt=\"Vom t\u00e4glichen Unfall zur Stabilit\u00e4t: Informatica 10 durch die Augen eines Administrators\" src=\"\/wp-content\/uploads\/2019\/06\/3829509c50c42ac919cb551c72cbc299.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Informatica PowerCenter, schematisch<\/i><\/p>\n<p>In den ersten Phasen der Arbeit innerhalb der Datenlieferkette traten regelm\u00e4\u00dfig Probleme auf, teilweise aufgrund der damals instabilen Funktionsweise von Informatica. Ich beabsichtige, einige der einpr\u00e4gsamen Momente dieser Saga \u2013 der Einarbeitung in Informatica 10 \u2013 zu teilen.<\/p>\n<p><img decoding=\"async\" alt=\"Vom t\u00e4glichen Unfall zur Stabilit\u00e4t: Informatica 10 durch die Augen eines Administrators\" src=\"\/wp-content\/uploads\/2019\/06\/f6247d9b3d73ebdc482b545c5b96ce99.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Das fr\u00fchere Logo von Informatica<\/i><\/p>\n<p>Der Verantwortungsbereich unserer Abteilung umfasst auch andere Informatica-Umgebungen, die aufgrund anderer Anforderungen und Belastungen eine eigene Spezifik haben. Ich werde dabei zun\u00e4chst darauf eingehen, wie sich Informatica als ETL-Komponente des Data Warehouses entwickelt hat.<\/p>\n<h2>Wie ist das passiert?<\/h2>\n<p>\nIm Jahr 2016, als wir f\u00fcr die Arbeit mit Informatica verantwortlich wurden, hatte sie bereits die Version 10.0 erreicht. F\u00fcr optimistisch eingestellte Kollegen, die \u00fcber den Einsatz des Produkts mit einer Minor-Version .0 entschieden, schien es klar zu sein: Wir m\u00fcssen die neue Version verwenden! Was die Hardware-Ressourcen betrifft, war alles zu diesem Zeitpunkt hervorragend.<\/p>\n<p>Seit dem Fr\u00fchling 2016 war ein Auftragnehmer f\u00fcr die Arbeit mit Informatica verantwortlich, und nach den Aussagen der wenigen Systembenutzer \"lief es ein paar Mal in der Woche\". Hier muss erkl\u00e4rt werden, dass das Warehouse de facto in einer PoC-Phase war, es gab keine Administratoren im Team und das System fiel aus verschiedenen Gr\u00fcnden st\u00e4ndig aus, was dazu f\u00fchrte, dass der Ingenieur des Auftragnehmers es immer wieder neu hochfahren musste.<\/p>\n<p>Im Herbst stie\u00dfen drei Administratoren zum Team, die die Verantwortungsbereiche untereinander aufteilten, und begannen, den Betrieb der Systeme im Projekt, einschlie\u00dflich Informatica, zu stabilisieren. Es sollte erw\u00e4hnt werden, dass dieses Produkt nicht weit verbreitet ist und keine gro\u00dfe Community hat, in der man Antworten auf Fragen finden und Probleme l\u00f6sen kann. Daher war eine umfassende technische Unterst\u00fctzung durch den russischen Partner von Informatica von entscheidender Bedeutung, mit deren Hilfe wir all unsere Fehler sowie die der damals noch neuen Informatica 10 beheben konnten.<\/p>\n<p>Das Erste, was wir f\u00fcr unsere Entwickler und den Auftragnehmer tun mussten, war, die Funktionalit\u00e4t von Informatica zu stabilisieren und die Web-Administrationskonsole (Informatica Administrator) betriebsbereit zu machen.<\/p>\n<p><img decoding=\"async\" alt=\"Vom t\u00e4glichen Unfall zur Stabilit\u00e4t: Informatica 10 durch die Augen eines Administrators\" src=\"\/wp-content\/uploads\/2019\/06\/ac4342681f655b9cdb5710a54546c649.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>So trafen wir oft auf die Entwickler von Informatica.<\/i><\/p>\n<p>Abgesehen vom Prozess der Ursachenforschung war der Hauptgrund f\u00fcr die Abst\u00fcrze das Zusammenspiel der Informatica-Software mit der Datenbank des Repositories, das sich auf einem vergleichsweise entfernten Server im Hinblick auf die Netzwerktopologie befand. Dies f\u00fchrte zu Verz\u00f6gerungen und st\u00f6rte die Mechanismen, die f\u00fcr die \u00dcberwachung des Status der Informatica-Dom\u00e4ne zust\u00e4ndig waren. Nach einigen Anpassungen der Datenbank und \u00c4nderungen der Einstellungen in Informatica, die sie toleranter gegen\u00fcber Datenbankverz\u00f6gerungen machten, sowie dem Upgrade auf die Version Informatica 10.1 und dem Umzug der Datenbank von dem vorherigen Server auf einen n\u00e4her zur Informatica gelegenen Server verlor das Problem an Relevanz, und seitdem beobachten wir keine Abst\u00fcrze \u00e4hnlicher Art mehr.<\/p>\n<p><img decoding=\"async\" alt=\"Vom t\u00e4glichen Unfall zur Stabilit\u00e4t: Informatica 10 durch die Augen eines Administrators\" src=\"\/wp-content\/uploads\/2019\/06\/e264be8e5336fad067eada9c762b2fc9.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Ein Versuch, den Informatica-Monitor zum Laufen zu bringen<\/i><\/p>\n<p>Die Situation mit der Administrationskonsole war ebenfalls kritisch. Da aktiv auf einer bedingt produktiven Umgebung entwickelt wurde, mussten die Kollegen st\u00e4ndig die Ausf\u00fchrung von Mappings und Workflows \"live\" analysieren. In der neuen Informatica gibt es im Data Integration Service kein separates Werkzeug f\u00fcr diese Art der \u00dcberwachung, aber in der Web-Administrationskonsole wurde ein \u00dcberwachungsbereich (Informatica Administrator Monitor) hinzugef\u00fcgt, in dem man die Ausf\u00fchrung von Anwendungen, Workflows und Mappings, Starts und Logs beobachten kann. Periodisch wurde die Konsole vollst\u00e4ndig unerreichbar, oder die Informationen \u00fcber die aktuellen Prozesse im DIS wurden nicht aktualisiert, oder es traten Fehler beim Laden von Seiten auf.<\/p>\n<p><img decoding=\"async\" alt=\"Vom t\u00e4glichen Unfall zur Stabilit\u00e4t: Informatica 10 durch die Augen eines Administrators\" src=\"\/wp-content\/uploads\/2019\/06\/1d585c8447275cfaaf4ecbaceb52957b.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Anpassung der Java-Parameter zur Stabilisierung des Betriebs<\/i><\/p>\n<p>Die Probleml\u00f6sung erfolgte auf vielen Wegen; es wurden Experimente zur \u00c4nderung von Parametern durchgef\u00fchrt, Logs und Jstack wurden gesammelt und an den Support gesendet, w\u00e4hrend parallel intensiv gegoogelt und einfach beobachtet wurde.<\/p>\n<p>Zun\u00e4chst wurde ein separates MRS zur \u00dcberwachung erstellt. Wie sich sp\u00e4ter herausstellte, ist das einer der Hauptressourcenverbraucher in unseren Umgebungen, da die Ausf\u00fchrungen der Mappings sehr intensiv sind. Die Parameter bez\u00fcglich des Java-Heaps und einige andere wurden angepasst.<br \/>\nInfolge dessen gelang es, bis zum n\u00e4chsten Update von Informatica 10.1.1 die Konsole und den Monitor zu stabilisieren. Die Entwickler arbeiteten effizienter, und die regelm\u00e4\u00dfigen Prozesse wurden zunehmend regelm\u00e4\u00dfiger.<\/p>\n<p>Eine interessante Erfahrung kann die Interaktion zwischen Entwicklung und Administration sein. Das Verst\u00e4ndnis daf\u00fcr, wie alles funktioniert, was man tun kann und was nicht, ist immer wichtig, wenn man komplexe Systeme verwendet. Daher sollte man zun\u00e4chst das Team der Administratoren in der Softwareadministration und das Entwicklerteam im Schreiben von Code und der Modellierung von Prozessen schulen, bevor man sie zu einem konkreten Ergebnis arbeiten l\u00e4sst. Dies ist besonders wichtig, wenn die Zeit kein unendlicher Ressource ist. Viele Probleme lassen sich sogar durch zuf\u00e4llige Variationen l\u00f6sen, aber manchmal erfordern bestimmte Herausforderungen ein vorausgehendes Wissen \u2013 unser Fall best\u00e4tigt die Bedeutung dieses Axioms.<\/p>\n<p>Beispielsweise haben wir bei dem Versuch, die Versionierung in MRS zu aktivieren (wie sich herausstellte, ben\u00f6tigten wir eine andere Version von SVN), nach einiger Zeit mit Besorgnis festgestellt, dass die Zeit f\u00fcr den Systemneustart auf mehrere Minuten angestiegen war. Nachdem wir der Ursache f\u00fcr die Verz\u00f6gerung auf den Grund gegangen und die Versionierung abgeschaltet hatten, lief es wieder gut.<\/p>\n<p>Zu den auff\u00e4lligen Hindernissen im Zusammenhang mit Informatica kann man den epischen Kampf mit den wachsenden Java-Threads erw\u00e4hnen. Irgendwann kam der Moment des Rollouts, also die Verbreitung der etablierten Prozesse auf eine gro\u00dfe Anzahl von Quellsystemen. Dabei stellte sich heraus, dass nicht alle Prozesse in 10.1.1 gut funktionierten und DIS nach einer gewissen Zeit nicht mehr funktionierte. Dutzende von Tausenden von Threads wurden entdeckt, deren Anzahl insbesondere w\u00e4hrend des Anwendungsdeployments sp\u00fcrbar anstieg. Manchmal mussten wir mehrmals am Tag neu starten, um die Funktionsf\u00e4higkeit wiederherzustellen.<\/p>\n<p>Hier gilt es, der Unterst\u00fctzung zu danken, da die Probleme vergleichsweise schnell lokalisiert und mit Hilfe von EBF (Emergency Bug Fix) behoben wurden \u2013 danach hatten alle das Gef\u00fchl, dass das Werkzeug tats\u00e4chlich funktioniert.<\/p>\n<h2>Es funktioniert tats\u00e4chlich!<\/h2>\n<p>\nZum Zeitpunkt des Beginns der Arbeit im Zielmodus sah Informatica wie folgt aus. Version Informatica 10.1.1HF1 (HF1 ist HotFix1, von einem Anbieter aus dem EBF-Komplex) mit zus\u00e4tzlich installierten EBF, die unsere Skalierungsprobleme und einige andere behoben haben, auf einem von drei Servern im GRID, 20 Kerne x86_64 und Speicher auf einem riesigen langsamen Array von lokalen Festplatten \u2013 das <a class=\"wpil_keyword_link\" href=\"https:\/\/prohoster.info\/de\/server\/\"   title=\"Serverkonfiguration\" data-wpil-keyword-link=\"linked\"  data-wpil-monitor-id=\"1000\">Serverkonfiguration<\/a> f\u00fcr das Hadoop-Cluster. Auf einem anderen, \u00e4hnlichen Server l\u00e4uft die Oracle-Datenbank, mit der sowohl die Informatica-Domain als auch der ETL-Managementmechanismus verbunden sind. All dies wird mit den \u00fcblichen Monitoring-Tools \u00fcberwacht, die im Team verwendet werden (Zabbix + Grafana), erw\u00e4hnt werden hier beide Seiten \u2013 sowohl die Informatica selbst mit ihren Services als auch die laufenden Ladeprozesse. Momentan h\u00e4ngen die Leistung und die Stabilit\u00e4t der Arbeit, ohne externe Faktoren zu ber\u00fccksichtigen, von den Einstellungen ab, die die Last begrenzen.<\/p>\n<p>Separat kann man \u00fcber das GRID sprechen. Die Umgebung wurde auf drei Knoten aufgebaut, mit der M\u00f6glichkeit, die Last zu verteilen. Bei Tests wurde jedoch festgestellt, dass aufgrund von Interaktionsproblemen zwischen den laufenden Instanzen unserer Anwendungen diese Konfiguration nicht wie erwartet funktionierte, und wir entschieden uns vor\u00fcbergehend, von diesem Aufbauschema abzusehen, indem wir zwei von drei Knoten aus der Domain herausnahmen. Das Schema blieb jedoch unver\u00e4ndert, und jetzt handelt es sich tats\u00e4chlich um einen GRID-Service, der jedoch auf einen Knoten degeneriert ist.<\/p>\n<p>Aktuell bleibt die Schwierigkeit bestehen, die mit der Leistungsabnahme bei der regelm\u00e4\u00dfigen Reinigung des Monitor-Schemas verbunden ist \u2013 wenn gleichzeitig Prozesse im CHNN laufen und die Reinigung l\u00e4uft, kann es zu St\u00f6rungen im ETL-Managementmechanismus kommen. Dies wird bisher \"hacky\" gel\u00f6st \u2013 durch manuelle Reinigung des Monitor-Schemas, wobei alle vorherigen Daten verloren gehen. Dies ist nicht allzu kritisch f\u00fcr die Produktion, solange die regul\u00e4re Arbeit gut funktioniert, aber wir suchen weiterhin nach einer soliden L\u00f6sung.<\/p>\n<p>Aus dieser Situation ergibt sich ein weiteres Problem \u2013 es kommt manchmal zu mehrfachen Starts unseres Managementmechanismus.<\/p>\n<p><img decoding=\"async\" alt=\"Vom t\u00e4glichen Unfall zur Stabilit\u00e4t: Informatica 10 durch die Augen eines Administrators\" src=\"\/wp-content\/uploads\/2019\/06\/bf612c20dd2d3d9eeb4b5884d9173156.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Mehrfache Starts der Anwendung f\u00fchren zu St\u00f6rungen des Mechanismus.<\/i><\/p>\n<p>Beim geplanten Start zu Zeiten hoher Systemlast kommt es manchmal zu Situationen, die zu St\u00f6rungen des Mechanismus f\u00fchren. Bisher wird das Problem manuell behoben, es wird eine dauerhafte L\u00f6sung gesucht.<\/p>\n<p>Insgesamt l\u00e4sst sich zusammenfassen, dass es bei hoher Belastung sehr wichtig ist, angemessene Ressourcen bereitzustellen, sowohl f\u00fcr die Informatica-Software als auch f\u00fcr ihr Datenbank-Repository, und daf\u00fcr optimale Einstellungen zu gew\u00e4hrleisten. Dar\u00fcber hinaus bleibt die Frage offen, welches Schema f\u00fcr die Bereitstellung der Datenbank besser ist \u2013 auf einem separaten Host oder auf dem gleichen, auf dem die Informatica-Software l\u00e4uft. Einerseits wird es g\u00fcnstiger, auf einem Server zu arbeiten, und durch die Kombination wird das m\u00f6gliche Problem der Netzwerkinteraktion praktisch beseitigt, andererseits wird die Belastung des Hosts durch die Datenbank zus\u00e4tzlich durch die Informatica-Software verst\u00e4rkt.<\/p>\n<p>Wie bei jedem seri\u00f6sen Produkt gibt es auch in Informatica kurvenreiche Momente.<br \/>\nEinmal, als ich einen Vorfall untersuchte, fiel mir auf, dass die Zeitstempel in den MRS-Logs merkw\u00fcrdig vermerkt waren.<\/p>\n<p><img decoding=\"async\" alt=\"Vom t\u00e4glichen Unfall zur Stabilit\u00e4t: Informatica 10 durch die Augen eines Administrators\" src=\"\/wp-content\/uploads\/2019\/06\/98cb76478e740e615ebcc8a548d2856c.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Zeitlicher Dualismus in den MRS-Logs \u201eby design\u201c<\/i><\/p>\n<p>Es stellte sich heraus, dass die Zeitstempel im 12-Stunden-Format ohne Angabe von AM\/PM geschrieben werden, also vor oder nach Mittag. Es wurde sogar ein Ticket zu diesem Thema er\u00f6ffnet, und die offizielle Antwort lautete: Es war so vorgesehen, die Zeitstempel in den MRS-Logs werden genau in diesem Format geschrieben. Das l\u00e4sst manchmal ein wenig R\u00e4tselraten dar\u00fcber \u00fcbrig, wann genau ein ERROR aufgetreten ist\u2026<\/p>\n<h2>Streben nach Verbesserung<\/h2>\n<p>\nHeute ist Informatica ein ziemlich stabiles Werkzeug, das sowohl f\u00fcr Administratoren als auch f\u00fcr Benutzer bequem ist und \u00e4u\u00dferst leistungsstark in seinen aktuellen M\u00f6glichkeiten und Potenzialen. Es \u00fcbersteigt funktional unsere Bed\u00fcrfnisse bei Weitem und wird de facto derzeit nicht in der typischen und charakteristischen Weise im Projekt eingesetzt. Die Schwierigkeiten h\u00e4ngen teilweise damit zusammen, wie die Mechanismen arbeiten \u2013 die Besonderheit liegt darin, dass in kurzer Zeit eine gro\u00dfe Anzahl von Threads gestartet wird, die intensiv Parameter-Sets aktualisieren und mit dem Datenbank-Repository arbeiten, w\u00e4hrend die Hardware-Ressourcen des Servers fast vollst\u00e4ndig ausgelastet sind. <\/p>\n<p>Jetzt stehen wir kurz vor dem Wechsel zu Informatica 10.2.1 oder 10.2.2, in denen einige interne Mechanismen \u00fcberarbeitet wurden, und der Support verspricht, dass eine Reihe der derzeit bei uns bestehenden Leistungs- und Funktionsprobleme behoben werden. Auch aus hardwaretechnischer Sicht werden Server unserer optimalen Konfiguration erwartet, wobei ein Puffer f\u00fcr die nahe Zukunft aufgrund des Wachstums und der Entwicklung des Speichers ber\u00fccksichtigt wird.<\/p>\n<p>Nat\u00fcrlich stehen Tests, die \u00dcberpr\u00fcfung der Kompatibilit\u00e4t und m\u00f6glicherweise architektonische \u00c4nderungen im Bereich HA GRID an. Die Weiterentwicklung im Rahmen von Informatica wird fortgesetzt, da wir kurzfristig nichts als Ersatz f\u00fcr das System bereitstellen k\u00f6nnen.<br \/>\nDiejenigen, die in Zukunft f\u00fcr dieses System verantwortlich sein werden, werden es sicher schaffen, die geforderten Zuverl\u00e4ssigkeits- und Leistungskennzahlen der Kunden zu erreichen.<\/p>\n<p><i>Der Artikel wurde vom Datenmanagement-Team von \"Rostelecom\" vorbereitet<\/i><\/p>\n<p><img decoding=\"async\" alt=\"Vom t\u00e4glichen Unfall zur Stabilit\u00e4t: Informatica 10 durch die Augen eines Administrators\" src=\"\/wp-content\/uploads\/2019\/06\/f09a33f522b0909373bef88aad444ea3.jpg\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Das aktuelle Logo von Informatica<\/i><br \/>\n<br \/>Quelle: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/rostelecom\/blog\/454126\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>ETL-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u0435\u043d\u0438 \u0441\u0430\u043c\u043e\u0433\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0438 \u0435\u0439 \u0443\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0447\u0435\u043c \u0433\u043b\u0430\u0432\u043d\u043e\u0439 \u0431\u0430\u0437\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043b\u0438 \u0444\u0440\u043e\u043d\u0442-\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0435, BI, \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u0442\u0447\u0451\u0442\u043e\u0432. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0438 \u043d\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, ETL \u0438\u0433\u0440\u0430\u0435\u0442 \u043a\u043b\u044e\u0447\u0435\u0432\u0443\u044e \u0440\u043e\u043b\u044c \u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u043e\u0432, \u0447\u0435\u043c \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b. \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0441\u0435\u0439\u0447\u0430\u0441 \u044f \u0430\u0434\u043c\u0438\u043d\u0438\u0441\u0442\u0440\u0438\u0440\u0443\u044e ETL \u0432 \u0420\u043e\u0441\u0442\u0435\u043b\u0435\u043a\u043e\u043c\u0435, \u0438 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":26234,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-34842","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"de_DE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041e\u0442 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u044b\u0445 \u0430\u0432\u0430\u0440\u0438\u0439 \u043a \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438: Informatica 10 \u0433\u043b\u0430\u0437\u0430\u043c\u0438 \u0430\u0434\u043c\u0438\u043d\u0430 | ProHoster\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T19:00:43+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T19:00:43+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Von t\u00e4glichen Ausf\u00e4llen zur Stabilit\u00e4t: Informatica 10 aus der Sicht eines Administrators | ProHoster","description":"","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u0442 \u0435\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u044b\u0445 \u0430\u0432\u0430\u0440\u0438\u0439 \u043a \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438: Informatica 10 \u0433\u043b\u0430\u0437\u0430\u043c\u0438 \u0430\u0434\u043c\u0438\u043d\u0430 | ProHoster","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/ot-ezhednevnyh-avarij-k-stabilnosti-informatica-10-glazami-admina","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:00:43+00:00","article:modified_time":"2019-10-31T19:00:43+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"34842","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-02-08 21:32:10","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:14:05","updated":"2026-02-08 21:32:10","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/34842","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=34842"}],"version-history":[{"count":1,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/34842\/revisions"}],"predecessor-version":[{"id":158197,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/34842\/revisions\/158197"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/26234"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=34842"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=34842"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=34842"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}