{"id":80031,"date":"2020-05-02T13:42:49","date_gmt":"2020-05-02T11:42:49","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/top-fakapov-czian"},"modified":"2020-05-02T13:42:49","modified_gmt":"2020-05-02T11:42:49","slug":"top-fakapov-czian","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/top-fakapov-czian","title":{"rendered":"Top-Fails von Ziy\u0430\u043d","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><img decoding=\"async\" alt=\"Top-Fails von Ziy\u0430\u043d\" src=\"\/wp-content\/uploads\/2020\/05\/61cf8d25f1f3e858a3b9541cb026cf3c.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nAllen gute W\u00fcnsche!\u00a0<\/p>\n<p>Ich bin Nikita, Teamleiter des Ingenieurteams bei Cian. Eine meiner Aufgaben im Unternehmen besteht darin, die Anzahl der infrastrukturellen Vorf\u00e4lle in der Produktion auf null zu reduzieren.<br \/>\nDas Thema, das ich gleich behandeln werde, hat uns viel Schmerz bereitet. Ziel dieses Artikels ist es, anderen zu helfen, unsere Fehler zu vermeiden oder deren Auswirkungen zumindest zu minimieren.\u00a0<br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h3>Pr\u00e4ambel<\/h3>\n<p>\nVor langer Zeit, als Cian aus Monolithen bestand und es noch keine Anzeichen von Mikrodiensten gab, haben wir die Verf\u00fcgbarkeit der Ressource durch die \u00dcberpr\u00fcfung von 3\u20135 Seiten gemessen.\u00a0<\/p>\n<p>Wenn sie antworten \u2014 alles in Ordnung, wenn sie \u00fcber l\u00e4ngere Zeit nicht antworten \u2014 Alarm. Wie lange sie nicht funktionieren m\u00fcssen, damit das als Vorfall gilt, wurde in Besprechungen entschieden. Das Ingenieurteam war stets an der Untersuchung von Vorf\u00e4llen beteiligt. Wenn die Untersuchung abgeschlossen war, wurde ein Post-Mortem verfasst \u2014 ein Bericht in Form von: was passiert ist, wie lange es gedauert hat, was im Moment unternommen wurde und was wir in Zukunft tun werden.\u00a0<\/p>\n<h3>Die Hauptseiten der Website oder wie wir erkennen, dass wir den Tiefpunkt erreicht haben<\/h3>\n<p>\u00a0<br \/>\nUm die Fehlerpriorit\u00e4t besser zu verstehen, haben wir die kritischsten Seiten f\u00fcr die Gesch\u00e4ftsabl\u00e4ufe der Website hervorgehoben. Anhand dieser Seiten z\u00e4hlen wir die Anzahl der erfolgreichen und nicht erfolgreichen Anfragen sowie Zeit\u00fcberschreitungen. So messen wir die Verf\u00fcgbarkeit.\u00a0<\/p>\n<p>Angenommen, wir haben einige extrem wichtige Bereiche der Website identifiziert, die f\u00fcr den Hauptservice - die Suche und Ver\u00f6ffentlichung von Anzeigen - verantwortlich sind. Wenn die Anzahl der fehlerhaften Anfragen 1 % \u00fcbersteigt, handelt es sich um einen kritischen Vorfall. \u00dcbersteigt der Fehlerprozentsatz w\u00e4hrend der Hauptsendezeit von 0,1 % in einem Zeitraum von 15 Minuten, wird auch dies als kritischer Vorfall betrachtet. Diese Kriterien decken den Gro\u00dfteil der Vorf\u00e4lle ab, w\u00e4hrend andere au\u00dferhalb dieses Artikels liegen.<\/p>\n<p><img decoding=\"async\" alt=\"Top-Fails von Ziy\u0430\u043d\" src=\"\/wp-content\/uploads\/2020\/05\/f5d76b1784c9a52ae1dc4728f1509ccc.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h3>Die besten Vorf\u00e4lle bei Cian<\/h3>\n<p>\nWir haben also eindeutig gelernt, dass ein Vorfall aufgetreten ist.\u00a0<\/p>\n<p>Jetzt ist jeder Vorfall detailliert beschrieben und in einem Jira-Epic dokumentiert. \u00dcbrigens haben wir daf\u00fcr ein separates Projekt gegr\u00fcndet, das wir FAIL genannt haben \u2013 dort k\u00f6nnen nur Epics erstellt werden.\u00a0<\/p>\n<p>Wenn man alle Fehlschl\u00e4ge der letzten Jahre zusammenfasst, sind die h\u00e4ufigsten:\u00a0<\/p>\n<ul>\n<li>Vorf\u00e4lle im Zusammenhang mit mssql;<\/li>\n<li>Vorf\u00e4lle, die durch externe Faktoren verursacht wurden;<\/li>\n<li>Fehler des Administrators.<\/li>\n<\/ul>\n<p>\nLassen Sie uns genauer auf die Fehler von Administratoren eingehen, sowie auf einige andere interessante Fehltritte.<\/p>\n<h4>Platz f\u00fcnf \u2013 \u201eOrdnung im DNS schaffen\u201c<\/h4>\n<p>\nEs war ein tr\u00fcber Dienstag. Wir beschlossen, Ordnung in unser DNS-Cluster zu bringen.\u00a0<\/p>\n<p>Wir wollten die internen DNS-Server von BIND auf PowerDNS umstellen und daf\u00fcr vollkommen separate Server einrichten, auf denen nichts au\u00dfer DNS l\u00e4uft.\u00a0<\/p>\n<p>Wir haben in jeder Location unserer Rechenzentren einen DNS-Server platziert, und es kam der Moment, die Zonen von BIND auf PowerDNS zu migrieren und die Infrastruktur auf die neuen Server umzuschalten.\u00a0<\/p>\n<p>Mitten im Umzug blieb von all den <a class=\"wpil_keyword_link\" href=\"https:\/\/prohoster.info\/de\/server\/\"   title=\"Server\" data-wpil-keyword-link=\"linked\"  data-wpil-monitor-id=\"1484\">Server<\/a>Servern, die in den lokalen Caches der BIND-Server angegeben waren, nur einer \u00fcbrig, der im Rechenzentrum in St. Petersburg war. Dieses Rechenzentrum wurde urspr\u00fcnglich als nicht kritisch f\u00fcr uns deklariert, wurde aber pl\u00f6tzlich zum Single Point of Failure.<br \/>\nGerade in dieser Phase des Umzugs fiel die Verbindung zwischen Moskau und St. Petersburg aus. Wir hatten faktisch f\u00fcnf Minuten lang keinen DNS und kamen erst wieder online, als <a class=\"wpil_keyword_link\" href=\"https:\/\/prohoster.info\/de\/\"   title=\"der Hoster\" data-wpil-keyword-link=\"linked\"  data-wpil-monitor-id=\"1206\">der Hoster<\/a> die Probleme behoben wurden.\u00a0<\/p>\n<p><b>Fazit: <\/b><\/p>\n<p>Fr\u00fcher haben wir externe Faktoren bei der Vorbereitung auf Arbeiten vernachl\u00e4ssigt, aber jetzt geh\u00f6ren sie ebenfalls zu den Aspekten, auf die wir uns vorbereiten. Wir streben nun an, dass alle Komponenten nach dem n-2 Prinzip reserviert sind, und w\u00e4hrend der Arbeiten k\u00f6nnen wir dieses Niveau auf n-1 absenken.<\/p>\n<ul>\n<li>Beim Erstellen des Aktionsplans sollten Sie Punkte markieren, an denen der Service ausfallen kann, und ein Szenario durchdenken, bei dem alles \"schlimmer als gedacht\" l\u00e4uft, um vorbereitet zu sein.<\/li>\n<li>Verteilen Sie die internen DNS-Server auf verschiedene geografische Standorte\/Rechenzentren\/Racks\/Switches\/Eing\u00e4nge.<\/li>\n<li>Auf jedem Server installieren Sie einen lokalen caching DNS-Server, der Anfragen an die Haupt-DNS-Server weiterleitet und im Falle seiner Nichterreichbarkeit aus dem Cache antwortet.\u00a0<\/li>\n<\/ul>\n<p><\/p>\n<h4>Platz vier \u2013 \u201eOrdnung in Nginx schaffen\u201c<\/h4>\n<p>\nEines Tages beschloss unser Team, dass es \u201edas reicht\u201c, und der Prozess zur Umstrukturierung der nginx-Konfigurationen begann. Das Hauptziel war es, die Konfigurationen in eine intuitive Struktur zu bringen. Fr\u00fcher war alles \u201ehistorisch bedingt\u201c und machte wenig Sinn. Jetzt haben wir jeden server_name in eine gleichnamige Datei ausgelagert und alle Konfigurationen in verschiedene Ordner verteilt. \u00dcbrigens enth\u00e4lt die Konfiguration 253.949 Zeilen oder 7.836.520 Zeichen und belegt fast 7 Megabyte. Die oberste Ebene der Struktur:\u00a0<\/p>\n<p>                        <b class=\"spoiler_title\">Nginx-Struktur<\/b><\/p>\n<pre><code class=\"plaintext\">\u251c\u2500\u2500 access\n\u2502 \u00a0 \u251c\u2500\u2500 allow.list\n...\n\u2502 \u00a0 \u2514\u2500\u2500 whitelist.conf\n\u251c\u2500\u2500 geobase\n\u2502 \u00a0 \u251c\u2500\u2500 exclude.conf\n...\n\u2502 \u00a0 \u2514\u2500\u2500 geo_ip_to_region_id.conf\n\u251c\u2500\u2500 geodb\n\u2502 \u00a0 \u251c\u2500\u2500 GeoIP.dat\n\u2502 \u00a0 \u251c\u2500\u2500 GeoIP2-Country.mmdb\n\u2502 \u00a0 \u2514\u2500\u2500 GeoLiteCity.dat\n\u251c\u2500\u2500 inc\n\u2502 \u00a0 \u251c\u2500\u2500 error.inc\n...\n\u2502 \u00a0 \u2514\u2500\u2500 proxy.inc\n\u251c\u2500\u2500 lists.d\n\u2502 \u00a0 \u251c\u2500\u2500 bot.conf\n...\n\u2502 \u00a0 \u251c\u2500\u2500 dynamic\n\u2502 \u00a0 \u2514\u2500\u2500 geo.conf\n\u251c\u2500\u2500 lua\n\u2502 \u00a0 \u251c\u2500\u2500 cookie.lua\n\u2502 \u00a0 \u251c\u2500\u2500 log\n\u2502 \u00a0 \u2502 \u00a0 \u2514\u2500\u2500 log.lua\n\u2502 \u00a0 \u251c\u2500\u2500 logics\n\u2502 \u00a0 \u2502 \u00a0 \u251c\u2500\u2500 include.lua\n\u2502 \u00a0 \u2502 \u00a0 \u251c\u2500\u2500 ...\n\u2502 \u00a0 \u2502 \u00a0 \u2514\u2500\u2500 utils.lua\n\u2502 \u00a0 \u2514\u2500\u2500 prom\n\u2502 \u00a0 \u00a0 \u00a0 \u251c\u2500\u2500 stats.lua\n\u2502 \u00a0 \u00a0 \u00a0 \u2514\u2500\u2500 stats_prometheus.lua\n\u251c\u2500\u2500 map.d\n\u2502 \u00a0 \u251c\u2500\u2500 access.conf\n\u2502 \u00a0 \u251c\u2500\u2500 ..\u00a0\n\u2502 \u00a0 \u2514\u2500\u2500 zones.conf\n\u251c\u2500\u2500 nginx.conf\n\u251c\u2500\u2500 robots.txt\n\u251c\u2500\u2500 server.d\n\u2502 \u00a0 \u251c\u2500\u2500 cian.ru\n\u2502 \u00a0 \u2502 \u00a0 \u251c\u2500\u2500 cian.ru.conf\n\u2502 \u00a0 \u2502 \u00a0 \u251c\u2500\u2500 ...\n\u2502 \u00a0 \u2502 \u00a0 \u2514\u2500\u2500 my.cian.ru.conf\n\u251c\u2500\u2500 service.d\n\u2502 \u00a0 \u251c\u2500\u2500 ...\n\u2502 \u00a0 \u2514\u2500\u2500 status.conf\n\u2514\u2500\u2500 upstream.d\n\u00a0\u00a0\u00a0\u00a0\u251c\u2500\u2500 cian-mcs.conf\n\u00a0\u00a0\u00a0\u00a0\u251c\u2500\u2500 ...\n\u00a0\u00a0\u00a0\u00a0\u2514\u2500\u2500 wafserver.conf<\/code><\/pre>\n<p>Es ist deutlich besser geworden, allerdings hatten beim Umbenennen und der Verteilung der Konfigurationen einige von ihnen die falsche Erweiterung und wurden nicht in die Direktive include *.conf aufgenommen. Infolgedessen waren einige Hosts nicht erreichbar und gaben einen 301-Redirect zur Hauptseite zur\u00fcck. Da der Antwortcode nicht 5xx\/4xx war, fiel dies nicht sofort auf, sondern erst am Morgen. Daraufhin begannen wir mit dem Schreiben von Tests zur \u00dcberpr\u00fcfung der Infrastrukturkomponenten.<\/p>\n<p><b>Fazit:<\/b>\u00a0<\/p>\n<ul>\n<li>Strukturieren Sie Ihre Konfigurationen (nicht nur nginx) sorgf\u00e4ltig und planen Sie die Struktur bereits in der fr\u00fchen Projektphase. So machen Sie es Ihrem Team verst\u00e4ndlicher, was wiederum die Time-to-Market verk\u00fcrzt.<\/li>\n<li>F\u00fcr einige Infrastrukturkomponenten schreiben Sie Tests. Zum Beispiel: \u00dcberpr\u00fcfen Sie, ob alle wichtigen server_name den richtigen Status zur\u00fcckgeben und die Antwort richtig ist. Es gen\u00fcgt, ein paar Skripte zur Verf\u00fcgung zu haben, die die grundlegenden Funktionen der Komponente \u00fcberpr\u00fcfen, damit Sie nicht um 3 Uhr nachts in Panik geraten m\u00fcssen, was Sie noch \u00fcberpr\u00fcfen m\u00fcssen.\u00a0<\/li>\n<\/ul>\n<p><\/p>\n<h4>Der dritte Platz - \"Pl\u00f6tzlich war der Speicher in Cassandra voll\"<\/h4>\n<p>\nDie Daten wuchsen stetig, und alles war gut, bis die Reparaturen gro\u00dfer Keyspaces im Cassandra-Cluster fehlschlugen, weil die Kompaktierung nicht durchgef\u00fchrt werden konnte.\u00a0<\/p>\n<p>An einem nebligen Tag verwandelte sich der Cluster fast in einen K\u00fcrbis, und zwar:<\/p>\n<ul>\n<li>es waren noch etwa 20% des Gesamtspeichers im Cluster verf\u00fcgbar;<\/li>\n<li>Es ist nicht m\u00f6glich, Nodes hinzuzuf\u00fcgen, da der Cleanup nach der Hinzuf\u00fcgung eines Nodes aufgrund von Speichermangel auf den Partitionen nicht erfolgt;<\/li>\n<li>Die Leistung sinkt allm\u00e4hlich, da die Kompaktierung nicht funktioniert;\u00a0<\/li>\n<li>der Cluster arbeitet im Notfallmodus.<\/li>\n<\/ul>\n<p>\n<img decoding=\"async\" alt=\"Top-Fails von Ziy\u0430\u043d\" src=\"\/wp-content\/uploads\/2020\/05\/1d036fbc500a49a285fa4b0014e2a70d.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nAusgang \u2014 wir haben 5 weitere Nodes ohne Bereinigung hinzugef\u00fcgt, anschlie\u00dfend begannen wir, systematisch Nodes aus dem Cluster zu entfernen und wieder als leere Nodes einzuf\u00fchren, auf denen kein Platz mehr war. Die daf\u00fcr ben\u00f6tigte Zeit war erheblich h\u00f6her, als wir uns gew\u00fcnscht h\u00e4tten. Es bestand das Risiko einer teilweisen oder vollst\u00e4ndigen Unzug\u00e4nglichkeit des Clusters.\u00a0<\/p>\n<p><b>Fazit:<\/b><\/p>\n<ul>\n<li>Auf allen Cassandra-Servern sollte nicht mehr als 60 % des Speicherplatzes in jedem Abschnitt belegt sein.\u00a0<\/li>\n<li>Sie sollten nicht mehr als zu 50 % ausgelastet sein, was die CPU betrifft.<\/li>\n<li>Man sollte das Capacity Planning nicht vernachl\u00e4ssigen und dieses f\u00fcr jede Komponente, basierend auf ihren spezifischen Anforderungen, gr\u00fcndlich durchdenken.<\/li>\n<li>Je mehr Nodes im Cluster enthalten sind, desto besser. Server, die nur einen geringen Datensatz enthalten, lassen sich schneller neu starten, und ein solcher Cluster ist leichter wiederherzustellen.\u00a0<\/li>\n<\/ul>\n<p><\/p>\n<h4>Der zweite Punkt \u2014 \u00abDaten aus dem Consul Key-Value-Speicher sind verschwunden\u00bb<\/h4>\n<p>\nF\u00fcr die Service-Discovery verwenden wir, wie viele andere, Consul. Allerdings nutzen wir es auch f\u00fcr die Blue-Green-Bereitstellung unseres Monolithen. Dort wird die Information \u00fcber aktive und inaktive Upstreams gespeichert, die w\u00e4hrend des Deployments wechseln. Zu diesem Zweck wurde ein Deployment-Service entwickelt, der mit KV interagiert. Irgendwann gingen die Daten aus dem KV verloren. Wir haben sie aus dem Ged\u00e4chtnis wiederhergestellt, jedoch mit einigen Fehlern. Infolgedessen wurde die Last auf die Upstreams ungleichm\u00e4\u00dfig verteilt, und wir erhielten viele 502-Fehler aufgrund von CPU-\u00dcberlastung der Backends. Letztendlich sind wir von Consul KV auf Postgres umgestiegen, von wo aus es nicht so einfach ist, sie zu entfernen.\u00a0\u00a0<\/p>\n<p><b>Fazit:<br \/>\n<\/b><\/p>\n<ul>\n<li>Dienste ohne jegliche Autorisierung sollten keine kritischen Daten f\u00fcr den Betrieb der Website enthalten. Wenn Sie beispielsweise keine Autorisierung in ES haben, w\u00e4re es besser, den Zugriff auf Netzwerkebene \u00fcberall dort zu sperren, wo er nicht ben\u00f6tigt wird, nur notwendige Zugriffe zuzulassen und au\u00dferdem action.destructive_requires_name: true zu setzen.<\/li>\n<li>Testen Sie den Backup- und Wiederherstellungsmechanismus im Voraus. Erstellen Sie beispielsweise im Voraus ein Skript (zum Beispiel in Python), das sowohl Backups erstellen als auch wiederherstellen kann.<\/li>\n<\/ul>\n<p><\/p>\n<h4>Der erste Platz geht an 'Captain Offensichtlichkeit'.\u00a0<\/h4>\n<p>\nWir haben zu einem bestimmten Zeitpunkt eine ungleichm\u00e4\u00dfige Lastverteilung auf die Upstreams von Nginx festgestellt, wenn im Backend mehr als 10 Server aktiv waren. Da das Round-Robin-Verfahren die Anfragen nacheinander an die Upstreams weiterleitete und jeder Nginx-Reload von vorne begann, erhielten die ersten Upstreams immer mehr Anfragen als die anderen. Infolgedessen arbeiteten sie langsamer und die gesamte Website litt darunter. Dies wurde mit steigendem Traffic immer deutlicher. Ein einfaches Update von Nginx auf random brachte nichts \u2013 wir mussten eine Menge Lua-Code \u00fcberarbeiten, der bei Version 1.15 nicht funktionierte (zu diesem Zeitpunkt). Also haben wir unsere Nginx-Version 1.14.2 gepatcht und die Unterst\u00fctzung f\u00fcr random integriert. Damit war das Problem gel\u00f6st. Dieser Bug gewinnt den Preis f\u00fcr \u201eCaptain Offensichtlich\u201c.<\/p>\n<p><b>Fazit:<\/b><\/p>\n<p>Es war sehr faszinierend und interessant, diesen Bug zu untersuchen).\u00a0<\/p>\n<ul>\n<li>Richten Sie das Monitoring so ein, dass es Ihnen hilft, solche Fluktuationen schnell zu erkennen. Zum Beispiel kann man ELK nutzen, um die RPS (Requests per Second) f\u00fcr jedes Backend jedes Upstreams zu \u00fcberwachen und die Antwortzeiten aus der Perspektive von Nginx zu verfolgen. In diesem Fall hat uns das geholfen, das Problem zu identifizieren.\u00a0<\/li>\n<\/ul>\n<p>\nDie Mehrheit der Fehler l\u00e4sst sich durch einen sorgf\u00e4ltigeren Ansatz vermeiden, wenn man bei der Arbeit aufmerksam bleibt. Man sollte immer an das Murphy-Gesetz denken:\u00a0<i>Alles, was schiefgehen kann, wird schiefgehen, <\/i>und Komponenten sollten entsprechend gestaltet werden.\u00a0<br \/>\n<br \/>Quelle: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/cian\/blog\/499542\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0412\u0441\u0435\u043c \u0434\u043e\u0431\u0440\u0430!\u00a0 \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041d\u0438\u043a\u0438\u0442\u0430, \u044f \u0442\u0438\u043c\u043b\u0438\u0434 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u0426\u0438\u0430\u043d. \u041e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043c\u043e\u0438\u0445 \u043e\u0431\u044f\u0437\u0430\u043d\u043d\u043e\u0441\u0442\u0435\u0439 \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043e\u0439 \u043d\u0430 \u043f\u0440\u043e\u0434\u0435, \u0434\u043e \u043d\u0443\u043b\u044f. \u0422\u043e, \u043e \u0447\u0435\u043c \u043f\u043e\u0439\u0434\u0435\u0442 \u0440\u0435\u0447\u044c \u0434\u0430\u043b\u0435\u0435, \u043f\u0440\u0438\u043d\u0435\u0441\u043b\u043e \u043d\u0430\u043c \u043c\u043d\u043e\u0433\u043e \u0431\u043e\u043b\u0438, \u0438 \u0446\u0435\u043b\u044c \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u2014 \u043d\u0435 \u0434\u0430\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u043c \u043b\u044e\u0434\u044f\u043c \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u043d\u0430\u0448\u0438\u0445 \u043e\u0448\u0438\u0431\u043e\u043a \u0438\u043b\u0438 \u0445\u043e\u0442\u044f \u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u0432\u043b\u0438\u044f\u043d\u0438\u0435.\u00a0 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":80032,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-80031","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 4.9.10 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0412\u0441\u0435\u043c \u0434\u043e\u0431\u0440\u0430! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041d\u0438\u043a\u0438\u0442\u0430, \u044f \u0442\u0438\u043c\u043b\u0438\u0434 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u0426\u0438\u0430\u043d. \u041e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043c\u043e\u0438\u0445 \u043e\u0431\u044f\u0437\u0430\u043d\u043d\u043e\u0441\u0442\u0435\u0439 \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043e\u0439 \u043d\u0430 \u043f\u0440\u043e\u0434\u0435, \u0434\u043e \u043d\u0443\u043b\u044f. \u0422\u043e, \u043e \u0447\u0435\u043c \u043f\u043e\u0439\u0434\u0435\u0442 \u0440\u0435\u0447\u044c \u0434\u0430\u043b\u0435\u0435, \u043f\u0440\u0438\u043d\u0435\u0441\u043b\u043e \u043d\u0430\u043c \u043c\u043d\u043e\u0433\u043e \u0431\u043e\u043b\u0438, \u0438 \u0446\u0435\u043b\u044c \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u2014 \u043d\u0435 \u0434\u0430\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u043c \u043b\u044e\u0434\u044f\u043c \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u043d\u0430\u0448\u0438\u0445 \u043e\u0448\u0438\u0431\u043e\u043a \u0438\u043b\u0438 \u0445\u043e\u0442\u044f \u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u0432\u043b\u0438\u044f\u043d\u0438\u0435.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/top-fakapov-czian\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 4.9.10\" \/>\n\t\t<meta property=\"og:locale\" content=\"de_DE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u0422\u043e\u043f \u0444\u0430\u043a\u0430\u043f\u043e\u0432 \u0426\u0438\u0430\u043d | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0412\u0441\u0435\u043c \u0434\u043e\u0431\u0440\u0430! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041d\u0438\u043a\u0438\u0442\u0430, \u044f \u0442\u0438\u043c\u043b\u0438\u0434 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u0426\u0438\u0430\u043d. \u041e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043c\u043e\u0438\u0445 \u043e\u0431\u044f\u0437\u0430\u043d\u043d\u043e\u0441\u0442\u0435\u0439 \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043e\u0439 \u043d\u0430 \u043f\u0440\u043e\u0434\u0435, \u0434\u043e \u043d\u0443\u043b\u044f. \u0422\u043e, \u043e \u0447\u0435\u043c \u043f\u043e\u0439\u0434\u0435\u0442 \u0440\u0435\u0447\u044c \u0434\u0430\u043b\u0435\u0435, \u043f\u0440\u0438\u043d\u0435\u0441\u043b\u043e \u043d\u0430\u043c \u043c\u043d\u043e\u0433\u043e \u0431\u043e\u043b\u0438, \u0438 \u0446\u0435\u043b\u044c \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u2014 \u043d\u0435 \u0434\u0430\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u043c \u043b\u044e\u0434\u044f\u043c \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u043d\u0430\u0448\u0438\u0445 \u043e\u0448\u0438\u0431\u043e\u043a \u0438\u043b\u0438 \u0445\u043e\u0442\u044f \u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u0432\u043b\u0438\u044f\u043d\u0438\u0435.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/top-fakapov-czian\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-05-02T11:42:49+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-05-02T11:42:49+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Top-Pannen bei Cian | ProHoster","description":"Ich w\u00fcnsche allen einen guten Tag! Mein Name ist Nikita, ich bin Teamleiter der Ingenieure bei Cian. Eine meiner Aufgaben im Unternehmen besteht darin, die Anzahl der Vorf\u00e4lle, die mit der Infrastruktur in der Produktion zusammenh\u00e4ngen, auf null zu reduzieren. Was ich im Folgenden beschreiben werde, hat uns viel Schmerz bereitet, und das Ziel dieses Artikels ist es, anderen Menschen zu helfen, unsere Fehler nicht zu wiederholen oder zumindest deren Auswirkungen zu minimieren.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/top-fakapov-czian","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0422\u043e\u043f \u0444\u0430\u043a\u0430\u043f\u043e\u0432 \u0426\u0438\u0430\u043d | ProHoster","og:description":"\u0412\u0441\u0435\u043c \u0434\u043e\u0431\u0440\u0430! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041d\u0438\u043a\u0438\u0442\u0430, \u044f \u0442\u0438\u043c\u043b\u0438\u0434 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 \u0426\u0438\u0430\u043d. \u041e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043c\u043e\u0438\u0445 \u043e\u0431\u044f\u0437\u0430\u043d\u043d\u043e\u0441\u0442\u0435\u0439 \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u043e\u0432, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043e\u0439 \u043d\u0430 \u043f\u0440\u043e\u0434\u0435, \u0434\u043e \u043d\u0443\u043b\u044f. \u0422\u043e, \u043e \u0447\u0435\u043c \u043f\u043e\u0439\u0434\u0435\u0442 \u0440\u0435\u0447\u044c \u0434\u0430\u043b\u0435\u0435, \u043f\u0440\u0438\u043d\u0435\u0441\u043b\u043e \u043d\u0430\u043c \u043c\u043d\u043e\u0433\u043e \u0431\u043e\u043b\u0438, \u0438 \u0446\u0435\u043b\u044c \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u2014 \u043d\u0435 \u0434\u0430\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u043c \u043b\u044e\u0434\u044f\u043c \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u043d\u0430\u0448\u0438\u0445 \u043e\u0448\u0438\u0431\u043e\u043a \u0438\u043b\u0438 \u0445\u043e\u0442\u044f \u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0445 \u0432\u043b\u0438\u044f\u043d\u0438\u0435.","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/top-fakapov-czian","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-05-02T11:42:49+00:00","article:modified_time":"2020-05-02T11:42:49+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"80031","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 12:47:44","updated":"2026-02-09 16:50:24"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/80031","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=80031"}],"version-history":[{"count":2,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/80031\/revisions"}],"predecessor-version":[{"id":158728,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/80031\/revisions\/158728"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/80032"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=80031"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=80031"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=80031"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}