{"id":95999,"date":"2020-10-06T13:41:58","date_gmt":"2020-10-06T11:41:58","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki"},"modified":"2020-10-06T13:41:58","modified_gmt":"2020-10-06T11:41:58","slug":"poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki","title":{"rendered":"W\u00e4hrend alle meinen Geburtstag feierten, habe ich bis zum Morgen am Cluster gearbeitet \u2013 und die Entwickler haben mir ihre Fehler zugeworfen.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"W\u00e4hrend
\n
\nDas ist die Geschichte, die meine Herangehensweise an die Arbeit im DevOps f\u00fcr immer ver\u00e4ndert hat. Noch zu vor-COVID-Zeiten, lange bevor das alles begann, als wir mit den Jungs gerade erst dar\u00fcber nachdachten, unser eigenes Unternehmen zu gr\u00fcnden und als Freelancer an zuf\u00e4lligen Auftr\u00e4gen arbeiteten, erhielt ich in Telegram einen Vorschlag. <\/p>\n

Das Unternehmen, das den Vorschlag eingereicht hatte, besch\u00e4ftigte sich mit Datenanalytik. T\u00e4glich verarbeiteten sie Tausende von Anfragen. Sie kamen zu uns mit den Worten: \"Leute, wir haben ClickHouse und m\u00f6chten dessen Einrichtung und Installation automatisieren. Wir ben\u00f6tigen Ansible, Terraform, Docker und alles soll in Git gespeichert werden. Wir wollen ein Cluster aus vier Knoten mit zwei Replikaten in jedem.\" <\/p>\n

Eine Standardanfrage, von denen es viele gibt, und wir suchten eine ebenso gute Standardl\u00f6sung. Wir sagten \"okay\", und nach 2-3 Wochen war alles bereit. Sie akzeptierten unsere Arbeit und begannen, auf das neue ClickHouse-Cluster mit Hilfe unseres Tools umzuziehen.
\n<\/a><\/noindex>
\nNiemand wollte und konnte sich mit ClickHouse besch\u00e4ftigen. Damals dachten wir, das sei ihr Hauptproblem, und deshalb gab der CTO des Unternehmens meinem Team die Anweisung, die Arbeit so weit wie m\u00f6glich zu automatisieren, um nicht mehr selbst eingreifen zu m\u00fcssen.<\/p>\n

Wir begleiteten den Umzug, und es tauchten neue Aufgaben auf \u2014 Backups und Monitoring einzurichten. Zu diesem Zeitpunkt wechselte der CTO des Unternehmens zu einem anderen Projekt, sodass einer seiner Mitarbeiter, Leonid, unser neuer Ansprechpartner wurde. Leonid war kein besonders talentierter Typ. Ein einfacher Entwickler, der pl\u00f6tzlich als Verantwortlicher f\u00fcr ClickHouse eingesetzt wurde. Anscheinend war dies seine erste F\u00fchrungsposition, und die pl\u00f6tzliche Verantwortung verursachte bei ihm eine gewisse Eitelkeit. <\/p>\n

Gemeinsam machten wir uns an die Backups. Ich schlug vor, die Rohdaten sofort zu sichern. Einfach die Daten zu nehmen, zu zippen und elegant in eine Art S3 zu laden. Rohdaten sind Gold. Es gab auch eine andere M\u00f6glichkeit \u2014 die Tabellen in ClickHouse zu sichern, indem man ein Freeze und Kopieren anwendet. Aber Leonid hatte seine eigene L\u00f6sung.<\/p>\n

Er erkl\u00e4rte, dass wir einen zweiten Cluster f\u00fcr ClickHouse ben\u00f6tigen. Von nun an w\u00fcrden wir Daten auf zwei Cluster schreiben \u2014 den Haupt- und den Backup-Cluster. Ich sagte ihm, Leonid, das wird kein Backup sein \u2014 sondern eine aktive Replikation. Wenn Daten in der Produktion verloren gehen, wird es bei deinem Backup dasselbe sein. <\/p>\n

Aber Leonid hielt fest am Steuer fest und weigerte sich, auf meine Argumente zu h\u00f6ren. Wir stritten lange im Chat, aber es half nichts \u2014 Leonid war der Verantwortliche im Projekt, wir waren nur die angestellten Jungs von der Stra\u00dfe.<\/p>\n

Wir \u00fcberwachten den Zustand des Clusters und erhielten nur eine Verg\u00fctung f\u00fcr die Arbeit der Administratoren. Reines Administrieren von ClickHouse, ohne in die Daten einzugreifen. Der Cluster war erreichbar, die Festplatten waren in Ordnung, die Nodes funktionierten einwandfrei. <\/p>\n

Wir ahnten noch nicht, dass wir diesen Auftrag aufgrund eines schrecklichen Missverst\u00e4ndnisses innerhalb ihres Teams erhalten hatten.<\/h3>\n

\nDer Leiter war unzufrieden, weil ClickHouse langsam lief und manchmal Daten verloren gingen. Er gab seinem CTO die Aufgabe, das Problem zu kl\u00e4ren. Dieser kl\u00e4rte es, soweit er konnte, und kam zu dem Schluss, dass ClickHouse einfach automatisiert werden musste \u2014 und das war alles. Aber wie sich bald herausstellte, ben\u00f6tigten sie ganz gewiss kein DevOps-Team.<\/p>\n

All dies stellte sich als sehr schmerzhaft heraus. Und das \u00e4rgerlichste war, dass es an meinem Geburtstag passierte.<\/p>\n

\nFreitagabend. Ich hatte einen Tisch in meiner Lieblingsweinbar reserviert und meine Freunde eingeladen. <\/p>\n

Kurz bevor wir aufbrechen wollten, bekamen wir die Aufgabe, einen Alternativen zu erstellen. Das haben wir erledigt, alles war in Ordnung. Der Alternativvorschlag wurde akzeptiert, ClickHouse hat best\u00e4tigt. Wir waren schon auf dem Weg zur Bar, als uns mitgeteilt wurde, dass Daten fehlen. Nach einer \u00dcberpr\u00fcfung schien alles vorhanden zu sein. Und dann gingen wir feiern.<\/p>\n

Im Restaurant war es wie an einem typischen Freitagabend laut. Nach dem Bestellen von Getr\u00e4nken und Essen machten wir es uns auf den Couchm\u00f6beln bequem. W\u00e4hrenddessen trudelten die Nachrichten in meinem Slack langsam ein. Irgendetwas war mit fehlenden Daten. Ich dachte mir, dass der Morgen weiser ist als der Abend, besonders heute.<\/p>\n

Gegen elf fingen sie an, uns anzurufen. Es war der Gesch\u00e4ftsf\u00fchrer des Unternehmens\u2026 \u201eWahrscheinlich will er mich gratulieren\u201c, dachte ich sehr unsicher, nahm den H\u00f6rer ab.<\/p>\n

Und ich h\u00f6rte etwas in der Art: \u201eIhr habt unsere Daten versaut! Ich bezahle euch, aber nichts funktioniert! Ihr wart f\u00fcr die Backups verantwortlich und habt keinen einzigen Schritt unternommen! Lasst uns das reparieren!\u201c \u2014 nur noch grober.<\/p>\n

\u2014 Wei\u00dft du was, verpiss dich! Heute ist mein Geburtstag, und jetzt werde ich feiern und mich nicht um eure Anf\u00e4ngerprojekte k\u00fcmmern, die aus Mist und St\u00f6cken bestehen!<\/p>\n

So habe ich es nat\u00fcrlich nicht gesagt. Stattdessen holte ich meinen Laptop heraus und machte mich an die Arbeit.<\/p>\n

Nein, ich habe wirklich eingehend nachgehakt! Ich habe sarkastisch in den Chat geschrieben: \u201eHab ich nicht gesagt?\u201c \u2014 denn das Backup, das kein echtes Backup war, hat nat\u00fcrlich nichts gerettet. <\/p>\n

Wir haben uns mit den Jungs \u00fcberlegt, wie wir die Aufnahme manuell stoppen und alles \u00fcberpr\u00fcfen k\u00f6nnen. Wir haben tats\u00e4chlich festgestellt, dass ein Teil der Daten nicht geschrieben wurde.<\/p>\n

Wir haben die Aufnahme gestoppt, die Anzahl der Ereignisse gez\u00e4hlt, die dort \u00fcber den Tag gespeichert sind. Wir haben weitere Daten hinzugef\u00fcgt, von denen nur ein Drittel nicht gespeichert wurde. Drei Shards mit jeweils zwei Replikaten. Wenn du 100.000 Zeilen einf\u00fcgst \u2014 werden 33.000 nicht gespeichert.<\/p>\n

Es herrschte totale Verwirrung. Jeder schickte den anderen der Reihe nach zum Teufel: Zuerst war Leon dran, gefolgt von mir selbst und dem Firmengr\u00fcnder. Nur der neu beigetretene CTO versuchte, unsere Calls mit Geschrei und unsere Nachrichten in Richtung Probleml\u00f6sung zu lenken. <\/p>\n

Was tats\u00e4chlich geschah \u2014 das verstand niemand.<\/h3>\n

\nWir waren total perplex, als wir merkten, dass ein Drittel aller Daten nicht nur nicht gespeichert wurde \u2014 sie gingen verloren! Es stellte sich heraus, dass in der Firma so verfahren wurde: Nach dem Einf\u00fcgen wurden die Daten unwiderruflich gel\u00f6scht, die Ereignisse gingen massenhaft verloren. Ich stellte mir vor, wie Sergey all das in entgangene Rubel umwandelt.<\/p>\n

Mein Geburtstag wurde ebenfalls im M\u00fcll entsorgt. Wir sa\u00dfen in einer Bar und entwickelten Ideen, w\u00e4hrend wir versuchten, das geworfene R\u00e4tsel zu l\u00f6sen. Der Grund f\u00fcr den Ausfall von Clickhouse war nicht offensichtlich. Vielleicht liegt es am Netzwerk, vielleicht an den Linux-Einstellungen. Es k\u00f6nnte fast alles sein; viele Hypothesen wurden genannt.<\/p>\n

Ich habe keinen Entwickler-Eid geleistet, aber die Jungs am anderen Ende der Leitung im Stich zu lassen, w\u00e4re unh\u00f6flich gewesen \u2013 auch wenn sie uns f\u00fcr alles verantwortlich machten. Ich war mir zu 99 % sicher, dass das Problem nicht in unseren L\u00f6sungen, nicht auf unserer Seite lag. Der 1 %ige Zweifel, dass wir doch einen Fehler gemacht haben k\u00f6nnten, nagte an mir. Aber egal, auf welcher Seite das Problem lag \u2013 es musste behoben werden. Die Kunden, egal wie sie waren, mit einem so schlimmen Datenleck im Stich zu lassen, w\u00e4re einfach zu grausam.<\/p>\n

Bis drei Uhr morgens arbeiteten wir an einem Tisch im Restaurant. Wir f\u00fcgten Events hinzu, f\u00fchrten Insert-Selects durch \u2013 und legten los, um die L\u00fccken zu f\u00fcllen. Wenn man Daten verloren hat, geht man so vor: Man nimmt die durchschnittlichen Daten der vorherigen Tage und f\u00fcgt sie in die verlorenen ein.<\/p>\n

Nachdem es drei Uhr morgens war, gingen mein Freund und ich zu mir nach Hause, bestellten Bier aus dem Getr\u00e4nkemarkt. Ich sa\u00df mit meinem Laptop und hatte Probleme mit ClickHouse, w\u00e4hrend mein Freund mir etwas erz\u00e4hlte. Nach einer Stunde war er beleidigt, weil ich arbeitete und nicht mit ihm Bier trank, und fuhr weg. Klassisch \u2014 ein Freund des DevOps.<\/p>\n

Bis sechs Uhr morgens hatte ich die Tabelle neu erstellt, und die Daten fingen an einzugie\u00dfen. Alles funktionierte ohne Verluste.<\/p>\n

<\/p>\n

Danach wurde es schwierig. Alle beschuldigten sich gegenseitig des Datenverlusts. Wenn ein neuer Fehler aufgetreten w\u00e4re, bin ich mir sicher, h\u00e4tte es eine Schie\u00dferei gegeben.<\/h3>\n

\nIn diesen Auseinandersetzungen begannen wir endlich zu verstehen \u2014 im Unternehmen dachte man, wir seien die Leute, die mit Daten arbeiten und die Tabellenstruktur \u00fcberwachen. Sie hatten die Administratoren mit den DB-Entwicklern verwechselt. Und kamen nicht als Administratoren, sondern v\u00f6llig anders auf uns zu.<\/p>\n

Ihre Hauptbeschwerde war \u2014 wie zum Teufel konntet ihr die Backups machen und das nicht richtig hinbekommen, ihr habt die Daten versaut. Und das alles mit Fl\u00fcchen.<\/p>\n

Ich wollte Gerechtigkeit. Ich grub die Korrespondenz aus und f\u00fcgte alle Screenshots bei, auf denen Leonid mit aller Kraft darauf bestand, dass das Backup gemacht wird, wie es gemacht werden sollte. Nach meinem Anruf stellte sich ihr CTO auf unsere Seite. Auch Leonid gab schlie\u00dflich seine Schuld zu.<\/p>\n

Der Firmenleiter wollte seine Mitarbeiter jedoch nicht beschuldigen. Screenshots und Worte hatten keinen Einfluss auf ihn. Er war der Meinung, dass wir als Experten alle \u00fcberzeugen und auf unserer Entscheidung bestehen sollten. Offensichtlich war es unsere Aufgabe, Lenya zu unterrichten, und das ohne ihn, den projectverantwortlichen Leiter, direkt zu kontaktieren, um all unsere Zweifel an der Backup-Strategie ihm gegen\u00fcber auszur\u00e4umen. <\/p>\n

Der Chat war von verborgener und offener Aggression durchzogen. Ich wusste nicht, wie ich umgehen sollte. Alles war in einer Sackgasse gelandet. Und dann kam der einfachste Rat: schreibe in einer pers\u00f6nlichen Nachricht an den Leiter und vereinbare ein Treffen mit ihm. Vasja, die Leute im echten Leben sind nicht so frech wie im Chat. Auf meine Nachricht antwortete der Boss: Komm vorbei, kein Problem.<\/p>\n

\nDas war das unangenehmste Treffen meiner Karriere. Mein Verb\u00fcndeter vom Kunden \u2014 der CTO \u2014 konnte keine Zeit finden. Auf dem Weg zum Treffen war ich allein mit dem Boss und Lenya.<\/p>\n

Immer wieder spielte ich unseren m\u00f6glichen Dialog im Kopf durch. Ich schaffte es, viel zu fr\u00fch zu kommen, eine halbe Stunde vorher. Der Stress begann, ich rauchte zehn Zigaretten. Ich wusste, jetzt bin ich ganz allein. Ich kann sie nicht \u00fcberzeugen. Und betrat den Aufzug.<\/p>\n

W\u00e4hrend ich nach oben fuhr, z\u00fcndete ich so oft an, dass ich das Feuerzeug brach.<\/p>\n

Letztendlich war Leon bei dem Treffen nicht anwesend. Aber wir haben mit dem Hauptverantwortlichen gro\u00dfartig \u00fcber alles gesprochen! Sergej hat mir von seinem Schmerz erz\u00e4hlt. Er wollte nicht einfach nur \u201eClickHouse automatisieren\u201c \u2013 er wollte, dass die Abfragen funktionieren.<\/p>\n

Ich habe keinen B\u00f6sewicht gesehen, sondern einen netten Kerl, der sich um sein Gesch\u00e4ft sorgt und 24\/7 in der Arbeit steckt. Im Chat werden uns oft Schurken, Betr\u00fcger und Idioten pr\u00e4sentiert. Doch im echten Leben sind das ganz normale Menschen wie du. <\/p>\n

Sergej ben\u00f6tigte nicht nur ein paar DevOps-Freiberufler. Das Problem, mit dem sie konfrontiert waren, war viel gr\u00f6\u00dfer. <\/p>\n

Ich habe gesagt, dass ich seine Probleme l\u00f6sen kann \u2014 aber es ist eine ganz andere Arbeit, und daf\u00fcr habe ich einen Bekannten, der ein DB-Experte ist. H\u00e4tten wir von Anfang an gewusst, dass es f\u00fcr sie wichtig ist, h\u00e4tten wir viel vermeiden k\u00f6nnen. Es war zwar zu sp\u00e4t, aber wir haben verstanden, dass das Problem in der mangelhaften Datenverarbeitung lag und nicht in der Infrastruktur. <\/p>\n

Wir haben uns die H\u00e4nde gesch\u00fcttelt, die Zahlung wurde um das Zweieinhalbfache erh\u00f6ht, aber unter der Bedingung \u2014 ich \u00fcbernehme die gesamte Verantwortung f\u00fcr ihre Daten und ClickHouse. Im Aufzug habe ich mich mit dem besagten DB-Experten Max in Verbindung gesetzt und ihn in die Arbeit eingebunden. Es war n\u00f6tig, den gesamten Cluster neu zu strukturieren.<\/p>\n

\nIm angenommenen Projekt gab es eine Menge Probleme. Angefangen mit dem erw\u00e4hnten \u201eBackup\u201c. Es stellte sich heraus, dass dieser \u201eBackup\u201c-Cluster nicht isoliert war. Dort wurden alle m\u00f6glichen Tests durchgef\u00fchrt, manchmal sogar im Produktionsbetrieb.<\/p>\n

Die internen Entwickler haben ihren eigenen benutzerdefinierten \u201eData-Inserter\u201c entwickelt. Er funktionierte so: Er kombinierte Dateien, f\u00fchrte ein Skript aus und lud die Daten in eine Tabelle. Das Hauptproblem war jedoch, dass eine enorme Datenmenge f\u00fcr eine einfache Anfrage verarbeitet wurde. Die Anfrage joine die Daten sekundengenau. Alles f\u00fcr eine einzige Zahl \u2014 die Summe des Tages.<\/p>\n

Die internen Entwickler verwendeten das Analysetool nicht korrekt. Sie gingen in Grafana, schrieben ihre eigenen Anforderungen. Diese luden Daten f\u00fcr zwei Wochen. Das Ergebnis war ein sch\u00f6ner Graph. In Wirklichkeit lief die Datenanfrage jedoch alle 10 Sekunden. Alles h\u00e4ufte sich in einer Warteschlange, da ClickHouse die Verarbeitung einfach nicht bew\u00e4ltigen konnte. Hier lag die Hauptursache. In Grafana funktionierte nichts, die Anfragen standen in der Warteschlange und es kamen st\u00e4ndig alte, nicht relevante Daten an.<\/p>\n

Wir haben den Cluster neu konfiguriert und das Inserieren \u00fcberarbeitet. Die internen Entwickler haben ihren \u201eInserter\u201c neu geschrieben, und er begann, die Daten korrekt zu sharden.<\/p>\n

Max hat eine umfassende \u00dcberpr\u00fcfung der Infrastruktur durchgef\u00fchrt. Er hat einen Plan f\u00fcr den \u00dcbergang zu einer vollwertigen Backend-L\u00f6sung skizziert. Doch das gen\u00fcgte dem Unternehmen nicht. Sie warteten auf das magische Geheimnis von Max, das es erm\u00f6glichen w\u00fcrde, weiterhin auf alte Weise, aber effizient zu arbeiten. Das Projekt wurde nach wie vor von Leonja geleitet, der nichts dazugelernt hatte. Von all dem Vorgeschlagenen w\u00e4hlte er erneut seine bevorzugte Alternative. Wie immer war es die k\u00fchnste Entscheidung. Leonja war der Meinung, dass sein Unternehmen einen besonderen Weg eingeschlagen hatte \u2013 einen steinigen, voller Eisberge.<\/p>\n

Genau damit trennten wir uns \u2013 wir haben getan, was wir konnten.<\/p>\n

\nMit den gesammelten Erfahrungen, gepr\u00e4gt von dieser Geschichte, haben wir unser eigenes Gesch\u00e4ft gegr\u00fcndet und einige Prinzipien f\u00fcr uns formuliert. Heute beginnen wir unsere Arbeit niemals mehr so wie damals.<\/p>\n

Nach diesem Projekt trat Dibiayschik Max zu uns, und wir arbeiten immer noch hervorragend zusammen. Der Fall mit Clickhouse hat uns gelehrt, vor Beginn der Arbeit eine vollst\u00e4ndige und gr\u00fcndliche Infrastrukturpr\u00fcfung durchzuf\u00fchren. Wir verstehen, wie alles funktioniert, und nehmen dann die Aufgaben an. H\u00e4tten wir fr\u00fcher sofort mit der Wartung der Infrastruktur begonnen, so f\u00fchren wir jetzt zuerst ein einmaliges Projekt durch, das hilft, sie wieder in einen funktionsf\u00e4higen Zustand zu versetzen. <\/p>\n

Ja, wir meiden Projekte mit einer miserablen Infrastruktur. Selbst wenn es viel Geld kostet oder als Gef\u00e4lligkeit. Es ist nicht vorteilhaft, kranke Projekte zu betreuen. Dieses Bewusstsein hat uns helfen, zu wachsen. Entweder ein einmaliges Projekt zur Instandsetzung der Infrastruktur und danach ein Wartungsvertrag, oder wir lassen es einfach. An einem weiteren Eisberg vorbei.<\/p>\n

P.S. Wenn Sie Fragen zu Ihrer Infrastruktur haben, scheuen Sie sich nicht, eine Anfrage zu stellen.<\/b><\/a><\/noindex>.<\/p>\n

haben wir zweimal im Monat kostenlose Audits, vielleicht ist Ihr Projekt eines davon.<\/i>
\n
Quelle: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0412\u043e\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0435\u0440\u0435\u0432\u0435\u0440\u043d\u0443\u043b\u0430 \u043c\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u0440\u0430\u0431\u043e\u0442\u0435 \u0434\u0435\u0432\u043e\u043f\u0441\u0430. \u0415\u0449\u0435 \u0432 \u0434\u043e\u043a\u043e\u0432\u0438\u0434\u043d\u044b\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0430, \u0437\u0430\u0434\u043e\u043b\u0433\u043e-\u0437\u0430\u0434\u043e\u043b\u0433\u043e \u0434\u043e \u043d\u0438\u0445, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0441 \u043f\u0430\u0440\u043d\u044f\u043c\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u043b\u0438 \u0441\u0432\u043e\u0435 \u0434\u0435\u043b\u043e \u0438 \u0444\u0440\u0438\u043b\u0430\u043d\u0441\u0438\u043b\u0438 \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0437\u0430\u043a\u0430\u0437\u0430\u0445, \u043c\u043d\u0435 \u0432 \u0442\u0435\u043b\u0435\u0433\u0443 \u0443\u043f\u0430\u043b\u043e \u043e\u0434\u043d\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435. \u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0430, \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0430\u0441\u044c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445. \u0415\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e \u043e\u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b\u0430 \u0442\u044b\u0441\u044f\u0447\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u041a \u043d\u0430\u043c \u043e\u043d\u0438 \u043f\u0440\u0438\u0448\u043b\u0438 \u0441\u043e \u0441\u043b\u043e\u0432\u0430\u043c\u0438: \u0440\u0435\u0431\u044f\u0442, \u0443 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":96000,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-95999","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47W\u00e4hrend alle meinen Geburtstag feierten, arbeitete ich bis zum Morgen an der Behebung des Clusters \u2014 w\u00e4hrend die Entwickler ihre Fehler auf mich abw\u00e4lzten | ProHoster","description":"Hier ist die Geschichte, die meinen Ansatz zur Arbeit im DevOps-Bereich f\u00fcr immer ver\u00e4ndert hat. Noch in den Zeiten vor Covid, lange bevor wir unser eigenes Unternehmen gr\u00fcndeten und als Freelancer an zuf\u00e4lligen Auftr\u00e4gen arbeiteten, erhielt ich ein interessantes Angebot per Telegram. Ein Unternehmen, das sich mit Datenanalyse besch\u00e4ftigte, kam auf uns zu. T\u00e4glich bearbeiteten sie Tausende von Anfragen. Ihre Worte waren: \"Jungs, wir brauchen euch, um...\"","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041f\u043e\u043a\u0430 \u0432\u0441\u0435 \u043f\u0440\u0430\u0437\u0434\u043d\u043e\u0432\u0430\u043b\u0438 \u043c\u043e\u0439 \u0434\u0435\u043d\u044c \u0440\u043e\u0436\u0434\u0435\u043d\u0438\u044f, \u044f \u0434\u043e \u0443\u0442\u0440\u0430 \u0447\u0438\u043d\u0438\u043b \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u2014 \u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u044b \u0432\u0430\u043b\u0438\u043b\u0438 \u043d\u0430 \u043c\u0435\u043d\u044f \u0441\u0432\u043e\u0438 \u043e\u0448\u0438\u0431\u043a\u0438 | ProHoster","og:description":"\u0412\u043e\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0435\u0440\u0435\u0432\u0435\u0440\u043d\u0443\u043b\u0430 \u043c\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u0440\u0430\u0431\u043e\u0442\u0435 \u0434\u0435\u0432\u043e\u043f\u0441\u0430. \u0415\u0449\u0435 \u0432 \u0434\u043e\u043a\u043e\u0432\u0438\u0434\u043d\u044b\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0430, \u0437\u0430\u0434\u043e\u043b\u0433\u043e-\u0437\u0430\u0434\u043e\u043b\u0433\u043e \u0434\u043e \u043d\u0438\u0445, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0441 \u043f\u0430\u0440\u043d\u044f\u043c\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u043b\u0438 \u0441\u0432\u043e\u0435 \u0434\u0435\u043b\u043e \u0438 \u0444\u0440\u0438\u043b\u0430\u043d\u0441\u0438\u043b\u0438 \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0437\u0430\u043a\u0430\u0437\u0430\u0445, \u043c\u043d\u0435 \u0432 \u0442\u0435\u043b\u0435\u0433\u0443 \u0443\u043f\u0430\u043b\u043e \u043e\u0434\u043d\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435. \u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0430, \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0430\u0441\u044c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445. \u0415\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e \u043e\u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b\u0430 \u0442\u044b\u0441\u044f\u0447\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u041a \u043d\u0430\u043c \u043e\u043d\u0438 \u043f\u0440\u0438\u0448\u043b\u0438 \u0441\u043e \u0441\u043b\u043e\u0432\u0430\u043c\u0438: \u0440\u0435\u0431\u044f\u0442, \u0443","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/poka-vse-prazdnovali-moj-den-rozhdeniya-ya-do-utra-chinil-klaster-a-razraby-valili-na-menya-svoi-oshibki","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-10-06T11:41:58+00:00","article:modified_time":"2020-10-06T11:41:58+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"95999","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 10:53:26","updated":"2022-10-01 11:21:07"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/95999","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=95999"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/95999\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/96000"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=95999"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=95999"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=95999"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}