<\/a><\/noindex>Wir begleiteten die Migration, und es tauchten weitere Aufgaben auf \u2013 Backups und Monitoring einzurichten. Zu diesem Zeitpunkt war der CTO des Unternehmens auf ein anderes Projekt gewechselt und \u00fcberlie\u00df uns als Kommandeur einen seiner Leute \u2013 Leonid. Leonid war kein besonders begabter Typ. Ein einfacher Entwickler, der pl\u00f6tzlich als Hauptverantwortlicher f\u00fcr ClickHouse eingesetzt wurde. Es schien, als w\u00e4re dies seine erste Ernennung, etwas zu leiten, und ihm kam der ins \u00dcberma\u00df ausgeglichene Ruhm zu Kopf. <\/p>\n
Gemeinsam machten wir uns an die Backups. Ich schlug vor, die urspr\u00fcnglichen Daten sofort zu sichern. Einfach nehmen, zippen und elegant in einen S3-Store hochladen. Die Ursprungdaten sind Gold wert. Es gab auch eine andere M\u00f6glichkeit \u2013 die Tabellen in ClickHouse zu sichern, indem man einen Freeze und eine Kopie verwendet. Aber Leonid hatte seine eigene L\u00f6sung.<\/p>\n
Er erkl\u00e4rte, dass wir ein zweites ClickHouse-Cluster ben\u00f6tigten. Und von nun an w\u00fcrden wir die Daten auf zwei Cluster \u2013 das Haupt- und das Backup-Cluster \u2013 schreiben. Ich sagte ihm, Leonid, das wird kein Backup, sondern eine aktive Replik. Und wenn Daten in der Produktion verloren gehen, wird das Backup die gleichen Probleme haben. <\/p>\n
Aber Leonid hielt fest am Steuer und weigerte sich, meinen Argumenten zuzuh\u00f6ren. Wir stritten lange im Chat, aber es half nichts \u2013 Leonid leitete das Projekt, wir waren nur die engagierten Jungs von der Stra\u00dfe.<\/p>\n
Wir haben den Zustand des Clusters \u00fcberwacht und nur f\u00fcr die Arbeit der Administratoren bezahlt. Reines Clickhouse-Administration ohne Eingriffe in die Daten. Der Cluster war verf\u00fcgbar, die Festplatten in Ordnung, die Knoten in Ordnung. <\/p>\n
Wir hatten noch keine Ahnung, dass wir diesen Auftrag aufgrund eines schrecklichen Missverst\u00e4ndnisses innerhalb ihres Teams erhalten hatten.<\/h3>\n \nDer Leiter war unzufrieden, dass Clickhouse langsam arbeitet und manchmal Daten verloren gehen. Er beauftragte seinen CTO, sich darum zu k\u00fcmmern. Dieser machte, was er konnte, und kam zu dem Schluss, dass Clickhouse einfach automatisiert werden muss \u2013 und das war's. Aber wie sich bald herausstellte, brauchten sie ganz andere Spezialisten als DevOps.<\/p>\n
Das alles stellte sich als sehr schmerzhaft heraus. Und das \u00c4rgerlichste, es war an meinem Geburtstag.<\/p>\n
\nFreitagabend. Ich hatte einen Tisch in meiner Lieblings-Weinbar reserviert und meine Freunde eingeladen. <\/p>\n
Kurz vor dem Ausgehen bekamen wir die Aufgabe, ein Alter zu machen, wir erledigten es, alles war in Ordnung. Der Alter war bestanden, Clickhouse hatte best\u00e4tigt. Wir waren bereits auf dem Weg zur Bar, als uns geschrieben wurde, dass Daten fehlen. Wir haben gez\u00e4hlt \u2013 es schien alles da zu sein. Und sind feiern gegangen.<\/p>\n
Im Restaurant war es freitags laut. Wir bestellten Getr\u00e4nke und Essen und machten es uns auf den Sofas bequem. W\u00e4hrenddessen wurde mein Slack langsam mit Nachrichten \u00fcberflutet. Sie schrieben etwas \u00fcber fehlende Daten. Ich dachte mir \u2013 der Morgen ist weiser als der Abend. Besonders an einem Tag wie heute.<\/p>\n
Gegen elf fingen sie bereits an zu telefonieren. Es war der Gesch\u00e4ftsf\u00fchrer\u2026 \u201eWahrscheinlich wollte er mir gratulieren\u201c, dachte ich sehr unsicher und nahm ab.<\/p>\n
Und ich h\u00f6rte so etwas wie: \u201eIhr habt unsere Daten verloren! Ich bezahle euch, aber nichts funktioniert! Ihr wart f\u00fcr die Backups verantwortlich und habt nichts gemacht! Lasst uns das reparieren!\u201c \u2013 nur noch grober.<\/p>\n
\u2014 Wei\u00dft du was, verpiss dich! Ich habe heute Geburtstag und jetzt werde ich trinken, anstatt mich mit euren Junior-Kram aus Mist und St\u00f6cken zu besch\u00e4ftigen!<\/p>\n
So habe ich es nicht gesagt. Stattdessen holte ich mein Laptop und machte mich an die Arbeit.<\/p>\n
Nein, ich war w\u00fctend, ich war h\u00f6llisch w\u00fctend! Ich postete sarkastische \u201eIch habe es doch gesagt\u201c-Nachrichten in den Chat \u2013 denn das Backup, das kein echtes Backup war, hatte nat\u00fcrlich nichts gerettet. <\/p>\n
Wir haben uns mit den Jungs einen Weg \u00fcberlegt, wie wir manuell die Aufzeichnung stoppen und alles \u00fcberpr\u00fcfen k\u00f6nnen. Wir haben tats\u00e4chlich festgestellt, dass ein Teil der Daten nicht geschrieben wird.<\/p>\n
Die Aufzeichnung wurde gestoppt, und die Anzahl der Events, die dort am Tag angefallen sind, wurde gez\u00e4hlt. Es wurden weitere Daten eingetragen, von denen nicht einmal ein Drittel gespeichert wurde. Drei Shards mit 2 Replikaten. Du f\u00fcgst 100.000 Zeilen ein \u2014 33.000 werden nicht gespeichert.<\/p>\n
Es herrschte v\u00f6lliges Chaos. Alle schickten sich gegenseitig zum Teufel: Zuerst ging Leon dorthin, gefolgt von mir selbst und dem Gr\u00fcnder des Unternehmens. Nur der neu hinzugekommene CTO versuchte, unsere Anrufe mit Geschrei und unsere Korrespondenz in Richtung Probleml\u00f6sung zu lenken. <\/p>\n
Was tats\u00e4chlich passierte, verstand niemand.<\/h3>\n \nWir Jungs waren einfach v\u00f6llig perplex, als wir begriffen, dass ein Drittel aller Daten nicht nur nicht gespeichert wurde \u2014 sie gingen verloren! Es stellte sich heraus, die Ordnung im Unternehmen war so: Nach dem Einf\u00fcgen wurden die Daten unwiderruflich gel\u00f6scht, die Events gingen massenhaft verloren. Ich stellte mir vor, wie Sergey all das in vers\u00e4umte Rubel umrechnet.<\/p>\n
Mein Geburtstag wurde ebenfalls im M\u00fcll entsorgt. Wir sa\u00dfen in einer Bar und generierten Ideen, w\u00e4hrend wir versuchten, das aufgeworfene R\u00e4tsel zu l\u00f6sen. Der Grund f\u00fcr den R\u00fcckgang des ClickHouse war nicht offensichtlich. Vielleicht ist es das Netzwerk, vielleicht liegen die Probleme an den Linux-Einstellungen. Ach, alles m\u00f6gliche, Hypothesen wurden genug ge\u00e4u\u00dfert.<\/p>\n
Ich legte kein Entwickler-Eid ab, aber es w\u00e4re unh\u00f6flich gewesen, die Jungs am anderen Ende der Leitung im Stich zu lassen \u2014 selbst wenn sie uns die Schuld gaben. Ich war mir zu 99 % sicher, dass das Problem nicht in unseren L\u00f6sungen lag, nicht auf unserer Seite. Der 1 %ige Zweifel, dass wir doch einen Fehler gemacht haben, brachte mich in unruhige Gedanken. Aber egal auf welcher Seite das Ungl\u00fcck lag \u2014 es musste behoben werden. Die Kunden, egal wie sie waren, mit einem so schweren Datenleck im Stich zu lassen, war zu hart.<\/p>\n
Bis drei Uhr morgens arbeiteten wir am Tisch im Restaurant. Wir f\u00fcgten Events hinzu, insert select \u2014 und f\u00fcllten die L\u00fccken. Wenn du Daten verloren hast, macht man es so \u2014 du nimmst die Durchschnittsdaten der vorherigen Tage und f\u00fcgst sie in die verlorenen ein.<\/p>\n
Nach drei Uhr morgens gingen mein Freund und ich zu mir nach Hause und bestellten Bier aus dem Spirituosenladen. Ich sa\u00df mit dem Laptop und den Problemen von ClickHouse, w\u00e4hrend mein Freund mir etwas erz\u00e4hlte. Schlie\u00dflich war er nach einer Stunde verletzt, weil ich arbeitete und nicht mit ihm Bier trank, und fuhr nach Hause. Klassisch \u2014 war f\u00fcr eine Weile der Freund eines DevOps.<\/p>\n
Bis 6 Uhr morgens hatte ich die Tabelle neu erstellt, und die Daten begannen zu flie\u00dfen. Alles funktionierte ohne Verluste.<\/p>\n
<\/p>\n
Danach wurde es schwierig. Jeder beschuldigte den anderen wegen des Datenverlusts. Wenn ein neuer Bug auftrat, bin ich mir sicher, w\u00e4re eine Schie\u00dferei losgegangen.<\/h3>\n \nIn diesem Chaos haben wir endlich angefangen zu verstehen \u2013 die Firma dachte, wir seien die Leute, die mit Daten arbeiten und die Tabellensstruktur im Auge behalten. Sie haben die Admins mit den DBAs verwechselt. Und kamen dazu, uns auf eine Weise zu fragen, die nicht gerade die der Admins war.<\/p>\n
Ihre Hauptbeschwerde war \u2013 wie zur H\u00f6lle, ihr wart f\u00fcr die Backups verantwortlich und habt sie nicht richtig gemacht, habt die Daten vermasselt. Und das alles mit einer Menge Fl\u00fcchen.<\/p>\n
Ich wollte Gerechtigkeit. Ich habe die Korrespondenz ausgegraben und alle Screenshots angeh\u00e4ngt, wo Leonid mit aller Kraft darauf bestand, dass genau das Backup gemacht wird, das erstellt wurde. Ihr CTO stellte sich nach meinem Telefonat auf unsere Seite. Auch Lenya gab sp\u00e4ter seine Schuld zu.<\/p>\n
Der Chef der Firma hingegen wollte seine Leute nicht beschuldigen. Screenshots und Worte hatten keinen Einfluss auf ihn. Er war der Meinung, dass wir, da wir Experten sind, alle \u00fcberzeugen und auf unserer Entscheidung bestehen sollten. Offenbar geh\u00f6rte es zu unserer Aufgabe, Lenya zu schulen und zudem, ohne ihn \u2013 der als Projektleiter eingesetzt wurde \u2013 zum Hauptverantwortlichen zu gehen und ihm pers\u00f6nlich all unsere Zweifel an dem Konzept der Backups mitzuteilen. <\/p>\n
Der Chat war durchzogen von Hass, sowohl versteckter als auch offener Aggression. Ich wusste nicht, wie ich reagieren sollte. Alles war in eine Sackgasse geraten. Und dann wurde mir der einfachste Weg geraten \u2013 dem Leiter eine private Nachricht zu schreiben und ein Treffen mit ihm zu vereinbaren. Vasya, die Leute sind im echten Leben nicht so dreist wie im Chat. Auf meine Nachricht antwortete der Chef: Komm vorbei, kein Problem.<\/p>\n
\nDas war das furchtbarste Treffen in meiner Karriere. Mein Verb\u00fcndeter vom Kunden \u2013 der CTO \u2013 konnte keine Zeit finden. Ich fuhr zum Treffen mit dem Chef und Lenya.<\/p>\n
Immer wieder durchging ich in Gedanken unseren m\u00f6glichen Dialog. Ich schaffte es, stark zu fr\u00fch zu kommen, eine halbe Stunde. Nerv\u00f6s begann ich zu rauchen und rauchte 10 Zigaretten. Ich wusste, alles \u2013 ich bin ganz allein. Ich w\u00fcrde sie nicht \u00fcberzeugen k\u00f6nnen. Und betrat den Aufzug.<\/p>\n
W\u00e4hrend ich nach oben fuhr, z\u00fcndete ich so heftig mit meinem Feuerzeug, dass ich es kaputt machte.<\/p>\n
Am Ende war Lenya beim Treffen nicht da. Aber wir haben hervorragend mit dem Hauptverantwortlichen gesprochen! Sergey erz\u00e4hlte mir von seinem Schmerz. Er wollte nicht \"ClickHouse automatisieren\" \u2013 er wollte, \"dass die Abfragen funktionieren\".<\/p>\n
Ich sah keinen B\u00f6sewicht, sondern einen netten Kerl, der sich um sein Gesch\u00e4ft sorgt und rund um die Uhr arbeitet. Der Chat zeichnet uns oft als B\u00f6sewichte, Betr\u00fcger und Trottel. Aber im echten Leben sind das genau die gleichen Menschen wie du. <\/p>\n
Sergey ben\u00f6tigte nicht nur ein paar DevOps, die eingestellt wurden. Das Problem, das sie hatten, war viel gr\u00f6\u00dfer. <\/p>\n
Ich sagte, dass ich seine Probleme l\u00f6sen kann \u2013 es ist nur eine ganz andere Aufgabe, und daf\u00fcr habe ich einen Bekannten, der DB-Engineering macht. H\u00e4tten wir von Anfang an gewusst, dass dies f\u00fcr sie ist, h\u00e4tten wir viel vermeiden k\u00f6nnen. Es ist sp\u00e4t, aber wir haben verstanden, dass das Problem in der mangelhaften Datenarbeit lag und nicht in der Infrastruktur. <\/p>\n
Wir haben uns die H\u00e4nde gesch\u00fcttelt, unsere Bezahlung wurde um das Zweieinhalbfache erh\u00f6ht, aber unter der Bedingung \u2014 ich \u00fcbernehme den gesamten Aufwand mit ihren Daten und Clickhouse. Im Aufzug schrieb ich mit dem besagten DB-Engineer Max und schloss ihn in die Arbeit ein. Es musste der gesamte Cluster umgebaut werden.<\/p>\n
\nIm angenommenen Projekt gab es einen Haufen Quatsch. Begonnen mit dem erw\u00e4hnten \"Backup\". Es stellte sich heraus, dass dieser \"Backup\"-Cluster nicht isoliert war. Alle m\u00f6glichen Tests wurden darauf durchgef\u00fchrt, manchmal wurde es sogar in die Produktion eingef\u00fchrt.<\/p>\n
Die internen Entwickler haben ihren eigenen benutzerdefinierten \"Daten-Insertor\" erfunden. Er arbeitete so: Er batchte Dateien, startete ein Skript und sch\u00fcttete die Daten in eine Tabelle. Aber das Hauptproblem war, dass eine riesige Menge an Daten f\u00fcr eine einzige einfache Anfrage ben\u00f6tigt wurde. Die Anfrage verband die Daten sek\u00fcndlich. Alles f\u00fcr eine Zahl \u2013 die Summe des Tages.<\/p>\n
Die internen Entwickler verwendeten das Analysewerkzeug nicht korrekt. Sie gingen zu Grafana, schrieben ihre k\u00f6nigliche Anfrage. Diese lud Daten von zwei Wochen herunter. Es entstand ein sch\u00f6ner Graph. In Wirklichkeit wurde die Datenanfrage jedoch alle 10 Sekunden ausgef\u00fchrt. Das sammelte sich in einer Warteschlange, da Clickhouse die Verarbeitung einfach nicht bew\u00e4ltigte. Dort verbarg sich die Hauptursache. In Grafana funktionierte nichts, die Anfragen standen in der Warteschlange, st\u00e4ndig kamen alte, irrelevante Daten.<\/p>\n
Wir haben den Cluster neu konfiguriert und das Einf\u00fcgen umgestaltet. Die internen Entwickler haben ihren \"Insertor\" neu geschrieben, und er begann, die Daten korrekt zu sharden.<\/p>\n
Max f\u00fchrte ein vollst\u00e4ndiges Audit der Infrastruktur durch. Er entwarf einen Plan f\u00fcr den \u00dcbergang zu einem vollst\u00e4ndigen Backend. Aber das gen\u00fcgte dem Unternehmen nicht. Sie erwarteten von Max das magische Geheimnis, das es erm\u00f6glicht, auf die alte Weise, aber effizienter zu arbeiten. Das Projekt wurde weiterhin von Leonid geleitet, der nichts gelernt hatte. Von dem, was vorgeschlagen wurde, w\u00e4hlte er wieder seine Alternative. Wie immer war das die gewagteste... mutige Entscheidung. Leonid glaubte, seine Firma h\u00e4tte einen besonderen Weg. Mit vielen Hindernissen und voll von Eisbergen.<\/p>\n
Eigentlich trennten wir uns damit \u2014 wir haben getan, was wir konnten.<\/p>\n
\nMit vielen Erfahrungen, die wir aus dieser Geschichte gewonnen haben, haben wir unser Unternehmen gegr\u00fcndet und einige Grunds\u00e4tze f\u00fcr uns aufgestellt. Jetzt beginnen wir unsere Arbeit niemals so wie damals.<\/p>\n
Der DBA Max ist nach diesem Projekt zu uns gesto\u00dfen, und wir arbeiten seitdem hervorragend zusammen. Das Projekt mit ClickHouse hat uns gelehrt, vor Beginn der Arbeit eine vollst\u00e4ndige und gr\u00fcndliche Pr\u00fcfung der Infrastruktur durchzuf\u00fchren. Wir verstehen, wie alles funktioniert, und nehmen dann die Aufgaben an. Und wenn wir fr\u00fcher sofort angefangen h\u00e4tten, die Infrastruktur zu betreuen, machen wir jetzt zuerst ein einmaliges Projekt, das uns hilft zu verstehen, wie man sie in einen funktionsf\u00e4higen Zustand bringt. <\/p>\n
Ja, wir meiden Projekte mit schlechter Infrastruktur. Selbst wenn es viel Geld bringt, selbst wenn es aus Freundschaft ist. Kranke Projekte zu f\u00fchren, ist unprofitabel. Diese Erkenntnis hat uns zum Wachsen gebracht. Entweder ein einmaliges Projekt zur Instandsetzung der Infrastruktur und danach einen Wartungsvertrag, oder wir lassen es einfach bleiben. Vor\u00fcbergehend an einem weiteren Eisberg vorbei.<\/p>\n
P.S. Wenn Sie Fragen zu Ihrer Infrastruktur haben, lassen Sie gerne eine Anfrage da<\/b><\/a><\/noindex>.<\/p>\n Wir haben 2 kostenlose Audits pro Monat, vielleicht ist gerade Ihr Projekt darunter.<\/i>habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"\u0412\u043e\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0435\u0440\u0435\u0432\u0435\u0440\u043d\u0443\u043b\u0430 \u043c\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u0440\u0430\u0431\u043e\u0442\u0435 \u0434\u0435\u0432\u043e\u043f\u0441\u0430. \u0415\u0449\u0435 \u0432 \u0434\u043e\u043a\u043e\u0432\u0438\u0434\u043d\u044b\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0430, \u0437\u0430\u0434\u043e\u043b\u0433\u043e-\u0437\u0430\u0434\u043e\u043b\u0433\u043e \u0434\u043e \u043d\u0438\u0445, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0441 \u043f\u0430\u0440\u043d\u044f\u043c\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u043b\u0438 \u0441\u0432\u043e\u0435 \u0434\u0435\u043b\u043e \u0438 \u0444\u0440\u0438\u043b\u0430\u043d\u0441\u0438\u043b\u0438 \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0437\u0430\u043a\u0430\u0437\u0430\u0445, \u043c\u043d\u0435 \u0432 \u0442\u0435\u043b\u0435\u0433\u0443 \u0443\u043f\u0430\u043b\u043e \u043e\u0434\u043d\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435. \u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0430, \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0430\u0441\u044c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0439 \u0434\u0430\u043d\u043d\u044b\u0445. \u0415\u0436\u0435\u0434\u043d\u0435\u0432\u043d\u043e \u043e\u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b\u0430 \u0442\u044b\u0441\u044f\u0447\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u041a \u043d\u0430\u043c \u043e\u043d\u0438 \u043f\u0440\u0438\u0448\u043b\u0438 \u0441\u043e \u0441\u043b\u043e\u0432\u0430\u043c\u0438: \u0440\u0435\u0431\u044f\u0442, \u0443 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":96000,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-95999","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t
![\"W\u00e4hrend](\"\/wp-content\/uploads\/2020\/10\/f67882cb5b565cb2efef20f68bbef1d5.jpeg\")