Für einen unerfahrenen Systemadministrator: So schaffen Sie Ordnung im Chaos

Für einen unerfahrenen Systemadministrator: So schaffen Sie Ordnung im Chaos

Ich bin FirstVDS-Systemadministrator und dies ist der Text der ersten Einführungsvorlesung meines Kurzkurses zur Unterstützung von unerfahrenen Kollegen. Fachleute, die sich seit Kurzem mit der Systemadministration befassen, stehen vor den gleichen Problemen. Um Lösungen anzubieten, habe ich es mir zur Aufgabe gemacht, diese Vortragsreihe zu schreiben. Einige Dinge darin beziehen sich speziell auf den technischen Hosting-Support, aber im Allgemeinen können sie nützlich sein, wenn nicht für alle, dann für viele. Deshalb habe ich den Vorlesungstext angepasst, um ihn hier zu teilen.

Es spielt keine Rolle, wie Ihre Position heißt – entscheidend ist, dass Sie tatsächlich in der Verwaltung tätig sind. Beginnen wir daher damit, was ein Systemadministrator tun sollte. Seine Hauptaufgabe besteht darin, Ordnung zu schaffen, die Ordnung aufrechtzuerhalten und sich auf künftige Ordnungssteigerungen vorzubereiten. Ohne einen Systemadministrator wird der Server zum Chaos. Protokolle werden nicht oder falsch geschrieben, Ressourcen werden nicht optimal verteilt, die Festplatte ist mit allerlei Müll gefüllt und das System beginnt langsam vor lauter Chaos zu sterben. Ruhig! Systemadministratoren in Ihrer Person beginnen, Probleme zu lösen und das Chaos zu beseitigen!

Säulen der Systemadministration

Bevor Sie jedoch mit der Lösung von Problemen beginnen, lohnt es sich, sich mit den vier Hauptsäulen der Verwaltung vertraut zu machen:

  1. Dokumentation
  2. Vorlage
  3. Optimierung
  4. Automatisierung

Das sind die Grundlagen. Wenn Sie Ihren Arbeitsablauf nicht auf diesen Prinzipien aufbauen, wird er ineffektiv und unproduktiv sein und im Allgemeinen wenig Ähnlichkeit mit einer echten Verwaltung haben. Schauen wir uns jedes einzeln an.

Dokumentation

Dokumentation Dabei geht es nicht darum, die Dokumentation zu lesen (obwohl man darauf nicht verzichten kann), sondern auch darauf, sie zu pflegen.

So bewahren Sie die Dokumentation auf:

  • Sind Sie auf ein neues Problem gestoßen, das Sie noch nie zuvor gesehen haben? Notieren Sie die Hauptsymptome, Diagnosemethoden und Eliminierungsprinzipien.
  • Haben Sie eine neue, elegante Lösung für ein häufiges Problem gefunden? Schreiben Sie es auf, damit Sie es nicht in einem Monat neu erfinden müssen.
  • Haben sie Ihnen geholfen, eine Frage herauszufinden, die Sie nicht verstanden haben? Schreiben Sie die wichtigsten Punkte und Konzepte auf und zeichnen Sie ein Diagramm.

Der Grundgedanke: Beim Erlernen und Anwenden neuer Dinge sollte man sich nicht völlig auf das eigene Gedächtnis verlassen.

In welchem ​​Format Sie dies tun, bleibt Ihnen überlassen: Es kann ein System mit Notizen, ein persönlicher Blog, eine Textdatei oder ein physischer Notizblock sein. Die Hauptsache ist, dass Ihre Unterlagen folgende Anforderungen erfüllen:

  1. Sei nicht zu lange. Heben Sie die wichtigsten Ideen, Methoden und Werkzeuge hervor. Wenn Sie zum Verständnis eines Problems tiefer in die Mechanismen der Speicherzuweisung unter Linux eintauchen müssen, schreiben Sie den Artikel, aus dem Sie ihn gelernt haben, nicht neu, sondern stellen Sie einen Link dazu bereit.
  2. Die Einträge sollten für Sie klar sein. Wenn die Linie race cond.lockup lässt Sie nicht sofort verstehen, was Sie mit dieser Zeile beschrieben haben – erklären Sie es. Es dauert keine halbe Stunde, bis eine gute Dokumentation verstanden ist.
  3. Die Suche ist eine sehr gute Funktion. Wenn Sie Blogbeiträge schreiben, fügen Sie Tags hinzu; Wenn es sich um ein physisches Notizbuch handelt, kleben Sie kleine Post-its mit Beschreibungen auf. Eine Dokumentation hat wenig Sinn, wenn man darin so viel Zeit damit verbringt, darin nach einer Antwort zu suchen, wie man damit verbracht hätte, die Frage von Grund auf zu lösen.

Für einen unerfahrenen Systemadministrator: So schaffen Sie Ordnung im Chaos

So kann Dokumentation aussehen: von einfachen Notizen in einem Notizblock (Bild oben) bis hin zu einer vollwertigen Mehrbenutzer-Wissensdatenbank mit Tags, Suche und allen möglichen Annehmlichkeiten (unten).

Für einen unerfahrenen Systemadministrator: So schaffen Sie Ordnung im Chaos

Sie müssen nicht nur nicht zweimal nach den gleichen Antworten suchen, sondern das Dokumentieren wird auch eine große Hilfe beim Erlernen neuer Themen sein (Notizen!), es wird Ihren Spinnensinn verbessern (die Fähigkeit, ein komplexes Problem mit einem oberflächlichen Blick zu diagnostizieren), und wird Ihre Aktionen organisieren. Wenn die Dokumentation Ihren Kollegen zur Verfügung steht, können sie herausfinden, was und wie Sie sich dort angesammelt haben, wenn Sie nicht da sind.

Vorlage

Vorlage ist die Erstellung und Nutzung von Vorlagen. Um die häufigsten Probleme zu lösen, lohnt es sich, eine spezifische Aktionsvorlage zu erstellen. Zur Diagnose der meisten Probleme sollte eine standardisierte Schrittfolge verwendet werden. Wenn Sie etwas repariert/installiert/optimiert haben, sollte die Leistung dieses Etwas anhand standardisierter Checklisten überprüft werden.

Vorlagen sind die beste Möglichkeit, Ihren Arbeitsablauf zu organisieren. Durch die Verwendung von Standardverfahren zur Lösung der häufigsten Probleme erhalten Sie viele coole Dinge. Mithilfe von Checklisten können Sie beispielsweise alle Funktionen diagnostizieren, die für Ihre Arbeit wichtig sind, und die Diagnose unwichtiger Funktionen verwerfen. Und standardisierte Verfahren minimieren unnötiges Werfen und verringern die Fehlerwahrscheinlichkeit.

Der erste wichtige Punkt ist, dass auch Abläufe und Checklisten dokumentiert werden müssen. Wenn Sie sich nur auf den Speicher verlassen, können Sie eine wirklich wichtige Prüfung oder Operation verpassen und alles ruinieren. Der zweite wichtige Punkt ist, dass alle Musterpraktiken geändert werden können und sollten, wenn die Situation dies erfordert. Es gibt keine idealen und absolut universellen Vorlagen. Wenn ein Problem vorliegt, die Prüfung der Vorlage es aber nicht ergeben hat, heißt das nicht, dass kein Problem vorliegt. Bevor Sie jedoch mit dem Testen einiger unwahrscheinlicher hypothetischer Probleme beginnen, lohnt es sich immer, zunächst einen kurzen Vorlagentest durchzuführen.

Optimierung

Optimierung spricht für sich selbst. Der Arbeitsprozess muss hinsichtlich Zeit und Arbeitskosten so weit wie möglich optimiert werden. Es gibt unzählige Optionen: Lernen Sie Tastaturkürzel, Abkürzungen, reguläre Ausdrücke und verfügbare Tools. Suchen Sie nach praktischeren Einsatzmöglichkeiten dieser Tools. Wenn Sie einen Befehl 100 Mal am Tag aufrufen, weisen Sie ihn einer Tastenkombination zu. Wenn Sie regelmäßig eine Verbindung zu denselben Servern herstellen müssen, schreiben Sie einen Alias ​​in einem Wort, der Sie dorthin verbindet:

Für einen unerfahrenen Systemadministrator: So schaffen Sie Ordnung im Chaos

Machen Sie sich mit den verschiedenen verfügbaren Optionen für Tools vertraut – vielleicht gibt es einen bequemeren Terminal-Client, DE, Zwischenablage-Manager, Browser, E-Mail-Client, Betriebssystem. Finden Sie heraus, welche Tools Ihre Kollegen und Freunde verwenden – vielleicht entscheiden sie sich aus einem bestimmten Grund dafür. Sobald Sie über die Werkzeuge verfügen, lernen Sie deren Verwendung: Lernen Sie die Tasten, Abkürzungen, Tipps und Tricks.

Nutzen Sie Standardtools optimal – Coreutils, Vim, reguläre Ausdrücke, Bash. Für die letzten drei gibt es eine Vielzahl wunderbarer Handbücher und Dokumentationen. Mit ihrer Hilfe kann man schnell von dem Zustand „Ich fühle mich wie ein Affe, der mit einem Laptop Nüsse knackt“ zu „Ich bin ein Affe, der sich mit einem Laptop einen Nussknacker bestellt“ bewegen.

Automatisierung

Automatisierung wird schwierige Vorgänge von unseren müden Händen in die unermüdlichen Hände der Automatisierung übertragen. Wenn eine Standardprozedur in fünf Befehlen desselben Typs ausgeführt wird, warum packen Sie dann nicht alle diese Befehle in eine Datei und rufen einen Befehl auf, der diese Datei herunterlädt und ausführt?

Die Automatisierung selbst besteht zu 80 % aus dem Schreiben und Optimieren Ihrer eigenen Tools (und zu weiteren 20 % aus dem Versuch, sie so zum Laufen zu bringen, wie sie sollten). Es könnte sich nur um einen fortschrittlichen Einzeiler oder um ein riesiges, allmächtiges Tool mit einer Weboberfläche und einer API handeln. Das Hauptkriterium hierbei ist, dass die Erstellung eines Tools nicht mehr Zeit und Mühe in Anspruch nehmen sollte, als die Menge an Zeit und Mühe, die Ihnen das Tool erspart. Wenn Sie fünf Stunden damit verbringen, ein Skript zu schreiben, das Sie nie wieder brauchen werden, für eine Aufgabe, für deren Lösung Sie ohne das Skript ein oder zwei Stunden gebraucht hätten, ist das eine sehr schlechte Workflow-Optimierung. Sie können nur dann fünf Stunden damit verbringen, ein Tool zu erstellen, wenn Anzahl, Art der Aufgaben und Zeit dies zulassen, was nicht oft der Fall ist.

Automatisierung bedeutet nicht unbedingt das Schreiben vollwertiger Skripte. Um beispielsweise eine Reihe von Objekten desselben Typs aus einer Liste zu erstellen, benötigen Sie lediglich einen cleveren Einzeiler, der automatisch das tut, was Sie von Hand tun würden, nämlich zwischen Fenstern zu wechseln und jede Menge Kopier- und Einfügeaufwand zu erfordern.

Wenn Sie den Verwaltungsprozess tatsächlich auf diesen vier Säulen aufbauen, können Sie Ihre Effizienz, Produktivität und Qualifikation schnell steigern. Diese Liste muss jedoch um einen weiteren Punkt ergänzt werden, ohne den die Arbeit in der IT fast unmöglich ist – die Selbstbildung.

Selbststudium zum Systemadministrator

Um in diesem Bereich auch nur ein wenig kompetent zu sein, muss man ständig lernen und neue Dinge lernen. Wenn Sie nicht den geringsten Wunsch haben, sich dem Unbekannten zu stellen und es herauszufinden, werden Sie sehr schnell stecken bleiben. In der IT tauchen ständig neue Lösungen, Technologien und Methoden aller Art auf, und wenn man sich nicht zumindest oberflächlich damit beschäftigt, ist man auf dem Weg zum Scheitern. Viele Bereiche der Informationstechnologie stehen auf einer sehr komplexen und umfangreichen Basis. Zum Beispiel Netzwerkbetrieb. Netzwerke und das Internet gibt es überall, man begegnet ihnen jeden Tag, aber wenn man sich erst einmal mit der Technologie dahinter beschäftigt, wird man eine riesige und sehr komplexe Disziplin entdecken, deren Erforschung kein Kinderspiel ist.

Ich habe diesen Punkt nicht in die Liste aufgenommen, da er für die IT im Allgemeinen und nicht nur für die Systemadministration von entscheidender Bedeutung ist. Natürlich wird man nicht alles auf einmal lernen können, weil man einfach körperlich nicht genug Zeit hat. Daher sollten Sie bei Ihrer Weiterbildung die notwendigen Abstraktionsebenen im Auge behalten.

Sie müssen nicht sofort lernen, wie die interne Speicherverwaltung jedes einzelnen Dienstprogramms funktioniert und wie sie mit der Linux-Speicherverwaltung interagiert, aber es ist gut zu wissen, was RAM schematisch ist und warum es benötigt wird. Sie müssen nicht wissen, wie sich TCP- und UDP-Header strukturell unterscheiden, aber es wäre eine gute Idee, die grundlegenden Unterschiede in der Funktionsweise der Protokolle zu verstehen. Sie müssen nicht lernen, was Signaldämpfung in der Optik ist, aber es wäre schön zu wissen, warum echte Verluste immer über die Knoten hinweg vererbt werden. Es ist nichts Falsches daran, zu wissen, wie bestimmte Elemente auf einer bestimmten Abstraktionsebene funktionieren, und nicht unbedingt alle Ebenen zu verstehen, wenn es überhaupt keine Abstraktion gibt (man wird einfach verrückt).

In Ihrem Fachgebiet ist es jedoch nicht sehr gut, auf der Abstraktionsebene zu denken: „Nun, das ist eine Sache, mit der Sie Websites anzeigen können“. Die folgenden Vorlesungen widmen sich einem Überblick über die Hauptbereiche, mit denen sich ein Systemadministrator bei der Arbeit auf niedrigeren Abstraktionsebenen befassen muss. Ich werde versuchen, den Umfang des überprüften Wissens auf ein Minimum an Abstraktion zu beschränken.

10 Gebote der Systemadministration

Wir haben also die vier Hauptpfeiler und das Fundament kennengelernt. Können wir anfangen, Probleme zu lösen? Noch nicht. Zuvor empfiehlt es sich, sich mit den sogenannten „Best Practices“ und guten Umgangsregeln vertraut zu machen. Ohne sie werden Sie wahrscheinlich mehr schaden als nützen. Also, fangen wir an:

  1. Einige meiner Kollegen glauben, dass die allererste Regel lautet: „Keinen Schaden anrichten.“ Aber ich neige dazu, anderer Meinung zu sein. Wenn Sie versuchen, nicht zu schaden, können Sie nichts tun – zu viele Handlungen sind potenziell destruktiv. Ich denke, die wichtigste Regel ist: "Erstelle eine Sicherung". Selbst wenn Sie Schaden anrichten, können Sie jederzeit einen Rückzieher machen und alles wird nicht mehr so ​​schlimm sein.

    Sie sollten immer dann ein Backup erstellen, wenn Zeit und Ort es zulassen. Sie müssen sichern, was Sie ändern werden und was Sie aufgrund einer möglicherweise zerstörerischen Aktion verlieren könnten. Es empfiehlt sich, das Backup auf Integrität und das Vorhandensein aller notwendigen Daten zu prüfen. Das Backup sollte nicht sofort gelöscht werden, nachdem Sie alles überprüft haben, es sei denn, Sie müssen Speicherplatz freigeben. Wenn der Standort es erfordert, sichern Sie es auf Ihrem persönlichen Server und löschen Sie es nach einer Woche.

  2. Die zweitwichtigste Regel (gegen die ich selbst oft verstoße) ist „Versteck dich nicht“. Wenn Sie ein Backup erstellt haben, schreiben Sie wo, damit Ihre Kollegen nicht danach suchen müssen. Wenn Sie einige nicht offensichtliche oder komplexe Aktionen ausgeführt haben, schreiben Sie diese auf: Sie gehen nach Hause und das Problem kann sich wiederholen oder bei jemand anderem auftreten, und Ihre Lösung wird anhand von Schlüsselwörtern gefunden. Selbst wenn Sie etwas tun, von dem Sie gut wissen, kann es sein, dass Ihre Kollegen es nicht tun.
  3. Die dritte Regel bedarf keiner Erklärung: „Tue niemals etwas, dessen Konsequenzen du nicht kennst, dir nicht vorstellst oder verstehst.“. Kopieren Sie keine Befehle aus dem Internet, wenn Sie nicht wissen, was sie bewirken. Rufen Sie man an und analysieren Sie sie zuerst. Verwenden Sie keine vorgefertigten Lösungen, wenn Sie nicht verstehen, was sie bewirken. Beschränken Sie die Ausführung von verschleiertem Code auf ein absolutes Minimum. Wenn Sie keine Zeit haben, es herauszufinden, dann machen Sie etwas falsch und sollten den nächsten Punkt lesen.
  4. "Prüfen". Neue Skripte, Tools, Einzeiler und Befehle sollten in einer kontrollierten Umgebung und nicht auf dem Client-Rechner getestet werden, wenn auch nur ein minimales Potenzial für destruktive Aktionen besteht. Selbst wenn Sie alles gesichert haben (und das haben Sie getan), sind Ausfallzeiten nicht das Coolste. Erstellen Sie hierfür einen separaten Server/Virtual/Chroot und testen Sie ihn dort. Ist etwas kaputt? Dann können Sie es auf „Kampf“ starten.

    Für einen unerfahrenen Systemadministrator: So schaffen Sie Ordnung im Chaos

  5. "Kontrolle". Minimieren Sie alle Vorgänge, die Sie nicht kontrollieren. Eine Paketabhängigkeitskurve kann das halbe System zum Absturz bringen, und das für yum Remove gesetzte Flag -y gibt Ihnen die Möglichkeit, Ihre Systemwiederherstellungsfähigkeiten von Grund auf zu üben. Wenn die Aktion keine unkontrollierten Alternativen hat, ist der nächste Punkt ein fertiges Backup.
  6. "Überprüfen". Überprüfen Sie die Konsequenzen Ihrer Aktionen und ob Sie ein Rollback auf ein Backup durchführen müssen. Überprüfen Sie, ob das Problem wirklich behoben wurde. Prüfen Sie, ob und unter welchen Bedingungen der Fehler reproduziert wird. Prüfen Sie, was Sie mit Ihrem Handeln kaputt machen können. Es ist unnötig, auf unsere Arbeit zu vertrauen, aber niemals zu überprüfen.
  7. "Kommunizieren". Wenn Sie das Problem nicht lösen können, fragen Sie Ihre Kollegen, ob sie darauf gestoßen sind. Wenn Sie eine kontroverse Entscheidung treffen möchten, holen Sie die Meinung Ihrer Kollegen ein. Vielleicht bieten sie eine bessere Lösung. Wenn Sie sich in Ihrem Handeln nicht sicher sind, besprechen Sie es mit Ihren Kollegen. Auch wenn dies Ihr Fachgebiet ist, kann ein neuer Blick auf die Situation vieles klären. Schämen Sie sich nicht für Ihre eigene Unwissenheit. Es ist besser, eine dumme Frage zu stellen, wie ein Idiot auszusehen und eine Antwort zu bekommen, als die Frage nicht zu stellen, keine Antwort zu bekommen und am Ende ein Idiot zu sein.
  8. „Verweigern Sie Hilfe nicht ungerechtfertigt“. Dieser Punkt ist das Gegenteil des vorherigen. Wenn Ihnen eine dumme Frage gestellt wird, klären Sie diese und erklären Sie sie. Sie fordern das Unmögliche – erklären, dass es unmöglich ist und warum, bieten Alternativen an. Wenn Sie keine Zeit haben (Sie haben wirklich keine Zeit, nicht den Wunsch), sagen Sie, dass Sie eine dringende Frage haben, viel Arbeit, aber Sie werden das später klären. Wenn Kollegen keine dringenden Aufgaben haben, bieten Sie an, mit ihnen Kontakt aufzunehmen und die Frage zu delegieren.
  9. "Feedback geben". Hat einer Ihrer Kollegen begonnen, eine neue Technik oder ein neues Skript zu verwenden, und haben Sie negative Konsequenzen aus dieser Entscheidung? Berichten Sie. Vielleicht kann das Problem in drei Zeilen Code oder fünf Minuten Verfeinerung der Technik gelöst werden. Ist Ihnen ein Fehler in Ihrer Software aufgefallen? Melde einen technischen Fehler. Wenn es reproduzierbar ist oder nicht reproduziert werden muss, wird es höchstwahrscheinlich behoben. Bringen Sie Ihre Wünsche, Anregungen und konstruktive Kritik zum Ausdruck und stellen Sie Fragen zur Diskussion, wenn diese relevant erscheinen.
  10. „Bitten Sie um Feedback“. Wir sind alle unvollkommen, genau wie unsere Entscheidungen, und der beste Weg, die Richtigkeit Ihrer Entscheidung zu überprüfen, besteht darin, sie zur Diskussion zu stellen. Wenn Sie etwas für einen Kunden optimiert haben, bitten Sie ihn, die Arbeit zu überwachen. Möglicherweise liegt der Engpass im System nicht dort, wo Sie gesucht haben. Sie haben ein Hilfeskript geschrieben – zeigen Sie es Ihren Kollegen, vielleicht finden sie eine Möglichkeit, es zu verbessern.

Wenn Sie diese Praktiken in Ihrer Arbeit ständig anwenden, werden die meisten Probleme keine Probleme mehr sein: Sie reduzieren nicht nur die Anzahl Ihrer eigenen Fehler und Fälschungen auf ein Minimum, sondern Sie haben auch die Möglichkeit, Fehler zu korrigieren (im Form von Backups und Kollegen, die Sie zum Backup beraten). Darüber hinaus nur technische Details, in denen bekanntlich der Teufel steckt.

Die wichtigsten Tools, mit denen Sie in mehr als 50 % der Fälle arbeiten müssen, sind grep und vim. Was könnte einfacher sein? Textsuche und Textbearbeitung. Allerdings sind sowohl grep als auch vim leistungsstarke Multitools, mit denen Sie Text effizient suchen und bearbeiten können. Wenn Sie mit einem Windows-Notizblock einfach eine Zeile schreiben/löschen können, können Sie in vim fast alles mit Text machen. Wenn Sie mir nicht glauben, rufen Sie den Befehl vimtutor vom Terminal aus auf und beginnen Sie mit dem Lernen. Die Hauptstärke von grep liegt in regulären Ausdrücken. Ja, mit dem Tool selbst kann man recht flexibel Suchbedingungen festlegen und Daten ausgeben, aber ohne RegExp macht das wenig Sinn. Und Sie müssen reguläre Ausdrücke kennen! Zumindest auf einer grundlegenden Ebene. Zunächst würde ich Ihnen raten, sich das anzusehen Videobehandelt die Grundlagen regulärer Ausdrücke und deren Verwendung in Verbindung mit grep. Oh ja, wenn Sie sie mit vim kombinieren, erhalten Sie die ULTIMATE POWER-Fähigkeit, Dinge mit Text zu tun, die Sie mit mehr als 18 Symbolen beschriften müssen.

Von den restlichen 50 % stammen 40 % aus dem Coreutils-Toolkit. Informationen zu Coreutils finden Sie in der Liste unter Wikipedia, und das Handbuch für die gesamte Liste finden Sie auf der Website GNU. Was in diesem Set nicht abgedeckt ist, liegt in den Dienstprogrammen POSIX. Man muss nicht alle Tasten auswendig lernen, aber es ist hilfreich, zumindest grob zu wissen, was die Grundwerkzeuge leisten können. Man muss das Rad nicht von Krücken aus neu erfinden. Irgendwie musste ich in der Ausgabe eines Dienstprogramms Zeilenumbrüche durch Leerzeichen ersetzen, und mein krankes Gehirn brachte eine solche Konstruktion hervor sed ':a;N;$!ba;s/n/ /g', ein Kollege kam und trieb mich mit einem Besen von der Konsole weg und löste dann das Problem schriftlich tr 'n' ' '.

Für einen unerfahrenen Systemadministrator: So schaffen Sie Ordnung im Chaos

Ich würde Ihnen raten, sich daran zu erinnern, was jedes einzelne Werkzeug tut und welche Schlüssel zu den am häufigsten verwendeten Befehlen stehen; für alles andere ist der Mensch da. Wenn Sie Zweifel haben, rufen Sie uns gerne an. Und lesen Sie unbedingt den Mann selbst – er enthält wichtige Informationen darüber, was Sie finden werden.

Wenn Sie diese Tools kennen, können Sie einen erheblichen Teil der Probleme, auf die Sie in der Praxis stoßen, effektiv lösen. In den folgenden Vorlesungen werden wir uns mit der Verwendung dieser Tools und den Frameworks für die zugrunde liegenden Dienste und Anwendungen befassen, für die sie gelten.

Der FirstVDS-Systemadministrator Kirill Tsvetkov war bei Ihnen.

Source: habr.com

Kommentar hinzufügen