Der Notfallmodus (auch bekannt als IPKVM), der den Zugriff auf VPS ohne RDP direkt auf Hypervisorebene ermöglicht, spart wöchentlich 15–20 Minuten.
Das Wichtigste zuerst – keine Menschen verärgern. Support wird weltweit in Linien organisiert, wobei das erste Level typische Lösungsansätze ausprobieren muss. Wenn die Aufgabe über deren Möglichkeiten hinausgeht, wird sie an das zweite Level weitergegeben. Häufig gibt es bei den VDS-Administratoren jedoch solche, die tatsächlich denken können. Im Gegensatz zu vielen anderen Supportdiensten sind sie deutlich häufiger anzutreffen. Sie strukturieren das Ticket gut und beschreiben sofort alles, was notwendig ist. Wenn das erste Level den Überblick verliert und sie aus Versehen darum bitten, es ein- und auszuschalten, ist das ein Fiasko.
Die Aufgabe ist ganz einfach: unseren VDS-Hosting-Support mit minimalen Kosten angemessen zu gestalten. Denn wir sind das Fast-Food der Hosting-Anbieter: keine besonderen Ausschweifungen, niedrige Preise, annehmbares Qualitätsniveau. Es wurde bereits erwähnt, dass mit dem Aufkommen von Instagram-Stars, die versuchen, das Management von Konten zu automatisieren, und den Eigentümern kleiner Unternehmen mit entferntem Rechnungswesen sowie anderen, die technologisch nicht so versiert sind, die Kommunikation "wie ein Admin mit einem Admin" nicht mehr funktioniert. Man musste die Kommunikation anpassen.
Jetzt werde ich etwas mehr über die Prozesse erzählen — und über die unvermeidbaren Fehler, die damit verbunden sind.
Die Nummer 1, um Menschen nicht zu verärgern
Jeder Support ist eine Art Fließbandproduktion. Eine Anfrage kommt herein, der Mitarbeiter der ersten Linie versucht sofort, die typische Situation zu erkennen, die schon tausendmal passiert ist und tausendmal wieder passieren wird. Die Wahrscheinlichkeit liegt bei 90 %, dass die Anfrage typischer Natur ist, und man kann darauf mit nur ein paar Knopfdrücken antworten, um die Vorlage auszufüllen. In die Vorlage müssen normalerweise nur ein paar Wörter eingetragen werden — und fertig. Oder man geht ins Verwaltungsinterface und drückt dort ein paar Knöpfe. In komplizierteren Fällen (wie zum Beispiel bei Transfers zwischen Zonen) müssen die Schritte gemäß dem Algorithmus ausgeführt werden.
Das, was die Menschen am meisten nervt, unabhängig von anderen Unterstützungsqualitäten, ist die typische Reaktion auf atypische Anfragen. Ein Ticket kommt herein, in dem alles ausführlich beschrieben ist, es gibt eine Menge notwendiger Daten zu drei Fragen voraus, der Kunde erwartet einen Dialog… Und bei den ersten Worten tippt der Support-Mitarbeiter im Autopilot-Modus das Standardprotokoll "Versuchen Sie, neu zu starten, das sollte helfen" ein.
Genau das bringt die Leute zur Verzweiflung, und nach solchen Situationen bleibt oft der meiste negative Feedback und wütende Kommentare zurück. Es ist klar, dass wir so Fehler gemacht haben, und daher wissen wir von den Statistiken. Wir haben insgesamt unterschiedlichste Fehler gemacht, aber solche Fälle sind immer einfach krass. Auch für uns selbst. Natürlich würden wir uns wünschen, dass so etwas überhaupt nicht passiert. Aber das ist in der Praxis nicht wirklich möglich: alle paar Wochen drückt ein übermüdeter Mitarbeiter aus Langeweile trotzdem mal auf die fröhlichen Tasten.
Menschen nicht verärgern Nr. 2
Ein weiteres, was das Gehirn ebenso schockiert, ist, wenn auf ein Ticket niemand lange genug antwortet. In Europa ist solches Verhalten im Support normal: drei Tage bis zur Bearbeitung eines Vorfalls sind mehr als üblich. Selbst wenn es dringend ist und etwas brennt – keine sozialen Medien, kein Telefon, kein Messenger, nur Email und warten Sie auf Ihre Reihe. In Russland ist dies viel seltener, aber dennoch werden einige Tickets „vergessen“. Zu Beginn unserer Tätigkeit wurde eine SLA für die erste Reaktion von 15 Minuten festgelegt. Und das bei 24/7 echter Verfügbarkeit. Es ist klar, dass solche Dinge auftreten, wenn das VDS-Hosting größer wird. Aber bei zweifelhaften Dienstanbietern gibt es das nicht. Und wir waren zu Beginn genau der zweifelhafte Anbieter und wurden erst später mehr oder weniger groß. Na ja, mehr oder weniger durchschnittlich.
Die erste Linie – Operatoren, die Skripte erhalten haben und darin geschult wurden, auf typische Situationen zu reagieren. Sie sortieren die Probleme schnell und versuchen innerhalb von 15 Minuten entweder mit einer typischen Maßnahme zu antworten oder mitzuteilen, dass das Ticket in Bearbeitung ist und weitergeleitet wird.
Die zweite Linie besteht bereits aus Hosting-Administratoren, die fast alles manuell erledigen können. Dort befindet sich auch der Teamleiter des Supports, der alles kann und noch ein wenig mehr. Die dritte Linie besteht aus Entwicklern, an die Tickets wie "bitte ändern Sie dies im Interface" oder "ein bestimmter Parameter wird dort nicht korrekt gezählt" weitergeleitet werden.
Die Anzahl der Anfragen reduzieren
Aus verständlichen Gründen, wenn Sie den Support kostengünstig anbieten möchten, sollten Sie nicht die erste Linie aufstocken, damit die Mitarbeiter mit Skripten schneller arbeiten, sondern die Automatisierung erhöhen. Es sollten echte Skripte anstelle von Menschen mit Skripten eingesetzt werden. Deshalb haben wir als eines der ersten Dinge die Prozesse zur Bereitstellung von virtuellen Maschinen, zur Ressourcen-Skalierung (einschließlich der Anpassungen des Speichers nach oben und unten, aber nicht der CPU-Frequenz) und andere ähnliche Vorgänge automatisiert. Je mehr der Benutzer über das Interface selbst erledigen kann, desto einfacher ist es für die erste Linie und desto weniger Personal wird benötigt. Wenn der Benutzer mit etwas ankommt, das auch im Kundenportal verfügbar ist, sollte er darauf hingewiesen werden, wie er dies selbst ausführen kann.
Wenn Sie keinen Support benötigen, bedeutet das, dass dieser gut funktioniert.
Ein weiteres Merkmal, das viel Zeit spart, ist das ausführliche Ausfüllen der Wissensdatenbank. Wenn ein Nutzer auf ein Problem stößt, das nicht in der Liste der unterstützten Aktionen aufgeführt ist (häufig handelt es sich um Fragen wie "Wie richte ich einen Minecraft-Server ein?" oder "Wo stelle ich VPS in Windows Server ein?"), wird ein Artikel in die Wissensdatenbank geschrieben. Ein ebenso detaillierter Artikel wird für alle ungewöhnlichen Anfragen erstellt. Wenn ein Nutzer beispielsweise den Support darum bittet, die integrierte Firewall von Windows Server zu deaktivieren, senden wir ihm Informationen darüber, was passiert, wenn man sie tatsächlich ausschaltet und wie man die Berechtigungen nur für die ausgewählte Software freigibt. Das Problem liegt in der Regel darin, dass etwas aufgrund der Einstellungen keine Verbindung aufbauen kann und nicht an der Firewall selbst. Dies jedes Mal im Dialog zu erklären, ist jedoch sehr schwierig. Die Firewall einfach auszuschalten, möchten wir aber auch nicht, denn schnell verlieren wir entweder die virtuelle Maschine oder den Kunden.
Wenn eine bestimmte Anwendung in der Wissensdatenbank sehr oft besucht wird, kann man ein Distribution im Marktplatz einführen, um einen Service wie „Server mit bereits installiertem Softwarepaket starten“ anzubieten. So ist es zum Beispiel bei Docker und dem Minecraft-Server passiert. Wieder einmal ermöglicht ein Button „Bitte machen Sie es mir einfach“ im Interface, bis zu hundert Tickets pro Jahr zu sparen.
Notfallmodus
Nach diesen Maßnahmen bleiben die meisten schwerwiegenden Fehler, die manuelle Eingriffe erfordern, hauptsächlich darauf zurückzuführen, dass der Benutzer aus irgendwelchen Gründen die Fernzugriffssoftware auf dem Gastbetriebssystem im Hypervisor verloren hat. Der häufigste Grund dafür ist eine falsche Firewall-Konfiguration, gefolgt von Bugs, die ein normales Starten von Windows verhindern und zu einem Wiedereinstieg im Abgesicherten Modus führen. Im Abgesicherten Modus ist RDP standardmäßig nicht verfügbar.
Wir haben für diesen Fall einen Notfallmodus eingerichtet. Normalerweise benötigt man einen Remote-Client, um auf eine VDS-Maschine zuzugreifen. Meistens handelt es sich um Konsolenzugriff, RDP, VNC oder Ähnliches. Der Nachteil dieser Methoden ist, dass sie ohne ein Betriebssystem nicht funktionieren. Aber auf der Hypervisor-Ebene können wir sowohl das Bild auf dem Bildschirm abrufen als auch Tastatureingaben übermitteln! Zwar belastet das die CPU erheblich (wegen der tatsächlichen Videotransmission), aber es ermöglicht, das gewünschte Ergebnis zu erzielen.
Deshalb haben wir allen Nutzern Zugang zum Notfallmodus gewährt, jedoch ist dieser in Bezug auf die Dauer der kontinuierlichen Nutzung begrenzt. Glücklicherweise zeigt die Praxis, dass diese Zeit in der Regel ausreicht, um einen Neustart durchzuführen und Anpassungen vorzunehmen.
Das Ergebnis sind noch weniger Support-Tickets. Dort, wo der Admin das Ticket selbst lösen kann, muss der Support nicht eingreifen und nachforschen.
Verbleibende Probleme
Sehr oft glauben die Nutzer, dass der Support ihnen etwas aufdrängt. Leider können wir damit nichts tun (oder wir haben keine Lösung gefunden). Die zwei häufigsten Beispiele sind Ressourcenlimits und DDoS-Schutz.
Jede virtuelle Maschine hat Begrenzungen hinsichtlich der Disknutzung, des Speicherplatzes und des zulässigen Datenverkehrs. Die Möglichkeit zur Festlegung dieser Grenzen ist in unserem Angebot enthalten. Diese Grenzen werden so gewählt, dass die Mehrheit der Nutzer problemlos arbeiten kann, ohne sich ihrer bewusst zu sein. Sollten Sie jedoch anfangen, den Kanal und die Disk stark zu beanspruchen, warnen die Algorithmen automatisch den Nutzer. Seit April letzten Jahres haben wir die automatischen Sperrungen abgeschafft. Stattdessen setzen wir weiche Grenzen für variable Zeiträume.
Früher lief es so: Zunächst gab es eine Warnung, und wenn der Benutzer nicht reagierte, wurde automatisch gesperrt. In diesem Moment waren die Leute verärgert: "Was soll das, euer System hat einen Fehler, da war nichts!" – und dann konnte man versuchen, das Anwendungssoftwareproblem zu klären oder einen Upgrade des Tarifplans anzubieten. Die Funktionalität der Anwendungssoftware lässt sich nicht von uns prüfen, da dies außerhalb des Supports liegt. Obwohl wir in den ersten Fällen zusammen mit den Benutzern nachgeforscht haben. Besonders in Erinnerung geblieben ist der Fall, in dem ein Videoaufruf-Manipulator einen eingebetteten Trojaner auf YouTube hatte, dessen Speicher überlief. Letztendlich kamen wir zu dem Schluss, dass dies keine Heisenbugs waren, sondern Probleme bei den Benutzern, denn sonst hätten wir zahlreiche ähnliche Anfragen erhalten. Doch bisher hat sich niemand eingestanden, dass er selbst die Tarife überschreiten könnte.
Eine ähnliche Geschichte – mit DDoS: Wir informieren Sie, geschätzter Nutzer, dass Sie unter Attacke stehen. Bitte aktivieren Sie den Schutz. Der Nutzer sagt: „Ja, das sind Sie, die mich angreifen!“ Natürlich greifen wir nur einen einzelnen Nutzer mit DDoS an, um 300 Rubel zu verdienen. Das ist ein profitables Geschäft. Ja, ich weiß, dass viele größere Hosting-Anbieter aus der teureren Kategorie diesen Schutz in ihren Tarifen inkludieren, aber wir können das nicht: Die Fast-Food-Ökonomie diktiert andere niedrigere Preise.
Nicht weniger oft sind die Nutzer unzufrieden, deren Daten wir entfernt haben. In dem Sinne, dass es rechtmäßig entfernt wurde, nachdem die bezahlte Laufzeit abgelaufen ist. Wenn jemand die Miete für den VDS nicht verlängert, erhält er mehrere Benachrichtigungen mit Erklärungen, was als Nächstes passiert. Zum Zeitpunkt des Ablaufs der Zahlung wird die virtuelle Maschine gestoppt, aber ihr Abbild bleibt erhalten. Es folgt eine weitere Benachrichtigung, gefolgt von noch einigen mehr. Das Abbild wird sieben zusätzliche Tage lang aufbewahrt und erst dann endgültig gelöscht. Es gibt jedoch eine Gruppe von Leuten, die damit sehr unzufrieden sind. Angefangen bei "der Admin hat gekündigt, die Benachrichtigungen gingen an seine E-Mail, stellt es wieder her" bis hin zu Betrugsvorwürfen und physischen Bedrohungen. Der Grund — die gleichen Preise wie für alle anderen Nutzer. Wenn wir einen Monat speichern würden, bräuchten wir mehr Speicherplatz. Das würde höhere Kosten für jeden einzelnen Kunden bedeuten. Und die Wirtschaft des Fast Foods... Nun, Sie wissen, was ich meine. Am Ende sehen wir in Foren Kommentare wie "Geld genommen, Daten gelöscht, Betrüger".
Ich möchte darauf hinweisen, dass wir eine Premium-Tarifreihe anbieten. Hier sieht die Situation anders aus, da wir die Wünsche der Kunden berücksichtigen und sowohl die Limits als auch die Löschung bei Nichtzahlung flexibel anpassen (wir bringen sie in den Minusbereich, um eine Blockierung zu vermeiden). Dies ist hier wirtschaftlich sinnvoll, denn es können tatsächlich viele unvorhergesehene Ereignisse eintreten, und die Bindung eines kontinuierlichen Großkunden ist kostbar.
Manchmal sind die Benutzer böswillig. Mehrmals gab es in unserem System Störungen, bei denen Hunderte von virtuellen Maschinen aufgrund offensichtlich illegitimer Kundenaktionen blockiert wurden. Gerade wegen solcher Situationen benötigten wir eigene Netzwerktreiber, um die Netzwerkaktivität zu überwachen und sicherzustellen, dass der Benutzer keinen Angriff von seinem Server ausführt. Eine solche Überwachung ist wichtig, damit die Grenzen benachbarter virtuellen Maschinen nicht von unruhigen Nutzern überschritten werden.
Es gibt Leute, die einfach nur spammen, mining betreiben oder anderweitig gegen unsere Allgemeinen Geschäftsbedingungen verstoßen. Dann wenden sie sich an den Support und fragen, was schiefgelaufen ist und warum die Maschine gesperrt wurde. Wenn im Ticketprozess auf dem Screenshot das Programm 'spammer.exe' genannt wird, läuft wahrscheinlich etwas falsch. Alle zwei Wochen erhalten wir Beschwerden von Unternehmen wie Sony oder Lucasfilm (jetzt Disney), dass jemand von unserem VPS aus unserem IP-Bereich einen raubkopierten Film verbreitet. In einem solchen Fall wird die Maschine sofort gesperrt und das verbleibende Guthaben wird gemäß unseren Richtlinien zurückerstattet (erinnere daran: die Abrechnung erfolgt sekundengenau, das Guthaben wird also immer genau bestimmt). Um eine Rückerstattung zu erhalten, muss gemäß den gesetzlichen Vorschriften ein Ausweis vorgelegt werden: dies ist eine Maßnahme zur Bekämpfung der Geldwäsche. Piraten behaupten jedoch, anstatt ihren Ausweis zu zeigen, dass wir ihnen das Geld abgenommen haben, ohne die Umstände zu erläutern.
Ach ja. Die beliebteste Anfrage des Jahres lautet: 'Kann ich die virtuelle Maschine für ein paar Tage zum Tarif von 30 Rubel pro Monat testen, bevor ich kaufe?'
Zusammenfassung
Die erste Linie sortiert die Tickets und beantwortet sie mit typischen Aktionen. Hier gibt es die meisten Unzufriedenheiten. Eine Behebung ist allerdings nicht möglich, da die Grundlage für eine Lösung in der Automatisierung des Hostings liegt, sprich in einem großen Backlog. Ja, wir haben mehr als viele auf dem Markt, aber trotzdem nicht genug. Daher ist das Beste, was wir tun können, die Überwachung der ersten Linie zu verbessern. Das Monitoring des Kundensupports bedeutet, die KPIs der ersten Linie zu erfüllen. Verspätungen beim SLA sind in Echtzeit sichtbar: wer schwächelt, oft auch warum. Anfragen gehen durch solche Alarme nie verloren. Ja, auf ein Ticket kann mit einer irrelevanten Vorlage geantwortet werden, aber das erfahren wir durch das Feedback.
Wenn der Kunde es sehr wünscht, kann ein Mitarbeiter der zweiten Linie auf den Server zugreifen und dort das Notwendige für den Kunden erledigen (Voraussetzung ist die Bestätigung per E-Mail, in der er die Zugangsdaten für den Server mitteilt).
Wir tun dies sehr selten und vertrauen solche Arbeiten nur den Besten an, weil wir garantieren möchten, dass die Benutzerdaten nicht beschädigt werden. Die Besten sind das Support-Team der zweiten Linie.
Die erste Linie verfügt über eine Wissensdatenbank, auf die komplizierte Fragen verwiesen werden können.
Ein funktionsreicher persönlicher Bereich plus eine Wissensdatenbank — so konnten wir die Anzahl der Anfragen auf durchschnittlich 1–1,5 pro Jahr und Kunde senken.
Die zweite Linie bearbeitet in der Regel komplexe Anfragen, die manuelle Bearbeitung erfordern. Auffällig ist, dass je teurer der Tarif, desto weniger solcher Anfragen pro virtuellem Server auftreten. In der Regel, weil diejenigen, die sich einen teuren Tarif leisten können, entweder Spezialisten im Team haben oder viele Probleme aufgrund ausreichender Konfigurationen gar nicht auftreten. Ich erinnere mich immer noch an den Helden, der einen nicht so alten Windows Server auf einer Konfiguration mit 256 MB RAM installiert hat.
Die zweite Linie verfügt über eine Reihe von Distributionen und ein Set von Automatisierungsskripten. Beides kann bei Bedarf aktualisiert werden.
Die zweite Linie und persönliche Manager für VIP-Tarife können Notizen im Kundenprofil hinzufügen. Wenn es ein Linux-Admin ist, wird das vermerkt. Das dient der ersten Linie als Hinweis: Der Benutzer weiß genau, dass das keine Bauchlandung, sondern eine kontrollierte Zerstörung sein wird.
Die dritte Linie beschreibt das Seltsamste. Zum Beispiel hatten wir einen Bug, der verhinderte, dass man auf eine Funktion im Kundenbereich in Firefox zugreifen konnte. Der Benutzer hat direkt gedroht: „Wenn ihr das nicht innerhalb von 12 Stunden behebt, werde ich auf allen Hosting-Bewertungen schreiben.“ Wie sich herausstellte, lag das Problem am benutzerdefinierten Adblocker. Auf Benutzerseite, seltsamerweise. Oft treten komplexe Fehler ohne Details auf, und sie können nicht mehr nachgestellt werden. Manchmal kommen Detektive mit einem Screenshot: „Warum behebt ihr den Bug schon einen Monat?“ – „Wir suchen einfach nach eurem Bug seit dieser Zeit.“ – „Ach, mir ist er heute wieder begegnet, aber ich konnte ihn wieder nicht reproduzieren…"
Im Grunde weiß man nie, wo der Screenshot des Dialogs mit dem Support landen wird, und wenn jemand den Support kontaktiert, hat er ein Problem. Man kann die Beziehung verbessern. Zumindest versuchen.
Ja, wir wissen, dass unser Support nicht perfekt ist, aber ich möchte glauben, dass er eine angemessene Geschwindigkeit bei ausreichender Qualität kombiniert. Und er erhöht nicht die Preise für diejenigen, die darauf verzichten können.
Quelle: habr.com
