Der Notfallmodus (auch als IPKVM bezeichnet), der es ermöglicht, sich ohne RDP direkt auf Hypervisor-Ebene mit der VPS zu verbinden, spart 15–20 Minuten pro Woche.
Zunächst und vor allem: Die Leute nicht ärgern. Weltweit ist der Support in Linien unterteilt, und der Mitarbeiter der ersten Linie sollte zunächst typische Lösungsmethoden ausprobieren. Wenn die Aufgabe über deren Möglichkeiten hinausgeht, wird sie an die zweite Linie weitergeleitet. Unter den VDS-Administratoren gibt es jedoch häufig Menschen, die wirklich denken können. Im Gegensatz zu vielen anderen Supportdiensten. Nun, zumindest erheblich häufiger. Und sie strukturieren das Ticket gut, indem sie sofort alles Notwendige beschreiben. Wenn der ersten Linie "die Augen trüb werden" und sie versehentlich auf eine solche Anfrage antworten, indem sie sagen, man solle es ein- und ausschalten – das ist ein Fiasko.
Die Aufgabe ist sehr einfach: Den Support für unser VDS-Hosting angemessen zu gestalten, bei minimalen Kosten. Denn wir sind das Fast Food der Hosting-Anbieter: keine besonderen "Schönheitskorrekturen", niedrige Preise, akzeptable Qualität. wurde bereits darüber berichtet, dass mit dem Aufkommen von Instagram-Influencern, die versuchen, die Kontoführung und die Inhaber kleiner Unternehmen mit externen Buchhaltungen zu automatisieren, sowie anderen weniger technologisch versierten Personen, die Kommunikation "wie ein Admin mit einem Admin" nicht mehr funktioniert. Man musste die Sprache der Kommunikation ändern.
Jetzt werde ich etwas mehr über die Prozesse erzählen – und über die unvermeidlichen Fehler, die damit einhergehen.
Die Leute nicht ärgern Nr. 1
Jeder Support ist eine Fließbandproduktion. Es kommt eine Anfrage herein, der Mitarbeiter der ersten Linie versucht sofort, die typische Situation zu erkennen, die schon tausendmal passiert ist und tausendmal wieder passieren wird. Es besteht eine 90%ige Chance, dass die Anfrage typisch ist und man darauf mit nur ein paar Klicks eine Vorlage einsetzen kann. In die Vorlage müssen in der Regel nur ein paar Worte eingetragen werden – und fertig. Oder man geht in die Verwaltungsoberfläche und drückt dort ein paar Knöpfe. In komplizierteren Fällen (z. B. Transfers von Zone zu Zone) müssen Aktionen gemäß einem Algorithmus ausgeführt werden.
Was die Menschen unabhängig von anderen Unterstützungsqualitäten am meisten frustriert, ist die typische Reaktion auf eine atypische Anfrage. Ein Ticket kommt herein, in dem alles ausführlich beschrieben ist, es gibt eine Menge notwendiger Daten zu drei Fragen im Voraus, der Kunde erwartet einen Dialog... Und bei den ersten Worten tippt der Supportmitarbeiter im Autopilot-Modus den Standardtext „Versuchen Sie, neu zu starten, das sollte helfen“ ein.
Gerade das offenbart den Menschen die Nerven, und genau nach solchen Situationen bleiben die meisten negativen Bewertungen und wütenden Kommentare zurück. Es ist klar, dass wir so einen Fehler gemacht haben, daher wissen wir von der Statistik. Wir haben generell unterschiedlich Fehler gemacht, aber solche Fälle sind immer einfach wahnsinnig. Auch für uns selbst. Natürlich würden wir uns wünschen, dass so etwas gar nicht passiert. Aber das ist in der Praxis nicht wirklich möglich: alle paar Wochen drückt ein Mitarbeiter, der vom Einheitsbrei erschöpft ist, doch mal auf die lustigen Knöpfe.
Menschen nicht ärgern Nr. 2
Das Zweite, was ebenso die Nerven der Menschen offenbart, ist, wenn auf ein Ticket lange genug niemand antwortet. In Europa ist ein solches Verhalten im Support normal: drei Tage, bis ein Vorfall bearbeitet wird – mehr als normal. Selbst wenn es sehr dringend ist und etwas brennt – keine sozialen Netzwerke, kein Telefon, kein Messenger, nur E-Mail und warten Sie auf Ihre Reihe. In Russland ist das viel weniger verbreitet, aber trotzdem werden einige Tickets „vergessen“. Zu Beginn haben wir eine SLA von 15 Minuten für die erste Reaktion gesetzt. Und das bei 24/7 ehrlichem Support. Es ist klar, dass so etwas entsteht, wenn VDS-Hosting groß wird. Aber bei fragwürdigen Dienstanbietern gibt es so etwas nicht. Und wir waren am Anfang gerade fragwürdig und wurden erst später mehr oder weniger groß. Na gut, mehr oder weniger durchschnittlich.
Die erste Linie sind Operatoren, die Skripte erhalten haben und gelernt haben, auf typische Situationen zu reagieren. Sie sortieren Probleme schnell und versuchen innerhalb von 15 Minuten entweder durch eine typische Handlung zu antworten oder mitzuteilen, dass das Ticket in Bearbeitung ist, und es an die zweite Linie weiterzuleiten.
Die zweite Linie sind bereits die Administratoren des Hostings, die fast alles von Hand machen können. Dort ist auch der Supportleiter, der alles kann und noch ein bisschen mehr. Die dritte Linie sind bereits die Entwickler, an die Tickets wie „Bitte das hier im Interface ändern“ oder „Ein bestimmter Parameter wird dort nicht richtig berücksichtigt“ gelangen.
Die Anzahl der Anfragen reduzieren
Aus verständlichen Gründen, wenn Sie kostengünstigen Support anbieten möchten, sollten Sie die erste Linie nicht erhöhen, damit Menschen mit Skripten schneller zurechtkommen, sondern die Automatisierung steigern. Damit anstelle von Menschen mit Skripten echte Skripte vorhanden sind. Daher haben wir als eine der ersten Maßnahmen die Prozesse für das Heben von virtuellen Maschinen, das Skalieren der Ressourcen (einschließlich Festplattenskalierung nach oben und unten, jedoch nicht bei der Prozessorfrequenz) und ähnliche Dinge automatisiert. Je mehr der Benutzer aus der Oberfläche machen kann, desto einfacher ist es für die erste Linie, und desto weniger kann sie sein. Wenn der Benutzer ein Anliegen hat, das im persönlichen Bereich vorhanden ist, müssen wir zeigen und erklären, wie dies eigenständig erledigt werden kann.
Wenn Sie keinen Support benötigen, bedeutet das, dass er gut funktioniert.
Ein weiteres Merkmal, das sehr viel Zeit spart, ist das langwierige Ausfüllen der Wissensdatenbank. Wenn der Benutzer ein Problem hat, das nicht auf der Liste der unterstützten Aktionen steht (häufig handelt es sich um Fragen wie "Wie installiere ich einen Minecraft-Server?" oder "Wo in Windows Server stelle ich VPS ein?"), wird ein Artikel für die Wissensdatenbank verfasst. Ein ebenso ausführlicher Artikel wird für alle seltsamen Anfragen verfasst. Zum Beispiel, wenn ein Benutzer den Support bittet, die integrierte Firewall von Windows Server zu deaktivieren, senden wir ihm Informationen darüber, was passiert, wenn sie tatsächlich deaktiviert wird, und wie er Berechtigungen nur für die ausgewählte Software einrichten kann. Denn das Problem liegt normalerweise darin, dass etwas aufgrund der Einstellungen nicht verbinden kann und nicht an der Firewall selbst. Aber das jedes Mal in einem Dialog zu erklären, ist sehr schwierig. Und die Firewall irgendwie zu deaktivieren, wollen wir nicht, weil wir ziemlich schnell entweder die virtuelle Maschine oder den Kunden verlieren.
Wenn etwas zu Anwendungssoftware in der Wissensdatenbank sehr häufig aufgerufen wird, kann man ein Distributionspaket im Marktplatz einfügen, um den Service „Server mit bereits installiertem dies hier hochfahren“ anzubieten. So geschah es auch mit Docker und dem Minecraft-Server. Wieder einmal spart ein Button "Machen Sie mir eine Freude" in der Oberfläche bis zu hundert Tickets pro Jahr.
Notfallmodus
Nach diesen Maßnahmen bleiben die meisten schwerwiegenden Störungen, die manuell behoben werden müssen, bei dem Umstand, dass der Benutzer aus irgendwelchen Gründen den Zugriff auf das Gastbetriebssystem im Hypervisor verloren hat. Der häufigste Fall ist eine einfach falsche Firewall-Konfiguration, der zweithäufigste – irgendwelche Bugs, die verhindern, dass Windows normal startet und einen Neustart im abgesicherten Modus erzwingen. Und im abgesicherten Modus ist RDP standardmäßig nicht verfügbar.
Für diesen Fall haben wir einen Notfallmodus eingerichtet. Normalerweise benötigt man für den Zugriff auf eine VDS-Maschine einen bestimmten Client für den Remote-Zugriff. Häufig handelt es sich um Konsolenzugriff, RDP, VNC oder ähnliche Lösungen. Der Nachteil dieser Methoden ist, dass sie ohne Betriebssystem nicht funktionieren. Aber auf Hypervisor-Ebene können wir sowohl das Bild auf dem Bildschirm erhalten als auch Tastatureingaben übertragen! Das belastet zwar die CPU erheblich (aufgrund der tatsächlichen Videoübertragung), ermöglicht aber das gewünschte Ergebnis.
Deshalb haben wir allen Benutzern Zugriff auf den Notfallmodus gewährt, dieser ist jedoch zeitlich begrenzt. Glücklicherweise zeigt die Praxis, dass diese Zeit ausreichend ist, um einen Neustart durchzuführen und etwas zu korrigieren.
Das Ergebnis – noch weniger Support-Tickets. Und dort, wo der Administrator das Ticket selbst beheben kann, muss der Support nicht eingreifen und Nachforschungen anstellen.
Übrig gebliebene Probleme
Sehr oft denken Benutzer, dass der Support ihnen etwas aufschwatzt. Leider kann man da nichts machen (oder wir haben es nicht erfunden). Die zwei häufigsten Beispiele sind die Ressourcenlimits und DDoS-Schutz.
Jede virtuelle Maschine hat Limits für die Belastung von Festplatte, Arbeitsspeicher und erlaubtem Datenverkehr. Die Möglichkeit zur Festlegung von Limits ist in den Angeboten verankert, die Limits selbst werden so gewählt, dass der Großteil der Benutzer problemlos arbeiten kann, ohne davon Kenntnis zu haben. Wenn Sie jedoch plötzlich den Kanal und die Festplatte sehr stark beanspruchen, warnen die Algorithmen den Benutzer automatisch. Seit April des letzten Jahres haben wir die Autoblockierungen entfernt. Stattdessen werden flexible Limits für variable Zeiträume festgelegt.
Früher war es so: Warnung, dann, wenn der Nutzer nicht reagierte, die automatische Sperrung. In diesem Moment waren die Leute beleidigt: „Was soll das, eure Systeme haben einen Fehler, es gab nichts!“ — und dann konnte man entweder versuchen, sich mit der Anwendungssoftware auseinanderzusetzen oder einen Tarifwechsel vorschlagen. Wir haben keine Möglichkeit, uns mit der Funktionsweise der Anwendungssoftware zu befassen, da das außerhalb des Supports liegt. Obwohl wir die ersten paar Fälle gemeinsam mit den Nutzern besprochen haben. Besonders in Erinnerung blieb der Fall, bei dem ein Aufbläser von YouTube-Views einen eingebetteten Trojaner hatte, und bei diesem Trojaner lief der Speicher über. Letztendlich kamen wir zu dem Schluss, dass das keine Geisterprobleme waren, sondern Probleme der Nutzer, sonst wären wir mit ähnlichen Anfragen überflutet worden. Aber noch hat sich niemand bereit erklärt zuzugeben, dass er selbst die Tarife überschreiten konnte.
Eine ähnliche Geschichte gibt es mit DDoS: Wir schreiben, dass Sie, sehr geehrter Nutzer, unter Angriff stehen. Bitte aktivieren Sie den Schutz. Und der Nutzer: „Das sind Sie, die mich angreifen!“ Natürlich setzen wir unbedingt einen Nutzer mit DDoS aus, um 300 Rubel abzuzocken. Das ist ein lucratives Geschäft. Ja, ich weiß, dass viele große Hosting-Anbieter der teureren Kategorie diesen Schutz in ihren Tarifen enthalten, aber wir können das nicht machen: Die Fastfood-Ökonomie diktiert andere Mindestpreise.
Nicht selten sind auch diejenigen mit der Unterstützung unzufrieden, deren Daten wir gelöscht haben. In dem Sinne, dass wir sie legitim nach Ablauf der bezahlten Frist gelöscht haben. Wenn jemand die Miete für VDS nicht verlängert, erhält er mehrere Benachrichtigungen mit Erklärungen, was als Nächstes passiert. Zum Zeitpunkt des Ablaufs der Zahlung wird die virtuelle Maschine gestoppt, aber ihr Abbild wird gespeichert. Es kommt noch eine weitere Benachrichtigung und dann noch ein paar. Das Abbild wird sieben zusätzliche Tage aufbewahrt und erst dann dauerhaft gelöscht. Es gibt also eine Gruppe von Menschen, die damit sehr unzufrieden ist, beginnend mit „Der Admin hat gekündigt, Benachrichtigungen gingen an seine E-Mail, stellt das wieder her“ und endend mit Betrugsvorwürfen und Drohungen mit körperlicher Gewalt. Der Grund sind genau die gleichen Preise für alle anderen Nutzer. Wenn wir es einen Monat lang aufbewahren, benötigen wir mehr Speicher. Das würde höhere Preise für jeden einzelnen Kunden bedeuten. Und die Fastfood-Ökonomie... Nun, Sie verstehen. Und in der Folge bekommen wir in den Foren Rückmeldungen wie „Geld genommen, Daten gelöscht, Betrüger“.
Ich möchte darauf hinweisen, dass wir eine Reihe von Premium-Tarifen haben. Dort ist die Situation natürlich anders, da wir die Wünsche des Kunden berücksichtigen und sowohl das Limit als auch die Aussetzung bei Nichtzahlung flexibel anpassen (wir führen es ins Minus, um keine Sperrung vorzunehmen). Dort ist es wirtschaftlich sinnvoll, denn es kann wirklich alles passieren, und die Beibehaltung eines ständigen Großkunden ist teuer.
Manchmal sind die Nutzer böswillig. Mehrmals gab es in unserem System Fehler bei der Sperrung von Hunderten von virtuellen Maschinen aufgrund offensichtlich illegitimer Aktionen von Kunden. Tatsächlich benötigten wir aufgrund solcher Situationen eigene Netzwerktreiber, um die Netzwerkaktivität zu überwachen und zu erkennen, dass der Nutzer keinen Angriff von seinem Server ausführt. Eine derartige Überwachung ist wichtig, damit die Grenzen der benachbarten virtuellen Maschinen nicht von randalierenden Nutzern überschritten werden.
Es gibt solche, die einfach spammen, minen oder anderweitig gegen die Vereinbarung verstoßen. Dann wenden sie sich an den Support und fragen, was schiefgelaufen ist und warum die Maschine gesperrt wurde. Wenn der Prozess im Ticket auf dem Screenshot 'spammer.exe' heißt, dann läuft wahrscheinlich etwas falsch. Etwa alle zwei Wochen erhalten wir Beschwerden von Firmen wie Sony oder Lucasfilm (nun Disney), dass jemand von unserem virtuellen Server aus unserem IP-Adressbereich einen Raubfilm verbreitet. In einem solchen Fall erfolgt sofort die Sperrung und die Rückerstattung des verbleibenden Guthabens gemäß der Vereinbarung (ich erinnere daran: die Abrechnung erfolgt sekundengenau, der Rest wird also immer genau sein). Und um das Geld zurückzuerhalten, muss laut Gesetz ein Ausweis vorgelegt werden: dies ist Teil der Maßnahmen gegen Geldwäsche. Piraten schreiben aus irgendeinem Grund, anstatt einen Ausweis vorzulegen, dass wir ihnen Geld gestohlen haben, und vergessen dabei, bestimmte Umstände zu klären.
Ach ja. Unsere beste Anfrage des Jahres lautet: 'Kann ich die virtuelle Maschine für 30 Rubel pro Monat einige Tage testen, bevor ich kaufe?'.
Fazit
Die erste Linie sortiert Tickets und reagiert mit typischen Aktionen. Hier gibt es am meisten Unzufriedenheit. Das alles zu beheben wird nicht möglich sein, weil die Grundlage für die Behebung in der Automatisierung des Hostings liegt, also in einem riesigen Backlog. Ja, wir haben mehr als viele auf dem Markt, aber es ist immer noch nicht genug. Daher ist das Beste, was man tun kann, die Überwachung der ersten Linie zu verbessern. Die Überwachung des Support-Teams ist die Erfüllung der KPIs der ersten Linie. In Echtzeit sind Verzögerungen bei den SLAs sichtbar: wer Fehler macht, oft — warum. Dank solcher Alarme gehen Anfragen niemals verloren. Ja, ein Ticket kann mit einem nicht themenbezogenen Template beantwortet werden, aber das erfahren wir bereits durch das Feedback.
Wenn der Kunde sehr darum bittet, kann der Spezialist der zweiten Linie auf den Server zugreifen und das tun, was der Kunde benötigt (Bedingung ist eine schriftliche Bestätigung, in der er die Zugangsdaten für den Server mitteilt).
Wir machen das sehr selten und vertrauen solche Arbeiten nur den Besten an, weil wir Garantien haben wollen, dass die Benutzerdaten nicht beschädigt werden. Die Besten sind die zweite Linie des Supports.
Die erste Linie hat eine Wissensdatenbank, in die man komplexe Anfragen senden kann.
Ein funktionsreicher persönlicher Bereich plus Wissensdatenbank — und so konnten wir die Anzahl der Anfragen auf durchschnittlich 1–1,5 pro Jahr und Kunde senken.
Die zweite Linie bearbeitet normalerweise komplexe Anfragen, die manuelle Arbeit erfordern. Auffällig ist: Je teurer der Tarif, desto weniger solcher Anfragen pro virtueller Maschine. Normalerweise, weil die, die sich teure Tarife leisten können, entweder Spezialisten im eigenen Team haben oder einfach die Hälfte der Probleme nicht auftreten, weil die Konfigurationen für alles ausreichen. Ich erinnere mich immer noch an den Helden, der einen nicht so alten Windows Server auf einer Konfiguration mit 256 MB RAM installiert hat.
Die zweite Linie hat einen Satz von Distributoren und einen Satz von Automatisierungsskripten. Beides kann bei Bedarf aktualisiert werden.
Die zweite Linie und die persönlichen Manager von VIP-Tarifen können Kommentare im Kundenprofil hinzufügen. Wenn er ein Linux-Admin ist — dann werden wir das so vermerken. Das wird eine Hilfestellung für die erste Linie sein: Der Benutzer weiß genau, dass es sich nicht um einen Schuss ins eigene Knie handelt, sondern um kontrollierte Zerstörung.
Die dritte Linie regelt das Seltsamste. Zum Beispiel hatten wir einen Fehler, bei dem man nicht auf eine der Funktionen des persönlichen Kontos in Firefox zugreifen konnte. Der Benutzer drohte direkt: „Wenn ihr das nicht innerhalb von 12 Stunden behebt, werde ich in allen Host-Bewertungen darüber schreiben.“ Wie sich herausstellte, lag das Problem am benutzerdefinierten Adblocker. Auf Seiten des Nutzers, so seltsam es auch scheint. Oft kommen komplexe Fehler ohne Details, und sie können es nicht wiederholen. Manchmal gibt es Detektive mit Screenshots: „Warum behebt ihr es schon seit einem Monat?“ — „Ja, wir suchen einfach nach eurem Fehler.“ — „Ach, mir ist es heute wieder aufgefallen, aber ich konnte es wieder nicht reproduzieren…"
Im Allgemeinen weiß man nie, wo ein Screenshot eines Dialogs mit dem Support landen wird, und wenn jemand den Support kontaktiert, hat er ein Problem. Man kann die Einstellung verbessern. Wenigstens versuchen.
Ja, wir wissen, dass unser Support nicht perfekt ist, aber, so hoffe ich, bietet er genug Geschwindigkeit bei angemessener Qualität. Und er erhöht die Preise für Tarife nicht für diejenigen, die darauf verzichten können.
Quelle: habr.com
