Fallback-modus (ook wel IPKVM genoemd), waarmee je rechtstreeks vanuit de hypervisorlaag verbinding kunt maken met een VPS zonder RDP, scheelt 15-20 minuten per week.
Het eerste en belangrijkste is dat je mensen niet kwaad maakt. Over de hele wereld is de ondersteuning verdeeld in lijnen en is de medewerker de eerste die typische oplossingen uitprobeert. Als de taak hun grenzen overschrijdt, breng deze dan over naar de tweede lijn. Onder VDS-beheerders zijn er dus vaak mensen die weten hoe ze moeten denken. In tegenstelling tot veel andere steunen. Nou ja, in ieder geval aanzienlijk vaker. En ze structureren het ticket goed, waarbij ze meteen alles beschrijven wat nodig is. Als de eerste regel “wazige ogen” krijgt en ze je per ongeluk vragen om deze in reactie hierop aan en uit te zetten, is het een fiasco.
De taak is heel eenvoudig: tegen minimale kosten adequate ondersteuning bieden voor onze VDS-hosting. Omdat wij het fastfood van de wereld van hostingproviders zijn: geen speciaal “liken”, lage prijzen, normale kwaliteit. Er was al een verhaal over het feit dat met de komst van Instagram-klootzakken die accountbeheer probeerden te automatiseren en eigenaren van kleine bedrijven met boekhouding op afstand en andere mensen die niet erg ver gevorderd zijn in de technologie, de communicatie “als beheerder met een beheerder” niet meer werkte. Ik moest de taal van de communicatie veranderen.
Nu zal ik je wat meer vertellen over de processen - en over de onvermijdelijke problemen daarmee.
Maak mensen niet kwaad nr. 1
Elke ondersteuning is een productie aan de lopende band. Er komt een aanvraag binnen, de eerstelijnsmedewerker probeert meteen een typische situatie te herkennen die al duizend keer is gebeurd en nog duizend keer zal gebeuren. Er is een kans van 90% dat de toepassing een typische toepassing is, en u kunt deze beantwoorden door letterlijk op een paar knoppen te drukken, zodat de sjabloon wordt vervangen. Meestal hoeft u slechts een paar woorden in de sjabloon te schrijven en u bent klaar. Of ga naar de beheerinterface en druk daar op een paar knoppen. In complexere gevallen (bijvoorbeeld overdrachten van zone naar zone) moet u het algoritme volgen.
Wat mensen het meest irriteert, ongeacht andere vormen van ondersteuning, is de typische reactie op een atypisch verzoek. Er komt een ticket binnen, waar alles tot in detail beschreven staat, er staan veel benodigde gegevens voor drie vragen in het verschiet, de klant anticipeert op een dialoog... En volgens de eerste woorden typt de supportmedewerker op de automatische piloot een akkoord ter vervanging van het sjabloon "Probeer opnieuw op te starten, het zou moeten helpen."
Dit is wat de geest van mensen echt opent, en na dergelijke situaties blijven de meest negatieve recensies en boze opmerkingen over. Het is duidelijk dat we het zo mis hadden, dat is waar we de statistieken kennen. Over het algemeen hebben we op verschillende manieren fouten gemaakt, maar dergelijke gevallen zijn altijd gewoon wild. Ook voor onszelf. Wij willen uiteraard graag dat dit helemaal niet gebeurt. Maar in de praktijk is dat niet zo goed mogelijk: eens in de paar weken drukt een medewerker die de eentonigheid beu is, op de grappige knopjes.
Maak mensen niet kwaad nr. 2
Het tweede dat de geest evenzeer opent, is wanneer niemand lang genoeg op een ticket reageert. In Europa is dit ondersteuningsgedrag normaal: drie dagen voordat een incident voor het werk wordt geaccepteerd, is meer dan de norm. Zelfs als je heel dringend bent en er iets brandt - geen sociale netwerken, geen telefoon, geen messenger, gewoon e-mailen en op je beurt wachten. In Rusland komt dit veel minder vaak voor, maar toch worden sommige kaartjes ‘vergeten’. Helemaal aan het begin van de werkzaamheden hebben we een SLA ingesteld voor de eerste reactie van 15 minuten. En dit is 24/7 eerlijk. Het is duidelijk dat wanneer VDS-hosting groot wordt, dit verschijnt. Maar dubieuze dienstverleners hebben dit niet. En we waren in het begin gewoon twijfelachtig en werden daarna pas min of meer groot. Oké, min of meer gemiddeld.
De eerste lijn zijn operators die scripts hebben gekregen en hebben geleerd te reageren op typische situaties. Ze lossen problemen snel op en proberen binnen 15 minuten te reageren met een typische actie, of te melden dat het ticket in behandeling is en deze over te dragen aan de tweede.
De tweede lijn zijn de hostingbeheerders; zij weten vrijwel alles met de hand te doen. Er is ook een supportmanager die alles en nog een beetje meer kan doen. De derde regel zijn de ontwikkelaars, zij ontvangen kaartjes als "repareer dit in de interface" of "er wordt ten onrechte rekening gehouden met zo'n parameter."
Verminder het aantal aanvragen
Als je om voor de hand liggende redenen goedkoop ondersteuning wilt bieden, moet je de eerste regel niet vergroten zodat mensen sneller met scripts kunnen omgaan, maar de automatisering verhogen. Zodat er in plaats van mensen met scripts echte scripts zijn. Daarom was een van de eerste dingen die we deden het automatiseren van de processen van het verhogen van een virtuele machine, het schalen met bronnen (inclusief door schijf omhoog en omlaag, maar niet door processorfrequentie) en andere soortgelijke dingen. Hoe meer de gebruiker vanuit de interface kan doen, hoe gemakkelijker het is om met de eerste regel te leven, en hoe kleiner deze kan zijn. Wanneer een gebruiker toegang krijgt tot iets dat zich in zijn persoonlijke account bevindt, moet hij dit doen en hem vertellen hoe hij dit zelf kan doen.
Als je geen ondersteuning nodig hebt, doet ze het goed.
De tweede feature, die veel tijd bespaart, is de lange tijd die het kost om de kennisbank in te vullen. Als de gebruiker een probleem heeft dat niet is opgenomen in de lijst met ondersteunde acties (meestal zijn dit vragen op het niveau van "hoe een Minecraft-server te installeren" of "Waar een VPS in Win Server in te stellen"), dan een artikel is geschreven in de kennisbank. Voor alle vreemde verzoeken wordt hetzelfde gedetailleerde artikel geschreven. Als een gebruiker bijvoorbeeld ondersteuning vraagt om de ingebouwde Windows Server-firewall te verwijderen, sturen we hem of haar om te lezen wat er zal gebeuren als deze daadwerkelijk wordt uitgeschakeld, en hoe u de machtigingen alleen voor geselecteerde software kunt wijzigen. Omdat het probleem meestal ligt in het feit dat iets geen verbinding kan maken vanwege de instellingen, en niet in de firewall zelf. Maar het is heel moeilijk om dit elke keer in dialoog uit te leggen. Maar op de een of andere manier wil ik de firewall niet uitschakelen, omdat we binnenkort de virtuele machine of de client zullen verliezen.
Als iets over applicatiesoftware in de kennisbank erg populair wordt, dan kun je de distributie aan de marktplaats toevoegen zodat de service “zet een server op waarop deze al is geïnstalleerd” verschijnt. Eigenlijk is dit wat er gebeurde met Docker, en dit is wat er gebeurde met de Minecraft-server. Nogmaals, één ‘doe me goed’-knop in de interface bespaart tot honderden tickets per jaar.
Noodmodus
Na deze stappen blijven de ernstigste storingen die handmatig werk vereisen achter met het feit dat de gebruiker om de een of andere reden de mogelijkheid heeft verloren om op afstand toegang te krijgen tot het gastbesturingssysteem in de hypervisor. Het meest voorkomende geval is een eenvoudigweg onjuiste firewall-instelling, het tweede meest voorkomende geval zijn enkele bugs die voorkomen dat Win normaal opstart en u dwingen opnieuw op te starten in de Veilige modus. En in de veilige modus is RDP standaard niet beschikbaar.
We hebben voor dit geval een noodmodus gemaakt. Om toegang te krijgen tot een VDS-machine heeft u meestal een soort client nodig voor werken op afstand. Meestal hebben we het over consoletoegang, RDP, VNC of iets dergelijks. Het nadeel van deze methoden is dat ze niet werken zonder besturingssysteem. Maar op hypervisorniveau kunnen we het beeld op het scherm ontvangen en daar toetsenbordaanslagen doorgeven! Het is waar dat dit de processor behoorlijk belast (vanwege de daadwerkelijke video-uitzending), maar je kunt hiermee het gewenste resultaat krijgen.
Daarom hebben we alle gebruikers toegang gegeven tot de noodmodus, maar deze is beperkt in termen van de duur van continu gebruik. Gelukkig is deze tijd, zoals de praktijk laat zien, voldoende om opnieuw op te starten en iets te repareren.
Het resultaat is nog minder supporttickets. En waar de beheerder het ticket zelf kan repareren, hoeft er geen ondersteuning te komen om het uit te zoeken.
Resterende problemen
Heel vaak denken gebruikers dat de ondersteuning hen iets opdringt. Helaas is hier niets aan te doen (of hebben wij niets bedacht). De twee meest voorkomende voorbeelden zijn resourcelimieten en DDoS-bescherming.
Elke virtuele machine heeft limieten voor schijfbelasting, geheugen en toegestaan verkeer. De mogelijkheid om limieten in te stellen is gespecificeerd in het aanbod, maar de limieten zelf zijn zo geselecteerd dat de meeste gebruikers rustig kunnen werken zonder er zelfs maar van op de hoogte te zijn. Maar als je plotseling te veel met het kanaal en de schijf gaat rommelen, waarschuwen de algoritmen de gebruiker automatisch. Sinds april vorig jaar hebben we de automatische sloten verwijderd. In plaats daarvan stelt u zachte limieten in voor een variabele periode.
Voorheen was het zo: een waarschuwing en vervolgens, als de gebruiker er geen acht op sloeg, een automatische blokkering. En op dat moment waren mensen beledigd: “Waar heb je het over, je systeem bevat fouten, er is niets gebeurd!” - en dan kunt u proberen de applicatiesoftware te begrijpen, of aanbieden om het tariefplan te verhogen. We hebben niet de mogelijkheid om de werking van applicatiesoftware te begrijpen, omdat dit buiten de reikwijdte van ondersteuning valt. Al werden de eerste paar zaken samen met de gebruikers opgelost. Ik herinner me vooral die ene waarin de cheater voor YouTube-weergaven een ingebouwde Trojan had, en deze Trojan lekte geheugen. Uiteindelijk kwamen we tot de conclusie dat dit geen Heisenbugs waren, maar problemen met gebruikers, anders zouden we overspoeld zijn met soortgelijke verzoeken. Maar nog niemand heeft toegegeven dat hij zelf de tarieven zou kunnen overschrijden.
Een soortgelijk verhaal is er bij DDoS: we schrijven dat u, beste gebruiker, wordt aangevallen. Sluit de bescherming aan, alstublieft. En de gebruiker: “Ja, je valt mij zelf aan!” Natuurlijk hebben we slechts één gebruiker DDoS om ze 300 roebel te bedriegen. Het is een winstgevende onderneming. Ja, ik weet dat veel grote hostingsites in de duurdere categorie deze bescherming in het tarief opnemen, maar dat kunnen we niet doen: de fastfoodeconomie dicteert andere minimumprijzen.
Even vaak zijn degenen wier gegevens we hebben verwijderd ontevreden over de ondersteuning. In die zin dat het op legitieme wijze werd verwijderd na het einde van de betaalde periode. Als iemand zijn VDS-huur niet verlengt, worden er verschillende meldingen verzonden met uitleg over wat er vervolgens gaat gebeuren. Wanneer de betaling is voltooid, stopt de virtuele machine, maar wordt de afbeelding ervan opgeslagen. Er komt nog een melding binnen, en nog een paar. De afbeelding wordt nog zeven dagen bewaard voordat deze definitief wordt verwijderd. Er is dus een categorie mensen die hier erg ontevreden over is. Beginnend met “de beheerder stopte, er werden meldingen naar zijn e-mail gestuurd, hersteld” en eindigend met beschuldigingen van fraude en bedreigingen met lichamelijk letsel. De reden is dezelfde prijzen voor alle andere gebruikers. Als we het een maand bewaren, hebben we meer opslagruimte nodig. Dit betekent hogere prijzen voor elke individuele klant. En de economie van fastfood... Nou, je snapt het idee. En als gevolg daarvan ontvangen we op de forums beoordelingen in de geest van “ze namen geld, verwijderden gegevens, oplichters.”
Ik zou willen opmerken dat we een reeks premiumtarieven hebben. Daar is de situatie natuurlijk anders, omdat we rekening houden met de wensen van de klant en flexibel zowel de limiet als de verwijdering instellen in geval van niet-betaling (we zetten het in de min, om het niet te blokkeren). Daar is het economisch al haalbaar, want er kan werkelijk van alles gebeuren en het behouden van een vaste grote klant is duur.
Soms zijn gebruikers kwaadaardig. Ons systeem ondervond meerdere keren storingen waarbij honderden virtuele machines werden geblokkeerd vanwege een aantal duidelijk onwettige acties van clients. Eigenlijk hadden we juist vanwege dergelijke situaties onze eigen netwerkstuurprogramma's nodig om de netwerkactiviteit te monitoren en te zien of de gebruiker geen aanval vanaf zijn server uitvoerde. Het monitoren van een dergelijk plan is belangrijk, zodat de grenzen van aangrenzende virtuele machines niet worden overschreden door luidruchtige jongens.
Er zijn mensen die simpelweg spammen, minen of op een andere manier het aanbod schenden. Dan klopt hij aan voor steun en vraagt wat er mis is gegaan en waarom de auto geblokkeerd is. Als het proces in het ticket in de schermafbeelding “spam sender.exe” heet, gaat er waarschijnlijk iets mis. Ongeveer eens in de twee weken ontvangen wij klachten van Sony of Lucasfilm (nu Disney) dat iemand van onze virtuele machine uit ons bereik van IP-adressen een gebrande film verspreidt. Hiervoor blokkeert u onmiddellijk het resterende geld op de rekening en retourneert u dit volgens het aanbod (laat me u eraan herinneren: onze kwantisering is per seconde, dat wil zeggen dat er altijd zeker een saldo zal zijn). En om het geld terug te krijgen, moet u volgens de wet uw paspoort laten zien: dit is tegen het witwassen van geld. Om de een of andere reden schrijven de piraten, in plaats van een paspoort te tonen, dat we er geld uit hebben geperst, waarbij we vergeten zijn enkele omstandigheden te verduidelijken.
Oh ja. Ons beste verzoek van het jaar is: “Kan ik een virtuele machine een paar dagen testen tegen een tarief van 30 roebel per maand voordat ik deze aanschaf?”
Totaal
De eerste regel sorteert tickets en reageert met typische acties. Dit is waar de meeste ontevredenheid schuilt. Het zal nog steeds niet mogelijk zijn om dit op te lossen, omdat de basis voor het oplossen ervan ligt in de hostingautomatisering, dat wil zeggen in een enorme achterstand. Ja, we hebben er meer dan velen op de markt, maar nog steeds niet genoeg. Daarom is het opzetten van eerstelijnsmonitoring het beste wat gedaan kan worden. Helpdeskmonitoring - Eerstelijns KPI-implementatie. Vertragingen in de SLA zijn in realtime zichtbaar: wie maakt er vaak een fout - waarom. Dankzij dergelijke waarschuwingen gaan applicaties nooit verloren. Ja, het ticket kan worden beantwoord met een sjabloon dat niet over het onderwerp gaat, maar dat weten we al uit de feedback.
Als de klant er echt om vraagt, kan de tweedelijnsspecialist naar de server gaan en daar doen wat de klant nodig heeft (voorwaarde is een bevestiging per brief waarin hij de inloggegevens aan de server verstrekt).
We doen dit zeer zelden en we vertrouwen dergelijk werk alleen toe aan de besten, omdat we garanties willen hebben dat gebruikersgegevens niet worden beschadigd. De beste zijn de tweede ondersteuningslijnen.
De eerste regel heeft een kennisbank waar je naartoe kunt sturen om complexe zaken op te zoeken.
Een persoonlijk account rijk aan functies plus een kennisbank - en nu hebben we het aantal verzoeken kunnen terugbrengen tot gemiddeld 1 à 1,5 per jaar per klant.
De tweede lijn verwerkt doorgaans complexe applicaties die handarbeid vergen. Wat typisch is: hoe duurder het tariefplan, hoe minder dergelijke verzoeken per virtuele machine. Meestal omdat degenen die zich een duur tarief kunnen veroorloven, specialisten in dienst hebben, of simpelweg de helft van de problemen niet ontstaat vanwege het feit dat er voor alles voldoende configuratie is. Ik herinner me nog de held die de niet-oudste Windows Server installeerde op een configuratie met 256 MB RAM.
De tweede regel heeft een set distributiekits en een set automatiseringsscripts. Beide kunnen indien nodig worden bijgewerkt.
De tweedelijns- en persoonlijke beheerders van VIP-tarieven kunnen notities toevoegen aan het profiel van de klant. Als hij een Linux-beheerder is, zullen we dat opschrijven. Dit zal de eerste regel zijn: de gebruiker weet zeker dat dit geen schot in de roos zal zijn, maar gecontroleerde vernietiging.
De derde regel regeert het vreemdst. We hadden bijvoorbeeld een bug die het onmogelijk maakte om toegang te krijgen tot een van de functies van uw persoonlijke account in Firefox. De gebruiker chanteerde rechtstreeks: "Als je het niet binnen 12 uur oplost, zal ik op alle hostrecensies schrijven." Het bleek dat het probleem in het aangepaste adblock zat. Aan de gebruikerskant, vreemd genoeg. Vaak treden complexe fouten op zonder details en kunnen ze niet langer worden herhaald. Er zijn rechercheurs met een screenshot: “Waarom repareer je het een maand lang?” - "Ja, we hebben al die tijd naar je bug gezocht", "Oh, nou, ik kwam het vandaag weer tegen, maar ik kon het niet nog een keer herhalen"...
Over het algemeen weet je nooit waar een screenshot van een dialoog met ondersteuning terecht zal komen, en als iemand aanklopt voor ondersteuning, dan heeft hij een probleem. Je kunt je houding verbeteren. Probeer het op zijn minst.
Ja, we weten dat onze ondersteuning niet perfect is, maar ik zou graag willen geloven dat deze voldoende snelheid combineert met voldoende kwaliteit. En het verhoogt de tariefprijzen niet voor degenen die zonder kunnen.
Bron: www.habr.com