NödlĂ€ge (Ă€ven kĂ€nt som IPKVM) som möjliggör anslutning till VPS utan RDP direkt frĂ„n hypervisor-nivĂ„ sparar 15â20 minuter i veckan.
Det första och viktigaste â irritera inte folk. I hela vĂ€rlden Ă€r stödet uppdelat i linjer, och en första linjearbetare mĂ„ste försöka lösa typiska problem. Om problemet ligger utanför deras omrĂ„de â överlĂ€mna till andra linjen. Bland VDS-administratörer finns det ofta personer som kan tĂ€nka kritiskt. Till skillnad frĂ„n mĂ„nga andra supportteam. Ă tminstone betydligt oftare. De strukturerar sina biljetter vĂ€l, beskriver allt som behövs direkt. Om den första linjen "tappar fokus" och av misstag ber om att starta om â det Ă€r en katastrof.
Uppgiften Àr vÀldigt enkel: göra stödet för vÄr VDS-hosting adekvat med minimala kostnader. Eftersom vi Àr snabbmat i hostingleverantörernas vÀrld: inget sÀrskilt "putsande", lÄga priser, acceptabel kvalitet. Det har redan berÀttats om att med framvÀxten av Instagram-söta tjejer som försöker automatisera kontohantering och smÄföretagare med extern bokföring och andra som inte Àr sÄ tekniskt kunniga, har kommunikation "som administratör med administratör" slutat fungera. Vi var tvungna att Àndra vÄrt kommunikationssprÄk.
Nu ska jag berĂ€tta lite mer om processerna â och de ofrĂ„nkomliga misstagen kopplade till dem.
Irritera inte folk nr 1
All support Ă€r en typ av massproduktion. Ett Ă€rende kommer in, första linjearbetaren försöker omedelbart identifiera en typisk situation som har intrĂ€ffat tusentals gĂ„nger och kommer att intrĂ€ffa tusentals gĂ„nger till. Chansen Ă€r 90 % att Ă€rendet Ă€r typiskt, och det kan besvaras med ett tryck pĂ„ bokstavligen ett par knappar för att anvĂ€nda en mall. Vanligtvis behöver man bara skriva in ett par ord i mallen â och klart. Eller gĂ„ in i hanteringsgrĂ€nssnittet och trycka pĂ„ ett par knappar dĂ€r. I mer komplicerade fall (överföring mellan zoner, till exempel) mĂ„ste man utföra Ă„tgĂ€rder enligt en algoritm.
Det som flest mĂ€nniskor irriterar oavsett andra kvaliteter hos stödet â Ă€r den typiska reaktionen pĂ„ en atypisk begĂ€ran. En biljett kommer in dĂ€r allt Ă€r noggrant beskrivet, det finns en massa nödvĂ€ndiga data för tre frĂ„gor i förvĂ€g, kunden förvĂ€ntar sig dialog⊠Och vid de första orden skriver supportmedarbetaren automatiskt in en malltyp "försök starta om, det bör hjĂ€lpa".
Det hÀr öppnar verkligen upp för kritik bland mÀnniskor, och det Àr just efter sÄdana situationer som det oftast blir flest negativa recensioner och arga kommentarer. Det Àr uppenbart att vi har gjort misstag, dÀrav vÄr statistik. Vi har haft olika typer av misstag, men sÄdana hÀr fall Àr alltid helt galna. Inte minst för oss sjÀlva. Vi skulle givetvis önska att sÄdana saker inte skulle hÀnda alls. Men det Àr inte sÄ lÀtt i praktiken: varannan vecka klickar en uttrÄkad anstÀlld ibland pÄ de roliga knapparna.
Irritera inte folk nr 2
Det andra som lika gĂ€rna öppnar upp för kritik Ă€r nĂ€r ingen svarar pĂ„ en ticket under lĂ„ng tid. I Europa Ă€r sĂ„dant beteende frĂ„n supporten normalt: tre dagar för att sĂ€tta igĂ„ng ett Ă€rende Ă€r mer Ă€n okej. Ăven om du har brĂ„ttom och nĂ„got som brinner â inga sociala medier, inga telefoner, inga meddelandetjĂ€nster, bara e-post och vĂ€nta pĂ„ din tur. I Ryssland Ă€r detta mindre vanligt, men vissa tickets "glöms bort". Redan i början av vĂ„rt arbete satte vi SLA för första svar pĂ„ 15 minuter. Och detta under 24/7 förhĂ„llanden. SjĂ€lvklart, nĂ€r VDS-hosting blir stort, uppstĂ„r detta. Men hos tveksamma tjĂ€nsteleverantörer finns det inte. Och vi var just tveksamma i början och blev först lite mer seriösa senare. Okej, mer eller mindre genomsnittliga.
Första linjen â operatörer som fĂ„tt skript och lĂ€rt sig att reagera pĂ„ typiska situationer. De sorterar snabbt problemen och försöker inom 15 minuter antingen svara med en typisk Ă„tgĂ€rd eller informera om att Ă€rendet Ă€r under behandling och överföra det till andra linjen.
Andra linjen â hĂ€r Ă€r redan hostingadministratörer som kan utföra nĂ€stan allt manuellt. DĂ€r finns ocksĂ„ en supportchef som kan göra allt och lite till. Tredje linjen â hĂ€r Ă€r utvecklarna, dit kommer tickets som "Ă€ndra detta i grĂ€nssnittet" eller "felaktig hantering av en viss parameter dĂ€r och dĂ€r".
Minska antalet förfrÄgningar
Av uppenbara skÀl, om du vill erbjuda support till lÄg kostnad, mÄste du inte öka första linjens belastning sÄ att mÀnniskor med skript hanterar det snabbare, utan öka automatiseringen. IstÀllet för mÀnniskor med skript behöver vi verkliga skript. DÀrför var en av de första sakerna vi gjorde att automatisera processerna för att starta virtuella maskiner, resurs-skalning (inklusive disk upp och ner, men inte processorfrekvens) och andra liknande uppgifter. Ju mer anvÀndaren kan göra frÄn grÀnssnittet, desto enklare blir det för första linjen, och desto fÀrre mÀnniskor behövs. NÀr en anvÀndare kontakta oss med nÄgot som finns i sitt personliga konto, mÄste vi förklara hur det kan göras sjÀlvstÀndigt.
Om du inte behöver support, betyder det att den fungerar bra.
Den andra funktionen, som sparar mycket tid, Àr det lÄngsamma arbetet med att fylla pÄ kunskapsbasen. Om anvÀndaren har ett problem som inte faller inom ramen för de stödÄtgÀrder vi erbjuder (ofta frÄgor pÄ nivÄ som "hur installerar jag en Minecraft-server" eller "Var i Windows Server konfigurerar jag VPS"), skrivs en artikel i kunskapsbasen. En lika detaljerad artikel skrivs för alla underliga förfrÄgningar. Till exempel, om en anvÀndare ber supporten att ta bort den inbyggda brandvÀggen i Windows Server, skickar vi dem att lÀsa om vad som kan hÀnda om man faktiskt stÀnger av den, och hur man ger tillstÄnd endast för det valda programmet. För problemen handlar det vanligtvis om att nÄgot inte kan ansluta pÄ grund av instÀllningarna, inte pÄ grund av brandvÀggen sjÀlv. Men att förklara detta varje gÄng i en dialog Àr vÀldigt svÄrt. Och att stÀnga av brandvÀggen vill man ju inte, eftersom vi ganska snart kan förlora antingen den virtuella maskinen eller kunden.
Om nÄgot relaterat till applikationsmjukvara i kunskapsbasen blir mycket besökt, kan vi skapa ett distributionspaket pÄ marknadsplatsen, sÄ att en tjÀnst "starta servern med redan installerat detta" blir tillgÀnglig. Faktiskt blev det sÄ med Docker, och sÄ blev det med Minecraft-servern. à terigen, en knapp "gör det bra för mig" i grÀnssnittet kan spara upp till hundra biljetter per Är.
NödlÀge
Efter dessa ÄtgÀrder kvarstÄr de flesta allvarliga fel som krÀver manuellt arbete nÀr anvÀndaren av nÄgon anledning har förlorat Ätkomsten till den virtuella OS genom hypervisorn. Det vanligaste fallet Àr en felaktig konfiguration av brandvÀggen, det nÀst vanligaste Àr buggar som hindrar Windows frÄn att starta normalt och tvingar omstart i sÀkerhetslÀge. I sÀkerhetslÀge Àr RDP som standard otillgÀngligt.
Vi har skapat en nödlösning för detta fall. Vanligtvis behöver man en klient för fjÀrrÄtkomst till VDS-maskinen. Oftast handlar det om konsolÄtkomst, RDP, VNC eller nÄgot liknande. Nackdelen med dessa metoder Àr att de inte fungerar utan ett OS. Men pÄ hypervisor-nivÄ kan vi fÄ bild pÄ skÀrmen och skicka tangenttryckningar dit! Visserligen belastar detta processorn ganska mycket (pÄ grund av faktisk videoströmning), men det ger önskat resultat.
DÀrför gav vi Ätkomst till nödlÀget för alla anvÀndare, men det Àr begrÀnsat i tid för oavbruten anvÀndning. Som tur Àr, visar erfarenheten att denna tid Àr helt tillrÀcklig för att kunna starta om och ÄtgÀrda nÄgot.
Resultatet - Ànnu fÀrre supportÀrenden. DÀr administratören sjÀlv kan lösa Àrendet, behövs inte supportens ingripande.
à terstÄende problem
Ofta tror anvÀndarna att supporten försöker sÀlja dem nÄgot. TyvÀrr kan vi inte göra nÄgot Ät detta (eller sÄ har vi inte kommit pÄ nÄgot). TvÄ av de vanligaste exemplen Àr resursbegrÀnsningar och DDoS-skydd.
Varje virtuell maskin har begrÀnsningar för belastning pÄ disken, minnet och tillÄten trafik. Möjligheten att sÀtta begrÀnsningar beskrivs i offerten, och begrÀnsningarna anpassas sÄ att majoriteten av anvÀndarna kan arbeta utan att ens veta om dem. Men om du plötsligt börjar belasta kanal och disk mycket sÄ varnar algoritmerna automatiskt anvÀndaren. FrÄn och med april förra Äret har vi tagit bort autoblockeringar. IstÀllet införs mjuka begrÀnsningar under en variabel tidsperiod.
Tidigare var det sĂ„ hĂ€r: en varning först, och om anvĂ€ndaren inte reagerade, sĂ„ skedde en automatisk blockering. Vid det hĂ€r laget blev folk irriterade: "Vad Ă€r det för fel pĂ„ ert system, jag har inte gjort nĂ„got!" â och dĂ„ finns det tvĂ„ vĂ€gar att gĂ„: antingen försöka lösa problemet med den applikationsprogramvara som anvĂ€nds, eller föreslĂ„ att uppgradera abonnemanget. Vi har inte möjlighet att reda ut vad som gĂ„r fel med applikationsprogramvaran, eftersom det ligger utanför vĂ„r support. Ăven om vi hanterade nĂ„gra av de första fallen tillsammans med anvĂ€ndarna. En sĂ€rskilt minnesvĂ€rd incident var med en person som hade ett inbyggt trojan i sin Youtube-visningar, och den hĂ€r trojanen hade minneslĂ€ckage. I slutĂ€ndan kom vi fram till att det inte handlade om glitchar i systemet, utan om anvĂ€ndarproblem, annars skulle vi ha fĂ„tt överflödiga klagomĂ„l. Men ingen har nĂ„gonsin erkĂ€nt att de sjĂ€lva kan ha överskridit sina grĂ€nser.
En liknande situation gÀller DDoS-attacker: vi meddelar att ni, kÀra anvÀndare, Àr under attack. VÀnligen aktivera skydd. Men anvÀndaren svarar: "Det Àr ni som attackerar mig!" SjÀlvklart skulle vi inte behöva attackera en enda anvÀndare för att fÄ 300 kronor. Det vore ju en bra affÀr. Ja, jag vet att mÄnga större hostingföretag i den dyrare kategorin inkluderar detta skydd i sina paket, men vi kan inte göra sÄ: snabbmats-ekonomin dikterar andra minimipriser.
Inte heller sÀllan Àr supporten missnöjd av de vars data vi har raderat. Det betyder att vi legitimt raderat data efter att den betalda perioden har avslutats. Om nÄgon inte förnyar sin VDS-hyra sÄ fÄr de flera meddelanden som förklarar vad som kommer att hÀnda. Vid tidpunkten för slutet av betalningen stoppas den virtuella maskinen, men dess avbild sparas. Ett meddelande skickas till och med en gÄng till, och sedan ytterligare nÄgra. Avbilden lagras i sju dagar till och raderas först dÀrefter permanent. Det finns en kategori av mÀnniskor som Àr mycket missnöjda med detta. Allt frÄn "administratören har slutat, meddelandena skickades till hans e-post, ÄterstÀll det" till anklagelser om bedrÀgeri och hot om fysiskt vÄld. Anledningen Àr fortfarande de samma priser som gÀller för alla andra anvÀndare. Om vi skulle lagra i en mÄnad skulle det behövas mer lagringsutrymme. Det skulle innebÀra högre priser för varje enskild kund. Och snabbmats-ekonomin... Ja, ni förstÄr. Och i resultatet fÄr vi pÄ forumen recensioner i stil med "de tog mina pengar, raderade mina data, bedrÀgerier."
Jag vill pÄpeka att vi har en rad premiumplaner. DÀr Àr situationen givetvis annorlunda, eftersom vi tar hÀnsyn till kundens önskemÄl och flexibelt justerar bÄde grÀnser och avstÀngning vid obetald faktura (vi sÀnker det under noll, bara för att inte blockera). DÀr Àr det ekonomiskt rimligt, eftersom det verkligen kan hÀnda mycket, och det kostar att behÄlla en stor kund.
Ibland Ă€r anvĂ€ndare illvilliga. Flertalet gĂ„nger har vi haft driftstörningar i vĂ„rt system pĂ„ grund av blockering av hundratals virtuella maskiner till följd av uppenbart illegitima kundĂ„tgĂ€rder. Just pĂ„ grund av sĂ„dana situationer behövde vi egna nĂ€tverksdrivrutiner för att övervaka nĂ€tverksaktivitet och se att anvĂ€ndaren inte utför en attack frĂ„n sin server. Ăvervakning av detta slag Ă€r viktig för att grĂ€nserna mellan angrĂ€nsande virtuella maskiner inte ska överskridas av stökiga anvĂ€ndare.
Det finns de som bara spammar, minar eller pĂ„ annat sĂ€tt bryter mot avtalet. Sedan kontaktar de supporten och frĂ„gar vad som gĂ„tt fel och varför maskinen blockerades. Om processen i Ă€rendet pĂ„ skĂ€rmdumpen kallas "spamsĂ€ndare.exe", sĂ„ Ă€r det nog nĂ„got som inte stĂ„r rĂ€tt till. UngefĂ€r varannan vecka fĂ„r vi klagomĂ„l frĂ„n företag som Sony eller Lucasfilm (nu â Disney), om att nĂ„gon frĂ„n vĂ„r virtuella maskin inom vĂ„rt IP-adressomrĂ„de delar ut piratfilmer. För sĂ„dant blockeras man omedelbart och kvarvarande pengar pĂ„ kontot Ă„terbetalas enligt avtalet (och jag pĂ„minner: vĂ„r kvantisering Ă€r per sekund, vilket innebĂ€r att det alltid kommer att bli exakt kvar). Och för att Ă„terfĂ„ pengar mĂ„ste man enligt lagen visa legitimation: det Ă€r en Ă„tgĂ€rd mot penningtvĂ€tt. Pirater tycks istĂ€llet för att visa legitimation skriva att vi har stulit pengar frĂ„n dem, utan att nĂ€mna delar av omstĂ€ndigheterna.
Ja, just det. Den bÀsta frÄgan i Är som vi fÄtt Àr: "Kan jag testa den virtuella maskinen enligt planen för 30 rubel i mÄnaden i nÄgra dagar innan köpet?".
Resultat
Första linjen sorterar biljetter och svarar med typiska Ă„tgĂ€rder. Mest missnöje finns just hĂ€r. Att rĂ€tta till detta gĂ„r Ă€ndĂ„ inte, eftersom grunden för rĂ€ttelse ligger i automatiseringen av hosting, det vill sĂ€ga i en enorm backlog. Ja, vi har mer Ă€n mĂ„nga pĂ„ marknaden, men det Ă€r Ă€ndĂ„ inte tillrĂ€ckligt. SĂ„ det bĂ€sta vi kan göra Ă€r att organisera övervakning av första linjen. Ăvervakning av kundsupport Ă€r att uppfylla KPI:erna för första linjen. Förseningar i SLA syns i realtid: vem som missköter sig, ofta varför. Genom sĂ„dana varningar gĂ„r inga Ă€renden förlorade. Ja, en biljett kan besvaras med en irrelevant mall, men det fĂ„r vi reda pĂ„ genom feedback.
Om kunden insisterar kan specialist pÄ andra linjen logga in pÄ servern och göra det som behövs för kunden (villkoret Àr en bekrÀftelse via e-post dÀr han meddelar inloggningsuppgifterna till servern).
Vi gör detta mycket sÀllan och den hÀr typen av arbete litar vi endast pÄ de bÀsta, eftersom vi vill ha garantier för att anvÀndardata inte skadas. De bÀsta Àr support pÄ andra linjen.
Första linjen har en kunskapsdatabas dit man kan skicka folk för att kolla det svÄra.
En funktionsrik kundportal plus kunskapsdatabasen â och vi kunde dĂ€rmed minska antalet förfrĂ„gningar till 1â1,5 per Ă„r och kund i genomsnitt.
Andra linjen hanterar vanligtvis komplexa Àrenden som krÀver manuellt arbete. Det Àr karakteristiskt att ju dyrare tariff, desto fÀrre sÄdana Àrenden per virtuell maskin. Vanligtvis för att de som har rÄd med dyra tariffer antingen har experter anstÀllda, eller sÄ uppstÄr helt enkelt hÀlften av problemen inte pÄ grund av att konfigurationerna rÀcker till. Jag minns fortfarande den hjÀlte som installerade en nÄgot gammal Windows Server pÄ en konfiguration med 256 MB RAM.
Andra linjen har ett set av distributionspaket och ett set av automatiseringsscript. BĂ„da kan uppdateras vid behov.
Andra linjen och personliga chefer för VIP-tariffer kan lĂ€gga till anteckningar i kundens profil. Om han Ă€r Linux-administratör â sĂ„ noterar vi det. Det kommer att vara en ledtrĂ„d för första linjen: anvĂ€ndaren vet att detta inte kommer att vara en sjĂ€lvmordsaktion, utan en kontrollerad nedstĂ€ngning.
Tredje linjen styrer det mest konstiga. Till exempel hade vi en bugg dĂ€r man inte kunde nĂ„ en av funktionerna i kundportalen i Firefox. AnvĂ€ndaren hotade direkt: "Om ni inte Ă„tgĂ€rdar detta inom 12 timmar kommer jag att skriva pĂ„ alla hostrecensioner." Det visade sig att problemet var i en anpassad adblocker. PĂ„ anvĂ€ndarens sida, konstigt nog. Det kommer ofta komplexa fel utan detaljer, och de kan inte upprepa dem. Ibland Ă€r det detektiver med skĂ€rmdumpar: "Varför har ni arbetat med det i en mĂ„nad?" â "Ja, vi har bara letat efter er bugg hela den tiden", "Jaha, men jag har stött pĂ„ det igen idag, men jag kunde inte upprepa det igen..."
Generellt vet ni aldrig var en skÀrmdump av dialogen med supportteamet hamnar, och om nÄgon kontaktar support, sÄ har de ett problem. Man kan förbÀttra relationen. à tminstone försöka.
Ja, vi vet att vÄr support inte Àr perfekt, men jag vill gÀrna tro att den kombinerar tillrÀcklig hastighet med tillrÀcklig kvalitet. Och den höjer inte priserna pÄ planerna för dem som kan klara sig utan den.
KĂ€lla: habr.com
