Záložní režim (také označovaný jako IPKVM), který vám umožňuje připojit se k VPS bez RDP přímo z vrstvy hypervizoru, ušetří 15–20 minut týdně.
První a nejdůležitější věcí je lidi nenaštvat. Po celém světě je podpora rozdělena do linií a typická řešení zkouší jako první zaměstnanec. Pokud úkol přesahuje jejich limity, přeneste jej na druhý řádek. Mezi správci VDS se tedy poměrně často najdou lidé, kteří umí přemýšlet. Na rozdíl od mnoha jiných podpor. Tedy alespoň výrazně častěji. A dobře strukturují lístek, okamžitě popisují vše, co je potřeba. Pokud se první řádek „rozmaže“ a náhodně vás v reakci na to požádá o zapnutí a vypnutí, je to fiasko.
Úkol je velmi jednoduchý: poskytnout adekvátní podporu pro náš VDS hosting za minimální náklady. Protože jsme fast food světa poskytovatelů hostingu: žádné speciální „lízání“, nízké ceny, běžná kvalita. Už tu byla historka o tom, že s příchodem instagramových srdcovek snažících se automatizovat správu účtů a majitelů malých firem se vzdáleným účetnictvím a dalších technologicky nepříliš vyspělých lidí přestala fungovat komunikace „jako admin admin“. Musel jsem změnit jazyk komunikace.
Nyní vám řeknu trochu více o procesech - ao nevyhnutelných problémech s nimi.
Nezlobte lidi #1
Jakákoli podpora je výroba na montážní lince. Přijde žádost, pracovník první linie se okamžitě snaží rozpoznat typickou situaci, která se již stala tisíckrát a tisíckrát se bude opakovat. Existuje 90% šance, že se jedná o typickou aplikaci, a můžete na ni odpovědět doslova stisknutím několika tlačítek, takže šablona bude nahrazena. Obvykle stačí napsat pár slov do šablony a máte hotovo. Nebo přejděte do rozhraní pro správu a stiskněte tam několik tlačítek. Ve složitějších případech (např. přesuny ze zóny do zóny) musíte postupovat podle algoritmu.
To, co lidi nejvíc rozčiluje, bez ohledu na jiné kvality podpory, je typická reakce na atypický požadavek. Přichází tiket, kde je vše podrobně popsáno, je tam spousta potřebných údajů na tři otázky dopředu, klient předpokládá dialog... A podle prvních slov pracovník podpory na autopilota naťuká akord, kterým šablonu dosadí "zkuste restartovat, mělo by to pomoci."
To je to, co skutečně otevírá mysl lidí, a právě po takových situacích zůstávají nejvíce negativní recenze a naštvané komentáře. Je jasné, že jsme se tak mýlili, od toho známe statistiky. Obecně jsme chybovali různými způsoby, ale takové případy jsou vždy jen divoké. Včetně nás samotných. Samozřejmě bychom byli rádi, kdyby k tomu vůbec nedošlo. To ale v praxi moc možné není: jednou za pár týdnů zmáčkne zaměstnanec unavený monotónností vtipná tlačítka.
Nezlobte lidi #2
Druhá věc, která stejně otevírá mysl, je, když na lístek nikdo dostatečně dlouho nereaguje. V Evropě je toto podpůrné chování normální: tři dny před přijetím incidentu do práce je více než norma. I když jste velmi naléhaví a něco hoří – žádné sociální sítě, žádný telefon, žádný messenger, stačí napsat e-mail a počkat, až na vás přijde řada. V Rusku je to mnohem méně běžné, ale některé vstupenky jsou stále „zapomenuté“. Hned na začátku práce jsme nastavili SLA na první odezvu 15 minut. A to je poctivé 24/7. Je jasné, že když se hosting VDS stane velkým, objeví se to. Toto ale pochybní poskytovatelé služeb nemají. A my jsme na začátku jen pochybovali a teprve potom jsme se stali víceméně velkými. Dobře, víceméně průměr.
V první řadě jsou operátoři, kteří dostali skripty a naučili se reagovat na typické situace. Rychle řeší problémy a do 15 minut se snaží buď reagovat typickou akcí, nebo ohlásit, že tiket probíhá, a přenést ho do druhého.
Druhou linií jsou administrátoři hostingu, ti vědí, jak udělat téměř vše ručně. K dispozici je také manažer podpory, který umí všechno a ještě něco navíc. Třetí řádek jsou vývojáři, dostávají lístky jako „opravte to v rozhraní“ nebo „takový a takový parametr je nesprávně zohledněn“.
Snižte počet aplikací
Ze zřejmých důvodů, pokud chcete poskytovat podporu levně, pak byste neměli zvyšovat první řádek, aby lidé mohli rychleji manipulovat se skripty, ale zvýšit automatizaci. Aby místo lidí se skripty byly skutečné skripty. Proto jedna z prvních věcí, kterou jsme udělali, byla automatizace procesů zvyšování virtuálního stroje, škálování podle zdrojů (včetně disků nahoru a dolů, ale ne podle frekvence procesoru) a dalších podobných věcí. Čím více toho může uživatel z rozhraní dělat, tím snazší je žít s prvním řádkem a tím může být menší. Když uživatel přistupuje k něčemu, co je na jeho osobním účtu, musí to udělat a říct mu, jak to může udělat sám.
Pokud nepotřebujete podporu, pak odvádí dobrou práci.
Druhou funkcí, která ušetří spoustu času, je dlouhá doba potřebná k vyplnění znalostní báze. Pokud má uživatel problém, který není uveden v seznamu podporovaných akcí (nejčastěji se jedná o otázky na úrovni „jak nainstalovat Minecraft server“ nebo „Kde nastavit VPS na Win Server“), pak článek je napsán ve znalostní bázi. Stejný podrobný článek je napsán pro všechny podivné požadavky. Pokud například uživatel požádá podporu o odstranění vestavěného firewallu systému Windows Server, pošleme mu, aby si přečetl, co se stane, pokud bude skutečně zakázán, a jak změnit oprávnění pouze pro vybraný software. Protože problém je většinou s tím, že se něco nemůže připojit kvůli nastavení a ne se samotným firewallem. Ale je velmi těžké to vysvětlit pokaždé v dialogu. Ale nějak nechci deaktivovat firewall, protože brzy ztratíme virtuální počítač nebo klienta.
Pokud se něco o aplikačním softwaru ve znalostní bázi stane velmi populárním, můžete distribuci přidat na tržiště, aby se objevila služba „nastavení serveru s již nainstalovaným“. Ve skutečnosti se to stalo s Dockerem a to je to, co se stalo se serverem Minecraft. Opět platí, že jedno tlačítko „udělej mi dobře“ v rozhraní ušetří až stovky vstupenek ročně.
Nouzový režim
Po těchto krocích jsou nejzávažnější poruchy, které vyžadují manuální práci, ponechány s tím, že uživatel z nějakého důvodu ztratil prostředky vzdáleného přístupu k hostujícímu OS v hypervizoru. Nejčastějším případem je prostě nesprávné nastavení firewallu, druhým nejčastějším jsou některé chyby, které brání normálnímu spuštění Win a nutí vás restartovat do nouzového režimu. A v nouzovém režimu není RDP ve výchozím nastavení k dispozici.
Pro tento případ jsme vytvořili nouzový režim. Ve skutečnosti obvykle pro přístup ke stroji VDS potřebujete mít nějakého klienta pro vzdálenou práci. Nejčastěji se bavíme o konzolovém přístupu, RDP, VNC nebo něčem podobném. Nevýhodou těchto metod je, že nefungují bez OS. Ale na úrovni hypervizoru můžeme přijímat obraz na obrazovce a přenášet stisk klávesnice tam! Je pravda, že to zatěžuje procesor poměrně hodně (kvůli skutečnému vysílání videa), ale umožňuje to získat požadovaný výsledek.
Proto jsme všem uživatelům umožnili přístup k nouzovému režimu, který je však omezený z hlediska délky nepřetržitého používání. Naštěstí, jak ukazuje praxe, tento čas je dostačující na restart a opravu.
Výsledkem je ještě méně lístků na podporu. A tam, kde může správce opravit lístek sám, podpora nemusí jít dovnitř a přijít na to.
Zbývající problémy
Uživatelé si velmi často myslí, že jim podpora něco tlačí. S tím se bohužel nedá nic dělat (nebo jsme na nic nepřišli). Dva nejběžnější příklady jsou omezení zdrojů a ochrana DDoS.
Každý virtuální stroj má omezení zatížení disku, paměti a povoleného provozu. Možnost nastavení limitů je uvedena v nabídce, ale samotné limity jsou zvoleny tak, aby většina uživatelů mohla pracovat tiše, aniž by o nich vůbec věděli. Ale pokud si najednou začnete příliš pohrávat s kanálem a diskem, pak algoritmy uživatele automaticky varují. Od dubna loňského roku jsme odstranili automatické zámky. Místo toho stanovení měkkých limitů na proměnlivé období.
Dříve to bylo takto: varování, pak, pokud uživatel nedbal, automatické blokování. A v tu chvíli se lidé urazili: "O čem to mluvíte, je to váš systém, který je zabugovaný, nic se nestalo!" - a pak se můžete buď pokusit porozumět aplikačnímu softwaru, nebo nabídnout navýšení tarifu. Nemáme možnost porozumět fungování aplikačního softwaru, protože to je nad rámec podpory. I když prvních několik případů bylo vyřešeno společně s uživateli. Zvláště si pamatuji ten, kde měl podvodník zhlédnutí YouTube vestavěný trojský kůň a tento trojan prosakoval paměť. Nakonec jsme došli k závěru, že se nejedná o Heisenbugy, ale o problémy s uživateli, jinak bychom byli zavaleni podobnými požadavky. Ani jeden člověk ale zatím nepřipustil, že by sám mohl překročit tarify.
Podobný příběh je s DDoS: píšeme, že jste, milý uživatel, pod útokem. Připojte ochranu, prosím. A uživatel: "Ano, sám na mě útočíš!" Samozřejmě jsme DDoS jen jednoho uživatele, abychom je ošidili o 300 rublů. Je to ziskový byznys. Ano, vím, že mnoho velkých hostingových webů v dražší kategorii zahrnuje tuto ochranu do tarifu, ale to nemůžeme: ekonomika rychlého občerstvení diktuje jiné minimální ceny.
Stejně často jsou s podporou nespokojeni ti, jejichž data jsme vymazali. V tom smyslu, že byl po skončení placeného období oprávněně smazán. Pokud někdo neprodlouží svůj pronájem VDS, je zasláno několik oznámení s vysvětlením, co se bude dít dál. Po dokončení platby se virtuální stroj zastaví, ale jeho obraz se uloží. Přijde další oznámení a pak ještě pár dalších. Snímek je uložen dalších sedm dní, než bude trvale smazán. Existuje tedy kategorie lidí, kteří jsou s tím velmi nešťastní. Počínaje „adminem skončil, na jeho e-mail mu byla zaslána oznámení, obnovit“ a konče obviněním z podvodu a výhrůžkami fyzické újmy. Důvodem jsou stejné ceny pro všechny ostatní uživatele. Pokud ho skladujeme měsíc, budeme potřebovat další sklad. To bude znamenat vyšší ceny pro každého jednotlivého klienta. A ekonomika rychlého občerstvení... No, máte představu. A v důsledku toho na fórech dostáváme recenze v duchu „vzali peníze, smazali data, podvodníci“.
Rád bych poznamenal, že máme řadu prémiových tarifů. Tam je situace samozřejmě jiná, protože bereme ohled na přání klienta a flexibilně nastavujeme jak limit, tak mazání v případě nezaplacení (dáváme do mínusu, abychom to nezablokovali). Tam už je to ekonomicky únosné, protože stát se může opravdu cokoliv a udržet stálého velkého klienta je drahé.
Někdy jsou uživatelé zlomyslní. Náš systém několikrát zaznamenal selhání se stovkami virtuálních strojů, které byly zablokovány kvůli zjevně nelegitimním akcím klientů. Vlastně právě kvůli takovým situacím jsme potřebovali vlastní síťové ovladače, které by monitorovaly aktivitu sítě a viděli, že uživatel neprovádí útok ze svého serveru. Monitorování takového plánu je důležité, aby hranice sousedních virtuálních strojů nebyly narušovány hlučnými chlapíky.
Jsou tací, kteří jednoduše spamují, těží nebo jinak porušují nabídku. Pak zaklepe na podporu a zeptá se, co se stalo a proč je auto zablokované. Pokud se proces v tiketu na snímku obrazovky nazývá „spam sender.exe“, pak je pravděpodobně něco špatně. Zhruba jednou za dva týdny dostáváme stížnosti od Sony nebo Lucasfilm (nyní Disney), že někdo z našeho virtuálního stroje z našeho rozsahu IP adres distribuuje vypálený film. K tomu ihned zablokujete a vrátíte zbývající peníze na účtu dle nabídky (připomínám: naše kvantování je za vteřinu, to znamená, že zůstatek bude vždy jistý). A abyste dostali peníze zpět, musíte se podle zákona prokázat pasem: jde o boj proti praní špinavých peněz. Piráti z nějakého důvodu místo toho, aby ukázali pas, píší, že jsme z nich vymáčkli peníze, přičemž zapomněli objasnit některé okolnosti.
Ach ano. Naším nejlepším požadavkem roku je: „Mohu před nákupem otestovat virtuální stroj na několik dní za cenu 30 rublů měsíčně?
Celkový
První řádek seřadí tipy a odpoví typickými akcemi. Tady je největší nespokojenost. Stále to nebude možné opravit, protože základ pro opravu je v automatizaci hostingu, tedy v obrovském nahromadění. Ano, máme jich na trhu víc než mnoho, ale stále málo. Proto je nejlepší, co lze udělat, zavést monitorování v první linii. Help Desk Monitoring - První linie implementace KPI. Zpoždění v SLA jsou vidět v reálném čase: kdo to podělá, často – proč. Díky takovým upozorněním se aplikace nikdy neztratí. Ano, tiket může být zodpovězen šablonou, která není k tématu, ale to už zjišťujeme ze zpětné vazby.
Pokud se klient opravdu zeptá, tak specialista druhé linie může jít na server a udělat tam, co klient potřebuje (podmínkou je potvrzení dopisem, ve kterém poskytne přihlašovací údaje k serveru).
Děláme to velmi zřídka a takovou práci svěřujeme jen těm nejlepším, protože chceme mít záruky, že nedojde k poškození uživatelských dat. Nejlepší je druhá linie podpory.
První řádek má znalostní bázi, kam můžete poslat a vyhledat složité věci.
Osobní účet bohatý na funkce a znalostní základnu – a nyní se nám podařilo snížit počet požadavků v průměru na 1–1,5 ročně na klienta.
Druhá linka obvykle zpracovává složité aplikace, které vyžadují manuální práci. Co je typické: čím dražší tarif, tím méně takových požadavků na virtuální stroj. Obvykle proto, že kdo si může dovolit drahý tarif, má buď specialisty na personál, nebo prostě polovina problémů nevzniká kvůli tomu, že je na všechno dost konfigurace. Stále si pamatuji hrdinu, který nainstaloval ne nejstarší Windows Server na konfiguraci s 256 MB RAM.
Druhá řada obsahuje sadu distribučních sad a sadu automatizačních skriptů. Obojí lze podle potřeby aktualizovat.
Druhá linie a osobní manažeři VIP tarifů mohou přidávat poznámky do profilu klienta. Pokud je správcem Linuxu, zapíšeme si to. Toto bude první nápověda: uživatel jistě ví, že nepůjde o střelu do nohy, ale o řízenou destrukci.
Třetí řada vládne nejpodivnějším. Měli jsme například chybu, která znemožňovala přístup k jedné z funkcí vašeho osobního účtu ve Firefoxu. Uživatel přímo vydíral: "Pokud to neopravíte do 12 hodin, napíšu na všechny recenze hostitelů." Jak se ukázalo, problém byl ve vlastním adblocku. Na uživatelské straně, kupodivu. Často se vyskytují složité chyby bez podrobností a nelze je již opakovat. Jsou tam detektivové se snímkem obrazovky: "Proč to měsíc opravujete?" - "Ano, celou tu dobu jsme hledali vaši chybu," "Aha, dnes jsem na to znovu narazil, ale nemohl jsem to znovu zopakovat"...
Obecně nikdy nevíte, kde skončí screenshot dialogu s podporou, a pokud člověk zaklepe na podporu, tak má problém. Můžete zlepšit svůj postoj. Alespoň to zkus.
Ano, víme, že naše podpora není dokonalá, ale rád bych věřil, že kombinuje dostatečnou rychlost s dostatečnou kvalitou. A nezvyšuje tarifní ceny pro ty, kteří se bez něj obejdou.
Zdroj: www.habr.com