Havarijný režim (tiež známy ako IPKVM) umožňuje pripojenie k VPS bez RDP priamo z úrovne hypervízora, čím ušetrí 15–20 minút týždenne.
Prvé a najdôležitejšie — nedráždiť ľudí. Na celom svete je podpora rozdelená na úrovne, a zamestnanec prvej úrovne sa musí snažiť vyriešiť typické problémy. Ak úloha presahuje ich možnosti, odovzdá ju druhej úrovni. Medzi administrátormi VDS sa pomerne často nájdu ľudia, ktorí vedia premýšľať, na rozdiel od mnohých iných podpor. Aspoň výrazne častejšie. A títo správne štruktúrujú tikety, okamžite opisujúc všetko potrebné. Ak prvej úrovni „môže zamknúť“ oči a náhodou v odpovedi na takéto niečo požiadali o zapnutie a vypnutie — to je fiasko.
Úloha je veľmi jednoduchá: spraviť podporu nášho VDS hostingu adekvátnou s minimálnymi nákladmi. Pretože sme fast food sveta hostingových poskytovateľov: žiadne špeciálne „vylepšovanie“, nízke ceny, normálna kvalita. už bol príbeh o tom, že s príchodom Instagram miláčikov, ktorí sa snažia automatizovať spravovanie účtu a majiteľov malých podnikov s externou účtovnou agendou a ostatných, ktorí nie sú príliš zdatní v technológiách, prestalo platiť rozprávanie „ako admin s adminom“. Museli sme zmeniť jazyk komunikácie.
Teraz vám poviem o procesoch trochu viac — a o nevyhnutných chybách s nimi.
Nedráždiť ľudí č. 1
Akákoľvek podpora je pásová výroba. Prichádza požiadavka, zamestnanec prvej úrovne sa hneď snaží rozpoznať typickú situáciu, ktorá už tisíckrát nastala a tisíckrát ešte nastane. Šanca je 90 %, že požiadavka je typická a odpovedať na ňu možno stlačením doslova niekoľkých tlačidiel, aby sa vložil šablónový text. Do šablóny je zvyčajne potrebné dopísať pár slov — a hotovo. Alebo vstúpiť do administratívneho rozhrania a stlačiť tam niekoľko tlačidiel. V zložitějších prípadoch (napríklad pri presunoch z jednej zóny do druhej) je potrebné vykonať úkony podľa algoritmu.
Najviac ľudí rozčuľuje typická reakcia na netradičnú požiadavku, bez ohľadu na iné kvality podpory. Príde tiket, kde je všetko podrobne popísané, sú tam všetky potrebné údaje na tri otázky dopredu, klient predpokladá dialog… A na prvých slovách zamestnanec podpory automaticky zadáva obvyklú frázu „skúste reštartovať, malo by to pomôcť“.
Toto priamo rozbíja hlavy ľuďom a práve po takýchto situáciách zostáva najviac negatívnych recenzií a rozhorčených komentárov. Je jasné, že sme sa takto mýlili, odtiaľ poznáme štatistiky. Chyby sme robili rôzne, ale takéto prípady sú vždy jednoducho šialené. To platí aj pre nás samých. Samozrejme, chceli by sme, aby sa to vôbec nestávalo. Ale to nie je praxou veľmi možné: každých pár týždňov unavený zamestnanec občas stlačí veselé tlačidlá.
Nerobiť ľuďom zle № 2
Druhá vec, ktorá rovnakým spôsobom narúša myseľ, je, keď na tiket nikto dostatočne dlho neodpovedá. V Európe je také správanie podpory normálne: tri dni na spracovanie incidentu je úplne v pohode. Aj keď je to veľmi urgentné a niečo horí — žiadne sociálne siete, žiadny telefón, žiadny messenger, len e-mail a čakajte vo svojej rade. V Rusku je to oveľa menej rozšírené, ale aj tak niektoré tikety sú „zabudnuté“. Ešte na začiatku sme nastavili SLA na prvú reakciu 15 minút. A to pri 24/7 rozumnom prístupe. Je jasné, že keď sa VDS hosting stane veľkým, to sa objaví. Ale u pochybných poskytovateľov služieb také nie je. A na začiatku sme boli práve pochybnými a iba potom sme sa stali viac-menej väčšími. No dobre, viac-menej priemernými.
Prvá línia — operátori, ktorí dostali skripty a naučili sa reagovať na typické situácie. Rýchlo rýchlo triedia problémy a snažia sa za 15 minút odpovedať obvyklou činnosťou, alebo oznámiť, že tiket je v práci a odovzdať ho druhej línii.
Druhá línia — už administrátori hostingu, ktorí vedia skoro všetko robiť rukami. Tam je aj vedúci podpory, ktorý dokáže všetko a ešte niečo navyše. Tretia línia — už vývojári, kam sa dostanú tikety ako „opraviť toto v rozhraní“ alebo „nesprávne sa berie takýto parameter tamto“.
Znížiť počet požiadaviek
Z logického hľadiska, ak chcete poskytovať podporu za nízku cenu, nemali by ste zvyšovať prvú líniu, aby sa ľudia so skriptami vyrovnali rýchlejšie, ale mali by ste zvyšovať automatizáciu. Namiesto ľudí so skriptami by mali byť skutočné skripty. Preto jednou z prvých vecí, ktoré sme urobili, je automatizácia procesov spúšťania virtuálnej mašiny, škálovania zdrojov (vrátane diskových priestorov nahor a nadol, ale nie frekvencie procesora) a ďalších podobných úloh. Čím viac môže používateľ urobiť z rozhrania, tým jednoduchšie môže byť pre prvú líniu a tým menej môže existovať. Keď sa používateľ obráti s niečím, čo je v jeho osobnom účte, je potrebné ukázať a povedať, ako to môže vykonať samostatne.
Ak nepotrebuješ podporu, znamená to, že si poradíš dobre.
Druhá vlastnosť, ktorá veľmi šetrí čas, je dlhé vypĺňanie databázy znalostí. Ak má používateľ problém, ktorý nie je zahrnutý v zozname podporovaných akcií (často ide o otázky typu „ako nainštalovať server Minecraft“ alebo „kde v systéme Windows Server nastaviť VPS“), píše sa článok do databázy znalostí. Rovnako podrobný článok sa píše na všetky nezvyčajné požiadavky. Napríklad, ak používateľ žiada podporu o odstránenie vstavaného firewallu Windows Server, posielame ho čítať o tom, čo sa stane, ak ho naozaj vypne, a ako nastavovať povolenia iba pre vybraný softvér. Pretože problém je zvyčajne s tým, že niečo sa nedokáže pripojiť kvôli nastaveniam, a nie s firewallom samotným. Ale vysvetliť to každý raz v dialógu je veľmi zložité. A vypínať firewall sa akosi nechce, pretože čoskoro stratíme buď virtuálnu mašinu, alebo klienta.
Ak sa niečo o aplikačnom softvéri v databáze znalostí stane veľmi navštevovaným, je možné zaradiť distribúciu na trh, aby sa objavila služba „spustiť server s už nainštalovaným týmto“. Vlastne, takto sa to stalo s Dockerom a takto sa to stalo so serverom Minecraft. Opäť jedna tlačidlo „urobte mi to dobre“ v rozhraní šetrí až stovky tiketov za rok.
Havarijný režim
Po týchto úkonoch ostáva väčšina vážnych porúch, ktoré vyžadujú manuálnu prácu, s tým, že používateľ z nejakého dôvodu stratil prostriedok na vzdialený prístup k hosťovskej OS v hypervízore. Najčastejším prípadom je jednoducho nesprávne nastavenie firewallu, druhým najčastejším sú nejaké chyby, ktoré neumožňujú normálne spustenie Windows a nútia reštartovať do Zabezpečeného režimu. A v zabezpečenom režime nie je RDP štandardne dostupné.
Na tento prípad sme vytvorili havarijný režim. Všeobecne je na prístup k VDS-mašine potrebné mať nejakého klienta na vzdialenú prácu. Najčastejšie ide o konzolový prístup, RDP, VNC alebo niečo podobné. Nevýhodou týchto metód je, že nefungujú bez OS. Avšak my na úrovni hypervízora môžeme získať a prenášať obraz na obrazovke a zároveň prenášať stlačenia klávesnice! Pravda, to dosť zaťažuje procesor (kvôli skutočnej streamingovej video prevádzke), ale umožňuje dosiahnuť požadovaný výsledok.
Preto sme poskytli prístup k havarijnému režimu všetkým používateľom, ale je obmedzený z hľadiska trvania nepretržitého používania. Našťastie, ako ukazuje prax, tejto doby je úplne dosť na to, aby sa reštartovali a niečo opravili.
Výsledkom je ešte menej tiketov na podporu. A tam, kde môže admin opraviť tiket sám, podpora nemusí zasahovať rukami a zisťovať.
Zostávajúce problémy
Veľmi často si používatelia myslia, že podpora im niečo vnucuje. S tým, žiaľ, nič nenarobíme (alebo sme to nevymysleli). Dva najčastejšie príklady sú limity na zdroje a DDoS ochrana.
Na každej virtuálnej mašine sú limity na zaťaženie disku, pamäte a povolený prenos. Možnosť nastavenia limitov je uvedená v ponuke, samy limity sú nastavené tak, aby väčšina používateľov mohla bez problémov pracovať, ani nevediac o nich. Ak sa však náhle začnete veľmi zaťažovať prenosom a diskom, algoritmy automaticky varujú používateľa. Od apríla minulého roku sme odstránili automatické blokácie. Namiesto toho sú nastavené mäkké limity na premenlivé obdobie.
Predtým to fungovalo takto: varovanie, a ak sa používateľ neozval, automatická blokácia. A v tom momente sa ľudia urážali: „Čo to má byť, vaša systém je rozbitý, nič nebolo!“ – a ďalej sa dalo buď pokúsiť sa rozpoznať problém v aplikácii, alebo navrhnúť zvýšenie tarify. Nemáme možnosť skúmať fungovanie aplikácií, pretože to je za hranicami podpory. Hoci sme prvé prípady riešili spoločne s používateľmi. Zvlášť si pamätám ten, kde mal manipulátor sledovaní na YouTube vložený trójsky kôň a ten trójsky kôň mal únik pamäte. Nakoniec sme dospeli k záveru, že to nie sú hiccup bugy, ale problémy tých používateľov, inak by sme dostali podobné žiadosti v preplnených množstvách. Ale ešte nikto nepriznal, že by sám mohol prekročiť limity.
Podobný príbeh je aj s DDoS: píšeme, že ste, vážený používateľ, pod útokom. Prosím, zapnite ochranu. A používateľ: „To vy ma útočíte!“ Samozrejme, že sa snažíme zabiť jedného používateľa DDoS-om, aby sme išli získať 300 korún. To je predsa výhodná záležitosť. Áno, viem, že mnohé väčšie hostingy z vyššej cenovej kategórie zahrnujú túto ochranu v tarife, ale my to nemôžeme robiť: ekonomika rýchleho občerstvenia diktuje iné minimálne ceny.
Rovnako často sú nespokojní s podporou tí, ktorých údaje sme odstránili. V tom zmysle, že sme ich legitimne odstránili po uplynutí zaplateného obdobia. Ak niekto neobnoví nájom VDS, prichádzajú niekoľko upozornení s vysvetlením, čo bude ďalej. V momente uplynutia platnosti sa virtuálny stroj zastaví, ale jeho obraz sa uchová. Prichádza ďalšie upozornenie, a potom - ešte pár. Obraz je uložený ešte sedem dní a až potom sa vymaže navždy. Takže existuje kategória ľudí, ktorí sú s tým veľmi nespokojní. Začínajúc od „admin bol prepustený, na jeho e-mail chodili upozornenia, obnovte to“ a končiac obvineniami z podvodu a hrozbami fyzických útokov. Dôvod - stále tie isté ceny pre všetkých ostatných používateľov. Ak by sme to uchovávali mesiac, bolo by potrebné viac úložného priestoru. To by znamenalo vyššie ceny pre každého konkrétneho zákazníka. A ekonomika rýchleho občerstvenia… No, chápete. A v dôsledku toho dostávame na fórach názory v duchu „vzali peniaze, odstránili údaje, podvodníci“.
Chcem zdôrazniť, že máme radu prémiových tarifov. Situácia je tam samozrejme odlišná, pretože berieme do úvahy požiadavky zákazníka a flexibilne nastavujeme ako limity, tak aj odstránenie pri neplatbe (uvádzame ho do mínusu, aby sme neblokovali). Tam je to už ekonomicky výhodné, pretože sa naozaj môže stať čokoľvek a udržanie stálych veľkých zákazníkov je veľmi drahé.
Niekedy sú používatelia zlomyselní. Niekoľkokrát sme v našom systéme zaznamenali poruchy s blokovaním stoviek virtuálnych strojov kvôli nejakým jasne ilegálnym činnostiam zákazníkov. Práve kvôli takýmto situáciám sme potrebovali vlastné sieťové ovládače na monitorovanie sieťovej aktivity, aby sme videli, že používateľ nevykonáva útok zo svojho servera. Monitorovanie takéhoto druhu je dôležité, aby sa dodržiavali hranice susedných virtuálnych strojov a aby ich nezachvátili búrliví chlapci.
Existujú tí, ktorí jednoducho spamuju, ťažia alebo inak porušujú zmluvu. Potom sa obracajú na podporu a pýtajú sa, čo sa pokazilo a prečo bola ich mašinka zablokovaná. Ak sa proces v tikete na snímke obrazovky nazýva „posielateľ spamu.exe“, tak to zrejme niečo nehrá. Taktiež raz za dva týždne dostávame sťažnosti od spoločností Sony alebo Lucasfilm (teraz — Disney), že niekto z našej virtuálky v našom rozmedzí IP-adresov distribuuje pirátsky film. Za to okamžite blokujeme a vraciame zvyšok peňazí na účte podľa zmluvy (pripomínam: naše kvantovanie je po sekúndach, teda zostatok bude vždy presne). A aby sme vrátili peniaze, podľa zákona musíme ukázať občiansky preukaz: je to protiopatrenie voči praniu špinavých peňazí. Piráti totižto namiesto ukázania preukazu píšu, že sme im ukradli peniaze, zabúdajúc objasniť niektoré okolnosti.
Áno, najlepší dotaz roka u nás je: „Môžem niekoľko dní otestovať virtuálny stroj podľa tarify 30 korún mesačne pred kúpou?“
Záver
Prvá línia triedi tikety a odpovedá bežnými akciami. Najviac nespokojnosti je práve tu. Opraviť to nijako nepôjde, pretože základ opravy spočíva v automatizácii hostingu, teda v obrovskom backlogu. Áno, máme viac ako mnohí na trhu, ale stále to nestačí. Preto najlepšie, čo môžeme urobiť, je nastaviť monitorovanie prvej línie. Monitorovanie zákazníckej podpory — plnenie KPI prvej línie. V reálnom čase sú viditeľné oneskorenia podľa SLA: kto zlyháva, často – prečo. Žiadosti vďaka takýmto upozorneniam nikdy nezaniknú. Áno, na tiket môže odpovedať šablónou, ktorá nie je relevantná, ale to zistíme už z spätnej väzby.
Ak klient veľmi žiada, špecialista druhej línie môže vstúpiť na server a urobiť tam to, čo klientovi je potrebné (podmienkou je potvrdenie v liste, v ktorom oznámi údaje na prihlásenie na server).
Toto robíme veľmi zriedka a takúto prácu zverujeme len najlepším, pretože chceme mať záruky, že údaje používateľov nebudú poškodené. Najlepší sú špecialisti druhej línie podpory.
Prvá línia má databázu znalostí, kde je možné posielať na prezeranie zložité problémy.
Bohatý na funkcie osobný účet plus databáza znalostí — a tak sa nám podarilo znížiť počet žiadostí na 1–1,5 ročne na klienta v priemere.
Druhá línia zvyčajne spracováva zložité žiadosti, ktoré si vyžadujú ručnú prácu. Zaujímavé je, že čím drahší je taríf, tým menej takýchto žiadostí na virtuálnu mašinu. Zvyčajne preto, že tí, ktorí si môžu dovoliť drahý tarif, buď majú špecialistov v tíme, alebo jednoducho polovica problémov nevzniká, pretože konfigurácie sú dostatočné. Stále si pamätám toho hrdinu, ktorý inštaloval dosť starý Windows Server na konfiguráciu s 256 MB operačnej pamäte.
Druhá línia má súbor distribúcií a súbor skriptov na automatizáciu. Oboje sa dá aktualizovať podľa potreby.
Druhá línia a osobní manažéri VIP tarifov vedia pridávať poznámky do profilu klienta. Ak je to Linux-admin – tak to aj zapíšeme. To bude nápovedou pre prvú líniu: používateľ presne vie, že to nebude zásah do nohy, ale kontrolované zničenie.
Tretia línia riadi najpodivnejšie. Napríklad sme mali chybu, že nebolo možné dostať sa k jednej z funkcií osobného účtu vo Firefoxe. Používateľ priamo vydieral: "Ak to neopravíte do 12 hodín, napíšem o tom na všetky hostingové recenzie." Ako sa ukázalo, problém bol v prispôsobenom adblocku. Na strane používateľa, ako to ani nie je zvláštne. Často prichádzajú zložité chyby bez podrobností a opakovať ich už nemôžu. Niekedy prichádza detektív so snímkou obrazovky: "Prečo to opravujete už mesiac?" — "My len hľadáme vašu chybu po celú dobu," "A, no ja som to dnes znova mal, ale opakovať som to znovu nemohol…"
V skutočnosti nikdy neviete, kde sa objaví snímka obrazovky rozhovoru so supportom, a ak už človek nabúcha do podpory, tak má problém. Môžete zlepšiť vzťah. Aspoň sa o to pokúsiť.
Áno, vieme, že naša podpora nie je dokonalá, ale ako dúfam, kombinujeme dostatočnú rýchlosť so dostatočnou kvalitou. A nezvyšujeme ceny za tarify tým, ktorí sa bez nej môžu zaobísť.
Zdroj: habr.com
