Правим поддръжката по-евтина, опитвайки се да не губим качество

Резервният режим (наричан още IPKVM), който ви позволява да се свързвате към VPS без RDP директно от слоя хипервайзор, спестява 15-20 минути на седмица.

Първото и най-важно нещо е да не ядосвате хората. В целия свят поддръжката е разделена на линии и служителят е първият, който опитва типични решения. Ако задачата надхвърля техните граници, прехвърлете я на втория ред. Така че сред администраторите на VDS доста често има хора, които знаят как да мислят. За разлика от много други опори. Е, поне значително по-често. И добре структурират билета, като веднага описват всичко необходимо. Ако първият ред стане „замъглен“ и те случайно ви помолят да го включите и изключите в отговор на това, това е фиаско.

Задачата е много проста: да осигурим адекватна поддръжка за нашия VDS хостинг на минимална цена. Защото ние сме бързото хранене в света на хостинг доставчиците: без специално „облизване“, ниски цени, нормално качество. По-рано Вече имаше история за факта, че с появата на любимите хора в Instagram, които се опитват да автоматизират управлението на акаунти и собствениците на малък бизнес с дистанционно счетоводство и други хора, които не са много напреднали в технологиите, комуникацията „като администратор на администратор“ спря да работи. Трябваше да сменя езика на общуване.

Сега ще ви разкажа малко повече за процесите - и за неизбежните проблеми с тях.

Не ядосвайте хората от #1

Всяка поддръжка е производство на поточна линия. Пристига заявление, служителят от първа линия веднага се опитва да разпознае типична ситуация, която вече се е случвала хиляда пъти и ще се повтори хиляда пъти. Има 90% вероятност приложението да е типично и можете да отговорите, като буквално натиснете няколко бутона, така че шаблонът да бъде заменен. Обикновено просто трябва да напишете няколко думи в шаблона и сте готови. Или отидете на интерфейса за управление и натиснете няколко бутона там. В по-сложни случаи (прехвърляне от зона в зона, например), трябва да следвате алгоритъма.

Това, което най-много дразни хората, независимо от другите качества на подкрепа, е типичната реакция на нетипично искане. Пристига билет, където всичко е описано подробно, има много необходими данни за три въпроса напред, клиентът очаква диалог ... И според първите думи служителят по поддръжката на автопилот въвежда акорд, за да замени шаблона „опитайте да рестартирате, трябва да помогне.“

Това е, което наистина отваря умовете на хората и именно след такива ситуации остават най-много негативни отзиви и гневни коментари. Ясно е, че сме много грешни, това е мястото, където знаем статистиката. Като цяло сме правили грешки по различни начини, но такива случаи винаги са просто диви. Включително и за нас самите. Разбира се, бихме искали това изобщо да не се случва. Но това не е много възможно на практика: веднъж на всеки няколко седмици служител, уморен от монотонността, ще натисне смешните бутони.

Не ядосвайте хората от #2

Второто нещо, което еднакво отваря ума, е когато никой не отговаря на билет достатъчно дълго. В Европа това поведение на подкрепа е нормално: три дни преди инцидент да бъде приет за работа е повече от нормата. Дори да ви е много спешно и нещо да ви гори - без социални мрежи, без телефон, без месинджър, просто имейл и чакайте реда си. В Русия това е много по-рядко, но някои билети все още са „забравени“. В самото начало на работа задаваме SLA за първи отговор от 15 минути. И това е 24/7 честно. Ясно е, че когато VDS хостингът стане голям, това се появява. Но съмнителните доставчици на услуги нямат това. И ние просто се съмнявахме в началото и едва след това станахме горе-долу големи. Добре, горе-долу средно.

Първият ред са оператори, на които са дадени скриптове и са научени да реагират на типични ситуации. Те бързо решават проблемите и се опитват в рамките на 15 минути или да отговорят с типично действие, или да докладват, че тикетът е в ход и да го прехвърлят на втория.

Втората линия е хостинг администраторите; те знаят как да правят почти всичко на ръка. Има и мениджър по поддръжката, който може да направи всичко и малко повече. Третият ред са разработчиците, те получават билети като „коригирайте това в интерфейса“ или „такъв и такъв параметър е взет под внимание неправилно“.

Намалете броя на приложенията

По очевидни причини, ако искате да предоставите поддръжка евтино, тогава не трябва да увеличавате първия ред, така че хората да могат да обработват скриптове по-бързо, а да увеличите автоматизацията. Така че вместо хора със скриптове да има истински сценарии. Затова едно от първите неща, които направихме, беше да автоматизираме процесите на издигане на виртуална машина, мащабиране по ресурси (включително по дискове нагоре и надолу, но не и по честота на процесора) и други подобни неща. Колкото повече потребителят може да направи от интерфейса, толкова по-лесно е да живее с първия ред и толкова по-малък може да бъде той. Когато потребител влезе в нещо, което е в личния му акаунт, той трябва да го направи и да му каже как може да го направи сам.

Ако нямате нужда от подкрепа, значи тя върши добра работа.

Втората характеристика, която спестява много време, е дългото време, необходимо за попълване на базата от знания. Ако потребителят има проблем, който не е включен в списъка с поддържани действия (най-често това са въпроси на ниво „как да инсталирам Minecraft сървър“ или „Къде да настроя VPS в Win Server“), тогава статията е написана в базата знания. Същата подробна статия е написана за всички странни искания. Например, ако потребител поиска от поддръжката да премахне вградената защитна стена на Windows Server, ние ги изпращаме да прочетат какво ще се случи, ако тя действително бъде деактивирана и как да променя разрешенията само за избран софтуер. Защото проблемът обикновено е в това, че нещо не може да се свърже поради настройките, а не в самата защитна стена. Но е много трудно да се обяснява това всеки път в диалог. Но някак си не искам да деактивирам защитната стена, защото много скоро ще загубим или виртуалната машина, или клиента.

Ако нещо относно приложния софтуер в базата знания стане много популярно, тогава можете да добавите разпространението към пазара, така че да се появи услугата „настройте сървър с това вече инсталирано“. Всъщност това се случи с Docker и това се случи със сървъра на Minecraft. Отново един бутон „направи ми добре“ в интерфейса спестява до стотици билети годишно.

Авариен режим

След тези стъпки най-сериозните повреди, които изискват ръчна работа, остават с факта, че потребителят по някаква причина е загубил средствата за отдалечен достъп до операционната система за гости в хипервайзора. Най-често срещаният случай е просто неправилна настройка на защитната стена, вторият най-често срещан е някои грешки, които пречат на Win да стартира нормално и ви принуждават да рестартирате в безопасен режим. И в безопасен режим RDP не е наличен по подразбиране.

Създадохме авариен режим за този случай. Всъщност обикновено за достъп до VDS машина трябва да имате някакъв вид клиент за отдалечена работа. Най-често говорим за конзолен достъп, RDP, VNC или нещо подобно. Недостатъкът на тези методи е, че не работят без ОС. Но на ниво хипервизор можем да получаваме изображението на екрана и да предаваме натисканията на клавиатурата там! Вярно, това натоварва процесора доста (поради реалното видео излъчване), но ви позволява да получите желания резултат.

Затова сме предоставили достъп до авариен режим на всички потребители, но той е ограничен по отношение на продължителността на непрекъснато използване. За щастие, както показва практиката, това време е напълно достатъчно, за да рестартирате и да поправите нещо.

Резултатът е още по-малко заявки за поддръжка. И когато администраторът може сам да поправи тикета, поддръжката не трябва да влиза и да го разбере.

Оставащи проблеми

Много често потребителите смятат, че поддръжката им налага нещо. За съжаление нищо не може да се направи по въпроса (или не сме измислили нищо). Двата най-често срещани примера са ограничения на ресурсите и DDoS защита.

Всяка виртуална машина има ограничения за натоварване на диска, памет и разрешен трафик. Възможността за задаване на лимити е посочена в офертата, но самите лимити са избрани така, че повечето потребители да могат да работят тихо, без дори да знаят за тях. Но ако изведнъж започнете да се занимавате с канала и диска твърде много, тогава алгоритмите автоматично предупреждават потребителя. От април миналата година премахнахме автоматичните брави. Вместо това задаване на меки лимити за променлив период.

Преди това беше така: предупреждение, след което, ако потребителят не се вслуша, автоматично блокиране. И в този момент хората се обидиха: „Какво говорите, системата ви е бъгава, нищо не се е случило!“ - и тогава можете или да се опитате да разберете приложния софтуер, или да предложите да увеличите тарифния план. Нямаме възможност да разберем работата на приложния софтуер, защото това е извън обхвата на поддръжката. Въпреки че първите няколко случая бяха подредени заедно с потребителите. Особено си спомням този, в който измамникът за гледания в YouTube имаше вграден троянски кон и този троянски кон изтичаше памет. В крайна сметка стигнахме до извода, че това не са Heisenbugs, а проблеми с потребителите, иначе щяхме да бъдем затрупани с подобни искания. Но все още нито един човек не е признал, че сам би могъл да превиши тарифите.

Подобна история е и с DDoS: пишем, че вие, скъпи потребител, сте атакувани. Моля, свържете защитата. И потребителят: „Да, вие самият ме нападате!“ Разбира се, ние DDoS само един потребител, за да ги измамим с 300 рубли. Това е печеливш бизнес. Да, знам, че много големи хостинг сайтове в по-скъпата категория включват тази защита в тарифата, но ние не можем да направим това: икономиката на бързото хранене диктува други минимални цени.

Не по-рядко тези, чиито данни сме изтрили, са недоволни от поддръжката. В смисъл, че е законно изтрит след края на платения период. Ако някой не поднови своя VDS наем, тогава се изпращат няколко известия, обясняващи какво ще се случи след това. Когато плащането приключи, виртуалната машина спира, но изображението й се запазва. Пристига още едно известие и след това още няколко. Изображението се съхранява за седем допълнителни дни, преди да бъде изтрито за постоянно. Така че има категория хора, които са много недоволни от това. Започвайки от „администраторът напусна, бяха изпратени известия до неговия имейл, възстанови“ и завърши с обвинения в измама и заплахи за физическо увреждане. Причината са еднакви цени за всички останали потребители. Ако го съхраняваме за един месец, ще имаме нужда от повече място за съхранение. Това ще означава по-високи цени за всеки отделен клиент. А икономиката на бързото хранене... Е, схванахте идеята. И в резултат на това във форумите получаваме отзиви в духа на „те взеха пари, изтриха данни, измамници“.

Бих искал да отбележа, че имаме линия от премиум тарифи. Там, разбира се, ситуацията е различна, тъй като ние се съобразяваме с желанията на клиента и гъвкаво настройваме както лимита, така и изтриването при неплащане (слагаме го в минус, за да не го блокираме). Там вече е икономически осъществимо, защото наистина всичко може да се случи, а задържането на постоянен голям клиент е скъпо.

Понякога потребителите са злонамерени. Няколко пъти нашата система претърпя повреди със стотици виртуални машини, които бяха блокирани поради някои очевидно нелегитимни действия на клиенти. Всъщност, точно поради такива ситуации имахме нужда от собствени мрежови драйвери, за да наблюдаваме мрежовата активност и да видим дали потребителят не извършва атака от своя сървър. Мониторингът на такъв план е важен, за да не се нарушават границите на съседните виртуални машини от буйни момчета.

Има хора, които просто изпращат спам, копаят или по друг начин нарушават офертата. След това чука за поддръжка и пита какво се е объркало и защо е блокирала колата. Ако процесът в билета на екранната снимка се нарича „spam sender.exe“, тогава нещо вероятно се обърка. Около веднъж на всеки две седмици получаваме оплаквания от Sony или Lucasfilm (сега Disney), че някой от нашата виртуална машина от нашия диапазон от IP адреси разпространява изгорен филм. За това веднага ще блокирате и върнете останалите пари в сметката според офертата (нека ви напомня: нашето квантуване е на секунда, тоест винаги ще има баланс със сигурност). И за да получите парите обратно, според закона трябва да покажете паспорта си: това е борба с прането на пари. По някаква причина, вместо да покажат паспорт, пиратите пишат, че сме изтръгнали пари от тях, забравяйки да изяснят някои от обстоятелствата.

О да. Нашата най-добра молба за годината е: „Мога ли да тествам виртуална машина за няколко дни със скорост от 30 рубли на месец, преди да закупя?“

Общо

Първият ред сортира билети и отговаря с типични действия. Тук е най-много недоволството. Все още няма да е възможно да се поправи това, защото основата за коригирането му е в автоматизацията на хостинга, тоест в огромно изоставане. Да, имаме повече от много на пазара, но все още не е достатъчно. Следователно най-доброто нещо, което може да се направи, е да се установи наблюдение от първа линия. Мониторинг на бюро за помощ - внедряване на KPI на първа линия. Закъсненията в SLA се виждат в реално време: кой се прецаква, често - защо. Благодарение на такива сигнали приложенията никога не се губят. Да, на билета може да се отговори с шаблон, който не е по темата, но ние разбираме това вече от обратната връзка.

Ако клиентът наистина поиска, тогава специалистът от втора линия може да отиде на сървъра и да направи това, което клиентът има нужда там (условието е потвърждение с писмо, в което той ще предостави информацията за вход на сървъра).

Ние правим това много рядко и поверяваме такава работа само на най-добрите, защото искаме да имаме гаранции, че потребителските данни няма да бъдат повредени. Най-добрите са втората линия на подкрепа.

Първият ред има база от знания, където можете да изпращате, за да търсите сложни неща.

Личен акаунт, богат на функции плюс база от знания - и сега успяхме да намалим броя на заявките средно до 1–1,5 на година на клиент.

Втората линия обикновено обработва сложни приложения, които изискват ръчен труд. Какво е типично: колкото по-скъп е тарифният план, толкова по-малко такива заявки на виртуална машина. Обикновено, защото тези, които могат да си позволят скъпа тарифа, или имат специалисти в персонала, или просто половината от проблемите не възникват поради факта, че има достатъчно конфигурация за всичко. Все още помня героя, който инсталира не най-стария Windows Server на конфигурация с 256 MB RAM.

Вторият ред има набор от комплекти за разпространение и набор от скриптове за автоматизация. И двете могат да бъдат актуализирани според нуждите.

Вторият ред и личните мениджъри на VIP тарифи могат да добавят бележки към профила на клиента. Ако той е Linux администратор, ще запишем това. Това ще бъде намек от първия ред: потребителят знае със сигурност, че това няма да бъде изстрел в крака, а контролирано унищожение.

Третият ред управлява най-странното. Например, имахме грешка, която направи невъзможен достъпът до една от функциите на вашия личен акаунт във Firefox. Потребителят директно изнудва: „Ако не го поправите в рамките на 12 часа, ще пиша във всички отзиви на хостове.“ Както се оказа, проблемът беше в персонализирания рекламен блок. От страна на потребителя, колкото и да е странно. Често сложните грешки възникват без подробности и вече не могат да бъдат повторени. Има детективи с екранна снимка: „Защо го поправяте за един месец?“ - „Да, търсихме вашия бъг през цялото това време“, „О, добре, днес отново попаднах на него, но не можах да го повторя отново“...

Като цяло никога не се знае къде ще попадне екранна снимка на диалог с поддръжката и ако човек почука за поддръжка, значи има проблем. Можете да подобрите отношението си. Поне опитайте.

Да, знаем, че нашата поддръжка не е перфектна, но бих искал да вярвам, че съчетава достатъчна скорост с достатъчно качество. И не увеличава цените на тарифите за тези, които могат без него.

Източник: www.habr.com