🥇Правим поддръжката по-евтина, опитвайки се да не загубим качеството

Режим аварийного доступа (также известный как IPKVM), который позволяет подключаться к VPS без RDP напрямую с уровня гипервизора, экономит 15–20 минути седмично.

Първото и най-важно — не дразнете хората. По целия свят поддръжката е разделена на линии, и служителят от първа линия трябва да опита типичните методи за решаване на проблеми. Ако задачата излиза извън тяхната компетентност — да предаде на втора линия. Сред администраторите на VDS често има хора, които умеят да мислят. За разлика от много други поддръжки. Най-малкото, необикновено по-често. И те добре структурират тикета, като веднага описват всичко, което е необходимо. Ако на първа линия „околният поглед” увлече служителя и той случайно в отговор на такъв тикет поиска да включи и изключи — това е фиаско.

Задачата е много проста: да направим поддръжката на нашия VDS хостинг адекватна при минимални разходи. Защото ние сме фастфуудът на света на хостинг доставчиците: никакво особено „лопане”, ниски цени, нормално качество. Ранее Вече разказах за това как с появата на инстаграм-сладурите, които се опитват да автоматизират управлението на акаунти и собствениците на малък бизнес с дистанционно счетоводство, между недостатъчно усъвършенстваните в технологиите хора, общуването „като администратор с администратор” вече не работи. Пришло се е до изменение на езика на комуникацията.

Сега ще разкажа малко повече за процесите — и за неизбежните проблеми в тях.

Не дразнете хората № 1

Всяка поддръжка е конвейерно производство. Появява се заявка, служителят от първа линия веднага се опитва да разпознае типичната ситуация, която е случвала хиляди пъти и ще се случи още хиляди пъти. Шансът е 90 %, че заявката е типична, и може да се отговори с натискане на буквално два бутона, за да се постави шаблонът. В шаблона обикновено трябва да добавите няколко думи — и готово. Или да влезете в управляващия интерфейс и да натиснете там два бутона. В по-сложни случаи (прехвърляния от зона в зона, например) е необходимо да се изпълнят действия по алгоритъм.

Онлайн, това, което най-много дразни хората, независимо от другите качества на поддръжката, е типичната реакция на нетипична заявка. Появява се тикет, в който е всичко подробно описано, има куп необходима информация за три въпроса напред, клиентът предвижда диалог… И по първите думи служителят на поддръжката на автопилот набира акорд за подмяна на шаблон „опитайте да рестартирате, би трябвало да помогне.”

Точно это прямо задевает людей, и именно после таких ситуаций остаются самые негативные отзывы и гневные комментарии. Ясно, что мы часто ошибались, и именно поэтому у нас такая статистика. Мы по-разному ошибались, но такие случаи всегда дико удивляют. В том числе и нас самих. Хотелось бы, чтобы этого не происходило вообще. Но на практике это не всегда возможно: раз в несколько недель уставший от рутины сотрудник может случайно нажать неправильные кнопки.

Да, люди недовольны № 2

Второе, что также сильно раздражает, — это когда на тикет никто не отвечает слишком долго. В Европе такое поведение службы поддержки считается нормальным: три дня на принятие инцидента в работу — это более чем нормально. Даже если у вас срочно что-то требуется — ни соцсетей, ни телефона, ни мессенджеров, только почта и ожидание своей очереди. В России это встречается гораздо реже, но все же некоторые тикеты «забываются». Еще в самом начале работы мы установили SLA на первую реакцию 15 минут. И это при 24/7 честном обслуживании. Понятно, что когда VDS-хостинг становится крупным, это становится явлением. Но у сомнительных провайдеров услуг такого нет. А мы в начале были именно такими сомнительными и только потом стали более-менее крупными. Ладно, более-менее средними.

Первая линия — операторы, которым дали скрипты и обучили реагировать на типичные ситуации. Они быстро сортируют проблемы и стараются за 15 минут дать типичный ответ или сообщить о том, что тикет в работе, и передать его на вторую линию.

Вторая линия — это уже администраторы хостинга, которые умеют почти всё делать вручную. Также здесь находится руководитель поддержки, который вмешивается в любые ситуации и может сделать еще чуть больше. Третья линия — это разработчики, к ним попадают тикеты вроде «поправьте это в интерфейсе» или «неверно учитывается этот параметр там-то».

Сокращение количества заявок

По логични причини, ако искате да предоставяте поддръжка на ниска цена, не трябва да увеличавате първата линия, за да може хората със скриптове да се справят по-бързо, а да увеличавате автоматизацията. Вместо хора със скриптове, трябва да има истински скриптове. Затова една от първите неща, които направихме, е автоматизация на процесите по стартиране на виртуална машина, мащабиране на ресурсите (включително нагоре и надолу по диска, но не и по честотата на процесора) и подобни неща. Колкото повече може потребителят от интерфейса, толкова по-лесно е на първата линия и толкова по-малка може да бъде тя. Когато потребителят се обръща с нещо, което е в личния кабинет, трябва да се направи и да се обясни как може да го изпълни сам.

Ако не ви е нужна поддръжка, значит, тя се справя добре.

Втората характеристика, която спестява много време, е дългото попълване на базата от знания. Ако потребителят има проблем, който не влиза в списъка на поддържаните действия (най-често това са въпроси от типа „как да настроя Minecraft сървър“ или „Къде в Win Server да настроя VPS“), се пише статия в базата от знания. Толкова подробна статия се пише и за всички странни запитвания. Например, ако потребителят пита поддръжката да изтрие вградения фаервол на Windows Server, ние му изпращаме да чете за това какво ще стане, ако наистина го изключи, и как да разреши достъпа само за избрания софтуер. Защото проблемът обикновено е, че нещо не може да се свърже заради настройките, а не самия фаервол. Но да се обяснява всеки път в диалога е много трудно. А изключването на фаервола по някакъв начин не е желателно, защото доста скоро можем да загубим или виртуалната машина, или клиента.

Ако нещо по приложния софтуер в базата от знания стане много посещавано, можем да добавим дистрибутив в маркетплейса, за да се появи услуга „стартирайте сървър с вече инсталираното това“. Всъщност, така стана с Docker, и така стана със сървъра на Minecraft. Отново, един бутон „направете ми добре“ в интерфейса спестява до сто тикета годишно.

Режим на авария

След като извършите тези действия, най-съществени проблеми, изискващи ръчна намеса, остават, когато потребителят по някаква причина е загубил достъпа до гост операционната система в хипервизора. Най-честият случай е банално неправилната конфигурация на защитната стена, вторият по честота — някакви бъгове, които не позволяват на Windows да стартира нормално и принуждават да се рестартира в безопасен режим. А в безопасен режим RDP по подразбиране не е достъпен.

Създадохме аварийен режим за такива случаи. Всъщност обикновено за достъп до VDS машината е необходимо да имате клиент за отдалечена работа. Най-често става въпрос за конзолен достъп, RDP, VNC или нещо подобно. Недостатък на тези методи е, че те не работят без операционна система. Но на нивото на хипервизора можем да получим както изображение на екрана, така и да предаваме натискания на клавиатурата! Разбира се, това натоварва процесора (поради фактическата транслация на видео), но позволява да се постигне желаният резултат.

Затова предоставихме достъп до аварийния режим на всички потребители, но той е ограничен по продължителност на непрекъснатото използване. За щастие, както показва практиката, времето е напълно достатъчно, за да се рестартира и да се направят нужните корекции.

Резултатът — още по-малко заявки за поддръжка. И там, където администраторът може да поправи нещо в заявката, поддръжката не трябва да се намесва и да разбира проблемите.

Останалите проблеми

Много често потребителите мислят, че поддръжката им предлага нещо нереално. За съжаление, не можем да направим нищо по въпроса (или поне не сме измислили решение). Два от най-честите примери са лимитите на ресурсите и DDoS защита.

На всяка виртуална машина има лимити на натоварването на диска, паметта и допустимия трафик. Възможността за задаване на лимити е описана в офертата, а самите лимити са подбрани така, че по-голямата част от потребителите да работят спокойно, дори без да знаят за тях. Но ако внезапно започнете да натоварвате канала и диска прекалено много, алгоритмите автоматично предупреждават потребителя. От април миналата година премахнахме автоматичните блокировки. Вместо това — установяване на меки лимити за променлив срок.

По-рано беше така: предупреждение, след това, ако потребителят не реагираше, — автоматична блокировка. И в този момент хората се обиждаха: «Какво става, системата ви е сбъркана, не е имало нищо!» — и после можеш или да се опиташ да разбереш софтуера, или да предложиш да повишиш тарифния план. Нямаме възможност да се занимаваме с приложния софтуер, тъй като това е извън обхвата на поддръжката. Въпреки това първите няколко случая ги разгледахме заедно с потребителите. Особено запомням случая с ползвателя на Youtube, който имаше вграден троян, и при него имаше изтичане на паметта. В крайна сметка стигнахме до извода, че това не са гейзенбаги, а проблеми на потребителите, в противен случай щяхме да получим много подобни заявки. Но още никой не е признал, че е могъл сам да надвиши тарифите.

Аналогична история — с DDoS: ние пишем, че вие, уважаеми потребителю, сте под атака. Моля, включете защита. А потребителят: «Да, вие самите нападате!» Разбира се, ние точно един потребител натоварваме с DDoS, за да изкараме 300 рубли. Изгодно е, нали? Да, знам, че много големи хостинг компании от по-скъпата категория включват тази защита в тарифата, но ние не можем да направим така: икономиката на бързото хранене диктува други минимални цени.

Не по-малко често недоволни от поддръжката са тези, чиито данни сме изтрияли. В този смисъл, че легитимно изтрихме след изтичането на платения срок. Ако някой не подновява наема на VDS, получава няколко уведомления с обяснение какво ще се случи по-нататък. В момента на изтичането на плащането виртуалната машина спира, но нейният образ се запазва. Получава се още едно уведомление, а след това — още две. Образът се съхранява в продължение на седем допълнителни дни и едва след това се изтрива завинаги. Има категория хора, които са много недоволни от това. Започвайки от «администраторът е уволнен, на неговата поща са постъпвали уведомления, възстановете» и стигайки до обвинения в измама и заплахи за физическо насилие. Причината — същите цени за всички останали потребители. Ако съхраняваме един месец, е необходимо повече пространство за съхранение. Това ще означава по-високи цени за всеки конкретен клиент. А икономиката на бързото хранене… Надявам се, разбрали сте. И в резултат на това на форумите получаваме отзиви в духа на «взели сте парите, изтрили сте данните, измамници».

Ще отбележа, че имаме линия от премиум планове. Там, разбира се, ситуацията е различна, тъй като взимаме предвид желанията на клиента и гъвкаво настройваме и лимита, и свалянето при неплащане (водим го в минус, само за да не блокираме). Там това вече е икономически оправдано, защото наистина се случват всякакви неща и запазването на постоянен голям клиент струва скъпо.

Понякога потребителите са злонамерени. Няколко пъти в нашата система имаше сривове с блокирането на стотици виртуални машини заради явно нелегитимни действия на клиенти. Всъщност именно поради такива ситуации ни бяха необходими собствени мрежови драйвъри, за да следим мрежовата активност и да видим, че потребителят не прави атака от своя сървър. Наблюдението от такъв тип е важно, за да не бъдат нарушавани границите на съседните виртуалки от буйни типове.

Има такива, които просто спамят, миньорстват или по друг начин нарушават офертата. После пишат в поддръжката и питат какво е наред и защо машината е блокирана. Ако процесът в тикета на скрийншота е наречен „расширитель спама.exe“, вероятно нещо не е наред. Около веднъж на две седмици получаваме жалби от компании Sony или Lucasfilm (сега — Disney), че някой от нашата виртуалка в нашия диапазон IP адреси разпространява краден филм. За такова веднага блокираме и връщаме останалите пари по офертата (да припомня: квантоването при нас е на секунда, тоест остатъкът винаги ще е точен). А за да върнете парите, по законодателството трябва да покажете паспорт: това е противодействие на пране на пари. Пиратите по някаква причина вместо да покажат паспорта пишат, че ние сме им откраднали парите, забравяйки да уточнят част от обстоятелствата.

А, да. Най-доброто запитване на годината при нас е такова: „Може ли за няколко дни да тествам виртуалната машина по тарифата 30 лева на месец преди закупуването?“.

Резюме

Първата линия сортира тикетите и отговаря с типични действия. Най-много недоволство възниква именно тук. Няма как да се поправи това, защото основата за корекцията е в автоматизацията на хостинга, тоест в огромен беклог. Да, имаме повече, отколкото много на пазара, но все пак не е достатъчно. Затова най-доброто, което можем да направим, е да организираме мониторинг на първата линия. Мониторингът на службата за поддръжка означава изпълнение на KPI на първата линия. В реално време са видими закъсненията по SLA: кой не справя, често — защо. Заявките благодарение на такива алерти никога не се губят. Да, на тикета може да се отговори с шаблон, който не е по темата, но това го разбираме по обратната връзка.

Ако клиентът много настоява, специалистът на втора линия може да влезе на сървъра и да направи това, което е необходимо за клиента (условието е писмено потвърждение, в което той съобщава данните за вход на сървъра).

Правим това много рядко и такава работа доверяваме само на най-добрите, защото искаме да имаме гаранции, че потребителските данни няма да бъдат повредени. Най-добрите — това е втората линия на поддръжка.

Първата линия разполага с база знания, където може да се изпращат да се гледат сложни случаи.

Богат на функции личен кабинет плюс база знания — и така успяхме да намалим броя на запитванията до 1–1,5 на година на клиент в средно.

Втората линия обикновено обработва сложни заявки, които изискват ръчен труд. Забележително е, че колкото по-скъпи са тарифните планове, толкова по-малко са такива заявки на виртуална машина. Обикновено защото тези, които могат да си позволят скъпа тарифа, или имат специалисти в екипа, или просто половината проблеми не възникват, защото конфигурацията е достатъчна. Все още си спомням онзи герой, който инсталира не най-стария Windows Server на конфигурация с 256 MB оперативна памет.

Втората линия разполага с набор от дистрибуции и набор от скриптове за автоматизация. И двете могат да се актуализират при необходимост.

Втората линия и личните мениджъри на VIP тарифите могат да добавят бележки в профила на клиента. Ако той е Linux администратор — така и ще запишем. Това ще бъде подсказка за първата линия: потребителят със сигурност знае, че това няма да бъде пострел в крака, а контролирано разрушение.

Третата линия управлява най-странното. Например, имахме бъг, при който не можеше да се достъпи до една от функциите на личния кабинет в Firefox. Потребителят направо заплашваше: «Ако не го оправите в рамките на 12 часа, ще пиша на всички хостинг ревюта». Както се оказа, проблемът беше в персонализирания адблок. От страна на потребителя, колкото и странно да звучи. Често идват сложни грешки без детайли и не могат да се повторят. Понякога има детективи със скрийншот: «Защо го оправяте вече месец?» — «Да, ние просто търсим вашия бъг през всичкото това време», «А, днес пак го видях, но отново не успях да го повторя»...

Всъщност никога не знаете къде ще се окажат скрийншотите от диалога с поддръжката, и ако някой пише в поддръжката, значи има проблем. Може да се подобри отношението. Поне да опитаме.

Да, знаем, че нашата поддръжка не е идеална, но, както ми се иска да вярвам, съчетава достатъчна бързина с достатъчно качество. И не повишава цените на тарифите за тези, които могат да се справят без нея.