Режим за възстановяване (известен също като IPKVM), който позволява свързване към VPS без RDP директно от нивото на хипервизора, спестява 15-20 минути на седмица.
Първото и най-важно — не дразнете хората. По целия свят поддръжката е разделена на нива, и служителят от първото ниво трябва първо да опита типични методи за решение. Ако задачата излиза извън техните граници — предадете я на второто ниво. И така, сред администраторите на VDS често се срещат хора, които умеят да мислят. За разлика от много други поддръжки. Поне значително по-често. И те добре структурирани тикети, веднага описвайки всичко необходимо. Ако на първото ниво „окото се замъгли“ и случайно в отговор на такова поиска да включат и изключат — това е провал.
Задачата е много проста: да направим поддръжката на нашия VDS хостинг адекватна с минимални разходи. Защото ние сме бързото хранене в света на хостинг провайдерите: никакво особено „гладене“, ниски цени, нормално качество. Вече имаше разказ за това, как с появата на Instagram красавици, опитващи се да автоматизират управлението на акаунти и собствениците на малък бизнес с дистанционна счетоводство и други не особено овладени в технологиите хора, общуването „като администратор с администратор“ спря да работи. Приходи се да променим езика на комуникация.
Сега ще разкажа малко повече за процесите — и за неизменните грешки с тях.
Не дразнете хората № 1
Всяка поддръжка е конвейерно производство. Подава се заявка и служителят от първото ниво веднага опитва да разпознае типична ситуация, която вече е възниквала хиляди пъти и ще възникне отново. Шанс 90%, че заявката е типична и на нея може да се отговори с натискането на буквално няколко бутона, за да се подстави шаблон. Обикновено в шаблона само трябва да се впишат няколко думи — и готово. Или да влезете в интерфейса за управление и да натиснете там няколко бутона. В по-сложни случаи (например прехвърляния от зона в зона) трябва да се извършат действия по алгориъм.
Това, което най-много дразни хората, независимо от другите качества на поддръжката, е типичната реакция на нетипична заявка. Подава се тикет, където всичко е подробно описано, има куп необходими данни за три въпроса напред, клиентът предвижда диалог… И по първите думи служителят за поддръжка на автопилот набира акорд за подставяне на шаблона „опитайте да рестартирате, трябва да помогне“.
Това е именно това, което толкова много хора не разбират, и след подобни ситуации остават най-много негативни отзиви и гневни коментари. Ясно е, че сме грешили, оттам знаем и статистиката. Грешим по различни начини, но такива случаи винаги са дразнещи. Включително и за нас самите. Разбира се, бихме искали да не се случват изобщо, но на практика това не е особено възможно: на всеки няколко седмици изтощен от монотонността служител може понякога да натисне веселите бутони.
Не ядосвайте хората № 2
Второто нещо, което еднакво дразни, е когато на тикет никой не отговаря достатъчно дълго. В Европа такова поведение на поддръжката е нормално: три дни до приемането на инцидента за работа — повече от приемливо. Дори и да е много спешно и нещо гори — няма социални мрежи, няма телефон, няма месенджър, само имейл и чакайте реда си. В Русия това е значително по-малко разпространено, но все пак някои тикети „забравят“. Още в началото на работата поставихме SLA за първоначален отговор от 15 минути. И то при честно 24/7. Разбира се, когато VDS хостингът става по-голям, това се появява. Но при съмнителни доставчици на услуги такова нещо липсва. Ние в началото бяхме точно съмнителни и едва по-късно станахме по-или-или крупни. Добре, по-скоро средни.
Първа линия — оператори, на които са били дадени скриптове и са обучени да реагират на типични ситуации. Те бързо сортират проблемите и се опитват в течение на 15 минути или да отговорят с типично действие, или да съобщят, че тикетът е в обработка, и да го предадат на втората линия.
Втора линия — вече администратори на хостинга, които почти всичко могат да направят ръчно. Там е и ръководител на поддръжката, който знае как да направи всичко и още малко. Трета линия — вече разработчици, при които попадат тикети като „поправете това в интерфейса“ или „възлизащият параметър там не се отразява правилно“.
Намаляване на броя на заявките
По очевидни причини, ако искате да предоставяте поддръжка на достъпни цени, не е необходимо да увеличавате първоначалната линия, за да могат хората с изпълнени скриптове да се справят по-бързо, а да повишите автоматизацията. Вместо хора със скриптове, трябва да имате истински скриптове. Затова едно от първите неща, което направихме, беше да автоматизираме процесите по създаване на виртуална машина, мащабиране на ресурсите (включително нагоре и надолу по диска, но не по честотата на процесора) и подобни неща. Колкото повече потребителят може да направи от интерфейса, толкова по-лесно е за първата линия, и толкова по-малка може да бъде тя. Когато потребителят се свързва с нещо, което се намира в личния кабинет, трябва да се обясни как може да го направи сам.
Ако не ви нужна поддръжка, значи всичко работи добре.
Втората особеност, която спестява много време, е дългият процес по попълването на базата от знания. Ако потребителят има проблем, който не попада в списъка на поддържаните действия (най-често това са въпроси от рода на „как да настроя Minecraft сървър“ или „къде в Windows Server да настроя VPS“), пише се статия в базата от знания. Същата подробна статия се пише и за всички странни запитвания. Например, ако потребителят иска помощ за изключване на вградената защитна стена на Windows Server, изпращаме информация какво ще се случи, ако я изключим и как да се конфигурират разрешенията само за избрания софтуер. Защото проблемът обикновено е, че нещо не може да се свърже поради настройките, а не заради самата защитна стена. Но е много трудно да се обяснява това всеки път в диалога. А да изключим защитната стена не е желателно, защото много скоро можем да загубим или виртуалната машина, или клиента.
Ако нещо по приложния софтуер в базата от знания стане много посещавано, може да добавим дистрибуция в маркетплейса, за да се появи услугата „създайте сървър с вече инсталирано това“. Всъщност, така се случи с Docker и така се случи със сървъра на Minecraft. Отново, една бутонка „направи добре за мен“ в интерфейса спестява до сто билета годишно.
Режим на извънредна ситуация
След тези действия най-сериозните проблеми, които изискват ръчна намеса, остават с това, че потребителят по някаква причина е загубил средства за отдалечен достъп до хост ОС в хипервизора. Най-честият случай е банално неправилна конфигурация на защитната стена, вторият по честота — някакви бъгове, които не позволяват на Windows да стартира нормално и принуждават да се рестартира в безопасен режим. А в безопасен режим RDP по подразбиране не е наличен.
Затова създадохме аварийен режим за тази ситуация. Всъщност обикновено за достъп до VDS машината е нужно да имате клиент за отдалечена работа. Най-често става въпрос за конзолен достъп, RDP, VNC или нещо подобно. Недостатък на тези методи е, че те не работят без ОС. Но ние на ниво хипервизор можем да получим изображение на екрана и да предаваме натискания на клавиатурата! Истината е, че това натоварва значително процесора (заради фактическата транслация на видео), но позволява да получим необходимия резултат.
Затова предоставихме достъп до аварийния режим на всички потребители, но той е ограничен по продължителност на непрекъснато използване. За щастие, както показва практиката, това време е напълно достатъчно, за да се рестартира и нещо да се коригира.
Резултатът — дори по-малко билети до поддръжка. И там, където админът може сам да поправи в билета, поддръжката не се налага да използва ръцете си и да се задълбочава.
Останалите проблеми
Много често потребителите мислят, че поддръжката им предлага нещо, което не искат. Уви, не може да се направи нищо по въпроса (или поне не сме измислили). Двата най-чести примера са лимити на ресурсите и DDoS защита.
На всяка виртуална машина има ограничения за натоварването на диска, паметта и допустимия трафик. Възможността за задаване на лимити е посочена в офертата, самите лимити обаче се подбират така, че по-голямата част от потребителите да работят спокойно, дори без да знаят за тях. Но ако случайно започнете да натискате много силно на канала и диска, алгоритмите автоматично предупреждават потребителя. От април миналата година премахнахме автоматичните блокировки. Вместо това — налагане на меки лимити за променлив срок.
Преди беше така: предупреждение и след това, ако потребителят не реагира, автоматична блокировка. И в този момент хората се обиждаха: „Какво правите, вашата система е бъгваща, нищо не е било!“ — след това можеш или да се опиташ да разбереш приложния софтуер, или да предложиш повишаване на тарифния план. Нямаме възможност да разбираме работата на приложния софтуер, тъй като това е извън обхвата на поддръжката. Въпреки това, в началото разглеждахме няколко случая заедно с потребителите. Особено си спомням случай, при който накрутчик на гледания в YouTube имаше вграден троян и той имаше проблем с теч на памет. В крайна сметка стигнахме до заключението, че това не са гейзенбаги, а проблеми на потребителите, иначе щяхме да бъдем затрупани с аналогични заявки. Но още нито един човек не призна, че е могъл сам да надхвърли тарифите.
Аналогична история — с DDoS: пишем, че вие, уважаеми потребители, сте под атака. Моля, включете защита. А потребителят: „Вие сами ме атакувате!“ Разбира се, ние точно един потребител опитваме да спрем с DDoS, за да го измъкнем за 300 рубли. Доста изгоден бизнес. Да, знам, че много големи хостинги от по-скъпата категория включват тази защита в тарифите, но ние не можем да направим така: икономиката на бързото хранене диктува други минимални цени.
Не по-малко често поддръжката не е доволна от онези, чиито данни сме изтрили. В смисъл, че легитимно сме изтрили след изтичането на платения срок. Ако някой не поднови наема на VDS, получава няколко известия с обяснение какво ще се случи по-нататък. В момента на изтичането на плащането виртуалната машина се спира, но нейният образ се запазва. Получава се още едно известие, а след това — още няколко. Образът се съхранява седем допълнителни дни и само след това се изтрива завинаги. Така че, има категория хора, които са много недоволни. Започвайки от „админът напусна, известията идваха на неговата поща, възстановявайте“ и завършвайки с обвинения в измама и заплахи за физическо насилие. Причината — същите цени за всички останали потребители. Ако съхраняваме за месец, ще е необходимо повече хранилища. Това ще означава по-високи цени за всеки конкретен клиент. А икономиката на бързото хранене... Е, разбрали сте. И в резултат на форумите получаваме отзиви в духа на „взехте парите, изтрихте данните, измамници“.
Ще отбележа, че имаме линия от премиум планове. Там, разбира се, ситуацията е различна, тъй като вземаме предвид желанията на клиента и гъвкаво настройваме както лимита, така и изтриването при неплащане (премахваме го до минус, само за да не блокираме). Това е икономически оправдано, защото наистина се случва всякакво, а запазването на постоянен голям клиент струва скъпо.
Понякога потребителите са злонамерени. Няколко пъти в системата ни имаше проблеми с блокирането на стотици виртуални машини поради явно нелегитимни действия на клиентите. Всъщност именно заради такива ситуации ни потрябваха собствени мрежови драйвъри, за да наблюдаваме мрежовата активност и да видим, че потребителят не извършва атака от своя сървър. Такова наблюдение е важно, за да не се нарушават границите на съседните виртуалки от буйни момчета.
Има такива, които банално спамят, копаят или по друг начин нарушават офертата. После звънят в поддръжка и питат какво не е наред и защо машината е блокирана. Ако процесът в тикета на скрийншота се нарича „изпращач на спам.exe“, то вероятно нещо не е наред. Още веднъж, на всеки две седмици получаваме оплаквания от компании като Sony или Lucasfilm (сега — Disney), че някой от нашата виртуалка от нашия диапазон IP адреси разпространява нелегален филм. За такова нещо веднага идва блокировка и възстановяване на остатъчните средства по офертата (напомням: квантоването при нас е на секунда, така че остатъкът винаги ще бъде точно). А за да върнем парите, по законодателството трябва да покажем лична карта: това е противодействие на пране на пари. Пиратите по някаква причина вместо да покажат паспорта пишат, че сме им откраднали парите, забравяйки да уточнят част от обстоятелствата.
А, да. Най-доброто запитване на годината от нас е такова: „Може ли да тестваме виртуална машина по тарифата от 30 лева на месец за няколко дни преди покупка?“.
Резюме
Първа линия сортира тикетите и отговаря с типични действия. Най-много недоволство е именно тук. Няма как да поправим това, защото основата на поправката е в автоматизацията на хостинга, т.е. в огромното количество задължения. Да, имаме повече от много на пазара, но пак не е достатъчно. Затова най-доброто, което можем да направим, е да подготвим мониторинг на първа линия. Мониторингът на обслужването — изпълнение на KPI на първа линия. В реално време се виждат просрочия по SLA: кой греши, често — защо. Заявките благодарение на такива аларми никога не се губят. Да, може да отговорят на тикета с шаблон, който не е по темата, но това научаваме по обратна връзка.
Ако клиентът много настоява, специалистът от втора линия може да влезе на сървера и да направи това, което е необходимо за клиента (условието е да потвърди с писмо, в което да предостави данни за вход на сървера).
Правим това много рядко и такава работа възлагаме само на най-добрите, защото искаме да имаме гаранции, че данните на потребителите няма да се повредят. Най-добрите са втора линия поддръжка.
Първа линия разполага с база знания, където може да се изпращат сложни запитвания.
Богатият на функции личен кабинет плюс база знания — и ето, успяхме да намалим броя на запитванията до 1–1,5 на година на клиент в средно.
Втора линия обикновено обработва сложни заявки, изискващи ръчен труд. Характерно е, че колкото по-скъп е тарифният план, толкова по-малко са такива заявки на виртуална машина. Обикновено защото тези, които могат да си позволят скъп тариф, или имат специалисти в екипа, или просто проблемите не възникват, тъй като конфигурацията е достатъчна за всичко. Все още си спомням героя, който инсталира не най-стария Windows Server на конфигурация с 256 мегабайта оперативна памет.
Втора линия разполага с набор от дистрибутиви и набор от скриптове за автоматизация. И двете могат да се обновяват при необходимост.
Втора линия и личните мениджъри на VIP тарифите могат да добавят бележки в профила на клиента. Ако е Linux администратор — така и ще запишем. Това ще бъде подсказка за първа линия: потребителят със сигурност знае, че това ще бъде контролирано разрушаване, а не стрелба в крака.
Третата линия управлява най-странното. Например, имахме бъг, че не можеше да се получи достъп до една от функциите на личния кабинет в Firefox. Потребителят направо шантажираше: „Ако не го поправите в рамките на 12 часа, ще напиша за вас в всички хостинг рецензии“. Както се оказа, проблемът беше в персоналния адблок. От страна на потребителя, колкото и странно да изглежда. Често идват сложни грешки без детайли и не могат да бъдат повторени. Има детективи със скрийншот: „Защо го оправяте вече месец?“ — „Да, всъщност търсим вашия бъг през цялото това време“, „А, ами днес пак ми се появи, но отново не можах да го повторя“…
Никога не знаете къде ще се появи скрийншот на диалога с поддръжката, и ако човек звънне на поддръжка, значи има проблем. Може да се подобри отношението. Поне да се опита.
Да, знаем, че нашата поддръжка не е идеална, но, както ми се иска да вярвам, тя съчетава достатъчна скорост с достатъчно качество. И не повишава цените на тарифите за тези, които могат да се справят без нея.
Източник: habr.com
