Загалом, відразу хочу сказати, що думка про пекло і те, що сервіс у багатьох із двохтисячних — це оцінна думка. Насправді, звісно, вони родом із Росії. Насправді, звичайно, ми теж гарні, і про ці плями в біографії я також розповім. Насправді, останніми роками та сама підтримка у багатьох стала набагато кращою. Але все одно декому родовід подекуди спливає.
Давайте я пройдуся з проблем, які часто прямо нереально болять у клієнтів хостингу, розповім, що добре-погано у нас і як це виглядає в інших хостингах в Росії та за її межами (але там, очевидно, я знаю про внутрішню менше).
Перша історія – залізо. Клієнтів неможливо бісить, коли полетів RAID-контролер або вилетіло відразу кілька дисків, і підтримка робить простий на заміну. У нас був один клієнт, якого спочатку рикошетом зачепило DDoS по сусідній VDS у тому ж серваку, потім за дві години почалися планові роботи з мережним адаптером, а потім ще й рейд пішов у ребілд після включення-перезавантаження. До питання дідосів ми ще повернемось, до речі.
Так от, можна взяти дешеве «заколобутове» залізо і часто його лагодити, а можна серверне — у нас Хуавей корпоративної лінійки. Наскільки я знаю, професійне серверне залізо є у нас і ще два гравці на російському ринку. Виправте мене, якщо помиляюся. Це тому, що ми на старті вважали, що проживемо більше п'яти років і вирішили списувати старе залізо щонайменше через п'ять років після початку експлуатації. До речі, знову ж таки, приблизно так і з'явився тариф за 30 рублів за VDS, кмітливі?
Дилема із залізом
Отже, у нас є Хуавей корпоративного класу. Зазвичай у хостерів у Росії стоїть самозбір, який купується в оптових магазинах з офісними та домашніми десктопами за комплектуючими, а потім за допомогою різних дендральних методів збирається та працює. Впливає це на частоту поломок та вартість послуг. Якщо з частотою поломок все більш-менш очевидно (чим гірше залізо — тим вищий шанс простою), то з вартістю послуг все цікавіше. При нашому циклі п'ять-шість років на залізницю виходить дешевше купувати саме сервери та мережеві пристрої корпоративних лінійок для ЦОДів.
Так, вони дорожчі у закупівлі. Так, у них дуже дорога гарантія (у нас на нові пристрої розширена на next business day, плюс на не найвдаліші серії розширена далеко за межі гарантії за часом). Так, потрібно тримати ремкомплект на майданчику: ми змінюємо ті ж диски, RAID-контролери, планки оперативної пам'яті і іноді блоки живлення зі своїх ЗІПів у всіх десяти дата-центрах. Десь ЗІП більше, десь менше, залежно від об'єктивної кількості та віку серверів там.
Коли ми тільки розпочинали бізнес, то одразу вирішили брати залізо надійніше. Тому що була нагода перевірити: до RUVDS ми займалися алготоргівлею і використовували якраз самозбірне дешеве залізо. І з'ясувалося, що різниця справді дуже велика. Витратники купуються просто центнерами. Звичайно, якщо у хостингу такі витрати або більш короткий цикл списання заліза, то зростає ціна на тарифи. А оскільки ціни за однакові конфігурації більш-менш фіксовані по всьому ринку, деградує щось інше зазвичай. Як правило, не підтримка, або якість зв'язку, або ІБ.
Я, звичайно, можливо, помиляюся, але оцінка така: у кого на сайті прямо не вказано партнерство із залізним вендором та професійна лінійка заліза, той використовує «навколобутову». Можливо, хтось просто ховає своє круте обладнання.
Ми робили дешевий (але не найдешевший) тому дуже ретельно вважали і вважаємо експлуатаційні витрати. Не дуже розумію моделі інших компаній, але, здається, річ у тому, що у них горизонти планування по два чи три роки, а у нас просто більше. Можливо, ми не маємо рації, і в Росії так далеко планувати не варто, але поки що, тьху-тьху, ми на цьому виграли і продовжуємо рости як компанія.
Місце ЦОДу
У більшості VDS-хостингів одна чи дві локації. У нас десять, причому є не тільки в Москві, а й близькі до великих російських міст (Єкатеринбург, Новосибірськ), що важливо для серверів Майнкрафта та Контр-Страйка, так і є Швейцарія, Англія та Німеччина. І при цьому скрізь російськомовна підтримка.
Навіщо потрібна друга локація, зрозуміло, сервіси треба георозподіляти. А ось навіщо потрібні ЦОДи в інших країнах – це дуже цікаве питання.
По-перше, ЦОД у Швейцарії вважається надійнішим, ніж російський. Це не об'єктивна оцінка, а думка більшості наших клієнтів. Треба сказати, що так, звичайно, і там можуть зустрітися епічні роздовбання, як і скрізь, але загалом у них набагато ретельніше дотримуються процедури обслуговування і дуже сильний зовнішній периметр безпеки. Тобто проблеми у них траплятися мають рідше.
По-друге, звісно, поза Росії. Комусь це важливо, щоб блищати до ключових точок, де обробляються заявки. Комусь важливо через власні VPN (думаю, не менше третини наших серверів куплені саме для організації VPN-тунелів через інші юрисдикції). Ну і є люди, які застали маски-шоу у своїх ЦОДах у Росії і тепер просто вважають за краще зберігати дані не у нас. Хоча, за ідеєю, і там теж ніхто від такого не застрахований. Просто замовчування щодо наїзду на дата-центр інші.
Відразу скажу, що деякі наші комерційні ЦОДи не гірші за те, що у Великій Британії чи Швейцарії. Наприклад, в майданчик майже без косяків (і точно без серйозних) і дотримується стандартів Uptime Institute (T3). Охороняється добре. Тобто об'єктивно вона дуже хороша, але серед клієнтів якось склалося переконання, що за кордоном безпечніше. І ті російські хостери, хто дає закордонну локацію, відразу трохи вписуються у потреби ринку.
Зміна конфігурації сервера та тарифікація
Ми робили опитування та вивчали, що важливо клієнтам. Виявилося, що дуже високе місце займають такі параметри, як одиниця квантування в тарифі та можливість швидко змінювати конфігурацію сервера. Ми знаємо, що десь віртуалка створюється вручну за одну-дві години за заявкою, конфігурація змінюється за добу за заявкою на підтримку.
Ми автоматизували процеси до тих пір, поки медіана на створення віртуалки не дорівнювала чотирьох хвилин, а середній інтервал від заявки до запуску 10-11 хвилин. Це тому, що деякі складні заявки все ще робляться руками приблизно за 20 хвилин.
Тарифікація у нас посекундна (а не годинна чи добова). Можна створити сервер, подивитися на нього і відразу видалити, зберігши свої гроші (ми просимо передоплату за місяць, але повертаємо її, якщо не зайшло). Більшість російських майданчиків потрібно окремо орендувати ліцензію на ОС. У нас WinServer поставляється на всі машини безкоштовно та входить у тариф (але десктопний варіант Windows неможливий).
Конфігурація сервера змінюється приблизно за десять хвилин з інтерфейсу, причому як вниз, так і вгору. Два винятки - вниз по диску не завжди можна автоматично (якщо місце чимось зайняте), і при перенесенні з 2,2 ГГц на 3,5 ГГц робиться через тикет. Ручні заявки мають SLA на першу відповідь 15 хвилин, час обробки 20-30 хвилин (можуть і більше, залежно від обсягу даних, що копіюються). У тарифах, до речі, де у нас HDD, скрізь за фактом SSD з обмеженнями до швидкостей HDD (так виявилося дешевшим, і повністю на SSD ми перейшли приблизно півтора роки тому). Можна взяти машину із відеокартою. Є тариф з утилізації (там складна формула від процесора, оперативної пам'яті, дисків і трафіку) — якщо у вас пікові обчислення, то дешевші, але бувають і клієнти, які не до кінця правильно передбачають свою витрату і платять вдвічі більше за звичайний тариф іноді. Ну, а хтось економить.
Так, це вимагає витрат на автоматизацію. Але як показує практика, це дозволяє здорово економити на підтримці і зберігати клієнтів за рахунок якості сервісу.
Негативний момент пов'язаний з тим, що ми радимо брати на 10 Гб більше під певний софт. Або іноді в листуванні з клієнтом ми розуміємо, яке саме у нього ПЗ і бачимо, що просто не вистачає оперативної пам'яті або ядер процесора і радимо докупити, але багато хто думає, що це якась розводка від підтримки.
Маркетплейси
За океаном намітилася тенденція надавати як VDS, а й одразу набір попередньо встановленого ПО. У тому чи іншому вигляді є у всіх великих хостингів та часто відсутня у дрібних. У нас провайдери ще часто продають порожні машини, як і в Європі.
Першим кандидатом на маркетплейс після WinServer став . У нас технічні фахівці одразу сказали, що маркетплейс не потрібний, бо адміни не настільки безрукі. Поставити Докер - це пара хвилин, і не треба ось вважати їх такими лінивими, що вони це не зроблять. Але ми розгорнули маркетплейс та поклали туди Докер. І вони почали користуватися, бо ліньки. Час заощаджує! Мало, але заощаджує. Це не життєва потреба для клієнтів, звичайно, але вже наступний стандарт ринку.
З іншого боку, ми не маємо того ж Кубера. Зате нещодавно з'явився . Він поки що популярніший. Є цікаві напрямки по VPS з встановленим ПЗ: є конфігурація з урізаною Win (щоб вона не їла продуктивність), є з уже встановленою OTRS. Ми даємо встановлене ПЗ, а як ви його активуватимете — ваша справа, цього ми не бачимо.
Найкрутіші у світі маркетплейси, як мені здається, у Amazon, Digital Ocean та Vultr. Стартапи хочуть приходити на маркетплейс Амазона: якщо ти зробив якусь тулзу на кшталт Еластіксёрча, але не потрапив у маркетплейс — ніхто й не впізнає, ніхто не купить. А якщо потрапив — то й канал поширення з'явився.
DDoS
Атакують кожний хостинг. Зазвичай, це слабкі неспрямовані атаки, які схожі на природну мікрофлору Інтернету. Але коли починають класти якогось конкретного клієнта, починаються проблеми у сусідніх з ним на одній «гілці». Як правило, це ті, хто обслуговується із того ж мережного пристрою.
Більше 99% клієнтів проблем не мають, але деяким не щастить. Це часта причина, чому клієнти нас не люблять - через простої сервера по DDoS на сусіда. Ми дуже давно постаралися мінімізувати ці історії, але, звісно, не змогли їх уникнути повністю. Ми не можемо всім підряд включати DDoS-захист у вартість тарифу, тоді послуги подорожчають на нижніх лінійках приблизно вдвічі. Коли підтримка рекомендує клієнту під DDoS взяти захист (платний, звичайно), клієнт, буває, вважає, що ми його спеціально кладемо, щоб продати щось. І, головне, ніяк не пояснити, а сусіди страждають. У результаті нам довелося залізти глибше в начинку мережевих адаптерів та написати їм власні драйвери. Саме драйвера до заліза, так, ви не дочули. Другий контур — подвійна система захисту, яка може переключити маршрути за хвилини. Якщо потрапити в протифазу перевірок, можна отримати простий максимум чотири хвилини. Зараз перемикання все ще створює деякі проблеми у віртуальних свитчах та комутаторах, ми доробляємо стек.
Підтримка
Російська підтримка — одна з найкращих у світі. Я зараз серйозно. Справа в тому, що багато великих європейських VDS-хостингів просто не морочаться на те, щоб брати на себе багато питань. Ситуація, коли хтось працює лише у режимі відповіді на листи, — повсюдна. Навіть дрібні російські хостинги з двох-трьох людей, що постійно з'являються, зазвичай мають або чат на сайті, або телефон, або можливість постукати в месенджер. А в Європі у великих хостингів підтримка по кілька днів (особливо якщо заявка перед вихідними) розглядає тикет і зателефонувати чи написати в соцмережі їм нереально.
У нас клієнти, до речі, вибирають локації у своїх містах, як у нас жартує підтримка, щоб ще й морду при нагоді набити. Реально кілька людей заходили дорогою додому до офісу.
І ось тут час почати розповідати про наші епічні косяки.
Наші косяки
Найдрібніше – це вильоти дисків, оперативної пам'яті та рейд контролерів. Просто підійти та замінити, але коли падає сервер, страждають одразу кілька клієнтів. Так, ми постаралися зробити, що могли, і так, надійне залізо обходиться в перспективі дешевше, але все одно це лотерея, і якщо вам дістається така поломка, то, звичайно, це прикро. Той же Амазон теж не застрахований ні від чогось подібного, і поломки там трапляються досить регулярно, але чомусь клієнти щоразу чекають від нас бездоганності. Вибачте нас за фізику та поганий рандом, якщо це ударяло по вашій віртуалці.
Потім вищезгадані DDoS. У грудні 2018-го та у грудні 2019-го. Потім у січні та березні 2020-го. В останньому випадку кілька серверів перестали відповідати (фізичні машини забили намертво, а віртуалки були на них) — знадобився хардовий ребут, щоб адаптери мережі ожили. Розгортання назад - не найвеселіша процедура, і пара людей отримала простий у години, а не хвилини. Атаки трапляються щодня, і в 99,99% всі контури відпрацьовують штатно, і ніхто цього не помічає, але трапляються випадки, коли щось йде не так.
У грудні 2018-го під час чотиригодинної атаки вийшов з ладу мережний комутатор. Другий не підчепився через якусь містику, при спробах його реанімувати з'явився закільцьований трафік, і поки ми розбиралися, що відбувається, з'явився простий. Негативу було напрочуд мало, всі розуміли, що DDoS трапляються. Хоча мережу ми піднімали досить довго за своїми мірками. Якщо ви раптом потрапили на цей інцидент, вибачте нам, і дякую, що все тоді правильно зрозуміли.
Ще важливий момент: DDoS завжди локальний. Ніколи не було, щоб проблеми в одному ЦОД розвивалися одночасно з проблемами в іншому. Ну і поки що найгірше, що траплялося локально – це перезавантаження комутатора з кількома машинами.
Щоб остаточно заспокоїти наших клієнтів за зламами, ми застрахували відповідальність у AIG. Якщо нас ламануть, а клієнти постраждають – страховики мають відшкодувати. Це виявилося не дуже дорого в розрахунку на одиничний тариф, але якось надає впевненості.
Підтримка. Ми намагалися зробити з різними фічами на вибір та достатньою надійністю. Це означає, що наша підтримка не робить дві речі: не розмовляє з клієнтом довгими ввічливими фразами і не лізе до прикладного програмного забезпечення. Друге нам відгукнулося минулого року, коли прийшли численні інстаграм-діви, які купували VDS для встановлення накрутчиків лайків та автоматизатори постів. Вражає, наскільки деякі люди, які дуже далекі від ІТ, способи грамотно розібратися в установці софту на віртуалку. Немає такої інструкції, яку фітоняша не подужає за 30% збільшення передплатників. Але вони ламалися на налаштуванні вихідного трафіку всередині свого софту чомусь. Можливо, інструкції цього не передбачали. Ми не можемо відповідати за роботу стороннього софту. А проблеми там не тільки в тому, що користувач не розуміє, як його налаштувати, а й у стабільності. Наприклад, поставив ось людина допоміжне програмне забезпечення для накрутки переглядів на Ютубі. А воно постачається з якогось форуму в комплекті із трояном. І в трояні баг, у нього тече пам'ять. А ми не робимо баги в троянах. Якщо ми ставимо софт - це продукт з коробки.
Цю проблему почали вирішувати . Є три стадії: ми не знаємо, що там за софт, і чемно відповідаємо, що не підтримуємо таких речей. Друга стадія: таких звернень кілька, ми розуміємось у одному-двох і пишемо інструкцію, кладемо її до себе в основу знань і відправляємо на неї. Третя стадія: таких звернень багато, і ми заводимо дистрибутив у .
І тут, у міру роботи з дедалі більше «неадмінами», ми почали стикатися з іншими граблями. Підтримка завжди намагалася працювати швидко та відповідала коротко та сухо. А дехто сприймав це як пасивну агресію. Те, що допустимо у діалозі між двома адмінами, зовсім не підходить для звичайного користувача, який взяв VDS для свого малого бізнесу. А з роками таких користувачів побільшало. І проблема там не в тому, що підтримка каже щось не те, а в тому, як вона це каже. Ми зараз робимо велику роботу по оновленню шаблонів — включаємо в кожен не тільки щось на кшталт «ми не підтримуємо, вибачте», а докладний опис, що робити і як, чому ми не підтримуємо, що тепер, і все це ввічливо та зрозуміло . Більше деталей і пояснень і більше етикету, замість трибуквенних абревіатур, простіші пояснення, що там. Тиждень як розкатали, дивимось поки що виходить. До пандемії пріоритетом було облизати клієнта, а максимально швидко вирішити проблему. Ми з філософії підприємства як Макдональдс: не можна вибрати прожарювання м'яса, підтримка робить швидко лише те, що входить до стандартних запитів. Загалом урок — якщо відповідати сухо, люди часто вважатимуть, що з ними дещо грубі. Ми не думали до останнього року чесно. Ну і не хотіли нікого образити, звісно. У цьому плані ми відстаємо від розвинених служб підтримки на ринку: у багатьох стоїть мета бути дуже обережними з клієнтом, а ми тільки почали працювати з цим пріоритетом.
тариф. Ну і найепічніший наш фейл — це проблеми на 30-рублевому тарифі. У нас є особлива лінійка слабкого заліза, де VDS стоїть . Має величезну популярність. Відразу сказали, що буде повний фарш, тариф не для роботи, а для навчання. Загалом, AS IS і цей IS часто буде дуже страшний.
Як виявилось, такий опис тарифу мало кого зупинив. 30 рублів - це все одно дешевше, ніж IPv4-адреса, а тут ще віртуалка з ним відразу. Як мені здається, багато хто купував просто щоб купити, тому що ми відкриваємо його хвилями. Вперше все пройшло більш-менш нормально, але ми тоді не надали належної уваги тому, що через три-чотири місяці утилізація почала зростати — проекти там розгорталися не відразу, і навантаження до кінця року стало менш комфортним для середнього клієнта, з'явилися великі черги. на запис на диск, наприклад. Так, там SSD, але ми обмежуємо його на тарифі до швидкостей HDD, і це не NVMe, а спеціально закуплені на досліди дешеві інтелівські диски для серверних конфігурацій. Ми поміняли диски на більші та нормальніші, це дозволило отримати хоч якісь продуктивності.
Друге відкриття цього тарифу привело до нас тисячі китайських користувачів. Вони написали скрипти, які палять наш сайт, бо близько 800 машин було викуплено братським народом у вікні між появою новини на сайті та розсилкою, а це буквально кілька хвилин. Я не можу точно сказати, що вони там робили, але, судячи з характеру трафіку, це були дисиденти, які оминали Великий Китайський Файрвол. Ми заборонили за умовами акції купувати машину інакше, як громадянам РФ. Щоб захистити Кваймен, нам довелося призупинити створення віртуалок. Спочатку російські користувачі дякували нам, потім підтримка — частину користувачів «в процесі» треба було доробити руками. Ну і виник негатив, бо багато хто чекав, а коли отримав листа, тариф уже скінчився.
Нині ми маємо кілька тисяч активних клієнтів на 30-рублевому тарифі. Якщо у адміна руки прямі – він робить найдешевший у світі VPN. Хтось стукав на підтримку зі скринами Linux з якимсь GUI (не пам'ятаю, що там було, але сам факт GUI на таких машинах з обмеженням по оперативній пам'яті — це вже круто), хтось ставив ISP-панель і так далі . Хтось справді використав для навчання. Ми ще раз зробимо цю акцію, зваживши на помилки, але просто знайте, що десь там, у Піднебесній, стоїть маааленький форум на приблизно мільйон зареєстрованих учасників, які підписані на тред про наші сервери.
Головний урок цієї історії в тому, що машини спочатку працювали швидше, ніж очікувалося, і люди сформували невірні очікування з приводу продуктивності. Коли вона почала падати до обіцяного рівня, почалися скарги на підтримку, і її засипало негативом. Зараз, звичайно, ми будемо точніше пояснювати, що чекає на такий тариф. Ще раз нас вибачте, якщо вас зачепило цією історією.
Отак приблизно виглядає моє бачення різних моментів на ринку. І зараз я хочу попросити вас розповісти, що вас дратувало на ринку і як це можна виправити за земні гроші. Якщо це економічно обґрунтовано, ми постараємося. Ну й інші хостери на цей зріз коментарів подивляться, і, можливо, теж зроблять.
Джерело: habr.com