Мене звуть Леонід, я розробник сайту тому через свою діяльність цікавлюся історіями становлення та розвитку різних компаній зі сфери хостингових послуг. Сьогодні хочу представити інтерв'ю з Данилом та Дмитром — творцями хостингу. . Вони розкажуть про влаштування інфраструктури, організацію роботи та свій досвід розвитку провайдера віртуальних серверів у Росії.
Розкажіть, будь ласка, кілька слів про себе. Як прийшли у хостинг? Чим займалися раніше?
До 2016 року і я, і Дмитро працювали в Enterprise-секторі, зокрема в таких компаніях, як Dell, HP, EMC. Аналізуючи хмарний ринок у Росії, ми зрозуміли, що він активно зростає, і вирішили, що зможемо зробити ринку цікаву пропозицію. Зібралася команда людей, які вже працювали один з одним за іншими проектами, і почали розробляти власну платформу віртуалізації, націлену на великий бізнес з його специфічними запитами. З 2018 року паралельно запустили хмарний хостинг "для всіх", виділили під проект команда з п'яти чоловік.
Стійка зберігання та приготування перед стартом
А цей проект для бізнесу зараз уже працює чи поки що у розробці?
Так, він працює паралельно — там уже більша команда, і більше про програмно-апаратні рішення для IT-інфраструктури, не про хостинг.
У Вас зараз багато різних послуг. Коли ви починали роботу, список був меншим чи таким самим? Причому всі ці послуги фактично являють собою звичайний віртуальний сервер, але є певний поділ.
Починали з класичного IaaS: надавали «голі» віртуальні сервери із закритими портами та віртуальні мережі для них, щоб користувач сам міг створювати повноцінну інфраструктуру під себе. Але після старту виявилося, більшість користувачів не зрозуміли, навіщо їм такі можливості, і ми вирішили запровадити новий собі продукт — стандартний VDS/VPS, з яким ринок вже знайомий. Для нас це була по суті урізана версія продукту, але користувачі відразу зрозуміли, що це таке, і ми почали отримувати перших клієнтів. Мабуть, наш досвід із великими компаніями змусив розробити одразу більш складне та кастомізоване рішення, а масовий ринок хоче простоти. І далі на базі VPS ми почали розвивати нові послуги, виходячи з того, що найчастіше просять клієнти. І розвиваємо й досі.
Де розміщуєте обладнання? Воно у вашій власності чи орендуєте? Як вибирали собі ДЦ для розміщення? Чи були випадки переїзду?
Все обладнання наше, ми орендуємо тільки місце у двох дата-центрах. Починали з трьох ДЦ: хотіли реалізувати тристоронню стійкість до відмов, але попит на неї в той момент був занадто невеликим, щоб інвестувати в це, тому від третього дата-центру відмовилися. У нас був один переїзд: якраз переїжджали з третього дата-центру в один із двох. Вибирали за таким принципом: ДЦ повинні бути відомі на ринку, надійні (Tier III), щоб обидва територіально перебували у Москві, у віддалених один від одного районах.
А в яких ДЦ ви зараз розташовуєтеся і від якого відмовилися?
Зараз розміщуємось у DataSpace та 3Data. Відмовилися від одного з ЦОДів 3Data.
Залишаємо третій дата-центр
IP адреси орендуєте чи купуєте?
Орендуємо.
А чому вибрали такий підхід, а не покупку?
За великим рахунком, щоб швидко зростати. Ми надаємо клієнтам віртуальну інфраструктуру, за яку не треба одразу віддавати капітальні вкладення, та можна розбити витрати щомісяця. Самі ми дотримуємося тієї ж філософії, що й наші клієнти прагнемо розширення та швидкого масштабування.
Що думаєте щодо IPv6?
Поки що не помітили значного попиту, тому не додавали собі, але архітектура з висновку опрацьована, готові «викотити» за короткий час, як зрозуміємо, що є запити.
Ви використовуєте KVM-віртуалізацію. Чому її обрали? Як вона показує себе у роботі?
Все вірно, але ми використовуємо не голий KVM, а повноцінну, доопрацьовану систему віртуалізації на базі KVM, яку розробив наш старший брат, включаючи систему зберігання даних (SDS) і програмно-визначувану мережу (SDN). Вибирали, виходячи з того, щоб побудувати максимально стійкий до відмову продукт без одиничних точок відмови. Показує себе добре, поки глобальних проблем у проді не виникало. На етапі альфа-тестування на ринку, коли ми надавали послуги першим клієнтам за бонусні бали, обкатували технологію та зловили низку неприємних моментів, але за останні два роки багато що вдалося зрозуміти та вирішити.
Чи використовуєте оверселлінг? Як контролюєте навантаження на сервер?
Оверселлінг використовуємо тільки з процесорів, але в жодному разі не з оперативної пам'яті. Навіть у разі фізичних процесорів не допускаємо їх завантаження понад 75%. По дисках: працюємо із «тонким» виділенням ємності. У нас централізований моніторинг всього оточення, що дозволяє контролювати навантаження. За підтримку всієї інфраструктури відповідають два інженери, тому ми намагаємось максимально автоматизуватися та збирати різноманітну інформацію щодо системи. Будь-які відхилення від нормального режиму відразу видно, при цьому ми періодично оцінюємо і перебалансуємо навантаження всередині інфраструктури. Перебаланс завжди відбувається в онлайн-режимі непомітно для клієнтів.
Скільки у вас зараз фізичних серверів? Як часто додаєте нові? Які сервери використовуєте?
На даний момент 76 серверів, нові додаємо приблизно кожні чотири-п'ять місяців. Використовуємо QCT, Intel, Supermicro.
Чи траплялися випадки, коли приходив клієнт і займав усі вільні ресурси, і доводилося терміново додавати сервери?
За ресурсами такого не було. Поки що ростемо більш-менш рівномірно. Але був випадок, коли прийшов користувач і захотів 50 IP, кожен – в окремому блоці. Зрозуміло, подібного в нас поки що немає 🙂
Які у вас найпопулярніші способи оплати? Що найменше використовують?
Найпопулярніші - банківська карта та QIWI. Найменше — оплата безготівковим переказом по оферті для юросіб, проте такі перекази найоб'ємніші (компанії платять, як правило, за солідні ресурси на кілька місяців). Також відстає PayPal: при старті ми не розраховували на зарубіжних користувачів, але вони почали з'являтися.
У Boodet.online самописний білінг. Чому ви вирішили використати таке рішення? Які плюси та мінуси? Чи важко було розробляти?
В Україні взагалі вся система — власної розробки. Існуючі платформи не здалися нам дуже зручними у плані UX, тому вирішили робити та розвивати свою. Білінг – це лише один із мікросервісів, які входять до складу системи. Розробляти виявилося складніше, ніж думали на старті. Навіть у якийсь момент довелося зрушити запуск проекту, щоб встигнути підготувати робочий продукт, за який не було б соромно на альфа-тестуванні. Згодом “залишили” компетенціями за методикою розробки на довгій дистанції та продукт-менеджменту. Нині вже простіше додавати в систему новий функціонал та нові продукти.
А скільки людей все це розробляло? На чому писали?
На весь проект у нас п'ять осіб, з них два розробники (frontend і backend). Back написаний на RoR/Python. Front – це JS.
Як організовано підтримку користувачів? Вона цілодобова чи діє лише у робочий час? Скільки ліній підтримки? Про що найчастіше запитують?
У нас три точки входу: чат, телефон та система заявок з особистого кабінету. Дві лінії підтримки: якщо черговий інженер не міг вирішити проблему, підключається технічний директор або команда розробки. Якщо проблема в основній платформі, що трапляється набагато рідше, технічний директор звертається на підтримку «старшого брата». Вночі реагуємо лише на дзвінки замовників, які купують окреме технічне обслуговування, або на збої платформи, повідомлені через спеціально написаний бот в Телеграм.
Найпопулярніші питання:
- Чи доступні наші IP у Туркменістані (це найперший за популярністю — мабуть, у країні жорстка політика блокувань).
- Як встановити те чи інше програмне забезпечення.
- Як отримати root-доступ (зроблено навіть спеціальну пам'ятку в інтерфейсі при створенні машин, але вона не завжди допомагає).
Ви проводите верифікацію клієнтів? Чи часто з'являються спамери та інші погані особистості?
Верифікація поштою та телефоном (якщо користувач підключає 2FA). Спамери та інші аб'юзери з'являються періодично. Ми змушені реагувати тимчасовим блокуванням скомпрометованих серверів, тому що не хочемо, щоб IP потрапляли до чорних списків. Але завжди попередньо пишемо користувачеві, що на нього прийшла скарга, просимо зв'язатися та обговорити проблему. Якщо користувач не реагує, або з'являються повторні скарги, блокуємо обліковий запис повністю і видаляємо сервери.
Чи часто трапляються DDoS-атаки на клієнтів? Що робите у таких випадках? Чи були атаки безпосередньо на вас, на веб-сайт або інфраструктуру?
Клієнтів атакують досить рідко. Але нас найчастіше – сайт, особистий кабінет. Іноді довбають мережу за різними IP-адресами. Не беремося судити, хто це і навіщо, може бути кілька варіантів. Бувають навіть спроби атакувати нас ізсередини. Раніше при верифікації телефоном ми видавали бонусні сто рублів, щоб нормальні користувачі могли протестувати будь-які конфігурації. Але одного разу прийшов користувач із «пачкою сімок» і з-під одного IP почав створювати десятки облікових записів, отримуючи на них бонуси. Тому довелося забрати автоматичне нарахування тестових балів. Тепер на тестування потрібно подати запит на техпідтримку, і кожен випадок розглядаємо окремо.
Як організована робота, чи є офіс, чи всі працюють віддалено?
Офіс є, але з початком обмежень через коронавірус всі вирушили на роботу з дому / дачі / рідного міста.
наш офіс
Який у вас зараз курс розвитку компанії?
Йдемо до додавання нових сервісів. У нас велика roadmap, ми не перериваємо розробку, і кожні два тижні виходить новий випуск особистого кабінету. Додаємо функціонал та послуги, які потрібні у колег, додаємо те, що просять клієнти.
Як знаходите клієнтів? Чи великий приплив та відтік клієнтів на рік? Який середній термін життя клієнта?
Канали залучення клієнтів у нашій сфері — те, на чому тримається весь бізнес, якщо є хороший робочий продукт. Тож не готові ділитися.
Churn rate, LTV і життєвий цикл теж досить важливі показники, які ми використовуємо тільки для внутрішньої аналітики, але не для розголошення.
Чи могли б ви дати читачам якісь поради щодо вибору хостингу? На що варто звернути увагу перед покупкою?
Найголовніше - це вибирати хостинг з літерою "B" на початку назви.
А якщо серйозно, то є кілька факторів, на які треба звернути увагу:
- Щоб зрозуміти якість, можна взяти середню конфігурацію та спробувати вирішити на ній свої прикладні завдання. Вибирайте хостинги, які мають погодинний тариф — Ви зможете протестувати сервери, не втративши багато грошей, якщо якість не влаштує.
- Дивіться дата-центри, в яких у хостера знаходяться фізичні сервери. За ними можна приблизно судити з якості послуг.
- Не радимо звертати увагу на ціни: є як супердешеві рішення, але непогано показують себе, так і супердорогі, які нічим особливим не відрізняються.
Розкажіть про робочі моменти, що найбільше запам'яталися.
Старт проекту. Перші півтора місяці працювали в режимі 24/7: дивилися, як йдуть реєстрації, чи щось ламається в інтерфейсі особистого кабінету, як поводяться користувачі, чи зручно їм замовляти послуги. Багато що довелося вирішувати прямо на ходу, аж до того, щоб замінювати одні продукти на інші. Зміни робили відразу в проді, минаючи тестові середовища. Це був напружений період, але вдалося вижити і не кинути цієї справи.
Користувачі, які приходили за вразливістю у логіці. Цікаво було їх відловлювати та закривати вразливості. Наприклад, коли ми ще працювали не за гроші, а нараховували бонуси, щоб користувачі могли замовляти сервери, посилання на нас виклали на одному з форумів хакерів з коментарем: "дають безкоштовно сервери на 500 рублів". Звичайно, нас тут же заполонили хлопці-майнери, які прагнуть халяви.
Чи могли б ви скласти коротку хронологію історії компанії?
- Перша половина 2017 року – почали розробляти платформу, сайт та особистий кабінет Boodet.online.
- 2018 - вийшли в альфа-тестування, надавали потужності клієнтам безкоштовно і отримували розгорнуті відгуки та результати тестування натомість.
- Середина 2018 року – запустили бета-версію з грошима. Перші сотні клієнтів, обкатка техпідтримки.
- 2019 рік почали залучати в клієнти юридичні особи, працювати над кастомними рішеннями.
- 2020 рік – всі йдуть на самоізоляцію, зростає попит на віртуалізацію. Ми відчуваємо це на собі – відбувається приріст клієнтів, що дає змогу працювати над великою кількістю додаткових послуг.
Джерело: habr.com