Меня зовут Леонид, я — разработчик сайта , поэтому в силу своей деятельности интересуюсь историями становления и развития различных компаний из сферы хостинговых услуг. Сегодня хочу представить интервью с Данилом и Дмитрием — создателями хостинга . Они расскажут об устройстве инфраструктуры, организации работы и своем опыте развития провайдера виртуальных серверов в России.
Расскажите, пожалуйста, пару слов о себе. Как пришли в хостинг? Чем занимались до этого?
До 2016 года и я, и Дмитрий работали в Enterprise-секторе, в том числе в таких компаниях, как Dell, HP, EMC. Анализируя облачный рынок в России, мы поняли, что он активно растет, и решили, что сможем сделать рынку интересное предложение. Собралась команда людей, которые уже работали друг с другом по другим проектам, и вместе начали разрабатывать собственную платформу виртуализации, нацеленную на крупный бизнес с его специфическими запросами. С 2018 года параллельно запустили облачный хостинг «для всех», выделили под проект команду из пяти человек.
Стойка хранения и приготовления перед стартом
А этот проект для бизнеса сейчас уже работает или пока в разработке?
Да, он работает параллельно — там уже более крупная команда, и речь больше про программно-аппаратные решения для IT-инфраструктуры, не про хостинг.
У Вас сейчас довольно много разных услуг. Когда вы начинали работу, список был меньше или такой же? Причем все эти услуги фактически представляют из себя обычный виртуальный сервер, но есть некое разделение.
Начинали с классического IaaS: предоставляли «голые» виртуальные серверы с закрытыми портами и виртуальные сети для них, чтобы пользователь сам мог создавать полноценную инфраструктуру под себя. Но после старта оказалось, что большинство юзеров не поняли, для чего им такие возможности, и мы решили ввести новый для себя продукт — стандартный VDS/VPS, с которым рынок уже знаком. Для нас это была, по сути, урезанная версия продукта, но пользователи сразу поняли, что это такое, и мы начали получать первых клиентов. Видимо, наш опыт с крупными компаниями заставил разработать сразу более сложное и кастомизированное решение, а массовый рынок хочет простоты. И дальше на базе VPS мы начали развивать новые сервисы, исходя из того, что чаще всего просят клиенты. И развиваем до сих пор.
Где размещаете оборудование? Оно в вашей собственности или арендуете? Как выбирали себе ДЦ для размещения? Были ли случаи переезда?
Всё оборудование наше, арендуем мы только место в двух дата-центрах. Начинали с трех ДЦ: хотели реализовать трехстороннюю отказоустойчивость, но спрос на нее в тот момент был слишком небольшим, чтобы инвестировать в это, поэтому от третьего дата-центра отказались. У нас был один переезд: как раз переезжали из третьего дата-центра в один из оставшихся двух. Выбирали по такому принципу: ДЦ должны быть известны на рынке, надежные (Tier III), чтобы оба территориально находились в Москве, в удаленных друг от друга районах.
А в каких ДЦ вы сейчас размещаетесь и от какого отказались?
Сейчас размещаемся в DataSpace и 3Data. Отказались от одного из ЦОДов 3Data.
Покидаем третий дата-центр
IP адреса арендуете или покупаете?
Арендуем.
А по какой причине выбрали такой подход, а не покупку?
По большому счету, чтобы быстро расти. Мы предоставляем клиентам виртуальную инфраструктуру, за которую не надо сразу отдавать капитальные вложения, и можно разбить затраты помесячно. Сами мы придерживаемся той же философии, что и наши клиенты — стремимся к расширению и быстрому масштабированию.
Что думаете по поводу IPv6?
Пока что не заметили значительного спроса, поэтому не добавляли себе, но архитектура по выводу проработана, готовы «выкатить» за короткое время, как только поймем, что есть запросы.
Вы используете KVM-виртуализацию. Почему выбрали ее? Как она показывает себя в работе?
Всё верно, но мы используем не «голый» KVM, а полноценную, доработанную систему виртуализации на базе KVM, которую разработал наш «старший брат», включая систему хранения данных (SDS) и программно-определяемую сеть (SDN). Выбирали, исходя из того, чтобы построить максимально отказоустойчивый продукт без единичных точек отказа. Показывает себя хорошо, пока глобальных проблем в проде не возникало. На этапе альфа-тестирования на рынке, когда мы предоставляли услуги первым клиентам за бонусные баллы, обкатывали технологию и поймали ряд неприятных моментов, но за последние два года многое удалось понять и решить.
Используете ли оверселлинг? Как контролируете нагрузку на сервер?
Оверселлинг используем только по процессорам, но ни в коем случае не по оперативной памяти. Даже в случае физических процессоров не допускаем их загрузку более 75%. По дискам: работаем с «тонким» выделением емкости. У нас централизованный мониторинг всего окружения, что позволяет контролировать нагрузку. За поддержку всей инфраструктуры отвечают два инженера, поэтому мы пытаемся максимально автоматизироваться и собирать всевозможную информацию по системе. Любые отклонения от нормального режима сразу же видны, при этом мы периодически оцениваем и перебалансируем нагрузку внутри инфраструктуры. Перебалансировка всегда происходит в онлайн-режиме незаметно для клиентов.
Сколько у вас сейчас физических серверов? Как часто добавляете новые? Какие серверы используете?
На данный момент 76 серверов, новые добавляем примерно каждые четыре-пять месяцев. Используем QCT, Intel, Supermicro.
Бывали случаи, когда приходил клиент и занимал все оставшиеся свободные ресурсы, и приходилось срочно добавлять серверы?
По ресурсам такого не было. Пока растём более-менее равномерно. Но был случай, когда пришел пользователь и захотел 50 IP, каждый — в отдельном блоке. Разумеется, подобного у нас пока нет 🙂
Какие у вас самые популярные способы оплаты? Что меньше всего используют?
Самые популярные — банковская карта и QIWI. Меньше всего — оплата безналичным переводом по оферте для юрлиц, зато такие переводы самые объемные (компании платят, как правило, за солидные ресурсы на несколько месяцев). Также отстает PayPal: при старте мы не рассчитывали на зарубежных пользователей, но они стали появляться.
В Boodet.online самописный биллинг. Почему вы решили использовать такое решение? Какие плюсы и минусы? Сложно ли было разрабатывать?
У нас вообще вся система — собственной разработки. Существующие платформы не показались нам очень удобными в плане UX, поэтому решили делать и развивать свою. Биллинг — это лишь один из микросервисов, которые входят в состав системы. Разрабатывать оказалось сложнее, чем думали на старте. Даже в какой-то момент пришлось сдвинуть запуск проекта, чтобы успеть подготовить рабочий продукт, за который не было бы стыдно на альфа-тестировании. Впоследствии “обросли” компетенциями по методике разработки на долгой дистанции и продукт-менеджменту. Сейчас уже проще добавлять в систему новый функционал и новые продукты.
А сколько человек все это разрабатывало? На чем писали?
На весь проект у нас пять человек, из них — два разработчика (frontend и backend). Back написан на RoR/Python. Front — это JS.
Как организована поддержка пользователей? Она круглосуточная или действует только в рабочее время? Сколько есть линий поддержки? О чем чаще всего спрашивают?
У нас три точки входа: чат, телефон и система заявок из личного кабинета. Две линии поддержки: если дежурный инженер не смог решить проблему, подключается технический директор или команда разработки. Если проблема в основной платформе, что случается гораздо реже, то технический директор обращается в поддержку «старшего брата». Ночью реагируем только на звонки заказчиков, которые покупают отдельное техническое обслуживание, или на сбои платформы, сообщенные через специально написанного бота в Телеграм.
Самые популярные вопросы:
- Доступны ли наши IP в Туркменистане (это самый первый по популярности — видимо, в стране жесткая политика блокировок).
- Как установить то или иное ПО.
- Как получить root-доступ (сделана даже специальная памятка в интерфейсе при создании машин, но и она не всегда помогает).
Вы проводите верификацию клиентов? Часто появляются спамеры и прочие нехорошие личности?
Верификация по почте и телефону (если пользователь подключает 2FA). Спамеры и другие абьюзеры появляются периодически. Мы вынуждены реагировать временной блокировкой скомпрометированных серверов, так как не хотим, чтобы IP попадали в черные списки. Но всегда предварительно пишем пользователю, что на него пришла жалоба, просим связаться и обсудить проблему. Если пользователь не реагирует, или появляются повторные жалобы, блокируем аккаунт целиком и удаляем серверы.
Часто ли случаются DDoS-атаки на клиентов? Что делаете в таких случаях? Были ли атаки конкретно на вас, на сайт или инфраструктуру?
Клиентов атакуют довольно редко. Но нас самих часто — сайт, личный кабинет. Иногда долбят сеть по разным IP-адресам. Не беремся судить, кто это и зачем, тут может быть несколько вариантов. Бывают даже попытки атаковать нас изнутри. Раньше при верификации по телефону мы выдавали бонусные сто рублей, чтобы нормальные пользователи могли протестировать любые конфигурации. Но однажды пришел пользователь с «пачкой симок» и из-под одного IP начал создавать десятки аккаунтов, получая на них бонусы. Поэтому пришлось убрать автоматическое начисление тестовых баллов. Теперь на тестирование нужно подать запрос в техподдержку, и каждый случай рассматриваем отдельно.
Как организована работа, есть офис, или все работают удаленно?
Офис есть, но с началом ограничений из-за коронавируса все отправились на работу из дома / дачи / родного города.
Наш офис
Какой у вас сейчас курс развития компании?
Идем к добавлению новых сервисов. У нас обширная roadmap, мы не прерываем разработку, и каждые две недели выходит новый релиз личного кабинета. Добавляем функционал и услуги, которые востребованы у коллег, добавляем то, что просят клиенты.
Как находите клиентов? Большой ли приток и отток клиентов в год? Какой средний «срок жизни» клиента?
Каналы привлечения клиентов в нашей сфере — то, на чем держится весь бизнес, если есть рабочий хороший продукт. Поэтому не готовы делиться.
Churn rate, LTV и жизненный цикл — тоже довольно важные показатели, которые мы используем только для внутренней аналитики, но не для разглашения.
Могли бы вы дать читателям какие-либо советы по выбору хостинга? На что стоит обратить внимание перед покупкой?
Самое главное — это выбирать хостинг с буквой “B” в начале названия.
А если серьезно, то есть несколько факторов, на которые надо обратить внимание:
- Чтобы понять качество, можно взять среднюю конфигурацию и попробовать решить на ней свои прикладные задачи. Выбирайте хостинги, у которых есть почасовой тариф — Вы сможете протестировать серверы, не потеряв много в деньгах, если качество не устроит.
- Смотрите на дата-центры, в которых у хостера находятся физические серверы. По ним можно примерно судить по качеству услуг.
- Не советуем обращать внимания на цены: есть как супердешевые решения, но неплохо себя показывающие, так и супердорогие, которые ничем особенным не отличаются.
Расскажите о наиболее запомнившихся рабочих моментах.
Старт проекта. Первые полтора месяца работали в режиме 24/7: смотрели, как идут регистрации, не ломается ли что-то в интерфейсе личного кабинета, как ведут себя пользователи, удобно ли им заказывать услуги. Многое пришлось решать прямо на ходу, вплоть до того, чтобы заменять одни продукты другими. Изменения делали сразу в проде, минуя тестовые среды. Это был напряженный период, но удалось выжить и не бросить это дело.
Пользователи, которые приходили за уязвимостями в логике. Интересно было их отлавливать и закрывать уязвимости. Например, когда мы еще работали не за деньги, а начисляли бонусы, чтобы пользователи могли заказывать серверы, ссылку на нас выложили на одном из хакерских форумов с комментарием: “дают бесплатно серверы на 500 рублей”. Конечно, нас тут же заполонили ребята-майнеры, жаждущие халявы.
Могли бы вы составить краткую хронологию истории компании?
- Первая половина 2017 года — начали разрабатывать платформу, сайт и личный кабинет Boodet.online.
- 2018 год — вышли в альфа-тестирование, предоставляли мощности клиентам бесплатно и получали развернутые отзывы и результаты тестирования взамен.
- Середина 2018 года — запустили бета-версию с деньгами. Первые сотни клиентов, обкатка техподдержки.
- 2019 год — начали привлекать в клиенты юридические лица, работать над кастомными решениями.
- 2020 год — все уходят на самоизоляцию, растет спрос на виртуализацию. Мы ощущаем это на себе — происходит прирост клиентов, что дает возможность работать над большим количеством дополнительных услуг.
Источник: habr.com