Казвам се Леонид, аз съм уеб разработчик , затова поради професионалната си дейност се интересувам от историите на съществуването и развитието на различни компании в сферата на хостинг услугите. Днес искам да представя интервю с Данил и Дмитрий — създателите на хостинга . Те ще разкажат за устройството на инфраструктурата, организацията на работата и своя опит в развитието на доставчика на виртуални сървъри в Русия.
Кажете, моля, няколко думи за себе си. Как влязохте в хостинг сектора? С какво се занимавахте преди това?
До 2016 година както аз, така и Дмитрий работихме в секторите на предприятията, включително в такива компании като Dell, HP, EMC. Анализирайки облачния пазар в Русия, осъзнахме, че той активно расте, и решихме, че можем да предложим нещо интересно на пазара. Събрахме екип от хора, които вече бяха работили заедно по други проекти, и заедно започнахме да разработваме собствена платформа за виртуализация, насочена към голям бизнес с неговите специфични изисквания. От 2018 година паралелно стартирахме облачен хостинг “за всички”, отделяйки под проекта екип от пет души.
Рафтове за съхранение и приготвяне преди старта
Този проект за бизнеса вече работи или все още е в разработка?
Да, той работи паралелно — там вече има по-голям екип и става въпрос повече за софтуерно-хардуерни решения за IT инфраструктурата, а не просто за хостинг.
В момента предлагате доста различни услуги. Когато започнахте работа, списъкът беше по-малък или такъв същия? Всички тези услуги всъщност представляват обикновен виртуален сървър, но има известна разлика.
Започнахме с класическия IaaS: предлагахме "голи" виртуални сървъри с затворени портове и виртуални мрежи, за да може потребителят сам да създава пълноценна инфраструктура за себе си. Но след старта се оказа, че повечето потребители не разбираха за какво им трябват тези възможности, и решихме да въведем нов продукт за нас — стандартен VDS/VPS, с който пазарът вече е запознат. За нас това беше, по същество, намалена версия на продукта, но потребителите веднага разбраха какво е това и започнахме да получаваме първите клиенти. Явно нашият опит с големи компании ни накара да разработим веднага по-сложно и персонализирано решение, а масовият пазар търси простота. И до сега на базата на VPS започнахме да развиваме нови услуги, изходявайки от това, което най-често искат клиентите. И продължаваме да развиваме.
Къде разполагате оборудването? То собствено ли е или наемате? Как избирахте дата център за разполагане? Имали ли сте случаи на преместване?
Цялото оборудване е наше, наемаме само място в два дата центъра. Започнахме с три дата центъра: искахме да реализираме тройна отказоустойчивост, но търсенето в този момент беше твърде малко, за да инвестираме в това, и затова се отказахме от третия дата център. Имали сме едно преместване: точно преминавахме от третия дата център в един от останалите два. Избрахме по такъв принцип: дата центровете трябва да са известни на пазара, надеждни (Tier III), така че и двата да са разположени в Москва, в отдалечени един от друг райони.
В кои дата центрове се намирате в момента и от кой се отказахте?
В момента се намираме в DataSpace и 3Data. Отказахме се от един от ЦОД-овете на 3Data.
Напускаме третия дата център
IP адреси наемате или купувате?
Наемаме.
А по каква причина избрахте такъв подход, а не закупуването?
Като цяло, за да растем бързо. Предоставяме на клиентите виртуална инфраструктура, за която не е нужно веднага да правят капиталови вложения, и разходите могат да се разпределят на месечни вноски. Ние също спазваме същата философия, както нашите клиенти — стремим се към разширение и бързо мащабиране.
Какво мислите за IPv6?
Засега не сме забелязали значително търсене, затова не сме добавяли IPv6, но архитектурата за изхода е проектирана, готови сме да я внедрим за кратко време, щом разберем, че има запитвания.
Използвате KVM виртуализация. Защо я избрахте? Как се представя на практика?
Напълно вярно, но ние не използваме „чист“ KVM, а напълно разработена система за виртуализация на базата на KVM, разработена от нашия „старши брат“, включваща система за съхранение на данни (SDS) и софтуерно дефинирана мрежа (SDN). Изборът беше направен с цел създаване на максимално отказоустойчив продукт без единични точки на отказ. Досега се представя много добре, без глобални проблеми в производството. По време на етапа на алфа-тестове на пазара, когато предоставяхме услуги на първите клиенти в замяна на бонус точки, тествахме технологията и открихме някои неприятни моменти, но през последните две години успяхме да разберем и решим много неща.
Изпълнявате ли оверселинг? Как контролирате натоварването на сървъра?
Използваме оверселинг само по процесорите, но никога по оперативната памет. Дори при физически процесори не допускаме тяхното натоварване над 75%. Що се отнася до дисковете: работим с „тънко“ разпределение на капацитета. Имаме централизирано наблюдение на цялата среда, което позволява контрол на натоварването. За поддръжката на цялата инфраструктура отговарят двама инженери, затова се опитваме да се автоматизираме максимално и да събираме всякаква информация за системата. Всякакви отклонения от нормалния режим веднага са видими, като периодично оценяваме и ребаласцираме натоварването в инфраструктурата. Ребаласцирането винаги става в онлайн режим, незабелязано за клиентите.
Колко физически сървъра имате в момента? Как често добавяте нови? Какви сървъри използвате?
В момента имаме 76 сървъра, нови добавяме на всеки четири-пет месеца. Използваме QCT, Intel, Supermicro.
Имали ли сте случаи, когато клиент заема всички налични ресурси и се налага спешно да добавяте сървъри?
Няма такова нещо по отношение на ресурсите. Все още растем по-равномерно. Но имаше случай, когато клиент поиска 50 IP адреса, всеки в отделен блок. Естествено, такова нещо все още нямаме 🙂
Какви са най-популярните методи за плащане при вас? Какво се използва най-малко?
Най-популярните методи за плащане са банковата карта и QIWI. Най-малко се използва безналично плащане по оферта за юридически лица, но такива плащания са най-обемни (компаниите плащат обикновено за значителни ресурси за няколко месеца). Също така, PayPal изостава: в началото не разчитахме на чуждестранни потребители, но те започнаха да се появяват.
В Boodet.online имаме собствена система за фактуриране. Защо решихте да използвате такова решение? Какви са предимствата и недостатъците? Беше ли трудно да се разработи?
Цялата ни система е собствена разработка. Съществуващите платформи не ни се струваха много удобни по отношение на UX, затова решихме да създадем и развием своя собствена. Фактурирането е само една от микросистемите, които съставят системата. Оказа се, че разработването е по-трудно, отколкото очаквахме в началото. Дори в определен момент се наложи да отложим старта на проекта, за да успеем да подготвим работен продукт, за който да не ни е срам по време на алфа-тестовете. Впоследствие натрупахме компетенции по разработваческите методики за дългосрочен период и управление на продуктите. Сега е по-лесно да добавяме нови функции и нови продукти в системата.
Колко хора работеха по всичко това? На какъв език програмираха?
За целия проект имаме петима души, от които двама разработчици (frontend и backend). Backend е написан на RoR/Python. Frontend е на JS.
Как е организирана помощта за потребителите? Тя ли е денонощна или действа само в работно време? Колко линии на поддръжка имате? Какво най-често питат?
Имаме три точки на достъп: чат, телефон и система за заявки от личния кабинет. Има две линии на поддръжка: ако дежурният инженер не може да реши проблема, се включва техническият директор или екипа за разработка. Ако проблемът е в основната платформа, което се случва много по-рядко, техническият директор се свързва с поддръжката на 'старшия брат'. Нощем реагираме само на обаждания от клиенти, които закупуват отделно техническо обслужване, или на повреди в платформата, съобщени чрез специално създаден бот в Телеграм.
Най-популярни въпроси:
- Достъпни ли са нашите IP адреси в Туркменистан (това е най-популярният въпрос — изглежда, в страната има строга политика относно блокировките).
- Как да инсталирам определен софтуер.
- Как да получа root-достъп (направена е дори специална бележка в интерфейса при създаване на машини, но и тя не винаги помага).
Извършвате ли верификация на клиентите? Често ли се появяват спамери и други неподходящи лица?
Верификация по имейл и телефон (ако потребителят активира 2FA). Спамерите и други злоупотребители се появяват периодично. Налага ни се да реагираме с временно блокиране на компрометирани сервери, тъй като не желаем IP адреси да попадат в черни списъци. Но винаги предварително уведомяваме потребителя, че е получена жалба, и молим да се свърже с нас и да обсъдим проблема. Ако потребителят не реагира или се появят повторни жалби, блокираме акаунта изцяло и премахваме сървърите.
Често ли настъпват DDoS атаки срещу клиентите? Какво правите в такива случаи? Имало ли е атаки конкретно срещу вас, сайта или инфраструктурата?
Клиентите се атакуват доста рядко. Но ние самите често ставаме обект на атаки — сайта, клиентския кабинет. Понякога мрежата е ударена на различни IP адреси. Не можем да съдим кой е и за какво, могат да бъдат няколко варианта. Има дори опити да атакуват нас отвътре. През миналото, когато правехме верификация по телефон, даваме бонус от сто рубли, за да могат нормалните потребители да тестват всякакви конфигурации. Но веднъж дойде потребител с „пачка сим карти“ и под един IP създаде десетки акаунти, получавайки бонуси. Затова се наложи да премахнем автоматичното начисляване на тестови точки. Сега за тестване трябва да подадете заявка до техническа поддръжка и всеки случай го разглеждаме отделно.
Как е организирана работата, имате ли офис или всички работят дистанционно?
Имате офис, но с началото на ограниченията поради коронавируса всички започнаха да работят от дома/вила/родния град.
Нашият офис
Какъв е текущият курс на развитие на компанията?
Работим по добавянето на нови услуги. Имаме обширен план за развитие, не спираме разработката и на всеки две седмици пускаме нова версия на клиентския кабинет. Добавяме функционалност и услуги, които са поискани от колегите, добавяме това, което искат клиентите.
Как намирате клиенти? Има ли голям приток и отток на клиенти годишно? Какъв е средният "срок на живот" на клиента?
Каналите за привличане на клиенти в нашата сфера — това, на което се крепи целият бизнес, ако имате работещ и добър продукт. Затова не сме готови да споделяме.
Churn rate, LTV и жизнен цикъл — също доста важни показатели, които използваме само за вътрешна аналитика, но не за споделяне.
Можете ли да дадете на читателите някакви съвети за избор на хостинг? На какво да се обърне внимание преди покупка?
Най-важното е да изберете хостинг, който започва с буквата “B”.
Сериозно казано, има няколко фактора, на които трябва да обърнете внимание:
- За да разберете качеството, можете да вземете средна конфигурация и да опитате да решите своите приложни задачи на нея. Избирайте хостинги, които имат почасова тарифа — така ще можете да тествате сървърите, без да загубите много пари, ако качеството не ви устройва.
- Внимавайте за дата центровете, в които хостерът има физически сървъри. По тях можете да съдите приблизително за качеството на услугите.
- Не препоръчваме да обръщате внимание на цените: има както суперевтини решения, които показват добро представяне, така и суперскъпи, които не се различават особено.
Разкажете ни за най-запомнящите се работни моменти.
Стартиране на проекта. Първите месец и половина работихме в режим 24/7: следяхме как вървят регистрациите, дали не се счупва нещо в интерфейса на личния кабинет, как се държат потребителите, удобно ли им е да поръчват услуги. Много неща трябваше да решаваме на момента, дори да заменяме определени продукти с други. Промените направихме веднага в продукцията, без тестови среди. Това беше напрегнат период, но успяхме да оцелеме и да не се откажем.
Потребителите, които идваха за уязвимости в логиката. Беше интересно да ги хващаме и да затваряме уязвимостите. Например, когато все още не работехме за пари, а начислявахме бонуси, за да могат потребителите да поръчват сървъри, връзка към нас беше публикувана в един от хакерските форуми с коментар: “дават безплатно сървъри на стойност 500 рубли”. Разбира се, веднага ни запълниха момчета-майнери, жадни за безплатни неща.
Можете ли да съставите кратка хронология на историята на компанията?
- Първата половина на 2017 година — започнахме разработката на платформата, сайта и личния кабинет Boodet.online.
- 2018 година — излязохме в алфа тестване, предоставяйки мощности на клиентите безплатно и получавайки разширени отзиви и резултати от тестовете в замяна.
- Средата на 2018 г. — стартираме бета версия с финанси. Първите стотици клиенти, тестване на техническата поддръжка.
- 2019 г. — започваме да привличаме юридически лица, работим върху индивидуални решения.
- 2020 г. — всички преминават на самоизолация, търсенето на виртуализация расте. Ние го усетихме — настъпва увеличение на клиентите, което ни дава възможност да работим по-активно по допълнителни услуги.
Източник: habr.com
