Мяне клічуць Леанід, я – распрацоўшчык сайта , таму ў сілу сваёй дзейнасці цікаўлюся гісторыямі станаўлення і развіцця розных кампаній са сферы хостынгавых паслуг. Сёння хачу прадставіць інтэрв'ю з Данілам і Дзмітрыем - стваральнікамі хостынгу. . Яны раскажуць аб прыладзе інфраструктуры, арганізацыі працы і сваім досведзе развіцця правайдэра віртуальных сервераў у Расіі.
Раскажыце, калі ласка, пары слоў пра сябе. Як прыйшлі ў хостынг? Чым займаліся да гэтага?
Да 2016 года і я, і Зміцер працавалі ў Enterprise-сектары, у тым ліку ў такіх кампаніях, як Dell, HP, EMC. Аналізуючы хмарны рынак у Расіі, мы зразумелі, што ён актыўна расце, і вырашылі, што зможам зрабіць рынку цікавую прапанову. Сабралася каманда людзей, якія ўжо працавалі адзін з адным па іншых праектах, і разам пачалі распрацоўваць уласную платформу віртуалізацыі, накіраваную на буйны бізнес з яго спецыфічнымі запытамі. З 2018 года паралельна запусцілі воблачны хостынг "для ўсіх", вылучылі пад праект каманду з пяці чалавек.
Стойка захоўвання і прыгатавання перад стартам
А гэты праект для бізнэсу зараз ужо працуе ці пакуль у распрацоўцы?
Так, ён працуе паралельна – там ужо буйнейшая каманда, і гаворка больш пра праграмна-апаратныя рашэнні для IT-інфраструктуры, не пра хостынг.
У Вас зараз даволі шмат розных паслуг. Калі вы пачыналі працу, спіс быў меншы ці такі ж? Прычым усе гэтыя паслугі фактычна ўяўляюць з сябе звычайны віртуальны сервер, але ёсць нейкі падзел.
Пачыналі з класічнага IaaS: падавалі «голыя» віртуальныя серверы з зачыненымі партамі і віртуальныя сеткі для іх, каб карыстач сам мог ствараць паўнавартасную інфраструктуру пад сябе. Але пасля старту аказалася, што большасць карыстачоў не зразумелі, навошта ім такія магчымасці, і мы вырашылі ўвесці новы для сябе прадукт – стандартны VDS / VPS, з якім рынак ужо знаёмы. Для нас гэта была, у сутнасці, зрэзаная версія прадукта, але карыстачы адразу зразумелі, што гэта такое, і мы пачалі атрымліваць першых кліентаў. Мабыць, наш досвед з буйнымі кампаніямі прымусіў распрацаваць адразу больш складанае і кастамізаванае рашэнне, а масавы рынак жадае прастаты. І далей на базе VPS мы пачалі развіваць новыя сэрвісы, зыходзячы з таго, што часцей за ўсё просяць кліенты. І развіваем да гэтага часу.
Дзе размяшчае абсталяванне? Яно ў вашай уласнасці або арандуеце? Як выбіралі сабе ДЦ для размяшчэння? Ці былі выпадкі пераезду?
Усё абсталяванне наша, арандуем мы толькі месца ў двух дата-цэнтрах. Пачыналі з трох ДЦ: хацелі рэалізаваць трохбаковую адмоваўстойлівасць, але попыт на яе ў той момант быў занадта невялікім, каб інвеставаць у гэта, таму ад трэцяга дата-цэнтра адмовіліся. У нас быў адзін пераезд: якраз пераязджалі з трэцяга дата-цэнтра ў адзін з астатніх двух. Выбіралі па такім прынцыпе: ДЦ павінны быць вядомыя на рынку, надзейныя (Tier III), каб абодва тэрытарыяльна знаходзіліся ў Маскве, у выдаленых сябар ад сябра раёнах.
А ў якіх ДЦ вы зараз размяшчаецеся і ад якога адмовіліся?
Цяпер размяшчаемся ў DataSpace і 3Data. Адмовіліся ад аднаго з ЦАДаў 3Data.
Пакідаем трэці дата-цэнтр
IP адрасы арандуеце ці купляеце?
Арандуем.
А чаму выбралі такі падыход, а не пакупку?
Па вялікім рахунку, каб хутка расці. Мы даем кліентам віртуальную інфраструктуру, за якую не трэба адразу аддаваць капітальныя ўкладанні, і можна разбіць выдаткі памесячна. Самі мы прытрымліваемся той жа філасофіі, што і нашы кліенты - імкнемся да пашырэння і хуткага маштабавання.
Што думаеце наконт IPv6?
Пакуль што не заўважылі значнага попыту, таму не дадавалі сабе, але архітэктура па выснове прапрацавана, гатовыя «выкаціць» за кароткі час, як толькі зразумеем, што ёсць запыты.
Вы карыстаецеся KVM-віртуалізацыю. Чаму выбралі яе? Як яна паказвае сябе ў рабоце?
Усё дакладна, але мы выкарыстоўваем не "голы" KVM, а паўнавартасную, дапрацаваную сістэму віртуалізацыі на базе KVM, якую распрацаваў наш "старэйшы брат", уключаючы сістэму захоўвання дадзеных (SDS) і праграмна-вызначаную сетку (SDN). Выбіралі, зыходзячы з таго, каб пабудаваць максімальна адмоваўстойлівы прадукт без адзінкавых кропак адмовы. Паказвае сябе добра, пакуль глабальных праблем у продзе не ўзнікала. На этапе альфа-тэставанні на рынку, калі мы падалі паслугі першым кліентам за бонусныя балы, абкочвалі тэхналогію і злавілі шэраг непрыемных момантаў, але за апошнія два гады шматлікае атрымалася зразумець і вырашыць.
Выкарыстоўваеце Ці аверселінг? Як кантралюеце нагрузку на сэрвер?
Аверселінг выкарыстоўваны толькі па працэсарах, але ні ў якім разе не па аператыўнай памяці. Нават у выпадку фізічных працэсараў не дапускаем іх загрузку больш за 75%. Па дысках: працуем з "тонкім" вылучэннем ёмістасці. У нас цэнтралізаваны маніторынг усяго акружэння, што дазваляе кантраляваць нагрузку. За падтрымку ўсёй інфраструктуры адказваюць два інжынеры, таму мы спрабуем максімальна аўтаматызавацца і збіраць разнастайную інфармацыю па сістэме. Любыя адхіленні ад нармальнага рэжыму адразу ж бачныя, пры гэтым мы перыядычна ацэньваем і перабалансуем нагрузку ўнутры інфраструктуры. Перабалансаванне заўсёды адбываецца ў анлайн-рэжыме неўзаметку для кліентаў.
Колькі ў вас зараз фізічных сервераў? Як часта дадаеце новыя? Якія серверы карыстаецеся?
На дадзены момант 76 сервераў, новыя дадаем прыкладна кожныя чатыры-пяць месяцаў. Выкарыстоўваны QCT, Intel, Supermicro.
Бывалі выпадкі, калі прыходзіў кліент і займаў усе пакінутыя вольныя рэсурсы, і даводзілася тэрмінова дадаваць серверы?
Па рэсурсах такога не было. Пакуль расцем больш-менш раўнамерна. Але быў выпадак, калі прыйшоў карыстач і захацеў 50 IP, кожны – у асобным блоку. Зразумела, што падобнага ў нас пакуль няма 🙂
Якія ў вас самыя папулярныя спосабы аплаты? Што менш за ўсё выкарыстоўваюць?
Самыя папулярныя - банкаўская карта і QIWI. Менш за ўсё - аплата безнаяўным пераводам па аферты для юрыдычных асоб, затое такія пераклады самыя аб'ёмныя (кампаніі плацяць, як правіла, за самавітыя рэсурсы на некалькі месяцаў). Таксама адстае PayPal: пры старце мы не разлічвалі на замежных карыстачоў, але яны сталі з'яўляцца.
У Boodet.online самапісны білінг. Чаму вы вырашылі выкарыстоўваць такое рашэнне? Якія плюсы і мінусы? Ці складана было распрацоўваць?
У нас увогуле ўся сістэма — уласнай распрацоўкі. Існуючыя платформы не здаліся нам вельмі зручнымі ў плане UX, таму вырашылі рабіць і развіваць сваю. Білінг - гэта толькі адзін з мікрасэрвісаў, якія ўваходзяць у склад сістэмы. Распрацоўваць аказалася больш складана, чым думалі на старце. Нават у нейкі момант прыйшлося ссунуць запуск праекту, каб паспець падрыхтаваць працоўны прадукт, за які не было бы сорамна на альфа-тэставанні. Пасля "акінулі" кампетэнцыі па методыцы распрацоўкі на доўгай дыстанцыі і прадукт-мэнэджменту. Цяпер ужо прасцей дадаваць у сістэму новы функцыянал і новыя прадукты.
А колькі чалавек усё гэта распрацоўвала? На чым пісалі?
На ўвесь праект у нас пяць чалавек, з іх – два распрацоўшчыкі (frontend і backend). Back напісаны на RoR/Python. Front - гэта JS.
Як арганізавана падтрымка карыстальнікаў? Яна кругласутачная ці дзейнічае толькі ў працоўны час? Колькі ёсць ліній падтрымкі? Пра што часцей за ўсё пытаюцца?
У нас тры кропкі ўваходу: чат, тэлефон і сістэма заявак з асабістага кабінета. Дзве лініі падтрымкі: калі дзяжурны інжынер не змог вырашыць праблему, падключаецца тэхнічны дырэктар ці каманда распрацоўкі. Калі праблема ў асноўнай платформе, што здараецца значна радзей, то тэхнічны дырэктар звяртаецца ў падтрымку "старэйшага брата". Уначы рэагуем толькі на званкі заказчыкаў, якія купляюць асобнае тэхнічнае абслугоўванне, або на збоі платформы, паведамленыя праз спецыяльна напісанага бота ў Тэлеграм.
Самыя папулярныя пытанні:
- Ці даступныя нашы IP у Туркменістане (гэта самы першы па папулярнасці - мабыць, у краіне жорсткая палітыка блакіровак).
- Як усталяваць тое ці іншае ПЗ.
- Як атрымаць root-доступ (зроблена нават спецыяльная памятка ў інтэрфейсе пры стварэнні машын, але і яна не заўсёды дапамагае).
Вы праводзіце верыфікацыю кліентаў? Часта з'яўляюцца спамеры і іншыя нядобрыя асобы?
Верыфікацыя па пошце і тэлефоне (калі карыстач падлучае 2FA). Спамеры і іншыя аб'юзеры з'яўляюцца перыядычна. Мы змушаныя рэагаваць часавай блакіроўкай скампраметаваных сервераў, бо не жадаем, каб IP пападалі ў чорныя спісы. Але заўсёды папярэдне пішам карыстачу, што на яго прыйшла скарга, просім звязацца і абгаварыць праблему. Калі карыстач не рэагуе, ці з'яўляюцца паўторныя скаргі, блакуем акаўнт цалкам і выдаляем серверы.
Ці часта здараюцца DDoS-напады на кліентаў? Што робіце ў такіх выпадках? Ці былі напады канкрэтна на вас, на сайт ці інфраструктуру?
Кліентаў атакуюць даволі рэдка. Але нас саміх часта - сайт, асабісты кабінет. Часам дзяўбуць сетку па розных IP-адрасах. Не бярэмся меркаваць, хто гэта і навошта, тут можа быць некалькі варыянтаў. Бываюць нават спробы атакаваць нас знутры. Раней пры верыфікацыі па тэлефоне мы выдавалі бонусныя сто рублёў, каб нармальныя карыстачы маглі пратэставаць любыя канфігурацыі. Але аднойчы прыйшоў карыстач з "пачкам сімок" і з-пад аднаго IP пачаў ствараць дзясяткі акаўнтаў, атрымліваючы на іх бонусы. Таму прыйшлося прыбраць аўтаматычнае налічэнне тэставых балаў. Цяпер на тэсціраванне трэба падаць запыт у тэхпадтрымку, і кожны выпадак разглядаем асобна.
Як арганізавана праца, ёсць офіс, ці ўсё працуюць выдалена?
Офіс ёсць, але з пачаткам абмежаванняў з-за каранавіруса ўсе адправіліся на працу з дому / дачы / роднага горада.
Наш офіс
Які ў вас зараз курс развіцця кампаніі?
Ідзем да дадання новых сэрвісаў. У нас шырокая roadmap, мы не перарываем распрацоўку, і кожныя два тыдні выходзіць новы рэліз асабістага кабінета. Дадаем функцыянал і паслугі, якія запатрабаваны ў калег, дадаем тое, што просяць кліенты.
Як знаходзіце кліентаў? Ці вялікі прыток і адток кліентаў у год? Які сярэдні "тэрмін жыцця" кліента?
Каналы прыцягнення кліентаў у нашай сферы - тое, на чым трымаецца ўвесь бізнэс, калі ёсць працоўны добры прадукт. Таму не гатовы дзяліцца.
Churn rate, LTV і жыццёвы цыкл - таксама даволі важныя паказчыкі, якія мы выкарыстоўваем толькі для ўнутранай аналітыкі, але не для разгалашэння.
Ці маглі б вы даць чытачам якія-небудзь парады па выбары хостынгу? На што варта звярнуць увагу перад пакупкай?
Самае галоўнае - гэта выбіраць хостынг з літарай "B" у пачатку назвы.
А калі сур'ёзна, то ёсць некалькі фактараў, на якія трэба звярнуць увагу:
- Каб зразумець якасць, можна ўзяць сярэднюю канфігурацыю і паспрабаваць вырашыць на ёй свае прыкладныя задачы. Выбірайце хостынгі, у якіх ёсць пагадзінны тарыф - Вы зможаце пратэставаць серверы, не страціўшы шмат у грошах, калі якасць не задаволіць.
- Глядзіце на дата-цэнтры, у якіх у хостэра знаходзяцца фізічныя серверы. Па іх можна прыкладна меркаваць па якасці паслуг.
- Не раім звяртаць увагі на кошты: ёсць як супертанныя рашэнні, але нядрэнна сябе паказваюць, так і супердарагія, якія нічым асаблівым не адрозніваюцца.
Раскажыце пра найболей якія запомніліся працоўных момантах.
Старт праекту. Першыя паўтара месяца працавалі ў рэжыме 24/7: глядзелі, як ідуць рэгістрацыі, ці не ламаецца нешта ў інтэрфейсе асабістага кабінета, як паводзяць сябе карыстачы, ці зручна ім заказваць паслугі. Многае прыйшлося вырашаць прама на хаду, аж да таго, каб замяняць адны прадукты іншымі. Змены рабілі адразу ў продзе, абыходзячы тэставыя асяроддзі. Гэта быў напружаны перыяд, але ўдалося выжыць і не кінуць гэтую справу.
Карыстальнікі, якія прыходзілі за ўразлівасцямі ў логіцы. Цікава было іх адлоўліваць і зачыняць уразлівасці. Напрыклад, калі мы яшчэ працавалі не за грошы, а налічвалі бонусы, каб карыстачы маглі заказваць серверы, спасылку на нас выклалі на адным з хакерскіх форумаў з каментаром: "даюць бясплатна серверы на 500 рублёў". Вядома, нас тут жа апанавалі хлопцы-майнеры, якія прагнуць халявы.
Маглі б вы скласці кароткую храналогію гісторыі кампаніі?
- Першая палова 2017 года - пачалі распрацоўваць платформу, сайт і асабісты кабінет Boodet.online.
- 2018 год — выйшлі ў альфа-тэставанне, давалі магутнасці кліентам бясплатна і атрымлівалі разгорнутыя водгукі і вынікі тэсціравання ўзамен.
- Сярэдзіна 2018 года - запусцілі бэта-версію з грашыма. Першыя сотні кліентаў, абкатка тэхпадтрымкі.
- 2019 год - пачалі прыцягваць у кліенты юрыдычныя асобы, працаваць над кастамнымі рашэннямі.
- 2020 год - усё сыходзяць на самаізаляцыю, расце попыт на віртуалізацыю. Мы адчуваем гэта на сабе - адбываецца прырост кліентаў, што дае магчымасць працаваць над вялікай колькасцю дадатковых паслуг.
Крыніца: habr.com