Meu nome é Leonid, sou um desenvolvedor de sites , por isso, devido à minha atividade, estou interessado nas histórias de formação e desenvolvimento de várias empresas do setor de serviços de hospedagem. Hoje quero apresentar uma entrevista com Danilo e Dmitri — os criadores da hospedagem . Eles vão falar sobre a estrutura da infraestrutura, a organização do trabalho e sua experiência no desenvolvimento de provedores de servidores virtuais na Rússia.
Por favor, conte-nos um pouco sobre você. Como você entrou no setor de hospedagem? O que você estava fazendo antes disso?
Até 2016, tanto eu quanto Dmitri trabalhávamos no setor Enterprise, inclusive em empresas como Dell, HP e EMC. Analisando o mercado de nuvem na Rússia, percebemos que ele estava crescendo ativamente e decidimos que poderíamos fazer uma proposta interessante para o mercado. Formamos uma equipe de pessoas que já haviam trabalhado juntas em outros projetos e começamos a desenvolver nossa própria plataforma de virtualização, voltada para grandes empresas com suas solicitações específicas. Desde 2018, lançamos paralelamente uma hospedagem em nuvem "para todos", destacamos para o projeto uma equipe de cinco pessoas.
A estrutura de armazenamento e preparação antes do início
E este projeto para empresas já está funcionando ou ainda está em desenvolvimento?
Sim, ele está funcionando paralelamente — lá já existe uma equipe maior, e o foco é mais em soluções de software e hardware para infraestrutura de TI, não apenas em hospedagem.
Vocês têm atualmente muitos serviços diferentes. Quando você começou, a lista era menor ou igual? Porém, todos esses serviços representam, de fato, um servidor virtual comum, mas há uma certa divisão.
Começamos com IaaS clássico: fornecíamos servidores virtuais "nu" com portas fechadas e redes virtuais para que o usuário pudesse criar sua própria infraestrutura. Mas, após o lançamento, ficou claro que a maioria dos usuários não compreendia para que serviam essas possibilidades, e decidimos introduzir um novo produto — VDS/VPS padrão, com o qual o mercado já estava familiarizado. Para nós, era, na verdade, uma versão reduzida do produto, mas os usuários imediatamente entenderam do que se tratava, e começamos a receber os primeiros clientes. Aparentemente, nossa experiência com grandes empresas nos fez desenvolver uma solução mais complexa e personalizada, enquanto o mercado em massa deseja simplicidade. A partir do VPS, começamos a desenvolver novos serviços com base nas solicitações mais frequentes dos clientes. E continuamos a desenvolver até hoje.
Onde você localiza o hardware? É de sua propriedade ou alugado? Como escolheu seu data center para a colocação? Houve casos de mudança?
Todo o nosso equipamento é nosso, alugamos apenas espaço em dois data centers. Começamos com três data centers: queríamos implementar uma redundância de três vias, mas a demanda na época era muito pequena para investir nisso, então desistimos do terceiro data center. Tivemos uma mudança: estávamos mudando do terceiro data center para um dos dois restantes. Escolhemos com base no seguinte princípio: os data centers devem ser conhecidos no mercado, confiáveis (Tier III) e ambos devem ficar em Moscovo, em áreas distantes um do outro.
Em quais data centers você está atualmente localizado e de qual desistiu?
Atualmente, estamos localizados na DataSpace e 3Data. Desistimos de um dos data centers 3Data.
Estamos deixando o terceiro data center.
Você aluga ou compra endereços IP?
Alugamos.
E por que você escolheu essa abordagem em vez de comprar?
Basicamente, para crescer rapidamente. Fornecemos aos clientes uma infraestrutura virtual pela qual não é necessário fazer um investimento de capital integral imediatamente, e é possível dividir os custos mensalmente. Nós mesmos seguimos a mesma filosofia que nossos clientes — buscamos expansão e rápida escalabilidade.
O que você pensa sobre IPv6?
Até agora, não percebemos uma demanda significativa, então não o adicionamos, mas a arquitetura para implementação está desenvolvida; estamos prontos para "lançar" em pouco tempo assim que entendermos que há solicitações.
Você está usando virtualização KVM. Por que a escolheu? Como ela se comporta na prática?
Correto, mas não usamos KVM 'puro', e sim um sistema de virtualização completo e aprimorado baseado em KVM, desenvolvido pelo nosso 'irmão mais velho', incluindo um sistema de armazenamento de dados (SDS) e uma rede definida por software (SDN). Escolhemos assim para construir um produto o mais robusto possível, sem pontos únicos de falha. Está se comportando bem, sem problemas globais em produção até agora. Durante a fase de teste alfa no mercado, quando oferecemos serviços a primeiros clientes como um bônus, experimentamos a tecnologia e enfrentamos alguns problemas, mas nos últimos dois anos conseguimos entender e resolver muitas questões.
Você utiliza overselling? Como controla a carga do servidor?
Utilizamos overselling apenas nos processadores, mas de forma alguma na memória RAM. Mesmo com processadores físicos, não permitimos sua carga acima de 75%. Em relação aos discos: trabalhamos com alocação de capacidade 'thin'. Temos monitoramento centralizado de todo o ambiente, o que permite controlar a carga. A manutenção de toda a infraestrutura é responsabilidade de dois engenheiros, por isso tentamos automatizar ao máximo e coletar informações de todo o sistema. Qualquer desvio do modo normal é imediatamente visível; periodicamente, avalíamos e reequilibramos a carga dentro da infraestrutura. O reequilíbrio sempre ocorre em modo online, sem que os clientes percebam.
Quantos servidores físicos você tem atualmente? Com que frequência adiciona novos? Quais servidores utiliza?
Atualmente temos 76 servidores, e adicionamos novos aproximadamente a cada quatro a cinco meses. Utilizamos QCT, Intel e Supermicro.
Já houve casos em que um cliente consumiu todos os recursos restantes, obrigando a adicionar servidores rapidamente?
Quanto aos recursos, isso não aconteceu. Até agora, estamos crescendo de forma equilibrada. No entanto, houve um caso em que um usuário pediu 50 IPs, cada um em um bloco separado. É claro que ainda não temos isso 🙂
Quais são os seus métodos de pagamento mais populares? Quais são os menos utilizados?
Os métodos de pagamento mais populares são o cartão bancário e o QIWI. O pagamento menos utilizado é a transferência bancária com um contrato para pessoas jurídicas, embora esses pagamentos sejam os de maior volume (as empresas geralmente pagam por recursos sólidos com vários meses de antecedência). O PayPal também está em desvantagem: ao começarmos, não esperávamos usuários estrangeiros, mas eles começaram a aparecer.
No Boodet.online, utilizamos um sistema de faturamento próprio. Por que você decidiu usar essa solução? Quais são os prós e contras? Foi difícil desenvolvê-la?
Na verdade, todo o nosso sistema é de desenvolvimento próprio. As plataformas existentes não nos pareceram muito convenientes em termos de experiência do usuário (UX), por isso decidimos criar e desenvolver a nossa. O faturamento é apenas um dos microserviços que compõem o sistema. O desenvolvimento acabou sendo mais difícil do que esperávamos no início. Em determinado momento, tivemos que adiar o lançamento do projeto para conseguir preparar um produto funcional, do qual não teríamos vergonha durante os testes alfa. Posteriormente, adquirimos competências em metodologias de desenvolvimento a longo prazo e gerenciamento de produtos. Agora, já é mais fácil adicionar novas funcionalidades e novos produtos ao sistema.
Quantas pessoas estavam envolvidas no desenvolvimento? Em que linguagem foi escrito?
Para todo o projeto, temos cinco pessoas, das quais duas são desenvolvedores (frontend e backend). O backend foi escrito em RoR/Python. O frontend é em JS.
Como é organizada a assistência ao cliente? É 24 horas ou apenas durante o horário comercial? Quantas linhas de suporte existem? Quais são as perguntas mais frequentes?
Temos três pontos de contato: chat, telefone e um sistema de tickets na área do cliente. São duas linhas de suporte: se o engenheiro de plantão não consegue resolver o problema, o diretor técnico ou a equipe de desenvolvimento assumem. Se o problema está na plataforma principal, o que acontece com muito menos frequência, o diretor técnico entra em contato com o suporte da "mãe". Durante a noite, reagimos apenas a chamadas de clientes que contratam serviços técnicos separados, ou a falhas na plataforma que são relatadas por um bot criado especialmente para o Telegram.
As perguntas mais frequentes:
- Nossos IPs estão disponíveis no Turcomenistão (esta é a mais popular — aparentemente, o país tem uma política rigorosa de bloqueios).
- Como instalar determinado software.
- Como obter acesso root (até criamos um lembrete especial na interface ao criar máquinas, mas ele nem sempre ajuda).
Você realiza a verificação de clientes? Spam e outras pessoas indesejadas aparecem frequentemente?
Verificação por email e telefone (se o usuário ativa a 2FA). Spammers e outros abusadores aparecem periodicamente. Somos forçados a reagir com o bloqueio temporário de servidores comprometidos, pois não queremos que os IPs se tornem parte de listas negras. Mas sempre informamos o usuário previamente que uma reclamação foi registrada contra ele, pedindo que entre em contato e discuta o problema. Se o usuário não responder, ou se surgirem novas reclamações, bloqueamos a conta completamente e removemos os servidores.
Com que frequência ocorrem ataques DDoS aos clientes? O que você faz nessas situações? Já houve ataques especificamente contra você, seu site ou infraestrutura?
Clientes são atacados com bastante raridade. Mas nós mesmos somos frequentemente atacados — o site, o painel de controle. Às vezes atacam a rede por meio de diferentes IPs. Não podemos julgar quem são e por que, pode haver várias razões. Já aconteceram até tentativas de ataques de dentro. Anteriormente, ao verificar por telefone, dávamos um bônus de cem reais para que usuários normais pudessem testar qualquer configuração. Mas um dia, um usuário chegou com um 'pacote de chips' e a partir de um IP começou a criar dezenas de contas, recebendo bônus. Por isso, tivemos que remover a concessão automática de créditos de teste. Agora, para testar, é necessário enviar um pedido ao suporte técnico, e cada caso é analisado separadamente.
Como funciona o trabalho, há um escritório ou todos trabalham remotamente?
Temos escritório, mas com o início das restrições por causa do coronavírus, todos começaram a trabalhar de casa / de suas chácara / de sua cidade natal.
Nosso escritório
Qual é o seu atual curso de desenvolvimento da empresa?
Estamos avançando na adição de novos serviços. Temos um extenso roadmap, não paralisamos o desenvolvimento, e a cada duas semanas lançamos uma nova versão do painel de controle. Estamos adicionando funcionalidades e serviços que são demandados pelos colegas, acrescentando o que os clientes solicitam.
Como você encontra clientes? Há uma grande entrada e saída de clientes por ano? Qual é a média de 'vida útil' de um cliente?
Os canais de atração de clientes em nosso setor são o que sustenta todo o negócio, se houver um bom produto em funcionamento. Portanto, não estamos prontos para compartilhar.
A taxa de cancelamento, LTV e ciclo de vida também são métricas bastante importantes que usamos apenas para análise interna, mas não para divulgação.
Você poderia dar aos leitores alguns conselhos sobre como escolher um serviço de hospedagem? O que deve ser observado antes da compra?
O mais importante é escolher um serviço de hospedagem com a letra “B” no início do nome.
Mas, falando sério, existem vários fatores que devem ser considerados:
- Para entender a qualidade, você pode pegar uma configuração média e tentar resolver suas tarefas práticas nela. Escolha serviços de hospedagem que ofereçam tarifas horárias — assim, você poderá testar os servidores sem perder muito dinheiro, caso a qualidade não atenda às suas expectativas.
- Preste atenção nos data centers onde os servidores físicos do provedor estão localizados. A partir disso, você pode fazer uma avaliação aproximada da qualidade dos serviços.
- Não recomendamos focar nos preços: existem soluções super baratas que se mostram de boa qualidade e também serviços super caros que não se destacam em nada especial.
Conte-nos sobre os momentos de trabalho mais memoráveis.
Início do projeto. Nos primeiros um mês e meio, trabalhamos em modo 24/7: monitorávamos como estavam as inscrições, se algo no interface do painel de controle quebrava, como os usuários se comportavam, se era conveniente para eles solicitar serviços. Muitas coisas precisaram ser resolvidas no improviso, até mesmo substituindo produtos. As mudanças eram feitas imediatamente em produção, sem passar por ambientes de teste. Foi um período intenso, mas conseguimos sobreviver e não abandonar o projeto.
Os usuários que vinham em busca de vulnerabilidades na lógica. Era interessante capturá-los e fechar as vulnerabilidades. Por exemplo, quando ainda estávamos trabalhando sem remuneração e concedendo bônus para que os usuários pudessem solicitar servidores, o link para nós foi divulgado em um dos fóruns de hackers com o comentário: “oferecem servidores grátis de 500 rublos”. Claro, fomos imediatamente inundados por mineradores ávidos por um bônus.
Você poderia elaborar uma breve cronologia da história da empresa?
- A primeira metade de 2017 — começamos a desenvolver a plataforma, o site e o painel de controle Boodet.online.
- Em 2018 — entramos em fase de testes alfa, oferecendo recursos gratuitamente aos clientes e recebendo feedbacks detalhados e resultados dos testes em troca.
- No meio de 2018, lançamos a versão beta com dinheiro. As primeiras centenas de clientes, testando o suporte técnico.
- 2019 — começamos a atrair pessoas jurídicas como clientes, trabalhando em soluções personalizadas.
- 2020 — todos entram em autoisolamento, a demanda por virtualização cresce. Sentimos isso na pele — houve um aumento de clientes, o que nos permite trabalhar em um número maior de serviços adicionais.
Fonte: habr.com
