Je m'appelle Leonid, je suis développeur de sites Web , c'est pourquoi, en raison de mes activités, je m'intéresse aux histoires de création et de développement de diverses entreprises dans le domaine des services d'hébergement. Aujourd'hui, je voudrais présenter une interview avec Danil et Dmitry, les créateurs de l'hébergement . Ils parleront de la structure de l'infrastructure, de l'organisation du travail et de leur expérience dans le développement d'un fournisseur de serveurs virtuels en Russie.
S'il vous plaît, dites-nous quelques mots sur vous. Comment en êtes-vous arrivé à l’hébergement ? Que faisais-tu avant ça ?
Jusqu'en 2016, Dmitry et moi avons travaillé dans le secteur des entreprises, notamment dans des entreprises telles que Dell, HP, EMC. En analysant le marché du cloud en Russie, nous avons réalisé qu'il était en croissance active et avons décidé que nous pouvions proposer une offre intéressante au marché. Une équipe de personnes qui avaient déjà travaillé ensemble sur d'autres projets s'est réunie et a commencé à développer ensemble sa propre plateforme de virtualisation destinée aux grandes entreprises avec leurs besoins spécifiques. Depuis 2018, nous avons simultanément lancé l'hébergement cloud « pour tous » et l'avons alloué au projet une équipe de cinq personnes.
Station de stockage et de préparation avant lancement
Ce projet pour entreprise fonctionne-t-il déjà ou est-il encore en développement ?
Oui, cela fonctionne en parallèle - il y a déjà une équipe plus grande, et nous parlons davantage de solutions logicielles et matérielles pour l'infrastructure informatique, pas d'hébergement.
Vous disposez désormais de nombreux services différents. Lorsque vous avez commencé, la liste était-elle plus petite ou la même ? De plus, tous ces services sont en fait un serveur virtuel classique, mais il existe une certaine séparation.
Nous avons commencé avec l'IaaS classique : nous avons fourni des serveurs virtuels « nus » avec des ports fermés et des réseaux virtuels, afin que l'utilisateur puisse se créer une infrastructure à part entière. Mais après le lancement, il s'est avéré que la plupart des utilisateurs ne comprenaient pas pourquoi ils avaient besoin de telles opportunités, et nous avons décidé de lancer nous-mêmes un nouveau produit - un VDS/VPS standard, que le marché connaît déjà. Pour nous, il s'agissait essentiellement d'une version allégée du produit, mais les utilisateurs ont immédiatement compris de quoi il s'agissait et nous avons commencé à recevoir nos premiers clients. Apparemment, notre expérience auprès des grandes entreprises nous a obligés à développer immédiatement une solution plus complexe et personnalisée, alors que le marché de masse veut de la simplicité. Et puis, à partir du VPS, nous avons commencé à développer de nouveaux services basés sur ce que les clients demandent le plus souvent. Et nous sommes toujours en train de le développer.
Où placez-vous le matériel ? Vous en êtes propriétaire ou vous le louez ? Comment avez-vous choisi un DC pour le placement ? Y a-t-il eu des cas de déménagement ?
Tout l'équipement est à nous, nous louons uniquement des espaces dans deux centres de données. Nous avons commencé avec trois centres de données : nous voulions mettre en œuvre une tolérance aux pannes à trois voies, mais la demande à ce moment-là était trop faible pour y investir, nous avons donc abandonné le troisième centre de données. Nous n'avions qu'une seule solution : nous allions simplement passer du troisième centre de données à l'un des deux centres restants. Ils ont été choisis selon le principe suivant : les DC doivent être connus sur le marché, fiables (Tier III), afin que tous deux soient géographiquement situés à Moscou, dans des zones éloignées l'une de l'autre.
Dans quels DC vous trouvez-vous actuellement et lequel avez-vous abandonné ?
Nous sommes maintenant situés dans DataSpace et 3Data. Nous avons abandonné l'un des centres de données 3Data.
Quitter le troisième centre de données
Louez-vous ou achetez-vous des adresses IP ?
Nous louons.
Et pour quelle raison avez-vous choisi cette démarche plutôt que d’acheter ?
En gros, pour grandir rapidement. Nous fournissons à nos clients une infrastructure virtuelle pour laquelle ils n'ont pas à payer d'investissements en capital immédiatement et les coûts peuvent être ventilés mensuellement. Nous adhérons nous-mêmes à la même philosophie que nos clients : nous visons une expansion et une évolution rapide.
Que pensez-vous d'IPv6 ?
Jusqu'à présent, nous n'avons pas remarqué de demande significative, nous n'en avons donc pas ajouté davantage, mais l'architecture de sortie a été élaborée, nous sommes prêts à « déployer » dans peu de temps, dès que nous comprenons qu'il y a des demandes .
Vous utilisez la virtualisation KVM. Pourquoi l'as-tu choisie ? Comment se montre-t-elle au travail ?
C'est vrai, mais nous n'utilisons pas de KVM « nu », mais un système de virtualisation à part entière et modifié basé sur KVM, développé par notre « grand frère », comprenant un système de stockage de données (SDS) et un réseau défini par logiciel (SDN). . Nous l'avons choisi sur la base de la construction du produit le plus tolérant aux pannes, sans point de défaillance unique. Cela se montre bien, jusqu'à présent aucun problème global n'est survenu dans la production. Au stade des tests alpha sur le marché, lorsque nous avons fourni des services aux premiers clients contre des points bonus, nous avons testé la technologie et rencontré un certain nombre de moments désagréables, mais au cours des deux dernières années, nous avons réussi à comprendre et à résoudre beaucoup de choses.
Utilisez-vous la survente ? Comment contrôler la charge sur le serveur ?
Nous utilisons la survente uniquement pour les processeurs, mais en aucun cas pour la RAM. Même dans le cas des processeurs physiques, nous ne permettons pas que leur charge dépasse 75 %. Par disque : nous travaillons avec une allocation de capacité « fine ». Nous disposons d'une surveillance centralisée de l'ensemble de l'environnement, ce qui nous permet de contrôler la charge. Deux ingénieurs sont chargés de prendre en charge l'ensemble de l'infrastructure. Nous essayons donc d'automatiser autant que possible et de collecter toutes les informations possibles sur le système. Tout écart par rapport au fonctionnement normal est immédiatement visible et nous évaluons et rééquilibrons périodiquement la charge au sein de l’infrastructure. Le rééquilibrage s'effectue toujours en ligne, inaperçu des clients.
De combien de serveurs physiques disposez-vous actuellement ? À quelle fréquence en ajoutez-vous de nouveaux ? Quels serveurs utilisez-vous ?
Il y a actuellement 76 serveurs, nous en ajoutons de nouveaux environ tous les quatre à cinq mois. Nous utilisons QCT, Intel, Supermicro.
Y a-t-il eu des cas où un client est venu et a utilisé toutes les ressources gratuites restantes, et vous avez dû ajouter des serveurs de toute urgence ?
Il n’y avait rien de tel avec les ressources. Jusqu’à présent, notre croissance est plus ou moins homogène. Mais il y a eu un cas où un utilisateur est venu et voulait 50 adresses IP, chacune dans un bloc séparé. Bien sûr, nous n'avons encore rien de tel :)
Quelles sont vos méthodes de paiement les plus populaires ? Quel est le moins utilisé ?
Les plus populaires sont la carte bancaire et le QIWI. Le moins courant est le paiement par virement bancaire dans le cadre de l'offre destinée aux personnes morales, mais ces transferts sont les plus volumineux (les entreprises paient en règle générale des ressources solides pendant plusieurs mois). PayPal est également à la traîne : au début on ne comptait pas sur les utilisateurs étrangers, mais ils ont commencé à apparaître.
Boodet.online dispose d'une facturation auto-écrite. Pourquoi avez-vous décidé d’utiliser cette solution ? Quels sont les avantages et inconvénients? A-t-il été difficile de développer ?
L'ensemble de notre système est de notre propre conception. Les plateformes existantes ne nous semblaient pas très pratiques en termes d'UX, nous avons donc décidé de créer et de développer les nôtres. La facturation n'est que l'un des microservices qui font partie du système. Le développement s’est avéré plus difficile qu’on ne le pensait au départ. Même à un moment donné, nous avons dû reporter le lancement du projet afin d'avoir le temps de préparer un produit fonctionnel qui ne serait pas gênant pour les tests alpha. Par la suite, ils ont acquis des compétences en méthodes de développement à long terme et en gestion de produits. Il est désormais plus facile d’ajouter de nouvelles fonctionnalités et de nouveaux produits au système.
Combien de personnes ont développé tout cela ? Sur quoi as-tu écrit ?
Nous sommes cinq personnes pour l'ensemble du projet, dont deux développeurs (frontend et backend). Le retour est écrit en RoR/Python. Le devant est JS.
Comment s’organise le support utilisateurs ? Est-il ouvert XNUMXh/XNUMX et XNUMXj/XNUMX ou uniquement pendant les heures de bureau ? Combien y a-t-il de lignes d’assistance ? Qu’est-ce qu’on vous demande le plus souvent ?
Nous disposons de trois points d'entrée : le chat, le téléphone et un système de candidature depuis votre compte personnel. Deux lignes d'assistance : si l'ingénieur de garde n'a pas réussi à résoudre le problème, le directeur technique ou l'équipe de développement s'en mêle. Si le problème se situe au niveau de la plateforme principale, ce qui arrive beaucoup moins souvent, alors le directeur technique se tourne vers le support du « grand frère ». La nuit, nous répondons uniquement aux appels des clients qui achètent des services techniques distincts ou aux pannes de plateforme signalées via un robot spécialement écrit dans Telegram.
Questions les plus populaires :
- Nos adresses IP sont-elles disponibles au Turkménistan (c'est la toute première en popularité - apparemment, le pays a une politique de blocage stricte).
- Comment installer tel ou tel logiciel.
- Comment obtenir un accès root (il y a même un rappel spécial dans l'interface lors de la création de machines, mais cela n'aide pas toujours).
Vérifiez-vous les clients ? Des spammeurs et autres mauvais personnages apparaissent-ils souvent ?
Vérification par mail et téléphone (si l'utilisateur active 2FA). Des spammeurs et autres agresseurs apparaissent périodiquement. Nous sommes obligés de réagir en bloquant temporairement les serveurs compromis, car nous ne voulons pas que les adresses IP soient mises sur liste noire. Mais nous écrivons toujours à l'avance à l'utilisateur qu'une plainte a été reçue contre lui et lui demandons de le contacter et de discuter du problème. Si l'utilisateur ne répond pas ou si des plaintes répétées apparaissent, nous bloquons l'intégralité du compte et supprimons les serveurs.
Les attaques DDoS contre les clients sont-elles fréquentes ? Que faire dans de tels cas ? Y a-t-il eu des attaques spécifiquement contre vous, votre site ou votre infrastructure ?
Les clients sont assez rarement attaqués. Mais nous avons nous-mêmes souvent un site Internet, un compte personnel. Parfois, ils connectent le réseau à différentes adresses IP. Nous ne nous engageons pas à juger de qui il s’agit et pourquoi, il peut y avoir plusieurs options. Il y a même des tentatives pour nous attaquer de l’intérieur. Auparavant, lors de la vérification par téléphone, nous accordions un bonus de cent roubles afin que les utilisateurs normaux puissent tester n'importe quelle configuration. Mais un jour, un utilisateur est arrivé avec un « pack de cartes SIM » et, à partir d'une seule adresse IP, a commencé à créer des dizaines de comptes, recevant des bonus sur ceux-ci. Par conséquent, nous avons dû supprimer l’accumulation automatique des résultats des tests. Vous devez maintenant soumettre une demande au support technique pour des tests, et nous considérons chaque cas séparément.
Comment est organisé le travail, y a-t-il un bureau ou est-ce que tout le monde travaille à distance ?
Il y a un bureau, mais avec le début des restrictions dues au coronavirus, tout le monde est allé travailler depuis son domicile/datcha/ville natale.
Notre bureau
Quelle est votre démarche actuelle d’évolution pour l’entreprise ?
Nous nous dirigeons vers l’ajout de nouveaux services. Nous avons une feuille de route complète, nous n'interrompons pas le développement et toutes les deux semaines, une nouvelle version du compte personnel est publiée. Nous ajoutons des fonctionnalités et des services demandés par les collègues, ainsi que ce que les clients demandent.
Comment trouver des clients ? Y a-t-il un afflux et une sortie importants de clients chaque année ? Quelle est la « durée de vie » moyenne d’un client ?
Les canaux permettant d'attirer des clients dans notre domaine sont sur lesquels repose toute l'entreprise, s'il existe un bon produit qui fonctionne. Nous ne sommes donc pas prêts à partager.
Le taux de désabonnement, le LTV et le cycle de vie sont également des indicateurs très importants que nous utilisons uniquement à des fins d'analyse interne, mais pas à des fins de divulgation.
Pouvez-vous donner aux lecteurs des conseils sur le choix d’un service d’hébergement ? À quoi faut-il faire attention avant d'acheter ?
Le plus important est de choisir un hébergement avec la lettre « B » au début du nom.
Mais sérieusement, il y a plusieurs facteurs auxquels vous devez prêter attention :
- Pour comprendre la qualité, vous pouvez prendre une configuration moyenne et essayer de résoudre vos problèmes d'application dessus. Choisissez un hébergement avec un tarif horaire - vous pouvez tester des serveurs sans perdre beaucoup d'argent si la qualité n'est pas satisfaisante.
- Regardez les centres de données où l'hébergeur dispose de serveurs physiques. Ils peuvent être utilisés pour juger grossièrement de la qualité des services.
- Nous ne recommandons pas de prêter attention aux prix : il existe à la fois des solutions très bon marché et performantes, et d’autres très chères qui n’ont rien de spécial.
Parlez-nous de vos moments de travail les plus mémorables.
Début du projet. Pendant le premier mois et demi, nous avons travaillé 24 heures sur 7, XNUMX jours sur XNUMX : nous avons examiné comment se déroulaient les inscriptions, si quelque chose n'allait pas dans l'interface du compte personnel, comment les utilisateurs se comportaient, s'il leur était pratique de commander des services. Beaucoup de choses ont dû être décidées à la volée, au point même de remplacer certains produits par d’autres. Les modifications ont été apportées immédiatement en production, contournant les environnements de test. C'était une période tendue, mais nous avons réussi à survivre et à ne pas abandonner ce métier.
Utilisateurs venus rechercher des vulnérabilités logiques. C'était intéressant de les attraper et de combler les vulnérabilités. Par exemple, lorsque nous ne travaillions pas pour de l'argent, mais accordions des bonus pour que les utilisateurs puissent commander des serveurs, un lien vers nous a été publié sur l'un des forums de hackers avec le commentaire : « ils donnent des serveurs gratuits d'une valeur de 500 roubles ». Bien sûr, nous avons été immédiatement inondés de mineurs avides de cadeaux.
Pourriez-vous nous fournir une brève chronologie de l’histoire de l’entreprise ?
- Premier semestre 2017, nous avons commencé à développer la plateforme Boodet.online, le site internet et le compte personnel.
- 2018 - a commencé les tests alpha, a fourni de la capacité aux clients gratuitement et a reçu de nombreux commentaires et résultats de tests en retour.
- Mi-2018 - lancement de la version bêta avec de l'argent. Premières centaines de clients, tests du support technique.
- 2019 - nous avons commencé à attirer des personnes morales comme clients et à travailler sur des solutions personnalisées.
- 2020 - tout le monde s'isole, la demande de virtualisation augmente. Nous le ressentons nous-mêmes : il y a une augmentation du nombre de clients, ce qui permet de travailler sur un grand nombre de services supplémentaires.
Source: habr.com