Mijn naam is Leonid, ik ben websiteontwikkelaar. , daarom ben ik vanuit mijn activiteit geïnteresseerd in de verhalen achter de oprichting en ontwikkeling van verschillende bedrijven in de hostingsector. Vandaag wil ik een interview presenteren met Danil en Dmitri, de oprichters van de hosting. . Zij zullen vertellen over de infrastructuur, de organisatie van het werk en hun ervaring met de ontwikkeling van een provider van virtuele servers in Rusland.
Kunt u alstublieft een paar woorden over uzelf vertellen? Hoe bent u in de hostingsector terechtgekomen? Wat deed u hiervoor?
Tot 2016 werkten zowel ik als Dmitri in de enterprise-sector, onder andere bij bedrijven zoals Dell, HP, EMC. Door de cloudmarkt in Rusland te analyseren, realiseerden we ons dat deze snel groeide, en we besloten dat we de markt een interessant aanbod konden doen. Er kwam een team van mensen samen die al aan andere projecten samenwerkten, en samen begonnen we met het ontwikkelen van een eigen virtualisatieplatform gericht op grote bedrijven met hun specifieke eisen. Vanaf 2018 hebben we parallel een cloudhosting 'voor iedereen' gelanceerd en een team van vijf mensen voor het project samengesteld. De opslag- en voorbereidingsrack vóór de lancering.
Is dit project voor bedrijven nu al operationeel of nog in ontwikkeling?
Ja, het werkt parallel — daar is reeds een groter team en richten we ons meer op software-hardwareoplossingen voor de IT-infrastructuur, niet op hosting.
U heeft nu een vrij breed scala aan diensten. Toen u begon, was de lijst kleiner of hetzelfde? En al deze diensten zijn in feite gewone virtuele servers, maar er is enige differentiatie.
U heeft nu behoorlijk wat verschillende diensten. Was de lijst kleiner of hetzelfde toen u begon met werken? Bovendien vertegenwoordigen al deze diensten feitelijk een normale virtuele server, maar er is een bepaalde indeling.
We started with classic IaaS: providing "bare" virtual servers with closed ports and virtual networks for them, so that users could create a complete infrastructure for themselves. However, after the launch, it turned out that most users did not understand why they needed such capabilities, and we decided to introduce a new product for ourselves — standard VDS/VPS, which the market was already familiar with. For us, it was essentially a stripped-down version of the product, but users immediately grasped what it was, and we began to acquire our first clients. Apparently, our experience with large companies led us to develop a more complex and customized solution right away, while the mass market prefers simplicity. Based on VPS, we then began to develop new services according to what clients most frequently requested, and we are still doing so.
Waar plaatst u de apparatuur? Is het in uw bezit of huurt u het? Hoe heeft u uw datacentrum gekozen voor de plaatsing? Waren er verhuisgevallen?
Al onze apparatuur is van onszelf, we huren alleen ruimte in twee datacenters. We zijn begonnen met drie datacenters: we wilden drievoudige redundantie realiseren, maar de vraag daarnaar was toen te klein om daarin te investeren, dus hebben we de derde datacenter opgegeven. We hebben één keer verhuisd: we verhuizen namelijk van het derde datacenter naar een van de twee die we nog hebben. We hebben gekozen volgens dit principe: de datacenters moeten in de markt bekend, betrouwbaar (Tier III) zijn, en beide moeten zich in Moskou bevinden, in verschillende buurten.
In welke datacenters bent u nu gevestigd en van welk datacenter heeft u afstand gedaan?
We zijn nu gevestigd in DataSpace en 3Data. We hebben afstand gedaan van een van de datacenters van 3Data.
We verlaten het derde datacenter.
Huren of kopen jullie IP-adressen?
We huren.
Maar waarom hebben jullie voor deze benadering gekozen en niet voor aankoop?
In wezen om snel te groeien. Wij bieden klanten virtuele infrastructuur aan waarvoor geen kapitaalinvesteringen vooraf hoeven te worden gedaan, en de kosten kunnen maandelijks worden verspreid. Wij hanteren dezelfde filosofie als onze klanten — we streven naar uitbreiding en snelle schaalvergroting.
Wat denken jullie over IPv6?
Tot nu toe hebben we geen significante vraag opgemerkt, dus we hebben het nog niet toegevoegd, maar de architectuur voor de implementatie is voorbereid en we zijn klaar om het in korte tijd te lanceren zodra we begrijpen dat er vragen naar zijn.
U gebruikt KVM-virtualisatie. Waarom heeft u hiervoor gekozen? Hoe presteert het in de praktijk?
Dat klopt, maar we gebruiken geen "naakte" KVM, maar een volledig uitgewerkt virtualisatiesysteem op basis van KVM, ontwikkeld door onze "grote broer", inclusief een opslagoplossing (SDS) en een softwaregedefinieerd netwerk (SDN). We hebben gekozen om een zo failoverbestendig mogelijk product te bouwen zonder enkele punten van falen. Tot nu toe presteert het goed, en er zijn geen wereldwijde problemen geweest in productie. Tijdens de fase van alfa-testen op de markt, waarbij we diensten aan onze eerste klanten aanboden in ruil voor bonuspunten, hebben we de technologie getest en enkele vervelende momenten ondervonden, maar in de afgelopen twee jaar hebben we veel geleerd en opgelost.
Gebruikt u overselling? Hoe controleert u de belasting op de server?
We gebruiken overselling alleen voor CPU's, maar zeker niet voor RAM. Zelfs bij fysieke CPU's laten we een belasting van meer dan 75% niet toe. Voor schijfruimte werken we met "thin provisioning". We hebben een centrale monitoring van de hele omgeving, waardoor we de belasting kunnen controleren. Twee ingenieurs zijn verantwoordelijk voor het onderhoud van de hele infrastructuur, dus we proberen ons zo veel mogelijk te automatiseren en allerlei informatie over het systeem te verzamelen. Eventuele afwijkingen van de normale modus zijn direct zichtbaar, en we evalueren en herbalanceerden de belasting binnen de infrastructuur periodiek. Herbalanceren gebeurt altijd onopgemerkt voor de klanten in online modus.
Hoeveel fysieke servers heeft u momenteel? Hoe vaak voegt u nieuwe toe? Welke servers gebruikt u?
Momenteel hebben we 76 servers, nieuwe voegen we ongeveer elke vier tot vijf maanden toe. We gebruiken QCT, Intel, Supermicro.
Zijn er gevallen geweest waarin een klant kwam en alle overgebleven middelen in beslag nam, waardoor we snel servers moesten toevoegen?
Dat is niet gebeurd met de middelen. We groeien tot nu toe redelijk gelijkmatig. Maar er was een geval waarin een gebruiker 50 IP's wilde, elk in een apart blok. Uiteraard hebben we zoiets vooralsnog niet 🙂
Wat zijn de populairste betaalmethoden bij u? Wat wordt het minst gebruikt?
De populairste betaalmethoden zijn de bankkaart en QIWI. Het minst populair is de betalingen per bankoverschrijving onder offerte voor juridische entiteiten, maar dergelijke overschrijvingen zijn wel het grootst (bedrijven betalen doorgaans voor aanzienlijke middelen voor meerdere maanden). PayPal blijft ook achter: bij de start hadden we niet op buitenlandse gebruikers gerekend, maar zij zijn toch verschenen.
Bij Boodet.online gebruiken we een zelfgebouwd facturatiesysteem. Waarom hebben jullie voor deze oplossing gekozen? Wat zijn de voor- en nadelen? Was het moeilijk om te ontwikkelen?
Eigenlijk is ons hele systeem zelf ontwikkeld. De bestaande platforms leken ons niet erg gebruiksvriendelijk, daarom besloten we om ons eigen systeem te maken en te ontwikkelen. Facturatie is slechts één van de microservices die deel uitmaken van het systeem. Het ontwikkelen bleek ingewikkelder te zijn dan we in het begin dachten. Op een gegeven moment moesten we zelfs de lancering van het project uitstellen om een werkbaar product voor te bereiden dat geen schande zou zijn tijdens de alpha-test. Later hebben we onze competenties op het gebied van langdurige ontwikkelingsmethodologie en productmanagement uitgebreid. Nu is het al gemakkelijker om nieuwe functionaliteiten en producten aan het systeem toe te voegen.
En met hoeveel mensen is dit allemaal ontwikkeld? Waar is het in geschreven?
Voor het hele project hebben we vijf mensen, waaronder twee ontwikkelaars (frontend en backend). De backend is geschreven in RoR/Python. De frontend is in JS.
Hoe is de ondersteuning voor gebruikers georganiseerd? Is het 24/7 beschikbaar of alleen tijdens kantooruren? Hoeveel ondersteuningslijnen zijn er? Waar vragen mensen meestal naar?
We hebben drie ingangen: chat, telefoon en een aanvraag systeem vanuit het persoonlijke account. Twee ondersteuningslijnen: als de wachtende engineer het probleem niet kan oplossen, wordt de technische directeur of het ontwikkelteam ingeschakeld. Als het probleem zich in het hoofdsysteem bevindt, wat veel zeldzamer gebeurt, neemt de technische directeur contact op met de ondersteuning van de 'oudere broer'. 's Nachts reageren we alleen op oproepen van klanten die afzonderlijk technisch onderhoud hebben gekocht, of op storingen in het platform die via een speciaal geschreven bot in Telegram zijn gemeld.
De meest populaire vragen:
- Zijn onze IP's beschikbaar in Turkmenistan (dit is de meest populaire vraag - blijkbaar is er in het land een strikte blokkadepolitiek).
- Hoe installeer je bepaalde software.
- Hoe krijg je root-toegang (er is zelfs een speciale herinnering in de interface gemaakt bij het aanmaken van machines, maar deze helpt niet altijd).
Voert u klantverificatie uit? Komen er vaak spam en andere ongewenste personen voor?
Verificatie via e-mail en telefoon (wanneer de gebruiker 2FA inschakelt). Spammers en andere misbruikers komen periodiek voor. We zijn genoodzaakt om tijdelijk gecompromitteerde servers te blokkeren, omdat we niet willen dat IP-adressen op zwarte lijsten komen. Maar we informeren altijd eerst de gebruiker dat er een klacht over hem is binnengekomen, en vragen hem om contact op te nemen en het probleem te bespreken. Als de gebruiker niet reageert of er komen herhaalde klachten, blokkeren we het account volledig en verwijderen we de servers.
Komt het vaak voor dat klanten DDoS-aanvallen ondergaan? Wat doet u in zulke gevallen? Zijn er aanvallen specifiek op u, uw website of infrastructuur geweest?
Klanten worden behoorlijk zelden aangevallen. Maar wijzelf vaak – de website, het persoonlijke dashboard. Soms wordt het netwerk aangevallen via verschillende IP-adressen. We willen niet oordelen wie dit is en waarom, hier kunnen meerdere opties zijn. Soms zijn er zelfs pogingen om ons van binnenuit aan te vallen. Vroeger gaven we bij telefonische verificatie een bonus van honderd roebel, zodat normale gebruikers eventuele configuraties konden uitproberen. Maar ooit kwam er een gebruiker met een 'stapel sim-kaarten' en begon vanuit één IP tientallen accounts aan te maken om bonussen te verkrijgen. Daarom hebben we de automatische toekenning van testpunten moeten stopzetten. Nu moet een verzoek tot testen bij de klantenservice worden ingediend, en elk geval wordt afzonderlijk beoordeeld.
Hoe is het werk georganiseerd? Is er een kantoor of werkt iedereen op afstand?
Er is een kantoor, maar met de start van de beperkingen vanwege het coronavirus is iedereen naar thuis / het zomerhuis / de geboortestad gegaan om te werken.
Ons kantoor
Wat is de huidige ontwikkelingskoers van uw bedrijf?
We zijn bezig met het toevoegen van nieuwe diensten. We hebben een uitgebreide roadmap, we onderbreken de ontwikkeling niet en elke twee weken komt er een nieuwe release van het persoonlijke dashboard uit. We voegen functionaliteiten en diensten toe die door collega's in de vraag zijn, we voegen toe wat klanten verzoeken.
Hoe vindt u klanten? Is de instroom en uitstroom van klanten groot per jaar? Wat is de gemiddelde 'levensduur' van een klant?
De kanalen voor klantenwerving in onze sector zijn hetgeen waarop het hele bedrijf steunt, als er een goed werkend product is. Daarom zijn we niet bereid om dit te delen.
Churn rate, LTV en levenscyclus zijn ook vrij belangrijke indicatoren die we alleen voor interne analyse gebruiken, maar niet voor openbaarmaking.
Zou u de lezers advies kunnen geven over het kiezen van hosting? Waar moet je op letten voordat je een aankoop doet?
Het belangrijkste is om hosting te kiezen met de letter “B” aan het begin van de naam.
Als we serieus zijn, zijn er verschillende factoren om op te letten:
- Om de kwaliteit te begrijpen, kun je een gemiddelde configuratie nemen en proberen daarmee je applicatietaken op te lossen. Kies voor hostingbedrijven die een uurtarief hebben — je kunt de servers testen zonder veel geld te verliezen als de kwaliteit niet bevredigend is.
- Kijk naar de datacenters waar de fysieke servers van de hoster zich bevinden. Daar kun je ongeveer de kwaliteit van de diensten aan afleiden.
- We raden aan om niet te veel op prijzen te letten: er zijn supergoedkope oplossingen die best goed presteren, maar ook super dure, die nergens bijzonder van onderscheiden.
Vertel over de meest memorabele werkmomenten.
Projectstart. De eerste anderhalve maand werkten we in 24/7 modus: we keken naar hoe de registraties verliepen, of er iets misging in de interface van het persoonlijke dashboard, hoe gebruikers zich gedroegen en of het gemakkelijk voor hen was om diensten te bestellen. We moesten veel direct ter plaatse oplossen, zelfs tot het punt dat we de ene producten door andere vervingen. Veranderingen werden direct in productie doorgevoerd, voorbij testomgevingen. Het was een stressvolle periode, maar we slaagden erin om het vol te houden en deze onderneming niet op te geven.
Gebruikers die kwamen voor kwetsbaarheden in de logica. Het was interessant om hen te vangen en kwetsbaarheden te verhelpen. Bijvoorbeeld, toen we nog niet voor geld werkten, maar beloningen uitdeelden zodat gebruikers servers konden aanvragen, werd de link naar ons op een van de hackforums geplaatst met de opmerking: “geven gratis servers ter waarde van 500 roebel”. Natuurlijk werden we onmiddellijk overspoeld door mannen die mining deden en op zoek waren naar gratis spullen.
Zou je een korte chronologie van het bedrijf kunnen opstellen?
- Eerste helft van 2017 — we begonnen met de ontwikkeling van het platform, de website en het persoonlijke dashboard Boodet.online.
- 2018 — we gingen in alpha-testen, boden gratis capaciteit aan klanten en ontvingen uitgebreide feedback en testresultaten in ruil daarvoor.
- Midden 2018 - we hebben de bètaversie met geld gelanceerd. De eerste honderden klanten, test van de klantenservice.
- 2019 - we begonnen juridische entiteiten als klanten aan te trekken en werkten aan maatwerkoplossingen.
- 2020 - iedereen gaat in zelfisolatie, de vraag naar virtualisatie groeit. We voelen dit aan den lijve - er is een toename van klanten, wat ons de mogelijkheid biedt om aan veel aanvullende diensten te werken.
Bron: habr.com
