Mijn naam is Leonid, ik ben een website-ontwikkelaar Daarom ben ik vanwege mijn activiteiten geïnteresseerd in de verhalen over de oprichting en ontwikkeling van verschillende bedrijven op het gebied van hostingdiensten. Vandaag wil ik een interview presenteren met Danil en Dmitry, de makers van hosting . Ze zullen praten over de structuur van de infrastructuur, de organisatie van het werk en hun ervaring met het ontwikkelen van een virtuele serverprovider in Rusland.
Vertel ons alstublieft een paar woorden over uzelf. Hoe ben je bij het hosten terechtgekomen? Wat deed je hiervoor?
Tot 2016 werkten zowel Dmitry als ik in de Enterprise-sector, onder meer bij bedrijven als Dell, HP, EMC. Toen we de cloudmarkt in Rusland analyseerden, realiseerden we ons dat deze actief groeide en besloten we dat we een interessant aanbod aan de markt konden doen. Een team van mensen die al met elkaar aan andere projecten hadden samengewerkt, kwam bij elkaar en begon samen hun eigen virtualisatieplatform te ontwikkelen, gericht op grote bedrijven met hun specifieke behoeften. Sinds 2018 hebben we tegelijkertijd cloudhosting ‘voor iedereen’ gelanceerd en toegewezen aan het project een team van vijf personen.
Pre-lanceringsopslag- en voorbereidingsstation
Werkt dit project voor bedrijven al of is het nog in ontwikkeling?
Ja, het werkt parallel: er is al een groter team en we hebben het meer over software- en hardwareoplossingen voor de IT-infrastructuur, niet over hosting.
Je hebt nu heel veel verschillende diensten. Was de lijst toen u begon kleiner of hetzelfde? Bovendien zijn al deze diensten eigenlijk een gewone virtuele server, maar er is wel een zekere scheiding.
We zijn begonnen met klassiek IaaS: we hebben daarvoor “kale” virtuele servers met gesloten poorten en virtuele netwerken ter beschikking gesteld, zodat de gebruiker voor zichzelf een volwaardige infrastructuur kon creëren. Maar na de lancering bleek dat de meeste gebruikers niet begrepen waarom ze dergelijke mogelijkheden nodig hadden, en we besloten een nieuw product voor onszelf te introduceren: een standaard VDS/VPS, waarmee de markt al bekend is. Voor ons was het in wezen een uitgeklede versie van het product, maar de gebruikers begrepen meteen wat het was en we begonnen onze eerste klanten te ontvangen. Blijkbaar dwong onze ervaring met grote bedrijven ons om onmiddellijk een complexere en meer op maat gemaakte oplossing te ontwikkelen, terwijl de massamarkt eenvoud verlangt. En toen begonnen we, op basis van VPS, nieuwe diensten te ontwikkelen op basis van waar klanten het vaakst om vragen. En we zijn het nog steeds aan het ontwikkelen.
Waar plaats je de apparatuur? Bent u eigenaar of huurt u het? Hoe heb je een DC gekozen voor plaatsing? Zijn er gevallen van verhuizing geweest?
Alle apparatuur is van ons, we huren alleen ruimte in twee datacenters. We zijn begonnen met drie datacenters: we wilden driewegfouttolerantie implementeren, maar de vraag ernaar was op dat moment te klein om hierin te investeren, dus hebben we het derde datacenter verlaten. We hadden één verhuizing: we verhuisden net van het derde datacenter naar een van de overige twee. Ze werden gekozen op basis van het volgende principe: DC's moesten bekend zijn in de markt en betrouwbaar (Tier III), zodat beide geografisch gelegen zouden zijn in Moskou, in gebieden die ver van elkaar verwijderd waren.
In welke DC's bevindt u zich momenteel en welke heeft u verlaten?
Nu bevinden we ons in DataSpace en 3Data. We hebben een van de datacenters van 3Data verlaten.
We verlaten het derde datacenter
Huurt of koopt u IP-adressen?
Wij verhuren.
En om welke reden heeft u voor deze aanpak gekozen in plaats van voor de aankoop?
Over het algemeen snel groeien. Wij voorzien klanten van een virtuele infrastructuur, waarvoor zij niet direct kapitaalinvesteringen hoeven te doen en de kosten maandelijks kunnen worden uitgesplitst. Zelf hanteren wij dezelfde filosofie als onze opdrachtgevers: wij streven naar expansie en snelle schaalvergroting.
Wat vindt u van IPv6?
Tot nu toe hebben we geen noemenswaardige vraag opgemerkt, dus we hebben er niet meer aan toegevoegd, maar de uitvoerarchitectuur is uitgewerkt, we zijn klaar om in korte tijd uit te rollen, zodra we begrijpen dat er verzoeken zijn .
U maakt gebruik van KVM-virtualisatie. Waarom heb je haar gekozen? Hoe laat zij zich zien op het werk?
Dat klopt, maar we gebruiken geen “naakte” KVM, maar een volwaardig, aangepast KVM-gebaseerd virtualisatiesysteem dat onze “grote broer” heeft ontwikkeld, inclusief een dataopslagsysteem (SDS) en een softwaregedefinieerd netwerk (SDN) . We hebben ervoor gekozen op basis van het bouwen van het meest fouttolerante product zonder enkele storingspunten. Het laat zich goed zien, tot nu toe zijn er geen mondiale problemen ontstaan in de productie. In de fase van alfatesten op de markt, toen we diensten verleenden aan de eerste klanten voor bonuspunten, hebben we de technologie getest en een aantal onaangename momenten tegengekomen, maar de afgelopen twee jaar zijn we erin geslaagd veel te begrijpen en op te lossen.
Maakt u gebruik van oververkoop? Hoe beheers je de belasting op de server?
Overselling gebruiken we alleen voor processors, maar in geen geval voor RAM. Zelfs in het geval van fysieke processors staan we niet toe dat hun belasting hoger wordt dan 75%. Per schijf: wij werken met ‘dunne’ capaciteitsallocatie. We hebben gecentraliseerde monitoring van de gehele omgeving, waardoor we de belasting kunnen beheersen. Twee engineers zijn verantwoordelijk voor het ondersteunen van de gehele infrastructuur, dus we proberen zoveel mogelijk te automatiseren en alle mogelijke informatie over het systeem te verzamelen. Eventuele afwijkingen van de normale bedrijfsvoering zijn direct zichtbaar en periodiek beoordelen en herbalanceren wij de belasting binnen de infrastructuur. Het herbalanceren gebeurt altijd online, onopgemerkt door klanten.
Hoeveel fysieke servers heeft u momenteel? Hoe vaak voeg je nieuwe toe? Welke servers gebruik je?
Op dit moment zijn er 76 servers, ongeveer elke vier tot vijf maanden komen er nieuwe bij. Wij gebruiken QCT, Intel, Supermicro.
Zijn er gevallen geweest waarin een klant kwam en alle resterende vrije bronnen in beslag nam, en je dringend servers moest toevoegen?
Met de middelen bestond zoiets niet. Tot nu toe groeien we min of meer gelijkmatig. Maar er was een geval waarin een gebruiker kwam en 50 IP's wilde, elk in een afzonderlijk blok. Zoiets hebben we natuurlijk nog niet :)
Wat zijn uw populairste betaalmethoden? Wat wordt het minst gebruikt?
De meest populaire zijn een bankkaart en QIWI. De minst gebruikelijke is betaling via bankoverschrijving in het kader van het aanbod voor rechtspersonen, maar dergelijke overboekingen zijn het meest omvangrijk (bedrijven betalen in de regel voor meerdere maanden voor solide middelen). Ook PayPal blijft achter: in het begin rekenden we niet op buitenlandse gebruikers, maar die begonnen te verschijnen.
Boodet.online beschikt over zelfgeschreven facturatie. Waarom heeft u besloten deze oplossing te gebruiken? Wat zijn de voor- en nadelen? Was het moeilijk om te ontwikkelen?
Ons gehele systeem is door ons eigen ontwerp. De bestaande platforms leken ons niet erg handig in termen van UX, dus besloten we onze eigen platforms te creëren en te ontwikkelen. Facturering is slechts een van de microservices die deel uitmaken van het systeem. De ontwikkeling bleek lastiger dan we aanvankelijk dachten. Zelfs op een gegeven moment moesten we de lancering van het project uitstellen om tijd te hebben om een werkend product voor te bereiden dat niet beschamend zou zijn voor alfatesten. Vervolgens verwierven zij competenties op het gebied van langetermijnontwikkelingsmethoden en productmanagement. Het is nu eenvoudiger om nieuwe functionaliteit en nieuwe producten aan het systeem toe te voegen.
Hoeveel mensen hebben dit allemaal ontwikkeld? Waar heb je op geschreven?
Voor het gehele project hebben we vijf mensen, waarvan twee ontwikkelaars (frontend en backend). Achterkant is geschreven in RoR/Python. Voorkant is JS.
Hoe is de gebruikersondersteuning georganiseerd? Is het XNUMX/XNUMX geopend of alleen tijdens kantooruren? Hoeveel steunlijnen zijn er? Wat wordt jou het vaakst gevraagd?
We hebben drie toegangspunten: chat, telefoon en een aanmeldingssysteem vanuit uw persoonlijke account. Twee ondersteuningslijnen: als de dienstdoende engineer het probleem niet kan oplossen, wordt de technisch directeur of het ontwikkelteam ingeschakeld. Zit het probleem in het hoofdplatform, wat veel minder vaak voorkomt, dan wendt de technisch directeur zich tot de steun van de ‘grote broer’. 's Nachts reageren we alleen op telefoontjes van klanten die afzonderlijke technische diensten afnemen, of op platformstoringen die via een speciaal geschreven bot in Telegram worden gemeld.
Meest populaire vragen:
- Zijn onze IP's beschikbaar in Turkmenistan (dit is de allereerste in populariteit - blijkbaar heeft het land een strikt blokkeringsbeleid).
- Hoe deze of gene software te installeren.
- Hoe root-toegang te krijgen (er is zelfs een speciale herinnering in de interface bij het maken van machines, maar dit helpt niet altijd).
Verifieert u klanten? Komen spammers en andere slechte karakters vaak voor?
Verificatie per mail en telefoon (als de gebruiker 2FA activeert). Spammers en andere misbruikers verschijnen periodiek. We zijn genoodzaakt te reageren door gecompromitteerde servers tijdelijk te blokkeren, omdat we niet willen dat IP's op de zwarte lijst komen te staan. Maar we schrijven altijd vooraf aan de gebruiker dat er een klacht tegen hem is ontvangen en vragen hem contact met hem op te nemen en het probleem te bespreken. Als de gebruiker niet reageert of er herhaaldelijk klachten verschijnen, blokkeren we het volledige account en verwijderen we de servers.
Komen DDoS-aanvallen op klanten vaak voor? Wat doe je in zulke gevallen? Zijn er aanvallen specifiek op u, uw site of uw infrastructuur geweest?
Klanten worden vrij zelden aangevallen. Maar zelf hebben wij vaak een website, een persoonlijk account. Soms verbinden ze het netwerk met verschillende IP-adressen. We ondernemen niet de taak om te beoordelen wie het is en waarom, er kunnen verschillende opties zijn. Er zijn zelfs pogingen om ons van binnenuit aan te vallen. Voorheen gaven we bij telefonische verificatie een bonus van honderd roebel uit, zodat normale gebruikers elke configuratie konden testen. Maar op een dag kwam een gebruiker met een “pakje simkaarten” en begon vanuit één IP tientallen accounts aan te maken, waarop hij bonussen ontving. Daarom moesten we de automatische verzameling van testscores verwijderen. Nu moet u een verzoek indienen bij de technische ondersteuning voor testen, en we beschouwen elk geval afzonderlijk.
Hoe is het werk georganiseerd, is er een kantoor of werkt iedereen op afstand?
Er is een kantoor, maar met het begin van de beperkingen als gevolg van het coronavirus ging iedereen vanuit huis/dacha/woonplaats werken.
Ons kantoor
Wat is uw huidige ontwikkelingstraject voor het bedrijf?
We zijn bezig met het toevoegen van nieuwe diensten. We hebben een uitgebreid stappenplan, we onderbreken de ontwikkeling niet en elke twee weken komt er een nieuwe release van het persoonlijke account uit. We voegen functionaliteit en diensten toe waar collega’s veel vraag naar hebben, en we voegen toe waar klanten om vragen.
Hoe vind je klanten? Is er sprake van een grote in- en uitstroom van klanten per jaar? Wat is de gemiddelde ‘levensduur’ van een klant?
Kanalen voor het aantrekken van klanten in ons vakgebied zijn waar het hele bedrijf op steunt, als er een goed werkend product is. Daarom zijn we niet bereid om te delen.
Churn rate, LTV en levenscyclus zijn ook behoorlijk belangrijke indicatoren die we alleen gebruiken voor interne analyses, maar niet voor openbaarmaking.
Kunt u lezers advies geven over het kiezen van een hostingservice? Waar moet je op letten voordat je aanschaft?
Het belangrijkste is om een hosting te kiezen met de letter “B” aan het begin van de naam.
Maar serieus, er zijn verschillende factoren waar u op moet letten:
- Om de kwaliteit te begrijpen, kunt u een gemiddelde configuratie nemen en proberen uw applicatieproblemen daarop op te lossen. Kies voor hosting met een uurtarief - u kunt servers testen zonder veel geld te verliezen als de kwaliteit niet bevredigend is.
- Kijk naar de datacenters waar de host fysieke servers heeft. Ze kunnen worden gebruikt om de kwaliteit van de dienstverlening grofweg te beoordelen.
- We raden af om op de prijzen te letten: er zijn zowel supergoedkope oplossingen die goed presteren, als superdure oplossingen die niets bijzonders zijn.
Vertel ons over uw meest memorabele werkmomenten.
Begin van het project. De eerste anderhalve maand werkten we 24/7: we keken hoe de registraties verliepen, of er iets kapot was in de persoonlijke accountinterface, hoe gebruikers zich gedroegen, of het voor hen handig was om diensten te bestellen. Er moest veel worden besloten, zelfs tot het punt waarop sommige producten door andere moesten worden vervangen. Wijzigingen werden onmiddellijk in de productie doorgevoerd, waarbij de testomgevingen werden omzeild. Het was een spannende periode, maar we zijn erin geslaagd om te overleven en deze onderneming niet op te geven.
Gebruikers die op zoek waren naar kwetsbaarheden in de logica. Het was interessant om ze op te sporen en kwetsbaarheden te dichten. Toen we bijvoorbeeld niet voor geld werkten, maar bonussen toekenden zodat gebruikers servers konden bestellen, werd op een van de hackerforums een link naar ons geplaatst met de opmerking: "ze geven gratis servers ter waarde van 500 roebel." Natuurlijk werden we meteen overspoeld met mijnwerkers die hongerig waren naar gratis geschenken.
Kunt u een korte tijdlijn geven van de geschiedenis van het bedrijf?
- De eerste helft van 2017 zijn we begonnen met de ontwikkeling van het Boodet.online-platform, de website en het persoonlijke account.
- 2018 - deed mee aan alfatesten, stelde gratis capaciteit ter beschikking aan klanten en ontving in ruil daarvoor uitgebreide feedback en testresultaten.
- Medio 2018 - gelanceerde bètaversie met geld. Eerste honderden klanten, testen van technische ondersteuning.
- 2019 - we begonnen juridische entiteiten als klant aan te trekken en te werken aan maatwerkoplossingen.
- 2020 - iedereen gaat in zelfisolatie, de vraag naar virtualisatie groeit. Dat voelen wij zelf: er is sprake van een toename van het aantal klanten, waardoor er aan een groot aantal aanvullende diensten kan worden gewerkt.
Bron: www.habr.com