Mitt navn er Leonid, jeg er en nettstedsutvikler , derfor, på grunn av mine aktiviteter, er jeg interessert i historiene om dannelsen og utviklingen av forskjellige selskaper innen vertstjenester. I dag vil jeg presentere et intervju med Danil og Dmitry, skaperne av hosting . De vil snakke om strukturen til infrastrukturen, organiseringen av arbeidet og deres erfaring med å utvikle en virtuell serverleverandør i Russland.
Fortell oss noen ord om deg selv. Hvordan kom du inn på hosting? Hva gjorde du før dette?
Fram til 2016 jobbet både Dmitry og jeg i Enterprise-sektoren, inkludert i selskaper som Dell, HP, EMC. Ved å analysere skymarkedet i Russland innså vi at det vokste aktivt, og bestemte oss for at vi kunne gi et interessant tilbud til markedet. Et team av mennesker som allerede hadde jobbet med hverandre på andre prosjekter kom sammen og begynte sammen å utvikle sin egen virtualiseringsplattform rettet mot store bedrifter med deres spesifikke behov. Siden 2018 har vi samtidig lansert skyhosting «for alle» og allokert det til prosjektet et team på fem personer.
Lagrings- og klargjøringsstasjon før lansering
Er dette prosjektet for bedrifter allerede i gang eller er det fortsatt under utvikling?
Ja, det fungerer parallelt – det er allerede et større team, og vi snakker mer om programvare- og maskinvareløsninger for IT-infrastruktur, ikke om hosting.
Du har nå ganske mange forskjellige tjenester. Da du startet, var listen mindre eller den samme? Dessuten er alle disse tjenestene faktisk en vanlig virtuell server, men det er en viss separasjon.
Vi startet med klassisk IaaS: vi ga "bare" virtuelle servere med lukkede porter og virtuelle nettverk for dem, slik at brukeren kunne lage en fullverdig infrastruktur for seg selv. Men etter lanseringen viste det seg at de fleste brukere ikke forsto hvorfor de trengte slike muligheter, og vi bestemte oss for å introdusere et nytt produkt for oss selv - en standard VDS/VPS, som markedet allerede er kjent med. For oss var det egentlig en nedstrippet versjon av produktet, men brukerne forsto umiddelbart hva det var, og vi begynte å motta våre første kunder. Tilsynelatende tvang vår erfaring med store selskaper oss til umiddelbart å utvikle en mer kompleks og tilpasset løsning, mens massemarkedet ønsker enkelhet. Og så begynte vi, basert på VPS, å utvikle nye tjenester basert på det kundene oftest etterspør. Og vi utvikler den fortsatt.
Hvor plasserer du utstyret? Eier du den eller leier du den? Hvordan valgte du en DC for plassering? Var det noen tilfeller av flytting?
Alt utstyret er vårt, vi leier kun plass i to datasentre. Vi startet med tre datasentre: vi ønsket å implementere treveis feiltoleranse, men etterspørselen etter det på det tidspunktet var for liten til å investere i dette, så vi forlot det tredje datasenteret. Vi hadde ett trekk: vi skulle nettopp flytte fra det tredje datasenteret til et av de to gjenværende. De ble valgt i henhold til følgende prinsipp: DC-er skulle være kjent i markedet, pålitelige (Tier III), slik at begge ville være geografisk plassert i Moskva, i områder fjernt fra hverandre.
Hvilke DC-er befinner du deg i, og hvilken har du forlatt?
Nå er vi lokalisert i DataSpace og 3Data. Vi forlot et av 3Data-datasentrene.
Forlater det tredje datasenteret
Leier eller kjøper du IP-adresser?
Vi leier.
Og av hvilken grunn valgte du denne tilnærmingen fremfor å kjøpe?
I det store og hele å vokse raskt. Vi gir kundene virtuell infrastruktur, som de ikke trenger å betale kapitalinvesteringer for med en gang, og kostnadene kan deles ned månedlig. Selv følger vi samme filosofi som våre kunder - vi streber etter ekspansjon og rask skalering.
Hva synes du om IPv6?
Så langt har vi ikke merket noen betydelig etterspørsel, så vi har ikke lagt til flere, men output-arkitekturen er utarbeidet, vi er klare til å "rulle ut" i løpet av kort tid, så snart vi forstår at det er forespørsler .
Du bruker KVM-virtualisering. Hvorfor valgte du henne? Hvordan viser hun seg på jobb?
Det stemmer, men vi bruker ikke "naken" KVM, men et fullverdig, modifisert KVM-basert virtualiseringssystem som vår "storebror" utviklet, inkludert et datalagringssystem (SDS) og et programvaredefinert nettverk (SDN) . Vi valgte det på grunnlag av å bygge det mest feiltolerante produktet uten enkeltpunkter for feil. Det viser seg godt, så langt har det ikke oppstått globale problemer i produksjonen. På stadiet av alfatesting på markedet, da vi leverte tjenester til de første kundene for bonuspoeng, testet vi teknologien og møtte en rekke ubehagelige øyeblikk, men i løpet av de siste to årene har vi klart å forstå og løse mye.
Bruker du oversalg? Hvordan kontrollerer du belastningen på serveren?
Vi bruker oversalg kun for prosessorer, men ikke i noe tilfelle for RAM. Selv når det gjelder fysiske prosessorer, tillater vi ikke belastningen deres overstiger 75 %. Etter disk: vi jobber med "tynn" kapasitetstildeling. Vi har sentralisert overvåking av hele miljøet, som lar oss kontrollere belastningen. To ingeniører er ansvarlige for å støtte hele infrastrukturen, så vi prøver å automatisere så mye som mulig og samle inn all mulig informasjon på systemet. Eventuelle avvik fra normal drift er umiddelbart synlige, og vi vurderer og rebalanserer med jevne mellomrom belastningen innenfor infrastrukturen. Rebalansering skjer alltid online, ubemerket av kundene.
Hvor mange fysiske servere har du for øyeblikket? Hvor ofte legger du til nye? Hvilke servere bruker du?
For øyeblikket er det 76 servere, vi legger til nye omtrent hver fjerde til femte måned. Vi bruker QCT, Intel, Supermicro.
Har det vært tilfeller der en klient kom og tok opp alle de gjenværende gratis ressursene, og du måtte legge til servere umiddelbart?
Det var ikke noe slikt med ressurser. Så langt vokser vi mer eller mindre jevnt. Men det var et tilfelle da en bruker kom og ønsket 50 IP-er, hver i en egen blokk. Selvfølgelig har vi ikke noe lignende ennå :)
Hva er dine mest populære betalingsmåter? Hva er minst brukt?
De mest populære er et bankkort og QIWI. Det minst vanlige er betaling med bankoverføring under tilbudet for juridiske personer, men slike overføringer er de mest omfangsrike (bedrifter betaler som regel for solide ressurser i flere måneder). PayPal henger også etter: i starten regnet vi ikke med utenlandske brukere, men de begynte å dukke opp.
Boodet.online har selvskrevet fakturering. Hvorfor valgte du å bruke denne løsningen? Hva er fordelene og ulempene? Var det vanskelig å utvikle seg?
Hele systemet vårt er av vårt eget design. De eksisterende plattformene virket ikke veldig praktiske for oss med tanke på UX, så vi bestemte oss for å lage og utvikle vår egen. Fakturering er bare en av mikrotjenestene som er en del av systemet. Utviklingen viste seg å være vanskeligere enn vi trodde i starten. Selv på et tidspunkt måtte vi utsette lanseringen av prosjektet for å ha tid til å forberede et fungerende produkt som ikke ville være flaut for alfa-testing. Deretter tilegnet de seg kompetanse innen langsiktige utviklingsmetoder og produktledelse. Nå er det enklere å legge til ny funksjonalitet og nye produkter til systemet.
Hvor mange mennesker utviklet alt dette? Hva skrev du om?
Vi har fem personer til hele prosjektet, hvorav to er utviklere (frontend og backend). Tilbake er skrevet i RoR/Python. Foran er JS.
Hvordan er brukerstøtte organisert? Er det åpent XNUMX/XNUMX eller kun i åpningstiden? Hvor mange støttelinjer er det? Hva blir du oftest spurt om?
Vi har tre inngangspunkter: chat, telefon og et søknadssystem fra din personlige konto. To støttelinjer: Hvis vakthavende ingeniør ikke klarte å løse problemet, blir teknisk direktør eller utviklingsteam involvert. Hvis problemet er i hovedplattformen, noe som skjer mye sjeldnere, henvender den tekniske direktøren seg til støtten til "storebroren". Om natten svarer vi kun på anrop fra kunder som kjøper separate tekniske tjenester, eller på plattformfeil rapportert gjennom en spesialskrevet bot i Telegram.
Mest populære spørsmål:
- Er våre IP-er tilgjengelige i Turkmenistan (dette er den aller første i popularitet - tilsynelatende har landet en streng blokkeringspolicy).
- Hvordan installere denne eller den programvaren.
- Hvordan få root-tilgang (det er til og med en spesiell påminnelse i grensesnittet når du oppretter maskiner, men dette hjelper ikke alltid).
Verifiserer du klienter? Dukker det ofte opp spammere og andre dårlige karakterer?
Verifisering via mail og telefon (hvis brukeren aktiverer 2FA). Spammere og andre misbrukere dukker opp med jevne mellomrom. Vi er tvunget til å svare ved å midlertidig blokkere kompromitterte servere, siden vi ikke ønsker at IP-er skal svartelistes. Men vi skriver alltid til brukeren på forhånd at det er mottatt en klage på han, og ber han ta kontakt og diskutere problemet. Hvis brukeren ikke svarer, eller det dukker opp gjentatte klager, blokkerer vi hele kontoen og sletter serverne.
Skjer DDoS-angrep på kunder ofte? Hva gjør du i slike tilfeller? Har det vært angrep spesifikt på deg, nettstedet ditt eller infrastrukturen din?
Klienter blir angrepet ganske sjelden. Men selv har vi ofte en nettside, en personlig konto. Noen ganger kobler de nettverket til forskjellige IP-adresser. Vi forplikter oss ikke til å vurdere hvem det er og hvorfor, det kan være flere alternativer. Det er til og med forsøk på å angripe oss innenfra. Tidligere, når vi verifiserte via telefon, ga vi ut en bonus hundre rubler slik at normale brukere kunne teste hvilken som helst konfigurasjon. Men en dag kom en bruker med en "pakke med SIM-kort" og fra under én IP begynte å opprette dusinvis av kontoer og motta bonuser på dem. Derfor måtte vi fjerne den automatiske opptjeningen av testresultater. Nå må du sende inn en forespørsel til teknisk støtte for testing, og vi vurderer hvert tilfelle separat.
Hvordan er arbeidet organisert, er det kontor, eller jobber alle eksternt?
Det er et kontor, men med begynnelsen av restriksjoner på grunn av koronavirus, dro alle på jobb hjemmefra/dacha/hjemby.
Vårt kontor
Hva er ditt nåværende utviklingsløp for selskapet?
Vi går mot å legge til nye tjenester. Vi har et omfattende veikart, vi avbryter ikke utviklingen, og annenhver uke slippes en ny utgivelse av den personlige kontoen. Vi legger til funksjonalitet og tjenester som etterspørres blant kollegaer, og vi legger til det kundene etterspør.
Hvordan finner du kunder? Er det stor tilstrømning og avgang av kunder per år? Hva er gjennomsnittlig "levetid" for en kunde?
Kanaler for å tiltrekke seg kunder innen vårt felt er det hele virksomheten hviler på, hvis det finnes et fungerende godt produkt. Derfor er vi ikke klare til å dele.
Churn rate, LTV og livssyklus er også ganske viktige indikatorer som vi bare bruker for intern analyse, men ikke for avsløring.
Kan du gi leserne noen råd om valg av vertstjeneste? Hva bør du være oppmerksom på før du kjøper?
Det viktigste er å velge en hosting med bokstaven "B" i begynnelsen av navnet.
Men seriøst, det er flere faktorer du må være oppmerksom på:
- For å forstå kvaliteten kan du ta en gjennomsnittlig konfigurasjon og prøve å løse applikasjonsproblemene dine på den. Velg hosting som har timepris – du kan teste servere uten å tape mye penger dersom kvaliteten ikke er tilfredsstillende.
- Se på datasentrene der hosteren har fysiske servere. De kan brukes til å grovt bedømme kvaliteten på tjenestene.
- Vi anbefaler ikke å ta hensyn til prisene: det er både superbillige løsninger som gir gode resultater, og superdyre som ikke er noe spesielt.
Fortell oss om dine mest minneverdige arbeidsøyeblikk.
Start av prosjektet. Den første og en halv måneden jobbet vi 24/7: vi så på hvordan registreringene gikk, om noe var ødelagt i det personlige kontogrensesnittet, hvordan brukerne oppførte seg, om det var praktisk for dem å bestille tjenester. Mye måtte avgjøres i farten, til og med å bytte ut noen produkter med andre. Endringer ble gjort umiddelbart i produksjonen, utenom testmiljøer. Det var en spent periode, men vi klarte å overleve og ikke gi opp denne virksomheten.
Brukere som kom på jakt etter sårbarheter i logikk. Det var interessant å fange dem og lukke sårbarheter. For eksempel, da vi ikke jobbet for penger, men delte ut bonuser slik at brukere kunne bestille servere, ble det lagt ut en lenke til oss på et av hackerforumene med kommentaren: "de gir gratis servere verdt 500 rubler." Selvfølgelig ble vi umiddelbart oversvømmet av gruvearbeidere som var sultne på freebies.
Kan du gi en kort tidslinje over selskapets historie?
- Første halvdel av 2017 – vi begynte å utvikle Boodet.online-plattformen, nettsiden og den personlige kontoen.
- 2018 - gikk inn i alfatesting, ga kapasitet til kundene gratis og fikk omfattende tilbakemeldinger og testresultater i retur.
- Midt i 2018 – lansert betaversjon med penger. Første hundrevis av kunder, testing av teknisk støtte.
- 2019 - vi begynte å tiltrekke oss juridiske enheter som kunder og jobbe med tilpassede løsninger.
- 2020 - alle går inn i selvisolasjon, etterspørselen etter virtualisering vokser. Dette føler vi selv – det er en økning i kunder, som gjør det mulig å jobbe med en lang rekke tilleggstjenester.
Kilde: www.habr.com