Jag heter Leonid, jag Ă€r webbutvecklare , dĂ€rför Ă€r jag intresserad av historier om uppkomsten och utvecklingen av olika företag inom hostingbranschen. Idag vill jag presentera en intervju med Daniel och Dmitrij â skaparna av hostingföretaget . De kommer att berĂ€tta om infrastrukturen, hur de organiserar arbetet och deras erfarenhet av att utveckla en leverantör av virtuella servrar i Ryssland.
BerÀtta gÀrna lite om dig sjÀlv. Hur kom du in i hosting? Vad gjorde du innan dess?
Innan 2016 arbetade bÄde jag och Dmitrij inom Enterprise-sektorn, bland annat i företag som Dell, HP, EMC. Genom att analysera marknaden för molntjÀnster i Ryssland insÄg vi att den vÀxer snabbt, och vi beslutade att vi skulle kunna göra ett intressant erbjudande till marknaden. Vi samlade ett team av personer som redan hade arbetat tillsammans pÄ andra projekt och började tillsammans utveckla en egen virtualiseringsplattform, riktad mot större företag med specifika krav. FrÄn 2018 lanserade vi parallellt en molnhosting "för alla" och avsatte ett team pÄ fem personer.
Lagrings- och beredskapsstation innan starten
Fungerar det hÀr projektet för företag nu eller Àr det fortfarande under utveckling?
Ja, det fungerar parallellt â dĂ€r Ă€r redan ett större team, och det handlar mer om programvaru- och hĂ„rdvarulösningar för IT-infrastruktur, inte om hosting.
Ni har nu ganska mÄnga olika tjÀnster. NÀr ni började, var listan mindre eller densamma? Dessutom representerar alla dessa tjÀnster egentligen bara vanliga virtuella servrar, men det finns en viss uppdelning.
Vi började med klassisk IaaS: vi tillhandahöll "bara" virtuella servrar med stĂ€ngda portar och virtuella nĂ€tverk för dem, sĂ„ att anvĂ€ndaren sjĂ€lv kunde bygga en fullstĂ€ndig infrastruktur. Men efter starten visade det sig att de flesta anvĂ€ndarna inte förstod syftet med dessa möjligheter, och vi bestĂ€mde oss för att introducera en ny produkt â standard VDS/VPS, som marknaden redan var bekant med. För oss var det i princip en nedskuren version av produkten, men anvĂ€ndarna förstod genast vad det handlade om, och vi började fĂ„ vĂ„ra första kunder. VĂ„r erfarenhet med stora företag tvingade oss att snabbt utveckla en mer komplex och skrĂ€ddarsydd lösning, medan den massiva marknaden ville ha enkelhet. Sedan dess har vi börjat utveckla nya tjĂ€nster baserade pĂ„ VPS, utifrĂ„n vad kunderna oftast efterfrĂ„gar. Och vi fortsĂ€tter att utveckla det Ă€n idag.
Var placerar ni utrustningen? Ăr den i ert Ă€gande eller hyr ni? Hur valde ni datacenter för placering? Har ni haft fall av flytt?
All utrustning Àr vÄr, vi hyr bara plats i tvÄ datacenter. Vi började med tre datacenter: vi ville uppnÄ en tredelad redundans, men efterfrÄgan pÄ det var vid den tiden för liten för att vi skulle investera i det, sÄ vi avstod frÄn det tredje datacentret. Vi hade en flytt: vi flyttade frÄn det tredje datacentret till ett av de ÄterstÄende tvÄ. Vi valde enligt följande princip: datacentren skulle vara kÀnda pÄ marknaden, pÄlitliga (Tier III), och bÄda skulle vara belÀgna i Moskvaregionen, i olika omrÄden.
Vilka datacenter Àr ni nu placerade i och vilket har ni avstÄtt frÄn?
Just nu Àr vi placerade i DataSpace och 3Data. Vi har avstÄtt frÄn ett av datacentren 3Data.
Vi lÀmnar det tredje datacentret.
Hyr ni IP-adresser eller köper ni dem?
Vi hyr.
Och varför valde ni den hÀr metoden istÀllet för att köpa?
I stort sett för att vĂ€xa snabbt. Vi tillhandahĂ„ller kunderna en virtuell infrastruktur dĂ€r man inte behöver göra stora kapitalinvesteringar direkt, och man kan dela upp kostnaderna mĂ„natligt. Vi hĂ„ller oss till samma filosofi som vĂ„ra kunder â vi strĂ€var efter expansion och snabb skalning.
Vad tycker ni om IPv6?
SÄ hÀr lÄngt har vi inte mÀrkt nÄgon betydande efterfrÄgan, sÄ vi har inte lagt till det, men arkitekturen för att implementera det Àr förberedd, och vi Àr redo att "slÀppa" det pÄ kort tid sÄ snart vi förstÄr att det finns efterfrÄgan.
Du anvÀnder KVM-virtualisering. Varför valde du det? Hur fungerar det i praktiken?
Det stÀmmer, men vi anvÀnder inte "ren" KVM utan ett fullt utvecklat virtualiseringssystem baserat pÄ KVM, som vÄr "store bror" har utvecklat, inklusive lagringssystem (SDS) och programvarudefinierat nÀtverk (SDN). Vi har valt detta för att skapa en sÄ tillförlitlig produkt som möjligt utan enskilda felpunkter. Det fungerar bra, och vi har inte stött pÄ nÄgra globala problem i produktion. Under alpha-testningsfasen pÄ marknaden, nÀr vi tillhandahöll tjÀnster till de första kunderna mot bonuspoÀng, testade vi teknologin och stötte pÄ ett antal nackdelar, men under de senaste tvÄ Ären har vi lÀrt oss och löst mycket.
AnvÀnder ni översÀljning? Hur övervakar ni serverbelastningen?
Vi anvĂ€nder översĂ€ljning endast pĂ„ processorer, men definitivt inte pĂ„ RAM-minne. Ăven vid fysiska processorer tillĂ„ter vi inte att de överstiger 75% belastning. NĂ€r det gĂ€ller diskar: vi arbetar med 'thin provisioning'. Vi har centraliserad övervakning av hela miljön, vilket gör att vi kan övervaka belastningen. TvĂ„ ingenjörer ansvarar för hela infrastrukturen, sĂ„ vi försöker automatisera sĂ„ mycket som möjligt och samla all information om systemet. Eventuella avvikelser frĂ„n det normala lĂ€get syns omedelbart, och vi utvĂ€rderar och ombalanserar regelbundet belastningen inom infrastrukturen. Ombalans sker alltid i realtid utan att kunderna mĂ€rker nĂ„got.
Hur mÄnga fysiska servrar har ni just nu? Hur ofta lÀgger ni till nya? Vilka servrar anvÀnder ni?
Just nu har vi 76 servrar, och vi lÀgger till nya ungefÀr var fjÀrde till femte mÄnad. Vi anvÀnder QCT, Intel, Supermicro.
Har det förekommit fall dÀr en kund kommit in och tog alla ÄterstÄende resurser, sÄ att ni var tvungna att snabbt lÀgga till servrar?
Det har inte hĂ€nt med resurserna. Vi vĂ€xer förhĂ„llandevis jĂ€mnt. Men det hĂ€nde en gĂ„ng att en anvĂ€ndare ville ha 50 IP-adresser, var och en i en separat block. Naturligtvis har vi inget sĂ„dant just nu đ
Vilka Àr era mest populÀra betalningsmetoder? Vilka anvÀnds minst?
De mest populÀra betalningsmetoderna Àr bankkort och QIWI. Minst anvÀnd den manövrerade betalningen enligt avtalet för juridiska personer, men dessa överföringar Àr de mest omfattande (företag betalar vanligtvis för betydande resurser i flera mÄnader). PayPal slÀpar ocksÄ efter: vid starten förvÀntade vi oss inte utlÀndska anvÀndare, men de började dyka upp.
PÄ Boodet.online anvÀnder vi en egenutvecklad faktureringslösning. Varför beslutade ni er för att anvÀnda en sÄdan lösning? Vilka för- och nackdelar finns det? Var det svÄrt att utveckla?
Hela vÄrt system Àr egenutvecklat. De befintliga plattformarna verkade inte vÀldigt anvÀndarvÀnliga, sÄ vi bestÀmde oss för att bygga och utveckla vÄr egen. Faktureringen Àr bara en av de mikrotjÀnster som ingÄr i systemet. Utvecklingen visade sig vara svÄrare Àn vi trott frÄn början. Vid ett tillfÀlle var vi tvungna att skjuta upp projektstarten för att kunna förbereda en fungerande produkt som vi inte skulle skÀmmas för under alfa-testningen. Vi har senare fÄtt kompetenser inom lÄngsiktig utvecklingsmetodik och produktledning. Nu Àr det lÀttare att lÀgga till ny funktionalitet och nya produkter i systemet.
Hur mÄnga personer arbetade med detta? Vilket sprÄk anvÀnde ni?
För hela projektet har vi fem personer, varav tvÄ Àr utvecklare (frontend och backend). Backend Àr skriven i RoR/Python. Frontend Àr JS.
Hur Ă€r anvĂ€ndarsupporten organiserad? Ăr den dygnet runt eller endast under arbetstid? Hur mĂ„nga supportlinjer finns det? Vad frĂ„gar folk om oftast?
Vi har tre ingÄngspunkter: chatt, telefon och ett system för begÀrningar frÄn personliga konton. TvÄ supportlinjer: om den jourhavande teknikern inte kan lösa problemet, kopplas teknisk chef eller utvecklingsteamet in. Om problemet ligger i den grundlÀggande plattformen, vilket hÀnder mycket sÀllan, kontaktar den tekniska chefen supporten för "storasyskonet". PÄ natten reagerar vi bara pÄ samtal frÄn kunder som köper separat teknisk support eller pÄ plattformproblem som rapporteras genom en speciellt skriven bot i Telegram.
De vanligaste frÄgorna:
- Ăr vĂ„ra IP-adresser tillgĂ€ngliga i Turkmenistan? (Detta Ă€r den vanligaste frĂ„gan â tydligen finns det en strikt blockpolitisk i landet).
- Hur installerar man viss programvara.
- Hur fÄr man root-Ätkomst (det finns till och med en speciell pÄminnelse i grÀnssnittet vid skapande av maskiner, men den hjÀlper inte alltid).
Verifierar ni kunder? Dyker spammare och andra oönskade individer ofta upp?
Verifiering via e-post och telefon (om anvÀndaren aktiverar 2FA). Spammare och andra missbrukare dyker upp med jÀmna mellanrum. Vi tvingas reagera med temporÀr blockering av komprometterade servrar, eftersom vi inte vill att IP-adresser ska hamna pÄ svarta listor. Men vi meddelar alltid anvÀndaren om att en klagomÄl har kommit in, ber dem att kontakta oss och diskutera problemet. Om anvÀndaren inte reagerar, eller om det kommer in upprepade klagomÄl, blockerar vi kontot helt och tar bort servrarna.
Sker det ofta DDoS-attacker mot kunder? Vad gör ni i sÄdana fall? Har ni blivit attackerade specifikt mot er, webbplats eller infrastruktur?
Kunderna blir ganska sĂ€llan attackerade. Men vi sjĂ€lva blir ofta utsatta â webbplatsen, kundportalen. Ibland attackerar de nĂ€tverket via olika IP-adresser. Vi gör inga bedömningar om vem som ligger bakom eller varför, det kan finnas flera alternativ. Det har till och med förekommit försök att attackera oss inifrĂ„n. Tidigare vid telefonverifiering gav vi en bonus pĂ„ hundra rubel, sĂ„ att legitima anvĂ€ndare kunde testa olika konfigurationer. Men en gĂ„ng kom en anvĂ€ndare med "ett gĂ€ng SIM-kort" och började skapa tiotals konton frĂ„n en och samma IP och fĂ„ bonusar. DĂ€rför var vi tvungna att ta bort den automatiska tilldelningen av testpoĂ€ng. Nu mĂ„ste en begĂ€ran skickas till supporten för testning, och varje fall behandlas individuellt.
Hur Àr arbetet organiserat, finns det ett kontor eller arbetar alla pÄ distans?
Det finns ett kontor, men med början av restriktionerna pÄ grund av coronaviruset arbetade alla hemifrÄn / frÄn sommarstÀllet / hemstaden.
VĂ„rt kontor
Vad Àr er nuvarande utvecklingskurva som företag?
Vi gÄr mot att lÀgga till nya tjÀnster. Vi har en omfattande roadmap, vi avbryter inte utvecklingen, och varannan vecka slÀpps en ny version av kundportalen. Vi lÀgger till funktioner och tjÀnster som efterfrÄgas av kollegor, samt det som kunder ber om.
Hur hittar ni kunder? Ăr kundflödet stort eller litet varje Ă„r? Vad Ă€r den genomsnittliga "livslĂ€ngden" för en kund?
Kundanskaffningskanaler inom vÄrt omrÄde Àr det som hela verksamheten bygger pÄ, om det finns en fungerande bra produkt. DÀrför Àr vi inte beredda att dela med oss.
Churn rate, LTV och livscykel Àr ocksÄ ganska viktiga indikatorer som vi bara anvÀnder för intern analys, men inte för offentliggörande.
Skulle du kunna ge lÀsarna nÄgra rÄd om hur man vÀljer webbhotell? Vad bör man tÀnka pÄ innan man gör ett köp?
Det viktigaste Àr att vÀlja ett webbhotell som börjar med bokstaven 'B'.
Men om vi ska vara seriösa, finns det flera faktorer som man bör ta hÀnsyn till:
- För att förstĂ„ kvaliteten kan du ta en genomsnittlig konfiguration och försöka lösa dina praktiska uppgifter pĂ„ den. VĂ€lj webbhotell som erbjuder timpriser â du kan testa servrar utan att förlora mycket pengar om kvaliteten inte Ă€r tillfredsstĂ€llande.
- Titta pÄ datacentren dÀr hosten har sina fysiska servrar. DÀrför kan man ungefÀr bedöma kvaliteten pÄ tjÀnsterna.
- Vi rekommenderar inte att fokusera för mycket pÄ priser: det finns bÄde supersnÄla lösningar som presterar bra och superdyra som inte skiljer sig pÄ nÄgot sÀrskilt sÀtt.
BerÀtta om de mest minnesvÀrda arbetsmomenten.
Projektstart. De första 1,5 mĂ„naderna arbetade vi i ett 24/7-lĂ€ge: vi följde registreringarna, sĂ„g till att nĂ„got inte kraschade i anvĂ€ndargrĂ€nssnittet, hur anvĂ€ndarna betecknade tjĂ€nster, om det var bekvĂ€mt för dem att bestĂ€lla tjĂ€nster. Mycket fick vi lösa i farten, till och med byta ut vissa produkter mot andra. Ăndringar gjordes direkt i produktionen, utan att gĂ„ igenom testmiljöer. Det var en intensiv period, men vi lyckades överleva och inte ge upp.
AnvÀndare som kom för att hitta sÄrbarheter i logiken. Det var intressant att fÄnga dem och stÀnga sÄrbarheterna. Till exempel, nÀr vi fortfarande jobbade utan betalning men gav bonusar sÄ att anvÀndarna kunde bestÀlla servrar, lades en lÀnk till oss ut pÄ ett av hackforum med kommentaren: 'ger gratis servrar pÄ 500 rubel'. SjÀlvklart översvÀmmades vi snabbt av grabbarna som ville ha gratis saker.
Skulle du kunna sammanstÀlla en kort kronologi över företagets historia?
- Första halvan av 2017 â började utveckla plattformen, webbplatsen och Boodet.online:s anvĂ€ndarpanel.
- Ă r 2018 â gick in i alfa-testning, erbjöd kraft till kunder gratis och fick utförliga feedback och testresultat i gengĂ€ld.
- I mitten av 2018 lanserade vi beta-versionen med pengar. Första hundra kunderna, test av supporttjÀnster.
- 2019 â vi började attrahera juridiska personer som kunder och arbeta med skrĂ€ddarsydda lösningar.
- 2020 â alla gĂ„r i sjĂ€lvkarantĂ€n, efterfrĂ„gan pĂ„ virtualisering ökar. Vi mĂ€rker detta sjĂ€lva â kundtillvĂ€xten ger oss möjlighet att utveckla ett större utbud av tjĂ€nster.
KĂ€lla: habr.com
