Mit navn er Leonid, jeg er webudvikler , derfor er jeg i kraft af mit arbejde interesseret i historier om oprettelsen og udviklingen af forskellige virksomheder inden for hosting. I dag vil jeg præsentere et interview med Danil og Dmitrij – skaberne af hostingtjenesten . De vil fortælle om infrastrukturen, organiseringen af arbejdet og deres erfaringer med at udvikle en udbyder af virtuelle servere i Rusland.
Fortæl venligst et par ord om dig selv. Hvordan kom du ind i hosting? Hvad lavede du før?
Indtil 2016 arbejdede både jeg og Dmitrij i enterprise-sektoren, blandt andet i virksomheder som Dell, HP, EMC. Ved at analysere den cloud-baserede marked i Rusland indså vi, at det vokser aktivt, og vi besluttede, at vi kunne lave et interessant tilbud til markedet. Vi samlede et team af folk, som allerede havde arbejdet sammen på andre projekter, og sammen begyndte vi at udvikle vores egen virtualiseringsplatform, der er rettet mod større virksomheder med specifikke krav. Siden 2018 har vi samtidig lanceret en cloud-hosting "til alle" og har dedikeret et team på fem personer til projektet.
Lager og forberedelse før lancering
Er dette projekt til virksomheder allerede aktive, eller er det stadig under udvikling?
Ja, det fungerer parallelt – der er allerede et større team, og det drejer sig mere om program- og hardwareløsninger til IT-infrastruktur, ikke om hosting.
I har nu et ret bredt udvalg af tjenester. Da I startede, var listen kortere eller den samme? Det er jo sådan, at alle disse tjenester i virkeligheden repræsenterer en almindelig virtuel server, men der er en form for opdeling.
Vi begyndte med klassisk IaaS: vi tilbød "bare" virtuelle servere med lukkede porte og virtuelle netværk, så brugeren selv kunne opbygge en fuldgyldig infrastruktur. Men efter opstart viste det sig, at de fleste brugere ikke forstod, hvad de kunne bruge disse muligheder til, og vi besluttede at introducere et nyt produkt — standard VDS/VPS, som markedet allerede kendte. For os var det reelt en nedskåret version af produktet, men brugerne forstod straks, hvad det var, og vi begyndte at få de første kunder. Det virkede som om, vores erfaring med store virksomheder fik os til straks at udvikle en mere kompleks og skræddersyet løsning, mens det brede marked ønsker enkelhed. Og derefter begyndte vi at udvikle nye tjenester på baggrund af VPS, baseret på hvad kunderne oftest efterspurgte. Og vi fortsætter stadig med dette.
Hvor placerer I udstyret? Er det i jeres eje, eller lejer I? Hvordan valgte I datacenter til placeringen? Har der været tilfælde af flytninger?
Alt udstyr er vores, vi lejer kun plads i to datacentre. Vi startede med tre datacentre: vi ønskede at realisere en tredobbelt fejltolerance, men efterspørgslen efter det var på det tidspunkt for lille til at investere i det, så vi opgav det tredje datacenter. Vi havde én flytning: vi flyttede faktisk fra det tredje datacenter til et af de to resterende. Vi valgte ud fra følgende princip: datacentrene skulle være kendte på markedet, pålidelige (Tier III), og begge skulle være placeret i Moskva, i fjerne områder fra hinanden.
Hvor placerer I jer nu, og hvilket har I opgivet?
Vi er nu placeret i DataSpace og 3Data. Vi har opgivet et af datacentrene 3Data.
Vi forlader det tredje datacenter.
Lejer I IP-adresser eller køber I dem?
Vi lejer.
Og hvad var grunden til at vælge denne tilgang frem for køb?
I det store hele for at vokse hurtigt. Vi tilbyder kunderne en virtuel infrastruktur, som de ikke straks skal investere kapital i, og omkostningerne kan opdeles månedligt. Vi holder os til den samme filosofi som vores kunder — vi stræber efter ekspansion og hurtig skalering.
Hvad tænker I om IPv6?
Indtil videre har vi ikke set en betydelig efterspørgsel, så vi har ikke tilføjet det, men arkitekturen for implementeringen er gennemarbejdet, og vi er klar til at "rulle det ud" på kort tid, så snart vi forstår, at der er forespørgsler.
Du bruger KVM-virtualisering. Hvorfor valgte du det? Hvordan fungerer det i praksis?
Det er korrekt, men vi bruger ikke "ren" KVM, men et fuldtudviklet virtualiseringssystem baseret på KVM, som vores "storebror" har udviklet, inklusiv et softwaredefineret lagersystem (SDS) og et softwaredefineret netværk (SDN). Vi valgte dette for at skabe et så fejltolerant produkt som muligt uden enkeltpunkter for fejl. Det har fungeret godt, indtil nu har der ikke været nogen globale problemer i produktionen. Under alfa-testningen på markedet, da vi tilbød tjenester til de første kunder for bonuspoint, testede vi teknologien og stødte på en række ubehagelige situationer, men i løbet af de sidste to år er der blevet opnået og løst meget.
Bruger du overselling? Hvordan kontrollerer du belastningen på serveren?
Overselling anvender vi kun på processorer, men på ingen måde på RAM. Selv med fysiske processorer tillader vi ikke, at de bliver dækket mere end 75%. For diskene arbejder vi med "thin provisioning". Vi har centraliseret overvågning af hele miljøet, hvilket gør det muligt at kontrollere belastningen. To ingeniører er ansvarlige for vedligeholdelsen af hele infrastrukturen, så vi forsøger at automatisere så meget som muligt og indsamle al mulig information om systemet. Enhver afvigelse fra det normale regime er straks synlig, og vi vurderer og omfordeler belastningen i infrastrukturen regelmæssigt. Omfordelingen sker altid i realtid, uset af kunderne.
Hvor mange fysiske servere har du nu? Hvor ofte tilføjer du nye? Hvilke servere bruger du?
I øjeblikket har vi 76 servere, og vi tilføjer nye cirka hver fjerde-femte måned. Vi bruger QCT, Intel, Supermicro.
Har der været tilfælde, hvor en kunde kom og tog alle de resterende ressource, så vi måtte tilføje servere i hast?
Når det kommer til ressourcer, har der ikke været noget sådant. Indtil videre vokser vi mere eller mindre jævnt. Men der var en sag, hvor en bruger kom og ønskede 50 IP-adresser, hver i en separat blok. Selvfølgelig har vi ikke noget sådant i øjeblikket 🙂
Hvilke betalingsmetoder er de mest populære hos jer? Hvilket bruges der mindst?
De mest populære betalingsmetoder er bankkort og QIWI. Den mindst populære er betaling via bankoverførsel i henhold til tilbudet til virksomheder, men disse overførsler er de største (virksomheder betaler som regel for solide ressourcer i flere måneder). PayPal halter også bagefter: ved opstart havde vi ikke regnet med udenlandske brugere, men de begyndte at dukke op.
Hos Boodet.online har vi vores eget betalingssystem. Hvorfor valgte I at bruge en sådan løsning? Hvilke fordele og ulemper er der? Var det svært at udvikle?
Hele vores system er udviklet internt. De eksisterende platforme forekom os ikke særlig brugervenlige, så vi besluttede at skabe og udvikle vores egen. Betalingssystemet er blot en af de mikroservice, der indgår i systemet. Udviklingen viste sig at være sværere, end vi havde forventet fra starten. På et tidspunkt måtte vi endda skubbe lanceringen af projektet, så vi kunne forberede et fungerende produkt, som vi ikke ville skamme os over ved alpha-testning. Senere fik vi kompetencer inden for langtidsudvikling og produktledelse. Nu er det lettere at tilføje nye funktioner og produkter til systemet.
Hvor mange mennesker udviklede alt dette? Hvilket sprog blev der skrevet i?
Til hele projektet har vi fem personer, herunder to udviklere (frontend og backend). Backend er skrevet i RoR/Python. Frontend er JS.
Hvordan er supporten organiseret? Er den tilgængelig 24/7 eller kun i arbejdstiden? Hvor mange supportlinjer er der? Hvad spørger folk oftest om?
Vi har tre indgange: chat, telefon og et ticket-system fra brugerens konto. To supportlinjer: hvis den vagthavende ingen løsning kan finde, tilsluttes teknisk direktør eller udviklingsteamet. Hvis der er et problem med den primære platform, hvilket sker meget sjældent, kontakter den tekniske direktør supporten fra 'den store bror'. Om natten reagerer vi kun på opkald fra kunder, der betaler for separat teknisk support, eller ved systemfejl rapporteret via en speciel bot i Telegram.
De mest populære spørgsmål:
- Er vores IP-adresser tilgængelige i Turkmenistan (dette er det mest populære spørgsmål — åbenbart er der en hård blokpolitik i landet).
- Hvordan installerer man en bestemt software.
- Hvordan får man root-adgang (der er endda lavet en særlig huskeliste i grænsefladen, når man opretter maskiner, men den hjælper ikke altid).
Udfører I kundeverifikation? Kommer spammerne og andre ubehagelige personer ofte forbi?
Verifikation via e-mail og telefon (hvis brugeren tilslutter 2FA). Spammerne og andre misbrugere dukker op periodisk. Vi er nødt til at reagere med midlertidig blokering af kompromitterede servere, da vi ikke ønsker, at IP-adresser kommer på sorte lister. Men vi skriver altid først til brugeren, at der er indkommet en klage mod dem, og beder dem kontakte os for at drøfte problemet. Hvis brugeren ikke reagerer, eller hvis der kommer gentagne klager, blokkerer vi hele kontoen og sletter serverne.
Forekommer der ofte DDoS-angreb mod kunder? Hvad gør I i sådanne tilfælde? Har der været angreb specifikt på jer, på hjemmesiden eller infrastrukturen?
Kunderne angribes ret sjældent. Men vi selv bliver ofte angrebet — hjemmesiden, kundecenteret. Nogle gange bliver netværket angrebet fra forskellige IP-adresser. Vi vil ikke dømme, hvem det er, og hvorfor; der kan være flere muligheder. Nogle gange er der endda forsøg på at angribe os indefra. Tidligere ved verifikation via telefon gav vi et bonusbeløb på hundrede kroner, så normale brugere kunne teste forskellige konfigurationer. Men en gang kom der en bruger med en 'bunke SIM-kort' og begyndte at oprette dusinvis af konti fra én IP, hvilket gjorde, at han fik bonusser. Derfor måtte vi fjerne automatisk tildeling af testpoint. Nu skal man indsende en anmodning til teknisk support for at få testet, og hver sag vurderes individuelt.
Hvordan er arbejdet organiseret, har I et kontor, eller arbejder alle hjemmefra?
Vi har et kontor, men med begyndelsen af begrænsningerne på grund af coronavirus arbejdede alle hjemmefra / fra sommerhuset / fra deres hjemby.
Vores kontor
Hvad er den nuværende udviklingsretning for virksomheden?
Vi arbejder hen imod tilføjelsen af nye tjenester. Vi har en omfattende roadmap, vi stopper ikke med udviklingen, og hver anden uge udgives der en ny version af kundecenteret. Vi tilføjer funktionalitet og tjenester, som er efterspurgte af kolleger, vi tilføjer det, som kunderne beder om.
Hvordan finder I kunder? Er der en stor tilstrømning og tilstrømning af kunder hvert år? Hvad er den gennemsnitlige 'levetid' for en kunde?
Kundernes erhvervelseskanaler i vores område — det, som hele forretningen afhænger af, hvis der er et godt fungerende produkt. Derfor er vi ikke klar til at dele.
Churn rate, LTV og livscyklus er også ret vigtige målinger, som vi kun bruger til intern analyse, men ikke til offentliggørelse.
Kunne du give læserne nogle råd om, hvordan man vælger hosting? Hvad skal man være opmærksom på inden køb?
Det vigtigste er at vælge en hosting med bogstavet “B” i starten af navnet.
Og hvis vi skal være seriøse, er der flere faktorer, man skal være opmærksom på:
- For at forstå kvaliteten kan man tage en gennemsnitlig konfiguration og forsøge at løse sine praktiske opgaver på den. Vælg hosting, hvor der er timebetaling — så kan du teste serverne uden at miste for mange penge, hvis kvaliteten ikke lever op til forventningerne.
- Se på datacentre, hvor hostens fysiske servere befinder sig. Man kan vurdere kvaliteten af tjenesterne ud fra det.
- Vi anbefaler ikke at fokusere på priserne: der er både super billige løsninger, der klarer sig godt, og super dyre, der ikke adskiller sig fra de billigere.
Fortæl om de mest mindeværdige arbejdsøjeblikke.
Projektstart. De første halvanden måned arbejdede vi i døgndrift: vi holdt øje med, hvordan registreringerne gik, om noget gik galt i brugergrænsefladen, hvordan brugerne opførte sig, og om det var nemt for dem at bestille tjenester. Vi måtte ofte løse problemer på farten, endda erstatte nogle produkter med andre. Ændringer blev lavet direkte i produktionen uden testmiljøer. Det var en intensiv periode, men vi overlevede og gav ikke op på det.
Brugere, der kom for at finde sårbarheder i logikken. Det var interessant at fange dem og lukke sårbarhederne. For eksempel, da vi stadig arbejdede gratis og gav bonusser, så brugerne kunne bestille servere, blev der lagt et link til os på et hackerforum med kommentaren: “får gratis servere værd 500 rubler”. Selvfølgelig blev vi straks overfyldt med minearbejdere, der længtes efter gratis ting.
Kunne du lave en kort tidslinje for virksomhedens historie?
- Første halvdel af 2017 — vi begyndte at udvikle platformen, hjemmesiden og brugergrænsefladen Boodet.online.
- 2018 — vi gik i alfa-test, gav ressourcer gratis til kunderne og fik uddybende feedback og testresultater til gengæld.
- I midten af 2018 lancerede vi en beta-version med penge. De første hundrede kunder, test af supporten.
- 2019 – begyndte at tiltrække virksomhedskunder, arbejde på skræddersyede løsninger.
- 2020 – alle går i selvisolering, der er stigende efterspørgsel efter virtualisering. Vi mærker det selv – vi får flere kunder, hvilket giver os mulighed for at arbejde med mange flere tillægsydelser.
Kilde: habr.com
