Intervjuu hostimise maailmast: Boodet.online

Minu nimi on Leonid, ma olen veebiarendaja VPS Otsing, seetõttu olen oma tegevuse tõttu huvitatud lugudest, kuidas on erinevad ettevõtted, mis tegutsevad hostimisteenuste valdkonnas, kujunenud ja arenenud. Täna tahan esitleda intervjuud Daniili ja Dmitriiga – Boodet.online hostingu loojaid Boodet.online. Nad räägivad oma infrastruktuuri ülesehitusest, töö korraldamisest ja oma kogemusest virtuaalserverite teenusepakkujana Venemaal.

Palun rääkige paar sõna enda kohta. Kuidas sattusite hostimisse? Mida tegite enne seda?

Enne 2016. aastat töötasid nii mina kui ka Dmitri Enterprise-sektoris, sealhulgas sellistes ettevõtetes nagu Dell, HP, EMC. Analüüsides Venemaa pilvemarketit, mõistsime, et see kasvab aktiivselt, ja otsustasime, et saame turule huvitava pakkumise teha. Koondasime meeskonna inimesi, kes olid juba teistes projektides koos töötanud, ja alustasime iseenda virtualiseerimisplatvormi arendamist, suunatud suurtele ettevõtetele nende spetsiifiliste nõudmiste rahuldamiseks. Alates 2018. aastast käivitasime samal ajal ka pilvehosting „kõigile“, eraldades projekti jaoks Boodet.online viie inimese meeskonna.

Ladustamise ja ettevalmistamise riiul enne starti

Kas see projekt on nüüd juba ettevõttele toimiv või on see alles arendamisel?

Jah, see töötab paralleelselt – seal on juba suurem meeskond, ja jutt on rohkem tark- ja riistvaralahendustest IT-infrastruktuurile, mitte hostimisest.

Teie teenuste nimekiri on praegu üsna ulatuslik. Kui te alustasite, oli nimekiri väiksem või sama? Oluline on, et kõik need teenused on tegelikult tavalised virtuaalsed serverid, kuid teatud määral on siiski teatud jaotus.

Alustasime klassikalisest IaaS-st: pakkusime „paljasid“ virtuaalseid servereid suletud sadamatega ja virtuaalseid võrke, et kasutajad saaksid ise luua endale sobiva infrastruktuuri. Kuid pärast turule sisenemist selgus, et enamik kasutajatest ei saanud aru, miks neile sellised võimalused vajalikud olid, ja otsustasime tuua turule uue toote — standardse VDS/VPS, millega turg juba tuttav. Meie jaoks oli see põhimõtteliselt piiratud versioon tootest, kuid kasutajad mõistsid kohe, mis see on, ja hakkasime saama esimesi kliente. Tundub, et meie kogemus suurte ettevõtetega sundis meid arendama kohe keerukamat ja kohandatud lahendust, samas kui massiturg tahab lihtsust. Ja edasi VPS baasil hakkasime arendama uusi teenuseid, lähtudes sellest, mida kliendid kõige sagedamini küsivad. Ja arendame seda endiselt.

Kus te oma varustust paigutate? Kas see on teie omandis või rendite? Kuidas valisite oma andmekeskuse? Kas olete kolinud?

Kogu varustus on meie oma, rendime ainult ruumi kahes andmekeskuses. Alustasime kolmest andmekeskusest: soovisime saavutada kolmikseisundi talitlushäireteta lahenduse, kuid tol hetkel oli nõudlus selle järele liiga väike, et sellesse investeerida, seetõttu loobusime kolmandast andmekeskusest. Meil oli üks kolimine: kolisime kolmandast andmekeskusest ühte kahest allesjäänud. Valisime järgmist lähenemist: andmekeskused peavad olema turul tuntud, usaldusväärsed (Tier III), et mõlemad asuksid Moskvas ja kaugel üksteisest.

Millistes andmekeskustes te praegu asute ja millisest olete loobunud?

Praegu oleme DataSpace'is ja 3Data-s. Loobusime ühest 3Data andmekeskusest.

Lahkume kolmandast andmekeskusest.

Kas rendite või ostetakse IP-aadresse?

Rendime.

Mis põhjusel valisite sellise lähenemise, mitte ostmise?

Suures plaanis, et kiiresti kasvada. Pakume klientidele virtuaalset infrastruktuuri, mille eest ei pea kohe suuri investeeringuid tegema, ja kulusid saab jagada kuude lõikes. Me endi jaoks järgime sama filosoofiat, mis meie kliendid — püüdleme laiendamise ja kiire skaleerimise poole.

Mida arvate IPv6-st?

Praegu ei ole me märganud olulist nõudlust, seega ei ole me seda enda jaoks lisanud, kuid arhitektuur selle väljaandmiseks on välja töötatud, oleme valmis seda kiiresti juurutama, kui saame aru, et nõudlus on olemas.

Te kasutate KVM-virtualiseerimist. Miks valisite selle? Kuidas see töötab?

Täpselt nii, kuid me ei kasuta "puhtat" KVM-i, vaid täisväärtuslikku, täiustatud virtualiseerimissüsteemi KVM-i baasil, mille on arendanud meie "vanem vend", sealhulgas andmesalvestussüsteem (SDS) ja programmipõhine võrk (SDN). Valisime selle, et ehitada võimalikult kindel toode ilma ühtseid rikete punkte. See toimib hästi, seni pole esinenud suuri probleeme produktsioonis. Alpha-testimise faasis, kui pakkusime teenuseid esimesele klientidele boonuspunkte eest, testisime tehnoloogiat ja kohtasime mitmeid ebameeldivusi, kuid viimase kahe aasta jooksul oleme palju mõistnud ja lahendanud.

Kas kasutate ülemüügitehingut? Kuidas kontrollite serveri koormust?

Ülemüügitehingut kasutame ainult protsessorite puhul, kuid mitte mingil juhul lämmastiku mälu puhul. Ieven, kui räägime füüsilistest protsessoritest, ei luba me nende koormust üle 75%. Kettade puhul töötame "õhukese" mahtuvuse eraldamisega. Meil on keskne monitooring kogu keskkonna jaoks, mis võimaldab koormust kontrollida. Kogu infrastruktuuri toe eest vastutavad kaks inseneri, seega püüame maksimaalselt automatiseerida ja koguda igasugust teavet süsteemi kohta. Kõik normist kõrvalekaldumised on kohe nähtavad, samas hindame periodaalselt ja uuendame koormust infrastruktuuris. Uuendamine toimub alati reaalajas, klientide jaoks nähtamatult.

Kui palju füüsilisi servereid teil praegu on? Kui tihti lisate uusi? Milliseid servereid kasutate?

Praegu on 76 serverit, uusi lisame umbes iga nelja-viie kuu tagant. Kasutame QCT, Intel, Supermicro.

Kas on olnud juhtumeid, kui klient tuli ja kasutas kõik jäänud ressursid, ja tuli kiiresti lisada servereid?

Ressursside osas ei ole sarnast juhtunud. Oleme kasvanud enam-vähem ühtlaselt. Kuid oli juhtum, kui kasutaja tuli ja soovis 50 IP-aadressi, igaüks eraldi plokis. Loomulikult pole meil hetkel midagi sarnast 🙂

Millised on teie kõige populaarsemad makseviisid? Mida kasutatakse kõige vähem?

Kõige populaarsemad makseviisid on pangakaart ja QIWI. Vähemalt kasutatakse vähem makseid ilma rahasiirdega juriidilistele isikutele, kuid need rahasiirded on kõige mahukat (ettevõtted maksavad tavaliselt suures mahus mitme kuu eest). Samuti jääb maha PayPal: alustades me ei lootnud välismaistele kasutajatele, kuid nad hakkasid ilmnema.

Boodet.online-l on kohandatud arveldussüsteem. Miks otsustasite kasutada sellist lahendust? Millised on plussid ja miinused? Kas selle arendamine oli keeruline?

Meie kogu süsteem on isesoodud. Olemasolevad platvormid ei tundunud meile UX osas kuigi mugavad, seetõttu otsustasime oma arendada. Arveldamine on lihtsalt üks mikroteenustest, mis kuuluvad süsteemi. Arendamine osutus keerulisemaks, kui alguses arvasime. Isegi mõnel hetkel pidime projekti käivitamist edasi lükkama, et jõuda tootma töövalmi toote, mille üle ei oleks häbi alfa-testimisel. Hiljem “omandasin” pikaajalise arenduse ja tootemanageerimise metodoloogia oskused. Nüüd on juba lihtsam lisada süsteemi uusi funktsioone ja tooteid.

Kui palju inimesi seda kõike arendas?

Kogu projekti jaoks on meil viis inimest, neist kaks arendajat (frontend ja backend). Backend on kirjutatud RoR/Pythonis. Frontend on JS.

Kuidas on organiseeritud kasutajatoe tugi? Kas see on ööpäevaringne või ainult tööaegadel? Kui palju tugiliine on saadaval? Millest kõige sagedamini küsitakse?

Meil on kolm sisenemispunkti: vestlus, telefon ja iseteeninduse süsteem. Kahe toetuse liin: kui vahetusinsener ei suuda probleemi lahendada, liitub tehniline direktor või arendustiim. Kui probleem on peamises platvormis, mis juhtub palju harvemini, siis tehniline direktor pöördub “vanema venna” toe poole. Öösel reageerime ainult tellijate kõnedele, kes ostavad eraldi tehnilist tuge, või platvormi tõrgetele, mis on teatatud spetsiaalselt kirjutatud botiga Telegramis.

Populaarsed küsimused:

1. Kas meie IP-d on saadaval Türkmenistanis (see on kõige populaarsem küsimus — ilmselt on riigis ranged blokeerimispoliitikad).
2. Kuidas paigaldada seda või teist tarkvara.
3. Kuidas saada root-juurdepääs (isegi masinate loomisel on tehtud spetsiaalne meelespea, kuid see ei aita alati).

Kas te viite klientide autentimist läbi? Kas spämmitajad ja muud kahtlased isikud ilmuvad sageli?

Autentimine e-posti ja telefoni kaudu (kui kasutaja aktiveerib 2FA). Spämmitajad ja muud kuritarvitajad ilmuvad regulaarselt. Oleme sunnitud reageerima ajutise blokeerimisega kompromiteeritud serveritele, kuna me ei soovi, et IP-d satuvad mustadesse nimekirjadesse. Kuid alati enne kirjutame kasutajale, et talle on kaebus esitatud, palume ühendust võtta ja probleemi arutada. Kui kasutaja ei reageeri või ilmnevad korduvad kaebused, blokeerime konto täielikult ja eemaldame serverid.

Kas klientidele toimub sageli DDoS-rünnakuid? Mida te sellistel juhtudel teete? Kas on olnud rünnakuid otseselt teie, teie veebisaidi või infrastruktuuri vastu?

Klientide rünnakud on üsna haruldased. Kuid meid rünnatakse sageli - veebisait, isiklik konto. Mõnikord tabavad nad võrku erinevate IP-aadresside kaudu. Me ei oska öelda, kes see on ja miks, siin võib olla mitu varianti. On isegi katseid meid seestpoolt rünnata. Varem, kui me tegime telefonivaatlust, andsime 100 rubla boonust, et tavalised kasutajad saaksid testida mis tahes konfiguratsioone. Kuid ühel päeval tuli kasutaja „SIM-kaartide kupatsi” ja ühest IP-st hakkas ta looma kümneid kontosid, saades neile boonuseid. Seega pidime automaatse testpunktide väljastamise lõpetama. Nüüd tuleb testimiseks esitada tehnilise toe taotlus, ja iga juhtum vaadatakse eraldi läbi.

Kuidas on korraldatud töö, kas on kontor või töötavad kõik kaugtööna?

Kontor on olemas, kuid koroonapiirangute algusega läksid kõik tööle kodust / suvilast / kodulinnast.

Meie kontor

Milline on teie hetke ettevõtte arengusuund?

Liigume uute teenuste lisamise suunas. Meil on ulatuslik tegevusplaan, me ei katkesta arendust ja igal teisel nädalal ilmub uus isikliku konto versioon. Lisame funktsioone ja teenuseid, mis on kolleegide seas nõutud, lisame seda, mida kliendid paluvad.

Kuidas te kliente leidsite? Kas aastane sisenemine ja väljumine on suur? Milline on kliendi keskmine 'eluiga'?

Klienditõmbekanali meie valdkonnas — see, mille peal kogu äri püsib, kui on olemas hea töötoode. Seetõttu ei ole me valmis jagama.

Klientide kaotuse määr, LTV ja elutsükkel on samuti üsna olulised näitajad, mida kasutame ainult sisemiseks analüüsiks, kuid mitte avalikustamiseks.

Kas saaksite anda lugejatele nõu hostingu valimiseks? Millele tuleks enne ostmist tähelepanu pöörata?

Peamine on valida hosting, mille nimi algab tähega 'B'.

Aga tõsiselt rääkides, on mitu tegurit, millele tuleks tähelepanu pöörata:

• Kvaliteedi mõistmiseks võite võtta keskmise konfiguratsiooni ja proovida sellel oma rakenduslikke ülesandeid lahendada. Valige hostingud, millel on tunni hind — saate testida servereid, kaotamata palju raha, kui kvaliteet ei rahulda.
• Vaadake andmekeskuseid, kus hostijal asuvad füüsilised serverid. Nende järgi saab umbkaudu hinnata teenuste kvaliteeti.
• Mitmekesiste hindade osas ei soovita tähelepanu pöörata: on superodavaid lahendusi, mis osutuvad heaks, ja superkalleid, mis ei erine millegi muu poolest.

Rääkige kõige meeldejäävamatest tööhetkedest.

Projekti algus. Esimese poolteise kuu jooksul töötasime režiimis 24/7: jälgisime, kuidas registreerimised kulgevad, kas iseteeninduskeskkonnas midagi ei purune, kuidas kasutajad käituvad, kas neil on mugav teenuseid tellida. Paljusid asju tuli lahendada jooksvalt, sealhulgas asendada tooteid teistega. Muudatused tehti kohe tootmises, vältides testimiskeskkondi. See oli pingeline periood, kuid suutsime ellu jääda ega loobunud sellest ettevõtmist.

Kasutajad, kes tulid loogilisi haavatavusi leidma. Oli huvitav neid kinni püüda ja haavatavusi kõrvaldada. Näiteks kui me veel ei töötanud raha eest, vaid andsime boonuseid, et kasutajad saaksid servereid tellida, jagati link meie kohta ühel häkkerite foorumil kommentaariga: 'annavad tasuta servereid 500 rubla eest'. Loomulikult vallutasid meid kohe kaevurite vennad, kes soovisid tasuta asju.

Kas saaksite koostada lühikese ajalooharu ettevõtte kohta?

• Aasta 2017 esimene pool — hakkasime arendama platvormi, veebisaiti ja iseteeninduskeskkonda Boodet.online.
• Aasta 2018 — alustasime alfa-testimist, pakkusime klientidele ressursse tasuta ja saime vastutasuks põhjalikke tagasiside ja testimise tulemusi.
• 2018. aasta keskpaik – käivitasime raha kasutava beetaversiooni. Esimesed sadade klientidega, katsetamine tehnilise toega.
• 2019. aasta – alustasime juriidiliste isikute värbamistegevust klientide seast, töötades kohandatud lahenduste kallal.
• 2020. aasta – kõik lähevad isoleerimisele, suureneb virtualiseerimise nõudlus. Me tunneme seda enda peal – toimub klientide kasv, mis võimaldab töötada suure hulga täiendavate teenuste kallal.

Allikas: habr.com