Mano vardas Leonidas, aš esu svetainių kūrėjas , todėl dėl savo veiklos domiuosi įvairių hostingo paslaugų srities įmonių kūrimosi ir plėtros istorijomis. Šiandien norėčiau pateikti interviu su Danilu ir Dmitrijumi, prieglobos kūrėjais . Jie kalbės apie infrastruktūros struktūrą, darbo organizavimą ir savo patirtį kuriant virtualių serverių tiekėją Rusijoje.
Papasakok keletą žodžių apie save. Kaip atsidūrėte prie hostingo? Ką veikei prieš tai?
Iki 2016 m. Dmitrijus ir aš dirbome įmonių sektoriuje, įskaitant tokiose įmonėse kaip Dell, HP, EMC. Analizuodami debesų rinką Rusijoje supratome, kad ji aktyviai auga, ir nusprendėme, kad galime pateikti įdomų pasiūlymą rinkai. Grupė žmonių, jau dirbusių vieni su kitais prie kitų projektų, susibūrė ir kartu pradėjo kurti savo virtualizacijos platformą, skirtą didelėms įmonėms, turinčioms specifinius poreikius. Nuo 2018 m. vienu metu pradėjome prieglobą debesyje „visiems“ ir skyrėme projektui penkių žmonių komanda.
Sandėliavimo ir paruošimo stotis prieš paleidimą
Ar šis verslui skirtas projektas jau veikia ar dar tik kuriamas?
Taip, veikia lygiagrečiai – jau yra didesnė komanda, o mes daugiau kalbame apie IT infrastruktūros programinius ir techninius sprendimus, o ne apie hostingą.
Dabar turite daug įvairių paslaugų. Kai pradėjote, sąrašas buvo mažesnis ar toks pat? Be to, visos šios paslaugos iš tikrųjų yra įprastas virtualus serveris, tačiau yra tam tikras atskyrimas.
Pradėjome nuo klasikinio IaaS: aprūpinome „plukus“ virtualius serverius su uždarais prievadais ir virtualiais tinklais, kad vartotojas galėtų pats susikurti visavertę infrastruktūrą. Tačiau po pristatymo paaiškėjo, kad dauguma vartotojų nesuprato, kam jiems reikia tokių galimybių, todėl nusprendėme pristatyti sau naują produktą – standartinį VDS/VPS, su kuriuo rinka jau pažįstama. Mums tai iš esmės buvo sumažinta produkto versija, tačiau vartotojai iškart suprato, kas tai yra, ir mes pradėjome priimti savo pirmuosius klientus. Matyt, mūsų patirtis su didelėmis įmonėmis privertė mus nedelsiant sukurti sudėtingesnį ir pritaikytą sprendimą, o masinė rinka nori paprastumo. Ir tada, remdamiesi VPS, pradėjome kurti naujas paslaugas pagal tai, ko klientai dažniausiai prašo. Ir mes vis dar jį vystome.
Kur dedate įrangą? Ar jums priklauso, ar nuomojatės? Kaip pasirinkote DC vietą? Ar buvo perkėlimo atvejų?
Visa įranga yra mūsų, nuomojame patalpas tik dviejuose duomenų centruose. Pradėjome nuo trijų duomenų centrų: norėjome įdiegti trijų krypčių gedimų toleranciją, tačiau jo paklausa tuo metu buvo per maža, kad būtų galima į tai investuoti, todėl trečiojo duomenų centro atsisakėme. Turėjome vieną žingsnį: tik persikėlėme iš trečiojo duomenų centro į vieną iš likusių dviejų. Jie buvo parinkti vadovaujantis tokiu principu: DC turi būti žinomi rinkoje, patikimi (III pakopa), kad abu būtų geografiškai išsidėstę Maskvoje, vienas nuo kito nutolusiose srityse.
Kuriuose DC šiuo metu esate ir kurių palikote?
Dabar esame „DataSpace“ ir „3Data“. Atsisakėme vieno iš 3Data duomenų centrų.
Išeinant iš trečiojo duomenų centro
Nuomojate ar perkate IP adresus?
Nuomojame.
Ir dėl kokios priežasties pasirinkote šį būdą, o ne pirkote?
Apskritai, greitai augti. Klientams suteikiame virtualią infrastruktūrą, už kurią nereikia iš karto mokėti kapitalo investicijų, o išlaidas galima išskaidyti kas mėnesį. Mes patys laikomės tos pačios filosofijos kaip ir mūsų klientai – siekiame plėtros ir spartaus masto.
Ką manote apie IPv6?
Kol kas didelės paklausos nepastebėjome, todėl daugiau nepridėjome, bet išvesties architektūra sutvarkyta, esame pasiruošę „išriedėti“ per trumpą laiką, kai tik suprasime, kad yra užklausų .
Naudojate KVM virtualizavimą. Kodėl pasirinkai ją? Kaip ji save parodo darbe?
Teisingai, bet mes naudojame ne „pliką“ KVM, o visavertę, modifikuotą KVM pagrindu sukurtą virtualizacijos sistemą, kurią sukūrė mūsų „didysis brolis“, įskaitant duomenų saugojimo sistemą (SDS) ir programinės įrangos apibrėžtą tinklą (SDN). . Pasirinkome jį atsižvelgdami į tai, kad sukūrėme labiausiai gedimams atsparų gaminį be jokių gedimų. Pasirodo puikiai, kol kas gamyboje jokių globalių problemų nekilo. Alfa testavimo rinkoje stadijoje, kai teikėme paslaugas pirmiesiems klientams už premijinius taškus, išbandėme technologiją ir susidūrėme su daugybe nemalonių akimirkų, tačiau per pastaruosius dvejus metus pavyko daug ką suprasti ir išspręsti.
Ar naudojate perpardavimą? Kaip kontroliuojate serverio apkrovą?
Perpardavimą naudojame tik procesoriams, bet jokiu būdu ne RAM. Net ir fizinių procesorių atveju neleidžiame, kad jų apkrova viršytų 75%. Pagal diską: dirbame su „plonu“ talpos paskirstymu. Turime centralizuotą visos aplinkos stebėjimą, kuris leidžia kontroliuoti apkrovą. Du inžinieriai yra atsakingi už visos infrastruktūros palaikymą, todėl stengiamės kuo labiau automatizuoti ir surinkti visą įmanomą informaciją apie sistemą. Bet kokie nukrypimai nuo normalios eksploatacijos matomi iš karto, periodiškai įvertiname ir subalansuojame infrastruktūros apkrovą. Subalansavimas visada vyksta internetu, klientų nepastebimas.
Kiek fizinių serverių šiuo metu turite? Kaip dažnai pridedate naujų? Kokius serverius naudojate?
Šiuo metu yra 76 serveriai, mes pridedame naujus maždaug kas keturis ar penkis mėnesius. Naudojame QCT, Intel, Supermicro.
Ar buvo atvejų, kai klientas atėjo ir pasiėmė visus likusius laisvus išteklius, o jums teko skubiai pridėti serverius?
Su ištekliais tokio dalyko nebuvo. Kol kas augame daugmaž tolygiai. Bet buvo atvejis, kai atėjo vartotojas ir norėjo 50 IP, kiekvienas atskirame bloke. Žinoma, kol kas nieko panašaus neturime :)
Kokie yra jūsų populiariausi mokėjimo būdai? Kas rečiausiai naudota?
Populiariausios yra banko kortelė ir QIWI. Rečiausiai paplitęs atsiskaitymas banko pavedimu pagal pasiūlymą juridiniams asmenims, tačiau tokie pervedimai yra patys didžiausi (įmonės už solidžius išteklius paprastai moka kelis mėnesius). „PayPal“ taip pat atsilieka: iš pradžių nesitikėjome užsienio vartotojais, tačiau jie pradėjo atsirasti.
Boodet.online turi savarankiškai parašytą atsiskaitymą. Kodėl nusprendėte naudoti šį sprendimą? Kokie yra pliusai ir minusai? Ar buvo sunku tobulėti?
Visa mūsų sistema yra mūsų pačių sukurta. Esamos platformos mums nepasirodė labai patogios UX požiūriu, todėl nusprendėme kurti ir vystyti savo. Atsiskaitymas yra tik viena iš mikropaslaugų, kurios yra sistemos dalis. Plėtra pasirodė sunkesnė, nei manėme pradžioje. Netgi tam tikru momentu turėjome atidėti projekto paleidimą, kad spėtume paruošti veikiantį produktą, kuris nebūtų gėdingas alfa testavimui. Vėliau jie įgijo ilgalaikės plėtros metodų ir produktų valdymo kompetencijų. Dabar lengviau pridėti naujų funkcijų ir naujų produktų į sistemą.
Kiek žmonių visa tai sukūrė? ant ko parašei?
Visam projektui turime penkis žmones, iš kurių du yra kūrėjai (frontend ir backend). Atgal parašyta RoR/Python. Priekyje yra JS.
Kaip organizuojamas vartotojų palaikymas? Ar dirba visą parą, ar tik darbo valandomis? Kiek yra palaikymo linijų? Ko tavęs dažniausiai klausia?
Turime tris įėjimo taškus: pokalbį, telefoną ir prašymų sistemą iš jūsų asmeninės paskyros. Dvi paramos kryptys: jei budintis inžinierius nesugebėjo išspręsti problemos, įsitraukia techninis direktorius arba plėtros komanda. Jei problema yra pagrindinėje platformoje, o tai nutinka daug rečiau, tada techninis direktorius kreipiasi į „didžiojo brolio“ palaikymą. Naktį reaguojame tik į klientų, perkančių atskiras technines paslaugas, skambučius arba į platformos gedimus, apie kuriuos pranešama per specialiai parašytą „Telegram“ robotą.
Populiariausi klausimai:
- Ar mūsų IP yra Turkmėnistane (tai pirmasis pagal populiarumą – matyt, šalyje taikoma griežta blokavimo politika).
- Kaip įdiegti tą ar kitą programinę įrangą.
- Kaip gauti root prieigą (kuriant mašinas sąsajoje netgi yra specialus priminimas, bet tai ne visada padeda).
Ar tikrinate klientus? Ar dažnai pasirodo šiukšlių siuntėjai ir kiti blogi veikėjai?
Patvirtinimas paštu ir telefonu (jei vartotojas suaktyvina 2FA). Periodiškai pasirodo šiukšlių siuntėjai ir kiti piktnaudžiautojai. Esame priversti reaguoti laikinai blokuodami pažeistus serverius, nes nenorime, kad IP adresai būtų įtraukti į juodąjį sąrašą. Bet mes visada iš anksto parašome vartotojui, kad prieš jį buvo gautas skundas, ir prašome susisiekti su juo ir aptarti problemą. Jei vartotojas neatsako arba pasikartoja skundai, blokuojame visą paskyrą ir ištriname serverius.
Ar dažnai pasitaiko DDoS atakų prieš klientus? Ką daryti tokiais atvejais? Ar buvo atakų konkrečiai prieš jus, jūsų svetainę ar infrastruktūrą?
Klientai puolami gana retai. Bet mes patys dažnai turime svetainę, asmeninę paskyrą. Kartais jie prijungia tinklą prie skirtingų IP adresų. Mes nesiimame spręsti, kas tai yra ir kodėl, gali būti keletas variantų. Netgi bandoma mus pulti iš vidaus. Anksčiau tikrindami telefonu suteikdavome šimtą rublių premiją, kad paprasti vartotojai galėtų išbandyti bet kokią konfigūraciją. Tačiau vieną dieną vartotojas atėjo su „SIM kortelių paketu“ ir iš vieno IP pradėjo kurti dešimtis paskyrų, gaudamas už jas premijas. Todėl turėjome pašalinti automatinį testų balų kaupimą. Dabar turite pateikti prašymą techninei pagalbai atlikti bandymus, o mes kiekvieną atvejį svarstome atskirai.
Kaip organizuojamas darbas, ar yra biuras, ar visi dirba nuotoliniu būdu?
Yra biuras, bet prasidėjus apribojimams dėl koronaviruso, visi ėjo į darbą iš namų/vasarnamio/gimtojo miesto.
Mūsų biuras
Kokia jūsų dabartinė įmonės plėtros kryptis?
Judame link naujų paslaugų. Turime platų planą, nepertraukiame kūrimo ir kas dvi savaites išleidžiamas naujas asmeninės paskyros leidimas. Pridedame funkcionalumą ir paslaugas, kurios yra paklausios tarp kolegų, ir pridedame tai, ko prašo klientai.
Kaip surandate klientų? Ar yra didelis klientų antplūdis ir nutekėjimas per metus? Kokia yra vidutinė kliento „gyvenimo trukmė“?
Mūsų srities klientų pritraukimo kanalai yra tai, kuo remiasi visas verslas, jei yra veikiantis geras produktas. Todėl nesame pasiruošę dalintis.
Churn rate, LTV ir gyvavimo ciklas taip pat yra gana svarbūs rodikliai, kuriuos naudojame tik vidinei analizei, bet ne atskleidimui.
Ar galite patarti skaitytojams, kaip pasirinkti prieglobos paslaugą? Į ką reikėtų atkreipti dėmesį prieš perkant?
Svarbiausia pasirinkti hostingą su raide „B“ vardo pradžioje.
Bet jei rimtai, yra keletas veiksnių, į kuriuos reikia atkreipti dėmesį:
- Norėdami suprasti kokybę, galite paimti vidutinę konfigūraciją ir pabandyti išspręsti programos problemas. Rinkitės prieglobą su valandiniu įkainiu – galite išbandyti serverius neprarasdami daug pinigų, jei kokybė netenkina.
- Pažiūrėkite į duomenų centrus, kuriuose prieglobos serveris turi fizinius serverius. Pagal juos galima apytiksliai įvertinti paslaugų kokybę.
- Nerekomenduojame kreipti dėmesio į kainas: yra ir itin pigių sprendimų, kurie puikiai veikia, ir itin brangių, niekuo neypatingų.
Papasakokite apie įsimintiniausias darbo akimirkas.
Projekto pradžia. Pirmą pusantro mėnesio dirbome 24/7: žiūrėjome, kaip vyksta registracijos, ar kas nors nesugedo asmeninės paskyros sąsajoje, kaip elgiasi vartotojai, ar patogu jiems užsisakyti paslaugas. Daug ką teko nuspręsti žaibiškai, net iki vieno gaminio pakeitimo kitais. Pakeitimai buvo nedelsiant atlikti gamyboje, apeinant bandomąsias aplinkas. Tai buvo įtemptas laikotarpis, bet pavyko išgyventi ir neapleisti šio verslo.
Vartotojai, kurie atėjo ieškodami logikos spragų. Buvo įdomu juos pagauti ir uždaryti pažeidžiamumą. Pavyzdžiui, kai dirbome ne dėl pinigų, o skyrėme premijas, kad vartotojai galėtų užsisakyti serverius, viename iš įsilaužėlių forumų buvo paskelbta nuoroda į mus su komentaru: „Jie duoda nemokamus serverius, kurių vertė 500 rublių“. Žinoma, mus iš karto užplūdo kalnakasiai, alkani dovanų.
Ar galėtumėte trumpai apibūdinti įmonės istoriją?
- Pirmasis 2017 metų pusmetis – pradėjome kurti Boodet.online platformą, svetainę ir asmeninę paskyrą.
- 2018 m. – pradėtas alfa testavimas, klientams suteikta galimybė nemokamai, o mainais gauti išsamūs atsiliepimai ir testavimo rezultatai.
- 2018 m. vidurys – išleista beta versija su pinigais. Pirmieji šimtai klientų, techninės pagalbos testavimas.
- 2019 - pradėjome pritraukti juridinius asmenis kaip klientus ir dirbti su individualiais sprendimais.
- 2020 m. – visi eina į saviizoliaciją, auga virtualizacijos poreikis. Tai jaučiame ir patys – daugėja klientų, todėl galima dirbti su daugybe papildomų paslaugų.
Šaltinis: www.habr.com