A nevem Leonid, webfejlesztő vagyok. , ezért a tevékenységem révén érdeklődöm a különböző hostingcégek története iránt. Ma szeretném bemutatni Danil és Dmitrij interjúját, a Boodet.online társalapítóit. . Ők mesélnek az infrastruktúra felépítéséről, a munka megszervezéséről és tapasztalataikról az orosz virtuális szerver szolgáltató fejlesztésében.
Kérlek, mesélj kicsit magadról. Hogyan kerültél a hosting iparba? Mivel foglalkozott előtte?
2016 előtt én és Dmitrij is az Enterprise szektorban dolgoztunk, olyan cégeknél, mint a Dell, HP, EMC. Elemzőként a felhőpiacot vizsgálva Oroszországban láttuk, hogy aktívan növekszik, és úgy döntöttünk, hogy érdekes ajánlatot tudunk tenni a piacnak. Összeállt egy csapat, akik már más projekteken dolgoztak együtt, és közösen elkezdtük kidolgozni a saját virtualizációs platformunkat, amely a nagyvállalatokat célozza meg speciális igényeikkel. 2018 óta párhuzamosan elindítottuk a „mindenki számára” szánt felhő hostingot, egy öt fős csapatot létrehozva a projekthez. Öt fős csapat.
Az indulás előtti tárolás és előkészítés
Ez a projekt a vállalkozások számára már működik, vagy még fejlesztés alatt áll?
Igen, párhuzamosan működik — ott már egy nagyobb csapat dolgozik, és inkább IT-infrastruktúra szoftver- és hardvermegoldásairól van szó, nem csak a hostingen.
Jelenleg elég sok különböző szolgáltatást kínálatok. Amikor elkezdted a munkát, a lista rövidebb vagy ugyanolyan volt? Közben ezek a szolgáltatások alapvetően egy szokványos virtuális szervert képviselnek, de van egyfajta felosztás.
Kezdetben hagyományos IaaS-t biztosítottunk: a felhasználóknak "meztelen" virtuális szervereket kínáltunk zárt portokkal és virtuális hálózatokkal, hogy saját maguk állíthassák össze az infrastruktúrájukat. Azonban a piacra lépést követően kiderült, hogy a felhasználók többsége nem értette, mire van szükségük a lehetőségeknek, ezért úgy döntöttünk, hogy bevezetünk egy új terméket — a standard VDS/VPS-t, amivel a piac már ismerős. Számunkra ez gyakorlatilag egy leegyszerűsített termékverzió volt, de a felhasználók azonnal megértették, miről van szó, és megkezdtük az első ügyfelek megszerzését. Nyilvánvalóan a nagy cégekkel szerzett tapasztalatunk arra ösztönzött minket, hogy egy bonyolultabb, személyre szabott megoldást dolgozzunk ki, míg a tömegosztály az egyszerűséget keres. A VPS alapon folytattuk új szolgáltatások fejlesztését, figyelembe véve az ügyfelek által leggyakrabban kért igényeket. A mai napig is folytatjuk ezt a fejlődést.
Hol tárolják a berendezéseket? Az Önök tulajdonában vannak, vagy bérelnek? Hogyan választották ki az adatközpontot a tároláshoz? Volt példa költözésre?
Minden berendezés a miénk, csak helyet bérelünk két adatközpontban. Három adatközponttal kezdtünk: hármas redundanciát akartunk kialakítani, de abban a pillanatban a kereslet túl csekély volt ahhoz, hogy befektessünk, ezért a harmadik adatközponttól lemondtunk. Volt egy költözésünk: éppen a harmadik adatközpontból költöztünk az egyik megmaradó két központba. Az alapján választottunk: az adatközpontoknak ismertnek kellett lenniük a piacon, megbízhatóak (Tier III), és mindkettőnek Moszkvában kellett lennie, távol egymástól.
Mely adatközpontokban helyezkednek el most és melyiktől mondtak le?
Jelenleg a DataSpace és a 3Data adatközpontokban helyezkedünk el. Lemondtunk a 3Data egyik központjáról.
Elhagyjuk a harmadik adatközpontot.
IP címeket bérelnek vagy vásárolnak?
Béreljük.
Miért választották ezt a megközelítést a vásárlás helyett?
Alapvetően azért, hogy gyorsan növekedhessünk. Ügyfeleinknek olyan virtuális infrastruktúrát biztosítunk, amelyért nem kell azonnal tőkebefektetéseket eszközölni, és a költségeket havonta is szét lehet osztani. Mi magunk is azt a filozófiát követjük, mint ügyfeleink — az expanzióra és a gyors méretezésre törekszünk.
Mit gondol az IPv6-ról?
Eddig nem észleltünk jelentős keresletet, ezért nem is adtunk hozzá, de az architektúra kidolgozva van, készen állunk arra, hogy rövid időn belül bevezetjük, amint úgy érezzük, hogy szükség van rá.
KVM virtualizációt használ. Miért ezt választotta? Milyen tapasztalatai vannak a működésével kapcsolatban?
Ez helyes, de mi nem "meztelen" KVM-et használunk, hanem egy teljeskörűen kifejlesztett KVM-alapú virtualizációs rendszert, amelyet a "nagyobb testvérünk" fejlesztett, beleértve az adattároló rendszert (SDS) és a szoftverrel definiált hálózatot (SDN). Azért választottuk ezt, hogy a lehető legnagyobb megbízhatóságú terméket építsük fel, egyetlen hibahely nélkül. Jól teljesít, eddig nem voltak globális problémák a termelésben. Az alfa tesztelési szakaszban a piacon, amikor első ügyfeleinknek bónusz pontokért szolgáltattunk, próbára tettük a technológiát és több kellemetlen helyzetet is tapasztaltunk, de az utolsó két évben sok mindent sikerült megérteni és megoldani.
Alkalmaznak túljelentkezést? Hogyan ellenőrzik a szerverek terhelését?
Csak a processzoroknál alkalmazunk túljelentkezést, de a RAM-nál semmiképpen sem. Még a fizikai processzorok esetén sem engedjük, hogy a terhelésük 75%-nál magasabb legyen. A tárolók esetében: "vékony" kapacitáskihasználást alkalmazunk. Központi megfigyelő rendszert működtetünk, amely lehetővé teszi a terhelés ellenőrzését. A teljes infrastruktúra karbantartásáért két mérnök felel, ezért igyekszünk a lehető legjobban automatizálni magunkat és mindenféle rendszert érintő információt gyűjteni. Bármilyen eltérés a normál működéstől azonnal látható, és időszakosan értékeljük és újraelosztjuk a terhelést az infrastruktúrán belül. Az újraelosztás mindig online történik, a kliensek számára észrevétlenül.
Jelenleg hány fizikai szerverük van? Milyen gyakran adnak hozzá újakat? Milyen szervereket használnak?
Jelenleg 76 szerverünk van, újakat körülbelül négy-öt havonta adunk hozzá. A QCT, Intel, Supermicro-t használjuk.
Volt már olyan eset, amikor egy ügyfél az összes fennmaradó szabad erőforrást elfoglalta, és sürgősen új szervereket kellett hozzáadni?
Erőforrások szempontjából ilyen még nem történt. Jelenleg egyenletesen növekszünk. De volt egy eset, amikor egy felhasználó 50 IP címet kért, mindegyiket külön blokkban. Nyilvánvalóan ilyennel eddig még nem rendelkezünk 🙂
Mik a legnépszerűbb fizetési módjaik? Mi az, amit a legkevésbé használnak?
A legnépszerűbbek — bankkártya és QIWI. A legkevésbé — a jogi személyek számára történő, szerződéses átutalással történő kifizetés, viszont ezek a legnagyobb volumenűek (a cégek jellemzően nagyobb erőforrásokért fizetnek hónapok óta). A PayPal is lemarad: a kezdetekkor nem számítottunk külföldi felhasználókra, de ők is elkezdtek megjelenni.
A Boodet.online saját fejlesztésű billing rendszert alkalmaz. Miért döntöttetek e megoldás mellett? Milyen előnyei és hátrányai vannak? Mennyire volt nehéz a fejlesztés?
Nálunk alapvetően az egész rendszer saját fejlesztés. A meglévő platformok nem bizonyultak nagyon kényelmesnek UX szempontból, ezért úgy döntöttünk, hogy sajátot készítünk és fejlesztjük. A billing csak az egyik mikroszolgáltatás, ami a rendszer részét képezi. Nehezebbnek bizonyult a fejlesztés, mint ahogy a kezdetben gondoltuk. Volt, amikor a projekt elindítását is el kellett halasztanunk, hogy felkészült terméket tudjunk bemutatni, amire nem lenne szégyen az alfa tesztelés során. Később kompetenciákat szereztünk a hosszú távú fejlesztési metódusokról és a termékmenedzsmentről. Ma már könnyebb új funkciókat és új termékeket hozzáadni a rendszerhez.
Hány ember dolgozott mindezen? Mivel írták?
Összesen öt ember dolgozik a projekten, közülük kettő fejlesztő (frontend és backend). A hátteret RoR/Python nyelven programozták. A frontend JS.
Hogyan van megszervezve a felhasználói támogatás? Éjjel-nappal elérhető, vagy csak munkaidőben? Hány támogatási vonal van? Miről kérdeznek a leggyakrabban?
Három belépési pontunk van: chat, telefon és a személyes fiókból indítható jegyrendszer. Két támogatási vonal működik: ha a szolgálatban lévő mérnök nem tudja megoldani a problémát, a műszaki igazgató vagy a fejlesztőcsapat csatlakozik. Ha a probléma az alap platformmal van, ami sokkal ritkábban fordul elő, a műszaki igazgató a „nagy testvér” támogatásához fordul. Éjszaka csak a külön technikai karbantartást vásárló ügyfelek hívásaira reagálunk, vagy a platform hibáira, amelyeket egy Telegramon írt bot által jelentettek.
A leggyakoribb kérdések:
- Elérhetők-e az IP címeink Türkmenisztánban (ez a legelső a népszerűségi listán — nyilvánvalóan szigorú blokk politikájuk van az országban).
- Hogyan telepíthető egy vagy másik szoftver.
- Hogyan lehet root hozzáférést kapni (még egy speciális emlékeztető is készült a gépek létrehozásakor, de ez sem mindig segít).
Végrehajtotok ügyfél-ellenőrzést? Gyakran felbukkannak spammer-ek és egyéb nemkívánatos személyek?
Ellenőrzés e-mailben és telefonon (ha a felhasználó aktiválja a 2FA-t). A spammer-ek és más visszaélések időről időre megjelennek. Kényszerülünk ideiglenes blokkolásra a kompromittált szerverekkel, mivel nem akarjuk, hogy az IP-k feketelistára kerüljenek. Mindig előtte értesítjük a felhasználót, hogy panaszt érkezett róla, és kérjük, lépjen kapcsolatba velünk, hogy megbeszéljük a problémát. Ha a felhasználó nem reagál, vagy újabb panaszok érkeznek, teljesen blokkoljuk a fiókot és eltávolítjuk a szervereket.
Gyakran előfordulnak DDoS-támadások az ügyfeleknél? Mit tesztek ilyen esetekben? Volt már támadás konkrétan rátok, az oldalra vagy az infrastruktúrára?
Az ügyfelek ritkán vannak támadások célpontjában. De minket gyakran támadnak - az oldalunkat, a felhasználói fiókunkat. Néha a hálózatot támadják különböző IP-címekről. Nem tudjuk megítélni, hogy ki teszi ezt és miért, sok lehetőség van. Előfordult, hogy belső támadásokat is próbáltak indítani ellenünk. Korábban, amikor telefonos ellenőrzést végeztünk, 100 forintos bónuszokat adtunk, hogy a normális felhasználók kipróbálhassák a konfigurációkat. De egyszer egy felhasználó megjelent egy "SIM-kártya halommal" és egy IP címről tucatnyi fiókot hozott létre, hogy bónuszokat gyűjtsön. Ezért el kellett távolítanunk az automatikus bónusz-felhalmozást. Most a teszteléshez kérvényt kell benyújtani a technikai támogatásnak, és minden esetet külön vizsgálunk.
Hogyan van megszervezve a munka, van iroda, vagy mindenki távmunkában dolgozik?
Van iroda, de a koronavírus miatt bevezetett korlátozások kezdetén mindenki otthonról / nyaralóból / szülővárosából dolgozik.
A mi irodánk
Milyen iránya van a cég fejlődésének most?
Új szolgáltatások hozzáadása felé haladunk. Széleskörű ütemtervünk van, nem állítjuk le a fejlesztést, és kétévente új verzió jelenik meg a felhasználói fiókból. Olyan funkciókat és szolgáltatásokat adunk hozzá, amelyek népszerűek a kollégák körében, és ami a felhasználók kérnek.
Hogyan találtok ügyfeleket? Mekkora az ügyféláramlás évente? Mekkora az ügyfél „élettartama” átlagosan?
Az ügyfélszerzési csatornák a mi területünkön - amire az egész üzlet támaszkodik, ha van működő jó termék. Ezért nem vagyunk hajlandók megosztani.
A churn rate, LTV és az ügyfél élettartama is viszonylag fontos mutatók, amelyeket csak belső elemzéshez használunk, de nem nyilvánosságra hozunk.
Tudna néhány tanácsot adni az olvasóknak a megfelelő tárhely kiválasztásához? Milyen szempontokra érdemes figyelni a vásárlás előtt?
A legfontosabb az, hogy olyan tárhelyszolgáltatót válasszunk, amelynek neve „B” betűvel kezdődik.
Ha komolyan vesszük, több tényezőre is figyelni kell:
- A minőség megértéséhez érdemes egy átlagos konfigurációt választani, és kipróbálni a saját alkalmazási feladataink megoldására. Olyan tárhelyszolgáltatókat keressünk, akik óradíjas tarifát kínálnak — így tesztelhetjük a szervereket, anélkül hogy sokat veszítenénk, ha a minőség nem megfelelő.
- Nézd meg a fizikai szerverek elhelyezkedését a szolgáltató adatközpontjaiban. Ez alapján körülbelül megítélhetjük a szolgáltatások minőségét.
- Nem javasolnám, hogy a árakra figyeljünk: vannak szuperolcsó megoldások, amelyek jól teljesítenek, és vannak nagyon drága szolgáltatások, amelyek nem különböznek lényegesen.
Mesélj a legemlékezetesebb munkafolyamataidról.
A projekt kezdete. Az első másfél hónapban 24/7-es üzemmódban dolgoztunk: figyeltük, hogyan alakulnak a regisztrációk, nem történt-e hiba a felhasználói fiók felületén, hogyan viselkednek a felhasználók, hogy kényelmes-e számukra a szolgáltatások rendelése. Sok mindent azonnali megoldást igényelt, egészen odáig, hogy egyik terméket a másikkal kellett helyettesítenünk. A változtatásokat azonnal élesben hajtottuk végre, elkerülve a tesztkörnyezeteket. Ez egy feszített időszak volt, de sikerült túlélnünk és nem feladnunk.
Olyan felhasználók, akik a logikai sebezhetőségeket keresték. Érdekes volt őket levadászni és bezárni a sebezhetőségeket. Például amikor még nem pénzért dolgoztunk, hanem bónuszokat adtunk, hogy a felhasználók rendeljenek szervereket, a hivatkozásunkat megosztották egy hacker fórumon azzal a megjegyzéssel: „ingyen adnak szervereket 500 rubelért”. Természetesen ezután megrohamoztak minket a kriptovaluta bányászó srácok, akik a ingyenes ajánlatra vágytak.
Össze tudná foglalni a cég történetét egy rövid kronológiában?
- A 2017-es év első felében — elkezdtük fejleszteni a platformot, a weboldalt és a Boodet.online felhasználói felületét.
- 2018 — elkezdtük az alfa tesztelést, ingyenes erőforrásokat biztosítva az ügyfeleknek, és részletes visszajelzéseket, valamint tesztelési eredményeket kaptunk cserébe.
- 2018. év közepe — elindítottuk a béta verziót pénzes megoldásokkal. Az első száz ügyfél, a műszaki támogatás tesztelése.
- 2019 — elkezdtük a jogi személyek bevonását, és dolgoztunk testreszabott megoldásokon.
- 2020 — mindenki önizolációra kényszerül, nő a kereslet a virtualizáció iránt. Ezt mi is érzékeljük — ügyfélszám növekedés tapasztalható, ami lehetővé teszi, hogy számos további szolgáltatáson dolgozzunk.
Forrás: habr.com
