Volám sa Leonid a som vývojár webových stránok , preto ma vzhľadom na moje aktivity zaujímajú príbehy vzniku a rozvoja rôznych spoločností v oblasti hostingových služieb. Dnes by som rád predstavil rozhovor s Danilom a Dmitrijom, tvorcami hostingu . Budú hovoriť o štruktúre infraštruktúry, organizácii práce a svojich skúsenostiach s vývojom poskytovateľa virtuálnych serverov v Rusku.
Povedz nám o sebe pár slov. Ako ste sa dostali k hosťovaniu? Čo si robil pred týmto?
Do roku 2016 sme s Dmitrijom pracovali v podnikovom sektore vrátane spoločností ako Dell, HP, EMC. Pri analýze cloudového trhu v Rusku sme si uvedomili, že aktívne rastie, a rozhodli sme sa, že by sme mohli trhu ponúknuť zaujímavú ponuku. Tím ľudí, ktorí už medzi sebou spolupracovali na iných projektoch, sa dal dokopy a začali spoločne vyvíjať vlastnú virtualizačnú platformu zameranú na veľké podniky s ich špecifickými potrebami. Od roku 2018 sme súčasne spustili cloud hosting „pre každého“ a pridelili ho projektu tím piatich ľudí.
Stanica na uskladnenie a prípravu pred spustením
Funguje už tento projekt pre biznis alebo je stále vo vývoji?
Áno, funguje to paralelne – už teraz je tu väčší tím a viac sa bavíme o softvérových a hardvérových riešeniach pre IT infraštruktúru, nie o hostingu.
Teraz máte pomerne veľa rôznych služieb. Keď ste začínali, bol zoznam menší alebo rovnaký? Všetky tieto služby sú navyše v skutočnosti bežným virtuálnym serverom, ale je tu určité oddelenie.
Začali sme s klasickým IaaS: poskytli sme „holé“ virtuálne servery s uzavretými portami a k nim virtuálne siete, aby si používateľ mohol vytvoriť plnohodnotnú infraštruktúru. Po spustení sa však ukázalo, že väčšina používateľov nechápe, prečo takéto príležitosti potrebuje, a rozhodli sme sa predstaviť nový produkt pre nás - štandardné VDS/VPS, s ktorým je trh už oboznámený. Pre nás to bola v podstate odrezaná verzia produktu, no používatelia okamžite pochopili, čo to je, a začali sme dostávať prvých zákazníkov. Skúsenosti s veľkými spoločnosťami nás zrejme prinútili okamžite vyvinúť komplexnejšie a prispôsobené riešenie, zatiaľ čo masový trh chce jednoduchosť. A potom sme na základe VPS začali vyvíjať nové služby podľa toho, čo klienti najčastejšie žiadajú. A stále ho rozvíjame.
Kam umiestnite vybavenie? Vlastníte ho alebo si ho prenajímate? Ako ste si vybrali DC na umiestnenie? Boli nejaké prípady premiestnenia?
Všetko vybavenie je naše, prenajímame len priestory v dvoch dátových centrách. Začali sme s tromi dátovými centrami: chceli sme implementovať trojcestnú chybovú odolnosť, ale dopyt po nej bol v tom čase príliš malý na to, aby sme do toho investovali, a tak sme tretie dátové centrum opustili. Mali sme jeden presun: práve sme sa presúvali z tretieho dátového centra do jedného zo zvyšných dvoch. Boli vybrané podľa nasledujúceho princípu: DC by mali byť na trhu známe, spoľahlivé (Tier III), aby boli obe geograficky umiestnené v Moskve, v oblastiach vzdialených od seba.
V ktorých DC sa momentálne nachádzate a ktoré ste opustili?
Teraz sa nachádzame v DataSpace a 3Data. Opustili sme jedno z dátových centier 3Data.
Odchod z tretieho dátového centra
Prenajímate alebo kupujete IP adresy?
Prenajímame.
A z akého dôvodu ste zvolili tento prístup a nie nákup?
Vo všeobecnosti, aby rýchlo rástli. Klientom poskytujeme virtuálnu infraštruktúru, za ktorú nemusia hneď platiť kapitálové investície a náklady je možné rozpisovať mesačne. Sami sa držíme rovnakej filozofie ako naši klienti – snažíme sa o expanziu a rýchle škálovanie.
Čo si myslíte o IPv6?
Zatiaľ sme nezaznamenali žiadny výrazný dopyt, takže sme nepridali viac, ale výstupná architektúra je rozpracovaná, sme pripravení „spustiť“ v krátkom čase, akonáhle pochopíme, že existujú požiadavky .
Používate virtualizáciu KVM. Prečo ste si ju vybrali? Ako sa prejavuje v práci?
To je pravda, ale nepoužívame „nahé“ KVM, ale plnohodnotný, upravený virtualizačný systém založený na KVM, ktorý vyvinul náš „veľký brat“, vrátane systému ukladania údajov (SDS) a softvérovo definovanej siete (SDN) . Vybrali sme si ho na základe vytvorenia produktu s najvyššou odolnosťou voči chybám bez jediného zlyhania. Ukazuje sa dobre, zatiaľ sa vo výrobe nevyskytli žiadne globálne problémy. V štádiu alfa testovania na trhu, keď sme poskytovali služby prvým klientom za bonusové body, sme technológiu testovali a stretli sme sa s množstvom nepríjemných momentov, no za posledné dva roky sa nám podarilo mnohé pochopiť a vyriešiť.
Používate overselling? Ako kontrolujete zaťaženie servera?
Overselling používame len na procesory, no v žiadnom prípade na RAM. Ani v prípade fyzických procesorov nedovoľujeme, aby ich zaťaženie presiahlo 75 %. Podľa disku: pracujeme s „tenkým“ prideľovaním kapacity. Máme centralizovaný monitoring celého prostredia, čo nám umožňuje kontrolovať záťaž. Dvaja inžinieri sú zodpovední za podporu celej infraštruktúry, takže sa snažíme čo najviac automatizovať a zbierať všetky možné informácie o systéme. Akékoľvek odchýlky od bežnej prevádzky sú okamžite viditeľné a záťaž v rámci infraštruktúry pravidelne posudzujeme a vyvažujeme. Rebalansovanie prebieha vždy online, klienti si ho nevšimnú.
Koľko fyzických serverov v súčasnosti máte? Ako často pridávate nové? Aké servery používate?
V súčasnosti je to 76 serverov, nové pridávame približne každé štyri až päť mesiacov. Používame QCT, Intel, Supermicro.
Vyskytli sa prípady, keď prišiel klient a využil všetky zostávajúce voľné zdroje a vy ste museli urýchlene pridať servery?
So zdrojmi nič také nebolo. Zatiaľ rastieme viac-menej rovnomerne. Ale bol prípad, keď prišiel používateľ a chcel 50 IP, každú v samostatnom bloku. Samozrejme, nič také zatiaľ nemáme :)
Aké sú vaše najobľúbenejšie spôsoby platby? Čo sa používa najmenej?
Najpopulárnejšie sú banková karta a QIWI. Najmenej častá je platba bankovým prevodom v rámci ponuky pre právnické osoby, ale takéto prevody sú najrozsiahlejšie (firmy spravidla platia za solídne prostriedky niekoľko mesiacov). PayPal tiež zaostáva: na začiatku sme nerátali so zahraničnými používateľmi, no začali sa objavovať.
Boodet.online má vlastné vyúčtovanie. Prečo ste sa rozhodli použiť toto riešenie? Aké sú výhody a nevýhody? Bolo ťažké sa rozvíjať?
Celý náš systém má vlastný dizajn. Existujúce platformy sa nám z hľadiska UX nezdali príliš pohodlné, preto sme sa rozhodli vytvoriť a vyvinúť vlastnú. Fakturácia je len jednou z mikroslužieb, ktoré sú súčasťou systému. Vývoj sa ukázal byť náročnejší, ako sme si na začiatku mysleli. Dokonca v istom momente sme museli spustenie projektu odložiť, aby sme stihli pripraviť fungujúci produkt, ktorý by nebol trápny pre alfa testovanie. Následne získali kompetencie v metódach dlhodobého vývoja a produktového manažmentu. Teraz je jednoduchšie pridávať do systému nové funkcie a nové produkty.
Koľko ľudí toto všetko vyvinulo? Na čom si písal?
Na celý projekt máme päť ľudí, z toho dvaja sú vývojári (frontend a backend). Back je napísaný v RoR/Pythone. Vpredu je JS.
Ako je organizovaná podpora používateľov? Je otvorená XNUMX/XNUMX alebo len počas pracovnej doby? Koľko podporných liniek existuje? Čo sa vás pýtajú najčastejšie?
Máme tri vstupné body: chat, telefón a aplikačný systém z vášho osobného účtu. Dve línie podpory: ak službukonajúci inžinier nedokázal problém vyriešiť, zapojí sa technický riaditeľ alebo vývojový tím. Ak je problém v hlavnej platforme, čo sa stáva oveľa menej často, potom sa technický riaditeľ obráti na podporu „veľkého brata“. V noci reagujeme iba na hovory od zákazníkov, ktorí si zakúpia samostatné technické služby, alebo na poruchy platformy nahlásené prostredníctvom špeciálne napísaného bota v telegrame.
Najpopulárnejšie otázky:
- Sú naše IP adresy dostupné v Turkménsku (toto je úplne prvé v popularite - krajina má zrejme prísnu politiku blokovania).
- Ako nainštalovať tento alebo ten softvér.
- Ako získať prístup root (v rozhraní pri vytváraní strojov je dokonca špeciálna pripomienka, ale nie vždy to pomôže).
Overujete klientov? Objavujú sa často spameri a iné zlé postavy?
Overenie mailom a telefonicky (ak si užívateľ aktivuje 2FA). Spameri a iní zneužívatelia sa objavujú pravidelne. Sme nútení reagovať dočasným blokovaním napadnutých serverov, keďže nechceme, aby boli adresy IP na čiernej listine. Vždy ale používateľovi vopred napíšeme, že na neho bola doručená sťažnosť, a požiadame ho, aby ho kontaktoval a prediskutoval problém. Ak používateľ neodpovie, alebo sa objavia opakované sťažnosti, celý účet zablokujeme a servery vymažeme.
Stávajú sa DDoS útoky na zákazníkov často? Čo robíte v takýchto prípadoch? Došlo k útokom konkrétne na vás, vašu stránku alebo vašu infraštruktúru?
Klienti sú napadnutí pomerne zriedka. Ale my sami máme často webovú stránku, osobný účet. Niekedy pripájajú sieť k rôznym IP adresám. Nezaväzujeme sa posudzovať, kto to je a prečo, možností môže byť niekoľko. Existujú dokonca pokusy napadnúť nás zvnútra. Predtým sme pri overovaní telefonicky rozdali bonus sto rubľov, aby bežní používatelia mohli otestovať akúkoľvek konfiguráciu. Jedného dňa však prišiel používateľ s „balíkom SIM kariet“ a z jednej IP adresy začal vytvárať desiatky účtov a dostávať na nich bonusy. Preto sme museli odstrániť automatické pripočítavanie výsledkov testov. Teraz musíte odoslať žiadosť technickej podpore na testovanie a každý prípad posudzujeme samostatne.
Ako je organizovaná práca, je tam kancelária alebo všetci pracujú na diaľku?
Kancelária je, ale so začiatkom obmedzení kvôli koronavírusu išli všetci do práce z domu/dača/rodného mesta.
Naša kancelária
Aký je váš súčasný smer rozvoja spoločnosti?
Pokračujeme v pridávaní nových služieb. Máme rozsiahlu cestovnú mapu, neprerušujeme vývoj a každé dva týždne vychádza nová verzia osobného účtu. Pridávame funkcionalitu a služby, ktoré sú medzi kolegami žiadané, a pridávame to, čo klienti žiadajú.
Ako si zháňate klientov? Je za rok veľký prílev a odliv klientov? Aká je priemerná „životnosť“ zákazníka?
Kanály na prilákanie zákazníkov v našom odbore sú to, na čom spočíva celý biznis, ak existuje dobrý fungujúci produkt. Preto nie sme pripravení zdieľať.
Miera odchodu, LTV a životný cyklus sú tiež pomerne dôležité ukazovatele, ktoré používame iba na interné analýzy, ale nie na zverejňovanie.
Môžete čitateľom poradiť s výberom hostingovej služby? Na čo si dať pozor pred kúpou?
Najdôležitejšie je vybrať si hosting s písmenom „B“ na začiatku mena.
Ale vážne, existuje niekoľko faktorov, ktorým musíte venovať pozornosť:
- Ak chcete pochopiť kvalitu, môžete si vziať priemernú konfiguráciu a pokúsiť sa na nej vyriešiť problémy s aplikáciou. Vyberte si hosting s hodinovou sadzbou - môžete testovať servery bez straty peňazí, ak nie je kvalita uspokojivá.
- Pozrite sa na dátové centrá, kde má hostiteľ fyzické servery. Môžu sa použiť na približné posúdenie kvality služieb.
- Neodporúčame venovať pozornosť cenám: existujú super lacné riešenia, ktoré fungujú dobre, aj super drahé riešenia, ktoré nie sú ničím výnimočným.
Povedzte nám o svojich najpamätnejších pracovných chvíľach.
Začiatok projektu. Prvý mesiac a pol sme pracovali 24 hodín denne, 7 dní v týždni: pozerali sme sa na to, ako prebiehajú registrácie, či nie je niečo pokazené v rozhraní osobného účtu, ako sa správajú používatelia, či je pre nich výhodné objednávať si služby. Veľa sa muselo rozhodnúť za behu, dokonca až do tej miery, že sa niektoré produkty nahradili inými. Zmeny boli vykonané okamžite v produkcii, čím sa obišli testovacie prostredia. Bolo to napäté obdobie, ale dokázali sme to prežiť a nevzdať sa v tomto biznise.
Používatelia, ktorí prišli, hľadali slabé miesta v logike. Bolo zaujímavé ich chytiť a uzavrieť zraniteľné miesta. Napríklad, keď sme nepracovali pre peniaze, ale udeľovali sme bonusy, aby si používatelia mohli objednať servery, na jednom z hackerských fór bol uverejnený odkaz na nás s komentárom: „poskytujú bezplatné servery v hodnote 500 rubľov“. Samozrejme, že nás hneď zaplavili banícky chlapi hladní po grátisoch.
Mohli by ste poskytnúť stručnú časovú os histórie spoločnosti?
- Prvý polrok 2017 - začali sme rozvíjať platformu Boodet.online, webovú stránku a osobný účet.
- 2018 - vstúpil do alfa testovania, poskytol kapacitu zákazníkom zadarmo a na oplátku dostal rozsiahlu spätnú väzbu a výsledky testovania.
- Polovica roka 2018 – spustená beta verzia s peniazmi. Prvé stovky klientov, testovanie technickej podpory.
- 2019 - začali sme priťahovať právnické osoby ako klientov a pracovať na riešeniach na mieru.
- 2020 – všetci idú do sebaizolácie, dopyt po virtualizácii rastie. Sami to pociťujeme – pribúda klientov, čo umožňuje pracovať na veľkom množstve doplnkových služieb.
Zdroj: hab.com