Jmenuji se Leonid a jsem vývojář webových stránek , proto mě vzhledem ke svým aktivitám zajímají příběhy vzniku a rozvoje různých společností v oblasti hostingových služeb. Dnes bych rád představil rozhovor s Danilem a Dmitrym, tvůrci hostingu . Budou hovořit o struktuře infrastruktury, organizaci práce a svých zkušenostech s vývojem poskytovatele virtuálních serverů v Rusku.
Řekněte nám prosím pár slov o sobě. Jak jste se dostal k hostování? Co jsi dělal před tím?
Do roku 2016 jsme s Dmitrym pracovali v sektoru Enterprise, včetně společností jako Dell, HP, EMC. Při analýze cloudového trhu v Rusku jsme si uvědomili, že aktivně roste, a rozhodli jsme se, že bychom mohli trhu nabídnout zajímavou nabídku. Sešel se tým lidí, kteří již spolupracovali na jiných projektech a společně začali vyvíjet vlastní virtualizační platformu zaměřenou na velké podniky s jejich specifickými potřebami. Od roku 2018 jsme zároveň spustili cloud hosting „pro každého“ a alokovali jej pro projekt tým pěti lidí.
Předstartovní skladovací a přípravná stanice
Funguje tento projekt pro podnikání již nebo je stále ve vývoji?
Ano, funguje to paralelně – už je tu větší tým a bavíme se spíše o softwarových a hardwarových řešeních IT infrastruktury, ne o hostingu.
Nyní máte spoustu různých služeb. Když jste začínali, byl seznam menší nebo stejný? Navíc všechny tyto služby jsou vlastně běžným virtuálním serverem, ale je zde určité oddělení.
Začali jsme s klasickým IaaS: poskytli jsme „holé“ virtuální servery s uzavřenými porty a k nim virtuální sítě, aby si uživatel mohl vytvořit plnohodnotnou infrastrukturu pro sebe. Po uvedení se ale ukázalo, že většina uživatelů nechápe, proč takové příležitosti potřebuje, a rozhodli jsme se pro sebe představit nový produkt – standardní VDS/VPS, se kterým je trh již obeznámen. Pro nás to byla v podstatě odříznutá verze produktu, ale uživatelé okamžitě pochopili, o co jde, a začali jsme přijímat první zákazníky. Zkušenosti s velkými společnostmi nás zřejmě donutily okamžitě vyvinout složitější a přizpůsobené řešení, zatímco masový trh chce jednoduchost. A pak jsme na základě VPS začali vyvíjet nové služby podle toho, co klienti nejčastěji žádají. A stále to rozvíjíme.
Kam umístíte zařízení? Vlastníte ho nebo ho pronajímáte? Jak jste vybrali DC pro umístění? Vyskytly se nějaké případy stěhování?
Veškeré vybavení je naše, pronajímáme pouze prostory ve dvou datových centrech. Začali jsme se třemi datovými centry: chtěli jsme zavést třícestnou odolnost proti chybám, ale poptávka po ní byla v tu chvíli příliš malá na to, abychom do toho investovali, a tak jsme třetí datové centrum opustili. Měli jsme jeden přesun: právě jsme se stěhovali ze třetího datového centra do jednoho ze zbývajících dvou. Byly vybrány podle následujícího principu: DC by měly být na trhu známé, spolehlivé (Tier III), aby byly oba geograficky umístěny v Moskvě, v oblastech od sebe vzdálených.
Ve kterých DC se aktuálně nacházíte a které jste opustili?
Nyní se nacházíme v DataSpace a 3Data. Opustili jsme jedno z datových center 3Data.
Opuštění třetího datového centra
Pronajímáte nebo kupujete IP adresy?
Pronajímáme.
A z jakého důvodu jste zvolili tento přístup a ne nákup?
Celkově vzato, aby rychle rostly. Klientům poskytujeme virtuální infrastrukturu, za kterou nemusí hned platit kapitálové investice a náklady lze rozpisovat měsíčně. Sami se držíme stejné filozofie jako naši klienti – snažíme se o expanzi a rychlé škálování.
Co si myslíte o IPv6?
Zatím jsme nezaznamenali žádnou výraznou poptávku, takže jsme další nepřidávali, ale výstupní architektura je zpracovaná, jsme připraveni „spustit“ v krátké době, jakmile pochopíme, že existují požadavky .
Používáte virtualizaci KVM. Proč sis vybral ji? Jak se projevuje v práci?
To je pravda, ale nepoužíváme „nahé“ KVM, ale plnohodnotný, upravený virtualizační systém založený na KVM, který vyvinul náš „velký bratr“, včetně systému ukládání dat (SDS) a softwarově definované sítě (SDN) . Vybrali jsme jej na základě vytvoření produktu s nejvyšší odolností vůči poruchám bez jediného bodu selhání. Ukazuje se dobře, ve výrobě zatím nenastaly žádné globální problémy. Ve fázi alfa testování na trhu, kdy jsme poskytovali služby prvním klientům za bonusové body, jsme technologii testovali a setkali se s řadou nepříjemných momentů, ale za poslední dva roky se nám podařilo mnohé pochopit a vyřešit.
Používáte overselling? Jak kontrolujete zatížení serveru?
Overselling používáme pouze u procesorů, ale v žádném případě u RAM. Ani v případě fyzických procesorů nedovolujeme jejich vytížení překročit 75 %. Podle disku: pracujeme s „tenkým“ přidělováním kapacity. Máme centralizovaný monitoring celého prostředí, který nám umožňuje kontrolovat zátěž. Dva inženýři jsou zodpovědní za podporu celé infrastruktury, takže se snažíme co nejvíce automatizovat a shromažďovat všechny možné informace o systému. Jakékoli odchylky od běžného provozu jsou okamžitě viditelné a zátěž v rámci infrastruktury pravidelně vyhodnocujeme a vyrovnáváme. Rebalancování vždy probíhá online, bez povšimnutí klientů.
Kolik fyzických serverů v současné době máte? Jak často přidáváte nové? Jaké servery používáte?
V tuto chvíli je to 76 serverů, nové přidáváme zhruba každé čtyři až pět měsíců. Používáme QCT, Intel, Supermicro.
Vyskytly se případy, kdy přišel klient a zabral všechny zbývající volné zdroje a vy jste museli urychleně přidat servery?
U zdrojů nic takového nebylo. Zatím rosteme víceméně rovnoměrně. Ale byl případ, kdy přišel uživatel a chtěl 50 IP, každou v samostatném bloku. Samozřejmě nic takového zatím nemáme :)
Jaké jsou vaše nejoblíbenější platební metody? Co se používá nejméně?
Nejoblíbenější jsou bankovní karta a QIWI. Nejméně obvyklá je platba bankovním převodem v rámci nabídky pro právnické osoby, ale takové převody jsou nejrozsáhlejší (firmy zpravidla platí za solidní prostředky několik měsíců). PayPal také zaostává: na začátku jsme nepočítali se zahraničními uživateli, ale začali se objevovat.
Boodet.online má vlastní vyúčtování. Proč jste se rozhodli použít toto řešení? Jaké jsou výhody a nevýhody? Bylo těžké se rozvíjet?
Celý náš systém je naší vlastní konstrukce. Stávající platformy se nám z hlediska UX nezdály příliš pohodlné, proto jsme se rozhodli vytvořit a vyvinout vlastní. Fakturace je jen jednou z mikroslužeb, které jsou součástí systému. Vývoj se ukázal být obtížnější, než jsme si na začátku mysleli. I v určité chvíli jsme museli spuštění projektu odložit, abychom stihli připravit fungující produkt, který by nebyl trapný pro alfa testování. Následně získali kompetence v metodách dlouhodobého vývoje a produktovém managementu. Nyní je snazší přidávat do systému nové funkce a nové produkty.
Kolik lidí tohle všechno vyvinulo? Na čem jsi psal?
Na celý projekt máme pět lidí, z toho dva jsou vývojáři (frontend a backend). Back je napsán v RoR/Pythonu. Přední strana je JS.
Jak je organizována uživatelská podpora? Je otevřeno XNUMX/XNUMX nebo pouze v pracovní době? Kolik podpůrných linek existuje? Na co se nejčastěji ptáte?
Máme tři vstupní body: chat, telefon a aplikační systém z vašeho osobního účtu. Dvě linie podpory: pokud službukonající technik nebyl schopen problém vyřešit, zapojí se technický ředitel nebo vývojový tým. Pokud je problém v hlavní platformě, což se stává mnohem méně často, pak se technický ředitel obrátí na podporu „velkého bratra“. V noci reagujeme pouze na hovory od zákazníků, kteří si zakoupí samostatné technické služby, nebo na poruchy platformy hlášené prostřednictvím speciálně napsaného bota v Telegramu.
Nejoblíbenější otázky:
- Jsou naše IP adresy dostupné v Turkmenistánu (toto je úplně první v popularitě - zřejmě má země přísnou politiku blokování).
- Jak nainstalovat ten či onen software.
- Jak získat přístup root (při vytváření počítačů je v rozhraní dokonce speciální připomenutí, ale ne vždy to pomůže).
Ověřujete klienty? Objevují se často spameři a jiné špatné postavy?
Ověření poštou a telefonem (pokud si uživatel aktivuje 2FA). Pravidelně se objevují spameři a další zneužívající. Jsme nuceni reagovat dočasným blokováním napadených serverů, protože nechceme, aby byly IP adresy na černé listině. Vždy ale uživateli předem napíšeme, že na něj byla doručena stížnost, a požádáme ho, aby ho kontaktoval a problém probral. Pokud uživatel nereaguje, nebo se objevují opakované stížnosti, celý účet zablokujeme a servery smažeme.
Dochází k DDoS útokům na zákazníky často? Co v takových případech děláte? Došlo k útokům konkrétně na vás, váš web nebo vaši infrastrukturu?
Klienti jsou napadáni poměrně zřídka. Ale my sami máme často web, osobní účet. Někdy připojují síť k různým IP adresám. Nezavazujeme se posuzovat, kdo to je a proč, existuje několik možností. Existují dokonce pokusy napadnout nás zevnitř. Dříve jsme při ověřování po telefonu rozdali bonusových sto rublů, aby normální uživatelé mohli otestovat jakoukoli konfiguraci. Jednoho dne však přišel uživatel s „balíčkem SIM karet“ a z jedné IP adresy začal vytvářet desítky účtů a dostávat na ně bonusy. Proto jsme museli odstranit automatické načítání výsledků testů. Nyní je třeba odeslat žádost technické podpoře o testování a každý případ posuzujeme samostatně.
Jak je organizována práce, je tam kancelář nebo všichni pracují na dálku?
Je tam kancelář, ale se začátkem omezení kvůli koronaviru šli všichni do práce z domova/dachy/rodného města.
Naše kancelář
Jaký je váš současný vývoj pro společnost?
Směřujeme k přidávání nových služeb. Máme rozsáhlou cestovní mapu, nepřerušujeme vývoj a každé dva týdny vychází nová verze osobního účtu. Přidáváme funkčnost a služby, které jsou mezi kolegy žádané, a přidáváme to, co klienti požadují.
Jak sháníte klienty? Je za rok velký příliv a odliv klientů? Jaká je průměrná „životnost“ zákazníka?
Kanály pro přilákání zákazníků v našem oboru jsou tím, na čem spočívá celý byznys, pokud existuje dobrý fungující produkt. Proto nejsme připraveni sdílet.
Míra odchodu, LTV a životní cyklus jsou také poměrně důležité ukazatele, které používáme pouze pro interní analýzy, ale ne pro zveřejňování.
Můžete čtenářům poradit s výběrem hostingové služby? Na co si dát před nákupem pozor?
Nejdůležitější je vybrat hosting s písmenem „B“ na začátku názvu.
Ale vážně, existuje několik faktorů, kterým musíte věnovat pozornost:
- Chcete-li porozumět kvalitě, můžete vzít průměrnou konfiguraci a pokusit se na ní vyřešit problémy s aplikací. Vyberte si hosting s hodinovou sazbou – můžete testovat servery, aniž byste přišli o spoustu peněz, pokud kvalita není uspokojivá.
- Podívejte se na datová centra, kde má hostitel fyzické servery. Lze je použít k hrubému posouzení kvality služeb.
- Nedoporučujeme věnovat pozornost cenám: existují jak superlevná řešení, která fungují dobře, tak super drahá, která nejsou ničím výjimečným.
Řekněte nám o svých nejpamátnějších pracovních okamžicích.
Začátek projektu. První měsíc a půl jsme pracovali 24 hodin denně, 7 dní v týdnu: dívali jsme se, jak probíhají registrace, zda není něco rozbité v rozhraní osobního účtu, jak se uživatelé chovají, zda je pro ně výhodné objednávat služby. Hodně se muselo rozhodnout za běhu, dokonce až do té míry, že se některé produkty nahradily jinými. Změny byly provedeny okamžitě v produkci a obešly testovací prostředí. Bylo to napjaté období, ale dokázali jsme to přežít a nevzdat se tohoto podnikání.
Uživatelé, kteří přišli hledat zranitelnosti v logice. Bylo zajímavé je chytit a uzavřít zranitelnosti. Když jsme například nepracovali pro peníze, ale udělovali jsme bonusy, aby si uživatelé mohli objednávat servery, na jednom z hackerských fór byl zveřejněn odkaz na nás s komentářem: „poskytují zdarma servery v hodnotě 500 rublů“. Samozřejmě nás okamžitě zaplavili těžaři lačnící po zadarmo.
Mohl byste poskytnout stručnou časovou osu historie společnosti?
- První polovina roku 2017 - začali jsme vyvíjet platformu Boodet.online, web a osobní účet.
- 2018 – vstoupil do alfa testování, poskytl kapacitu zákazníkům zdarma a na oplátku obdržel rozsáhlou zpětnou vazbu a výsledky testování.
- Polovina roku 2018 – spuštěna beta verze s penězi. První stovky klientů, testování technické podpory.
- 2019 - začali jsme získávat právnické osoby jako klienty a pracovat na zakázkových řešeních.
- 2020 – všichni se dostávají do sebeizolace, poptávka po virtualizaci roste. Sami to pociťujeme – přibývá klientů, což umožňuje pracovat na velkém množství doplňkových služeb.
Zdroj: www.habr.com