Jmenuji se Leonid, jsem vývojář webu , proto se ve svém oboru zajímám o příběhy vzniku a vývoje různých společností v oblasti hostingových služeb. Dnes chci představit rozhovor s Danilem a Dmitrijem — zakladateli hostingu . Ti nám poví o struktuře infrastruktury, organizaci práce a svých zkušenostech s rozvojem poskytovatele virtuálních serverů v Rusku.
Povězte nám prosím pár slov o sobě. Jak jste se dostali do hostingu? Čím jste se zabývali předtím?
Až do roku 2016 jsme jak já, tak Dmitrij pracovali v enterprise sektoru, včetně společností jako Dell, HP, EMC. Když jsme analyzovali cloudový trh v Rusku, uvědomili jsme si, že rychle roste, a rozhodli jsme se, že můžeme trhu nabídnout zajímavý produkt. Sestavili jsme tým lidí, kteří již spolupracovali na jiných projektech, a společně jsme začali vyvíjet vlastní virtualizační platformu zaměřenou na velké podniky s jejich specifickými požadavky. Od roku 2018 jsme zároveň spustili cloudový hosting „pro všechny“ a vytvořili jsme pod projekt tým o pěti lidech.
Stojan pro úložiště a přípravu před startem
Funguje tento projekt pro firmy již, nebo je zatím ve vývoji?
Ano, funguje současně — už tam je větší tým a mluvíme víc o softwarově-hardwareových řešeních pro IT infrastrukturu, ne o hostingu.
V současnosti máte poměrně širokou škálu služeb. Když jste začínali, byl seznam menší nebo stejný? Všechny tyto služby se v podstatě představují jako obyčejný virtuální server, ale existuje nějaké rozdělení.
Začínali jsme s klasickým IaaS: nabízeli jsme "holé" virtuální servery se uzavřenými porty a virtuální sítě pro ně, aby si uživatel mohl vytvořit kompletní infrastrukturu podle sebe. Po spuštění se však ukázalo, že většina uživatelů nepochopila, k čemu jim tyto možnosti budou, a tak jsme se rozhodli zavést nový produkt — standardní VDS/VPS, se kterým je trh již obeznámen. Pro nás to byla vlastně zjednodušená verze produktu, ale uživatelé okamžitě pochopili, co to znamená, a začali jsme získávat první klienty. Je zřejmé, že naše zkušenosti s velkými firmami nás přiměly vyvinout složitější a přizpůsobenější řešení, zatímco masový trh touží po jednoduchosti. Na základě VPS jsme začali rozvíjet nové služby vycházející z toho, co si klienti nejčastěji žádali. A v tom pokračujeme dodnes.
Kde umisťujete vybavení? Je ve vašem vlastnictví nebo si ho pronajímáte? Jak jste vybírali datové centrum pro umístění? Byly nějaké případy přemístění?
Veškeré vybavení máme, pronajímáme pouze místo ve dvou datových centrech. Začínali jsme se třemi DCDC: chtěli jsme realizovat trojúhelníkovou odolnost, ale poptávka po ní byla v té době příliš malá na to, abychom do toho investovali, a proto jsme od třetího datového centra ustoupili. Měli jsme jedno přemístění: právě jsme se stěhovali z třetího datového centra do jednoho z těch zbývajících dvou. Vybrali jsme podle takového principu: DCDC by měly být známé na trhu, spolehlivé (Tier III), aby obě byly geograficky umístěny v Moskvě, v odlehlých oblastech od sebe.
V jakých DCDC nyní sídlíte a od kterého jste ustoupili?
Nyní sídlíme v DataSpace a 3Data. Ustoupili jsme od jednoho z datových center 3Data.
Opouštíme třetí datové centrum.
IP adresy pronajímáte nebo kupujete?
Pronajímáme.
A z jakého důvodu jste zvolili tento přístup, a ne nákup?
V podstatě proto, abychom mohli rychle růst. Nabízíme klientům virtuální infrastrukturu, za kterou není nutné hned investovat kapitálové prostředky, a náklady mohou být rozloženy měsíčně. Držíme se stejné filozofie jako naši klienti — usilujeme o expanzi a rychlou škálovatelnost.
Co si myslíte o IPv6?
Zatím jsme nezaznamenali významnou poptávku, a proto jsme si ho nepřidávali, ale architektura pro výstup je připravena, jsme připraveni "nasadit" ji během krátké doby, jakmile pochopíme, že budou žádosti.
Používáte virtualizaci KVM. Proč jste si ji vybrali? Jak se osvědčuje v praxi?
To je pravda, ale my nepoužíváme "holý" KVM, ale plně vyvinutý systém virtualizace na bázi KVM, který vytvořil náš "starší bratr", včetně systému pro ukládání dat (SDS) a softwarově definované sítě (SDN). Volili jsme tak, abychom vytvořili co nejvíce odolný produkt bez jednotlivých bodů selhání. Zatím se osvědčuje dobře, dosud jsme neměli globální problémy v produkci. Během fáze alfa testování na trhu, kdy jsme poskytovali služby prvním zákazníkům za bonusové body, jsme testovali technologii a narazili na několik nepříjemných situací, ale za poslední dva roky se nám podařilo mnoho pochopit a vyřešit.
Používáte overselling? Jak kontrolujete zatížení serveru?
Overselling používáme pouze na procesorech, avšak ani v nejmenším na operační paměti. I v případě fyzických procesorů nedovolujeme jejich zatížení nad 75%. Co se disků týče: pracujeme s "tenkým" alokováním kapacity. Máme centralizované monitorování celého prostředí, které nám umožňuje kontrolovat zatížení. Za podporu celé infrastruktury odpovídají dva inženýři, proto se snažíme co nejvíce automatizovat a shromažďovat všechny možné informace o systému. Jakákoliv odchylka od normálního režimu je okamžitě viditelná, přičemž pravidelně posuzujeme a přerozdělujeme zátěž uvnitř infrastruktury. Přerozdělení probíhá vždy online, pro klienty takto nepozorovaně.
Kolik máte v současnosti fyzických serverů? Jak často přidáváte nové? Jaké servery používáte?
V tuto chvíli máme 76 serverů, nové přidáváme přibližně každé čtyři až pět měsíců. Používáme servery QCT, Intel, Supermicro.
Byly případy, kdy zákazník přišel a využil všechny zbývající volné zdroje, a museli jsme rychle přidat servery?
Na zdrojích k tomu nedošlo. Zatím rosteme více-méně rovnoměrně. Ale měl jsem případ, kdy přišel uživatel a chtěl 50 IP adres, každou v samostatném bloku. Samozřejmě, takovéto zatím nemáme 🙂
Jaké máte nejpopulárnější způsoby platby? Co se používá nejméně?
Nejoblíbenějšími metodami jsou kreditní karta a QIWI. Nejméně se využívá bezhotovostní převod na základě nabídky pro právnické osoby, avšak tyto převody jsou objemově největší (firmy obvykle platí za solidní zdroje na několik měsíců). Také PayPal pokulhává: na začátku jsme nepočítali se zahraničními uživateli, ale ti začali přicházet.
Na Boodet.online máme vlastní systém billing. Proč jste se rozhodli použít takové řešení? Jaké jsou výhody a nevýhody? Bylo to obtížné na vývoj?
Celý náš systém je vlastní vývoj. Existující platformy nám nepřipadaly příliš pohodlné z pohledu UX, proto jsme se rozhodli vytvořit a rozvíjet vlastní. Billing je pouze jedním z mikroservisů, které tvoří součást systému. Vývoj se ukázal být složitější, než jsme si na začátku mysleli. Dokonce bylo nutné odložit spuštění projektu, abychom se mohli připravit na funkční produkt, za který bychom se nestyděli během alfa testování. Později jsme nabili dovednostmi v metodice dlouhodobého vývoje a produktovém managementu. Nyní je už jednodušší přidávat do systému nové funkce a produkty.
Kolik lidí to celé vyvíjelo? Na čem jste psali?
Na celý projekt máme pět lidí, z toho dva vývojáře (frontend a backend). Backend je napsán v RoR/Python. Frontend je v JS.
Jak je zorganizována podpora uživatelů? Je dostupná 24/7 nebo funguje pouze v pracovní době? Kolik je linií podpory? Na co se nejčastěji ptají?
Máme tři vstupní body: chat, telefon a systém žádostí z osobního účtu. Dvě linie podpory: pokud pohotovostní inženýr nedokáže vyřešit problém, zapojuje se technický ředitel nebo vývojový tým. Pokud je problém v hlavní platformě, což se stává mnohem méně často, technický ředitel kontaktuje podporu 'staršího bratra'. V noci reagujeme pouze na hovory zákazníků, kteří si zakoupili samostatnou technickou údržbu, nebo na výpadky platformy hlášené speciálně napsaným botem v Telegramu.
Nejčastější otázky:
- Jsou naše IP dostupné v Turkmenistánu (to je vůbec první podle popularity - zřejmě v zemi je tvrdá politika blokací).
- Jak nainstalovat určitou aplikaci.
- Jak získat root přístup (byla vytvořena dokonce speciální poznámka v rozhraní při vytváření strojů, ale ani ta vždy nepomůže).
Provádíte ověřování klientů? Často se objevují spamové a jiné nežádoucí osoby?
Ověření e-mailem a telefonem (pokud uživatel zapne 2FA). Spamové a jiní zneuživatelé se objevují občas. Musíme reagovat dočasnou blokací kompromitovaných serverů, protože nechceme, aby IP skončily na černé listině. Ale vždy předtím informujeme uživatele, že obdržel stížnost a žádáme ho, aby se spojil a problém prodiskutoval. Pokud uživatel nereaguje nebo se objevují opakované stížnosti, zablokujeme účet a odstraníme servery.
Jak často se vyskytují DDoS útoky na klienty? Co děláte v takových případech? Byly útoky konkrétně na vás, na web nebo infrastrukturu?
Na klienty se útočí poměrně zřídka. Ale na nás se útoky vyskytují často — na web, na osobní účet. Někdy se síť zasahuje z různých IP adres. Nechceme posuzovat, kdo to je a proč, může být několik variant. Dokonce byly i pokusy o útok z vnitřní strany. Dříve jsme při ověřování telefonem dávali bonus sto korun, aby normální uživatelé mohli testovat jakékoliv konfigurace. Ale jednoho dne přišel uživatel se „svazkem SIM karet“ a pod jednou IP začal vytvářet desítky účtů a získávat na ně bonusy. Proto jsme museli odstranit automatické přidělování testových bodů. Nyní je nutné podat žádost o testování na technickou podporu a každý případ posuzujeme zvlášť.
Jak je organizována práce, máte kancelář, nebo všichni pracují na dálku?
Kancelář máme, ale s příchodem omezení kvůli koronaviru odešli všichni pracovat z domova / chaty / rodného města.
Naše kancelář
Jaký je nyní kurz vývoje společnosti?
Směřujeme k přidání nových služeb. Máme rozsáhlou roadmap, nepřerušujeme vývoj a každé dva týdny vychází nová verze osobního kabinetu. Přidáváme funkce a služby, které jsou žádané od kolegů, přidáváme to, co klienti požadují.
Jak nacházíte klienty? Je příliv a odliv klientů vysoký ročně? Jaká je průměrná "doba života" klienta?
Kanály pro získávání klientů v naší oblasti — to, na čem se celý byznys udržuje, pokud existuje kvalitní funkční produkt. Proto nejsme připraveni se o tom podělit.
Míra odchodu, LTV a životní cyklus jsou také docela důležité ukazatele, které používáme pouze pro interní analýzu, ale ne pro zveřejnění.
Mohli byste čtenářům poskytnout nějaké rady pro výběr hostingu? Na co by si měli dát pozor před nákupem?
Nejdůležitější je vybírat hosting, jehož název začíná písmenem 'B'.
A pokud to myslíme vážně, existuje několik faktorů, na které bychom se měli zaměřit:
- Abychom zjistili kvalitu, můžeme vzít průměrnou konfiguraci a pokusit se na ní vyřešit své aplikační úkoly. Vyberte hostingy, které mají hodinový tarif – budete moci testovat servery, aniž byste ztratili mnoho peněz, pokud vám kvalita nebude vyhovovat.
- Dívejte se na datová centra, ve kterých se nacházejí fyzické servery poskytovatele. Podle nich se dá přibližně soudit o kvalitě služeb.
- Nedoporučujeme věnovat pozornost cenám: existují jak superlevná řešení, která se však dobře osvědčují, tak superdrahá, která se od ostatních příliš neliší.
Povězte nám o nejpamátnějších pracovních momentech.
Start projektu. První měsíc a půl jsme pracovali v režimu 24/7: sledovali jsme, jak probíhá registrace, zda se něco neporouchalo v rozhraní osobního účtu, jak se chovají uživatelé, zda mají pohodlné objednávání služeb. Mnoho věcí jsme museli řešit přímo za běhu, až do té míry, že jsme nahrazovali jedny produkty jinými. Změny jsme prováděli okamžitě v produkci, mimo testovací prostředí. To bylo náročné období, ale podařilo se nám přežít a nevzdat to.
Uživatelé, kteří přišli za zranitelnostmi v logice. Bylo zajímavé je chytat a uzavírat zranitelnosti. Například když jsme ještě nepracovali za peníze, ale poskytovali bonusy, aby si uživatelé mohli objednávat servery, odkaz na nás byl sdílen na jednom z hackerských fór s komentářem: 'dávají zdarma servery na 500 korun'. Samozřejmě, že nás okamžitě zaplavili chlapi-zlatokopové, toužící po něčem zdarma.
Mohli byste sestavit stručnou chronologii historie společnosti?
- První polovina roku 2017 – začali jsme vyvíjet platformu, web a osobní kabinet Boodet.online.
- Rok 2018 – vstoupili jsme do alfa testování, poskytovali jsme výkon klientům zdarma a získávali detailní zpětnou vazbu a výsledky testování na oplátku.
- Polovina roku 2018 — spustili jsme beta verzi s financemi. Prvních několik set klientů, testování technické podpory.
- Rok 2019 — začali jsme přitahovat právnické osoby jako zákazníky, pracovat na individuálních řešeních.
- Rok 2020 — všichni přecházejí do samoizolace, poptávka po virtualizaci roste. My to pociťujeme na vlastní kůži — dochází k nárůstu klientů, což nám umožňuje pracovat na větším množství doplňkových služeb.
Zdroj: habr.com
