Volám sa Leonid, som разработovateľ webových stránok , pretože vďaka svojej práci ma zaujímajú príbehy o vzniku a vývoji rôznych spoločností v oblasti hostingových služieb. Dnes chcem predstaviť rozhovor s Danilom a Dmitrijom — zakladateľmi hostingu . Povedia nám o štruktúre infraštruktúry, organizácii práce a svojich skúsenostiach s rozvojom poskytovateľa virtuálnych serverov v Rusku.
Prosím, povedzte nám pár slov o sebe. Ako ste sa dostali do hostingu? Čomu ste sa venovali predtým?
Do roku 2016 sme ja aj Dmitrij pracovali v enterprise sektore, vrátane takých spoločností ako Dell, HP, EMC. Analýzujúc cloudový trh v Rusku, sme si uvedomili, že aktívne rastie, a rozhodli sme sa, že môžeme ponúknuť zaujímavú alternatívu. Zostavila sa tím ľudí, ktorí už pracovali spolu na iných projektoch, a spoločne sme začali vyvíjať vlastnú virtualizačnú platformu zameranú na veľký biznis s jeho špecifickými požiadavkami. Od roku 2018 sme zároveň spustili cloudový hosting „pre všetkých“, vyčlenili sme na projekt tím piatich ľudí.
Skládka úložiska a príprava pred štartom
Je tento projekt pre biznis už v prevádzke, alebo je ešte vo vývoji?
Áno, funguje súčasne — už tam je podstatne väčší tím a ide viac o softvérové a hardvérové riešenia pre IT infraštruktúru, nie len o hosting.
Máte teraz dosť veľa rôznych služieb. Keď ste začínali, bol ten zoznam menší alebo rovnaký? Tieto služby v podstate predstavujú obyčajný virtuálny server, ale existuje nejaké rozdelenie.
Začínali sme s klasickým IaaS: poskytovali sme "holé" virtuálne servery so zatvorenými portami a virtuálne siete pre ne, aby si užívateľ mohol vytvoriť plnohodnotnú infraštruktúru pre seba. Ale po spustení sa ukázalo, že väčšina používateľov nepochopila, na čo im takéto možnosti sú, a rozhodli sme sa uviesť nový produkt — štandardný VDS/VPS, s ktorým je trh už oboznámený. Pre nás to bola v podstate zjednodušená verzia produktu, ale používatelia okamžite pochopili, čo to znamená, a začali sme získavať prvých zákazníkov. Zdá sa, že naša skúsenosť s veľkými spoločnosťami nás prinútila vyvinúť hneď zložitejšie a prispôsobené riešenie, zatiaľ čo masový trh chce jednoduchosť. Na základe VPS sme začali rozvíjať nové služby podľa toho, čo zákazníci najčastejšie žiadali. A dodnes pokračujeme v rozvoji.
Kde umiestňujete zariadenia? Je vo vašom vlastníctve alebo si ho prenajímate? Ako ste vyberali svoje DС pre umiestnenie? Boli nejaké prípady presťahovania?
Celé vybavenie je naše, prenajímame si len miesto v dvoch dátových centrách. Začínali sme s tromi DС: chceli sme realizovať trojstrannú odolnosť voči poruchám, ale vtedy bol dopyt po nej príliš malý na to, aby sme do toho investovali, takže sme sa rozhodli vzdať sa tretieho dátového centra. Mal som jedno presťahovanie: práve sme sa presúvali z tretieho dátového centra do jedného z dvoch zostávajúcich. Výber sme robili podľa takého kritéria: DС musia byť známe na trhu, spoľahlivé (Tier III), a obidve sa musia nachádzať v Moskve, v rozdelených oblastiach.
A v ktorých DС sa teraz nachádzate a od akého ste sa vzdali?
Teraz sa nachádzame v DataSpace a 3Data. Vzdali sme sa jedného z DС 3Data.
Opúšťame tretie dátové centrum.
Prenajímate si IP adresy alebo ich kupujete?
Prenajímame.
A z akého dôvodu ste zvolili tento prístup, a nie nákup?
Vo veľkej miere, aby sme mohli rýchlo rásť. Poskytujeme zákazníkom virtuálnu infraštruktúru, za ktorú nie je potrebné okamžite investovať kapitál, a náklady môžeme rozdeliť na mesačné platby. Držíme sa tej istej filozofie ako naši zákazníci — snažíme sa o rozšírenie a rýchle škálovanie.
Čo si myslíte o IPv6?
Zatiaľ sme si nevšimli signifikantný dopyt, preto sme ho nepridali, ale architektúra na jeho zavedenie je pripravená, a sme pripravení ju "spustiť" v krátkom čase, akonáhle pochopíme, že sú nejaké požiadavky.
Používate KVM virtualizáciu. Prečo ste si ju vybrali? Ako sa osvedčuje v praxi?
To je pravda, ale my nepoužívame "holé" KVM, ale plnohodnotný, vylepšený systém virtualizácie založený na KVM, ktorý vyvinul náš "starší brat", vrátane systému ukladania dát (SDS) a softvérovo definovanej siete (SDN). Vybrali sme ho tak, aby sme vytvorili maximálne odolný produkt bez jednotlivých bodov zlyhania. Zatiaľ sa osvedčuje dobre, kým nenastali globálne problémy v produkcii. V etape alfa testovania na trhu, keď sme poskytovali služby prvým zákazníkom za bonusové body, sme testovali technológiu a narazili na niekoľko nepríjemností, ale za posledné dva roky sa nám podarilo veľa pochopiť a vyriešiť.
Používate overselling? Ako kontrolujete zaťaženie servera?
Overselling používame len na procesoroch, ale rozhodne nie na operačnej pamäti. Aj v prípade fyzických procesorov nedovolíme ich zaťaženie nad 75%. Pokiaľ ide o disky: pracujeme s "tenkým" prideľovaním kapacity. Máme centralizovaný monitoring celého prostredia, čo nám umožňuje kontrolovať zaťaženie. Za podporu celej infraštruktúry zodpovedajú dvaja inžinieri, preto sa snažíme maximálne automatizovať a zhromažďovať všetky možné informácie o systéme. Akékoľvek odchýlky od normálneho režimu sú okamžite viditeľné, pričom pravidelne hodnotíme a prebalansovávame zaťaženie v rámci infraštruktúry. Prebalansovanie sa vždy vykonáva v online režime bez toho, aby to zákazníci zaregistrovali.
Koľko fyzických serverov máte teraz? Ako často pridávate nové? Aké servery používate?
V súčasnosti máme 76 serverov, nové pridávame približne každé štyri až päť mesiacov. Používame QCT, Intel, Supermicro.
Boli prípady, keď prišiel klient a obsadil všetky zostávajúce voľné zdroje, a museli ste urgentne pridávať servery?
Po zdrojoch sa to nestalo. Doteraz rastieme viac-menej vyrovnane. Ale bol prípad, keď prišiel používateľ a chcel 50 IP adries, každú v samostatnom bloku. Samozrejme, niečo podobné zatiaľ nemáme 🙂
Aké sú vaše najobľúbenejšie spôsoby platby? Ktoré sa používajú najmenej?
Najobľúbenejšie sú bankové karty a QIWI. Najmenej sa používa bezhotovostná platba podľa ponuky pre právnické osoby, no takéto prevody sú objemné (firmy zvyčajne platia za významné zdroje na niekoľko mesiacov). PayPal zaostáva: pri spustení sme nepočítali so zahraničnými používateľmi, ale začali sa objavovať.
V Boodet.online máme vlastný billing. Prečo ste sa rozhodli použiť takéto riešenie? Aké sú výhody a nevýhody? Bolo ťažké ho vyvinúť?
Naša celá systéma je vlastného vývoja. Existujúce platformy nám neprišli veľmi pohodlné z hľadiska UX, preto sme sa rozhodli vyvinúť a rozvíjať svoju. Billing je iba jedným z mikroservisov, ktoré tvoria súčasť systému. Vývoj sa ukázal byť zložitější, než sme na začiatku očakávali. V niektorých chvíľach sme museli posunúť spustenie projektu, aby sme stihli pripraviť funkčný produkt, za ktorý by sme sa nemuseli hanbiť počas alfa testovania. Neskôr sme nadobudli kompetencie v oblasti dlhodobého vývoja a produktového manažmentu. Teraz je už jednoduchšie pridávať do systému novú funkcionalitu a nové produkty.
Koľko ľudí na tom všetkom pracovalo? Na čom to bolo napísané?
Na celom projekte máme päť ľudí, z nich sú dvaja vývojári (frontend a backend). Backend je napísaný v RoR/Python. Frontend - to je JS.
Ako je organizovaná podpora používateľov? Je dostupná 24 hodín denne, alebo funguje len počas pracovného času? Koľko je liniek podpory? O čo sa najčastejšie pýtajú?
Máme tri vstupné body: chat, telefón a systém požiadaviek z používateľského účtu. Dve línie podpory: ak sa pohotovostný technik nedokáže s problémom vyrovnať, pripojí sa technický riaditeľ alebo tím vývoja. Ak je problém v hlavnej platforme, čo sa stáva oveľa menej často, technický riaditeľ sa obracia na podporu "staršieho brata". V noci reagujeme len na telefonáty zákazníkov, ktorí si zakúpili zvláštnu technickú podporu, alebo na poruchy platformy, ktoré boli oznámené prostredníctvom špeciálneho bota v Telegrame.
Najpopulárnejšie otázky:
- Sú naše IP dostupné v Turkménsku (to je najčastejšie, zrejme v krajine je prísna politika blokovania).
- Ako nainštalovať to alebo ono softvérové vybavenie.
- Ako získať root prístup (v rozhraní pri vytváraní strojov bola vytvorená aj špeciálna poznámka, ale ani tá nie vždy pomáha).
Robíte verifikáciu zákazníkov? Často sa objavujú spammeri a iné nedobré osoby?
Verifikácia prostredníctvom e-mailu a telefónu (ak si používateľ aktivuje 2FA). Spammeri a ďalší zneužívatelia sa objavujú občas. Musíme reagovať dočasnou blokáciou kompromitovaných serverov, pretože nechceme, aby sa IP dostali na čierne listiny. Ale vždy vopred informujeme používateľa, že bola podaná sťažnosť, a prosíme ho, aby sa skontaktoval a prediskutoval problém. Ak používateľ nereaguje, alebo sa objavia opakované sťažnosti, úplne blokujeme účet a odstraňujeme servery.
Často sa vyskytujú DDoS útoky na zákazníkov? Čo robíte v takých prípadoch? Boli útoky konkrétne na vás, na webovú stránku alebo infraštruktúru?
Na zákazníkov sa útočí pomerne zriedkavo. Ale na nás často — na webovú stránku, na osobný účet. Niekedy sa útočí na sieť z rôznych IP adries. Neberieme na seba súd, kto to je a prečo, môže byť niekoľko možností. Niekedy sa dokonca pokúšajú útočiť na nás zvnútra. Kedysi sme pri verifikácii cez telefón poskytovali bonusových sto rubľov, aby normálni používatelia mohli testovať akékoľvek konfigurácie. Ale raz prišiel používateľ s „balíkom SIM kariet“ a pod jednou IP adresou začal vytvárať desiatky účtov, pričom získaval na nich bonusy. Preto sme museli odstrániť automatické pripočítavanie testovacích bodov. Teraz je potrebné podať žiadosť na technickú podporu na testovanie a každý prípad posudzujeme individuálne.
Ako je organizovaná práca, je kancelária, alebo všetci pracujú na diaľku?
Kancelária existuje, ale s príchodom obmedzení kvôli koronavírusu všetci prešli na prácu z domu / chatiek / svojho rodného mesta.
Naša kancelária
Aký je v súčasnosti kurz rozvoja spoločnosti?
Smerujeme k pridaniu nových služieb. Máme širokú roadmapu, nepretrhávame vývoj, a každé dve týždne vychádza nová verzia osobného účtu. Pridávame funkcie a služby, ktoré sú žiadané kolegami, pridávame to, čo žiadajú zákazníci.
Ako nájdete zákazníkov? Je veľký prílev a odliv zákazníkov za rok? Aká je priemerná "doba života" zákazníka?
Kanály na získavanie zákazníkov v našej oblasti — to, na čom stojí celý biznis, ak je dobrý produkt. Preto nie sme pripravení sa deliť.
Churn rate, LTV a životný cyklus sú tiež dosť dôležité ukazovatele, ktoré používame iba na internú analytiku, nie na zverejnenie.
Môžete čitateľom poskytnúť nejaké rady pri výbere hostingu? Na čo by sa mali zamerať pred nákupom?
Najdôležitejšie je vybrať si hosting, ktorého názov začína písmenom 'B'.
A ak to myslíme vážne, existuje niekoľko faktorov, na ktoré by ste mali dávať pozor:
- Aby ste pochopili kvalitu, môžete si vziať priemernú konfiguráciu a pokúsiť sa na nej vyriešiť svoje praktické úlohy. Vyberajte hostingy, ktoré ponúkajú hodinové tarify — budete môcť otestovať servery, aniž by ste stratili veľa peňazí, ak vám kvalita nevyhovuje.
- Sledujte dátové centrá, v ktorých sú fyzické servery hostiteľa. Na základe nich môžete približne posúdiť kvalitu služieb.
- Neodporúčame sústrediť sa na ceny: sú superlacné riešenia, ktoré sa ukazujú ako celkom dobré, ale aj superdrahé, ktoré sa ničím osobitým neodlišujú.
Povedzte nám o najpamätnejších pracovných momentoch.
Štart projektu. Prvé dva a pol mesiaca sme pracovali režime 24/7: sledovali sme, ako prebiehajú registrácie, či sa niečo neláme v rozhraní osobného účtu, ako sa správajú používatelia, či je pre nich pohodlné objednávať služby. Mnohými vecami sme museli riešiť na poslednú chvíľu, až po výmenu jedných produktov za iné. Zmeny sme robili priamo v produkcii, obchádzajúc testovacie prostredia. Bol to náročný čas, ale podarilo sa nám prežiť a nevzdať sa.
Používatelia, ktorí prišli za zraniteľnosťami v logike. Bolo zaujímavé ich odhaľovať a uzatvárať zraniteľnosti. Napríklad, keď sme ešte pracovali bez peňazí a pridelili bonusy, aby používatelia mohli objednávať servery, zverejnili na nás odkaz na jednom z hackerských fór s komentárom: 'dávajú zdarma servery na 500 rubľov'. Samozrejme, ihneď nás zaplavili chlapci-mineri túžiaci po bezplatných veciach.
Môžete nám poskytnúť krátku chronológiu histórie spoločnosti?
- Prvá polovica roku 2017 — začali sme vyvíjať platformu, web a osobný účet Boodet.online.
- Rok 2018 — vstúpili sme do alfa testovania, poskytovali sme kapacity klientom zadarmo a dostávali rozšírené spätné väzby a výsledky testovania na oplátku.
- Stred 2018 — spustili sme beta verziu s peniazmi. Prvé stovky klientov, testovanie technickej podpory.
- Rok 2019 — začali sme prilákať právnické osoby ako klientov, pracovať na prispôsobených riešeniach.
- Rok 2020 — všetci odchádzajú do sebaizolácie, dopyt po virtualizácii rastie. Sme toho svedkami — nastáva nárast klientov, čo nám umožňuje pracovať na viacerých ďalších službách.
Zdroj: habr.com
