Obecně chci hned říci, že názor na peklo a skutečnost, že mnoho z XNUMX má službu, je hodnotový soud. Ve skutečnosti samozřejmě pocházejí z Ruska. Ve skutečnosti jsme samozřejmě také dobří a o těchto skvrnách vám také povím v životopise. Ve skutečnosti se v posledních letech stejná podpora pro mnohé stala mnohem lepší. Ale přesto se tu a tam objeví rodokmen některých lidí.
Dovolte mi projít problémy, které jsou pro hostingové klienty často nereálně bolestivé, řeknu vám, co je u nás dobrého a špatného a jak to vypadá v jiných hostingových službách v Rusku i v zahraničí (ale tam toho samozřejmě vím méně vnitřnosti).
První příběh je železo. Zákazníci jsou neuvěřitelně naštvaní, když selže řadič RAID nebo selže několik disků najednou, a podpora usnadňuje výměnu. Měli jsme jednoho klienta, který byl nejprve zasažen DDoS ricochetem na sousedním VDS na stejném serveru, pak o dvě hodiny později začala plánovaná práce se síťovým adaptérem a poté se raid po restartu po zapnutí znovu sestavil. Mimochodem, k problému didos se vrátíme později.
Můžete tedy vzít levný „běžný“ hardware a často jej opravovat, nebo můžete použít serverový hardware – máme Huawei firemní řady. Pokud vím, my a další dva hráči na ruském trhu máme profesionální serverový hardware. Oprav mě pokud nemám pravdu. Na začátku jsme totiž věřili, že se dožijeme více než pěti let, a rozhodli se starý hardware odepsat alespoň pět let po zahájení provozu. Mimochodem, opět se zhruba takto objevil tarif za 30 rublů pro VDS, rozumíte?
Dilema se železem
Máme tedy Huawei podnikové třídy. Hosteři v Rusku mají obvykle vlastní montáž, která se nakupuje ve velkoobchodech s kancelářskými a domácími stolními počítači pro komponenty a poté se sestavuje a provozuje pomocí různých dendrálních metod. To ovlivňuje četnost poruch a cenu služeb. Pokud je s četností poruch vše více či méně zřejmé (čím horší hardware, tím vyšší šance na výpadky), pak s cenou služeb je vše zajímavější. S naším cyklem pěti až šesti let pro hardware se ukazuje, že je levnější nakupovat servery a síťová zařízení podnikových linek pro datová centra.
Ano, jejich pořízení je dražší. Ano, mají velmi drahou záruku (na všechna nová zařízení máme prodlouženou záruku do dalšího pracovního dne, navíc u ne nejúspěšnějších sérií je prodloužena daleko nad rámec časové záruky). Ano, opravnou sadu si musíte nechat na místě: ve všech deseti datových centrech vyměníme stejné disky, řadiče RAID, pásky RAM a někdy i napájecí zdroje z vlastních náhradních dílů. Někde je náhradních dílů více, někde méně, záleží na objektivním počtu a stáří tamních serverů.
Když jsme poprvé začali podnikat, okamžitě jsme se rozhodli vzít spolehlivější hardware. Protože byla šance ověřit: před RUVDS jsme se zabývali algoritmickým obchodováním a používali jsme sami sestavený levný hardware. A ukázalo se, že rozdíl je opravdu hodně velký. Spotřební materiál se nakupuje jednoduše v centech. Přirozeně, pokud má hosting takové náklady nebo kratší cyklus odpisů hardwaru, pak se cena tarifů zvyšuje. A jelikož ceny za víceméně totožné konfigurace jsou na celém trhu víceméně pevné, degraduje obvykle něco jiného. Zpravidla nejde o podporu, ale buď o kvalitu komunikace nebo informační bezpečnost.
Samozřejmě se mohu mýlit, ale hodnocení je toto: kdo na webu přímo neuvádí partnerství s dodavatelem železa a profesionální řadou hardwaru, používá „běžné“. Možná někdo jednoduše schovává své skvělé vybavení.
Udělali jsme levný (ale ne nejlevnější) , proto jsme velmi pečlivě zvažovali a nadále kalkulujeme provozní náklady. Moc nerozumím modelům jiných společností, ale zdá se, že jde o to, že mají plánovací horizonty dva nebo tři roky, zatímco my prostě delší. Možná se mýlíme a v Rusku to nemá cenu zatím plánovat, ale zatím jsme z toho těžili a nadále rosteme jako společnost.
Umístění datového centra
Většina hostingových služeb VDS má jedno nebo dvě umístění. Máme jich deset a je jich nejen v Moskvě, ale i blízko velkých ruských měst (Jekatěrinburg, Novosibirsk), což je důležité pro servery Minecraft a Counter-Strike, a jsou tu také Švýcarsko, Anglie a Německo. A přitom je všude podpora v ruštině.
Proč je potřeba druhé místo, je jasné – služby je třeba geodistribuovat. Ale proč jsou datová centra potřebná v jiných zemích, je velmi zajímavá otázka.
Za prvé, datové centrum ve Švýcarsku je považováno za spolehlivější než ruské. Nejedná se o objektivní hodnocení, ale o názor většiny našich klientů. Je třeba říci, že ano, samozřejmě, mohou tam být epické zářezy, jako jinde, ale obecně mají mnohem pečlivěji dodržované postupy údržby a velmi silný vnější bezpečnostní perimetr. To znamená, že by měli mít problémy méně často.
Za druhé, samozřejmě mimo Rusko. Pro některé je to důležité, aby mohli obchodovat blíže ke klíčovým bodům, kde se zpracovávají objednávky. Pro některé je to důležité kvůli našim vlastním VPN (myslím, že nejméně třetina našich serverů byla zakoupena speciálně pro organizaci VPN tunelů přes jiné jurisdikce). No, jsou lidé, kteří našli masky ve svých datových centrech v Rusku a nyní prostě raději svá data neukládají u nás. I když ani proti tomu tam teoreticky nikdo není imunní. Jde jen o to, že výchozí nastavení při jízdě do datového centra se liší.
Hned řeknu, že některá naše komerční datová centra nejsou o nic horší než ta ve Spojeném království nebo Švýcarsku. Například v stránka nemá téměř žádné problémy (a rozhodně žádné vážné) a vyhovuje standardům Uptime Institute (T3). Dobře hlídané. Čili objektivně je to velmi dobré, ale mezi klienty tak nějak panuje přesvědčení, že v zahraničí je bezpečněji. A ti ruští hostitelé, kteří okamžitě neposkytnou zahraniční umístění, nezapadají do potřeb trhu.
Změna konfigurace serveru a cen
Dělali jsme průzkumy a studovali, co je pro zákazníky důležité. Ukázalo se, že takové parametry, jako je kvantizační jednotka v tarifu a schopnost rychle měnit konfiguraci serveru, zaujímají velmi vysoké místo. Víme, že někde je virtuální stroj vytvořen ručně za jednu nebo dvě hodiny na vyžádání, konfigurace se změní během dne na žádost podpory.
Automatizovali jsme procesy, dokud střední doba vytvoření virtuálního stroje nebyla čtyři minuty a průměrný interval od aplikace po spuštění byl 10–11 minut. Některé složité aplikace se totiž i tak dělají ručně zhruba za 20 minut.
Naše fakturace je za sekundu (nikoli hodinová nebo denní). Můžete si vytvořit server, podívat se na něj a okamžitě jej smazat, čímž ušetříte své peníze (požadujeme zálohu na měsíc, ale pokud nebude fungovat, vrátíme ji). Většina ruských webů vyžaduje, abyste si pronajali licenci na OS samostatně. Náš WinServer je dodáván ke všem strojům zdarma a je zahrnut v tarifu (není však k dispozici desktopová verze pro Windows).
Konfigurace serveru se změní asi za deset minut z rozhraní, a to jak dolů, tak nahoru. Výjimky jsou dvě - dolů po disku nejde vždy automaticky (pokud je místo něčím obsazeno) a při přechodu z 2,2 GHz na 3,5 GHz se to děje přes lístek. Manuální požadavky mají SLA na první odpověď 15 minut, doba zpracování 20-30 minut (možná i více, v závislosti na objemu kopírovaných dat). V tarifech mimochodem, kde máme HDD, všude vlastně SSD s omezením do rychlosti HDD (vyšlo to levněji a my jsme asi před rokem a půl přešli úplně na SSD). Můžete si vzít auto s grafickou kartou. Existuje tarif za využití (existuje složitý vzorec pro procesor, RAM, disky a provoz) - pokud máte špičkový výpočetní výkon, je to levnější, ale jsou i klienti, kteří svou spotřebu plně nepředpovídají správně a někdy zaplatí dvakrát tolik jako běžný tarif. No, někdo šetří.
Ano, to vše vyžaduje náklady na automatizaci. Ale jak ukazuje praxe, umožňuje vám to také hodně ušetřit na podpoře a udržet si zákazníky díky kvalitě služeb.
Negativním bodem je, že někdy doporučujeme vzít pro určitý software o 10 GB více. Nebo někdy v korespondenci s klientem pochopíme, jaký druh softwaru má, a zjistíme, že prostě není dostatek RAM nebo procesorových jader, a doporučujeme mu, aby si koupil další, ale mnoho lidí si myslí, že je to nějaký trik od podpory .
Tržiště
V zámoří je trend poskytovat nejen VDS, ale také sadu předinstalovaného softwaru. V té či oné podobě Všechny velké hostingové weby to mají a často chybí na těch malých. Naši poskytovatelé stále často prodávají prázdné vozy, stejně jako v Evropě.
Prvním kandidátem na trh po WinServeru byl . Naši techničtí specialisté okamžitě řekli, že tržiště není potřeba, protože admini nejsou tak bezrucí. Instalace Dockeru trvá několik minut a nepovažujte je za tak líné, že to neudělají. Ale nasadili jsme tržiště a umístili tam Docker. A začali to používat, protože byli líní. Šetří to čas! Ne moc, ale ušetří to. Pro klienty to samozřejmě není zásadní nutnost, ale je to již další tržní standard.
Na druhou stranu nemáme stejného Kuberu. Ale nedávno se objevil . Ten je stále žádanější. Zajímavé jsou pokyny pro VPS s předinstalovaným softwarem: existuje konfigurace s ořezanými Win (aby nesežraly výkon) a jedna s již předinstalovaným OTRS. Poskytujeme předinstalovaný software, ale jak si ho aktivujete, je na vás, my to nevidíme.
Nejlepší tržiště na světě jsou podle mého názoru Amazon, Digital Ocean a Vultr. Startupy chtějí přijít na tržiště Amazon: pokud jste vytvořili nějaký nástroj jako Elasticsearch, ale nedostali jste se na tržiště, nikdo se to nedozví, nikdo to nekoupí. A pokud to trefíte, objeví se distribuční kanál.
DDoS
Každý hosting je napaden. Obvykle se jedná o slabé, necílené útoky, které jsou podobné přirozené mikroflóře internetu. Ale když začnou umisťovat konkrétního klienta, začnou problémy pro jeho sousedy na stejné „větvi“. Obvykle se jedná o ty, kteří jsou obsluhováni ze stejného síťového zařízení.
Více než 99 % klientů problémy nepociťuje, někteří ale mají smůlu. To je častý důvod, proč nás klienti nemají rádi – kvůli výpadkům serveru kvůli DDoS sousedovi. Dlouho jsme se snažili tyto příběhy minimalizovat, ale samozřejmě jsme se jim nemohli úplně vyhnout. DDoS ochranu nemůžeme zahrnout do ceny tarifu pro všechny, služby na spodních linkách pak zdraží zhruba dvojnásobně. Když podpora klientovi doporučí, aby si vzal DDoS ochranu (samozřejmě placenou), klient si někdy myslí, že to dáváme schválně, abychom něco prodali. A co je nejdůležitější, neexistuje žádné vysvětlení, ale sousedé trpí. V důsledku toho jsme se museli hlouběji ponořit do náplně síťových adaptérů a napsat pro ně vlastní ovladače. Přesně tak ovladače pro hardware, ano, slyšeli jste dobře. Druhý okruh - je zde dvojitý ochranný systém, který dokáže přepínat trasy během několika minut. Pokud se dostanete do opačné fáze kontrol, můžete získat maximálně čtyři minuty výpadku. Nyní přepínání stále způsobuje určité problémy ve virtuálních přepínačích a přepínačích, dokončujeme zásobník.
Podpora
Ruská podpora je jedna z nejlepších na světě. Teď to myslím vážně. Faktem je, že mnoho velkých evropských hostingových společností VDS se jednoduše neobtěžuje přebírat mnoho problémů samy. Situace, kdy někdo pracuje pouze jako odpověď na dopisy, je všudypřítomná. Dokonce i neustále vznikající malé ruské hostingové společnosti o dvou nebo třech lidech mají obvykle buď chat na webu, telefon nebo možnost zaklepat na messenger. A v Evropě na velkých hostingových serverech trvá podpora několik dní (zejména pokud je aplikace před víkendem), než zváží lístek, a je nereálné jim volat nebo psát na sociálních sítích.
Naši klienti si mimochodem vybírají místa ve svých městech, jak žertuje naše podpora, aby je občas také praštili do obličeje. Ve skutečnosti se několik lidí zastavilo na cestě domů do kanceláře.
A teď je čas začít mluvit o našich epických chybách.
Naše zárubně
Nejmenší věci jsou pády disků, RAM a raid řadičů. Je snadné jej vyměnit, ale když se server zhroutí, trpí několik klientů najednou. Ano, snažili jsme se dělat, co jsme mohli, a ano, spolehlivý hardware je z dlouhodobého hlediska levnější, ale pořád je to loterie, a pokud se vám takový výpadek dostane, tak je to samozřejmě škoda. Stejný Amazon také není imunní vůči ničemu takovému a poruchy se tam stávají docela pravidelně, ale z nějakého důvodu od nás zákazníci pokaždé očekávají bezvadnost. Odpusťte nám fyziku a špatnou náhodnost, pokud to ovlivnilo váš virtuální stroj.
Dále zmíněný DDoS. V prosinci 2018 a prosinci 2019. Poté v lednu a březnu 2020. V druhém případě několik serverů přestalo reagovat (fyzické stroje byly mrtvé, ale virtuální stroje na nich byly) - pro oživení síťových adaptérů byl nutný tvrdý restart. Nasazení zpět není nejzábavnější a pár lidí zažilo prostoje v hodinách spíše než minutách. K útokům dochází každý den a 99,99 % času všechny obvody fungují normálně a nikdo si toho nevšimne, ale jsou chvíle, kdy se něco pokazí.
V prosinci 2018 selhal síťový přepínač během čtyřhodinového útoku. Druhý nebyl z důvodu jakési mystiky vyzvednut, při pokusu o jeho resuscitaci se objevila smyčka provozu, a když jsme zjišťovali, co se děje, objevil se výpadek. Negativ bylo překvapivě málo, všichni pochopili, že k DDoS dochází. I když jsme síť na naše poměry zvedali poměrně dlouho. Pokud jste náhle narazili na tuto událost, pak nám odpusťte a děkujeme, že jste vše správně pochopili.
Další důležitý bod: DDoS je vždy místní. Nikdy se nestalo, že by se problémy v jednom datovém centru vyvíjely současně s problémy v jiném. No, zatím nejhorší věc, která se stala lokálně, je restart přepínače s několika stroji.
Abychom dále ujistili naše hackerské klienty, máme u AIG pojištění odpovědnosti. Pokud jsme zlomeni a klienti trpí, pojišťovny musí odškodnit. Ukázalo se, že to není příliš drahé na jednotkový tarif, ale nějak to dává důvěru.
Podpora. Snažili jsme se to udělat s různými funkcemi na výběr a dostatečnou spolehlivostí. To znamená, že naše podpora nedělá dvě věci: nemluví s klientem dlouhými, zdvořilými frázemi a nezabývá se aplikačním softwarem. Druhá věc se nám vrátila loni, kdy přišlo mnoho instagramových div a koupilo VDS, aby je nainstalovalo jako boostery a post automaty. Je působivé, jak někteří lidé, kteří mají k IT extrémně daleko, jsou schopni kompetentně porozumět instalaci softwaru na virtuální stroj. Neexistuje žádný návod, který by fitnesska nezvládla pro 30% nárůst odběratelů. Ale z nějakého důvodu se porouchali při nastavování odchozího provozu uvnitř jejich softwaru. Možná s tím pokyny nepočítaly. Nemůžeme nést odpovědnost za provoz softwaru třetích stran. A problémy jsou nejen v tom, že uživatel nerozumí tomu, jak to nakonfigurovat, ale také ve stabilitě. Někdo si například nainstaloval pomocný software pro zvýšení počtu zhlédnutí na YouTube. A pochází z nějakého fóra s trojským koněm. A trojský kůň má chybu, jeho paměť uniká. A neopravujeme chyby v trojských koních. Pokud nainstalujeme software, pak je to produkt po vybalení.
Tento problém se začal řešit . Existují tři fáze: nevíme, jaký druh softwaru existuje, a zdvořile odpovíme, že takové věci nepodporujeme. Druhá fáze: existuje několik takových požadavků, rozumíme jednomu nebo dvěma a napíšeme pokyny, vložíme je do naší znalostní báze a pošleme jí. Třetí fáze: takových požadavků je mnoho a my spouštíme distribuční sadu .
A pak, když jsme pracovali se stále více „neadministrátory“, začali jsme narážet na druhé hrábě. Podpora se vždy snažila pracovat rychle a odpovídala stručně a suše. A někteří to vnímali jako pasivní agresi. To, co je přijatelné v dialogu dvou administrátorů, je zcela nevhodné pro běžného uživatele, který si vzal VDS pro svou malou firmu. A v průběhu let bylo takových uživatelů více. A problém není v tom, že podpora říká něco špatně, ale ve způsobu, jakým to říká. Nyní děláme spoustu práce s aktualizací šablon – do každé zařazujeme nejen něco v duchu „nepodporujeme, omlouváme se“, ale podrobný popis, co a jak dělat, proč nepodporujeme , co teď, a to vše je zdvořilé a srozumitelné . Více podrobností a vysvětlení a více etikety, místo třípísmenných zkratek jsou jednodušší vysvětlení toho, co tam je. Už je to týden, co jsme to rozjeli, tak uvidíme, jak to dopadne. Před pandemií nebylo prioritou klienta olíznout, ale problém co nejrychleji vyřešit. Filozofie naší společnosti je jako u McDonald's: nemůžete si vybrat, jak dobře bude vaše maso propečené, podpora rychle udělá jen to, co je součástí standardních požadavků. Obecně z toho plyne ponaučení, že když odpovíte suše, lidé budou mít často pocit, že se k nim chováte poněkud hrubě. Až do loňska jsme o tom upřímně nepřemýšleli. No, samozřejmě jsme nechtěli nikoho urazit. V tomto ohledu zaostáváme za rozvinutými podpůrnými službami na trhu: mnohé z nich mají za cíl být ke klientovi velmi opatrné, ale my jsme s touto prioritou teprve začali pracovat.
Hodnotit. No, naším největším selháním jsou problémy s tarifem 30 rublů. Máme speciální řadu již slabého hardwaru, kde stojí VDS . Je extrémně populární. Hned v popisu uvedli, že to bude úplná nacpanost, tarif nebyl za práci, ale za školení. Obecně, JAK JE, a to JE bude často velmi děsivé.
Jak se ukázalo, tento popis tarifu zarazil málokoho. 30 rublů je stále levnější než adresa ipv4 a pak je s ní hned virtuální stroj. Zdá se mi, že mnoho lidí nakupovalo jen proto, aby si koupili, protože to otevíráme ve vlnách. Poprvé šlo vše víceméně normálně, ale pak jsme nevěnovali dostatečnou pozornost tomu, že po třech čtyřech měsících začala recyklace postupně přibývat - projekty se tam nerozjely hned a do konce roku pracovní zátěž se pro běžného klienta stala méně pohodlnou, objevily se velké fronty například pro zápis na disk. Ano, existuje SSD, ale v tarifu ho omezujeme na rychlosti HDD a nejedná se o NVMe, ale o levné disky Intel zakoupené speciálně pro experimenty pro konfigurace serveru. Vyměnili jsme disky za větší a normálnější, to nám umožnilo získat alespoň nějaký výkon.
Druhý objev tohoto tarifu nám přinesl tisíce čínských uživatelů. Napsali skripty, které pálí naše stránky, protože mezi zobrazením zpráv na webu a newsletterem bylo bratrskými lidmi zakoupeno asi 800 aut, a to je doslova pár minut. Nedokážu přesně říct, co tam dělali, ale soudě podle povahy provozu to byli disidenti, kteří obcházeli Velký čínský firewall. Podle podmínek propagace jsme zakázali komukoli koupit auto kromě občanů Ruské federace. Abychom ochránili Kwaimyeon, museli jsme pozastavit vytváření virtuálních strojů. Nejprve nám ruští uživatelé poděkovali, pak nás podpořili - někteří uživatelé „v procesu“ museli být vyplněni ručně. No, byla tam nějaká negativa, protože spousta lidí čekala, a když dostali dopis, tarif už skončil.
Nyní máme několik tisíc aktivních klientů s tarifem 30 rublů. Pokud má administrátor rovné ruce, dělá nejlevnější VPN na světě. Někdo kontaktoval podporu se snímky obrazovky Linuxu s nějakým GUI (nepamatuji si, co tam bylo, ale samotná skutečnost GUI na takových počítačích s omezenou RAM je už v pohodě), někdo nainstaloval panel ISP a tak dále. Někdo to skutečně použil na trénink. Tuto akci provedeme znovu, vezmeme-li v úvahu chyby, ale vězte, že někde tam venku, v Říši středu, existuje malé fórum s asi milionem registrovaných účastníků, kteří jsou přihlášeni k odběru vlákna o našich serverech.
Hlavním poučením z tohoto příběhu je, že stroje zpočátku fungovaly rychleji, než se očekávalo, a lidé si vytvořili nesprávná očekávání ohledně výkonu. Když to začalo klesat na slíbenou úroveň, začaly stížnosti na podporu a ona byla bombardována negativitou. Nyní si samozřejmě přesněji vysvětlíme, co u takového tarifu čeká. Ještě jednou nám odpusťte, pokud vás tento příběh uráží.
Zhruba takto vypadá moje vize různých momentů na trhu. A teď vás chci požádat, abyste mi řekl, co vás na trhu rozzuřilo a jak se to dá za pozemské peníze napravit. Pokud to bude ekonomicky opodstatněné, pokusíme se. No, ostatní hostitelé se podívají na tuto sekci komentářů a možná udělají totéž.
Zdroj: www.habr.com