Vo všeobecnosti chcem hneď povedať, že názor na peklo a skutočnosť, že mnohé z dvoch tisícok majú službu, je hodnotový súd. V skutočnosti, samozrejme, pochádzajú z Ruska. V skutočnosti sme, samozrejme, aj dobrí a o týchto škvrnách budem hovoriť aj v životopise. V skutočnosti sa v posledných rokoch rovnaká podpora pre mnohých výrazne zlepšila. Ale predsa len sem-tam vyskočí niečí rodokmeň.
Dovoľte mi prejsť problémy, ktoré často priamo poškodzujú zákazníkov hostingu, poviem vám, čo je u nás dobré a čo zlé a ako to vyzerá na iných hostingoch v Rusku av zahraničí (tam však o interných viem, samozrejme, menej).
Prvý príbeh je železo. Zákazníci sú neskutočne nahnevaní, keď RAID radič uletí alebo niekoľko diskov naraz odletí a podpora uľahčuje výmenu. Mali sme jedného klienta, ktorý bol najprv napadnutý DDoS na susednom VDS na tom istom serveri, potom sa o dve hodiny neskôr začala plánovaná práca so sieťovým adaptérom a potom sa po zapnutí a reštarte nájazd obnovil. Mimochodom, k problematike didos sa vrátime.
Môžete si teda zobrať lacnú „domácu“ žehličku a často ju opraviť, alebo môžete použiť serverový hardvér – máme Huawei z podnikovej línie. Pokiaľ viem, my a ďalší dvaja hráči na ruskom trhu máme profesionálny serverový hardvér. Oprav ma ak sa mýlim. Na začiatku sme si totiž mysleli, že budeme žiť viac ako päť rokov a rozhodli sme sa odpísať starý hardvér aspoň päť rokov po spustení prevádzky. Mimochodom, takto sa objavila tarifa za 30 rubľov za VDS, viete?
Železná dilema
Máme teda Huawei podnikovej triedy. Hostitelia v Rusku majú zvyčajne vlastnú montáž, ktorá sa kupuje vo veľkoobchodoch s kancelárskymi a domácimi stolmi na komponenty a potom sa zostavuje a prevádzkuje pomocou rôznych dendritických metód. To ovplyvňuje frekvenciu porúch a náklady na služby. Ak je všetko viac-menej zrejmé s frekvenciou porúch (čím horší hardvér, tým vyššia šanca na prestoje), potom s nákladmi na služby je všetko zaujímavejšie. Pri našom cykle piatich až šiestich rokov sa ukazuje, že je lacnejšie nakupovať servery a sieťové zariadenia firemných liniek pre dátové centrá.
Áno, sú drahšie na nákup. Áno, majú veľmi drahú záruku (na všetky nové zariadenia máme predĺženú záruku na nasledujúci pracovný deň, plus predĺženú záruku na nie najúspešnejšie série ďaleko za časovým limitom). Áno, opravnú súpravu si musíte nechať na mieste: vo všetkých desiatich dátových centrách meníme rovnaké disky, radiče RAID, pásiky RAM a niekedy aj napájacie zdroje z vlastných náhradných dielov. Niekde je náhradných dielov viac, niekde menej, v závislosti od objektívneho počtu a veku tamojších serverov.
Keď sme s podnikaním ešte len začínali, okamžite sme sa rozhodli vziať si spoľahlivejší hardvér. Pretože tam bol prípad na kontrolu: pred RUVDS sme sa zaoberali algoritmickým obchodovaním a používali sme svojpomocne zostavený lacný hardvér. A ukázalo sa, že rozdiel je naozaj veľmi veľký. Spotrebný materiál sa kupuje jednoducho podľa centov. Prirodzene, ak má hosting takéto náklady alebo kratší cyklus odpisovania železa, cena taríf stúpa. A keďže ceny za viac-menej identické konfigurácie sú na celom trhu viac-menej fixné, zvyčajne degraduje niečo iné. Spravidla nie podpora, ale buď kvalita komunikácie, alebo informačná bezpečnosť.
Samozrejme, že sa môžem mýliť, ale hodnotenie je takéto: kto na svojej webovej stránke priamo neuvádza partnerstvo s predajcom železa a profesionálnym radom železa, používa ten „blízkodomácnosti“. Možno niekto len skrýva svoje skvelé vybavenie.
Urobili sme lacno (ale nie najlacnejšie) Preto sme dôkladne zvažovali a naďalej zvažujeme prevádzkové náklady. Veľmi nerozumiem modelom iných spoločností, ale zdá sa, že ide o to, že majú plánovacie horizonty dva alebo tri roky a my ich máme len viac. Možno sa mýlime a v Rusku sa to zatiaľ neoplatí plánovať, ale zatiaľ sme v tom zvíťazili a naďalej rastieme ako spoločnosť.
Umiestnenie dátového centra
Väčšina hostingov VDS má jedno alebo dve miesta. Máme ich desať, a to nielen v Moskve, ale aj blízko veľkých ruských miest (Jekaterinburg, Novosibirsk), čo je dôležité pre servery Minecraft a Counter-Strike, a sú tu Švajčiarsko, Anglicko a Nemecko. A zároveň je všade rusky hovoriaca podpora.
Prečo je potrebné druhé miesto, je pochopiteľné – služby musia byť geograficky distribuované. Ale prečo sú dátové centrá potrebné v iných krajinách, je veľmi zaujímavá otázka.
Po prvé, dátové centrum vo Švajčiarsku sa považuje za spoľahlivejšie ako ruské. Toto nie je objektívne hodnotenie, ale názor väčšiny našich zákazníkov. Musím povedať, že áno, samozrejme, a môžu sa vyskytnúť epické chyby, ako inde, ale vo všeobecnosti majú oveľa starostlivejšie dodržiavané postupy údržby a veľmi silný vonkajší bezpečnostný perimeter. To znamená, že by mali mať menej problémov.
Po druhé, samozrejme, mimo Ruska. Pre niekoho je dôležité obchodovať bližšie ku kľúčovým bodom, v ktorých sa spracúvajú žiadosti. Pre niekoho je to dôležité kvôli ich vlastným VPN (myslím, že aspoň tretina našich serverov bola zakúpená špeciálne na organizovanie VPN tunelov cez iné jurisdikcie). No sú ľudia, ktorí našli masky vo svojich dátových centrách v Rusku a teraz jednoducho u nás dáta radšej neukladajú. Aj keď teoreticky nikto nie je voči tomu imúnny. Ide len o to, že predvolené hodnoty pre zasiahnutie dátového centra sú odlišné.
Hneď musím povedať, že niektoré z našich komerčných dátových centier nie sú o nič horšie ako tie v Spojenom kráľovstve alebo vo Švajčiarsku. Napríklad v stránka je takmer bez zárubní (a rozhodne bez vážnych) a spĺňa štandardy Uptime Institute (T3). Dobre strážené. Teda objektívne je to veľmi dobré, ale medzi klientmi akosi panuje presvedčenie, že v zahraničí je bezpečnejšie. A tí ruskí hostitelia, ktorí neposkytujú cudziu lokalitu, hneď tak trochu nezapadajú do potrieb trhu.
Zmena konfigurácie servera a fakturácie
Robili sme prieskumy a skúmali, čo je pre zákazníkov dôležité. Ukázalo sa, že veľmi vysoké miesto zaujímajú také parametre, ako je kvantizačná jednotka v tarife a schopnosť rýchlo meniť konfiguráciu servera. Vieme, že niekde sa virtuálny stroj vytvorí manuálne za jednu alebo dve hodiny na požiadanie, konfigurácia sa zmení za deň na žiadosť o podporu.
Procesy sme automatizovali, kým medián na vytvorenie virtuálneho stroja nebol štyri minúty a priemerný interval od aplikácie po spustenie bol 10-11 minút. Niektoré zložité aplikácie sa totiž aj tak vykonajú ručne za približne 20 minút.
Naša fakturácia je za sekundu (nie hodinová alebo denná). Môžete si vytvoriť server, pozrieť sa naň a okamžite ho zmazať, čím ušetríte svoje peniaze (žiadame o mesačnú zálohovú platbu, ale v prípade nefunkčnosti ju vráťte). Väčšina ruských stránok si musí samostatne prenajať licenciu na operačný systém. WinServer dodávame na všetky stroje zadarmo a je zahrnutý v tarife (ale desktopová verzia Windowsu nie je možná).
Konfigurácia servera sa zmení asi za desať minút z rozhrania, a to hore aj dole. Dve vynimky - dole po disku nie je vzdy mozne automaticky (ak miesto niecim zabera) a pri prechode z 2,2 GHz na 3,5 GHz sa to robi cez tiket. Manuálne aplikácie majú SLA na prvú odozvu 15 minút, čas spracovania 20-30 minút (možno aj viac, v závislosti od množstva kopírovaných dát). V tarifách, mimochodom, kde máme HDD, všade vlastne SSD s obmedzeniami do rýchlosti HDD (vyšlo to lacnejšie, a to sme asi pred rokom a pol prešli úplne na SSD). Môžete si vziať auto s grafickou kartou. Existuje miera recyklácie (existuje zložitý vzorec od procesora, RAM, diskov a prevádzky) - ak máte špičkový výpočtový výkon, je to lacnejšie, ale sú aj zákazníci, ktorí svoju spotrebu úplne správne nepredpovedajú a platia dvojnásobok bežnej sadzby niekedy. No niekto šetrí.
Áno, to všetko si vyžaduje náklady na automatizáciu. Ako však ukazuje prax, umožňuje vám to tiež veľa ušetriť na podpore a udržať si zákazníkov vďaka kvalite služieb.
Negatívnym bodom je, že niekedy vám odporúčame vziať si o 10 GB viac pre určitý softvér. Alebo niekedy v korešpondencii s klientom pochopíme, aký druh softvéru má, a zistíme, že jednoducho nie je dostatok pamäte RAM alebo jadier procesora a odporúčame vám, aby ste si ho kúpili, ale veľa ľudí si myslí, že ide o nejaký druh zapojenia od podpory. .
Trhoviská
V zámorí bola tendencia poskytovať nielen VDS, ale aj sadu predinštalovaného softvéru naraz. V tej či onej forme Všetky veľké hostingové spoločnosti ho majú a u menších často chýbajú. Naši poskytovatelia stále často predávajú prázdne autá ako v Európe.
Prvým kandidátom na trh po WinServer bol . Naši technickí špecialisti okamžite povedali, že trhovisko nie je potrebné, pretože správcovia nie sú takí bezradní. Inštalácia Dockeru trvá pár minút a nemali by ste ich považovať za tak lenivých, že to neurobia. Ale nasadili sme trhovisko a umiestnili tam Docker. A začali používať, pretože lenivosť. Šetrí čas! Malý, ale šetrí. Pre zákazníkov to samozrejme nie je životne dôležitá nevyhnutnosť, ale je to už ďalší štandard na trhu.
Na druhej strane nemáme rovnakého Kubera. Ale nedávno sa objavil . Je viac žiadaný. Pre VPS s predinštalovaným softwarom sú zaujímavé pokyny: existuje konfigurácia s odstrihnutým Win (aby to nežeralo výkon), existuje konfigurácia s už predinštalovaným OTRS. Poskytujeme predinštalovaný softvér a je na vás, ako si ho aktivujete, my to nevidíme.
Najlepšie trhy na svete sú podľa mňa Amazon, Digital Ocean a Vultr. Startupy chcú prísť na trh Amazon: ak ste vytvorili nejaký nástroj ako Elasticsearch, ale nedostali ste sa na trh, nikto sa to nedozvie, nikto si ho nekúpi. A ak to zasiahlo, objavil sa distribučný kanál.
DDoS
Každý hosting je napadnutý. Väčšinou ide o slabé necielené útoky, ktoré sú podobné prirodzenej mikroflóre internetu. Ale keď začnú dávať nejakého konkrétneho klienta, začnú problémy pre tých, ktorí s ním susedia, na rovnakú „vetvu“. Spravidla ide o tých, ktorí sú obsluhovaní z rovnakého sieťového zariadenia.
Viac ako 99 % klientov problémy nepociťuje, no niektorí to šťastie nemajú. Toto je častý dôvod, prečo nás zákazníci nemajú radi – kvôli výpadkom servera kvôli DDoS u suseda. Veľmi dlho sme sa snažili tieto príbehy minimalizovať, ale, samozrejme, nemohli sme sa im úplne vyhnúť. DDoS ochranu nemôžeme započítať do ceny tarify pre všetkých v rade, potom sa služby na spodných linkách zdražia asi dvakrát. Keď podpora klientovi odporúča, aby si zobral ochranu v rámci DDoS (samozrejme platenú), klient si niekedy myslí, že sme to dali schválne, aby sme niečo predali. A čo je najdôležitejšie, nedá sa to vysvetliť, ale susedia trpia. V dôsledku toho sme sa museli dostať hlbšie do náplne sieťových adaptérov a napísať pre ne vlastné ovládače. Je to ovládač pre hardvér, áno, počuli ste dobre. Druhý okruh - existuje dvojitý ochranný systém, ktorý dokáže prepínať trasy v priebehu niekoľkých minút. Ak sa dostanete do protifázy kontrol, môžete získať maximálne štyri minúty výpadku. Teraz prepínanie stále spôsobuje problémy vo virtuálnych prepínačoch a prepínačoch, dokončujeme zásobník.
Podpora
Ruská podpora je jedna z najlepších na svete. Teraz to myslím vážne. Faktom je, že mnoho veľkých európskych VDS hostingov sa jednoducho neobťažuje zaoberať sa mnohými problémami. Situácia, keď niekto funguje len v režime odpovedania na listy, je všadeprítomná. Dokonca aj neustále sa objavujúci malý ruský hosting dvoch alebo troch ľudí má zvyčajne buď chat na stránke, alebo telefón, alebo možnosť zaklopať na messenger. A v Európe majú veľké hostingové spoločnosti podporu na niekoľko dní (najmä ak je aplikácia pred víkendom) zvažujú letenku a je nereálne im volať alebo písať na sociálnej sieti.
Naši klienti si, mimochodom, vyberajú lokality vo svojich mestách, ako vtipkuje naša podpora, aby si občas naplnili aj svoju tvár. V skutočnosti sa niekoľko ľudí zastavilo na ceste domov do kancelárie.
A tu je čas začať hovoriť o našich epických zárubniach.
Naše plytčiny
Najmenší sú pády disku, RAM a nájazdy radičov. Je ľahké ho nájsť a nahradiť, ale keď dôjde k zlyhaniu servera, trpí niekoľko klientov naraz. Áno, snažili sme sa robiť, čo sa dalo a áno, spoľahlivý hardvér je z dlhodobého hľadiska lacnejší, no aj tak je to lotéria a ak vám príde takýto výpadok, tak je to, samozrejme, škoda. Rovnaký Amazon tiež nie je poistený proti ničomu podobnému a poruchy sa tam vyskytujú pomerne pravidelne, ale z nejakého dôvodu od nás zákazníci zakaždým očakávajú dokonalosť. Odpustite nám fyziku a zlú náhodnosť, ak zasiahne váš virtuálny stroj.
Potom už spomínaný DDoS. decembra 2018 a decembra 2019. Potom v januári a marci 2020. V druhom prípade niekoľko serverov prestalo reagovať (fyzické počítače boli mŕtve a virtuálne počítače boli na nich) - na oživenie sieťových adaptérov bol potrebný tvrdý reštart. Spätné nasadenie nie je najzábavnejší postup a pár ľudí malo výpadok v priebehu hodín, nie minút. Útoky sa dejú každý deň a v 99,99% všetkých okruhov funguje normálne a nikto si to nevšimne, ale sú chvíle, keď sa niečo pokazí.
V decembri 2018 počas štvorhodinového útoku zlyhal sieťový prepínač. Druhý sa kvôli akejsi mystike nezdvihol, pri pokuse o jeho oživenie sa objavila zacyklená premávka a kým sme zisťovali, čo sa deje, objavila sa jednoduchá. Negatívov bolo prekvapivo málo, každý pochopil, že DDoS sa deje. Aj keď sme na naše pomery dosť dlho dvíhali sieť. Ak ste sa náhle dostali do tohto incidentu, odpustite nám a ďakujeme, že ste vtedy všetko správne pochopili.
Ďalší dôležitý bod: DDoS je vždy lokálny. Nikdy sa nestalo, aby sa problémy v jednom dátovom centre vyvíjali súčasne s problémami v inom. Zatiaľ najhoršia vec, ktorá sa stala lokálne, je reštart prepínača na viacerých počítačoch.
Aby sme konečne ubezpečili našich hackerských klientov, poistili sme zodpovednosť v AIG. Ak nás zlomia a klienti budú trpieť, poisťovne musia odškodniť. Ukázalo sa, že to nie je príliš drahé z hľadiska jednej tarify, ale nejakým spôsobom dáva dôveru.
Podpora. Snažili sme sa vyrobiť s rôznymi funkciami na výber a dostatočnou spoľahlivosťou. To znamená, že naša podpora nerobí dve veci: nerozpráva sa s klientom dlhými zdvorilostnými frázami a nelezie do aplikačného softvéru. Druhá sa obrátila proti nám minulý rok, keď prišlo množstvo instagramových divov, ktoré si kúpili VDS na inštaláciu ako boostery a post automaty. Je pôsobivé, ako niektorí ľudia, ktorí sú extrémne vzdialení od IT, majú spôsoby, ako kompetentne zistiť, ako nainštalovať softvér na virtuálny stroj. Neexistuje žiadna taká inštrukcia, ktorú by fitonyasha nezvládol pre 30% nárast predplatiteľov. Z nejakého dôvodu sa však pokazili pri nastavovaní odchádzajúcej prevádzky vo svojom softvéri. Možno s tým pokyny nepočítali. Nemôžeme byť zodpovední za prevádzku softvéru tretích strán. A problémy sú nielen v tom, že používateľ nerozumie tomu, ako ho nakonfigurovať, ale aj v stabilite. Osoba si napríklad nainštalovala pomocný softvér na podvádzanie zhliadnutí na YouTube. A pochádza z nejakého fóra s trójskym koňom. A v Trojanovi je chyba, uniká mu pamäť. A chyby v trójskych koňoch neopravujeme. Ak nainštalujeme softvér, potom je to produkt po vybalení.
Tento problém bol vyriešený . Existujú tri fázy: nevieme, aký druh softvéru existuje, a zdvorilo odpovieme, že takéto veci nepodporujeme. Druhá fáza: existuje niekoľko takýchto požiadaviek, rozumieme jednej alebo dvom a napíšeme pokyny, vložíme ich do našej znalostnej databázy a pošleme jej. Tretia fáza: takýchto hovorov je veľa a spúšťame distribučnú súpravu .
A potom, keď sme pracovali s ďalšími a ďalšími „neadminmi“, začali sme narážať na druhé hrable. Podpora sa vždy snažila pracovať rýchlo a odpovedala krátko a sucho. A niektorí to vnímali ako pasívnu agresiu. To, čo je akceptovateľné v dialógu dvoch adminov, je úplne nevhodné pre bežného užívateľa, ktorý si VDS zobral pre svoju malú firmu. A v priebehu rokov bolo takýchto používateľov viac. A problém nie je v tom, že podpora hovorí niečo zlé, ale v spôsobe, akým to hovorí. Teraz robíme veľa práce na aktualizácii šablón - do každej pridávame nielen niečo v duchu „nepodporujeme, prepáčte“, ale podrobný popis, čo robiť a ako, prečo nepodporujeme , čo teraz, a to všetko je slušné a zrozumiteľné . Viac podrobností a vysvetlení a viac etikety namiesto trojpísmenových skratiek jednoduchšie vysvetlenia toho, čo tam je. Rozbalili sme to týždeň, uvidíme, čo sa stane. Pred pandémiou nebolo prioritou klienta podlízať, ale problém čo najrýchlejšie vyriešiť. Podľa filozofie podniku sme ako McDonald's: nemôžete si vybrať pečenie mäsa, podpora robí rýchlo len to, čo je zahrnuté v štandardných požiadavkách. Vo všeobecnosti z toho plynie ponaučenie, že ak odpoviete sucho, ľudia budú mať často pocit, že sa k nim správajú akosi neslušne. Nemysleli sme si to až do minulého roka, úprimne. Samozrejme, nechceli sme nikoho uraziť. V tomto smere zaostávame za rozvinutými podpornými službami na trhu: mnohé z nich majú za cieľ byť ku klientovi veľmi opatrné a práve s touto prioritou sme začali pracovať.
tarifa. No, naše najväčšie zlyhanie sú problémy s 30-rubľovou tarifou. Máme špeciálnu radu už slabého železa, kde stojí VDS . Teší sa veľkej obľube. Hneď v popise uviedli, že bude plná plnka, tarifa nebola za prácu, ale za školenie. Vo všeobecnosti, AKO JE, a toto JE bude často veľmi desivé.
Ako sa ukázalo, takýto popis tarify zarazil málokoho. 30 rubľov je stále lacnejších ako adresa ipv4 a potom je s ňou hneď virtuálny stroj. Zdá sa mi, že mnohí kupovali len preto, aby si kúpili, pretože to otvárame vo vlnách. Prvýkrát išlo všetko viac-menej normálne, ale potom sme nevenovali náležitú pozornosť tomu, že po troch-štyroch mesiacoch začala recyklácia postupne pribúdať – projekty sa tam nerozvíjali hneď a do konca roka sa záťaž sa stal pre bežného klienta menej pohodlným, boli dlhé rady napríklad pri zápise na disk. Áno, existuje SSD, ale obmedzujeme ho tarifou na rýchlosti HDD, a to nie je NVMe, ale lacné disky Intel špeciálne zakúpené na experimenty s konfiguráciami serverov. Vymenili sme disky za väčšie a normálnejšie, to nám umožnilo získať aspoň nejaký výkon.
Druhý objav tejto tarify nám priniesol tisíce čínskych používateľov. Napísali skripty, ktoré spaľujú našu stránku, pretože medzi objavením sa správ na stránke a distribúciou kúpili bratia v okienku asi 800 áut, a to je len pár minút. Neviem presne povedať, čo tam robili, ale súdiac podľa charakteru premávky, boli to disidenti, ktorí obchádzali Veľký čínsky firewall. Zakázali sme podľa podmienok akcie kúpiť auto okrem občanov Ruskej federácie. Aby sme ochránili Kwaimyeon, museli sme pozastaviť vytváranie virtuálnych strojov. Najprv nám poďakovali ruskí používatelia, potom podpora – niektorých používateľov „v procese“ bolo potrebné dokončiť ručne. No bolo tam negatívum, lebo veľa ľudí čakalo a keď im prišiel list, tarifa už skončila.
Teraz máme niekoľko tisíc aktívnych klientov s 30-rubľovou tarifou. Ak má správca rovné ramená, robí najlacnejšiu VPN na svete. Niekto zaklopal na podporu so snímkami obrazovky Linuxu s nejakým grafickým používateľským rozhraním (nepamätám si, čo tam bolo, ale samotná skutočnosť GUI na takýchto počítačoch s obmedzenou pamäťou RAM je už v pohode), niekto nainštaloval panel ISP atď. Niekto sa naozaj zvykol učiť. Túto akciu urobíme znova, berúc do úvahy chyby, ale vedzte, že niekde tam vonku, v Nebeskej ríši, je malé fórum pre asi milión registrovaných účastníkov, ktorí sú prihlásení na odber vlákna o našich serveroch.
Hlavnou lekciou tohto príbehu je, že stroje spočiatku bežali rýchlejšie, než sa očakávalo, a ľudia si vytvárali nesprávne očakávania týkajúce sa výkonu. Keď začala klesať na sľúbenú úroveň, začali sa sťažovať na podporu a bola bombardovaná negativitou. Teraz si samozrejme presnejšie vysvetlíme, čo pri takejto tarife čaká. Ešte raz, odpustite nám, ak vás tento príbeh urazil.
Takto vyzerá moja vízia rôznych momentov na trhu. A teraz vás chcem požiadať, aby ste mi povedali, čo vás na trhu rozzúrilo a ako sa to dá opraviť za pozemské peniaze. Ak to bude ekonomicky opodstatnené, pokúsime sa. No, ostatní hostitelia sa pozrú na túto časť komentárov a možno to urobia tiež.
Zdroj: hab.com