Generelt vil jeg sige med det samme, at meningen om helvede og det, at mange af XNUMX’erne har service, er en værdidom. Faktisk kommer de selvfølgelig fra Rusland. Faktisk er vi selvfølgelig også gode, og jeg vil også fortælle om disse pletter i biografien. Faktisk er den samme støtte i de senere år blevet meget bedre for mange. Men alligevel dukker nogle menneskers stamtavle op hist og her.
Lad mig gennemgå de problemer, der ofte er urealistisk smertefulde for hosting-klienter, jeg vil fortælle dig, hvad der er godt og dårligt med os, og hvordan det ser ud i andre hostingtjenester i Rusland og i udlandet (men der ved jeg naturligvis mindre om indre).
Den første historie er jern. Kunder er utroligt vrede, når en RAID-controller fejler, eller flere diske fejler på én gang, og support gør det nemt at udskifte. Vi havde en klient, som først blev ramt af en DDoS-rikochet på en tilstødende VDS på den samme server, så to timer senere begyndte det planlagte arbejde med netværksadapteren, og så gik raidet i genopbygning efter en power-on-genstart. Vi vender i øvrigt tilbage til spørgsmålet om didos senere.
Så du kan tage billig "hyldevare" og reparere den ofte, eller du kan bruge serverhardware - vi har Huawei i virksomhedens linje. Så vidt jeg ved, har vi og to andre spillere på det russiske marked professionel serverhardware. Ret mig hvis jeg tager fejl. Dette skyldes, at vi i starten troede, at vi ville leve i mere end fem år og besluttede at afskrive den gamle hardware mindst fem år efter driftstart. Forresten, igen, det er nogenlunde sådan, taksten for 30 rubler for VDS så ud, forstår du?
Dilemma med jern
Så vi har en Huawei i virksomhedsklassen. Normalt har hostere i Rusland selvmontering, som købes i engrosbutikker med kontor- og hjemmecomputere til komponenter, og derefter samles og betjenes ved hjælp af forskellige dendral-metoder. Dette påvirker hyppigheden af nedbrud og omkostningerne ved tjenester. Hvis alt er mere eller mindre indlysende med hyppigheden af nedbrud (jo værre hardware, jo større er chancen for nedetid), så er alt mere interessant med omkostningerne ved tjenester. Med vores cyklus på fem til seks år for hardware, viser det sig at være billigere at købe servere og netværksenheder til virksomhedslinjer til datacentre.
Ja, de er dyrere i indkøb. Ja, de har en meget dyr garanti (vi har en udvidet garanti for alle nye enheder til næste hverdag, og for ikke den mest succesrige serie er den forlænget langt ud over tidsgarantien). Ja, du skal have et reparationssæt på stedet: Vi udskifter de samme diske, RAID-controllere, RAM-strips og nogle gange strømforsyninger fra vores egne reservedele i alle ti datacentre. Et eller andet sted er der flere reservedele, et sted færre, afhængigt af det objektive antal og alderen på serverne der.
Da vi startede virksomheden, besluttede vi straks at tage mere pålidelig hardware. Fordi der var en chance for at tjekke: Før RUVDS var vi engageret i algoritmisk handel og brugte selvsamlet billig hardware. Og det viste sig, at forskellen virkelig er meget stor. Forbrugsvarer købes simpelthen i centners. Naturligvis, hvis hosting har sådanne omkostninger eller en kortere hardware-afskrivningscyklus, så stiger prisen på taksterne. Og da priserne for mere eller mindre identiske konfigurationer er mere eller mindre faste på hele markedet, forringes normalt noget andet. Som regel er det ikke support, men enten kvaliteten af kommunikationen eller informationssikkerheden.
Jeg kan selvfølgelig tage fejl, men vurderingen er denne: Den, der ikke direkte på hjemmesiden angiver et samarbejde med en jernleverandør og en professionel hardwarelinje, bruger en "almindelig" en. Måske skjuler nogen simpelthen deres seje udstyr.
Vi lavede en billig (men ikke den billigste) , derfor overvejede vi meget nøje og fortsætter med at beregne driftsomkostninger. Jeg forstår ikke rigtigt andre virksomheders modeller, men det lader til, at pointen er, at de har en planlægningshorisont på to eller tre år, mens vi simpelthen har længere. Måske tager vi fejl, og i Rusland er det ikke værd at planlægge indtil videre, men indtil videre, pah-pah, har vi nydt godt af dette og fortsætter med at vokse som virksomhed.
Datacenterets placering
De fleste VDS-hostingtjenester har en eller to lokationer. Vi har ti, og der er ikke kun i Moskva, men også tæt på store russiske byer (Ekaterinburg, Novosibirsk), hvilket er vigtigt for Minecraft- og Counter-Strike-servere, og der er også Schweiz, England og Tyskland. Og samtidig er russisksproget support overalt.
Hvorfor der er behov for en anden placering, er klart - tjenester skal geodistribueres. Men hvorfor der er brug for datacentre i andre lande, er et meget interessant spørgsmål.
For det første anses et datacenter i Schweiz for at være mere pålideligt end et russisk. Der er ikke tale om en objektiv vurdering, men en vurdering fra flertallet af vores kunder. Det skal siges, at ja, selvfølgelig kan der være episke huller der, som andre steder, men generelt har de meget mere nøje fulgt vedligeholdelsesprocedurer og en meget stærk ekstern sikkerhedsomkreds. Det vil sige, at de skal have problemer sjældnere.
For det andet naturligvis uden for Rusland. For nogle er dette vigtigt for at handle tættere på nøglepunkter, hvor ordrer behandles. For nogle er det vigtigt på grund af vores egne VPN'er (jeg tror, at mindst en tredjedel af vores servere blev købt specifikt til at organisere VPN-tunneler gennem andre jurisdiktioner). Nå, der er folk, der fandt maskeshows i deres datacentre i Rusland og nu simpelthen foretrækker at gemme deres data ikke hos os. Selvom der i teorien heller ikke er nogen der er immune over for dette. Det er bare, at standardindstillingerne for at køre ind i et datacenter er anderledes.
Jeg vil med det samme sige, at nogle af vores kommercielle datacentre ikke er værre end dem i Storbritannien eller Schweiz. For eksempel i siden har næsten ingen problemer (og absolut ingen alvorlige) og overholder Uptime Institute (T3) standarder. Godt bevogtet. Det vil sige, at det objektivt set er meget godt, men blandt kunderne er der på en eller anden måde en tro på, at det er mere sikkert i udlandet. Og de russiske hostere, der ikke giver en udenlandsk placering umiddelbart, passer ikke ind i markedets behov.
Ændring af serverkonfiguration og prissætning
Vi lavede undersøgelser og undersøgte, hvad der var vigtigt for kunderne. Det viste sig, at sådanne parametre som kvantiseringsenheden i taksten og evnen til hurtigt at ændre serverkonfigurationen indtager et meget højt sted. Vi ved, at et eller andet sted oprettes en virtuel maskine manuelt på en eller to timer efter anmodning, konfigurationen ændres inden for en dag efter en supportanmodning.
Vi automatiserede processerne, indtil mediantiden til at oprette en virtuel maskine var fire minutter, og det gennemsnitlige interval fra applikation til lancering var 10-11 minutter. Dette skyldes, at nogle komplekse applikationer stadig udføres i hånden på cirka 20 minutter.
Vores fakturering er per sekund (ikke hver time eller daglig). Du kan oprette en server, se på den og straks slette den og spare dine penge (vi beder om en forudbetaling i en måned, men vi returnerer den, hvis den ikke virker). De fleste russiske websteder kræver, at du lejer en licens til operativsystemet separat. Vores WinServer leveres gratis til alle maskiner og er inkluderet i taksten (men Windows desktop-versionen er ikke tilgængelig).
Serverkonfigurationen ændres på cirka ti minutter fra grænsefladen, både ned og op. Der er to undtagelser - ned på disken er det ikke altid muligt automatisk (hvis pladsen er optaget af noget), og når du overfører fra 2,2 GHz til 3,5 GHz, sker dette gennem en billet. Manuelle anmodninger har en SLA for det første svar på 15 minutter, en behandlingstid på 20-30 minutter (måske mere, afhængigt af mængden af kopierede data). I taksterne i øvrigt, hvor vi har HDD, overalt faktisk SSD med restriktioner op til HDD-hastigheder (det viste sig at være billigere, og vi gik helt over til SSD for ca. halvandet år siden). Du kan tage en bil med et videokort. Der er en udnyttelsestakst (der er en kompleks formel for processor, RAM, diske og trafik) - hvis du har peak computing, er det billigere, men der er også klienter, som ikke helt forudsiger deres forbrug korrekt og nogle gange betaler dobbelt så meget som den almindelige takst. Nå, nogen gemmer.
Ja, alt dette kræver automatiseringsomkostninger. Men som praksis viser, giver dette dig også mulighed for at spare meget på support og fastholde kunder på grund af kvaliteten af servicen.
Det negative punkt er, at nogle gange anbefaler vi at tage 10 GB mere for bestemt software. Eller nogle gange, i korrespondance med en klient, forstår vi, hvilken slags software han har, og ser, at der simpelthen ikke er nok RAM eller processorkerner, og vi råder ham til at købe mere, men mange mennesker tror, at dette er en slags trick fra support .
Markedspladser
Der er en tendens i udlandet til at levere ikke kun VDS, men også et sæt forudinstalleret software. I en eller anden form Alle store hostingsider har det og er ofte fraværende fra små. Vores udbydere sælger stadig ofte tomme biler, ligesom i Europa.
Den første kandidat til markedspladsen efter WinServer var . Vores tekniske specialister sagde straks, at markedspladsen ikke var nødvendig, fordi administratorerne ikke er så håndløse. Installation af Docker tager et par minutter, og du skal ikke betragte dem som så dovne, at de ikke vil gøre det. Men vi implementerede markedspladsen og satte Docker der. Og de begyndte at bruge det, fordi de var dovne. Det sparer tid! Ikke meget, men det sparer. Dette er selvfølgelig ikke en afgørende nødvendighed for kunderne, men det er allerede den næste markedsstandard.
Til gengæld har vi ikke den samme Kubera. Men for nylig dukkede op . Han er stadig mere efterspurgt. Der er interessante anvisninger til VPS med forudinstalleret software: Der er en konfiguration med afisoleret Win (så den ikke æder ydeevnen), og der er en med OTRS allerede forudinstalleret. Vi leverer forudinstalleret software, men hvordan du aktiverer det er op til dig, det kan vi ikke se.
De fedeste markedspladser i verden er efter min mening Amazon, Digital Ocean og Vultr. Startups ønsker at komme til Amazons markedsplads: Hvis du lavede et eller andet værktøj som Elasticsearch, men ikke kom ind på markedspladsen, vil ingen vide det, ingen vil købe. Og hvis du rammer den, så dukkede en distributionskanal op.
DDoS
Hver hosting er angrebet. Disse er normalt svage, ikke-målrettede angreb, der ligner internettets naturlige mikroflora. Men når de begynder at placere en specifik klient, begynder problemerne for dem, der støder op til ham på den samme "gren". Typisk er det dem, der betjenes fra den samme netværksenhed.
Mere end 99 % af klienterne oplever ikke problemer, men nogle er uheldige. Dette er en almindelig årsag til, at klienter ikke kan lide os - på grund af servernedetid på grund af DDoS til en nabo. Vi har længe forsøgt at minimere disse historier, men vi kunne selvfølgelig ikke undgå dem helt. Vi kan ikke medregne DDoS-beskyttelse i prisen på taksten for alle, så bliver tjenester på de lavere linjer cirka dobbelt så dyre. Når support anbefaler, at en klient tager DDoS-beskyttelse (betalt, selvfølgelig), tror klienten nogle gange, at vi sætter det med vilje for at sælge noget. Og vigtigst af alt er der ingen forklaring, men naboerne lider. Som et resultat var vi nødt til at dykke dybere ned i fyldningen af netværksadaptere og skrive vores egne drivere til dem. Netop drivere til hardware, ja, du hørte rigtigt. Andet kredsløb - der er et dobbelt beskyttelsessystem, der kan skifte rute på få minutter. Kommer du ind i den modsatte fase af kontrollerne, kan du maksimalt få fire minutters nedetid. Nu skaber skift stadig nogle problemer i virtuelle switches og switches, vi er ved at afslutte stakken.
Support
Russisk støtte er en af de bedste i verden. Jeg er seriøs nu. Faktum er, at mange store europæiske VDS-hostingfirmaer simpelthen ikke gider tage mange problemer selv. Situationen, hvor nogen kun arbejder som svar på breve, er allestedsnærværende. Selv de konstant opdukkende små russiske hostingfirmaer på to eller tre personer har normalt enten en chat på siden eller en telefon eller muligheden for at banke på messengeren. Og i Europa på store hostingsider tager support flere dage (især hvis ansøgningen er før weekenden) at overveje billetten, og det er urealistisk at ringe eller skrive til dem på sociale netværk.
Vores kunder vælger i øvrigt steder i deres byer, som vores support jokes, for også at slå dem i ansigtet af og til. Faktisk kom flere mennesker forbi på vej hjem til kontoret.
Og nu er det tid til at begynde at tale om vores episke fejltagelser.
Vores jambs
De mindste ting er nedbrud af diske, RAM og raid-controllere. Det er nemt at komme og erstatte det, men når serveren går ned, lider flere klienter på én gang. Ja, vi forsøgte at gøre, hvad vi kunne, og ja, pålidelig hardware er billigere i det lange løb, men det er stadig et lotteri, og hvis du får sådan et sammenbrud, så er det selvfølgelig en skam. Den samme Amazon er heller ikke immun over for noget lignende, og nedbrud sker der ret regelmæssigt, men af en eller anden grund forventer kunderne upåklagelighed fra os hver gang. Tilgiv os for fysikken og den dårlige tilfældighed, hvis dette påvirkede din virtuelle maskine.
Derefter førnævnte DDoS. I december 2018 og december 2019. Derefter i januar og marts 2020. I sidstnævnte tilfælde holdt flere servere op med at reagere (de fysiske maskiner var døde, men de virtuelle maskiner var på dem) - en hård genstart var nødvendig for at netværksadapterne kunne komme til live. Det er ikke det sjoveste at implementere tilbage, og et par mennesker oplevede nedetid på timer i stedet for minutter. Angreb sker hver dag, og 99,99% af tiden fungerer alle kredsløb normalt, og ingen lægger mærke til det, men der er tidspunkter, hvor noget går galt.
I december 2018 fejlede en netværksswitch under et fire timer langt angreb. Den anden blev ikke opfanget på grund af en vis mystik; da man forsøgte at genoplive den, dukkede en løkke af trafik op, og mens vi fandt ud af, hvad der skete, opstod der en nedetid. Der var overraskende lidt negativitet; alle forstod, at DDoS sker. Selvom vi hævede netværket i ret lang tid efter vores standarder. Hvis du pludselig stødte på denne hændelse, så tilgiv os, og tak for at forstå alt korrekt dengang.
Et andet vigtigt punkt: DDoS er altid lokalt. Det er aldrig sket, at problemer i et datacenter udviklede sig samtidig med problemer i et andet. Nå, indtil videre er det værste, der er sket lokalt, en genstart af en switch med flere maskiner.
For yderligere at berolige vores hacking-kunder, har vi en ansvarsforsikring hos AIG. Hvis vi går i stykker, og kunderne lider, skal forsikringsselskaberne kompensere. Dette viste sig ikke at være særlig dyrt pr. enhedstariff, men på en eller anden måde giver det tillid.
Support. Vi prøvede at gøre med forskellige funktioner at vælge imellem og tilstrækkelig pålidelighed. Det betyder, at vores support ikke gør to ting: taler ikke til klienten i lange, høflige sætninger og dykker ikke ned i applikationssoftwaren. Den anden ting kom tilbage til at hjemsøge os sidste år, da adskillige Instagram-divaer kom og købte VDS til at installere som boostere og postautomater. Det er imponerende, hvordan nogle mennesker, som er ekstremt langt fra IT, er i stand til kompetent at forstå installation af software på en virtuel maskine. Der er ingen instruktion, som en fitnesspige ikke kan mestre for en 30% stigning i abonnenter. Men af en eller anden grund brød de sammen, da de satte udgående trafik op i deres software. Måske indeholdt instruktionerne ikke dette. Vi kan ikke være ansvarlige for driften af tredjepartssoftware. Og problemerne der er ikke kun, at brugeren ikke forstår, hvordan man konfigurerer det, men også i stabilitet. For eksempel installerede en person hjælpesoftware til at øge visninger på YouTube. Og det kommer fra et eller andet forum komplet med en trojaner. Og trojaneren har en fejl, dens hukommelse lækker. Og vi retter ikke fejl i trojanske heste. Hvis vi installerer software, så er det et produkt ud af æsken.
Dette problem er begyndt at blive løst . Der er tre stadier: Vi ved ikke, hvilken slags software der er, og vi svarer høfligt, at vi ikke understøtter sådanne ting. Anden fase: der er flere sådanne anmodninger, vi forstår en eller to og skriver instruktioner, lægger den i vores vidensbase og sender den til den. Tredje fase: der er mange sådanne anmodninger, og vi lancerer et distributionssæt i .
Og så, da vi arbejdede med flere og flere "ikke-administratorer", begyndte vi at støde på endnu en rake. Supporten forsøgte altid at arbejde hurtigt og svarede kort og tørt. Og nogle opfattede det som passiv aggression. Hvad der er acceptabelt i en dialog mellem to administratorer er fuldstændig uegnet for en almindelig bruger, der har taget en VDS til sin lille virksomhed. Og gennem årene er der kommet flere af den slags brugere. Og problemet dér er ikke, at supporten siger noget forkert, men i måden den siger det på. Vi laver nu en masse arbejde med at opdatere skabelonerne - vi inkluderer i hver ikke kun noget i ånden "vi støtter ikke, undskyld," men en detaljeret beskrivelse af, hvad vi skal gøre, og hvordan, hvorfor vi ikke understøtter , hvad nu, og alt dette er høfligt og forståeligt. Flere detaljer og forklaringer og mere etikette, i stedet for trebogstavsforkortelser er der enklere forklaringer på, hvad der er der. Det er en uge siden vi rullede det ud, så vi må se hvordan det bliver. Før pandemien var prioriteten ikke at slikke klienten, men at løse problemet så hurtigt som muligt. Vores virksomhedsfilosofi er ligesom McDonald's: du kan ikke vælge, hvor godt dit kød skal tilberedes; support udfører hurtigt kun det, der er inkluderet i standardforespørgsler. Generelt er lektionen, at hvis du svarer tørt, vil folk ofte føle, at du er lidt uhøflig over for dem. Vi tænkte ikke over det før sidste år, ærligt talt. Nå, vi ville selvfølgelig ikke fornærme nogen. I den forbindelse halter vi bagud med de udviklede supporttjenester på markedet: mange har som mål at være meget forsigtige med kunden, men vi er først lige begyndt at arbejde med denne prioritet.
tarif. Nå, vores mest episke fiasko er problemerne med taksten på 30 rubler. Vi har en speciel serie af i forvejen svag hardware, hvor VDS står . Det er ekstremt populært. De sagde straks i beskrivelsen, at det ville være komplet fyld, taksten var ikke til arbejde, men til træning. Generelt, SOM ER, og dette ER vil ofte være meget skræmmende.
Som det viste sig, stoppede denne beskrivelse af taksten få mennesker. 30 rubler er stadig billigere end en ipv4-adresse, og så er der en virtuel maskine med det samme. Det forekommer mig, at mange har købt bare for at købe, for vi åbner det i bølger. Første gang gik alt mere eller mindre normalt, men så var vi ikke opmærksomme nok på, at efter tre-fire måneder begyndte genbrug gradvist at stige - projekterne der startede ikke med det samme, og ved årets udgang arbejdsbyrden blev mindre behagelig for den gennemsnitlige klient, store køer opstod for eksempel til at skrive til disk. Ja, der er en SSD, men vi begrænser den i tariffen til HDD-hastigheder, og det er ikke NVMe, men billige Intel-diske, der er specielt købt til eksperimenter til serverkonfigurationer. Vi ændrede diskene til større og mere normale diske, dette tillod os at få i det mindste en vis ydeevne.
Den anden opdagelse af denne tarif bragte os tusindvis af kinesiske brugere. De skrev scripts, der brænder vores side, fordi omkring 800 biler blev købt af broderfolket i vinduet mellem nyhederne på siden og nyhedsbrevet, og det er bogstaveligt talt et par minutter. Jeg kan ikke sige præcist, hvad de lavede der, men at dømme efter trafikkens natur, var de dissidenter, der gik uden om Kinas Store Firewall. I henhold til vilkårene for kampagnen forbød vi nogen at købe en bil undtagen for borgere i Den Russiske Føderation. For at beskytte Kwaimyeon var vi nødt til at sætte oprettelsen af virtuelle maskiner på pause. Først takkede russiske brugere os, så støttede de os - nogle af brugerne "i processen" skulle fuldføres manuelt. Nå, der var noget negativitet, fordi mange mennesker ventede, og da de modtog brevet, var taksten allerede ophørt.
Nu har vi flere tusinde aktive kunder på 30-rubel-taksten. Hvis administratoren har lige hænder, laver han den billigste VPN i verden. Nogen kontaktede support med skærmbilleder af Linux med en slags GUI (jeg kan ikke huske, hvad der var der, men selve kendsgerningen med en GUI på sådanne maskiner med begrænset RAM er allerede cool), nogen installerede et ISP-panel og så videre. Nogen brugte det faktisk til træning. Vi vil gøre denne handling igen, idet vi tager fejlene i betragtning, men ved bare, at der et eller andet sted derude, i Mellemriget, er et lille forum med omkring en million registrerede deltagere, som abonnerer på tråden om vores servere.
Den vigtigste lektie af denne historie er, at maskiner oprindeligt fungerede hurtigere end forventet, og folk udviklede forkerte forventninger til ydeevne. Da det begyndte at falde til det lovede niveau, begyndte klager at støtte, og hun blev bombarderet med negativitet. Nu vil vi selvfølgelig mere præcist forklare, hvad der venter til en sådan takst. Endnu en gang, tilgiv os, hvis du bliver stødt over denne historie.
Sådan ser min vision af forskellige øjeblikke på markedet nogenlunde ud. Og nu vil jeg bede dig fortælle mig, hvad der gjorde dig rasende på markedet, og hvordan det kan ordnes for jordiske penge. Hvis det er økonomisk forsvarligt, vil vi forsøge. Nå, andre hostere vil se på denne sektion af kommentarer, og måske vil de gøre det samme.
Kilde: www.habr.com