Myn namme is Leonid, ik bin in websideûntwikkelder , dêrom, troch myn aktiviteiten, bin ik ynteressearre yn 'e ferhalen fan' e foarming en ûntwikkeling fan ferskate bedriuwen op it mêd fan hostingtsjinsten. Hjoed wol ik in ynterview presintearje mei Danil en Dmitry, de makkers fan hosting . Se sille prate oer de struktuer fan 'e ynfrastruktuer, de organisaasje fan wurk en har ûnderfining by it ûntwikkeljen fan in firtuele serverprovider yn Ruslân.
Fertel ús asjebleaft in pear wurden oer dysels. Hoe kamen jo yn hosting? Wat diesto hjirfoar?
Oant 2016 wurken sawol Dmitry as ik yn 'e Enterprise-sektor, ynklusyf yn bedriuwen lykas Dell, HP, EMC. Analyse fan 'e wolkmerk yn Ruslân, wy realisearre dat it aktyf groeide, en besletten dat wy in nijsgjirrich oanbod oan' e merk koene meitsje. In team fan minsken dy't al mei-inoar oan oare projekten wurke hiene gear en begûn tegearre har eigen virtualisaasjeplatfoarm te ûntwikkeljen rjochte op grutte bedriuwen mei har spesifike behoeften. Sûnt 2018 hawwe wy tagelyk wolkhosting "foar elkenien" lansearre en tawiisd oan it projekt in team fan fiif minsken.
Pre-launch opslach en tarieding stasjon
Wurket dit projekt foar bedriuw al of is it noch yn ûntwikkeling?
Ja, it wurket parallel - d'r is al in grutter team, en wy prate mear oer software- en hardwareoplossingen foar IT-ynfrastruktuer, net oer hosting.
Jo hawwe no in protte ferskillende tsjinsten. Doe't jo begûn, wie de list lytser of itselde? Boppedat binne al dizze tsjinsten eins in gewoane firtuele server, mar d'r is in bepaalde skieding.
Wy begûnen mei klassike IaaS: wy levere "keale" firtuele servers mei sletten havens en firtuele netwurken foar har, sadat de brûker in folsleine ynfrastruktuer foar himsels meitsje koe. Mar nei de lansearring, die bliken dat de measte brûkers net begrepen wêrom't se nedich sokke kânsen, en wy besletten om yntrodusearje in nij produkt foar ússels - in standert VDS / VPS, dêr't de merk is al bekend. Foar ús wie it yn wêzen in stripped-down ferzje fan it produkt, mar brûkers begrepen fuortendaliks wat it wie, en wy begûnen ús earste klanten te ûntfangen. Blykber hat ús ûnderfining mei grutte bedriuwen ús twongen om fuortendaliks in kompleksere en oanpaste oplossing te ûntwikkeljen, wylst de massamerk ienfâld wol. En doe, basearre op VPS, begûnen wy nije tsjinsten te ûntwikkeljen op basis fan wat kliïnten it meastentiids freegje. En wy ûntwikkelje it noch.
Wêr pleatse jo de apparatuer? Hawwe jo it of hiere jo it? Hoe hawwe jo in DC keazen foar pleatsing? Wiene der gefallen fan ferhuzing?
Alle apparatuer is fan ús, wy hiere allinich romte yn twa datasintra. Wy begûnen mei trije datasintra: wy woenen trijekantige fouttolerânsje ymplementearje, mar de fraach dêrfoar wie op dat stuit te lyts om dêr yn te ynvestearjen, sadat wy it tredde datasintrum ferlitten hawwe. Wy hienen ien ferhuzing: wy wiene gewoan fan it tredde datasintrum nei ien fan 'e oerbleaune twa. Se waarden keazen neffens it folgjende prinsipe: DC's moatte bekend wêze yn 'e merk, betrouber (Tier III), sadat beide geografysk yn Moskou lizze soene, yn gebieten op ôfstân fan elkoar.
Yn hokker DC's sitte jo op it stuit en hokker hawwe jo ferlitten?
No sitte wy yn DataSpace en 3Data. Wy hawwe ien fan 'e 3Data-datasintra ferlitten.
It ferlitten fan it tredde datasintrum
Ferhierje of keapje jo IP-adressen?
Wy ferhiere.
En om hokker reden hawwe jo dizze oanpak keazen ynstee fan te keapjen?
Troch en grut, fluch groeie. Wy jouwe kliïnten mei firtuele ynfrastruktuer, dêr't se net hoege te beteljen haadstêd ynvestearrings direkt, en kosten kinne wurde ôfbrutsen moanliks. Wy sels hâlde ús oan deselde filosofy as ús kliïnten - wy stribje nei útwreiding en rappe skaalfergrutting.
Wat tinke jo oer IPv6?
Oant no hawwe wy gjin signifikante fraach opmurken, dus wy hawwe net mear tafoege, mar de útfierarsjitektuer is útwurke, wy binne ree om yn koarte tiid "út te rôljen", sa gau as wy begripe dat der fersiken binne .
Jo brûke KVM-virtualisaasje. Wêrom hasto har keazen? Hoe lit se harsels op it wurk sjen?
Dat is krekt, mar wy brûke gjin "neaken" KVM, mar in folweardich, wizige KVM-basearre virtualisaasjesysteem dat ús "grutte broer" ûntwikkele, ynklusyf in data-opslachsysteem (SDS) en in software-definieare netwurk (SDN) . Wy hawwe it keazen op basis fan it bouwen fan it meast fouttolerante produkt sûnder ienige punten fan mislearring. It lit him goed sjen, der binne oant no ta gjin wrâldwide problemen ûntstien yn de produksje. Op it poadium fan alpha testen op 'e merk, doe't wy levere tsjinsten oan de earste kliïnten foar bonus punten, wy hifke de technology en moete in oantal onaangename mominten, mar oer de ôfrûne twa jier hawwe wy slagge om te begripen en oplosse in protte.
Brûke jo overselling? Hoe kontrolearje jo de lading op 'e tsjinner?
Wy brûke overselling allinich foar processors, mar yn gjin gefal foar RAM. Sels yn it gefal fan fysike processors litte wy har lading net mear as 75% talitte. Troch skiif: wy wurkje mei "tinne" kapasiteit tawizing. Wy hawwe sintralisearre tafersjoch fan 'e hiele omjouwing, wêrtroch't wy de lading kinne kontrolearje. Twa yngenieurs binne ferantwurdlik foar it stypjen fan de hiele ynfrastruktuer, dus wy besykje safolle mooglik te automatisearjen en alle mooglike ynformaasje oer it systeem te sammeljen. Alle ôfwikingen fan normale operaasje binne fuortendaliks sichtber, en wy periodyk beoardielje en rebalance de lading binnen de ynfrastruktuer. Rebalancing fynt altyd online plak, ûngemurken troch kliïnten.
Hoefolle fysike tsjinners hawwe jo op it stuit? Hoe faak foegje jo nije ta? Hokker tsjinners brûke jo?
Op it stuit binne d'r 76 servers, wy foegje sawat elke fjouwer oant fiif moannen nije ta. Wy brûke QCT, Intel, Supermicro.
Hawwe d'r gefallen west doe't in klant kaam en alle oerbleaune fergese boarnen opnaam, en jo moatte driuwend tsjinners tafoegje?
Der wie net sa'n ding mei middels. Oant no ta groeie wy min of mear gelyk. Mar d'r wie in gefal doe't in brûker kaam en woe 50 IP's, elk yn in apart blok. Soks ha wy fansels noch net :)
Wat binne jo populêrste betelmethoden? Wat wurdt it minste brûkt?
De populêrste binne in bankkaart en QIWI. De minste mienskiplike is betelling troch bankoerdracht ûnder it oanbod foar juridyske entiteiten, mar sokke oerstappen binne de meast voluminous (bedriuwen, yn 'e regel, betelje foar fêste middels foar ferskate moannen). PayPal leit ek efter: wy rekken yn it begjin net op bûtenlânske brûkers, mar se begûnen te ferskinen.
Boodet.online hat selsskreaune fakturearring. Wêrom hawwe jo besletten dizze oplossing te brûken? Wat binne de foar- en neidielen? Wie it dreech om te ûntwikkeljen?
Us hiele systeem is fan ús eigen ûntwerp. De besteande platfoarms like ús net heul handich yn termen fan UX, dus besleaten wy ús eigen te meitsjen en te ûntwikkeljen. Billing is mar ien fan 'e mikrotsjinsten dy't diel útmeitsje fan it systeem. De ûntwikkeling blykte dreger te wêzen as wy oan it begjin tochten. Sels op in stuit moasten wy de lansearring fan it projekt útstelle om tiid te hawwen om in wurkjend produkt te meitsjen dat net beskamsum soe wêze foar alfa-testen. Dêrnei krigen se kompetinsjes yn metoaden foar lange termyn ûntwikkeling en produktbehear. No is it makliker om nije funksjonaliteit en nije produkten ta te foegjen oan it systeem.
Hoefolle minsken hawwe dit alles ûntwikkele? Wêr hast op skreaun?
Wy hawwe fiif minsken foar it hiele projekt, wêrfan twa ûntwikkelders (frontend en backend). Werom is skreaun yn RoR / Python. Foarside is JS.
Hoe wurdt brûkersstipe organisearre? Is it 24/7 iepen of allinich yn bedriuwstiden? Hoefolle stipe rigels binne der? Wat wurde jo meast frege?
Wy hawwe trije yngongspunten: petear, tillefoan en in applikaasjesysteem fan jo persoanlike akkount. Twa rigels fan stipe: as de yngenieur op plicht it probleem net oplosse koe, wurdt de technysk direkteur of ûntwikkelingsteam belutsen. As it probleem is yn 'e haadplatfoarm, wat folle minder faaks bart, dan draait de technysk direkteur nei de stipe fan' e "grutte broer". Nachts reagearje wy allinich op oproppen fan klanten dy't aparte technyske tsjinsten keapje, of op platfoarmfalen rapporteare fia in spesjaal skreaune bot yn Telegram.
De meast populêre fragen:
- Binne ús IPs beskikber yn Turkmenistan (dit is de earste yn populariteit - blykber, it lân hat in strang blokkearjende belied).
- Hoe dizze of dy software te ynstallearjen.
- Hoe kinne jo root-tagong krije (d'r is sels in spesjale herinnering yn 'e ynterface by it meitsjen fan masines, mar dit helpt net altyd).
Ferifiearje jo kliïnten? Ferskyne spammers en oare minne karakters faak?
Ferifikaasje fia post en tillefoan (as de brûker 2FA aktivearret). Spammers en oare abusers ferskine periodyk. Wy binne twongen om te reagearjen troch tydlik kompromittearre servers te blokkearjen, om't wy net wolle dat IP's op 'e swarte list wurde. Mar wy skriuwe de brûker altyd foarôf dat der in klacht tsjin him binnenkaam is, en freegje him om kontakt op te nimmen en it probleem te bepraten. As de brûker net reagearret, of werhelle klachten ferskine, blokkearje wy it hiele akkount en wiskje de tsjinners.
Komme DDoS-oanfallen op klanten faak foar? Wat dogge jo yn sokke gefallen? Hawwe d'r spesifyk oanfallen west op jo, jo side of jo ynfrastruktuer?
Klanten wurde nochal komselden oanfallen. Mar wy sels hawwe faak in webside, in persoanlik akkount. Soms ferbine se it netwurk mei ferskate IP-adressen. Wy nimme net yn om te oardieljen wa't it is en wêrom, d'r kinne ferskate opsjes wêze. Der binne sels besocht om ús fan binnenút oan te fallen. Earder, by it kontrolearjen fan 'e telefoan, joegen wy in bonus hûndert roebel út, sadat normale brûkers elke konfiguraasje kinne testen. Mar op in dei kaam in brûker mei in "pakket SIM-kaarten" en fan ûnder ien IP begon tsientallen akkounts te meitsjen, en krige bonussen op har. Dêrom moasten wy de automatyske opbou fan testskoares fuortsmite. No moatte jo in fersyk yntsjinje by technyske stipe foar testen, en wy beskôgje elk gefal apart.
Hoe wurdt it wurk organisearre, is der in kantoar, of wurket elkenien op ôfstân?
D'r is in kantoar, mar mei it begjin fan beheiningen fanwegen coronavirus, gie elkenien fan hûs / dacha / wenplak oan it wurk.
Us kantoar
Wat is jo hjoeddeistige koers fan ûntwikkeling foar it bedriuw?
Wy geane nei it tafoegjen fan nije tsjinsten. Wy hawwe in wiidweidige roadmap, wy ûnderbrekke de ûntwikkeling net, en elke twa wiken wurdt in nije release fan it persoanlike akkount frijlitten. Wy foegje funksjonaliteit en tsjinsten ta dy't yn fraach binne ûnder kollega's, en wy tafoegje wat kliïnten freegje.
Hoe fine jo kliïnten? Is der in grutte ynstream en útstream fan kliïnten yn 't jier? Wat is de gemiddelde "libbensduur" fan in klant?
Kanalen foar it lûken fan klanten yn ús fjild binne wêr't it heule bedriuw op rêst, as d'r in goed wurkjend produkt is. Dêrom binne wy net ree om te dielen.
Churn rate, LTV en libbenssyklus binne ek frij wichtige yndikatoaren dy't wy allinich brûke foar ynterne analytyk, mar net foar iepenbiering.
Kinne jo lêzers advys jaan oer it kiezen fan in hostingtsjinst? Wat moatte jo omtinken jaan foardat jo keapje?
It wichtichste is om in hosting te kiezen mei de letter "B" oan it begjin fan 'e namme.
Mar serieus binne d'r ferskate faktoaren dy't jo oandacht moatte betelje:
- Om de kwaliteit te begripen, kinne jo in gemiddelde konfiguraasje nimme en besykje jo applikaasjeproblemen dêrop op te lossen. Kies hosting dy't in oere taryf hat - jo kinne servers testen sûnder in soad jild te ferliezen as de kwaliteit net befredigjend is.
- Sjoch nei de datasintra wêr't de hoster fysike servers hat. Se kinne brûkt wurde om rûchwei de kwaliteit fan tsjinsten te beoardieljen.
- Wy riede net oan om omtinken te jaan oan prizen: d'r binne sawol supergoedkeape oplossingen dy't goed prestearje, en superdjoere dy't neat spesjaal binne.
Fertel ús oer jo meast memorabele wurkmominten.
Begjin fan it projekt. De earste en in heale moanne wurken wy 24/7: wy seagen hoe't registraasjes gongen, oft der wat brutsen wie yn 'e persoanlike akkountynterface, hoe't brûkers har gedragen, oft it handich wie foar har om tsjinsten te bestellen. Der moast in soad besluten wurde, sels oant it punt om guon produkten te ferfangen troch oaren. Feroarings waarden makke fuortendaliks yn produksje, omgean test omjouwings. It wie in spannende perioade, mar wy wisten te oerlibjen en dit bedriuw net op te jaan.
Brûkers dy't kamen op syk nei kwetsberens yn logika. It wie nijsgjirrich om se te fangen en kwetsberens te sluten. Bygelyks, doe't wy net foar jild wurken, mar bonussen takenne sadat brûkers servers koenen bestelle, waard in keppeling nei ús pleatst op ien fan 'e hackerforums mei de opmerking: "se jouwe fergese servers wurdich 500 roebel." Fansels, wy waarden fuortendaliks oerstreamd mei mynbou jonges honger foar freebies.
Kinne jo in koarte tiidline leverje fan 'e skiednis fan it bedriuw?
- De earste helte fan 2017 - wy begûn te ûntwikkeljen it Boodet.online platfoarm, webside en persoanlike account.
- 2018 - ynfierd alpha-testen, levere kapasiteit oan klanten fergees en krige wiidweidige feedback en testresultaten yn ruil.
- Mid-2018 - lansearre beta ferzje mei jild. Earste hûnderten kliïnten, testen fan technyske stipe.
- 2019 - wy begûnen juridyske entiteiten oan te lûken as kliïnten en wurkje oan oanpaste oplossingen.
- 2020 - elkenien giet yn selsisolaasje, de fraach nei virtualisaasje groeit. Wy fiele dit sels - d'r is in tanimming fan kliïnten, wat it mooglik makket om te wurkjen oan in grut oantal ekstra tsjinsten.
Boarne: www.habr.com