Mi nomiĝas Leonid, mi estas retejo-programisto , tial, pro miaj agadoj, mi interesiĝas pri la rakontoj pri la formado kaj evoluo de diversaj kompanioj en la kampo de gastigaj servoj. Hodiaŭ mi ŝatus prezenti intervjuon kun Danil kaj Dmitry, la kreintoj de gastigado . Ili parolos pri la strukturo de la infrastrukturo, la organizo de laboro kaj ilia sperto pri evoluigado de virtuala servilo-provizanto en Rusio.
Bonvolu diri al ni kelkajn vortojn pri vi. Kiel vi eniris gastigadon? Kion vi faris antaŭ ĉi tio?
Ĝis 2016, kaj Dmitry kaj mi laboris en la Entreprena sektoro, inkluzive en kompanioj kiel Dell, HP, EMC. Analizante la nuba merkato en Rusio, ni rimarkis, ke ĝi aktive kreskas, kaj decidis, ke ni povas fari interesan oferton al la merkato. Teamo de homoj, kiuj jam laboris unu kun la alia pri aliaj projektoj, kunvenis kaj kune komencis evoluigi sian propran virtualigplatformon celitan al grandaj entreprenoj kun siaj specifaj bezonoj. Ekde 2018, ni samtempe lanĉis nuban gastigadon "por ĉiuj" kaj asignis ĝin por la projekto. teamo de kvin homoj.
Antaŭ-lanĉa stokado kaj preparstacio
Ĉu ĉi tiu projekto por komerco jam funkcias aŭ ĉu ĝi ankoraŭ estas evoluanta?
Jes, ĝi funkcias paralele - jam ekzistas pli granda teamo, kaj ni parolas pli pri programaro kaj aparataro solvoj por IT-infrastrukturo, ne pri gastigado.
Vi nun havas sufiĉe multajn malsamajn servojn. Kiam vi komencis, ĉu la listo estis pli malgranda aŭ sama? Krome, ĉiuj ĉi tiuj servoj estas fakte regula virtuala servilo, sed estas certa disiĝo.
Ni komencis per klasika IaaS: ni provizis "nudajn" virtualajn servilojn kun fermitaj havenoj kaj virtualaj retoj por ili, por ke la uzanto povu krei plenan infrastrukturon por si mem. Sed post la lanĉo, montriĝis, ke plej multaj uzantoj ne komprenis kial ili bezonas tiajn ŝancojn, kaj ni decidis enkonduki novan produkton por ni mem - norman VDS/VPS, kun kiu la merkato jam konas. Por ni, ĝi estis esence malkonstruita versio de la produkto, sed uzantoj tuj komprenis kio ĝi estas, kaj ni komencis ricevi niajn unuajn klientojn. Ŝajne, nia sperto kun grandaj kompanioj devigis nin tuj evoluigi pli kompleksan kaj personigitan solvon, dum la amasa merkato volas simplecon. Kaj tiam, surbaze de VPS, ni komencis evoluigi novajn servojn bazitajn sur tio, kion klientoj plej ofte petas. Kaj ni ankoraŭ disvolvas ĝin.
Kie vi metas la ekipaĵon? Ĉu vi posedas ĝin aŭ ĉu vi luas ĝin? Kiel vi elektis DC por lokigo? Ĉu estis kazoj de translokiĝo?
La tuta ekipaĵo estas nia, ni luas spacon nur en du datumcentroj. Ni komencis per tri datumcentroj: ni volis efektivigi tridirektan faŭltoleremon, sed la postulo pri ĝi en tiu momento estis tro malgranda por investi en ĉi tio, do ni forlasis la trian datumcentron. Ni havis unu movon: ni ĵus moviĝis de la tria datumcentro al unu el la ceteraj du. Ili estis elektitaj laŭ la sekva principo: DC-oj devus esti konataj en la merkato, fidindaj (Tier III), tiel ke ambaŭ situus geografie en Moskvo, en lokoj malproksimaj unu de la alia.
En kiuj PK vi troviĝas nuntempe kaj kiun vi forlasis?
Nun ni situas en DataSpace kaj 3Data. Ni forlasis unu el la datumcentroj de 3Data.
Forlasante la trian datumcentron
Ĉu vi luas aŭ aĉetas IP-adresojn?
Ni luas.
Kaj pro kio vi elektis ĉi tiun aliron prefere ol aĉeti?
Ĝenerale, rapide kreski. Ni provizas klientojn per virtuala infrastrukturo, por kiu ili ne devas pagi kapitalinvestojn tuj, kaj kostoj povas esti rompitaj monate. Ni mem aliĝas al la sama filozofio kiel niaj klientoj - ni strebas al ekspansio kaj rapida skalo.
Kion vi pensas pri IPv6?
Ĝis nun ni ne rimarkis signifan postulon, do ni ne aldonis pli, sed la eligo-arkitekturo estas ellaborita, ni pretas "elŝprucigi" post mallonga tempo, tuj kiam ni komprenos, ke estas petoj. .
Vi uzas KVM-virtualigon. Kial vi elektis ŝin? Kiel ŝi montras sin ĉe la laboro?
Ĝuste, sed ni ne uzas "nudan" KVM, sed plenrajtan, modifitan KVM-bazitan virtualigsistemon, kiun nia "granda frato" evoluigis, inkluzive de datumstokadosistemo (SDS) kaj softvar-difinita reto (SDN) . Ni elektis ĝin surbaze de konstruado de la plej tolerema produkto sen unuopaj punktoj de fiasko. Ĝi bone montras sin, ĝis nun ne aperis tutmondaj problemoj en la produktado. En la stadio de alfa-testado sur la merkato, kiam ni provizis servojn al la unuaj klientoj por bonuspunktoj, ni provis la teknologion kaj renkontis kelkajn malagrablajn momentojn, sed dum la lastaj du jaroj ni sukcesis kompreni kaj solvi multon.
Ĉu vi uzas trovendon? Kiel vi kontrolas la ŝarĝon sur la servilo?
Ni uzas overselling nur por procesoroj, sed en neniu kazo por RAM. Eĉ en la kazo de fizikaj procesoroj, ni ne permesas, ke ilia ŝarĝo superu 75%. Per disko: ni laboras kun "maldika" kapacita atribuo. Ni havas centralizitan monitoradon de la tuta medio, kio ebligas al ni kontroli la ŝarĝon. Du inĝenieroj respondecas pri subteni la tutan infrastrukturon, do ni provas aŭtomatigi kiel eble plej multe kaj kolekti ĉiujn eblajn informojn pri la sistemo. Ajnaj devioj de normala funkciado estas tuj videblaj, kaj ni periode taksas kaj reekvilibrigas la ŝarĝon ene de la infrastrukturo. Rebalancado ĉiam okazas interrete, nerimarkite de klientoj.
Kiom da fizikaj serviloj vi havas nuntempe? Kiom ofte vi aldonas novajn? Kiajn servilojn vi uzas?
Nuntempe ekzistas 76 serviloj, ni aldonas novajn proksimume ĉiujn kvar ĝis kvin monatojn. Ni uzas QCT, Intel, Supermicro.
Ĉu okazis kazoj kiam kliento venis kaj prenis ĉiujn ceterajn senpagajn rimedojn, kaj vi devis urĝe aldoni servilojn?
Ne ekzistis tia afero kun rimedoj. Ĝis nun ni kreskas pli-malpli egale. Sed estis kazo kiam uzanto venis kaj volis 50 IP-ojn, ĉiu en aparta bloko. Kompreneble, ni ankoraŭ ne havas ion tian :)
Kiuj estas viaj plej popularaj pagmetodoj? Kio estas la malplej uzata?
La plej popularaj estas bankkarto kaj QIWI. La malplej ofta estas pago per banka transdono sub la oferto por juraj entoj, sed tiaj translokigoj estas la plej grandaj (firmaoj, kiel regulo, pagas por solidaj rimedoj dum pluraj monatoj). PayPal ankaŭ postrestas: komence ni ne kalkulis je eksterlandaj uzantoj, sed ili komencis aperi.
Boodet.online havas memskribitan fakturadon. Kial vi decidis uzi ĉi tiun solvon? Kio estas la avantaĝoj kaj malavantaĝoj? Ĉu estis malfacile disvolviĝi?
Nia tuta sistemo estas de nia propra dezajno. La ekzistantaj platformoj ne ŝajnis al ni tre oportunaj rilate UX, do ni decidis krei kaj disvolvi nian propran. Fakturado estas nur unu el la mikroservoj kiuj estas parto de la sistemo. Evoluo montriĝis pli malfacila ol ni pensis komence. Eĉ iam ni devis prokrasti la lanĉon de la projekto por havi tempon por prepari funkciantan produkton, kiu ne estus embarasa por alfa-testado. Poste, ili akiris kompetentecojn en longperspektivaj evolumetodoj kaj produktadministrado. Nun estas pli facile aldoni novajn funkciojn kaj novajn produktojn al la sistemo.
Kiom da homoj disvolvis ĉion ĉi? Sur kio vi skribis?
Ni havas kvin homojn por la tuta projekto, el kiuj du estas programistoj (frontend kaj backend). Reen estas skribita en RoR/Python. Fronto estas JS.
Kiel estas organizita uzantsubteno? Ĉu ĝi estas malfermita XNUMX/XNUMX aŭ nur dum komercaj horoj? Kiom da subtenlinioj estas? Kion oni demandas al vi plej ofte?
Ni havas tri enirpunktojn: babilejo, telefono kaj aplikaĵsistemo de via persona konto. Du linioj de subteno: se la deĵoranta inĝeniero ne povis solvi la problemon, la teknika direktoro aŭ evoluiga teamo implikiĝas. Se la problemo estas en la ĉefa platformo, kio okazas multe malpli ofte, tiam la teknika direktoro turnas sin al la subteno de la "granda frato". Nokte ni respondas nur al vokoj de klientoj, kiuj aĉetas apartajn teknikajn servojn, aŭ al platformaj misfunkciadoj raportitaj per speciale skribita bot en Telegramo.
Plej popularaj demandoj:
- Ĉu niaj IP-oj haveblas en Turkmenio (ĉi tiu estas la unua en populareco - ŝajne, la lando havas striktan blokpolitikon).
- Kiel instali tiun aŭ alian programaron.
- Kiel akiri radikan aliron (ekzistas eĉ speciala memorigilo en la interfaco dum kreado de maŝinoj, sed ĉi tio ne ĉiam helpas).
Ĉu vi kontrolas klientojn? Ĉu ofte aperas spamistoj kaj aliaj malbonaj karakteroj?
Konfirmo per poŝto kaj telefono (se la uzanto aktivigas 2FA). Spamistoj kaj aliaj misuzantoj aperas periode. Ni estas devigitaj respondi provizore blokante kompromititajn servilojn, ĉar ni ne volas, ke IP-oj estu nigralistigitaj. Sed ni ĉiam skribas al la uzanto anticipe, ke oni ricevis plendon kontraŭ li, kaj petas lin kontakti lin kaj diskuti la problemon. Se la uzanto ne respondas, aŭ aperas ripetaj plendoj, ni blokas la tutan konton kaj forigas la servilojn.
Ĉu DDoS-atakoj kontraŭ klientoj okazas ofte? Kion vi faras en tiaj kazoj? Ĉu okazis atakoj specife kontraŭ vi, via retejo aŭ via infrastrukturo?
Klientoj estas atakitaj sufiĉe malofte. Sed ni mem ofte havas retejon, personan konton. Kelkfoje ili konektas la reton al malsamaj IP-adresoj. Ni ne entreprenas juĝi kiu ĝi estas kaj kial, povas esti pluraj ebloj. Estas eĉ provoj ataki nin de interne. Antaŭe, dum kontrolado per telefono, ni donacis bonuson cent rublojn por ke normalaj uzantoj povu testi ajnan agordon. Sed unu tagon venis uzanto kun "pako da SIM-kartoj" kaj de sub unu IP komencis krei dekojn da kontoj, ricevante gratifikojn sur ili. Tial, ni devis forigi la aŭtomatan akumulon de testaj poentoj. Nun vi devas sendi peton al teknika subteno por testado, kaj ni konsideras ĉiun kazon aparte.
Kiel estas organizita laboro, ĉu ekzistas oficejo, aŭ ĉu ĉiuj laboras malproksime?
Estas oficejo, sed kun la komenco de limigoj pro koronavirus, ĉiuj iris labori de hejmo/doĉa/hejmurbo.
Nia oficejo
Kio estas via nuna evoluo por la kompanio?
Ni iras al aldoni novajn servojn. Ni havas ampleksan vojmapon, ni ne interrompas evoluon, kaj ĉiun duan semajnon nova eldono de la persona konto estas publikigita. Ni aldonas funkciojn kaj servojn, kiuj estas postulataj inter kolegoj, kaj ni aldonas tion, kion petas klientoj.
Kiel vi trovas klientojn? Ĉu estas granda enfluo kaj elfluo de klientoj jare? Kio estas la averaĝa "vivdaŭro" de kliento?
Kanaloj por altiri klientojn en nia kampo estas sur kio la tuta komerco ripozas, se ekzistas bona produkto. Tial ni ne estas pretaj dividi.
Churn-indico, LTV kaj vivociklo ankaŭ estas sufiĉe gravaj indikiloj, kiujn ni uzas nur por interna analizo, sed ne por malkaŝo.
Ĉu vi povas doni al legantoj konsilojn pri elekto de gastiga servo? Kion vi atentu antaŭ ol aĉeti?
La plej grava afero estas elekti gastigadon kun la litero "B" komence de la nomo.
Sed serioze, estas pluraj faktoroj, kiujn vi devas atenti:
- Por kompreni la kvaliton, vi povas preni averaĝan agordon kaj provi solvi viajn aplikajn problemojn sur ĝi. Elektu gastigadon kiu havas horan tarifon - vi povas testi servilojn sen perdi multe da mono se la kvalito ne estas kontentiga.
- Rigardu la datumcentrojn, kie la gastiganto havas fizikajn servilojn. Ili povas esti uzataj por proksimume juĝi la kvaliton de servoj.
- Ni ne rekomendas atenti prezojn: ekzistas ambaŭ super-malkaraj solvoj, kiuj funkcias bone, kaj superkostaj, kiuj estas nenio speciala.
Rakontu al ni pri viaj plej memorindaj labormomentoj.
Komenco de la projekto. Dum la unua monato kaj duono ni laboris 24/7: ni rigardis kiel iras registradoj, ĉu io estas rompita en la persona konta interfaco, kiel uzantoj kondutas, ĉu estas oportune por ili mendi servojn. Multon devis esti decidita sur la flugo, eĉ ĝis la punkto de anstataŭigi iujn produktojn per aliaj. Ŝanĝoj estis faritaj tuj en produktado, preterirante testajn mediojn. Estis streĉa periodo, sed ni sukcesis pluvivi kaj ne rezigni pri ĉi tiu komerco.
Uzantoj kiuj venis serĉante vundeblecojn en logiko. Estis interese kapti ilin kaj fermi vundeblecojn. Ekzemple, kiam ni ne laboris por mono, sed donadis gratifikojn por ke uzantoj povu mendi servilojn, ligo al ni estis afiŝita en unu el la retpirataj forumoj kun la komento: "ili donas senpagajn servilojn kun valoro de 500 rubloj." Kompreneble, ni tuj estis inunditaj de ministaj uloj malsataj je senpagaĵoj.
Ĉu vi povus doni mallongan templinion de la historio de la kompanio?
- La unua duono de 2017 - ni komencis disvolvi la platformon, retejon kaj personan konton Boodet.online.
- 2018 - eniris alfa-testadon, disponigis kapaciton al klientoj senpage kaj ricevis ampleksajn reagojn kaj testajn rezultojn kontraŭe.
- Meze de 2018 - lanĉita beta-versio kun mono. Unuaj centoj da klientoj, testado de teknika subteno.
- 2019 - ni komencis altiri jurajn entojn kiel klientojn kaj labori pri kutimaj solvoj.
- 2020 - ĉiuj iras en mem-izolon, la postulo pri virtualigo kreskas. Ni mem sentas tion - pliiĝas klientoj, kio ebligas labori pri granda nombro da aldonaj servoj.
fonto: www.habr.com