Mi chiamo Leonid, e sono uno sviluppatore web , quindi, per la mia attività, sono interessato alle storie di formazione e sviluppo di diverse aziende nel settore dell'hosting. Oggi voglio presentare un'intervista con Danil e Dmitry, i fondatori di . Ci racconteranno dell'architettura, dell'organizzazione del lavoro e della loro esperienza nello sviluppo di un fornitore di server virtuali in Russia.
Per favore, dicci qualche parola su di te. Come sei arrivato nel settore dell'hosting? Di cosa ti occupavi prima?
Fino al 2016, io e Dmitry abbiamo lavorato nel settore Enterprise, includendo aziende come Dell, HP, EMC. Analizzando il mercato del cloud in Russia, abbiamo capito che stava crescendo attivamente e abbiamo deciso che potevamo fare un'offerta interessante. Abbiamo messo insieme un team di persone che avevano già lavorato insieme su altri progetti e abbiamo iniziato a sviluppare una piattaforma di virtualizzazione mirata alle grandi imprese con le loro richieste specifiche. Dal 2018, abbiamo lanciato parallelamente un hosting cloud “per tutti”, formando per il progetto un team di cinque persone.
Ripiano di archiviazione e preparazione prima del lancio
Questo progetto per le aziende è già operativo o è ancora in fase di sviluppo?
Sì, è operativo parallelamente — ora c'è un team più grande e si parla di soluzioni software e hardware per l'infrastruttura IT, non di hosting.
Attualmente offrite una varietà di servizi. Quando avete iniziato, la lista era più breve o era simile? E tutte queste offerte rappresentano fondamentalmente un server virtuale normale, ma con una certa suddivisione.
Abbiamo iniziato con IaaS classico: fornivamo 'server virtuali puri' con porte chiuse e reti virtuali per permettere all'utente di costruirsi un'infrastruttura completa. Ma dopo il lancio, ci siamo resi conto che la maggior parte degli utenti non capiva il valore di queste opzioni e abbiamo deciso di introdurre un nuovo prodotto per noi — VDS/VPS standard, con cui il mercato era già familiare. Per noi, era in sostanza una versione ridotta del prodotto, ma gli utenti hanno subito compreso di cosa si trattasse e abbiamo iniziato ad acquisire i primi clienti. Evidentemente, la nostra esperienza con grandi aziende ci ha portato a sviluppare soluzioni più complesse e personalizzate, mentre il mercato di massa desidera semplicità. E da allora, sulla base del VPS, abbiamo iniziato a sviluppare nuovi servizi in base a ciò che chiedevano i clienti. E continuiamo a farlo.
Dove collocate l'attrezzatura? È di vostra proprietà o la noleggiate? Come avete scelto il vostro data center per la collocazione? Ci sono stati casi di trasloco?
Tutta la nostra attrezzatura è nostra; noleggiamo solo lo spazio in due data center. Abbiamo iniziato con tre data center: volevamo realizzare una disponibilità tripartita, ma la domanda in quel momento era troppo bassa per giustificare l'investimento, quindi abbiamo rinunciato al terzo data center. Abbiamo avuto un trasloco: ci siamo trasferiti dal terzo data center in uno degli altri due. Abbiamo scelto in base ai seguenti criteri: i data center dovevano essere noti sul mercato, affidabili (Tier III) e entrambi dovrebbero trovarsi a Mosca, in aree lontane l'una dall'altra.
Quali data center utilizzate attualmente e quale avete abbandonato?
Attualmente ci troviamo in DataSpace e 3Data. Abbiamo abbandonato uno dei data center 3Data.
Lasciamo il terzo data center
Affittate o comprate indirizzi IP?
Affittiamo.
Per quale motivo avete scelto questo approccio, piuttosto che l'acquisto?
In sostanza, per crescere rapidamente. Forniamo ai clienti un'infrastruttura virtuale, per la quale non devono fare immediati investimenti di capitale, e possono suddividere i costi su base mensile. Noi stessi seguiamo la stessa filosofia dei nostri clienti — puntiamo all'espansione e alla rapida scalabilità.
Cosa pensate di IPv6?
Finora non abbiamo notato una domanda significativa, quindi non l'abbiamo aggiunto, ma l'architettura per la sua implementazione è stata sviluppata e siamo pronti a lanciarla in breve tempo, non appena capiremo che ci sono richieste.
Utilizzate la virtualizzazione KVM. Per quale motivo l'avete scelta? Come si comporta nel lavoro?
Esatto, ma non utilizziamo KVM 'puro', ma un sistema di virtualizzazione completo e migliorato basato su KVM, sviluppato dal nostro 'fratello maggiore', inclusi sistemi di archiviazione dati (SDS) e reti definite dal software (SDN). Abbiamo scelto di costruire un prodotto il più resistente possibile senza punti di guasto singoli. Finora si sta comportando bene; non abbiamo riscontrato problemi significativi in produzione. Nella fase di alpha testing sul mercato, quando abbiamo fornito servizi ai primi clienti in cambio di punti bonus, abbiamo testato la tecnologia e abbiamo dovuto affrontare alcune problematiche, ma negli ultimi due anni siamo riusciti a capire e risolvere molti di questi.
Utilizzate l'overselling? Come controllate il carico del server?
Utilizziamo l'overselling solo sulle CPU, ma non sulla memoria RAM. Anche nel caso di processori fisici, non consentiamo un carico superiore al 75%. Per quanto riguarda i dischi: lavoriamo con l'allocazione 'thin'. Abbiamo un monitoraggio centralizzato di tutto l'ambiente, che ci permette di controllare il carico. Due ingegneri sono responsabili per il supporto dell'intera infrastruttura, quindi cerchiamo di automatizzarci il più possibile e raccogliere informazioni sul sistema. Qualsiasi deviazione dalla norma è immediatamente visibile e periodicamente valutiamo e riequilibriamo il carico all'interno dell'infrastruttura. Il riequilibrio avviene sempre in modalità online, senza che i clienti se ne accorgano.
Quanti server fisici avete attualmente? Con quale frequenza ne aggiungete di nuovi? Quali server utilizzate?
Attualmente abbiamo 76 server, ne aggiungiamo nuovi circa ogni quattro-cinque mesi. Utilizziamo QCT, Intel, Supermicro.
Ci sono stati casi in cui un cliente ha occupato tutte le risorse disponibili e abbiamo dovuto aggiungere server urgentemente?
Non ci sono stati problemi di questo tipo con le risorse. Stiamo crescendo in modo piuttosto uniforme. Ma c'è stata una volta in cui un utente ha richiesto 50 IP, ciascuno in un blocco separato. Naturalmente, attualmente non abbiamo questa possibilità 🙂
Quali sono i vostri metodi di pagamento più popolari? Quali usano di meno?
I più popolari sono carta di credito e QIWI. Mentre l'opzione meno utilizzata è il pagamento tramite bonifico bancario per contratti di persone giuridiche, anche se tali bonifici sono i più consistenti (le aziende di solito pagano per risorse notevoli per diversi mesi). PayPal è in ritardo: all'inizio non ci aspettavamo utenti stranieri, ma hanno iniziato a presentarsi.
In Boodet.online utilizziamo un sistema di billing sviluppato internamente. Perché avete deciso di adottare questa soluzione? Quali sono i pro e i contro? È stato difficile svilupparlo?
La nostra intera infrastruttura è di sviluppo interno. Le piattaforme esistenti non ci sono sembrate molto convenienti in termini di UX, quindi abbiamo deciso di crearne e svilupparne una nostra. Il billing è solo uno dei microservizi che fanno parte del sistema. Svilupparlo si è rivelato più complicato del previsto. In un certo momento, abbiamo dovuto posticipare il lancio del progetto per poter preparare un prodotto funzionante, di cui non ci saremmo vergognati durante il testing alpha. Successivamente, abbiamo acquisito competenze riguardo metodologie di sviluppo a lungo termine e product management. Ora è già più semplice aggiungere nuove funzionalità e prodotti al sistema.
Quante persone hanno lavorato a tutto questo? Su cosa è stato sviluppato?
Per l'intero progetto abbiamo cinque persone, di cui due sviluppatori (frontend e backend). Il backend è scritto in RoR/Python. Il frontend è in JS.
Come è organizzato il supporto agli utenti? È attivo 24 ore su 24 oppure solo durante l'orario lavorativo? Quante linee di supporto avete? Di cosa chiedono più spesso?
Abbiamo tre punti di accesso: chat, telefono e sistema di ticket dal pannello personale. Due linee di supporto: se l'ingegnere di guardia non riesce a risolvere il problema, interviene il direttore tecnico o il team di sviluppo. Se il problema riguarda la piattaforma principale, cosa che accade molto raramente, il direttore tecnico contatta il supporto del 'fratello maggiore'. Di notte rispondiamo solo alle chiamate dei clienti che hanno acquistato un'assistenza tecnica separata o a fallimenti della piattaforma segnalati tramite un bot appositamente progettato su Telegram.
Le domande più frequenti:
- I nostri IP sono disponibili in Turkmenistan (questo è il più popolare — evidentemente, nel paese c'è una politica rigorosa di blocchi).
- Come installare specifici software.
- Come ottenere l'accesso root (abbiamo anche creato un appunto speciale nell'interfaccia durante la creazione delle macchine, ma anche questo non sempre aiuta).
Effettuate la verifica dei clienti? I spammer e altre cattive persone si presentano spesso?
Verifichiamo tramite email e telefono (se l'utente attiva il 2FA). Gli spammer e altri abusi compaiono periodicamente. Siamo costretti a reagire con un blocco temporaneo dei server compromessi, poiché non vogliamo che gli IP finiscano nelle blacklist. Ma scriviamo sempre prima all'utente, informandolo che abbiamo ricevuto una segnalazione e chiedendo di contattarci per discutere del problema. Se l'utente non risponde o si ripetono le segnalazioni, blocchiamo completamente l'account e rimuoviamo i server.
Si verificano spesso attacchi DDoS ai clienti? Cosa fate in questi casi? Ci sono stati attacchi specifici contro di voi, sul sito o sull'infrastruttura?
I clienti sono attaccati piuttosto raramente. Ma noi stessi subiamo attacchi frequentemente — il sito, l'area personale. A volte ci colpiscono da diverse indirizzi IP. Non ci permettiamo di giudicare chi sia e perché; possono esserci diverse varianti. Ci sono persino tentativi di attaccarci dall'interno. In passato, durante la verifica telefonica, offrivamo un bonus di cento rubli affinché gli utenti regolari potessero testare qualsiasi configurazione. Ma un giorno un utente venne con un "pacchetto di SIM" e, da un solo IP, iniziò a creare decine di account, ricevendo bonus. Pertanto, abbiamo dovuto eliminare l'accredito automatico dei punti di prova. Ora per testare è necessario fare richiesta al supporto tecnico, e ogni caso viene analizzato separatamente.
Come è organizzato il lavoro? C'è un ufficio o tutti lavorano da remoto?
C'è un ufficio, ma con l'inizio delle restrizioni a causa del coronavirus, tutti sono stati mandati a lavorare da casa / dalla dacia / dalla città natale.
Il nostro ufficio
Qual è attualmente il corso di sviluppo dell'azienda?
Stiamo puntando ad aggiungere nuovi servizi. Abbiamo una roadmap ampia, non interrompiamo lo sviluppo e ogni due settimane viene rilasciata una nuova versione dell'area personale. Aggiungiamo funzionalità e servizi richiesti dai colleghi e richiesti dai clienti.
Come trovate i clienti? C'è un grande afflusso e deflusso di clienti all'anno? Qual è la vita media di un cliente?
I canali di acquisizione clienti nel nostro settore sono ciò su cui si basa tutto il business, se c'è un buon prodotto funzionante. Pertanto, non siamo pronti a condividerli.
Churn rate, LTV e ciclo di vita sono anche indicatori piuttosto importanti che utilizziamo solo per l'analisi interna, ma non per la divulgazione.
Potreste dare ai lettori qualche consiglio su come scegliere un hosting? A cosa prestare attenzione prima dell'acquisto?
La cosa più importante è scegliere un hosting che cominci con la lettera “B”.
E se parliamo seriamente, ci sono diversi fattori a cui prestare attenzione:
- Per capire la qualità, puoi prendere una configurazione media e provare a risolvere i tuoi compiti applicativi su di essa. Scegli hosting che abbiano una tariffa oraria — potrai testare i server senza perdere molto denaro se la qualità non ti soddisfa.
- Guarda nei data center dove si trovano i server fisici dell'hosting. Da loro puoi avere un'idea della qualità dei servizi.
- Non consigliamo di prestare attenzione ai prezzi: ci sono soluzioni super economiche ma di buona qualità, e super costose che non si distinguono per nulla.
Raccontaci i momenti lavorativi più memorabili.
L'avvio del progetto. I primi mesi e mezzo abbiamo lavorato in modalità 24/7: osservavamo come andavano le registrazioni, se qualcosa si rompeva nell'interfaccia dell'area personale, come si comportavano gli utenti, se era comodo per loro ordinare servizi. Molte cose dovevamo risolvere al volo, fino a sostituire alcuni prodotti con altri. Le modifiche venivano fatte direttamente in produzione, bypassando gli ambienti di test. Questo è stato un periodo intenso, ma siamo riusciti a resistere e a non abbandonare il progetto.
Utenti che venivano alla ricerca di vulnerabilità nella logica. Era interessante catturarli e chiudere le vulnerabilità. Ad esempio, quando lavoravamo ancora non per soldi, ma accreditando bonus per permettere agli utenti di ordinare server, il link su di noi fu pubblicato su uno dei forum hacker con il commento: “offrono server gratuiti da 500 rubli”. Certo, siamo stati subito assaliti da minatori in cerca di prodotti gratis.
Potreste fornire una breve cronologia della storia dell'azienda?
- Primo semestre del 2017 — abbiamo iniziato a sviluppare la piattaforma, il sito e l'area personale Boodet.online.
- 2018 — siamo entrati in fase di alpha testing, offrendo potenza ai clienti gratuitamente e ricevendo feedback dettagliati e risultati dei test in cambio.
- Metà 2018 — abbiamo lanciato la beta version con spese. I primi centinaia di clienti, collaudo del supporto tecnico.
- 2019 — abbiamo iniziato a attirare clienti giuridici, lavorando su soluzioni personalizzate.
- 2020 — tutti vanno in autoisolamento, cresce la domanda di virtualizzazione. Lo avvertiamo direttamente — avviene un incremento dei clienti, il che ci permette di lavorare su un numero maggiore di servizi aggiuntivi.
Fonte: habr.com
