Nazywam się Leonid, jestem programistą stron internetowych dlatego też w związku z moją działalnością interesują mnie historie powstawania i rozwoju różnych firm z zakresu usług hostingowych. Dziś chciałbym przedstawić wywiad z Danilem i Dmitrym, twórcami hostingu . Opowiedzą o strukturze infrastruktury, organizacji pracy i swoich doświadczeniach w rozwoju dostawcy serwerów wirtualnych w Rosji.
Proszę, powiedz nam kilka słów o sobie. Jak trafiłeś do hostingu? Co robiłeś wcześniej?
Do 2016 roku zarówno Dmitry, jak i ja pracowaliśmy w sektorze Enterprise, m.in. w takich firmach jak Dell, HP, EMC. Analizując rynek chmurowy w Rosji, zdaliśmy sobie sprawę, że aktywnie się rozwija i zdecydowaliśmy, że możemy przedstawić rynkowi interesującą ofertę. Zespół osób, które współpracowały już ze sobą przy innych projektach, połączył się i wspólnie zaczął rozwijać własną platformę wirtualizacyjną skierowaną do dużych przedsiębiorstw z ich specyficznymi potrzebami. Od 2018 roku jednocześnie uruchomiliśmy hosting w chmurze „dla każdego” i przeznaczyliśmy go na projekt pięcioosobowy zespół.
Stacja przechowywania i przygotowania przed startem
Czy ten projekt dla biznesu już działa, czy jest jeszcze w fazie rozwoju?
Tak, to działa równolegle – jest już większy zespół i mówimy bardziej o rozwiązaniach programowo-sprzętowych dla infrastruktury IT, a nie o hostingu.
Masz teraz całkiem sporo różnych usług. Czy kiedy zaczynałeś, lista była mniejsza czy taka sama? Co więcej, wszystkie te usługi są w rzeczywistości zwykłym serwerem wirtualnym, ale istnieje pewna separacja.
Zaczęliśmy od klasycznego IaaS: udostępniliśmy „gołe” serwery wirtualne z zamkniętymi portami i dla nich wirtualnymi sieciami, aby użytkownik mógł stworzyć dla siebie pełnoprawną infrastrukturę. Jednak po premierze okazało się, że większość użytkowników nie rozumiała po co im takie możliwości i postanowiliśmy wprowadzić dla siebie nowy produkt – standardowy VDS/VPS, z którym rynek jest już zaznajomiony. Dla nas była to w zasadzie okrojona wersja produktu, ale użytkownicy od razu zrozumieli, o co chodzi, i zaczęliśmy przyjmować pierwszych klientów. Najwyraźniej nasze doświadczenia z dużymi firmami zmusiły nas do natychmiastowego opracowania bardziej złożonego i dostosowanego do indywidualnych potrzeb rozwiązania, podczas gdy rynek masowy chce prostoty. A następnie w oparciu o VPS zaczęliśmy rozwijać nowe usługi w oparciu o to, o co najczęściej proszą klienci. I wciąż go rozwijamy.
Gdzie umieszczasz sprzęt? Czy jesteś jego właścicielem czy wynajmujesz? Jak wybrałeś DC do umieszczenia? Czy zdarzały się przypadki relokacji?
Cały sprzęt jest nasz, wynajmujemy tylko powierzchnię w dwóch centrach danych. Zaczęliśmy od trzech centrów danych: chcieliśmy wdrożyć trójstronną odporność na awarie, ale w tamtym momencie zapotrzebowanie na to było zbyt małe, aby w to inwestować, więc porzuciliśmy trzecie centrum danych. Mieliśmy jeden ruch: właśnie przenosiliśmy się z trzeciego centrum danych do jednego z dwóch pozostałych. Zostały one wybrane zgodnie z następującą zasadą: DC powinny być znane na rynku, niezawodne (Tier III), tak aby oba były geograficznie zlokalizowane w Moskwie, w odległych od siebie obszarach.
W jakich DC obecnie się znajdujesz, a które porzuciłeś?
Teraz jesteśmy zlokalizowani w DataSpace i 3Data. Zrezygnowaliśmy z jednego z data center 3Data.
Opuszczenie trzeciego centrum danych
Wynajmujesz czy kupujesz adresy IP?
Wynajmujemy.
I z jakiego powodu zdecydowałeś się na takie podejście zamiast zakupu?
Ogólnie rzecz biorąc, szybko rosnąć. Udostępniamy klientom infrastrukturę wirtualną, za którą nie muszą od razu ponosić inwestycji kapitałowych, a koszty można rozbijać co miesiąc. Sami kierujemy się tą samą filozofią, co nasi Klienci – dążymy do ekspansji i szybkiego skalowania.
Co sądzisz o IPv6?
Na razie nie zauważyliśmy większego zapotrzebowania, więc nie dodaliśmy więcej, ale architektura wyjściowa została opracowana, jesteśmy gotowi do „wdrożenia” w krótkim czasie, gdy tylko zrozumiemy, że są żądania .
Używasz wirtualizacji KVM. Dlaczego ją wybrałeś? Jak pokazuje się w pracy?
Zgadza się, ale nie używamy „nagiego” KVM, ale pełnoprawny, zmodyfikowany system wirtualizacji oparty na KVM, który opracował nasz „starszy brat”, obejmujący system przechowywania danych (SDS) i sieć definiowaną programowo (SDN) . Wybraliśmy go na podstawie zbudowania najbardziej odpornego na awarie produktu bez pojedynczych punktów awarii. Dobrze się prezentuje, jak dotąd w produkcji nie pojawiły się żadne globalne problemy. Na etapie alfa testów na rynku, kiedy świadczyliśmy usługi pierwszym klientom za dodatkowe punkty, testowaliśmy technologię i napotkaliśmy szereg nieprzyjemnych momentów, ale przez ostatnie dwa lata udało nam się wiele zrozumieć i rozwiązać.
Czy stosujesz overselling? Jak kontrolować obciążenie serwera?
Oversellingu używamy tylko w przypadku procesorów, ale w żadnym wypadku w przypadku pamięci RAM. Nawet w przypadku procesorów fizycznych nie pozwalamy, aby ich obciążenie przekroczyło 75%. Według dysku: pracujemy z „cienką” alokacją pojemności. Posiadamy scentralizowany monitoring całego środowiska, co pozwala nam kontrolować obciążenie. Za obsługę całej infrastruktury odpowiada dwóch inżynierów, dlatego staramy się maksymalnie zautomatyzować i zebrać wszystkie możliwe informacje o systemie. Wszelkie odchylenia od normalnej pracy są natychmiast widoczne, a my okresowo oceniamy i równoważymy obciążenie w infrastrukturze. Rebalancing zawsze odbywa się online, niezauważony przez klientów.
Ile masz obecnie serwerów fizycznych? Jak często dodajesz nowe? Z jakich serwerów korzystasz?
W tej chwili jest 76 serwerów, nowe dodajemy mniej więcej co cztery do pięciu miesięcy. Używamy QCT, Intel, Supermicro.
Czy zdarzały się przypadki, gdy przyszedł klient i zabrał wszystkie pozostałe wolne zasoby i trzeba było pilnie dodać serwery?
Z zasobami nie było czegoś takiego. Na razie rośniemy mniej więcej równomiernie. Ale był przypadek, gdy przyszedł użytkownik i chciał 50 adresów IP, każdy w osobnym bloku. Oczywiście, czegoś takiego jeszcze nie mamy :)
Jakie są Twoje najpopularniejsze metody płatności? Co jest najmniej używane?
Najpopularniejsze to karta bankowa i QIWI. Najrzadziej spotykana jest płatność przelewem w ramach oferty dla osób prawnych, jednak takich przelewów jest najwięcej (firmy z reguły płacą za solidne środki przez kilka miesięcy). PayPal też zostaje w tyle: na początku nie liczyliśmy na użytkowników zagranicznych, ale zaczęli się pojawiać.
Boodet.online ma własne rozliczenia. Dlaczego zdecydowałeś się skorzystać z tego rozwiązania? Jakie są zalety i wady? Czy rozwój był trudny?
Cały nasz system jest naszego własnego projektu. Istniejące platformy nie wydawały nam się zbyt wygodne pod względem UX, dlatego postanowiliśmy stworzyć i rozwijać własne. Billing to tylko jeden z mikrousług wchodzących w skład systemu. Rozwój okazał się trudniejszy niż początkowo myśleliśmy. Nawet w pewnym momencie musieliśmy przełożyć start projektu, aby mieć czas na przygotowanie działającego produktu, który nie byłby krępujący dla testów alfa. Następnie zdobyli kompetencje w zakresie długoterminowych metod rozwoju i zarządzania produktem. Teraz łatwiej jest dodawać do systemu nowe funkcjonalności i nowe produkty.
Ile osób to wszystko opracowało? Na czym pisałeś?
Do całego projektu mamy pięć osób, z czego dwie to developerzy (frontend i backend). Powrót jest napisany w RoR/Python. Przód to JS.
Jak zorganizowane jest wsparcie użytkowników? Czy jest otwarty całą dobę czy tylko w godzinach pracy? Ile jest linii wsparcia? O co najczęściej jesteście pytani?
Mamy trzy punkty wejścia: czat, telefon i system aplikacji z Twojego konta osobistego. Dwie linie wsparcia: jeśli dyżurujący inżynier nie był w stanie rozwiązać problemu, angażuje się dyrektor techniczny lub zespół programistów. Jeśli problem dotyczy głównej platformy, co zdarza się znacznie rzadziej, dyrektor techniczny zwraca się o wsparcie „starszego brata”. W godzinach nocnych odpowiadamy jedynie na telefony od klientów, którzy wykupują osobne usługi techniczne, lub na awarie platformy zgłoszone za pośrednictwem specjalnie napisanego bota w Telegramie.
Najpopularniejsze pytania:
- Czy nasze adresy IP są dostępne w Turkmenistanie (jest to pierwsza popularność - najwyraźniej kraj ma surową politykę blokowania).
- Jak zainstalować to lub inne oprogramowanie.
- Jak uzyskać dostęp do roota (podczas tworzenia maszyn w interfejsie znajduje się nawet specjalne przypomnienie, ale nie zawsze to pomaga).
Czy weryfikujesz klientów? Czy często pojawiają się spamerzy i inne złe postacie?
Weryfikacja mailowa i telefoniczna (jeśli użytkownik aktywuje 2FA). Spamerzy i inni przestępcy pojawiają się okresowo. Jesteśmy zmuszeni zareagować, tymczasowo blokując zaatakowane serwery, ponieważ nie chcemy, aby adresy IP znajdowały się na czarnej liście. Zawsze jednak piszemy do użytkownika z wyprzedzeniem, że otrzymano na niego skargę i prosimy o skontaktowanie się z nim w celu omówienia problemu. Jeżeli użytkownik nie odpowie lub pojawią się powtarzające się reklamacje, blokujemy całe konto i usuwamy serwery.
Czy ataki DDoS na klientów zdarzają się często? Co robisz w takich przypadkach? Czy miały miejsce ataki konkretnie na Ciebie, Twoją witrynę lub infrastrukturę?
Klienci są atakowani dość rzadko. Ale sami często mamy stronę internetową, konto osobiste. Czasami łączą sieć z różnymi adresami IP. Nie podejmujemy się oceniać, kto to jest i dlaczego, opcji może być kilka. Są nawet próby zaatakowania nas od środka. Wcześniej podczas weryfikacji telefonicznej rozdawaliśmy sto rubli premii, aby zwykli użytkownicy mogli przetestować dowolną konfigurację. Ale pewnego dnia przyszedł użytkownik z „pakietem kart SIM” i spod jednego adresu IP zaczął tworzyć dziesiątki kont, otrzymując za nie premie. Dlatego musieliśmy usunąć automatyczne naliczanie wyników testów. Teraz musisz złożyć wniosek do pomocy technicznej w celu przeprowadzenia testów, a każdy przypadek rozpatrujemy osobno.
Jak zorganizowana jest praca, czy jest biuro, czy wszyscy pracują zdalnie?
Jest biuro, ale wraz z początkiem obostrzeń związanych z koronawirusem wszyscy poszli do pracy z domu/daczy/miasta rodzinnego.
Nasze biuro
Jaki jest Twój obecny kierunek rozwoju w firmie?
Pracujemy nad dodaniem nowych usług. Mamy rozbudowany plan działania, nie przerywamy rozwoju, a co dwa tygodnie wydawana jest nowa wersja konta osobistego. Dodajemy funkcjonalności i usługi, na które jest zapotrzebowanie wśród współpracowników, a także to, o co proszą klienci.
Jak znajdujesz klientów? Czy w ciągu roku występuje duży napływ i odpływ klientów? Jaka jest średnia „długość życia” klienta?
Kanały przyciągania klientów w naszej branży są podstawą całego biznesu, jeśli istnieje działający, dobry produkt. Dlatego nie jesteśmy gotowi się dzielić.
Wskaźnik rezygnacji, LTV i cykl życia to także dość ważne wskaźniki, których używamy wyłącznie do wewnętrznych analiz, a nie do ujawniania informacji.
Czy możesz dać czytelnikom jakąś radę dotyczącą wyboru usługi hostingowej? Na co warto zwrócić uwagę przed zakupem?
Najważniejsze jest, aby wybrać hosting z literą „B” na początku nazwy.
Ale tak na serio, jest kilka czynników, na które należy zwrócić uwagę:
- Aby zrozumieć jakość, możesz wziąć przeciętną konfigurację i spróbować rozwiązać na niej problemy z aplikacją. Wybierz hosting ze stawką godzinową - możesz testować serwery bez utraty dużej ilości pieniędzy, jeśli jakość nie będzie zadowalająca.
- Spójrz na centra danych, w których hoster ma fizyczne serwery. Można na ich podstawie z grubsza ocenić jakość usług.
- Nie radzimy zwracać uwagi na ceny: są zarówno super tanie rozwiązania, które sprawdzają się dobrze, jak i super drogie, które nie wyróżniają się niczym szczególnym.
Opowiedz nam o swoich najbardziej pamiętnych momentach w pracy.
Rozpoczęcie projektu. Przez pierwsze półtora miesiąca pracowaliśmy 24 godziny na dobę, 7 dni w tygodniu: sprawdzaliśmy, jak przebiegają rejestracje, czy coś się nie popsuło w interfejsie konta osobistego, jak zachowują się użytkownicy, czy wygodnie jest im zamawiać usługi. Wiele trzeba było decydować na bieżąco, aż do zastąpienia jednych produktów innymi. Zmiany wprowadzano od razu w środowisku produkcyjnym, z pominięciem środowisk testowych. To był napięty okres, ale udało nam się przetrwać i nie poddawać się w tym biznesie.
Użytkownicy, którzy przyszli szukać luk w logice. Interesujące było ich złapanie i wyeliminowanie luk w zabezpieczeniach. Przykładowo, gdy nie pracowaliśmy dla pieniędzy, ale nagradzaliśmy użytkowników, aby mogli zamawiać serwery, na jednym z forów hackerskich pojawił się link do nas z komentarzem: „Dają darmowe serwery o wartości 500 rubli”. Oczywiście natychmiast zasypało nas górników głodnych gratisów.
Czy mógłbyś przedstawić krótki harmonogram historii firmy?
- W pierwszej połowie 2017 roku rozpoczęliśmy rozwój platformy, strony internetowej i konta osobistego Boodet.online.
- 2018 – przystąpiono do testów alfa, bezpłatnie udostępniono klientom pojemność i w zamian otrzymano obszerne opinie i wyniki testów.
- Połowa 2018 r. - uruchomiono wersję beta z pieniędzmi. Pierwsze setki klientów, testowanie wsparcia technicznego.
- 2019 - zaczęliśmy pozyskiwać osoby prawne jako klientów i pracować nad niestandardowymi rozwiązaniami.
- 2020 - wszyscy odchodzą w samoizolację, zapotrzebowanie na wirtualizację rośnie. Sami to czujemy – następuje wzrost liczby klientów, co pozwala na pracę nad dużą liczbą usług dodatkowych.
Źródło: www.habr.com