Nazywam się Leonid, jestem deweloperem stron internetowych , dlatego z racji swojej działalności interesuję się historiami powstawania i rozwoju różnych firm z sektora usług hostingowych. Dziś chciałbym przedstawić wywiad z Danielem i Dmitrijem — twórcami hostingu . Opowiedzą o strukturze infrastruktury, organizacji pracy i swoim doświadczeniu w rozwoju dostawcy serwerów wirtualnych w Rosji.
Proszę opowiedzieć kilka słów o sobie. Jak trafiłeś do hostingu? Czym zajmowałeś się wcześniej?
Do 2016 roku zarówno ja, jak i Dmitrij pracowaliśmy w sektorze Enterprise, w tym w takich firmach jak Dell, HP, EMC. Analizując rynek chmurowy w Rosji, zrozumieliśmy, że intensywnie rośnie i postanowiliśmy, że możemy zaoferować interesującą propozycję. Zebraliśmy zespół ludzi, którzy wcześniej współpracowali nad innymi projektami, i razem zaczęliśmy rozwijać własną platformę wirtualizacji, skierowaną na duże przedsiębiorstwa z ich specyficznymi potrzebami. Od 2018 roku równolegle uruchomiliśmy chmurowy hosting „dla wszystkich”, wydzielając pod projekt zespół składający się z pięciu osób.
Szafka do przechowywania i przygotowania przed startem
Czy ten projekt dla biznesu już działa, czy nadal jest w fazie rozwoju?
Tak, działa równolegle — jest tam już większy zespół, a kwestia dotyczy bardziej rozwiązań programowo-sprzętowych dla infrastruktury IT, a nie samego hostingu.
Obecnie macie dość dużo różnych usług. Kiedy zaczynaliście, lista była krótsza czy taka sama? Przy czym wszystkie te usługi w zasadzie stanowią zwykły serwer wirtualny, ale jest pewne rozdzielenie.
Zaczynaliśmy od klasycznego IaaS: oferowaliśmy „gołe” serwery wirtualne z zamkniętymi portami i sieciami wirtualnymi, aby użytkownik mógł samodzielnie tworzyć pełnoprawną infrastrukturę dla siebie. Po rozpoczęciu działalności okazało się, że większość użytkowników nie rozumie, do czego są im potrzebne takie możliwości, więc postanowiliśmy wprowadzić nowy produkt — standardowy VDS/VPS, z którym rynek był już zaznajomiony. Dla nas była to w zasadzie okrojona wersja produktu, ale użytkownicy od razu zrozumieli, o co chodzi, i zaczęliśmy pozyskiwać pierwszych klientów. Widocznie nasze doświadczenie z dużymi firmami zmusiło nas do natychmiastowego opracowania bardziej skomplikowanego i dostosowanego rozwiązania, podczas gdy rynek masowy pragnie prostoty. Następnie, na bazie VPS, zaczęliśmy rozwijać nowe usługi, w oparciu o to, o co najczęściej pytali klienci. I rozwijamy je do dzisiaj.
Gdzie umieszczacie sprzęt? Czy jest w waszej własności czy wynajmujecie? Jak wybieraliście centrum danych do umiejscowienia? Czy były przypadki przeprowadzki?
Cały sprzęt jest nasz, wynajmujemy tylko miejsce w dwóch centrach danych. Zaczynaliśmy od trzech centrów: chcieliśmy zrealizować trójstronną odporność na awarie, ale popyt na to w tamtym momencie był zbyt mały, aby w to inwestować, dlatego zrezygnowaliśmy z trzeciego centrum danych. Mieliśmy jedną przeprowadzkę: właśnie przenosiliśmy się z trzeciego centrum danych do jednego z pozostałych dwóch. Wybieraliśmy według takiej zasady: centra danych powinny być znane na rynku, niezawodne (Tier III), aby oba znajdowały się w Moskwie, w odległych od siebie dzielnicach.
W jakich centrach danych się obecnie znajdujecie i z jakiego zrezygnowaliście?
Obecnie znajdujemy się w DataSpace i 3Data. Zrezygnowaliśmy z jednego z centrów 3Data.
Odlatujemy z trzeciego centrum danych.
Czy wynajmujecie czy kupujecie adresy IP?
Wynajmujemy.
A z jakiego powodu wybraliście takie podejście, zamiast zakupu?
Generalnie, aby szybko rosnąć. Oferujemy klientom wirtualną infrastrukturę, za którą nie muszą od razu ponosić dużych wydatków kapitałowych, a koszty można rozłożyć miesięcznie. Sami kierujemy się tą samą filozofią co nasi klienci — dążymy do rozwoju i szybkiej skalowalności.
Co sądzicie o IPv6?
Na razie nie zauważyliśmy znaczącego popytu, więc nie dodaliśmy go do naszej oferty, ale architektura do jego wprowadzenia jest opracowana, gotowi jesteśmy wprowadzić go w krótkim czasie, gdy tylko zrozumiemy, że są zapytania.
Używasz wirtualizacji KVM. Dlaczego ją wybrałeś? Jak sprawdza się w praktyce?
Zgadza się, ale nie używamy 'czystego' KVM, lecz pełnoprawny, rozbudowany system wirtualizacji oparty na KVM, który opracował nasz 'starszy brat', w tym system przechowywania danych (SDS) i sieć definiowaną programowo (SDN). Wybieraliśmy bazując na chęci stworzenia produktu maksymalnie odpornym na awarie, bez pojedynczych punktów awarii. Sprawdza się dobrze, dopóki nie wystąpiły globalne problemy w produkcji. Na etapie testów alfa na rynku, gdy świadczyliśmy usługi pierwszym klientom w zamian za punkty bonusowe, testowaliśmy technologię i napotkaliśmy kilka nieprzyjemnych sytuacji, ale przez ostatnie dwa lata udało nam się wiele zrozumieć i rozwiązać.
Czy korzystacie z oversellingu? Jak kontrolujecie obciążenie serwera?
Overselling stosujemy tylko w przypadku procesorów, ale w żadnym wypadku nie przy pamięci operacyjnej. Nawet w przypadku fizycznych procesorów nie dopuszczamy ich obciążenia powyżej 75%. W zakresie dysków: pracujemy z 'cienkim' przydzielaniem pojemności. Posiadamy scentralizowany monitoring całego otoczenia, co pozwala na kontrolę obciążenia. Za wsparcie całej infrastruktury odpowiada dwóch inżynierów, dlatego staramy się maksymalnie zautomatyzować i zbierać wszelkie informacje systemowe. Każde odchylenie od normalnego trybu jest natychmiast widoczne, a okresowo oceniamy i rebalance'ujemy obciążenie wewnątrz infrastruktury. Rebansowanie zawsze odbywa się w trybie online, niezauważalnie dla klientów.
Ile macie teraz fizycznych serwerów? Jak często dodajecie nowe? Jakie serwery wykorzystujecie?
Obecnie mamy 76 serwerów, nowe dodajemy co około cztery-pięć miesięcy. Używamy QCT, Intel, Supermicro.
Czy zdarzyło się, że klient przyszedł i zajął wszystkie pozostałe wolne zasoby, i musieliście pilnie dodawać serwery?
W przypadku zasobów takiego nie było. Na razie rośniemy dosyć równomiernie. Ale był jeden przypadek, kiedy użytkownik przyszedł i chciał 50 IP, każde w osobnym bloku. Oczywiście, czegoś takiego jeszcze nie mamy 🙂
Jakie są wasze najpopularniejsze metody płatności? Z czego korzysta się najmniej?
Najpopularniejsze metody płatności to karty bankowe i QIWI. Najrzadziej z kolei stosuje się płatności bezgotówkowe na podstawie oferty dla firm, choć takie przelewy mają największą wartość (firmy zazwyczaj płacą za poważne zasoby na kilka miesięcy do przodu). PayPal również pozostaje w tyle: na początku nie planowaliśmy użytkowników zagranicznych, ale zaczęli się pojawiać.
W Boodet.online mamy własny system billingowy. Dlaczego zdecydowaliście się na takie rozwiązanie? Jakie są zalety i wady? Czy jego rozwój był trudny?
Cały nasz system to rozwiązania własnej produkcji. Istniejące platformy nie wydawały się nam zbyt wygodne pod względem UX, dlatego postanowiliśmy stworzyć i rozwijać swój własny. Billing to tylko jeden z mikroserwisów, które wchodzą w skład systemu. Okazało się, że jego rozwój jest trudniejszy, niż myśleliśmy na początku. W pewnym momencie musieliśmy opóźnić uruchomienie projektu, aby zdążyć przygotować funkcjonalny produkt, z którego nie byłoby wstyd na testach alfa. Z czasem zyskaliśmy kompetencje w metodach długoterminowego rozwoju oraz zarządzaniu produktem. Teraz łatwiej jest dodawać nową funkcjonalność i nowe produkty do systemu.
Ile osób pracowało nad tym projektem? W jakim języku programowania to napisano?
Nad całym projektem pracuje pięć osób, w tym dwóch programistów (frontend i backend). Backend napisano w RoR/Python, a frontend to JS.
Jak zorganizowane jest wsparcie dla użytkowników? Działa całodobowo, czy tylko w godzinach pracy? Ile jest linii wsparcia? O co najczęściej pytają?
Mamy trzy punkty kontaktowe: czat, telefon i system zgłoszeń w panelu użytkownika. Dwie linie wsparcia: jeśli dyżurny inżynier nie potrafi rozwiązać problemu, dołącza dyrektor techniczny lub zespół programistów. Jeśli problem leży w głównej platformie, co zdarza się znacznie rzadziej, dyrektor techniczny zwraca się do wsparcia 'starszego brata'. W nocy reagujemy tylko na połączenia od klientów, którzy wykupują dodatkową obsługę techniczną, lub na awarie platformy zgłoszone przez specjalnie napisanego bota na Telegramie.
Najczęściej zadawane pytania:
- Czy nasze IP są dostępne w Turkmenistanie (to najczęściej zadawane pytanie — najwyraźniej w kraju panuje surowa polityka blokad).
- Jak zainstalować dane oprogramowanie.
- Jak uzyskać dostęp root (została nawet stworzona specjalna notatka w interfejsie podczas tworzenia maszyn, ale nie zawsze to pomaga).
Czy przeprowadzacie weryfikację klientów? Często pojawiają się spamerzy i inne niepożądane osoby?
Weryfikacja przez e-mail i telefon (jeśli użytkownik włącza 2FA). Spamerzy i inni nadużywający pojawiają się okresowo. Musimy reagować czasowym zablokowaniem skompromitowanych serwerów, ponieważ nie chcemy, aby IP trafiły na czarne listy. Zawsze jednak wcześniej informujemy użytkownika, że otrzymaliśmy na niego skargę, prosimy o kontakt w celu omówienia problemu. Jeśli użytkownik nie reaguje lub pojawiają się kolejne skargi, całkowicie blokujemy konto i usuwamy serwery.
Czy często zdarzają się ataki DDoS na klientów? Co robicie w takich przypadkach? Czy były ataki bezpośrednio na was, waszą stronę lub infrastrukturę?
Klienci są atakowani dość rzadko. Ale my sami - często: strona, panel klienta. Czasami atakują sieć z różnych adresów IP. Nie chcemy oceniać, kto to robi i dlaczego, bo może być wiele możliwości. Zdarzają się nawet próby atakowania nas od wewnątrz. Kiedyś w ramach weryfikacji telefonicznej przyznawaliśmy bonusowe sto złotych, aby normalni użytkownicy mogli przetestować różne konfiguracje. Ale pewnego dnia przyszedł użytkownik z „paczkiem simków” i z jednego adresu IP zaczął zakładać dziesiątki kont, otrzymując na nie bonusy. Dlatego musieliśmy zrezygnować z automatycznego przyznawania testowych punktów. Teraz, aby przetestować, trzeba złożyć wniosek do wsparcia technicznego, a każdy przypadek rozpatrujemy indywidualnie.
Jak zorganizowana jest praca, macie biuro, czy wszyscy pracują zdalnie?
Biuro istnieje, ale z powodu ograniczeń związanych z koronawirusem wszyscy przeprowadzili się do pracy z domu / działki / rodzinnego miasta.
Nasze biuro
Jaki jest aktualny kierunek rozwoju firmy?
Idziemy w kierunku dodawania nowych usług. Mamy rozbudowaną roadmapę, nie przerywamy rozwoju, a co dwa tygodnie wychodzi nowa wersja panelu klienta. Dodajemy funkcje i usługi, które są pożądane przez kolegów, wprowadzamy to, o co proszą klienci.
Jak znajdujecie klientów? Czy jest duży napływ i odpływ klientów rocznie? Jaki jest średni "czas życia" klienta?
Kanały pozyskiwania klientów w naszej branży to to, na czym opiera się cały biznes, jeżeli jest dobry produkt. Dlatego nie jesteśmy gotowi dzielić się tym.
Wskaźnik churn, LTV i cykl życia to także dość ważne wskaźniki, które wykorzystujemy tylko do wewnętrznej analizy, ale nie do ujawniania.
Czy moglibyście dać czytelnikom jakieś rady dotyczące wyboru hostingu? Na co warto zwrócić uwagę przed zakupem?
Najważniejsze to wybierać hosting, który zaczyna się na literę „B”.
A jeśli mówimy poważnie, to jest kilka czynników, na które warto zwrócić uwagę:
- Aby ocenić jakość, można wziąć średnią konfigurację i spróbować rozwiązać na niej swoje zadania aplikacyjne. Wybierajcie hostingi, które mają taryfę rozliczeniową na godziny — będziecie mogli przetestować serwery, nie tracąc dużo pieniędzy, jeśli jakość nie spełni oczekiwań.
- Zwróć uwagę na centra danych, w których znajdują się fizyczne serwery hostera. Można na ich podstawie ocenić jakość usług.
- Nie polecamy zwracać uwagi na ceny: są zarówno supertanie rozwiązania, które nieźle się sprawdzają, jak i superdrogie, które nie różnią się niczym szczególnym.
Opowiedz o najbardziej zapadających w pamięć momentach pracy.
Start projektu. Pierwsze półtora miesiąca pracowaliśmy w trybie 24/7: obserwowaliśmy, jak przebiegają rejestracje, czy coś nie psuje się w interfejsie panelu użytkownika, jak zachowują się użytkownicy, czy wygodnie im zamawiać usługi. Wiele rzeczy trzeba było rozwiązywać na bieżąco, aż po zamianę jednych produktów na inne. Zmiany wprowadzaliśmy od razu w produkcji, omijając środowiska testowe. To był intensywny okres, ale udało się przetrwać i nie zarzucić tego przedsięwzięcia.
Użytkownicy, którzy przychodzili po lukry w logice. Interesujące było ich przechwytywanie i zamykanie luk. Na przykład, kiedy pracowaliśmy jeszcze za darmo, przyznawaliśmy bonusy, aby użytkownicy mogli zamawiać serwery, link do nas został opublikowany na jednym z forum hakerskich z komentarzem: “dają za darmo serwery za 500 rubli”. Oczywiście, natychmiast zalewali nas chłopcy-minerzy, pragnący darmowych ofert.
Czy moglibyście stworzyć krótką chronologię historii firmy?
- Pierwsza połowa 2017 roku — zaczęliśmy rozwijać platformę, stronę i panel użytkownika Boodet.online.
- 2018 rok — rozpoczęliśmy testy alfa, oferując moc klientom za darmo w zamian za szczegółowe opinie i wyniki testów.
- Połowa 2018 roku — uruchomiliśmy wersję beta z płatnościami. Pierwsi klienci, testowanie wsparcia technicznego.
- Rok 2019 — zaczęliśmy pozyskiwać klientów biznesowych, pracując nad rozwiązaniami dostosowanymi do potrzeb.
- Rok 2020 — wszyscy przechodzą na izolację, rośnie popyt na wirtualizację. Odczuwamy to na własnej skórze — następuje przyrost klientów, co daje możliwość pracy nad większą ilością dodatkowych usług.
Źródło: habr.com
