Koristimo mcrouter za horizontalno skaliranje memcached

Koristimo mcrouter za horizontalno skaliranje memcached

Razvoj visoko opterećenih projekata na bilo kojem jeziku zahtijeva poseban pristup i primjenu specijalnih alata, no kada se radi o aplikacijama na PHP-u, situacija se može toliko zakomplicirati da je potrebno razviti, na primjer, vlastiti poslužitelj aplikacija. U ovom članku ćemo govoriti o poznatom problemu s distribuiranim pohranom sesija i keširanjem podataka u memcached i kako smo riješili te probleme u jednom 'podopćem' projektu.

Povod je aplikacija na PHP-u koja se temelji na frameworku symfony 2.3, čije ažuriranje u poslovne planove uopće ne ulazi. Osim prilično standardnog pohranjivanja sesija, u ovom projektu se uvelike koristila politika 'keširanja svega' u memcached: odgovora na upite prema Bazi podataka i API poslužiteljima, različitih oznaka, zaključavanja za sinkronizaciju izvršenja koda i mnogih drugih. U takvoj situaciji kvar memcached postaje fatalan za rad aplikacije. Uz to, gubitak keša dovodi do ozbiljnih posljedica: SUSTAV započinje pucati po šavovima, API servisi — blokiraju upite itd. Stabilizacija situacije može potrajati desetke minuta, a u tom vremenu servis će usporiti ili će postati potpuno nedostupan.

Potreban nam je bio mogućnost horizontalnog skaliranja aplikacije s minimalnim troškovima, tj. uz minimalne promjene izvorne koda i potpuno očuvanje funkcionalnosti. Napraviti keš ne samo otpornim na kvarove, već se također truditi minimizirati gubitak podataka iz njega.

Što nije u redu sa samim memcached?

Uopće, proširenje memcached za PHP 'iz kutije' podržava distribuiranu pohranu podataka i sesija. Mehanizam konzistentnog heširanja ključeva omogućava ravnomjernu raspodjelu podataka na više poslužitelja, jednoznačno usmjeravanje svakog konkretnog ključa određenom poslužitelju iz grupe, a ugrađena sredstva za prebacivanje osiguravaju visoku dostupnost usluge keširanja (ali, nažalost, ne podataka).

Pohrana sesija je malo bolja: može se postaviti memcached.sess_number_of_replicas, čime će se podaci odmah pohranjivati na nekoliko poslužitelja, a u slučaju kvara jednog primjerka memcached, podaci će se uzimati s drugih. Međutim, ako se poslužitelj vrati u rad bez podataka (kao što obično biva nakon ponovnog pokretanja), dio ključeva bit će preusmjeren u njegovu korist. U suštini, to će značiti gubitak podataka sesije, jer nema mogućnosti "pristupiti" drugoj replici u slučaju greške.

Standardni alati biblioteke usmjereni su, uglavnom, upravo na horizontalno skaliranje: omogućuju povećanje cache-a do gigantskih veličina te osiguravaju pristup iz koda koji je smješten na različitim poslužiteljima. Međutim, u našoj situaciji volumen pohranjenih podataka ne prelazi nekoliko gigabajta, a i performanse jednog ili dva čvora su više nego dovoljne. Stoga, od korisnih standardnih alata, mogli bi samo osigurati dostupnost memcached-a zadržavajući barem jedan primjerak cache-a u radnom stanju. No, čak ni tu mogućnost nismo mogli iskoristiti... Ovdje vrijedi podsjetiti na starost okvira korištenog u projektu, što je otežalo rad aplikacije s bazenom poslužitelja. Također, ne smijemo zaboraviti na gubitke podataka sesija: od masovnog odjavljivanja korisnika klijentov se oko trzalo.

U idealnom slučaju bila je potrebna replikacija zapisa u memcached-u i zaobići replike u slučaju pogreške ili greške. Ovu strategiju nam je pomogao realizirati mcrouter.

mcrouter

To je usmjerivač za memcached, razvijen od strane Facebook-a s ciljem rješavanja njihovih problema. Podržava tekstualni protokol memcached, koji omogućava skaliranje instalacija memcached do nevjerojatnih veličina. Detaljan opis mcrouter-a može se pronaći u ovoj najavi. Osim ostale široke funkcionalnosti može učiniti ono što nam treba:

  • replikairati zapis;
  • napraviti fallback na druge poslužitelje grupe u slučaju greške.

Hajde da krenemo!

Konfiguracija mcrouter-a

Preći ću odmah na konfiguraciju:

{
 "pools": {
   "pool00": {
     "servers": [
       "mc-0.mc:11211",
       "mc-1.mc:11211",
       "mc-2.mc:11211"
   },
   "pool01": {
     "servers": [
       "mc-1.mc:11211",
       "mc-2.mc:11211",
       "mc-0.mc:11211"
   },
   "pool02": {
     "servers": [
       "mc-2.mc:11211",
       "mc-0.mc:11211",
       "mc-1.mc:11211"
 },
 "route": {
   "type": "OperationSelectorRoute",
   "default_policy": "AllMajorityRoute|Pool|pool00",
   "operation_policies": {
     "get": {
       "type": "RandomRoute",
       "children": [
         "MissFailoverRoute|Pool|pool02",
         "MissFailoverRoute|Pool|pool00",
         "MissFailoverRoute|Pool|pool01"
       ]
     }
   }
 }
}

Zašto tri bazena? Zašto se serveri ponavljaju? Hajde da vidimo kako ovo funkcioniše.

  • U ovoj konfiguraciji mcrouter bira putanju kojom će se zahtev slati na osnovu vrste zahteva. O tome mu govori tip OperationSelectorRoute.
  • GET zahtevi idu u obradi RandomRoute, koji nasumično bira bazen ili putanju među objektima niza children. Svaki element ovog niza je obradi MissFailoverRoute, koji će proći kroz svaki server u bazenu dok ne dobije odgovor sa podacima, koji će biti vraćen klijentu.
  • Da smo koristili isključivo MissFailoverRoute sa bazenom od tri servera, svi zahtevi bi prvo dolazili na prvi instanca memcached-a, dok bi ostali primali zahteve po preostalom principu kada podaci nedostaju. Ovaj pristup bi doveo do prekomernog opterećenja prvog servera na listi, pa je odlučeno da se generišu tri bazena sa adresama u različitim redosledima i biraju ih nasumično.
  • Svi ostali zahtevi (a to su zapisivanja) se obrađuju pomoću AllMajorityRoute. Ova obrada šalje zahteve svim serverima u bazenu i čeka odgovore, bar, od N/2 + 1 od njih. Korišćenje AllSyncRoute za operacije zapisivanja je moralo biti napušteno, jer ova metoda zahteva pozitivan odgovor od sve servera grupe — u suprotnom će vratiti SERVER_ERROR. Iako mcrouter može smestiti podatke u dostupne keševe, funkcija PHP će vratiti grešku i generisati obaveštenje. AllMajorityRoute nije tako stroga i dozvoljava uklanjanje do polovine čvorova iz upotrebe bez gore navedenih problema.

Glavni nedostatak ove sheme je u tome što, ako podaci u kešu zapravo nedostaju, svaki zahtev od klijenta će zapravo rezultirati N zahteva ka memcached-u — ka svačim serverima u bazenu. Možemo skratiti broj servera u bazenima, na primer, na dva: žrtvujući pouzdanost skladištenja, dobićemo boveća brzina i manji teret od zahtjeva za nepostojećim ključevima.

NB: Korisne veze za proučavanje mcroutera također mogu biti dokumentacija u wiki i problemi projekta (uključujući i zatvorene), koji predstavljaju pravi izvor raznih konfiguracija.

Sastavljanje i pokretanje mcroutera

Aplikacija (i sam memcached) radi u Kubernetesu — stoga se mcrouter također nalazi tamo. Za sastavljanje kontejnera koristimo werf, a konfiguracija će izgledati ovako:

NB: Popisi navedeni u članku objavljeni su u repozitoriju flant/mcrouter.

configVersion: 1
project: mcrouter
deploy:
 namespace: '[[ env ]]'
 helmRelease: '[[ project ]]-[[ env ]]'
---
image: mcrouter
from: ubuntu:16.04
mount:
- from: tmp_dir
 to: /var/lib/apt/lists
- from: build_dir
 to: /var/cache/apt
ansible:
 beforeInstall:
 - name: Install prerequisites
   apt:
     name: [ 'apt-transport-https', 'tzdata', 'locales' ]
     update_cache: yes
 - name: Add mcrouter APT key
   apt_key:
     url: https://facebook.github.io/mcrouter/debrepo/xenial/PUBLIC.KEY
 - name: Add mcrouter Repo
   apt_repository:
     repo: deb https://facebook.github.io/mcrouter/debrepo/xenial xenial contrib
     filename: mcrouter
     update_cache: yes
 - name: Set timezone
   timezone:
     name: "Europe/Moscow"
 - name: Ensure a locale exists
   locale_gen:
     name: en_US.UTF-8
     state: present
 install:
 - name: Install mcrouter
   apt:
     name: [ 'mcrouter' ]

(werf.yaml)

… i dodajemo Helm-chart. Zanimljivo je da ovdje imamo samo generator konfiguracije na temelju broja replika (ako netko ima sažetiju i elegantniju verziju — podijelite u komentarima):

{{- $count := (pluck .Values.global.env .Values.memcached.replicas | first | default .Values.memcached.replicas._default | int) -}}
{{- $pools := dict -}}
{{- $servers := list -}}
{{- \/ Заполням массив двумя копиями серверов: "0 1 2 0 1 2" \/ -}}
{{- range until 2 -}}
 {{- range $i, $_ := until $count -}}
 {{- $servers = append $servers (printf "mc-%d.mc:11211" $i) -}}
 {{- end -}}
{{- end -}}
{{- \/ Смещаясь по массиву, получаем N срезов: "[0 1 2] [1 2 0] [2 0 1]" \/ -}}
{{- range $i, $_ := until $count -}}
 {{- $pool := dict "servers" (slice $servers $i (add $i $count)) -}}
 {{- $_ := set $pools (printf "MissFailoverRoute|Pool|poold" $i) $pool -}}
{{- end -}}
---
apiVersion: v1
kind: ConfigMap
metadata:
 name: mcrouter
data:
 config.json: |
 {
 "pools": {{- $pools | toJson | replace "MissFailoverRoute|Pool|" "" -}},
 "route": {
 "type": "OperationSelectorRoute",
 "default_policy": "AllMajorityRoute|Pool|pool00",
 "operation_policies": {
 "get": {
 "type": "RandomRoute",
 "children": {{- keys $pools | toJson }}
 }
 }
 }
 }

(10-mcrouter.yaml)

Postavljamo u testno okruženje i provjeravamo:

# php -a
Interactive mode enabled

php > # Проверяем запись и чтение
php > $m = new Memcached();
php > $m->addServer('mcrouter', 11211);
php > var_dump($m->set('test', 'value'));
bool(true)
php > var_dump($m->get('test'));
string(5) "value"
php > # Работает! Тестируем работу сессий:
php > ini_set('session.save_handler', 'memcached');
php > ini_set('session.save_path', 'mcrouter:11211');
php > var_dump(session_start());
PHP Warning:  Uncaught Error: Failed to create session ID: memcached (path: mcrouter:11211) in php shell code:1
Stack trace:
#0 php shell code(1): session_start()
#1 {main}
  thrown in php shell code on line 1
php > # Не заводится… Попробуем задать session_id:
php > session_id("zzz");
php > var_dump(session_start());
PHP Warning:  session_start(): Cannot send session cookie - headers already sent by (output started at php shell code:1) in php shell code on line 1
PHP Warning:  session_start(): Failed to write session lock: UNKNOWN READ FAILURE in php shell code on line 1
PHP Warning:  session_start(): Failed to write session lock: UNKNOWN READ FAILURE in php shell code on line 1
PHP Warning:  session_start(): Failed to write session lock: UNKNOWN READ FAILURE in php shell code on line 1
PHP Warning:  session_start(): Failed to write session lock: UNKNOWN READ FAILURE in php shell code on line 1
PHP Warning:  session_start(): Failed to write session lock: UNKNOWN READ FAILURE in php shell code on line 1
PHP Warning:  session_start(): Failed to write session lock: UNKNOWN READ FAILURE in php shell code on line 1
PHP Warning:  session_start(): Unable to clear session lock record in php shell code on line 1
PHP Warning:  session_start(): Failed to read session data: memcached (path: mcrouter:11211) in php shell code on line 1
bool(false)
php >

Pretraživanje teksta greške nije dalo rezultate, jednakako, pretragom "mcrouter php" među prvim redovima se isticala najstarija neodgovorena problematika projekta — nedostatak podrške binarnih protokola memcached.

NB: ASCII protokol u memcached je sporiji od binarnog, a standardni alati za konzistentno heširanje ključeva rade samo s binarnim protokolom. No, to ne stvara probleme za konkretan slučaj.

Posao je gotov: samo trebate prebaciti se na ASCII protokol i sve će raditi… Međutim, u ovom slučaju navika traženja odgovora u dokumentaciji na php.net je odigrala lošu šalu. Tamo nećete pronaći točan odgovor… osim, naravno, ako ne skrolate do kraja, gdje u sekciji «Korisnički komentari» ćete pronaći točan i nezasluženo negativan odgovor..

Da, točan naziv opcije je — memcached.sess_binary_protocol. Treba je isključiti, nakon čega će sesije početi raditi. Sad samo trebate stavити kontejner s mcrouter u pod s PHP-om!

Zaključak

Tako smo samo infrastrukturnim promjenama uspjeli riješiti postavljen zadatak: pitanje otpornosti memcached-a je riješeno, pouzdanost pohrane cache-a je poboljšana. Osim očitih prednosti za aplikaciju, ovo je dalo prostora za manevriranje tijekom radova na platformi: kada svi komponenti imaju rezervu, život administratora je znatno olakšan. Da, ova metoda ima i svoje nedostatke, može izgledati kao 'štaka', ali ako štedi novac, skriva problem i ne izaziva nove — zašto ne?

P.S.

Pročitajte i na našem blogu:

Izvor: habr.com

Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere 🔥 Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere | ProHoster