Performanse mrežnih aplikacija Linux. Uvod

Web aplikacije se danas koriste svuda, a HTTP zauzima glavninu među svim transportnim protokolima. Istražujući nijanse razvoja web aplikacija, većina obraća vrlo malo pažnje na operativni sistem u kojem se aplikacije zapravo pokreću. Razdvajanje razvoja (Dev) i operacija (Ops) samo je pogorÅ”alo situaciju. Međutim, s Å”irenjem DevOps kulture, programeri počinju preuzimati odgovornost za pokretanje svojih aplikacija u oblaku, stoga je veoma korisno da temeljno upoznaju pozadinu operativnog sistema. Ovo je posebno korisno ako pokuÅ”avate da pokrenete sistem za hiljade ili desetine hiljada istovremenih konekcija.

Ograničenja u web servisima su veoma slična ograničenjima u drugim aplikacijama. Bilo da su to balansatori opterećenja ili serveri baze podataka, sve ove aplikacije imaju slične probleme u visoko performansnom okruženju. Razumevanje ovih fundamentalnih ograničenja i načina kako ih prevazići u celini omogućava vam da procenite performanse i skalabilnost vaÅ”ih web aplikacija.

PiÅ”em ovu seriju članaka kao odgovor na pitanja mladih programera koji žele postati dobro informisani sistemski arhitekti. Nemoguće je jasno razumeti metode optimizacije aplikacija Linux bez zahvatanja u osnove načina na koje one rade na nivou operativnog sistema. Iako postoji mnogo vrsta aplikacija, u ovom ciklusu želim istražiti mrežne aplikacije, a ne desktop aplikacije poput pregledača ili tekstualnog editora. Ovaj materijal je namenjen programerima i arhitektama koji žele da razumeju kako funkcioniÅ”u programi Linux ili Unix i kako ih strukturirati za visoke performanse.

Linux je servera operativni sistem, i najčeŔće vaÅ”e aplikacije rade upravo na ovom OS-u. Iako kažem "Linux", većinu vremena možete smatrati da se pod tim podrazumevaju sve Unix-slične operativne sisteme. Ipak, nisam testirao prateći kod na drugim sistemima. Dakle, ako vas zanima FreeBSD ili OpenBSD, rezultati mogu varirati. Kada probam neÅ”to specifično za Linux, ukazujem na to.

Iako možete iskoristiti stečeno znanje za izradu aplikacije od nule, koja će biti savrÅ”eno optimizovana, bolje je to ne raditi. Ako napiÅ”ete novi veb server na C ili C++ za poslovnu aplikaciju vaÅ”e organizacije, to bi mogao biti vaÅ” poslednji dan na poslu. Međutim, poznavanje strukture tih aplikacija pomoći će vam u odabiru već postojećih programa. Moći ćete da uporedite sisteme zasnovane na procesima sa sistemima zasnovanim na nitima, kao i na osnovu događaja. Razumećete i ceniti zaÅ”to Nginx radi bolje od Apache httpd-a, kao i zaÅ”to Python aplikacija zasnovana na Tornadu može da opslužuje viÅ”e korisnika u poređenju sa aplikacijom zasnovanom na Djangou.

ZeroHTTPd: alat za učenje

ZeroHTTPd — veb server koji sam napisao od nule na C kao alat za učenje. Nema spoljne zavisnosti, uključujući pristup Redis-u. Pokrećemo sopstvene Redis procedure. ViÅ”e detalja u nastavku.

Iako bismo mogli dugo da raspravljamo o teoriji, nema ničega boljeg od pisanja koda, pokretanja i upoređivanja svih arhitektura servera. To je najprikladnija metoda. Zato ćemo napisati jednostavan veb server ZeroHTTPd, primenjujući svaki model: zasnovan na procesima, nitima i događajima. Proverićemo svaki od ovih servera i videti kako funkcioniÅ”u u poređenju jedni sa drugima. ZeroHTTPd je implementiran u jednom C fajlu. Server zasnovan na događajima uključuje uthash, odlična implementacija heÅ”-tabele koja dolazi u jednom zaglavlju. U ostalim slučajevima nema zavisnosti kako ne bi dodatno komplikovala projekat.

U kodu ima mnogo komentara koji pomažu u razumevanju. Kao jednostavan veb server sa nekoliko redova koda, ZeroHTTPd takođe predstavlja minimalni okvir za veb razvoj. Ima ograničenu funkcionalnost, ali može da isporučuje statičke datoteke i vrlo jednostavne "dinamičke" stranice. Moram reći da je ZeroHTTPd dobro prilagođen za učenje kako se kreiraju visokoperformantne Linux aplikacije. U suÅ”tini, većina veb usluga čeka na zahteve, proverava ih i obrađuje. Upravo to će raditi ZeroHTTPd. To je alat za učenje, a ne za produkciju. Nije snažan u obradi greÅ”aka i verovatno se ne može pohvaliti najboljim praksama sigurnosti (oh da, koristio sam strcpy) ili zanimljivim trikovima jezika C. Ali se nadam da će se dobro snaći u svom zadatku.

Performanse mrežnih aplikacija Linux. Uvod
Početna stranica ZeroHTTPd. Može isporučivati različite tipove datoteka, uključujući slike

Aplikacija za knjigu gostiju

Savremene web aplikacije obično nisu ograničene na statične datoteke. Imaju složene interakcije sa raznim bazama podataka, keÅ”om itd. Zbog toga ćemo kreirati jednostavnu web aplikaciju pod nazivom ā€žKnjiga gostijuā€œ, gdje posetioci ostavljaju poruke pod svojim imenima. U knjizi gostiju čuvaju se prethodne poruke. Takođe, postoji brojač posetilaca u donjem delu stranice.

Performanse mrežnih aplikacija Linux. Uvod
Web aplikacija ā€žKnjiga gostijuā€œ ZeroHTTPd

Brojač posetilaca i poruke knjige gostiju se čuvaju u Redis-u. Za komunikaciju sa Redis-om implementirane su vlastite procedure koje nisu zavisne od spoljne biblioteke. Nije mi omiljeno koristiti domaći kod kada postoje dostupna i dobro testirana reÅ”enja. Međutim, cilj ZeroHTTPd-a je istražiti performanse Linux-a i pristup spoljnim uslugama dok HTTP zahtev ima značajan uticaj na performanse. Moramo potpuno kontrolisati komunikaciju sa Redis-om u svakoj naÅ”oj serverskoj arhitekturi. U jednoj arhitekturi koristimo blokirajuće pozive, a u drugima procedure zasnovane na događajima. KoriŔćenje spoljne klijentske biblioteke Redis ne bi nam omogućilo tu kontrolu. Pored toga, naÅ” mali Redis klijent izvrÅ”ava samo nekoliko funkcija (pribavljanje, podeÅ”avanje i povećanje ključa; pribavljanje i dodavanje u niz). Takođe, protokol Redis-a je izuzetno elegantan i jednostavan. Njega čak i ne treba posebno učiti. Samo to Å”to ceo posao protokola obavlja otprilike sto redova koda govori koliko je dobro osmiÅ”ljen.

Na sledećem dijagramu prikazani su koraci aplikacije kada klijent (pregledač) izvrÅ”i zahtev /guestbookURL.

Performanse mrežnih aplikacija Linux. Uvod
Mehanizam rada aplikacije knjige gostiju

Kada je potrebno prikazati stranicu knjige gostiju, dolazi do jednog poziva sistemu datoteka za učitavanje Å”ablona u memoriju i tri mrežna poziva ka Redis-u. Datoteka Å”ablona sadrži većinu HTML sadržaja za stranicu na gornjem ekranu. Tu su takođe posebni zamjenici za dinamički deo sadržaja: unose i broj posetilaca. Dobijamo ih iz Redis-a, umetnemo na stranicu i isporučujemo klijentu potpuno formirani sadržaj. Treći poziv ka Redis-u se može izbeći, poÅ”to Redis vraća novu vrednost ključa kada se poveća. Međutim, za naÅ” server sa asinhronom arhitekturom zasnovanom na događajima, mnoÅ”tvo mrežnih poziva predstavlja dobar test u obrazovne svrhe. Tako da odbacujemo vraćenu vrednost Redis-a o broju posetilaca i tražimo je zasebnim pozivom.

Serverske arhitekture ZeroHTTPd

Gradimo sedam verzija ZeroHTTPd sa istom funkcionalnoŔću, ali različitim arhitekturama:

  • Iterativna
  • Fork server (jedan podprocess po zahtevu)
  • Pre-fork server (prethodno forkanje procesa)
  • Server sa nitima izvrÅ”enja (jedna nit po zahtevu)
  • Server sa prethodnim kreiranjem niti
  • Arhitektura zasnovana na poll()
  • Arhitektura zasnovana na epoll

Mjerimo performanse svake arhitekture, opterećujući server HTTP zahtevima. Međutim, prilikom poređenja arhitektura s visokom paralelnoŔću, broj zahteva se povećava. Testiramo tri puta i računamo prosečnu vrednost.

Metodologija testiranja

Performanse mrežnih aplikacija Linux. Uvod
PodeÅ”avanje za testiranje opterećenja ZeroHTTPd

Važno je da svi komponente tokom testova ne rade na jednoj maÅ”ini. U tom slučaju, operativni sistem nosi dodatne troÅ”kove planiranja jer se komponente takmiče za CPU. Merenje troÅ”kova operativnog sistema sa svakom od izabranih serverskih arhitektura je jedan od najvažnijih ciljeva ovog vežbanja. Dodavanje većeg broja varijabli će negativno uticati na proces. Stoga, podeÅ”avanje na slici iznad radi najbolje.

Å ta svaki od ovih servera radi

  • load.unixism.net: ovde pokrećemo ab, Apache Benchmark alat. On generiÅ”e opterećenje potrebno za testiranje naÅ”ih serverskih arhitektura.
  • nginx.unixism.net: ponekad želimo pokrenuti viÅ”e od jednog primjerka serverskog programa. U tu svrhu, Nginx server s odgovarajućim postavkama funkcioniÅ”e kao balansirnik opterećenja koji dolazi od ab na naÅ”e serverske procese.
  • zerohttpd.unixism.net: ovdje pokrećemo naÅ”e serverske programe na sedam različitih arhitektura, jednu po jednu.
  • redis.unixism.net: na ovom serveru radi Redis demon, gdje se čuvaju zapisi u knjizi gostiju i broj posjetilaca.

Svi serveri rade na jednoj procesorskoj jezgri. Ideja je ocijeniti maksimalne performanse svake od arhitektura. Kako se svi serverski programi testiraju na istoj opremi, to je osnovna tačka za njihovo poređenje. Moja testna konfiguracija sastoji se od virtualnih servera iznajmljenih od Digital Ocean.

Å ta mjerimo?

Mogu se mjeriti različiti pokazatelji. Ocjenjujemo performanse svake arhitekture u toj konfiguraciji, opterećujući servere zahtjevima na različitim nivoima paralelizma: opterećenje raste od 20 do 15.000 istovremenih korisnika.

Rezultati testova

Na sljedećem grafikonu prikazane su performanse servera na različitim arhitekturama pri različitim nivoima paralelizma. Na y-osi je broj zahtjeva u sekundi, a na x-osi su paralelne konekcije.

Performanse mrežnih aplikacija Linux. Uvod

Performanse mrežnih aplikacija Linux. Uvod

Performanse mrežnih aplikacija Linux. Uvod

Ispod je tabela s rezultatima.

zahtjeva u sekundi

paralelizam
iterativni
fork
pre-fork
tokovni
pre-tokovni
poll
epoll

20
7
112
2100
1800
2250
1900
2050

50
7
190
2200
1700
2200
2000
2000

100
7
245
2200
1700
2200
2150
2100

200
7
330
2300
1750
2300
2200
2100

300
–
380
2200
1800
2400
2250
2150

400
–
410
2200
1750
2600
2000
2000

500
–
440
2300
1850
2700
1900
2212

600
–
460
2400
1800
2500
1700
2519

700
–
460
2400
1600
2490
1550
2607

800
–
460
2400
1600
2540
1400
2553

900
–
460
2300
1600
2472
1200
2567

1000
–
475
2300
1700
2485
1150
2439

1500
–
490
2400
1550
2620
900
2479

2000
–
350
2400
1400
2396
550
2200

2500
–
280
2100
1300
2453
490
2262

3000
–
280
1900
1250
2502
velika varijacija
2138

5000
–
velika varijacija
1600
1100
2519
–
2235

8000
–
–
1200
velika varijacija
2451
–
2100

10Ā 000
–
–
velika varijacija
–
2200
–
2200

11Ā 000
–
–
–
–
2200
–
2122

12Ā 000
–
–
–
–
970
–
1958

13Ā 000
–
–
–
–
730
–
1897

14Ā 000
–
–
–
–
590
–
1466

15Ā 000
–
–
–
–
532
–
1281

Iz grafikona i tabele se vidi da iznad 8000 istovremenih zahtjeva ostaju samo dva igrača: pre-fork i epoll. Sa porastom opterećenja, server zasnovan na poll-u pokazuje loÅ”ije performanse od tokovnog. Arhitektura s prethodnim stvaranjem tokova predstavlja dostojnu konkurenciju epoll-u: to svjedoči koliko dobro Linux kernel planira veliki broj tokova.

Izvorni kod ZeroHTTPd

Izvorni kod ZeroHTTPd ovde. Za svaku arhitekturu odvojen katalog.

ZeroHTTPd
│
ā”œā”€ā”€ 01_iterative
│   ā”œā”€ā”€ main.c
ā”œā”€ā”€ 02_forking
│   ā”œā”€ā”€ main.c
ā”œā”€ā”€ 03_preforking
│   ā”œā”€ā”€ main.c
ā”œā”€ā”€ 04_threading
│   ā”œā”€ā”€ main.c
ā”œā”€ā”€ 05_prethreading
│   ā”œā”€ā”€ main.c
ā”œā”€ā”€ 06_poll
│   ā”œā”€ā”€ main.c
ā”œā”€ā”€ 07_epoll
│    └── main.c
ā”œā”€ā”€ Makefile
ā”œā”€ā”€ public
│   ā”œā”€ā”€ index.html
│   └── tux.png
└── templates
    └── guestbook
        └── index.html

Pored sedam direktorija za sve arhitekture, u glavnom katalogu postoje joÅ” dva: public i templates. U prvom se nalazi datoteka index.html i slika sa prvog snimka. Tamo možete smjestiti druge datoteke i foldere, a ZeroHTTPd bi trebao bez problema isporučiti te statičke datoteke. Ako putanja u browseru odgovara putanji u mapi public, ZeroHTTPd traži datoteku index.html u tom katalogu. Sadržaj za gostinsku knjigu generira se dinamički. Ima samo glavnu stranicu, a njen sadržaj temelji se na datoteci ā€˜templates/guestbook/index.html’. U ZeroHTTPd se lako mogu dodavati dinamičke stranice za proÅ”irenje. Ideja je da korisnici mogu dodati predloÅ”ke u ovaj katalog i proÅ”iriti ZeroHTTPd po potrebi.

Za izgradnju svih sedam servera pokrenite make all iz glavnog direktorija — i sve izgradnje će se pojaviti u ovom katalogu. IzvrÅ”ne datoteke traže kataloge public i templates iz direktorija iz kojeg su pokrenute.

Linux API

Da biste razumjeli informacije u ovom ciklusu članaka, nije potrebno dobro poznavati Linux API. Međutim, preporučujem da pročitate viÅ”e na ovu temu, na mreži ima mnogo referentnih resursa. Iako ćemo se dotaknuti nekoliko kategorija Linux API, naÅ” fokus će biti uglavnom na procesima, thread-ovima, događajima i mrežnom stacku. Pored knjiga i članaka o Linux API, preporučujem također i čitanje man stranica za sistemske pozive i koriÅ”tene bibliotečne funkcije.

Performanse i skalabilnost

Jedna napomena o performansama i skalabilnosti. Teoretski, između njih nema nikakve veze. Možete imati web servis koji radi vrlo dobro, s vremenom odgovora u nekoliko milisekundi, ali se uopÅ”te ne skalira. Također može postojati loÅ”e funkcionirajuća web aplikacija koja zahtijeva nekoliko sekundi za odgovor, ali se skalira na desetine da bi obradila desetine hiljada simultanih korisnika. Ipak, kombinacija visoke performanse i skalabilnosti je vrlo moćna kombinacija. Visokoperformantne aplikacije generalno ekonomično koriste resurse i tako efikasno opslužuju viÅ”e simultanih korisnika na serveru, smanjujući troÅ”kove.

Zadaci CPU i I/O

Konačno, u računanju postoje dva moguća tipa zadataka: za I/O i CPU. Dobijanje zahteva putem interneta (mrežni ulaz-izlaz), upravljanje datotekama (mrežni i diskovni ulaz-izlaz), komunikacija sa bazom podataka (mrežni i diskovni ulaz-izlaz) - sve su to aktivnosti I/O. Neki zahtevi za BDP mogu malo opteretiti CPU (sortiranje, izračunavanje prosečne vrednosti miliona rezultata itd.). Većina web aplikacija je ograničena po maksimalnom mogućem I/O, dok se procesor retko koristi na punoj snazi. Kada primetite da se u nekom zadatku ulaz-izlaz koristi puno CPU, verovatno je to znak loÅ”e arhitekture aplikacije. To može značiti da se resursi CPU troÅ”e na upravljanje procesima i prebacivanje konteksta - i to nije baÅ” korisno. Ako radite neÅ”to poput obrade slika, konverzije audio fajlova ili maÅ”inskog učenja, tada aplikacija zahteva jake resurse CPU. Međutim, za većinu aplikacija to nije slučaj.

Detaljnije o serverskim arhitekturama

  1. Deo I. Iterativna arhitektura
  2. Deo II. Fork serveri
  3. Deo III. Pre-fork serveri
  4. Deo IV. Serveri sa izvrŔnim nitima
  5. Deo V. Serveri sa prethodnim kreiranjem niti
  6. Deo VI. Arhitektura zasnovana na poll
  7. Deo VII. Arhitektura zasnovana na epoll

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaÅ”titu od DDoS, VPS VDS servere šŸ”„ Kupite pouzdan hosting za sajtove uz zaÅ”titu od DDoS, VPS VDS servere | ProHoster