Web aplikacije se danas koriste svuda, a HTTP zauzima glavninu meÄu svim transportnim protokolima. IstražujuÄi nijanse razvoja web aplikacija, veÄina obraÄa vrlo malo pažnje na operativni sistem u kojem se aplikacije zapravo pokreÄu. Razdvajanje razvoja (Dev) i operacija (Ops) samo je pogorÅ”alo situaciju. MeÄutim, s Å”irenjem DevOps kulture, programeri poÄinju preuzimati odgovornost za pokretanje svojih aplikacija u oblaku, stoga je veoma korisno da temeljno upoznaju pozadinu operativnog sistema. Ovo je posebno korisno ako pokuÅ”avate da pokrenete sistem za hiljade ili desetine hiljada istovremenih konekcija.
OgraniÄenja u web servisima su veoma sliÄna ograniÄenjima u drugim aplikacijama. Bilo da su to balansatori optereÄenja ili serveri baze podataka, sve ove aplikacije imaju sliÄne probleme u visoko performansnom okruženju. Razumevanje ovih fundamentalnih ograniÄenja i naÄina kako ih prevaziÄi u celini omoguÄava vam da procenite performanse i skalabilnost vaÅ”ih web aplikacija.
PiÅ”em ovu seriju Älanaka kao odgovor na pitanja mladih programera koji žele postati dobro informisani sistemski arhitekti. NemoguÄe je jasno razumeti metode optimizacije aplikacija Linux bez zahvatanja u osnove naÄina na koje one rade na nivou operativnog sistema. Iako postoji mnogo vrsta aplikacija, u ovom ciklusu želim istražiti mrežne aplikacije, a ne desktop aplikacije poput pregledaÄa ili tekstualnog editora. Ovaj materijal je namenjen programerima i arhitektama koji žele da razumeju kako funkcioniÅ”u programi Linux ili Unix i kako ih strukturirati za visoke performanse.
Linux je servera operativni sistem, i najÄeÅ”Äe vaÅ”e aplikacije rade upravo na ovom OS-u. Iako kažem "Linux", veÄinu vremena možete smatrati da se pod tim podrazumevaju sve Unix-sliÄne operativne sisteme. Ipak, nisam testirao prateÄi kod na drugim sistemima. Dakle, ako vas zanima FreeBSD ili OpenBSD, rezultati mogu varirati. Kada probam neÅ”to specifiÄno za Linux, ukazujem na to.
Iako možete iskoristiti steÄeno znanje za izradu aplikacije od nule, koja Äe biti savrÅ”eno optimizovana, bolje je to ne raditi. Ako napiÅ”ete novi veb server na C ili C++ za poslovnu aplikaciju vaÅ”e organizacije, to bi mogao biti vaÅ” poslednji dan na poslu. MeÄutim, poznavanje strukture tih aplikacija pomoÄi Äe vam u odabiru veÄ postojeÄih programa. MoÄi Äete da uporedite sisteme zasnovane na procesima sa sistemima zasnovanim na nitima, kao i na osnovu dogaÄaja. RazumeÄete i ceniti zaÅ”to Nginx radi bolje od Apache httpd-a, kao i zaÅ”to Python aplikacija zasnovana na Tornadu može da opslužuje viÅ”e korisnika u poreÄenju sa aplikacijom zasnovanom na Djangou.
ZeroHTTPd: alat za uÄenje
Ā ā veb server koji sam napisao od nule na C kao alat za uÄenje. Nema spoljne zavisnosti, ukljuÄujuÄi pristup Redis-u. PokreÄemo sopstvene Redis procedure. ViÅ”e detalja u nastavku.
Iako bismo mogli dugo da raspravljamo o teoriji, nema niÄega boljeg od pisanja koda, pokretanja i uporeÄivanja svih arhitektura servera. To je najprikladnija metoda. Zato Äemo napisati jednostavan veb server ZeroHTTPd, primenjujuÄi svaki model: zasnovan na procesima, nitima i dogaÄajima. ProveriÄemo svaki od ovih servera i videti kako funkcioniÅ”u u poreÄenju jedni sa drugima. ZeroHTTPd je implementiran u jednom C fajlu. Server zasnovan na dogaÄajima ukljuÄuje , odliÄna implementacija heÅ”-tabele koja dolazi u jednom zaglavlju. U ostalim sluÄajevima nema zavisnosti kako ne bi dodatno komplikovala projekat.
U kodu ima mnogo komentara koji pomažu u razumevanju. Kao jednostavan veb server sa nekoliko redova koda, ZeroHTTPd takoÄe predstavlja minimalni okvir za veb razvoj. Ima ograniÄenu funkcionalnost, ali može da isporuÄuje statiÄke datoteke i vrlo jednostavne "dinamiÄke" stranice. Moram reÄi da je ZeroHTTPd dobro prilagoÄen za uÄenje kako se kreiraju visokoperformantne Linux aplikacije. U suÅ”tini, veÄina veb usluga Äeka na zahteve, proverava ih i obraÄuje. Upravo to Äe raditi ZeroHTTPd. To je alat za uÄenje, a ne za produkciju. Nije snažan u obradi greÅ”aka i verovatno se ne može pohvaliti najboljim praksama sigurnosti (oh da, koristio sam strcpy) ili zanimljivim trikovima jezika C. Ali se nadam da Äe se dobro snaÄi u svom zadatku.

PoÄetna stranica ZeroHTTPd. Može isporuÄivati razliÄite tipove datoteka, ukljuÄujuÄi slike
Aplikacija za knjigu gostiju
Savremene web aplikacije obiÄno nisu ograniÄene na statiÄne datoteke. Imaju složene interakcije sa raznim bazama podataka, keÅ”om itd. Zbog toga Äemo kreirati jednostavnu web aplikaciju pod nazivom āKnjiga gostijuā, gdje posetioci ostavljaju poruke pod svojim imenima. U knjizi gostiju Äuvaju se prethodne poruke. TakoÄe, postoji brojaÄ posetilaca u donjem delu stranice.

Web aplikacija āKnjiga gostijuā ZeroHTTPd
BrojaÄ posetilaca i poruke knjige gostiju se Äuvaju u Redis-u. Za komunikaciju sa Redis-om implementirane su vlastite procedure koje nisu zavisne od spoljne biblioteke. Nije mi omiljeno koristiti domaÄi kod kada postoje dostupna i dobro testirana reÅ”enja. MeÄutim, cilj ZeroHTTPd-a je istražiti performanse Linux-a i pristup spoljnim uslugama dok HTTP zahtev ima znaÄajan uticaj na performanse. Moramo potpuno kontrolisati komunikaciju sa Redis-om u svakoj naÅ”oj serverskoj arhitekturi. U jednoj arhitekturi koristimo blokirajuÄe pozive, a u drugima procedure zasnovane na dogaÄajima. KoriÅ”Äenje spoljne klijentske biblioteke Redis ne bi nam omoguÄilo tu kontrolu. Pored toga, naÅ” mali Redis klijent izvrÅ”ava samo nekoliko funkcija (pribavljanje, podeÅ”avanje i poveÄanje kljuÄa; pribavljanje i dodavanje u niz). TakoÄe, protokol Redis-a je izuzetno elegantan i jednostavan. Njega Äak i ne treba posebno uÄiti. Samo to Å”to ceo posao protokola obavlja otprilike sto redova koda govori koliko je dobro osmiÅ”ljen.
Na sledeÄem dijagramu prikazani su koraci aplikacije kada klijent (pregledaÄ) izvrÅ”i zahtev /guestbookURL.

Mehanizam rada aplikacije knjige gostiju
Kada je potrebno prikazati stranicu knjige gostiju, dolazi do jednog poziva sistemu datoteka za uÄitavanje Å”ablona u memoriju i tri mrežna poziva ka Redis-u. Datoteka Å”ablona sadrži veÄinu HTML sadržaja za stranicu na gornjem ekranu. Tu su takoÄe posebni zamjenici za dinamiÄki deo sadržaja: unose i broj posetilaca. Dobijamo ih iz Redis-a, umetnemo na stranicu i isporuÄujemo klijentu potpuno formirani sadržaj. TreÄi poziv ka Redis-u se može izbeÄi, poÅ”to Redis vraÄa novu vrednost kljuÄa kada se poveÄa. MeÄutim, za naÅ” server sa asinhronom arhitekturom zasnovanom na dogaÄajima, mnoÅ”tvo mrežnih poziva predstavlja dobar test u obrazovne svrhe. Tako da odbacujemo vraÄenu vrednost Redis-a o broju posetilaca i tražimo je zasebnim pozivom.
Serverske arhitekture ZeroHTTPd
Gradimo sedam verzija ZeroHTTPd sa istom funkcionalnoÅ”Äu, ali razliÄitim arhitekturama:
- Iterativna
- Fork server (jedan podprocess po zahtevu)
- Pre-fork server (prethodno forkanje procesa)
- Server sa nitima izvrŔenja (jedna nit po zahtevu)
- Server sa prethodnim kreiranjem niti
- Arhitektura zasnovana na
poll() - Arhitektura zasnovana na
epoll
Mjerimo performanse svake arhitekture, optereÄujuÄi server HTTP zahtevima. MeÄutim, prilikom poreÄenja arhitektura s visokom paralelnoÅ”Äu, broj zahteva se poveÄava. Testiramo tri puta i raÄunamo proseÄnu vrednost.
Metodologija testiranja

PodeÅ”avanje za testiranje optereÄenja ZeroHTTPd
Važno je da svi komponente tokom testova ne rade na jednoj maÅ”ini. U tom sluÄaju, operativni sistem nosi dodatne troÅ”kove planiranja jer se komponente takmiÄe za CPU. Merenje troÅ”kova operativnog sistema sa svakom od izabranih serverskih arhitektura je jedan od najvažnijih ciljeva ovog vežbanja. Dodavanje veÄeg broja varijabli Äe negativno uticati na proces. Stoga, podeÅ”avanje na slici iznad radi najbolje.
Å ta svaki od ovih servera radi
- load.unixism.net: ovde pokreÄemo
ab, Apache Benchmark alat. On generiÅ”e optereÄenje potrebno za testiranje naÅ”ih serverskih arhitektura. - nginx.unixism.net: ponekad želimo pokrenuti viÅ”e od jednog primjerka serverskog programa. U tu svrhu, Nginx server s odgovarajuÄim postavkama funkcioniÅ”e kao balansirnik optereÄenja koji dolazi od ab na naÅ”e serverske procese.
- zerohttpd.unixism.net: ovdje pokreÄemo naÅ”e serverske programe na sedam razliÄitih arhitektura, jednu po jednu.
- redis.unixism.net: na ovom serveru radi Redis demon, gdje se Äuvaju zapisi u knjizi gostiju i broj posjetilaca.
Svi serveri rade na jednoj procesorskoj jezgri. Ideja je ocijeniti maksimalne performanse svake od arhitektura. Kako se svi serverski programi testiraju na istoj opremi, to je osnovna taÄka za njihovo poreÄenje. Moja testna konfiguracija sastoji se od virtualnih servera iznajmljenih od Digital Ocean.
Å ta mjerimo?
Mogu se mjeriti razliÄiti pokazatelji. Ocjenjujemo performanse svake arhitekture u toj konfiguraciji, optereÄujuÄi servere zahtjevima na razliÄitim nivoima paralelizma: optereÄenje raste od 20 do 15.000 istovremenih korisnika.
Rezultati testova
Na sljedeÄem grafikonu prikazane su performanse servera na razliÄitim arhitekturama pri razliÄitim nivoima paralelizma. Na y-osi je broj zahtjeva u sekundi, a na x-osi su paralelne konekcije.



Ispod je tabela s rezultatima.
zahtjeva u sekundi
paralelizam
iterativni
fork
pre-fork
tokovni
pre-tokovni
poll
epoll
20
7
112
2100
1800
2250
1900
2050
50
7
190
2200
1700
2200
2000
2000
100
7
245
2200
1700
2200
2150
2100
200
7
330
2300
1750
2300
2200
2100
300
ā
380
2200
1800
2400
2250
2150
400
ā
410
2200
1750
2600
2000
2000
500
ā
440
2300
1850
2700
1900
2212
600
ā
460
2400
1800
2500
1700
2519
700
ā
460
2400
1600
2490
1550
2607
800
ā
460
2400
1600
2540
1400
2553
900
ā
460
2300
1600
2472
1200
2567
1000
ā
475
2300
1700
2485
1150
2439
1500
ā
490
2400
1550
2620
900
2479
2000
ā
350
2400
1400
2396
550
2200
2500
ā
280
2100
1300
2453
490
2262
3000
ā
280
1900
1250
2502
velika varijacija
2138
5000
ā
velika varijacija
1600
1100
2519
ā
2235
8000
ā
ā
1200
velika varijacija
2451
ā
2100
10Ā 000
ā
ā
velika varijacija
ā
2200
ā
2200
11Ā 000
ā
ā
ā
ā
2200
ā
2122
12Ā 000
ā
ā
ā
ā
970
ā
1958
13Ā 000
ā
ā
ā
ā
730
ā
1897
14Ā 000
ā
ā
ā
ā
590
ā
1466
15Ā 000
ā
ā
ā
ā
532
ā
1281
Iz grafikona i tabele se vidi da iznad 8000 istovremenih zahtjeva ostaju samo dva igraÄa: pre-fork i epoll. Sa porastom optereÄenja, server zasnovan na poll-u pokazuje loÅ”ije performanse od tokovnog. Arhitektura s prethodnim stvaranjem tokova predstavlja dostojnu konkurenciju epoll-u: to svjedoÄi koliko dobro Linux kernel planira veliki broj tokova.
Izvorni kod ZeroHTTPd
Izvorni kod ZeroHTTPd . Za svaku arhitekturu odvojen katalog.
ZeroHTTPd
ā
āāā 01_iterative
ā āāā main.c
āāā 02_forking
ā āāā main.c
āāā 03_preforking
ā āāā main.c
āāā 04_threading
ā āāā main.c
āāā 05_prethreading
ā āāā main.c
āāā 06_poll
ā āāā main.c
āāā 07_epoll
ā āāā main.c
āāā Makefile
āāā public
ā āāā index.html
ā āāā tux.png
āāā templates
āāā guestbook
āāā index.htmlPored sedam direktorija za sve arhitekture, u glavnom katalogu postoje joÅ” dva: public i templates. U prvom se nalazi datoteka index.html i slika sa prvog snimka. Tamo možete smjestiti druge datoteke i foldere, a ZeroHTTPd bi trebao bez problema isporuÄiti te statiÄke datoteke. Ako putanja u browseru odgovara putanji u mapi public, ZeroHTTPd traži datoteku index.html u tom katalogu. Sadržaj za gostinsku knjigu generira se dinamiÄki. Ima samo glavnu stranicu, a njen sadržaj temelji se na datoteci ātemplates/guestbook/index.htmlā. U ZeroHTTPd se lako mogu dodavati dinamiÄke stranice za proÅ”irenje. Ideja je da korisnici mogu dodati predloÅ”ke u ovaj katalog i proÅ”iriti ZeroHTTPd po potrebi.
Za izgradnju svih sedam servera pokrenite make all iz glavnog direktorija ā i sve izgradnje Äe se pojaviti u ovom katalogu. IzvrÅ”ne datoteke traže kataloge public i templates iz direktorija iz kojeg su pokrenute.
Linux API
Da biste razumjeli informacije u ovom ciklusu Älanaka, nije potrebno dobro poznavati Linux API. MeÄutim, preporuÄujem da proÄitate viÅ”e na ovu temu, na mreži ima mnogo referentnih resursa. Iako Äemo se dotaknuti nekoliko kategorija Linux API, naÅ” fokus Äe biti uglavnom na procesima, thread-ovima, dogaÄajima i mrežnom stacku. Pored knjiga i Älanaka o Linux API, preporuÄujem takoÄer i Äitanje man stranica za sistemske pozive i koriÅ”tene biblioteÄne funkcije.
Performanse i skalabilnost
Jedna napomena o performansama i skalabilnosti. Teoretski, izmeÄu njih nema nikakve veze. Možete imati web servis koji radi vrlo dobro, s vremenom odgovora u nekoliko milisekundi, ali se uopÅ”te ne skalira. TakoÄer može postojati loÅ”e funkcionirajuÄa web aplikacija koja zahtijeva nekoliko sekundi za odgovor, ali se skalira na desetine da bi obradila desetine hiljada simultanih korisnika. Ipak, kombinacija visoke performanse i skalabilnosti je vrlo moÄna kombinacija. Visokoperformantne aplikacije generalno ekonomiÄno koriste resurse i tako efikasno opslužuju viÅ”e simultanih korisnika na serveru, smanjujuÄi troÅ”kove.
Zadaci CPU i I/O
KonaÄno, u raÄunanju postoje dva moguÄa tipa zadataka: za I/O i CPU. Dobijanje zahteva putem interneta (mrežni ulaz-izlaz), upravljanje datotekama (mrežni i diskovni ulaz-izlaz), komunikacija sa bazom podataka (mrežni i diskovni ulaz-izlaz) - sve su to aktivnosti I/O. Neki zahtevi za BDP mogu malo opteretiti CPU (sortiranje, izraÄunavanje proseÄne vrednosti miliona rezultata itd.). VeÄina web aplikacija je ograniÄena po maksimalnom moguÄem I/O, dok se procesor retko koristi na punoj snazi. Kada primetite da se u nekom zadatku ulaz-izlaz koristi puno CPU, verovatno je to znak loÅ”e arhitekture aplikacije. To može znaÄiti da se resursi CPU troÅ”e na upravljanje procesima i prebacivanje konteksta - i to nije baÅ” korisno. Ako radite neÅ”to poput obrade slika, konverzije audio fajlova ili maÅ”inskog uÄenja, tada aplikacija zahteva jake resurse CPU. MeÄutim, za veÄinu aplikacija to nije sluÄaj.
Detaljnije o serverskim arhitekturama
Izvor: habr.com
