Ponovno objavljujemo transkripciju izvještaja s konferencije 2016. koja se održavala u podmoskovskom Skolkovu 7-8. studenog prošle godine. govori o tome kako proširiti funkcionalnost NGINX-a pomoću OpenRestyja i Lua.
Pozdrav svima, ja sam Vladimir Protasov, radim u Parallelsu. Reći ću malo o sebi. Tri četvrtine svog života bavim se pisanjem koda. Postao sam programer do srži: ponekad u snu vidim kod. Četvrtinu života posvetio sam industrijskom razvoju, pisanju koda koji ide ravno u produkciju. Kod koji neki od vas koriste, ali se ne sjećaju toga.
Da biste razumjeli koliko je sve loše bilo. Kada sam bio mali junior, došao sam i dobio takve dvoterabajtne baze. Sada je ovdje svima highload. Odlazio sam na konferencije i pitao: 'Ljudi, recite, imate big data, sve je super? Koliko imate baze?' Odgovarali su: 'Imamo 100 gigabajta!' Govorio sam: 'Super, 100 gigabajta!' A mislio sam u sebi kako da sačuvam poker face. Pomislite da, ti ljudi su super, a onda se vratite i kopate po tim višeterabajtnih bazama. I to kao junior. Možete li zamisliti kakav je to udarac?
Znam više od 20 programskih jezika. To je ono što sam morao naučiti tokom rada. Daju ti kod u Erlangu, C, C++, Lua, Pythonu, Rubyju, nečemu drugom, i moraš to sve obraditi. Uglavnom, bilo je potrebno. Nije mi uspjelo tačno izračunati, ali negdje je na 20 izgubljena brojka.
Budući da svi prisutni znaju što je Parallels i čime se bavimo, neću govoriti o tome koliko smo cool i što radimo. Reći ću samo da imamo 13 ureda širom svijeta, više od 300 zaposlenika, razvoj u Moskvi, Talinu i na Malti. Ako želite, možete se preseliti na Maltu ako vam je zimi hladno i trebate se zagrijati.
Naš odjel konkretno piše na Pythonu 2. Zaposleni smo u poslu i nemamo vremena za implementaciju modernih tehnologija, pa patimo. Imamo Django, jer sve u njemu postoji, a nepotrebno smo izbacili. Također MySQL, Redis i NGINX. Imamo još puno drugih cool stvari. Imamo MongoDB, imamo zečeve koji trče, imamo svega - ali to nije moje, i time se ne bavim.
OpenResty
Rekao sam nešto o sebi. Hajdemo sada razjasniti o čemu ću danas govoriti:
- Što je OpenResty i kako ga koristiti?
- Zašto izmišljati još jedan bicikl kada imamo Python, NodeJS, PHP, Go i druge sjajne stvari s kojima su svi zadovoljni?
- I malo primjera iz života. Morao sam znatno skratiti izlaganje jer mi je trajalo 3,5 sata, pa će primjera biti malo.
OpenResty je NGINX. Zahvaljujući njemu imamo potpuno funkcionalni web poslužitelj koji je dobro napisan i radi brzo. Mislim da većina od nas koristi NGINX u produkciji. Svi znate da je brz i sjajan. U njemu je implementiran sjajan sinkroni ulaz/izlaz, pa ne moramo ništa sami izmišljati kao što se to dogodilo s geventom u Pythonu. Gevent je sjajan, odličan, ali ako napišete C kod i nešto pođe po zlu, poludjet ćete pokušavajući to ispraviti. Imao sam iskustvo: trebalo mi je cijela dva dana da shvatim što je krenulo krivo. Da nije netko tjednima istraživao problem, objavio ga na internetu i Google ga pronašao, potpuno bismo poludjeli.
U NGINX-u već postoji keširanje i statički sadržaj. Ne morate se brinuti kako to učiniti na pravi način da vas negdje ne uspori i da ne izgubite deskriptore. Nginx se vrlo lako implementira, ne morate razmišljati što uzeti - WSGI, PHP-FPM, Gunicorn, Unicorn. Nginx se instalira, predaje administratorima, oni znaju kako raditi s njim. Nginx strukturirano obrađuje zahtjeve. O tome ću malo više govoriti kasnije. Ukratko, ima fazu kada upravo primi zahtjev, kada ga obradi i kada pošalje sadržaj korisniku.
Nginx je sjajan, ali postoji jedan problem: nije dovoljno fleksibilan čak ni s tim svim sjajnim značajkama koje su dečki uključili u konfiguraciju, s obzirom na to koliko se može prilagoditi. Nedostaje mu snage. Zato su dečki iz Taobao prije otprilike osam godina integrirali Lua. Što to donosi?
- Veličina. Mali je. LuaJIT ima otprilike 100-200 kilobyta memorijskog overhead-a i minimalni overhead u performansama.
- Brzina. LuaJIT interpreter u mnogim situacijama je blizu C-u, u nekim situacijama gubi od Jave, a u nekim ju obožava. Nekoliko vremena se smatralo da je vrhunski, najbolji JIT kompajler. Sada postoje napredniji, ali su vrlo teški, primjerice, V8. Neki interpreteri za JavaScript i Java HotSpot su brži u nekim točkama, ali i dalje gube u drugim.
- Jednostavnost u učenju. Ako, recimo, imate kodnu bazu na Perlu, a niste Booking, teško ćete naći Perl programere. Jer ih nema, sve su ih pokupili, a učenje im trajno i komplicirano. Ako želite programere za nešto drugo, možda ćete ih također morati preobučiti ili pronaći. U slučaju Lua, to je jednostavno. Lua se može naučiti za tri dana od strane svakog juniora. Trebalo mi je oko dva sata da se snađem. Nakon dva sata, već sam pisao kod za produkciju. Negdje nakon tjedan dana otišao je direktno u produkciju.
Na kraju to izgleda ovako:

Tu ima puno toga. U OpenResty-u su skupili hrpu modula, kako luaskih, tako i onih od engina. I sve je spremno – deployed je i radi.
Primjeri
Dosta lirike, prelazimo na kod. Evo malog Hello World-a:

Što imamo ovdje? To je enginski location. Ne mučimo se, ne pišemo svoje rute, ne uzimamo neki gotov – već ga imamo u NGINX-u, živimo dobro i lijeno.
content_by_lua_block – to je blok koji govori da vraćamo sadržaj pomoću Lua skripte. Uzimamo enginsku varijablu remote_addr i ubacujemo je u string.format. To je isto kao i sprintf, samo na Lua, samo ispravno. I vraćamo klijentu.
Na kraju će to izgledati ovako:

No, vratimo se u stvarni svijet. U produkciji nitko ne deploya Hello World. Naša aplikacija obično ide u bazu ili negdje drugdje i većinu vremena čeka odgovor.

Jednostavno sjedi i čeka. To nije baš dobro. Kada dođe 100.000 korisnika, jako nam je teško. Stoga, dajmo kao primjer osmisliti jednostavnu aplikaciju. Tražit ćemo slike, recimo, mačića. Samo nećemo samo tako tražiti, proširit ćemo ključne riječi, a ako korisnik potraži "mačići", pronaći ćemo mu mačke, krznene i slično. Prvo trebamo dobiti podatke zahtjeva na backendu. Izgleda to ovako:

Dvije linije omogućuju vam da uzmete GET-parametre, ništa komplicirano. Zatim, pretpostavimo, iz baze podataka s tablicom po ključnoj riječi i ekstenziji dobivamo te informacije običnim SQL upitom. Sve je jednostavno. Izgleda to ovako:

Priključujemo biblioteka resty.mysql, koja nam već dolazi u paketu. Ništa ne trebamo instalirati, sve je spremno. Određujemo kako se povezati i radimo SQL upit:

Ovdje je malo zastrašujuće, ali sve radi. Ovdje 10 — to je limit. Izvlačimo 10 zapisa, lenji smo, ne želimo prikazivati više. Zaboravio sam o limitu u SQL-u.
Zatim nalazimo slike za sve upite. Prikupljamo skup upita i ispunjavamo Lua-tablicu koja se zove reqs, i radimo ngx.location.capture_multi.

Svi ovi upiti idu paralelno, a odgovori nam se vraćaju. Vrijeme izvođenja jednako je vremenu odgovora najsporijeg. Ako se sve dogode za 50 milisekundi, a poslali smo sto upita, onda će nam odgovor stići za 50 milisekundi.
Budući da smo lenji i ne želimo pisati obradu HTTP-a i keširanja, natjerat ćemo NGINX da sve to učini umjesto nas. Kao što ste vidjeli, tamo je bio zahtjev za url/fetch, evo ga:

Radimo jednostavno proxy_pass, navodimo gdje keširati, kako to učiniti, i sve radi.
No, to nije dovoljno, moramo još dati podatke korisniku. Najjednostavnija ideja je sve serijalizirati u JSON, lako, u dva retka. Vraćamo Content-Type, vraćamo JSON.
Ali postoji jedan problem: korisnik ne želi čitati JSON. Trebamo privući front-end developere. Ponekad nam se to isprva ne sviđa raditi. A i SEO stručnjaci će reći da im je svejedno ako tražimo slike. Ali ako im dajemo neki sadržaj, reći će da nam pretraživači ništa ne indeksiraju.
Što učiniti s tim? Naravno, davat ćemo korisniku HTML. Ručno generiranje nije komplicirano, pa želimo koristiti predloške. Za to postoji biblioteka lua-resty-template.

Sigurno ste vidjeli tri strašne slova OPM. OpenResty dolazi sa svojim paketnim menadžerom, preko kojeg možete instalirati još mnoštvo različitih modula, među kojima i lua-resty-template. To je jednostavan predložak motora, sličan Django predlošcima. Tamo možete napisati kod i zamijeniti varijable.
U rezultatu, sve će izgledati otprilike ovako:

Uzeli smo podatke i ponovno renderirali predložak u dva retka. Korisnik je sretan, dobio je mačiće. Budući da smo proširili upit, dobio je i morsku krpu. Možda ju je tražio, ali nije mogao ispravno formulirati svoj zahtjev.
Sve je super, ali smo u razvoju i ne želimo trenutno prikazivati korisnicima. Napravimo autorizaciju. Da bismo to učinili, pogledajmo kako NGINX obrađuje upit u terminima OpenResty:
- Prva faza — access, kada korisnik prvi put dođe, možemo ga odmah prepoznati prema naslovima, IP adresi i drugim podacima. Ako nam se ne svidi, možemo ga odmah blokirati. Ovo se može koristiti za autentifikaciju, ili ako dolazi previše zahtjeva, možemo ih lako prekinuti u ovoj fazi.
- rewrite. Prepisujemo neke podatke zahtjeva.
- sadržaj. Predajemo sadržaj korisniku.
- filter zaglavlja. Mijenjamo zaglavlja odgovora. Ako smo koristili
proxy_pass, možemo prepisati neka zaglavlja prije nego što ih predamo korisniku. - filter tijela. Možemo zamijeniti tijelo.
- log — logiranje. Moguće je pisati logove u elasticsearch bez dodatnog sloja.
Naša autentifikacija će izgledati otprilike ovako:

To ćemo dodati u onaj location, koji smo opisali ranije, i staviti takav kod:

Gledamo imamo li cookie token. Ako nemamo, usmjeravamo na autentifikaciju. Korisnici su snalažljivi i mogu shvatiti da trebaju postaviti cookie token. Stoga ćemo je također staviti u Redis:

Kod rada s Redisom je vrlo jednostavan i ne razlikuje se od drugih jezika. Pri tome je cijela ulazno/izlazna operacija, kako ovdje, tako i ondje, neblokirajuća. Ako pišete sinkroni kod, radi asinkrono. Otprilike kao s gevent-om, samo je napravljeno bolje.

Hajdemo napraviti samu autentifikaciju:

Govori se da trebamo čitati tijelo zahtjeva. Dobijamo POST argumente, provjeravamo da li su korisničko ime i lozinka točni. Ako nisu, usmjeravamo na autentifikaciju. A ako jesu, zapisujemo token u Redis:

Ne zaboravite postaviti cookie, to se također radi u dva retka:

Primjer je jednostavan, apstraktan. Naravno, nećemo praviti servis koji prikazuje mačiće. Ipak, tko zna. Stoga, hajdemo proći kroz ono što se može učiniti u produkciji.
- Minimalistički backend. Ponekad nam je potrebno samo malo podataka iz backenda: negdje trebamo umetnuti datum, negdje prikazati neki popis, reći koliko trenutno korisnika ima na stranici, prikačiti brojač ili statistiku. Nešto tako malo. Minimalne komade je vrlo lako napraviti. Na tome će to ispasti brzo, lako i odlično.
- Preprocesiranje podataka. Ponekad želimo ugraditi oglas u našu stranicu, a taj oglas uzimamo putem API poziva. To je vrlo lako učiniti ovdje. Ne opterećujemo naš back-end koji i onako teško radi. Možemo jednostavno prikupiti ovdje. Možemo stvoriti neki JS ili, naprotiv, podijeliti, nešto preprocessirati prije nego što to damo korisniku.
- Facade za mikroslužbu. To je također vrlo dobar slučaj, implementirao sam ga. Prije toga radio sam u kompaniji Tenzor, koja se bavi elektroničkim izvještavanjem i osigurava izvještajnost otprilike polovice pravnih osoba u zemlji. Napravili smo servis, gdje su uz pomoć ovog istog mehanizma napravljene mnoge stvari: usmjeravanje, autorizacija i drugo.
OpenResty se može koristiti kao ljepilo za vaše mikroslužbe, koje će osigurati jedinstven pristup svemu i jedinstveni sučelje. Budući da mikroslužbe mogu biti napisane tako da ovdje imate Node.js, ovdje PHP, ovdje Python, ovdje nešto radi na Erlangu, shvaćamo da ne želimo isti kod prepisivati svuda. Zato OpenResty možemo koristiti na frontu. - Statistika i analitika. Obično NGINX stoji na ulazu i svi zahtjevi prolaze kroz njega. Upravo na ovom mjestu vrlo je zgodno prikupiti. Možete nešto odmah izračunati i negdje poslati, primjerice Elasticsearch, Logstash ili jednostavno zapisati u log, a zatim negdje poslati.
- Višenamjenski sustavi. Na primjer, online igre također su vrlo dobro rješenje. Danas u Cape Townu Alexander Gladys će govoriti o tome kako brzo prototipirati višenamjsku igru uz pomoć OpenResty-a.
- Filtriranje zahtjeva (WAF). Sada je popularno raditi razne web aplikacijske firewalle, ima mnogo servisa koji ih pružaju. Uz pomoć OpenResty-a možete napraviti vlastiti web aplikacijski firewall koji će jednostavno i lako filtrirati zahtjeve prema vašim potrebama. Ako imate Python, shvaćate da vam PHP sigurno neće biti injektiran, osim ako ga ne pokrenete iz konzole negdje. Znate da imate MySQL i Python. Vjerojatno ovdje mogu pokušati napraviti neku vrstu directory traversal i nešto injektirati u bazu. Zato je moguće brzo i jeftino filtrirati loše zahtjeve odmah na frontu.
- Zajednica. Budući da je OpenResty temeljen na NGINX-u, ima bonus - to je NGINX zajednicaTo je vrlo opširno, a značajan deo pitanja koja će vam se prvotno javiti već je rešen od strane NGINX zajednice.
Lua programeriJuče sam razgovarao sa ekipom koja je došla na edukativni dan HighLoad++ i čuo sam da je samo Tarantool napisan na Luu. To nije tačno, na Luu je mnogo toga napisano. Primeri: OpenResty, XMPP server Prosody, igračka platforma Love2D, Lua se koristi u Warcraftu i na drugim mestima. Ima mnogo Lua programera, a njihova zajednica je velika i raspoložena da pomogne. Sva moja pitanja o Luu rešena su u roku od nekoliko sati. Kada pišem na mailing listu, doslovce nakon nekoliko minuta dobijam hrpu odgovora koji objašnjavaju šta i kako, odnosno šta je čemu. To je stvarno sjajno. Nažalost, ne svuda je tako dobra i prijateljska zajednica.
Za OpenResty postoji GitHub gde možete otvoriti issue ako nešto ne radi. Postoji mailing lista na Google Groups gde možete diskutovati o opštim pitanjima, kao i jedna mailing lista na kineskom - možda ne govorite engleski, a znate kineski.
Zaključci
- Nadam se da sam uspeo da objasnim da je OpenResty veoma удобан фрејмворк, prilagođen za web.
- Ima nizak prag ulaska, jer kod liči na ono što već pisemo, jezik je prilično jednostavan i minimalistički.
- Pruža asinhroni I/O bez callback-ova, nećemo imati 'nudle' kakve ponekad možemo napisati u NodeJS-u.
- Jednostavno se implementira, jer nam treba samo NGINX s potrebnim modulom i naš kod, i sve odmah radi.
- Velika i raspoložena zajednica.
Nisam detaljno objasnio kako se radi rutiranje, to bi bio vrlo dugačak izveštaj.
Hvala na pažnji!

Izvor: habr.com
