Avaldame uuesti konverentsi ettekande stenogrammi HighLoad ++ 2016, mis peeti Moskva lähedal Skolkovos mullu 7.-8.novembril. Vladimir Protasov räägib, kuidas laiendada NGINX-i funktsioone OpenResty ja Lua abil.

Tere kõigile, minu nimi on Vladimir Protasov, töötan ettevõttes Parallels. Ma räägin teile natuke endast. Kolmveerand oma elust kulutan koodi kirjutamisele. Minust sai hingepõhjani programmeerija selle otseses mõttes: näen mõnikord unenägudes koodi. Veerand elust on tööstusareng, kirjutades koodi, mis läheb otse tootmisse. Kood, mida mõned teist kasutavad, kuid ei tea seda.

Et teaksite, kui halb see oli. Kui olin väike noorem, tulin sisse ja nad andsid mulle need kaks terabaidist andmebaasi. See on nüüd siin kõigile highload. Käisin konverentsidel ja küsisin: "Poisid, öelge mulle, kas teil on suuri andmeid, kas kõik on lahe? Mitu alust sul seal on? Nad vastasid mulle: "Meil on 100 gigabaiti!" Ma ütlesin: "Lahe, 100 gigabaiti!" Ja mõtlesin endamisi, kuidas pokkerinagu kenasti päästa. Arvate, jah, poisid on lahedad, ja siis tulete tagasi ja nokitsete nende mitme terabaidise andmebaaside kallal. Ja see on juunior olemine. Kas kujutate ette, milline hitt see on?

Ma tean rohkem kui 20 programmeerimiskeelt. Selle pidin ma töö käigus välja mõtlema. Nad annavad teile koodi Erlangis, C-s, C++-s, Lua-s, Pythonis, Ruby-s, milleski muus ja sa pead selle kõik ära lõikama. Üldiselt pidin. Täpset arvu polnud võimalik välja arvutada, aga kuskil 20 kandis läks number kaduma.

Kuna kõik siin teavad, mis on Parallels ja mida me teeme, siis ma ei hakka rääkima, kui lahedad me oleme ja mida me teeme. Ütlen vaid, et meil on 13 esindust üle maailma, üle 300 töötaja, arendus Moskvas, Tallinnas ja Maltal. Soovi korral võite võtta ja kolida Maltale, kui talvel on külm ja on vaja selga soojendada.

Täpsemalt, meie osakond kirjutab Python 2-s. Oleme äris ja meil pole aega moekaid tehnoloogiaid tutvustada, seega kannatame. Meil on Django, sest sellel on kõik olemas, võtsime üleliigse ja viskasime minema. Samuti MySQL, Redis ja NGINX. Meil on ka palju muud ägedat. Meil on MongoDB, meil jooksevad jänesed ringi, meil pole lihtsalt midagi – aga see pole minu oma ja ma ei tee seda.

OpenResty

Rääkisin endast. Vaatame, millest ma täna räägin:

Mis on OpenResty ja millega seda süüakse?
Miks leiutada ratast, kui meil on Python, NodeJS, PHP, Go ja muud lahedad asjad, millega kõik rahul on?
Ja paar näidet elust. Pidin aruannet kõvasti kärpima, sest sain 3,5 tunniks, nii et näiteid tuleb väheks.

OpenResty on NGINX. Tänu temale on meil täisväärtuslik veebiserver, mis on hästi kirjutatud, töötab kiiresti. Arvan, et enamik meist kasutab tootmises NGINX-i. Te kõik teate, et ta on kiire ja lahe. Nad tegid selles lahedad sünkroonsed I/O-d, nii et meil pole vaja midagi tsüklistada samal viisil, nagu geventi Pythonis tsüklistati. Gevent on lahe, lahe, aga kui kirjutad C-koodi ja geventiga läheb midagi valesti, lähed silumisega hulluks. Mul oli kogemus: kulus tervelt kaks päeva, et aru saada, mis seal valesti läks. Kui keegi poleks varem paar nädalat kaevanud, ei leidnud probleemi üles, poleks internetti kirjutanud ja Google poleks leidnud, siis oleksime täitsa hulluks läinud.

NGINX juba teeb vahemällu salvestamist ja staatilist sisu. Te ei pea muretsema selle pärast, kuidas seda inimlikult teha, et te ei võtaks kiirust kuskil maha, et te ei kaotaks kirjeldusi kuhugi. Nginxi on väga mugav juurutada, ei pea mõtlema, mida võtta – WSGI, PHP-FPM, Gunicorn, Unicorn. Nginx installiti, anti administraatoritele, nad teavad, kuidas sellega töötada. Nginx töötleb taotlusi struktureeritud viisil. Ma räägin sellest veidi hiljem. Ühesõnaga, tal on faas, mil ta lihtsalt võttis taotluse vastu, millal ta töötles ja millal andis sisu kasutajale.

Nginx on lahe, kuid sellel on üks probleem: see pole piisavalt paindlik isegi kõigi nende lahedate funktsioonidega, mille poisid konfiguratsiooni sisse lükkasid, hoolimata asjaolust, et seda saab kohandada. Sellest võimust ei piisa. Seetõttu ehitasid Taobao kutid kunagi, ma arvan, et umbes kaheksa aastat tagasi Lua sinna sisse. Mida ta annab?

Suurus. See on väike. LuaJIT annab kuskil 100-200 kilobaiti mälu ja minimaalse jõudluse.
Kiirus. LuaJIT-i tõlk on paljudes olukordades C-le lähedal, mõnes olukorras kaotab Java-le, mõnes möödub sellest. Mõnda aega peeti seda tipptasemel, kõige lahedamaks JIT-i koostajaks. Nüüd on jahedamad, aga need on väga rasked, näiteks seesama V8. Mõned JS-i tõlgid ja Java HotSpot on mõnel hetkel kiiremad, kuid siiski kaotavad mõnes punktis.
Lihtne õppida. Kui teil on näiteks Perli koodibaas ja te ei ole Bookingis, ei leia te Perli programmeerijaid. Kuna neid seal pole, viidi nad kõik ära ning nende õpetamine on pikk ja raske. Kui soovite programmeerijaid millekski muuks, tuleb nad võib-olla ka ümber koolitada või leida. Lua puhul on kõik lihtne. Lua saab õppida iga juunior kolme päevaga. Mul kulus umbes kaks tundi, et sellest aru saada. Kaks tundi hiljem kirjutasin juba tootmises koodi. Umbes nädal hiljem läks ta otse tootmisse ja lahkus.

Selle tulemusena näeb see välja järgmine:

Siin on palju. OpenResty on kokku pannud hulga mooduleid, nii luashi kui ka mootoreid. Ja teil on kõik valmis – kasutusele võetud ja töökorras.

näited

Aitab laulusõnadest, liigume edasi koodi juurde. Siin on väike Hello World:

Mis seal on? see on mootorite asukoht. Me ei muretse, me ei kirjuta oma marsruutimist, me ei võta valmis marsruutimist - meil on see juba NGINXis, elame hästi ja laisalt.

content_by_lua_block on plokk, mis ütleb, et pakume sisu Lua skripti abil. Võtame mootorite muutuja remote_addr ja libistage see sisse string.format. See on sama, mis sprintf, ainult Lua keeles, ainult õige. Ja me anname selle kliendile.

Selle tulemusena näeb see välja järgmine:

Aga tagasi pärismaailma. Tootmises ei kasuta keegi Hello Worldi. Meie rakendus läheb tavaliselt andmebaasi või kuhugi mujale ja ootab enamasti vastust.

Lihtsalt istub ja ootab. See ei ole väga hea. Kui tuleb 100.000 XNUMX kasutajat, on meil väga raske. Seetõttu kasutame näitena lihtsat rakendust. Otsime pilte, näiteks kasse. Ainult me ei hakka lihtsalt otsima, vaid laiendame märksõnu ja kui kasutaja otsis "kassipojad", siis leiame kassid, kohevad jne. Kõigepealt peame hankima taustaprogrammi päringuandmed. See näeb välja selline:

Kaks rida võimaldavad teil korjata GET-i parameetreid, ilma komplikatsioonideta. Siis saame selle teabe näiteks andmebaasist koos tabeliga märksõna ja laienduse kaupa tavalise SQL-päringu abil. Kõik on lihtne. See näeb välja selline:

Ühendame raamatukogu resty.mysql, mis meil juba komplektis on. Meil pole vaja midagi paigaldada, kõik on valmis. Määrake ühenduse loomine ja SQL-päringu tegemine:

See on natuke hirmutav, kuid see töötab. Siin on piir 10. Tõmbame välja 10 plaati, oleme laisad, rohkem ei taha näidata. SQL-is unustasin limiidi ära.

Seejärel leiame kõigi päringute jaoks pildid. Kogume hunniku taotlusi ja täidame Lua tabeli nimega reqs, ja teha ngx.location.capture_multi.

Kõik need päringud lähevad paralleelselt ja vastused saadetakse meile tagasi. Tööaeg võrdub kõige aeglasema reageerimisajaga. Kui me kõik tulistame tagasi 50 millisekundiga ja saatsime sada päringut, siis saame vastuse 50 millisekundiga.

Kuna oleme laisad ega taha HTTP-käsitlust ja vahemällu kirjutada, siis paneme NGINX-i meie eest kõik ära tegema. Nagu nägite, oli taotlus url/fetch, siin ta on:

Teeme lihtsaks proxy_pass, täpsustage, kuhu vahemällu salvestada, kuidas seda teha ja kõik töötab meie jaoks.

Kuid sellest ei piisa, me peame ikkagi andmed kasutajale andma. Lihtsaim idee on serialiseerida kõik lihtsalt kahes reas JSON-i. Anname sisutüübi, anname JSON-i.

Kuid on üks raskus: kasutaja ei taha JSON-i lugeda. Peame meelitama esiotsa arendajaid. Mõnikord ei taha me alguses seda teha. Jah, ja SEO spetsialistid ütlevad, et kui me otsime pilte, siis nad ei hooli. Ja kui anname neile sisu, ütlevad nad, et meie otsingumootorid ei indekseeri midagi.

Mida sellega teha? Loomulikult anname kasutajale HTML-i. Käepidemetega genereerimine ei ole comme il faut, seega tahame kasutada malle. Selle jaoks on raamatukogu lua-resty-template.

Olete kindlasti näinud kolme kardetud tähte OPM. OpenRestyga on kaasas oma paketihaldur, mille kaudu saate installida hulga erinevaid mooduleid, eriti lua-resty-template. See on lihtne mallimootor, mis sarnaneb Django mallidele. Seal saate kirjutada koodi ja teha muutujate asendusi.

Selle tulemusena näeb kõik välja umbes selline:

Võtsime andmed ja renderdasime malli uuesti kahes reas. Kasutaja on rahul, sai kassid. Kuna me sooviavaldust laiendasime, sai ta ka kassipoegade karvahülge. Kunagi ei tea, võib-olla ta otsis seda, aga ei osanud oma palvet õigesti sõnastada.

Kõik on lahe, kuid oleme arendusjärgus ja me ei taha veel kasutajatele näidata. Teeme volituse. Selleks vaatame, kuidas NGINX taotlust OpenResty osas käsitleb:

Esimene etapp - juurdepääs, kui kasutaja just tuli ja me vaatasime teda päiste, IP-aadressi ja muude andmete järgi. Võite selle kohe ära lõigata, kui see meile ei meeldi. Seda saab kasutada autoriseerimiseks või kui saame palju päringuid, saame need selles etapis hõlpsasti tükeldada.
ümber kirjutama. Mõnede päringuandmete ümberkirjutamine.
sisu. Anname sisu kasutajale.
päise filter. Muutke vastuse päiseid. Kui kasutaksime proxy_pass, saame mõned päised enne kasutajale andmist ümber kirjutada.
keha filter. Me saame muuta keha.
logi - metsaraie. Elasticsearchis on võimalik logisid kirjutada ilma lisakihita.

Meie volitus näeb välja umbes selline:

Lisame selle sellele location, mida me varem kirjeldasime, ja panime sinna järgmise koodi:

Vaatame, kas meil on küpsisemärk. Kui ei, siis anname volituse. Kasutajad on kavalad ja võivad arvata, et tuleb seadistada küpsisemärk. Seetõttu paneme selle ka Redisesse:

Redisega töötamise kood on väga lihtne ega erine teistest keeltest. Samal ajal kogu sisend / väljund, mis seal on, mis siin on, see ei blokeeri. Kui kirjutate sünkroonset koodi, töötab see asünkroonselt. Nagu gevent, ainult hästi tehtud.

Teeme autoriseerimise ise:

Ütleme, et peame lugema päringu sisu. Saame vastu POST-argumendid, kontrollime sisselogimise ja parooli õigsust. Kui see on vale, anname volituse. Ja kui need on õiged, kirjutame märgi Redisele:

Ärge unustage küpsist seadistada, seda tehakse ka kahes reas:

Näide on lihtne, spekulatiivne. Muidugi ei tee me teenust, mis inimestele kasse näitab. Aga kes meid tunneb. Nii et vaatame, mida saab tootmises teha.

Minimalistlik taustaprogramm. Mõnikord peame taustaprogrammile välja andma üsna palju andmeid: kuskil peame asendama kuupäeva, kuskil peame kuvama mingi loendi, ütlema, mitu kasutajat saidil praegu on, keerama loenduri või statistika. Midagi nii väikest. Mõned minimaalsed tükid saab teha väga lihtsalt. See saab olema kiire, lihtne ja suurepärane.
Andmete eeltöötlus. Mõnikord tahame oma lehele reklaame manustada ja võtame need reklaamid vastu API päringutega. Seda on siin väga lihtne teha. Me ei laadi oma taustaprogrammi, mis juba praegu kõvasti töötab. Siin saate järgi tulla ja koguda. Saame mõnda JS-i vormida või, vastupidi, lahti kleepida, enne kasutajale andmist midagi eeltöödelda.
Fassaad mikroteenuse jaoks. See on ka väga hea juhtum, viisin selle ellu. Enne seda töötasin elektroonilises aruandlusettevõttes Tenzor, mis annab aruandlust umbes poolte riigi juriidiliste isikute kohta. Oleme teinud teenuse, seal tehakse paljusid asju sama mehhanismi abil: marsruutimine, autoriseerimine ja palju muud.
OpenRestyt saab kasutada teie mikroteenuste liimina, et pakkuda kõigele ühtset juurdepääsu ja ühtset liidest. Kuna mikroteenuseid saab kirjutada nii, et siin on Node.js, siin on PHP, siin on Python, siin on mingi Erlangi asi, siis saame aru, et me ei taha sama koodi igal pool ümber kirjutada. Seetõttu saab OpenResty esiküljele ühendada.
Statistika ja analüütika. Tavaliselt on NGINX sissepääsu juures ja kõik päringud lähevad selle kaudu. Just selles kohas on seda väga mugav koguda. Saab kohe midagi välja arvutada ja kuhugi visata, näiteks seesama Elasticsearch, Logstash või lihtsalt logisse kirjutada ja siis kuhugi saata.
Mitme kasutaja süsteemid. Näiteks võrgumänge on väga hea teha. Täna Kaplinnas räägib Alexander Gladysh teile, kuidas OpenResty abil kiiresti mitme mängijaga mängu prototüüpi luua.
Filtreerimise taotlemine (WAF). Nüüd on moes teha kõikvõimalikke veebirakenduste tulemüüre, neid pakuvad palju teenuseid. OpenResty abil saad teha endale veebirakenduste tulemüüri, mis lihtsalt ja lihtsalt filtreerib päringuid vastavalt Sinu vajadustele. Kui teil on Python, siis saate aru, et PHP-d teile kindlasti ei süstita, välja arvatud juhul, kui te seda konsoolist kuhugi ei loo. Teate, et teil on MySQL ja Python. Tõenäoliselt saavad nad siin proovida teha mingit kataloogi läbimist ja sisestada midagi andmebaasi. Seetõttu saate rumalad taotlused kiiresti ja odavalt välja filtreerida otse esiküljel.
Kogukond. Kuna OpenResty põhineb NGINX-il, on sellel boonus - see on NGINX kogukond. See on väga suur ja NGINX-i kogukond on juba vastanud paljudele teie esmalt tekkivatele küsimustele.
Lua arendajad. Eile rääkisin kuttidega, kes tulid HighLoad ++ koolituspäevale ja kuulsid, et Lua keeles on ainult Tarantool kirjutatud. See pole nii, palju asju on kirjutatud lua keeles. Näited: OpenResty, Prosody XMPP server, Love2D mängumootor, Lua on skriptitud Warcraftis ja mujal. Lua arendajaid on palju, neil on suur ja vastutulelik kogukond. Kõigile minu Lua küsimustele vastati mõne tunni jooksul. Meililistile kirjutades on sõna otseses mõttes mõne minuti pärast juba hunnik vastuseid, kirjeldatakse, mis ja kuidas, mis on mis. See on suurepärane. Kahjuks pole sellist lahket siirast kogukonda igal pool.
OpenRestyl on GitHub, kus saate probleemi avada, kui midagi läheb katki. Google'i gruppides on meililist, kus saate arutada üldisi probleeme, on olemas hiinakeelne meililist – kunagi ei tea, võib-olla ei räägi te inglise keelt, aga oskate hiina keelt.

Tulemused

Loodan, et suutsin öelda, et OpenResty on väga mugav veebiraamistik.
Sellel on madal sisenemislävi, kuna kood sarnaneb meie kirjutatule, keel on üsna lihtne ja minimalistlik.
See pakub asünkroonset sisendit/väljundit ilma tagasihelistamisteta, meil ei ole nuudleid, nagu saame mõnikord NodeJS-is kirjutada.
Seda on lihtne juurutada, sest vajame ainult õige mooduli ja meie koodiga NGINX-i ning kõik töötab koheselt.
Suur ja vastutulelik kogukond.

Ma ei rääkinud täpsemalt, kuidas marsruutimist tehakse, see osutus väga pikaks jutuks.

Tänan teid tähelepanu eest!