Препубликуваме стенограмата на доклада от конференцията HighLoad ++ 2016 г., който се проведе в Сколково край Москва на 7-8 ноември миналата година. Владимир Протасов разказва как да разширите функционалността на NGINX с OpenResty и Lua.

Здравейте всички, казвам се Владимир Протасов, работя за Parallels. Ще ви разкажа малко за себе си. Прекарвам три четвърти от живота си в писане на код. Станах програмист до мозъка на костите си в буквалния смисъл: понякога виждам код в сънищата си. Една четвърт от живота е индустриално развитие, писане на код, който отива направо в производството. Код, който някои от вас използват, но не го знаят.

За да знаете колко зле беше. Когато бях малък, влязох и ми дадоха тези две терабайтови бази данни. Сега е тук за всички високо натоварване. Отидох на конференции и попитах: „Момчета, кажете ми, имате ли големи данни, всичко готино ли е? Колко бази имате там? Те ми отговориха: "Имаме 100 гигабайта!" Казах: "Готино, 100 гигабайта!" И си помислих как добре да запазя лицето на покера. Мислите си, да, момчетата са готини, а след това се връщате и бърникате с тези многотерабайтови бази данни. И това е да си младши. Представяте ли си какъв хит е?

Знам повече от 20 езика за програмиране. Това трябваше да разбера в хода на работата. Те ви дават код на Erlang, на C, на C++, на Lua, на Python, на Ruby, на нещо друго и вие трябва да изрежете всичко. Като цяло трябваше. Не беше възможно да се изчисли точният брой, но някъде около 20 бройката се загуби.

Тъй като всички тук знаят какво е Parallels и какво правим, няма да говоря колко сме готини и какво правим. Само ще ви кажа, че имаме 13 офиса по света, повече от 300 служители, развитие в Москва, Талин и Малта. Ако желаете, можете да вземете и да се преместите в Малта, ако е студено през зимата и трябва да стоплите гърба си.

По-конкретно, нашият отдел пише на Python 2. Ние сме в бизнеса и нямаме време да въвеждаме модерни технологии, така че страдаме. Имаме Django, защото има всичко, а излишното взехме и го изхвърлихме. Също така MySQL, Redis и NGINX. Имаме и много други готини неща. Имаме MongoDB, имаме зайци, които тичат наоколо, просто нямаме нищо - но не е мое и не го правя.

OpenResty

Разказах за себе си. Да видим за какво ще говоря днес:

Какво е OpenResty и с какво се яде?
Защо да преоткриваме колелото, когато имаме Python, NodeJS, PHP, Go и други страхотни неща, от които всички са доволни?
И няколко примера от реалния живот. Трябваше да съкратя много доклада, защото го взех за 3,5 часа, така че ще има малко примери.

OpenResty е NGINX. Благодарение на него имаме пълноценен уеб сървър, който е добре написан, работи бързо. Мисля, че повечето от нас използват NGINX в производството. Всички знаете, че той е бърз и готин. Те направиха страхотен синхронен вход/изход в него, така че не е нужно да циклим нищо по същия начин, по който gevent беше цикличен в Python. Gevent е готин, готин, но ако пишете C-код и нещо се обърка с gevent, ще полудеете да го дебъгвате. Имах опит: отне цели два дни, за да разбера какво се е объркало там. Ако някой преди това не се беше ровил няколко седмици, не беше намерил проблема, не го беше написал в интернет и гугъл не го намери, тогава съвсем щяхме да се побъркаме.

NGINX вече прави кеширане и статично съдържание. Не е нужно да се притеснявате как да го направите човешки, за да не забавите някъде, за да не загубите дескриптори някъде. Nginx е много удобен за внедряване, не е нужно да мислите какво да вземете - WSGI, PHP-FPM, Gunicorn, Unicorn. Nginx беше инсталиран, даден на админите, те знаят как се работи с него. Nginx обработва заявките по структуриран начин. Ще говоря за това малко по-късно. Накратко, той има фаза, когато току-що е приел заявката, когато е обработил и когато е дал съдържанието на потребителя.

Nginx е страхотен, но има един проблем: не е достатъчно гъвкав дори с всички онези страхотни функции, които момчетата са вкарали в конфигурацията, въпреки факта, че може да се персонализира. Тази сила не е достатъчна. Затова момчетата от Taobao веднъж, мисля преди около осем години, вградиха Lua в него. Какво дава той?

размер. Малко е. LuaJIT дава някъде около 100-200 килобайта памет и минимална производителност.
Скорост. Интерпретаторът LuaJIT е близо до C в много ситуации, в някои ситуации губи от Java, в други го изпреварва. За известно време се смяташе за най-съвременния, най-готиния JIT компилатор. Сега има по-хладни, но те са много тежки, например същият V8. Някои JS интерпретатори и Java HotSpot са по-бързи в някои точки, но все още губят в някои точки.
Лесен за научаване. Ако имате, да речем, кодова база на Perl и не сте Booking, няма да намерите програмисти на Perl. Понеже ги няма, всички са откарани и е дълго и трудно да ги научиш. Ако искате програмисти за нещо друго, може и те да се преквалифицират или да се намерят. В случая с Lua всичко е просто. Lua може да се научи от всеки младши за три дни. Отне ми около два часа, за да го разбера. Два часа по-късно вече пишех код в производството. Около седмица по-късно той отиде направо в производството и си тръгна.

В резултат на това изглежда така:

Тук има много. OpenResty е събрал куп модули, както luash, така и енджини. И имате всичко готово - разгърнато и работещо.

Примеры

Стига с текстовете, да преминем към кода. Ето малко Hello World:

Какво има там? това е местоположението на двигателите. Не се притесняваме, не пишем собствен маршрут, не вземаме някакъв готов - вече го имаме в NGINX, живеем добре и мързеливо.

content_by_lua_block е блок, който казва, че обслужваме съдържание с помощта на Lua скрипт. Взимаме променлива на двигателя remote_addr и го пъхнете в string.format. Това е същото като sprintf, само в Lua, само правилно. И го даваме на клиента.

В резултат на това ще изглежда така:

Но обратно към реалния свят. В производството никой не внедрява Hello World. Приложението ни обикновено отива в базата данни или някъде другаде и през повечето време чака отговор.

Просто седи и чака. Не е много добре. Когато дойдат 100.000 XNUMX потребители, ни е много трудно. Затова нека използваме едно просто приложение като пример. Ще търсим снимки, например, котки. Само ние не просто ще търсим, а ще разширим ключовите думи и ако потребителят е търсил „котенца“, ще намерим котки, пухчета и т.н. Първо трябва да получим данните за заявката в бекенда. Изглежда така:

Два реда ви позволяват да вземете GET параметри, без усложнения. След това ние, например, получаваме тази информация от база данни с таблица по ключова дума и разширение, използвайки обикновена SQL заявка. Всичко е просто. Изглежда така:

Свързваме библиотеката resty.mysql, които вече имаме в комплекта. Не е нужно да инсталираме нищо, всичко е готово. Посочете как да се свържете и да направите SQL заявка:

Малко е страшно, но работи. Тук 10 е границата. Вадим 10 плочи, мързи ни, не искаме да показваме повече. В SQL забравих за ограничението.

След това намираме изображения за всички заявки. Събираме куп заявки и попълваме Lua таблица, наречена reqs, и прави ngx.location.capture_multi.

Всички тези заявки вървят паралелно и отговорите ни се връщат. Времето за работа е равно на времето за реакция на най-бавния. Ако всички стреляме за 50 милисекунди и изпратихме сто заявки, тогава ще получим отговор за 50 милисекунди.

Тъй като сме мързеливи и не искаме да пишем обработка на HTTP и кеширане, ще накараме NGINX да направи всичко вместо нас. Както видяхте, имаше заявка за url/fetch, Ето го:

Ние правим прости proxy_pass, посочваме къде да кешираме, как да го направим и всичко работи за нас.

Но това не е достатъчно, все още трябва да дадем данните на потребителя. Най-простата идея е да сериализирате всичко в JSON, лесно, в два реда. Даваме Content-Type, даваме JSON.

Но има една трудност: потребителят не иска да чете JSON. Трябва да привлечем front-end разработчици. Понякога не ни се иска да го правим в началото. Да, и SEO специалистите ще кажат, че ако търсим снимки, тогава не им пука. И ако им дадем някакво съдържание, те ще кажат, че нашите търсачки не индексират нищо.

Какво да правя с него? Разбира се, ние ще дадем на потребителя HTML. Генерирането с манипулатори не е comme il faut, така че искаме да използваме шаблони. Има библиотека за това lua-resty-template.

Сигурно сте виждали трите страшни букви OPM. OpenResty идва със собствен мениджър на пакети, чрез който можете да инсталирате куп различни модули, по-специално, lua-resty-template. Това е проста машина за шаблони, подобна на шаблоните на Django. Там можете да пишете код и да правите заместване на променливи.

В резултат на това всичко ще изглежда така:

Взехме данните и изобразихме шаблона отново в два реда. Потребителят е доволен, има котки. Тъй като разширихме заявката, той получи и морски котенца. Никога не се знае, може би го е търсил, но не е могъл да формулира правилно молбата си.

Всичко е готино, но ние сме в процес на разработка и все още не искаме да показваме на потребителите. Да направим оторизация. За да направите това, нека да видим как NGINX обработва заявката по отношение на OpenResty:

Първа фаза - достъп, когато потребителят току-що дойде и ние го разгледахме по заглавки, по IP адрес, по други данни. Можете веднага да го отрежете, ако не ни харесва. Това може да се използва за оторизация или ако получим много заявки, можем лесно да ги нарежем на тази фаза.
редактирам отново. Пренаписване на някои данни за заявка.
съдържание. Ние предоставяме съдържание на потребителя.
филтър за заглавка. Променете заглавките на отговорите. Ако сме използвали proxy_pass, можем да пренапишем някои заглавки, преди да ги дадем на потребителя.
филтър за тялото. Можем да променим тялото.
влезете - дърводобив. Възможно е да се записват регистрационни файлове в elasticsearch без допълнителен слой.

Нашето разрешение ще изглежда така:

Ще го добавим към това location, който описахме преди, и поставете следния код там:

Гледаме дали имаме маркер за бисквитка. Ако не, тогава хвърляме разрешение. Потребителите са хитри и може да се досетят, че трябва да се зададе маркер за бисквитка. Затова ще го поставим и в Redis:

Кодът за работа с Redis е много прост и не се различава от другите езици. В същото време всички входове / изходи, какво е там, какво е тук, не блокира. Ако пишете синхронен код, той работи асинхронно. Както при gevent, само добре направено.

Да направим самата авторизация:

Казваме, че трябва да прочетем тялото на заявката. Получаваме POST аргументи, проверете дали данните за вход и паролата са правилни. Ако е неправилно, тогава хвърляме разрешение. И ако са правилни, тогава записваме токена в Redis:

Не забравяйте да зададете бисквитката, това също се прави на два реда:

Примерът е прост, спекулативен. Разбира се, ние няма да правим услуга, която показва котки на хората. Но кой ни знае. Така че нека разгледаме какво може да се направи в производството.

Минималистичен бекенд. Понякога трябва да дадем доста данни на бекенда: някъде трябва да заменим датата, някъде трябва да покажем някакъв списък, да кажем колко потребители са на сайта в момента, да включим брояч или статистика. Нещо толкова малко. Някои минимални парчета могат да бъдат направени много лесно. Това ще бъде бързо, лесно и страхотно.
Предварителна обработка на данни. Понякога искаме да вградим реклами в нашата страница и приемаме тези реклами с API заявки. Това е много лесно да се направи тук. Ние не зареждаме нашия бекенд, който вече работи усилено. Можете да вземете и получите тук. Можем да оформим някои JS или, напротив, да отлепим, да обработим предварително нещо, преди да го дадем на потребителя.
Фасада за микросервиз. Това също е много добър случай, реализирах го. Преди това работих в Тензор, фирма за електронни отчети, която предоставя отчети за около половината юридически лица в страната. Направихме услуга, много неща се правят там с един и същ механизъм: маршрутизиране, авторизация и др.
OpenResty може да се използва като лепило за вашите микроуслуги, за да осигури единен достъп до всичко и един интерфейс. Тъй като микроуслугите могат да бъдат написани по такъв начин, че имате Node.js тук, имате PHP тук, имате Python тук, има нещо Erlang тук, разбираме, че не искаме да пренаписваме един и същ код навсякъде. Следователно OpenResty може да бъде включен в предната част.
Статистика и анализи. Обикновено NGINX е на входа и всички заявки минават през него. Именно на това място е много удобно да се събират. Можете веднага да изчислите нещо и да го хвърлите някъде, например същия Elasticsearch, Logstash или просто да го запишете в дневника и след това да го изпратите някъде.
Многопотребителски системи. Например, онлайн игрите също са много добри за правене. Днес в Кейптаун Александър Гладиш ще ви каже как бързо да създадете прототип на мултиплейър игра с помощта на OpenResty.
Филтриране на заявки (WAF). Сега е модерно да се правят всякакви защитни стени за уеб приложения, има много услуги, които ги предоставят. С помощта на OpenResty можете да си направите защитна стена за уеб приложение, която просто и лесно ще филтрира заявките според вашите изисквания. Ако имате Python, разбирате, че PHP определено няма да ви бъде инжектиран, освен ако, разбира се, не го създадете някъде от конзолата. Знаете, че имате MySQL и Python. Вероятно тук могат да опитат да направят някакъв вид обхождане на директория и да инжектират нещо в базата данни. Следователно можете да филтрирате глупавите заявки бързо и евтино отпред.
Общност. Тъй като OpenResty е базиран на NGINX, той има бонус - това е NGINX общност. Той е много голям и много от въпросите, които ще имате в началото, вече са получили отговор от общността на NGINX.
Lua разработчици. Вчера разговарях с момчетата, които дойдоха на тренировъчния ден на HighLoad ++ и чух, че само Tarantool е написан на Lua. Това не е така, много неща са написани на Lua. Примери: OpenResty, сървър Prosody XMPP, двигател на играта Love2D, Lua е скриптиран в Warcraft и другаде. Има много разработчици на Lua, те имат голяма и отзивчива общност. На всичките ми въпроси за Lua беше отговорено в рамките на няколко часа. Когато пишете в пощенския списък, буквално след няколко минути вече има куп отговори, те описват какво и как, какво е какво. Чудесно е. За съжаление такава любезна искрена общност не е навсякъде.
OpenResty има GitHub, където можете да отворите проблем, ако нещо се счупи. Има пощенски списък в Google Групи, където можете да обсъждате общи въпроси, има пощенски списък на китайски - никога не се знае, може би не говорите английски, но имате познания по китайски.

Резултати от

Надявам се, че успях да предам, че OpenResty е много удобна уеб рамка.
Има нисък праг на влизане, тъй като кодът е подобен на това, което пишем, езикът е доста прост и минималистичен.
Той осигурява асинхронен I/O без обратни извиквания, няма да имаме юфка, както понякога можем да напишем в NodeJS.
Има лесно внедряване, защото се нуждаем само от NGINX с правилния модул и нашия код и всичко веднага работи.
Голяма и отзивчива общност.

Не съм разказвал подробно как се прави маршрутизацията, оказа се много дълга история.

Спасибо за внимание!