Повторно го објавуваме транскриптот од извештајот на конференцијата HighLoad ++ 2016 година, што се одржа во Сколково крај Москва на 7-8 ноември минатата година. Владимир Протасов објаснува како да се прошири функционалноста на NGINX со OpenResty и Lua.

Здраво на сите, јас се викам Владимир Протасов, работам во Паралели. Ќе ви кажам малку за себе. Поминувам три четвртини од мојот живот пишувајќи код. Станав програмер до срж во буквална смисла: понекогаш гледам код во моите соништа. Една четвртина од животот е индустриски развој, пишување код кој оди директно во производство. Код што некои од вас го користат, но не го сфаќаат.

Значи разбираш колку беше лошо. Кога бев малку помлад, дојдов и ми ги дадоа овие бази на податоци од два терабајти. Сега е голем товар за сите овде. Отидов на конференции и прашав: „Момци, кажете ми, имате големи податоци, дали е сè кул? Колку бази имаш таму? Тие ми одговорија: „Имаме 100 гигабајти! Реков: „Кладо, 100 гигабајти!“ И си размислував како внимателно да го одржам моето покерско лице. Мислиш, да, момците се кул, а потоа се враќаш и ги чепкаш овие бази на податоци од повеќе терабајти. И ова е да се биде помлад. Можете ли да замислите каков удар е ова?

Знам повеќе од 20 програмски јазици. Ова е нешто што морав да го сфатам додека работев. Ти даваат код во Erlang, C, C++, Lua, Python, Ruby, нешто друго, а ти треба сето тоа да го пресечеш. Во принцип, морав. Не можеше да се пресмета точниот број, но некаде околу 20-ти бројот се изгуби.

Бидејќи сите присутни знаат што е Паралели и што правиме, нема да зборувам за тоа колку сме кул и што правиме. Само ќе ви кажам дека имаме 13 канцеларии ширум светот, повеќе од 300 вработени, развој во Москва, Талин и Малта. Ако сакате, можете да го земете и да се преселите во Малта ако е студено во зима и треба да го загреете грбот.

Поточно, нашиот оддел пишува во Python 2. Ние сме во бизнис и немаме време да имплементираме модерни технологии, па затоа страдаме. Го користиме Џанго затоа што има се, а она што беше непотребно го зедовме и го фрливме. Исто така, MySQL, Redis и NGINX. Имаме и многу други кул работи. Имаме MongoDB, имаме зајаци кои трчаат наоколу, имаме сè - но тоа не е мое, и јас не го правам тоа.

OpenResty

Реков за себе. Ајде да разбереме за што ќе зборувам денес:

Што е OpenResty и со што се јаде?
Зошто повторно да измислиме друго тркало кога имаме Python, NodeJS, PHP, Go и други интересни работи со кои сите се задоволни?
И неколку примери од животот. Морав многу да го скратам извештајот бидејќи ми требаа 3,5 часа, па ќе има малку примери.

OpenResty е NGINX. Благодарение на него, имаме полноправно веб-сервер кој е добро напишан и работи брзо. Мислам дека повеќето од нас користат NGINX во производството. Сите знаете дека е брз и кул. Тие направија кул синхрони I/O во него, така што не ни треба ништо да циклираме, исто како што направија gevent во Python. Gevent е кул, одличен, но ако напишете C код и нешто тргне наопаку, тогаш со Gevent ќе полудите да го дебагирате. Имав искуство: ми требаа цели два дена да сфатам што не беше во ред таму. Ако некој не копаше неколку недели, не го најдеше проблемот, пишуваше на Интернет, а Google не го најдеше, тогаш ќе полудевме целосно.

NGINX веќе има завршено кеширање и статичка содржина. Не треба да се грижите како да го направите ова човечки, за да не забавите некаде, за да не изгубите некаде дескриптори. Nginx е многу удобен за распоредување, не треба да размислувате што да преземете - WSGI, PHP-FPM, Gunicorn, Unicorn. Nginx е инсталиран, даден на администраторите, знаат да работат со него. Nginx ги обработува барањата на структуриран начин. Ќе зборувам за ова малку подоцна. Накратко, има фаза кога само го прифати барањето, кога го обработи и кога ја сервира содржината на корисникот.

Nginx е кул, но има еден проблем: не е доволно флексибилен, дури и со сите кул карактеристики што момците ги наполнија во конфигурацијата, и покрај тоа што може да се конфигурира. Оваа моќ не е доволна. Затоа момците од Таобао, одамна, изгледа како пред осум години, го вградија Луа во него. Што дава тоа?

Големина. Мал е. LuaJIT дава околу 100-200 килобајти надземна меморија и минимални трошоци за перформанси.
Брзина. Преведувачот LuaJIT е блиску до C во многу ситуации, во некои ситуации губи од Java, во други го надминува. Некое време се сметаше за состојба на уметност, најкул компајлер JIT. Сега има и поладни, но тие се многу тешки, на пример, истиот V8. Некои JS толкувачи и Java HotSpot се побрзи во некои точки, но на некои места тие сè уште губат.
Лесно за учење. Ако имате, да речеме, база на кодови Perl, а не резервирате, нема да најдете програмери на Perl. Бидејќи не постојат, сите беа одземени, а учењето за нив е долго и тешко. Ако сакате програмери за нешто друго, можеби ќе треба да ги преквалификувате или да ги најдете. Во случајот со Луа, сè е едноставно. Секој помлад може да го научи Луа за три дена. Ми требаа околу два часа да го сфатам. Два часа подоцна веќе пишував код во продукција. Околу една недела подоцна отиде директно на производство и замина.

Како резултат на тоа, изгледа вака:

Има многу тука. OpenResty собра еден куп модули, и luash и моторни. И имате сè подготвено - распоредено и работено.

примери

Доста е од текстовите, ајде да преминеме на кодот. Еве малку Здраво светот:

Што има таму? Ова е локација на Енгинс. Не се грижиме, не пишуваме сопствено рутирање, не земаме готово - веќе го имаме во NGINX, живееме добар и мрзлив живот.

content_by_lua_block е блок кој вели дека сервираме содржина користејќи скрипта Lua. Ја земаме променливата Engins remote_addr и ставете го string.format. Тоа е исто како sprintf, само во Луа, само точно. И ние го даваме на клиентот.

Како резултат на тоа, ќе изгледа вака:

Но, да се вратиме во реалниот свет. Никој не го распоредува Hello World на производство. Нашата апликација обично оди во базата на податоци или на друго место и најчесто чека одговор.

Тој само седи и чека. Не е многу добро. Кога ќе дојдат 100.000 корисници, ни е многу тешко. Значи, ајде да користиме едноставна апликација како пример. Ќе бараме слики, на пример, на мачки. Но, ние нема само да пребаруваме, туку ќе ги прошириме клучните зборови и, ако корисникот барал „мачиња“, ќе најдеме мачки, крзнени мачки итн. Прво, треба да ги добиеме податоците за барањето на задниот дел. Изгледа вака:

Две линии ви дозволуваат да ги подигнете параметрите GET, без компликации. Следно, да речеме, од базата на податоци со знак за клучен збор и екстензија, ги добиваме овие информации користејќи редовно SQL барање. Едноставно е. Изгледа вака:

Поврзување на библиотеката resty.mysql, кој веќе го имаме во комплетот. Не треба ништо да инсталираме, сè е подготвено. Посочуваме како да се поврзете и да направите SQL барање:

Овде е малку страшно, но сè функционира. Еве 10 е граница. Повлекуваме 10 записи, мрзливи сме, не сакаме да покажеме повеќе. Заборавив на лимитот во SQL.

Следно наоѓаме слики за сите прашања. Собираме еден куп барања и пополнуваме табела Луа наречена reqs, и ние правиме ngx.location.capture_multi.

Сите овие барања се испраќаат паралелно, а одговорите ни се враќаат. Времето на работа е еднакво на времето на одговор на најспорото. Ако сите пукаме за 50 милисекунди, а сме испратиле сто барања, тогаш ќе добиеме одговор за 50 милисекунди.

Бидејќи сме мрзливи и не сакаме да пишуваме HTTP и ракување со кеширање, ќе го натераме NGINX да направи се за нас. Како што видовте, имаше барање за url/fetch, еве го тој:

Ние го правиме едноставно proxy_pass, укажуваме каде да кешираме, како да го направиме тоа и сè работи за нас.

Но, ова не е доволно, сепак треба да му ги дадеме податоците на корисникот. Наједноставната идеја е да се серијализира сè во JSON, лесно, во два реда. Даваме Content-Type, даваме JSON.

Но, има една тешкотија: корисникот не сака да чита JSON. Треба да привлечеме напредни програмери. Понекогаш не сакаме да го правиме ова на почетокот. И специјалистите за оптимизација ќе речат дека ако бараме слики, тогаш тоа не им е важно. И ако им дадеме одредена содржина, тие ќе речат дека нашите пребарувачи не индексираат ништо.

Што да се прави во врска со тоа? Се разбира, на корисникот ќе му дадеме HTML. Рачно генерирање не е comme il faut, затоа сакаме да користиме шаблони. Постои библиотека за ова lua-resty-template.

Сигурно сте ги виделе трите страшни букви ОПМ. OpenResty доаѓа со сопствен менаџер на пакети, преку кој можете да инсталирате еден куп различни модули, особено, lua-resty-template. Ова е едноставен мотор за шаблони, сличен на шаблоните на Џанго. Таму можете да напишете код и да извршите замена на променливата.

Како резултат, сè ќе изгледа вака:

Ги зедовме податоците и го рендериравме шаблонот, повторно во два реда. Корисникот е среќен, добил мачки. Бидејќи го проширивме барањето, доби и крзнено печат за мачиња. Никогаш не се знае, можеби тој го бараше токму ова, но не можеше правилно да го формулира своето барање.

Сè е кул, но ние сме во развој и сè уште не сакаме да им го прикажуваме на корисниците. Ајде да го направиме овластувањето. За да го направите ова, ајде да погледнеме како NGINX се справува со барањето во услови на OpenResty:

Прва фаза - пристап, кога корисникот штотуку пристигна, и го гледавме по заглавија, по IP адреса и според други податоци. Можеме веднаш да го прекинеме ако не ни се допаѓа. Ова може да се користи за овластување или ако добиеме многу барања, лесно можеме да ги прекинеме во оваа фаза.
преработи. Ние препишуваме некои податоци за барањето.
содржина. Ние ја доставуваме содржината до корисникот.
филтер за заглавија. Ги заменуваме заглавјата на одговорот. Ако користевме proxy_pass, можеме да преработиме некои заглавија пред да му ги дадеме на корисникот.
филтер за тело. Можеме да го промениме телото.
да се логирате - сеча. Можете да пишувате дневници во elasticsearch без дополнителен слој.

Нашето овластување ќе изгледа вака:

Ќе го додадеме ова на она location, што го опишавме претходно, и го ставивме следниов код таму:

Гледаме да видиме дали имаме токен за колачиња. Ако не, тогаш бараме овластување. Корисниците се лукави и можат да погодат дека треба да постават токен за колачиња. Затоа, ќе го ставиме и во Редис:

Кодот за работа со Redis е многу едноставен и не се разликува од другите јазици. Во исто време, сите влезни/излезни, тука и таму, не се блокирани. Ако напишете синхрон код, тој работи асинхроно. Речиси како gevent, но добро направено.

Ајде да го направиме самото овластување:

Велиме дека треба да го прочитаме телото на барањето. Добиваме POST аргументи и проверуваме дали најавувањето и лозинката се точни. Доколку се неточни, тогаш ве предизвикуваме за овластување. И ако е точно, тогаш напишете го токенот во Редис:

Не заборавајте да го поставите колачето, тоа се прави и во два реда:

Примерот е едноставен и шпекулативен. Се разбира, нема да правиме услуга која на луѓето им покажува мачки. Но, кој нè познава нас. Значи, да разгледаме што може да се направи во производството.

Минималистички заднина. Понекогаш треба да изнесеме само малку податоци во задниот дел: некаде треба да вметнеме датум, некаде треба да прикажеме листа, да кажеме колку корисници има сега на страницата, да прикачиме бројач или статистика. Нешто толку мало. Некои минимални парчиња може да се направат многу лесно. Ова ќе го направи брзо, лесно и одлично.
Претходна обработка на податоци. Понекогаш сакаме да вградиме рекламирање на нашата страница и го добиваме ова рекламирање користејќи барања за API. Ова е многу лесно да се направи овде. Не го вчитуваме нашиот бекенд, кој веќе седи и работи напорно. Можете да го земете и да го соберете овде. Можеме да склопиме некои JS или, обратно, да го одврземе и да преработиме нешто пред да му го дадеме на корисникот.
Фасада за микросервис. И ова е многу добар случај, го спроведов. Пред тоа работев во Тензор, компанија која се занимава со електронско известување и обезбедува известување на приближно половина од правните субјекти во државата. Создадовме услуга, многу работи беа направени таму користејќи го истиот механизам: рутирање, овластување и многу повеќе.
OpenResty може да се користи како лепак за вашите микроуслуги, обезбедувајќи единствен пристап до сè и единствен интерфејс. Бидејќи микросервисите можат да бидат напишани на таков начин што имате Node.js овде, PHP овде, Python овде, нешто Erlang овде, разбираме дека не сакаме да го препишуваме истиот код насекаде. Затоа, OpenResty може да се приклучи на предната страна.
Статистика и аналитика. Обично NGINX е на влезот, и сите барања поминуваат низ него. На ова место е многу погодно да се собере. Можете веднаш да пресметате нешто и да го поставите некаде, на пример, Elasticsearch, Logstash или едноставно да го напишете во дневникот и потоа да го испратите некаде.
Повеќекориснички системи. На пример, онлајн игрите се исто така многу добри за правење. Денес во Кејп Таун, Александар Гладиш ќе зборува за тоа како брзо да се прототипира игра со повеќе играчи користејќи OpenResty.
Побарајте филтрирање (WAF). Во денешно време е модерно да се прават секакви заштитни ѕидови на веб-апликации; има многу услуги што ги обезбедуваат. Користејќи OpenResty, можете да си направите заштитен ѕид за веб-апликации што едноставно и лесно ќе ги филтрира барањата според вашите барања. Ако имате Python, тогаш разбирате дека PHP дефинитивно нема да ви се инјектира, освен ако, се разбира, не го мрестете каде било од конзолата. Знаете дека имате MySQL и Python. Веројатно, тие би можеле да се обидат да направат некој вид на преминување директориуми и да внесат нешто во базата на податоци. Затоа, можете брзо и евтино да ги филтрирате чудните прашања веднаш на предната страна.
Заедница Бидејќи OpenResty е изграден на NGINX, има бонус - ова NGINX заедница. Тој е многу голем, а пристоен дел од прашањата што ќе ги имате на почетокот веќе се решени од заедницата NGINX.
Луа програмери. Вчера разговарав со момците кои дојдоа на денот за обука на HighLoad++ и слушнав дека само Tarantool е напишано на Луа. Ова не е точно, многу работи се напишани на Луа. Примери: OpenResty, Prosody XMPP сервер, Love2D играчки мотор, Lua напишана во Warcraft и на други места. Има многу програмери на Lua, тие имаат голема и одговорна заедница. Сите мои прашања за Луа беа решени за неколку часа. Кога пишувате на мејлинг листата, буквално во рок од неколку минути веќе има куп одговори, кои опишуваат што и како, што е што. Тоа е одлично. За жал, таква љубезна, духовна заедница ја нема насекаде.
Постои GitHub за OpenResty, каде што можете да отворите проблем ако нешто е скршено. Има мејлинг листа на Google Groups, каде што можете да разговарате за општи прашања, има мејлинг листа на кинески - никогаш не знаете, можеби не зборувате англиски, но знаете кинески.

Резултатите од

Се надевам дека успеав да пренесам дека OpenResty е многу удобна рамка прилагодена за веб.
Има ниска бариера за влез, бидејќи кодот е сличен на она што го пишуваме, јазикот е прилично едноставен и минималистички.
Обезбедува асинхрони В/И без повратни повици, нема да имаме никакви тестенини како што понекогаш можеме да пишуваме во NodeJS.
Има лесно распоредување, бидејќи ни треба само NGINX со потребниот модул и нашиот код, и сè работи веднаш.
Голема и одговорна заедница.

Не кажав детално како се прави рутирањето, се покажа дека е многу долга приказна.

Ви благодариме!