Táimid ag foilsiú athscríbhinn thuarascáil na comhdhála arís HighLoad ++ 2016, a tharla i Skolkovo in aice le Moscó ar 7-8 Samhain anuraidh. Vladimir Protasov míníonn sé conas feidhmiúlacht NGINX a leathnú le OpenResty agus Lua.

Dia duit gach duine, Vladimir Protasov is ainm dom, táim ag obair ag Parallels. Inseoidh mé beagán duit fúm féin. Caithim trí cheathrú de mo shaol ag scríobh cód. Rinneadh ríomhchláraitheoir don chroílár mé sa chiall litriúil: uaireanta feicim cód i mo bhrionglóidí. Is é an ceathrú cuid den saol ná forbairt thionsclaíoch, ag scríobh cód a théann díreach isteach i dtáirgeadh. Cód a úsáideann cuid agaibh ach nach dtuigeann tú é.

Mar sin tuigeann tú cé chomh dona agus a bhí sé. Nuair a bhí mé beagán sóisearach, tháinig mé agus tugadh na bunachair shonraí dhá-terabyte seo dom. Tá sé ualach ard do gach duine anseo anois. Chuaigh mé chuig comhdhálacha agus d'fhiafraigh mé: “A bhuachaillí, inis dom, tá sonraí móra agat, an bhfuil gach rud iontach? Cé mhéad bonn atá agat ansin? D'fhreagair siad mé: "Tá 100 ghigibheart againn!" Dúirt mé: "Cool, 100 ghigibheart!" Agus bhí mé ag smaoineamh dom féin conas mo aghaidh poker a chothabháil go cúramach. Cheapann tú, tá, tá na guys fionnuar, agus ansin téann tú ar ais agus tinker leis na bunachair shonraí il-terabyte. Agus tá sé seo a bheith ina sóisearach. An féidir leat a shamhlú cén buille é seo?

Tá níos mó ná 20 teanga ríomhchlárúcháin ar eolas agam. Seo rud a bhí orm a dhéanamh amach agus mé ag obair. Tugann siad cód duit in Erlang, C, C ++, Lua, Python, Ruby, rud éigin eile, agus caithfidh tú é a ghearradh ar fad. Go ginearálta, bhí orm. Níorbh fhéidir an uimhir chruinn a ríomh, ach áit éigin timpeall an 20ú cailleadh an uimhir.

Ós rud é go bhfuil a fhios ag gach duine atá i láthair cad é Parallels agus cad a dhéanaimid, ní labhróidh mé faoi cé chomh fionnuar agus atáimid agus cad a dhéanaimid. Inseoidh mé duit go bhfuil 13 oifig againn ar fud an domhain, níos mó ná 300 fostaí, forbairt i Moscó, Tallinn agus Málta. Más mian leat, is féidir leat é a thógáil agus bogadh go Málta má bhíonn sé fuar sa gheimhreadh agus go gcaithfidh tú do dhroim a théamh.

Go sonrach, scríobhann ár roinn i Python 2. Táimid i mbun gnó agus níl aon am againn teicneolaíochtaí faiseanta a chur i bhfeidhm, agus mar sin táimid ag fulaingt. Bainimid úsáid as Django toisc go bhfuil gach rud ann, agus ghlacamar an rud nach raibh gá leis agus chaith muid ar shiúl é. Chomh maith leis sin MySQL, Redis agus NGINX. Tá go leor rudaí fionnuara eile againn freisin. Tá MongoDB againn, tá coiníní againn ag rith thart, tá gach rud againn - ach ní liomsa é, agus ní dhéanaim é.

Oscailte Resty

Dúirt mé fúm féin. Déanaimis amach cad a bheidh mé ag caint faoi inniu:

• Cad é OpenResty agus cad leis a itear é?
• Cén fáth roth eile a athchruthú nuair a bhíonn Python, NodeJS, PHP, Go agus rudaí fionnuara eile againn a bhfuil gach duine sásta leo?
• Agus cúpla sampla ón saol. Bhí orm an tuarascáil a ghearradh go mór mar thóg sé 3,5 uair an chloig orm, mar sin ní bheidh mórán samplaí ann.

Is NGINX é OpenResty. A bhuíochas leis, tá freastalaí gréasáin lán-chuimsitheach againn atá scríofa go maith agus a oibríonn go tapa. Sílim go n-úsáideann an chuid is mó againn NGINX i dtáirgeadh. Tá a fhios agat go léir go bhfuil sé tapa agus fionnuar. Rinne siad I/O sioncronach fionnuar ann, mar sin ní gá dúinn aon rud a rothaíocht, díreach mar a rinne siad i Python. Tá Gevent fionnuar, iontach, ach má scríobhann tú cód C agus má théann rud éigin mícheart, ansin le Gevent beidh tú ag dul ar mire debugging é. Bhí an taithí agam: thóg sé dhá lá ar fad a dhéanamh amach cad a chuaigh mícheart ansin. Más rud é nach raibh duine éigin dug timpeall ar feadh roinnt seachtainí, fuair an fhadhb, scríobh ar an Idirlíon, agus nach raibh sé aimsithe ag Google, ansin bheadh ​​​​sinn imithe ar mire.

Tá taisceadh agus ábhar statach déanta cheana féin ag NGINX. Ní gá a bheith buartha faoi conas é seo a dhéanamh go daonna, ionas nach mbeidh tú mall síos áit éigin, ionas nach gcaillfidh tú tuairisceoirí áit éigin. Tá Nginx an-áisiúil le himscaradh, ní gá duit smaoineamh ar cad atá le glacadh - WSGI, PHP-FPM, Gunicorn, Unicorn. Suiteáladh Nginx, tugtha do na riarthóirí, tá a fhios acu conas a bheith ag obair leis. Déanann Nginx iarratais a phróiseáil ar bhealach struchtúrtha. Labhróidh mé faoi seo beagán níos déanaí. I mbeagán focal, tá céim aige nuair a ghlac sé leis an iarratas, nuair a phróiseáil sé é, agus nuair a sheirbheáil sé an t-ábhar don úsáideoir.

Tá Nginx fionnuar, ach tá fadhb amháin ann: níl sé solúbtha go leor, fiú leis na gnéithe fionnuar go léir a chuir na guys isteach sa chumraíocht, in ainneoin an méid is féidir a chumrú. Ní leor an chumhacht seo. Sin an fáth gur chuir na guys ó Taobao, i bhfad ó shin, cosúil le hocht mbliana ó shin, Lua isteach ann. Cad a thugann sé?

• Méid. Tá sé beag. Tugann LuaJIT thart ar 100-200 cilibheart de chuimhne lastuas agus feidhmíocht íosta forchostais.
• Speed. Tá an t-ateangaire LuaJIT gar do C i go leor cásanna, i gcásanna áirithe cailleann sé do Java, i gcásanna eile is fearr é. Le tamall anuas measadh gurbh é an úrscothacht é, an tiomsaitheoir JIT is fuaire. Anois tá cinn níos fuaire, ach tá siad an-trom, mar shampla, an V8 céanna. Tá roinnt ateangairí JS agus Java HotSpot níos tapúla ag roinnt pointí, ach in áiteanna áirithe caillfidh siad fós.
• Éasca le foghlaim. Má tá, abair, bonn cód Perl agat, agus mura bhfuil tú ag Áirithint, ní bhfaighidh tú ríomhchláraitheoirí Perl. Toisc nach bhfuil siad ann, tógadh ar shiúl iad go léir, agus tá sé fada agus deacair iad a theagasc. Más mian leat ríomhchláraitheoirí le haghaidh rud éigin eile, b'fhéidir go mbeadh ort iad a athoiliúint nó iad a aimsiú. I gcás Lua, tá gach rud simplí. Is féidir le haon sóisearach Lua a fhoghlaim i dtrí lá. Thóg sé thart ar dhá uair an chloig orm é a dhéanamh amach. Dhá uair an chloig ina dhiaidh sin bhí mé ag scríobh cód cheana féin i dtáirgeadh. Thart ar sheachtain ina dhiaidh sin chuaigh sé díreach chuig táirgeadh agus d'fhág sé.

Mar thoradh air sin, tá sé mar seo:

Tá go leor anseo. Tá cuid mhór modúl bailithe ag OpenResty, idir mhodúil agus cinn innill. Agus tá gach rud réidh agat - imscaradh agus ag obair.

Примеры

Go leor de na liricí, a ligean ar bogadh ar aghaidh go dtí an cód. Seo chugaibh Hello World:

Cad atá ann? Is suíomh Engins é seo. Ní cúis imní dúinn, ní scríobhaimid ár ródú féin, ní ghlacaimid roinnt réamhdhéanta - tá sé againn cheana féin i NGINX, tá saol maith agus leisciúil againn.

content_by_lua_block Is bloc é a deir go bhfuilimid ag freastal ar ábhar ag baint úsáide as script Lua. Glacann muid an athróg Engins remote_addr agus cuir isteach é string.format. Tá sé mar an gcéanna le sprintf, ach amháin i Lua, ach amháin i gceart. Agus tugaimid don chliant é.

Mar thoradh air sin, beidh sé cuma mar seo:

Ach a ligean ar ais go dtí an saol fíor. Ní imscarann ​​aon duine Hello World chuig táirgeadh. Is gnách go dtéann ár n-iarratas chuig an mbunachar sonraí nó áit éigin eile agus fanann an chuid is mó den am ar fhreagra.

Suíonn sé agus fanann sé. Níl sé an-mhaith. Nuair a thagann 100.000 úsáideoir isteach, tá sé an-deacair dúinn. Mar sin déanaimis feidhmchlár simplí a úsáid mar shampla. Féachfaimid le haghaidh pictiúir, mar shampla, de chait. Ach ní hamháin go gcuardóidh muid, leathnóimid na heochairfhocail agus, má chuardaigh an t-úsáideoir "kittens," gheobhaidh muid cait, cait furry, agus mar sin de. Ar dtús, ní mór dúinn na sonraí iarratais a fháil ar an inneall. Breathnaíonn sé mar seo:

Ligeann dhá líne duit paraiméadair GET a phiocadh suas, gan aon deacrachtaí. Ansin, déarfaimid, ó bhunachar sonraí le comhartha eochairfhocal agus síneadh, faighimid an fhaisnéis seo ag baint úsáide as ceist SQL rialta. Tá sé simplí. Breathnaíonn sé mar seo:

An leabharlann a nascadh resty.mysql, atá againn cheana féin sa trealamh. Ní gá dúinn aon rud a shuiteáil, tá gach rud réidh. Léirímid conas ceist SQL a nascadh agus a dhéanamh:

Tá sé beagán scary anseo, ach oibríonn gach rud. Seo 10 an teorainn. Bainimid amach 10 n-iontráil, táimid leisciúil, nílimid ag iarraidh níos mó a thaispeáint. Rinne mé dearmad faoin teorainn i SQL.

Ansin aimsímid pictiúir do gach ceist. Bailímid a lán iarratas agus líonaimid tábla Lua ar a dtugtar reqs, agus déanaimid ngx.location.capture_multi.

Seoltar na hiarratais seo go léir ag an am céanna, agus cuirtear na freagraí ar ais chugainn. Tá an t-am oibriúcháin comhionann le ham freagartha an ceann is moille. Má scaoilimid go léir i 50 milleasoicind, agus chuir muid céad iarratas, ansin gheobhaidh muid freagra i 50 milleasoicind.

Ós rud é go bhfuil muid leisciúil agus nach bhfuil muid ag iarraidh HTTP agus láimhseáil taisce a scríobh, déanfaimid NGINX gach rud dúinn. Mar a chonaic tú, bhí iarratas ar url/fetch, seo é:

Déanaimid simplí é proxy_pass, cuirimid in iúl cá háit le taisce a dhéanamh, conas é a dhéanamh, agus oibríonn gach rud dúinn.

Ach ní leor é seo, ní mór dúinn fós na sonraí a thabhairt don úsáideoir. Is é an smaoineamh is simplí gach rud i JSON a shraithiú, go héasca, i dhá líne. Tugaimid Content-Cineál, tugaimid JSON.

Ach tá deacracht amháin ann: níl an t-úsáideoir ag iarraidh JSON a léamh. Ní mór dúinn forbróirí ceann tosaigh a mhealladh. Uaireanta ní theastaíonn uainn é seo a dhéanamh ar dtús. Agus déarfaidh speisialtóirí Sinsearach, má tá pictiúir á lorg againn, ansin is cuma leo. Agus má thugaimid roinnt ábhar dóibh, déarfaidh siad nach ndéanann ár n-innill chuardaigh rud ar bith a innéacsú.

Cad atá le déanamh faoi? Ar ndóigh, tabharfaimid HTML don úsáideoir. Ní comme il faut é giniúint de láimh, mar sin ba mhaith linn teimpléid a úsáid. Tá leabharlann ann chuige seo lua-resty-template.

Is dócha go bhfaca tú na trí litir scanrúla OPM. Tagann OpenResty lena bhainisteoir pacáiste féin, trínar féidir leat a lán modúil éagsúla a shuiteáil, go háirithe, lua-resty-template. Is inneall teimpléad simplí é seo, cosúil le teimpléid Django. Is féidir leat cód a scríobh ansin agus ionadú inathraithe a dhéanamh.

Mar thoradh air sin, beidh gach rud cuma rud éigin mar seo:

Thógamar na sonraí agus rindreálamar an teimpléad, arís i dhá líne. Tá an t-úsáideoir sásta, fuair sé cait. Ós rud é gur mhéadaigh muid an t-iarratas, fuair sé séala fionnaidh le haghaidh kittens freisin. Ní fios duit, b'fhéidir go raibh sé seo go díreach á lorg aige, ach níorbh fhéidir leis a iarratas a fhoirmiú i gceart.

Tá gach rud iontach, ach táimid i mbun forbartha agus nílimid ag iarraidh é a thaispeáint d'úsáideoirí go fóill. Déanaimis an t-údarú. Chun seo a dhéanamh, breathnaímid ar an gcaoi a láimhseálann NGINX an t-iarratas i dtéarmaí OpenResty:

• An chéad chéim - rochtain a fháil ar, nuair a tháinig an t-úsáideoir díreach, agus d'fhéachamar air de réir ceanntásca, seoladh IP, agus sonraí eile. Is féidir linn é a ghearradh amach láithreach mura dtaitníonn sé linn. Is féidir é seo a úsáid le haghaidh údarú, nó má fhaighimid go leor iarratas, is féidir linn iad a ghearradh amach go héasca ag an gcéim seo.
• Athscríobh. Athscríobhaimid roinnt sonraí iarratais.
• ábhar. Cuirimid an t-ábhar ar fáil don úsáideoir.
• scagaire ceanntásca. Déanaimid na ceanntásca freagartha a athsholáthar. Má úsáidtear muid proxy_pass, is féidir linn roinnt ceanntásca a athscríobh sula dtabharfaidh sé don úsáideoir é.
• comhlacht scagaire. Is féidir linn an comhlacht a athrú.
• Logáil isteach — logáil. Is féidir leat logs a scríobh i elasticsearch gan ciseal breise.

Féachfaidh ár n-údarú rud éigin mar seo:

Cuirfimid é seo leis an gceann sin location, a ndearnamar cur síos air roimhe seo, agus cuir an cód seo a leanas ann:

Féachaimid féachaint an bhfuil comhartha fianán againn. Mura bhfuil, iarraimid údarú. Tá úsáideoirí cunning agus is féidir leo buille faoi thuairim gur gá dóibh comhartha fianán a shocrú. Dá bhrí sin, cuirfimid é i Redis freisin:

Tá an cód le haghaidh oibriú le Redis an-simplí agus níl aon difríocht idir é agus teangacha eile. Ag an am céanna, níl aon bhac ar gach ionchur/aschur, anseo agus ansiúd. Má scríobhann tú cód sioncronach, oibríonn sé asincrónach. Beagnach cosúil le gevent, ach déanta go maith.

Déanaimis an t-údarú féin:

Deirimid go gcaithfimid corp an iarratais a léamh. Faighimid POST argóintí agus seiceáil go bhfuil an logáil isteach agus pasfhocal i gceart. Má tá siad mícheart, tugaimid dúshlán duit maidir le húdarú. Agus más ceart, scríobh an comhartha in Redis:

Ná déan dearmad an fianán a shocrú, déantar é seo i dhá líne freisin:

Tá an sampla simplí agus amhantrach. Ar ndóigh, ní dhéanfaimid seirbhís a thaispeánann cait do dhaoine. Ach cé a bhfuil aithne aige orainn. Mar sin a ligean ar dul thar cad is féidir a dhéanamh i dtáirgeadh.

• Inneall íostach. Uaireanta ní mór dúinn ach beagán sonraí a aschur chuig an inneall: áit éigin ní mór dúinn dáta a chur isteach, áit éigin ní mór dúinn liosta a thaispeáint, a rá cé mhéad úsáideoir atá ar an láithreán anois, cuntar nó staitisticí a cheangal. Rud éigin chomh beag. Is féidir roinnt píosaí íosta a dhéanamh go han-éasca. Déanfaidh sé seo tapa, éasca agus iontach é.
• Réamhphróiseáil sonraí. Uaireanta ba mhaith linn fógraíocht a leabú isteach inár leathanach, agus faigheann muid an fhógraíocht seo ag baint úsáide as iarratais API. Tá sé seo an-éasca a dhéanamh anseo. Ní dhéanaimid ár n-inneall a luchtú, atá ina suí agus ag obair go crua cheana féin. Is féidir leat é a phiocadh suas agus é a bhailiú anseo. Is féidir linn roinnt JS a chur le chéile nó, os a choinne sin, é a dhíchúpláil agus rud éigin a réamhphróiseáil sula dtabharfar don úsáideoir é.
• Facade le haghaidh microservice. Is cás an-mhaith é seo freisin, chuir mé i bhfeidhm é. Roimhe sin, d'oibrigh mé ag Tenzor, cuideachta a dhéileálann le tuairisciú leictreonach agus a sholáthraíonn tuairisciú do thart ar leath de na heintitis dhlíthiúla sa tír. Chruthaíomar seirbhís, rinneadh go leor rudaí ansin ag baint úsáide as an meicníocht chéanna: ródú, údarú agus níos mó.
  Is féidir OpenResty a úsáid mar an gliú do do mhicrisheirbhísí, ag soláthar rochtain aonair ar gach rud agus comhéadan amháin. Ós rud é gur féidir microservices a scríobh sa chaoi is go bhfuil Node.js agat anseo, PHP anseo, Python anseo, rud éigin Erlang anseo, tuigimid nach bhfuil muid ag iarraidh an cód céanna a athscríobh i ngach áit. Dá bhrí sin, is féidir OpenResty a phlugáil isteach sa tosaigh.

• Staitisticí agus anailísíocht. De ghnáth bíonn NGINX ag an mbealach isteach, agus téann gach iarratas tríd. Tá sé san áit seo go bhfuil sé an-áisiúil a bhailiú. Is féidir leat rud éigin a ríomh láithreach agus é a uaslódáil áit éigin, mar shampla, Elasticsearch, Logstash, nó go simplí é a scríobh chuig an logáil agus ansin é a sheoladh áit éigin.
• Córais il-úsáideoirí. Mar shampla, tá cluichí ar líne an-mhaith freisin a dhéanamh. Sa lá atá inniu i Cape Town, labhróidh Alexander Gladysh faoi conas cluiche il-imreora a fhréamhshamhlú go tapa ag baint úsáide as OpenResty.
• Scagadh Iarratas (WAF). Sa lá atá inniu ann tá sé faiseanta gach cineál ballaí dóiteáin feidhmchlár gréasáin a dhéanamh; tá go leor seirbhísí ann a sholáthraíonn iad. Ag baint úsáide as OpenResty, is féidir leat balla dóiteáin feidhmchlár gréasáin a dhéanamh duit féin a dhéanfaidh iarratais a scagadh go simplí agus go héasca de réir do riachtanas. Má tá Python agat, tuigeann tú go cinnte nach gcuirfear PHP isteach ort, mura rud é, ar ndóigh, go bhfuil tú ag sceitheadh ​​​​áit ar bith ón gconsól. Tá a fhios agat go bhfuil MySQL agus Python agat. Is dócha go ndéanfadh siad iarracht trasnú eolaire de chineál éigin a dhéanamh agus rud éigin a instealladh isteach sa bhunachar sonraí. Mar sin, is féidir leat fiosruithe aisteacha a scagadh go tapa agus go saor ar an taobh tosaigh.
• Pobal. Ós rud é go bhfuil OpenResty tógtha ar NGINX, tá bónas aige - seo pobal NGINX. Tá sé an-mhór, agus tá cuid mhaith de na ceisteanna a bheidh agat ar dtús réitithe cheana féin ag pobal NGINX.

  Forbróirí Lua. Inné labhair mé leis na guys a tháinig go dtí an lá oiliúna HighLoad++ agus a chuala nach raibh ach Tarantool scríofa i Lua. Níl sé seo fíor, tá a lán rudaí scríofa i Lua. Samplaí: OpenResty, freastalaí Prosody XMPP, inneall cluiche Love2D, Lua scriptithe in Warcraft agus in áiteanna eile. Tá go leor forbróirí Lua ann, tá pobal mór freagrúil acu. Réitíodh mo cheisteanna Lua go léir laistigh de chúpla uair an chloig. Nuair a scríobhann tú chuig an liosta seoltaí, go litriúil laistigh de chúpla nóiméad tá go leor freagraí ann cheana féin, ag cur síos ar cad é agus conas, cad atá. Tá sé go hiontach. Ar an drochuair, níl a leithéid de phobal spioradálta i ngach áit.
  Tá GitHub ann do OpenResty, áit ar féidir leat saincheist a oscailt má tá rud éigin briste. Tá liosta postála ar Ghrúpaí Google, áit ar féidir leat saincheisteanna ginearálta a phlé, tá liosta postála i Sínis - níl a fhios agat, b'fhéidir nach bhfuil Béarla agat, ach tá Sínis ar eolas agat.

Torthaí

• Tá súil agam go raibh mé in ann a chur in iúl gur creat an-áisiúil é OpenResty atá oiriúnaithe don ngréasán.
• Tá bacainn íseal ar iontráil, ós rud é go bhfuil an cód cosúil leis an méid a scríobhaimid, tá an teanga simplí go leor agus íostach.
• Soláthraíonn sé I/O asincrónach gan aisghlaonna, ní bheidh aon núdail againn mar is féidir linn uaireanta a scríobh i NodeJS.
• Tá imscaradh éasca aige, ós rud é nach gá dúinn ach NGINX leis an modúl riachtanach agus ár gcód, agus oibríonn gach rud láithreach.
• Pobal mór freagrúil.

Níor inis mé go mion conas a dhéantar ródú, ba scéal an-fhada a bhí ann.

Go raibh maith agat as bhur n-aire!

Vladimir Protasov - OpenResty: ag casadh NGINX isteach i bhfreastalaí feidhmchláir lán-chuimsitheach

Foinse: will.com