우리는 회의 보고서의 사본을 다시 게시합니다. HighLoad ++ 2016년 7월 8~XNUMX일 모스크바 근처 스콜코보에서 열렸습니다. 블라디미르 프로타소프 OpenResty와 Lua를 사용하여 NGINX 기능을 확장하는 방법을 설명합니다.

안녕하세요 여러분, 저는 블라디미르 프로타소프이고 Parallels에서 일하고 있습니다. 저에 대해 간략히 말씀드리겠습니다. 저는 제 인생의 4분의 3을 코드를 쓰는 데 바칩니다. 나는 문자 그대로 핵심적인 프로그래머가 되었습니다. 가끔 꿈에서 코드를 보기도 합니다. 제 인생의 4분의 1은 산업 개발로, 바로 생산에 투입되는 코드를 작성하는 일입니다. 여러분 중 일부는 사용하지만 깨닫지 못하는 코드입니다.

그래서 모든 것이 얼마나 나쁜지 이해하게 해주세요. 제가 아직 초보였을 때, 그들은 저에게 100테라바이트 규모의 데이터베이스를 주었습니다. 지금은 여기 있는 모든 사람들에게 부담이 큰 상황입니다. 저는 컨퍼런스에 가서 "여러분, 빅데이터가 모든 면에서 괜찮은 건가요? 거기 기반은 얼마나 되시나요?"라고 물었습니다. 그러자 그들은 "100기가바이트입니다!"라고 대답했습니다. "멋지네, XNUMX기가바이트!"라고 말하며 어떻게 포커페이스를 유지해야 할지 고민했습니다. "이 사람들 멋지다"라고 생각하다가 돌아와서 테라바이트급 데이터베이스를 가지고 장난치는 거죠. 초보라고 하는 게 얼마나 큰 타격인지 상상이 가시나요?

저는 20개 이상의 프로그래밍 언어를 알고 있습니다. 이건 제가 일하면서 알아내야 했던 점이에요. Erlang, C, C++, Lua, Python, Ruby 또는 다른 언어로 작성된 코드가 주어지면 이를 모두 잘라내야 합니다. 일반적으로는 그럴 수밖에 없었습니다. 정확한 숫자를 세는 것은 불가능하지만, 20번째쯤에서 숫자가 사라졌습니다.

여기 있는 모든 사람들이 Parallels가 무엇이고 무엇을 하는지 알고 있기 때문에, 우리가 얼마나 멋진지, 무엇을 하는지에 대해서는 이야기하지 않겠습니다. 저희는 전 세계에 13개의 사무실을 두고 있으며, 직원은 300명이 넘고, 모스크바, 탈린, 몰타에 개발팀을 두고 있습니다. 겨울에 추워서 등을 따뜻하게 해줘야 한다면 그냥 몰타로 이사하면 됩니다.

저희 부서는 Python 2로만 작성합니다. 사업을 하고 있어서 최신 기술을 구현할 시간이 없어서 어려움을 겪고 있습니다. Django를 사용하는 이유는 모든 기능이 들어있고, 불필요한 기능은 제거했기 때문입니다. 또한 MySQL, Redis, NGINX도 있습니다. 그 밖에도 멋진 상품이 많이 있습니다. 우리는 MongoDB도 있고, 토끼도 뛰어다니고, 모든 걸 다 가지고 있지만, 그것들은 내 것이 아니고, 나는 그런 일을 하지 않는다.

오픈리스 티

나는 내 자신에 대해 이야기했습니다. 오늘은 무슨 이야기를 할지 알아보겠습니다.

• OpenResty란 무엇이고 어떻게 사용하나요?
• Python, NodeJS, PHP, Go 등 모두가 만족하는 멋진 것들이 있는데 왜 바퀴를 새로 만들어야 합니까?
• 그리고 실제 생활에서의 몇 가지 예를 들어보겠습니다. 보고서가 3,5시간 분량이라 많은 부분을 잘라야 했고, 예시도 거의 없을 겁니다.

OpenResty는 NGINX입니다. 그 덕분에 우리는 훌륭하게 작성되고 빠르게 작동하는 완벽한 웹 서버를 갖게 되었습니다. 저는 우리 대부분이 프로덕션에서 NGINX를 사용한다고 생각합니다. 여러분은 그가 빠르고 멋진 사람이라는 걸 알고 있죠. 그들은 멋진 동기식 I/O를 만들었기 때문에 Python에서 gevent를 순환했던 것과 같은 것을 순환할 필요가 없습니다. Gevent는 멋지고 굉장하지만, C 코드를 작성하다가 문제가 생기면 gevent를 사용하여 디버깅하는 데 미칠 것 같습니다. 저는 이런 경험을 했습니다. 무엇이 잘못되었는지 알아내는 데 꼬박 이틀이 ​​걸렸습니다. 누군가가 몇 주 동안 조사하지 않고, 문제를 찾아내지 않고, 인터넷에 글을 올리지 않았고, 구글에서 찾지 못했다면, 우리는 완전히 미쳐버렸을 겁니다.

NGINX에는 이미 캐싱과 정적 콘텐츠가 구현되어 있습니다. 어떻게 하면 인도적인 방식으로 할 수 있을지, 어딘가에서 속도를 늦추지 않을지, 어딘가에서 설명자를 잃어버리지 않을지에 대해 걱정할 필요가 없습니다. Nginx는 배포하기가 매우 쉽습니다. WSGI, PHP-FPM, Gunicorn, Unicorn 중 무엇을 선택해야 할지 고민할 필요가 없습니다. Nginx가 설치되어 관리자에게 제공되므로 관리자는 Nginx를 사용하는 방법을 알고 있습니다. Nginx는 구조화된 방식으로 요청을 처리합니다. 이에 대해서는 나중에 자세히 말씀드리겠습니다. 간단히 말해서, 요청을 수락하는 단계, 요청을 처리하는 단계, 그리고 사용자에게 콘텐츠를 반환하는 단계가 있습니다.

Nginx는 멋진 기능이지만, 한 가지 문제가 있습니다. 사용자 정의가 가능하다는 사실에도 불구하고, 개발자들이 설정에 집어넣은 모든 멋진 기능에도 불구하고 유연성이 충분하지 않다는 것입니다. 이 힘은 충분하지 않습니다. 그래서 타오바오 사람들은 오래전, 약 8년 전에 루아를 앱에 내장했습니다. 그것은 무엇을 주나요?

• 크기. 그는 키가 작습니다. LuaJIT은 약 100~200KB의 메모리 오버헤드와 최소한의 성능 오버헤드를 발생시킵니다.
• 속도. LuaJIT 인터프리터는 많은 상황에서 C와 비슷하지만, 어떤 상황에서는 Java보다 떨어지고, 어떤 상황에서는 Java보다 뛰어납니다. 한동안 이는 최첨단이자 가장 멋진 JIT 컴파일러로 여겨졌습니다. 요즘은 더 멋진 모델도 있지만, 예를 들어 V8 엔진이 달린 모델은 매우 무겁습니다. 일부 JS 인터프리터와 Java의 HotSpot은 어떤 부분에서는 더 빠르지만, 다른 부분에서는 여전히 뒤처집니다.
• 배우기 쉽다. 예를 들어 Perl 코드 기반이 있고 Booking.com이 아니라면 Perl 프로그래머를 찾을 수 없습니다. 존재하지 않기 때문에 모두 빼앗겼고, 그들을 가르치는 일은 길고 힘듭니다. 다른 분야에서 프로그래머가 필요하다면, 그들을 재교육하거나 새로 찾아야 할 수도 있습니다. Lua의 경우 모든 것이 간단합니다. 루아는 초급자라면 누구나 3일 만에 배울 수 있습니다. 그것을 알아내는 데 약 2시간이 걸렸습니다. 2시간 만에 저는 이미 프로덕션에서 사용할 코드를 작성하고 있었습니다. 일주일 후 그는 바로 제작에 들어갔습니다.

결과적으로 다음과 같습니다.

여기에는 많은 것이 있습니다. OpenResty는 Lua와 Engine을 모두 포함한 여러 모듈을 수집했습니다. 그리고 당신은 모든 것을 준비했습니다 - 배치하고 작동시키세요.

예

가사는 이제 그만하고 코드로 넘어가겠습니다. 간단한 Hello World를 소개합니다.

여기에 무엇이 있나요? 이곳은 엔진스 매장입니다. 우리는 신경 쓰지 않고, 우리만의 라우팅을 작성하지도 않고, 기성 라우팅을 사용하지도 않습니다. 이미 NGINX에 구현되어 있으니까, 우리는 게으르게 잘 지냅니다.

content_by_lua_block – 이는 Lua 스크립트를 사용하여 콘텐츠를 전달한다는 것을 나타내는 블록입니다. 우리는 Engins 변수를 사용합니다 remote_addr 그리고 우리는 그것을 끼운다 string.format. 그것은 동일합니다 sprintf, Lua에서만, 오직 정확합니다. 그리고 우리는 그것을 고객에게 제공합니다.

결과적으로 다음과 같이 보입니다.

하지만 현실 세계로 돌아와보죠. 아무도 Hello World를 프로덕션에 배포하지 않습니다. 우리의 애플리케이션은 대개 데이터베이스나 다른 곳으로 가서 대부분의 시간을 응답을 기다리는 데 보냅니다.

그냥 앉아서 기다립니다. 이건 별로 좋지 않아요. 사용자가 100.000만 명이 되면 우리에게는 매우 어렵습니다. 그러면 간단한 애플리케이션을 예로 들어 보겠습니다. 예를 들어, 고양이 사진을 찾아보겠습니다. 하지만 우리는 단순히 검색만 하는 것이 아니라 키워드를 확장하여 사용자가 "새끼 고양이"를 검색하면 고양이, 털이 많은 고양이 등을 찾을 것입니다. 먼저 백엔드에서 요청 데이터를 가져와야 합니다. 이는 다음과 같습니다.

두 줄만 사용하면 GET 매개변수를 아무 문제 없이 가져올 수 있습니다. 다음으로, 키워드와 확장자를 사용하여 테이블이 있는 데이터베이스에서 일반 SQL 쿼리를 사용하여 이 정보를 가져온다고 가정해 보겠습니다. 간단하죠. 이는 다음과 같습니다.

도서관 연결 resty.mysql, 이미 키트에 들어있습니다. 아무것도 설치할 필요가 없습니다. 모든 것이 준비되어 있습니다. 연결 방법과 SQL 쿼리를 만드는 방법을 지정합니다.

여기는 조금 무섭지만 모든 게 잘 돌아가요. 여기서는 10이 한계입니다. 우리는 10개의 레코드를 꺼냅니다. 우리는 게으르고, 더 많은 것을 보여주고 싶지 않습니다. SQL의 제한을 잊어버렸네요.

다음으로 모든 요청에 ​​대한 이미지를 찾습니다. 우리는 많은 쿼리를 수집하여 Lua 테이블에 채웁니다. reqs, 그리고 우리는 그것을 합니다 ngx.location.capture_multi.

이 모든 요청은 병렬로 진행되며, 답변은 우리에게 반환됩니다. 실행 시간은 가장 느린 것의 응답 시간과 같습니다. 만약 우리가 50밀리초 안에 모두 응답하고, 50개의 요청을 보낸다면, XNUMX밀리초 안에 응답을 받게 될 것입니다.

우리는 게으르고 HTTP 처리와 캐싱을 작성하고 싶지 않기 때문에 NGINX가 모든 작업을 대신 처리하도록 할 것입니다. 보시다시피 요청이 있었습니다. url/fetch, 여기 그는:

우리는 그것을 간단하게 만듭니다 proxy_pass캐시할 위치와 방법을 알려주면 모든 것이 우리에게 유리합니다.

하지만 이것만으로는 충분하지 않습니다. 우리는 여전히 사용자에게 데이터를 제공해야 합니다. 가장 간단한 아이디어는 모든 것을 JSON으로 직렬화하는 것입니다. 간단하고 두 줄로 가능합니다. Content-Type을 반환하고 JSON을 반환합니다.

하지만 한 가지 어려움이 있습니다. 사용자는 JSON을 읽고 싶어하지 않습니다. 우리는 프런트엔드 개발자를 유치해야 합니다. 때로는 처음에는 하고 싶지 않을 때도 있습니다. 그리고 SEO 전문가들은 우리가 이미지를 찾고 있다면 그것은 중요하지 않다고 말할 것입니다. 그리고 우리가 그들에게 콘텐츠를 제공하더라도, 그들은 검색 엔진이 우리에 대한 어떤 것도 색인하지 않는다고 말할 것입니다.

이에 대해 어떻게 해야 할까? 물론, 우리는 사용자에게 HTML을 제공할 것입니다. 수동으로 생성하는 것은 쉽지 않으므로 템플릿을 사용하려고 합니다. 이에 대한 도서관이 있습니다. lua-resty-template.

아마도 OPM이라는 무서운 세 글자를 본 적이 있을 겁니다. OpenResty에는 자체 패키지 관리자가 함께 제공되며 이를 통해 특히 다양한 모듈을 설치할 수 있습니다. lua-resty-template. 이는 Django 템플릿과 비슷한 간단한 템플릿 엔진입니다. 여기에서 코드를 작성하고 변수를 대체할 수 있습니다.

결과적으로 모든 것이 다음과 같이 보일 것입니다.

우리는 데이터를 가져와서 두 줄로 다시 템플릿을 렌더링했습니다. 사용자는 고양이를 받아서 행복했습니다. 우리가 요청을 확대했기 때문에 그는 새끼 고양이와 함께 물개도 받았습니다. 누가 알겠는가, 어쩌면 그는 정확히 그것을 찾고 있었을지도 모르지만, 요청을 올바르게 표현하지 못했을지도 모른다.

모든 것이 멋지지만, 아직 개발 중이라 사용자에게 공개하고 싶지 않습니다. 승인을 진행해 보겠습니다. 이를 위해 OpenResty 관점에서 NGINX가 요청을 처리하는 방식을 살펴보겠습니다.

• 첫 번째 단계 - ACCESS사용자가 방금 도착했을 때, 헤더, IP 주소, 기타 데이터를 통해 사용자를 살펴보았습니다. 마음에 들지 않으면 바로 잘라낼 수도 있어요. 이는 승인에 사용될 수 있으며, 요청이 많을 경우 이 단계에서 쉽게 요청을 차단할 수 있습니다.
• 고쳐 쓰기. 일부 요청 데이터를 다시 작성하고 있습니다.
• 함유량. 우리는 사용자에게 콘텐츠를 제공합니다.
• 헤더 필터. 응답 헤더를 교체합니다. 우리가 사용한다면 proxy_pass사용자에게 제공하기 전에 일부 헤더를 다시 작성할 수 있습니다.
• 바디 필터. 우리는 신체를 대체할 수 있습니다.
• 기록 — 로깅. 추가적인 계층 없이 Elasticsearch에 로그를 기록하는 것이 가능합니다.

우리의 승인은 다음과 같습니다:

우리는 그것을 거기에 추가하겠습니다. location, 우리가 이전에 설명한 대로, 거기에 다음 코드를 넣었습니다:

쿠키 토큰이 있는지 확인합니다. 그렇지 않은 경우에는 승인을 위해 이를 폐기합니다. 사용자는 똑똑해서 쿠키 토큰을 설정해야 한다는 것을 짐작할 수 있습니다. 그래서 Redis에도 넣어보겠습니다.

Redis를 사용하는 코드는 매우 간단하며 다른 언어와 다르지 않습니다. 동시에, 여기와 거기의 모든 입출력은 비차단입니다. 동기 코드를 작성하면 비동기적으로 작동합니다. gevent와 비슷한데, 좀 더 잘된 버전입니다.

권한 부여 자체를 해 보겠습니다.

요청 본문을 읽어야 한다고 말합니다. POST 인수를 받아서 로그인과 비밀번호가 올바른지 확인합니다. 만약 정보가 정확하지 않다면, 우리는 승인을 위해 정보를 보냅니다. 그리고 만약 그들이 맞다면, 우리는 토큰을 Redis에 씁니다:

쿠키를 설정하는 것을 잊지 마세요. 이 작업도 두 줄로 이루어집니다.

간단하고 추측적인 예입니다. 물론, 사람들에게 고양이를 보여주는 서비스는 만들지 않을 거예요. 우리를 아는 사람은 아무도 없지만요. 그러면 프로덕션에서 무엇을 할 수 있는지 살펴보겠습니다.

• 최소한의 백엔드. 때로는 백엔드에 아주 적은 양의 데이터를 제공해야 할 때가 있습니다. 어딘가에 날짜를 삽입해야 하거나, 어딘가에 목록을 출력해야 합니다. 예를 들어, 현재 사이트에 있는 사용자 수를 입력하거나, 카운터나 통계를 첨부해야 할 때가 있습니다. 그런 작은 일이죠. 아주 쉽게 최소한의 조각품을 만들 수 있습니다. 이렇게 하면 빠르고, 쉽고, 멋지게 될 겁니다.
• 데이터 전처리. 가끔 우리는 페이지에 광고를 삽입하고 싶을 때가 있는데, 이때는 API 요청을 사용하여 이 광고를 가져옵니다. 여기서는 매우 쉽게 할 수 있습니다. 우리는 이미 열심히 일하고 있는 백엔드에 과부하를 주지 않습니다. 여기서 가져가서 조립할 수 있습니다. 우리는 몇몇 JS를 하나로 붙일 수도 있고, 반대로 그것을 풀어서 사용자에게 제공하기 전에 사전 처리할 수도 있습니다.
• 마이크로서비스를 위한 Facade. 이것 역시 매우 좋은 사례이고, 제가 구현했습니다. 그 전에는 전자 보고를 처리하고 국내 법인의 절반 가량에 보고 서비스를 제공하는 회사인 Tenzor에서 일했습니다. 우리는 라우팅, 권한 부여 등 많은 작업을 동일한 메커니즘을 사용하여 수행할 수 있는 서비스를 만들었습니다.
  OpenResty는 마이크로서비스를 연결하는 접착제 역할을 하며 모든 것에 대한 단일 액세스와 단일 인터페이스를 제공합니다. 마이크로서비스는 Node.js, PHP, Python, Erlang 등으로 작성할 수 있으므로 모든 곳에서 동일한 코드를 다시 작성하고 싶지 않다는 것을 알고 있습니다. 따라서 OpenResty를 전면에 설치할 수 있습니다.
• 통계 및 분석. 일반적으로 NGINX가 입구에 있으며 모든 요청은 이를 통과합니다. 이곳은 조립하기에 매우 편리한 곳입니다. 예를 들어 Elasticsearch, Logstash와 같이 무언가를 즉시 계산하여 어딘가에 넣을 수도 있고, 간단히 로그에 기록한 다음 어딘가로 보낼 수도 있습니다.
• 다중 사용자 시스템. 예를 들어, 온라인 게임도 만들기 매우 좋습니다. 오늘 케이프타운에서 Alexander Gladysh는 OpenResty를 사용하여 멀티플레이어 게임의 프로토타입을 빠르게 만드는 방법에 대해 설명합니다.
• 요청 필터링(WAF). 요즘은 온갖 종류의 웹 애플리케이션 방화벽을 만드는 것이 유행이며, 이를 제공하는 서비스도 많습니다. OpenResty의 도움으로 요구 사항에 따라 요청을 간단하고 쉽게 필터링하는 웹 애플리케이션 방화벽을 만들 수 있습니다. Python을 사용한다면 PHP는 전혀 주입되지 않는다는 걸 알고 계실 겁니다. 물론 콘솔 어딘가에서 직접 생성하지 않는 한 말이죠. MySQL과 Python이 있다는 걸 알고 계시죠? 아마도 그들은 여기서 디렉토리 탐색을 시도하고 데이터베이스에 무언가를 삽입할 것입니다. 따라서 프런트엔드에서 의심스러운 쿼리를 빠르고 저렴하게 필터링할 수 있습니다.
• 지역 사회. OpenResty는 NGINX 기반으로 구축되었으므로 다음과 같은 보너스가 있습니다. NGINX 커뮤니티. 규모가 매우 크고 처음에 궁금해할 질문 중 상당수는 NGINX 커뮤니티에서 이미 답변했습니다.

  Lua 개발자들. 어제 HighLoad++ 교육에 참석한 사람들과 이야기를 나누었는데, Tarantool만 Lua로 작성되었다고 들었습니다. 사실이 아닙니다. 루아어로 쓰여진 내용이 많습니다. 예: OpenResty, Prosody XMPP 서버, Love2D 게임 엔진, Warcraft에서 스크립트로 작성된 Lua 등. Lua 개발자가 많고, 규모가 크고 반응이 빠른 커뮤니티를 갖고 있습니다. Lua에 대한 모든 질문은 몇 시간 내에 해결되었습니다. 메일링 리스트에 글을 쓰면 몇 분 안에 이미 많은 답변이 옵니다. 무슨 내용인지, 어떻게 하는지, 무엇이 무엇인지 설명하는 답변이요. 정말 멋지네요. 안타깝게도 이처럼 친절하고 따뜻한 커뮤니티가 모든 곳에 있는 것은 아닙니다.
  OpenResty에는 GitHub이 있는데, 문제가 생기면 거기서 이슈를 열 수 있습니다. Google 그룹에는 일반적인 문제를 논의할 수 있는 메일링 목록이 있고, 중국어로 된 메일링 목록도 있습니다. 영어를 못하더라도 중국어는 알 수 있을 겁니다.

결과

• OpenResty가 웹에 맞춰 만들어진 매우 편리한 프레임워크라는 점을 전달하고 싶습니다.
• 코드가 우리가 쓰는 것과 비슷하고, 언어가 매우 간단하고 단순하기 때문에 진입 장벽이 낮습니다.
• 콜백 없이 비동기 I/O를 제공하므로 NodeJS에서 가끔 작성할 수 있는 누들(noodle)은 없습니다.
• NGINX에 필요한 모듈과 코드만 있으면 되므로 배포가 쉽고, 모든 것이 바로 작동합니다.
• 규모가 크고 반응이 빠른 커뮤니티입니다.

라우팅이 어떻게 이루어지는지 자세히 설명하지 않았는데, 그러면 매우 긴 이야기가 될 겁니다.

감사합니다!

블라디미르 프로타소프 — OpenResty: NGINX를 완전한 애플리케이션 서버로 전환

출처 : habr.com