승인 및 S3를 사용하여 나만의 PyPI 저장소를 만들었습니다. Nginx에서

이 기사에서는 Nginx Inc에서 개발한 Nginx용 JavaScript 인터프리터인 NJS에 대한 내 경험을 공유하고 실제 예를 사용하여 주요 기능을 설명하고 싶습니다. NJS는 Nginx의 기능을 확장할 수 있는 JavaScript의 하위 집합입니다. 질문에 왜 당신의 통역사입니까??? Dmitry Volyntsev가 자세히 답변했습니다. 간단히 말해서, NJS는 nginx 방식이며 JavaScript는 Lua와 달리 GC가 없는 더 진보적이고 "네이티브"입니다.

옛날에…

마지막 직장에서 저는 docker-compose, dind 및 기타 기능이 포함된 다양한 CI/CD 파이프라인이 있는 gitlab을 물려받았으며 이는 kaniko Rails로 이전되었습니다. 기존 CI에 사용되었던 이미지를 원본 형태로 옮겼습니다. gitlab IP가 변경되고 CI가 호박으로 변하는 날까지 제대로 작동했습니다. 문제는 CI에 참여한 도커 이미지 중 하나에 ssh를 통해 Python 모듈을 끌어오는 git이 있다는 것이었습니다. SSH의 경우 개인 키가 필요하며... Known_hosts와 함께 이미지에 있었습니다. 그리고 실제 IP와 Known_hosts에 지정된 IP 간의 불일치로 인해 키 확인 오류로 인해 모든 CI가 실패했습니다. 기존 Dockfile에서 새 이미지가 빠르게 조합되었으며 옵션이 추가되었습니다. StrictHostKeyChecking no. 그러나 나쁜 취향은 남아 있었고 libs를 개인 PyPI 저장소로 옮기려는 욕구가 있었습니다. 프라이빗 PyPI로 전환한 후 추가 보너스는 파이프라인이 더 간단해지고 요구사항.txt에 대한 일반적인 설명이었습니다.

선택이 이루어졌습니다, 여러분!

우리는 클라우드와 Kubernetes에서 모든 것을 실행하며 결국 외부 스토리지가 있는 상태 비저장 컨테이너인 작은 서비스를 원했습니다. 글쎄, 우리는 S3를 사용하기 때문에 우선 순위가 주어졌습니다. 그리고 가능하다면 gitlab에서 인증을 사용하세요(필요하다면 직접 추가할 수도 있습니다).

빠른 검색을 통해 s3pypi, pypicloud 및 순무용 html 파일을 "수동" 생성하는 옵션 등 여러 결과가 나왔습니다. 마지막 옵션이 저절로 사라졌습니다.

s3pypi: S3 호스팅을 사용하기 위한 cli입니다. 파일을 업로드하고 HTML을 생성하여 동일한 버킷에 업로드합니다. 가정용으로 적합합니다.

pypicloud: 흥미로운 프로젝트인 것 같았지만 문서를 읽은 후 실망했습니다. 훌륭한 문서화와 필요에 맞게 확장할 수 있는 기능에도 불구하고 실제로는 중복되고 구성하기 어려운 것으로 나타났습니다. 당시 추정에 따르면 작업에 맞게 코드를 수정하는 데 3~5일이 걸렸을 것입니다. 서비스에는 데이터베이스도 필요합니다. 다른 것을 찾지 못할 경우를 대비해 그대로 두었습니다.

보다 심층적인 검색을 통해 Nginx용 모듈인 ngx_aws_auth가 나왔습니다. 그의 테스트 결과는 S3 버킷의 내용을 보여주는 XML로 브라우저에 표시되었습니다. 검색 당시 마지막 커밋은 XNUMX년 전이었습니다. 저장소는 버려진 것처럼 보였습니다.

출처에 가서 읽어보면 PEP-503 XML을 즉시 HTML로 변환하여 pip에 제공할 수 있다는 것을 깨달았습니다. Nginx와 S3에 대해 좀 더 검색한 후 Nginx용 JS로 작성된 S3 인증의 예를 발견했습니다. 그렇게 NJS를 만났습니다.

이 예를 기초로 하여 한 시간 후에 브라우저에서 ngx_aws_auth 모듈을 사용할 때와 동일한 XML을 보았지만 모든 것이 이미 JS로 작성되었습니다.

나는 nginx 솔루션을 정말 좋아했습니다. 첫째, 좋은 문서와 많은 예제, 둘째, 파일 작업을 위한 Nginx의 모든 장점을 즉시 얻을 수 있습니다. 셋째, Nginx 구성을 작성하는 방법을 아는 사람은 누구나 무엇이 무엇인지 알아낼 수 있습니다. 넥서스는 말할 것도 없고 Python이나 Go(처음부터 작성된 경우)에 비해 미니멀리즘은 나에게 플러스이기도 합니다.

TL;DR 2일 후 PyPi의 테스트 버전이 이미 CI에서 사용되었습니다.

어떻게 작동합니까?

모듈이 Nginx에 로드됩니다. ngx_http_js_module, 공식 도커 이미지에 포함되어 있습니다. 지시문을 사용하여 스크립트를 가져옵니다. js_importNginx 구성에. 함수는 지시문에 의해 호출됩니다. js_content. 지시문은 변수를 설정하는 데 사용됩니다. js_set, 스크립트에 설명된 함수만 인수로 사용합니다. 그러나 우리는 XMLHttpRequest가 아닌 Nginx만을 사용하여 NJS에서 하위 쿼리를 실행할 수 있습니다. 이렇게 하려면 Nginx 구성에 해당 위치를 추가해야 합니다. 그리고 스크립트는 이 위치에 대한 하위 요청을 설명해야 합니다. Nginx 구성에서 함수에 액세스하려면 스크립트 자체에서 함수 이름을 내보내야 합니다. export default.

nginx.conf

load_module modules/ngx_http_js_module.so;
http {
  js_import   imported_name  from script.js;

server {
  listen 8080;
  ...
  location = /sub-query {
    internal;

    proxy_pass http://upstream;
  }

  location / {
    js_content imported_name.request;
  }
}

script.js

function request(r) {
  function call_back(resp) {
    // handler's code
    r.return(resp.status, resp.responseBody);
  }

  r.subrequest('/sub-query', { method: r.method }, call_back);
}

export default {request}

브라우저에서 요청할 때 http://localhost:8080/ 우리는 들어간다 location /지시어는 js_content 함수를 호출하다 request 우리 스크립트에 설명되어 있습니다 script.js. 차례로, 함수에서 request 하위 쿼리가 수행됩니다. location = /sub-query, 인수에서 얻은 메소드(현재 예에서는 GET)를 사용합니다. (r), 이 함수가 호출될 때 암시적으로 전달됩니다. 하위 요청 응답은 함수에서 처리됩니다. call_back.

S3 사용해보기

프라이빗 S3 스토리지를 요청하려면 다음이 필요합니다.

ACCESS_KEY

SECRET_KEY

S3_BUCKET

사용된 http 메소드, 현재 날짜/시간, S3_NAME 및 URI에서 SECRET_KEY를 사용하여 서명된(HMAC_SHA1) 특정 유형의 문자열이 생성됩니다. 다음은 다음과 같은 줄입니다. AWS $ACCESS_KEY:$HASH, 인증 헤더에 사용할 수 있습니다. 이전 단계에서 문자열을 생성하는 데 사용된 것과 동일한 날짜/시간을 헤더에 추가해야 합니다. X-amz-date. 코드에서는 다음과 같습니다.

nginx.conf

load_module modules/ngx_http_js_module.so;
http {
  js_import   s3      from     s3.js;

  js_set      $s3_datetime     s3.date_now;
  js_set      $s3_auth         s3.s3_sign;

server {
  listen 8080;
  ...
  location ~* /s3-query/(?<s3_path>.*) {
    internal;

    proxy_set_header    X-amz-date     $s3_datetime;
    proxy_set_header    Authorization  $s3_auth;

    proxy_pass          $s3_endpoint/$s3_path;
  }

  location ~ "^/(?<prefix>[w-]*)[/]?(?<postfix>[w-.]*)$" {
    js_content s3.request;
  }
}

s3.js(AWS Sign v2 인증 예시, 더 이상 사용되지 않는 상태로 변경됨)

var crypt = require('crypto');

var s3_bucket = process.env.S3_BUCKET;
var s3_access_key = process.env.S3_ACCESS_KEY;
var s3_secret_key = process.env.S3_SECRET_KEY;
var _datetime = new Date().toISOString().replace(/[:-]|.d{3}/g, '');

function date_now() {
  return _datetime
}

function s3_sign(r) {
  var s2s = r.method + 'nnnn';

  s2s += `x-amz-date:${date_now()}n`;
  s2s += '/' + s3_bucket;
  s2s += r.uri.endsWith('/') ? '/' : r.variables.s3_path;

  return `AWS ${s3_access_key}:${crypt.createHmac('sha1', s3_secret_key).update(s2s).digest('base64')}`;
}

function request(r) {
  var v = r.variables;

  function call_back(resp) {
    r.return(resp.status, resp.responseBody);
  }

  var _subrequest_uri = r.uri;
  if (r.uri === '/') {
    // root
    _subrequest_uri = '/?delimiter=/';

  } else if (v.prefix !== '' && v.postfix === '') {
    // directory
    var slash = v.prefix.endsWith('/') ? '' : '/';
    _subrequest_uri = '/?prefix=' + v.prefix + slash;
  }

  r.subrequest(`/s3-query${_subrequest_uri}`, { method: r.method }, call_back);
}

export default {request, s3_sign, date_now}

에 대한 약간의 설명 _subrequest_uri: 초기 uri에 따라 S3에 요청을 보내는 변수입니다. "루트"의 내용을 가져와야 하는 경우 구분 기호를 나타내는 URI 요청을 생성해야 합니다. delimiter, 이는 디렉터리에 해당하는 모든 CommonPrefixes xml 요소 목록을 반환합니다(PyPI의 경우 모든 패키지 목록). 특정 디렉터리의 콘텐츠 목록(모든 패키지 버전 목록)을 가져와야 하는 경우 uri 요청에는 반드시 슬래시 /로 끝나는 디렉터리(패키지) 이름이 있는 접두사 필드가 포함되어야 합니다. 그렇지 않으면 예를 들어 디렉토리의 내용을 요청할 때 충돌이 발생할 수 있습니다. aiohttp-request 및 aiohttp-requests 디렉토리가 있으며 요청에 지정된 경우 /?prefix=aiohttp-request, 응답에는 두 디렉터리의 내용이 모두 포함됩니다. 끝에 슬래시가 있는 경우 /?prefix=aiohttp-request/, 그러면 응답에는 필수 디렉터리만 포함됩니다. 그리고 파일을 요청하면 결과 URI는 원본 URI와 달라서는 안 됩니다.

Nginx를 저장하고 다시 시작하세요. 브라우저에 Nginx의 주소를 입력하면 요청 결과는 XML이 됩니다. 예를 들면 다음과 같습니다.

디렉토리 목록

<?xml version="1.0" encoding="UTF-8"?>
<ListBucketResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/">
  <Name>myback-space</Name>
  <Prefix></Prefix>
  <Marker></Marker>
  <MaxKeys>10000</MaxKeys>
  <Delimiter>/</Delimiter>
  <IsTruncated>false</IsTruncated>
  <CommonPrefixes>
    <Prefix>new/</Prefix>
  </CommonPrefixes>
  <CommonPrefixes>
    <Prefix>old/</Prefix>
  </CommonPrefixes>
</ListBucketResult>

디렉토리 목록에서 다음 요소만 필요합니다. CommonPrefixes.

브라우저의 주소에 필요한 디렉토리를 추가하면 해당 내용도 XML 형식으로 받게 됩니다.

디렉토리에 있는 파일 목록

<?xml version="1.0" encoding="UTF-8"?>
<ListBucketResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/">
  <Name> myback-space</Name>
  <Prefix>old/</Prefix>
  <Marker></Marker>
  <MaxKeys>10000</MaxKeys>
  <Delimiter></Delimiter>
  <IsTruncated>false</IsTruncated>
  <Contents>
    <Key>old/giphy.mp4</Key>
    <LastModified>2020-08-21T20:27:46.000Z</LastModified>
    <ETag>&#34;00000000000000000000000000000000-1&#34;</ETag>
    <Size>1350084</Size>
    <Owner>
      <ID>02d6176db174dc93cb1b899f7c6078f08654445fe8cf1b6ce98d8855f66bdbf4</ID>
      <DisplayName></DisplayName>
    </Owner>
    <StorageClass>STANDARD</StorageClass>
  </Contents>
  <Contents>
    <Key>old/hsd-k8s.jpg</Key>
    <LastModified>2020-08-31T16:40:01.000Z</LastModified>
    <ETag>&#34;b2d76df4aeb4493c5456366748218093&#34;</ETag>
    <Size>93183</Size>
    <Owner>
      <ID>02d6176db174dc93cb1b899f7c6078f08654445fe8cf1b6ce98d8855f66bdbf4</ID>
      <DisplayName></DisplayName>
    </Owner>
    <StorageClass>STANDARD</StorageClass>
  </Contents>
</ListBucketResult>

파일 목록에서 요소만 가져옵니다. Key.

남은 것은 결과 XML을 구문 분석하여 HTML로 보내는 것입니다. 먼저 Content-Type 헤더를 text/html로 바꿉니다.

function request(r) {
  var v = r.variables;

  function call_back(resp) {
    var body = resp.responseBody;

    if (r.method !== 'PUT' && resp.status < 400 && v.postfix === '') {
      r.headersOut['Content-Type'] = "text/html; charset=utf-8";
      body = toHTML(body);
    }

    r.return(resp.status, body);
  }
  
  var _subrequest_uri = r.uri;
  ...
}

function toHTML(xml_str) {
  var keysMap = {
    'CommonPrefixes': 'Prefix',
    'Contents': 'Key',
  };

  var pattern = `<k>(?<v>.*?)</k>`;
  var out = [];

  for(var group_key in keysMap) {
    var reS;
    var reGroup = new RegExp(pattern.replace(/k/g, group_key), 'g');

    while(reS = reGroup.exec(xml_str)) {
      var data = new RegExp(pattern.replace(/k/g, keysMap[group_key]), 'g');
      var reValue = data.exec(reS);
      var a_text = '';

      if (group_key === 'CommonPrefixes') {
        a_text = reValue.groups.v.replace(///g, '');
      } else {
        a_text = reValue.groups.v.split('/').slice(-1);
      }

      out.push(`<a href="/ko/${reValue.groups.v}">${a_text}</a>`);
    }
  }

  return '<html><body>n' + out.join('</br>n') + 'n</html></body>'
}

PyPI 사용해 보기

작동하는 것으로 알려진 패키지의 어느 부분에서도 문제가 없는지 확인합니다.

# Создаем для тестов новое окружение
python3 -m venv venv
. ./venv/bin/activate

# Скачиваем рабочие пакеты.
pip download aiohttp

# Загружаем в приватную репу
for wheel in *.whl; do curl -T $wheel http://localhost:8080/${wheel%%-*}/$wheel; done

rm -f *.whl

# Устанавливаем из приватной репы
pip install aiohttp -i http://localhost:8080

우리는 libs를 반복합니다.

# Создаем для тестов новое окружение
python3 -m venv venv
. ./venv/bin/activate

pip install setuptools wheel
python setup.py bdist_wheel
for wheel in dist/*.whl; do curl -T $wheel http://localhost:8080/${wheel%%-*}/$wheel; done

pip install our_pkg --extra-index-url http://localhost:8080

CI에서 패키지를 만들고 로드하는 방법은 다음과 같습니다.

pip install setuptools wheel
python setup.py bdist_wheel

curl -sSfT dist/*.whl -u "gitlab-ci-token:${CI_JOB_TOKEN}" "https://pypi.our-domain.com/${CI_PROJECT_NAME}"

인증

Gitlab에서는 외부 서비스의 인증/권한 부여에 JWT를 사용할 수 있습니다. Nginx의 auth_request 지시문을 사용하여 인증 데이터를 스크립트의 함수 호출이 포함된 하위 요청으로 리디렉션합니다. 스크립트는 Gitlab URL에 대한 또 다른 하위 요청을 만들고 인증 데이터가 올바르게 지정된 경우 Gitlab은 코드 200을 반환하고 패키지 업로드/다운로드가 허용됩니다. 하나의 하위 쿼리를 사용하고 즉시 데이터를 Gitlab으로 보내면 어떨까요? 왜냐하면 인증을 변경할 때마다 Nginx 구성 파일을 편집해야 하고 이는 다소 지루한 작업이기 때문입니다. 또한 Kubernetes가 읽기 전용 루트 파일 시스템 정책을 사용하는 경우 configmap을 통해 nginx.conf를 교체할 때 훨씬 더 복잡해집니다. 그리고 볼륨(pvc)과 읽기 전용 루트 파일 시스템의 연결을 금지하는 정책을 동시에 사용하는 동시에 configmap을 통해 Nginx를 구성하는 것은 절대 불가능해집니다.

NJS 중간체를 사용하면 환경 변수를 사용하여 nginx 구성에서 지정된 매개변수를 변경하고 스크립트에서 몇 가지 검사(예: 잘못 지정된 URL)를 수행할 수 있습니다.

nginx.conf

location = /auth-provider {
  internal;

  proxy_pass $auth_url;
}

location = /auth {
  internal;

  proxy_set_header Content-Length "";
  proxy_pass_request_body off;
  js_content auth.auth;
}

location ~ "^/(?<prefix>[w-]*)[/]?(?<postfix>[w-.]*)$" {
  auth_request /auth;

  js_content s3.request;
}

s3.js

var env = process.env;
var env_bool = new RegExp(/[Tt]rue|[Yy]es|[Oo]n|[TtYy]|1/);
var auth_disabled  = env_bool.test(env.DISABLE_AUTH);
var gitlab_url = env.AUTH_URL;

function url() {
  return `${gitlab_url}/jwt/auth?service=container_registry`
}

function auth(r) {
  if (auth_disabled) {
    r.return(202, '{"auth": "disabled"}');
    return null
  }

  r.subrequest('/auth-provider',
                {method: 'GET', body: ''},
                function(res) {
                  r.return(res.status, "");
                });
}

export default {auth, url}

아마도 다음과 같은 질문이 생길 것입니다. -기성 모듈을 사용하는 것은 어떨까요? 그곳에서는 이미 모든 것이 완료되었습니다! 예를 들어 var AWS = require('aws-sdk')이며 S3 인증을 사용하여 "자전거"를 작성할 필요가 없습니다!

단점으로 넘어가자

나에게는 외부 JS 모듈을 가져올 수 없는 것이 불편했지만 예상했던 기능이었습니다. 위의 예에서 설명된 require('crypto')는 다음과 같습니다. 내장 모듈 그리고 그들을 위한 작업만 필요합니다. 또한 스크립트의 코드를 재사용할 수 있는 방법이 없으며 이를 복사하여 다른 파일에 붙여넣어야 합니다. 언젠가는 이 기능이 구현되길 바랍니다.

Nginx의 현재 프로젝트에 대해서도 압축을 비활성화해야 합니다. gzip off;

NJS에는 gzip 모듈이 없고, 연결이 불가능하기 때문에 압축된 데이터로 작업할 수 있는 방법이 없습니다. 사실, 이 경우에는 실제로 마이너스가 아닙니다. 텍스트가 많지 않고, 전송된 파일은 이미 압축되어 있어 추가 압축은 별 도움이 되지 않습니다. 또한 이는 콘텐츠를 몇 밀리초 더 빠르게 전달해야 할 정도로 로드되거나 중요한 서비스가 아닙니다.

스크립트 디버깅은 시간이 오래 걸리며 error.log의 "인쇄"를 통해서만 가능합니다. 설정된 로깅 수준 정보, 경고 또는 오류에 따라 각각 r.log, r.warn, r.error 3가지 방법을 사용할 수 있습니다. Chrome(v8) 또는 njs 콘솔 도구에서 일부 스크립트를 디버깅하려고 시도하지만 모든 내용을 확인할 수는 없습니다. 코드를 디버깅할 때(기능 테스트라고도 함) 기록은 다음과 같습니다.

docker-compose restart nginx
curl localhost:8080/
docker-compose logs --tail 10 nginx

그러한 시퀀스는 수백 개가 있을 수 있습니다.

하위 쿼리와 변수를 사용하여 코드를 작성하면 엉키게 됩니다. 때로는 코드의 동작 순서를 파악하기 위해 다양한 IDE 창을 돌아다니기 시작합니다. 어렵지는 않지만 때로는 매우 짜증나는 일입니다.

ES6에 대한 완전한 지원은 없습니다.

다른 단점이 있을 수도 있지만 다른 점은 발견하지 못했습니다. NJS를 사용하면서 부정적인 경험이 있으면 정보를 공유하세요.

결론

NJS는 Nginx에서 다양한 JavaScript 스크립트를 구현할 수 있는 경량 오픈 소스 인터프리터입니다. 개발 과정에서 성능에 많은 관심을 기울였습니다. 물론 아직 부족한 부분이 많지만 소규모 팀에서 프로젝트를 개발하고 있으며 적극적으로 새로운 기능을 추가하고 버그를 수정하고 있습니다. 언젠가는 NJS에서 외부 모듈을 연결할 수 있게 되어 Nginx 기능이 거의 무제한이 되기를 바랍니다. 그러나 NGINX Plus가 있으며 기능이 없을 가능성이 높습니다!

기사의 전체 코드가 포함된 저장소

AWS Sign v4를 지원하는 njs-pypi

ngx_http_js_module 모듈의 지시어에 대한 설명

NJS 공식 저장소 и 문서

Dmitry Volintsev의 NJS 사용 예

njs - nginx의 기본 JavaScript 스크립팅 / Saint HighLoad++ 2019에서 Dmitry Volnyev의 연설

NJS 제작 중 / HighLoad++ 2019에서 Vasily Soshnikov의 연설

AWS에서 REST 요청 서명 및 인증

출처 : habr.com