Migratsioon Nginx-ilt Envoy Proxy-le

Tere, Habr! Pakun teie tähelepanu postituse tõlget: Migratsioon Nginx-ilt Envoy Proxy-le.

Envoy on kõrge jõudlusega jaotatud vaheserver (kirjutatud C++ keeles), mis on mõeldud üksikutele teenustele ja rakendustele. Samuti on see suhtlusbus ja "universaalne andmeplaan", mis on välja töötatud suurte mikroteenuste arhitektuuride "teenuste võrgustik" jaoks. Selle loomisel arvestati probleemide lahendustega, mis tekkisid selliste serverite, nagu NGINX, HAProxy, riistvaraline koormuse tasakaalustajad ja pilve koormuse tasakaalustajad, arendamisel. Envoy töötab iga rakendusega ja abstraktiseerib võrgu, pakkudes üldiseid funktsioone sõltumata platvormist. Kui kogu teenustrafik infrastruktuuris liigub läbi Envoy võrgustiku, on lihtne visualiseerida probleemseid valdkondi, kasutades ühtset jälgimist, kohandades üldist jõudlust ja lisades põhifunktsioone kindlatesse kohtadesse.

Võimalused

• Protsessiväline arhitektuur: envoy on iseseisev, kõrge jõudlusega server, mis kasutab vähe mälu. Ta toimib koos mis tahes rakenduse keele või raamistikuga.
• http/2 ja grpc tugi: envoy pakub esmaklassilist tugi http/2 ja grpc sissetulevatele ja väljuvatele ühendustele. See on läbipaistev proksy http/1.1-st http/2-le.
• Täpsem koormuse jaotamine: envoy toetab laiaulatuslikke koormuse jaotamise funktsioone, sealhulgas automaatseid katseid, ahela katkestamist, globaalset kiiruspiirangut, päringute varjestamist, kohalikku koormuse jaotamist tsoonis jne.
• API konfiguratsiooni haldamiseks: envoy pakub usaldusväärset API-d oma konfiguratsiooni dünaamiliseks haldamiseks.
• Käivitatavus: sügav L7 liikluse jälgimine, sisseehitatud tugi jaotatud jälgimiseks ning jälgimiseks mongodb, dynamodb ja paljude teiste rakenduste jaoks.

Sammas 1 — NGINX konfi näidis

Selles stsenaariumis kasutatakse spetsiaalselt loodud faili nginx.conf, mis põhineb täielikul näitel NGINX Wiki. Saate konfiguratsiooni vaadata redigeerijas, avades nginx.conf

Algne nginx konfi

kasutaja www www;
pid /var/run/nginx.pid;
worker_processes  2;

events {
  worker_connections   2000;
}

http {
  gzip on;
  gzip_min_length  1100;
  gzip_buffers     4 8k;
  gzip_types       text/plain;

  log_format main      '$remote_addr - $remote_user [$time_local]  '
    '"$request" $status $bytes_sent '
    '"$http_referer" "$http_user_agent" '
    '"$gzip_ratio"';

  log_format download  '$remote_addr - $remote_user [$time_local]  '
    '"$request" $status $bytes_sent '
    '"$http_referer" "$http_user_agent" '
    '"$http_range" "$sent_http_content_range"';

  upstream targetCluster {
    172.18.0.3:80;
    172.18.0.4:80;
  }

  server {
    listen        8080;
    server_name   one.example.com  www.one.example.com;

    access_log   /var/log/nginx.access_log  main;
    error_log  /var/log/nginx.error_log  info;

    location / {
      proxy_pass         http://targetCluster/;
      proxy_redirect     off;

      proxy_set_header   Host             $host;
      proxy_set_header   X-Real-IP        $remote_addr;
    }
  }
}

NGINX-i konfiguratsioonid koosnevad tavaliselt kolmest põhielemendist:

1. NGINX-i serveri seadistus, logifailide struktuur ja Gzip funktsionaalsus. See määratakse globaalsetes sätetes.
2. NGINX-i seadistamine päringute vastuvõtmiseks hostil one.example.com porti 8080.
3. Sihtkoha seadistamine, kuidas suunata liiklust erinevates URL-i osades.

Mitte kõik konfiguratsioonid ei rakendu Envoy Proxy-le, ja teil ei ole vaja mõningaid parameetreid seadistada. Envoy Proxy-l on neli põhiliiki, mis toetavad NGINX-i pakutavat põhi infrastruktuuri. Tuum on:

• Kuulajad: Need to define how Envoy Proxy handles incoming requests. Currently, Envoy Proxy supports only TCP-based listeners. Once a connection is established, it is passed to a set of filters for processing.
• Filtrid: Need to be part of a pipeline architecture that can handle incoming and outgoing data. This functionality includes filters such as Gzip, which compresses data before sending it to the client.
• Marshieldid: Need to redirect traffic to the required destination defined as a cluster.
• Klastrid: Need to define the endpoint for traffic and configuration parameters.

We will use these four components to create an Envoy Proxy configuration that matches a specific NGINX configuration. The goal of Envoy is to work with APIs and dynamic configuration. In this case, the basic configuration will use static, hard-coded parameters from NGINX.

Step 2 — NGINX Configuration

Esimene osa nginx.conf defines some internal components of NGINX that need to be configured.

Worker Connections

Allpoolige allpool oleval konfiguratsioonil määratakse tööprotsesside ja ühenduste arv. See näitab, kuidas NGINX kohandub nõudlusele vastamiseks.

worker_processes  2;

events {
  worker_connections   2000;
}

Envoy Proxy haldab tööprotsesse ja ühendusi erinevalt.

Envoy loob iga süsteemi füüsilise lõime jaoks ühe töövoo. Iga töövoog käivitab mittesünkroonse sündmuste tsükli, mis vastutab

1. Iga kuulaja (listener) jälgimine
2. Uute ühenduste vastuvõtmine
3. Filtrite komplekti loomine ühenduste jaoks
4. Kõik sisendi- ja väljundioperatsioonid töötleva ühenduse kogu eksistentsi vältel.

Edasine ühenduse töötlemine toimub täielikult töövoos, sealhulgas kõik suunamiskäitumine.

Iga töövoo kohta Envoy'is on ühendus basseinist. Seega seadistavad HTTP/2 ühenduste basseinid ainult ühe ühenduse iga välist hosti jaoks korraga, seega neli töövoogu tähendavad, et iga välist hosti jaoks on nelja HTTP/2 ühenduse olemasolu stabiilses olekus. Hoides kõik ühes töövoos, saab peaaegu kogu koodi kirjutada blokeerimiseta, nagu see oleks ühetöövoogne. Kui töövooge on eraldatud rohkem kui vajalik, võib see viia ebaefektiivse mälukasutuse, rohkete ooteühenduste tekkimiseni ja ühenduste tagastamise vähenemiseni basseini.

Külastage lisainformatsiooni saamiseks Envoy Proxy blogi.

HTTP konfiguratsioon

Järgmine NGINX konfiguratsiooni plokk määratleb HTTP seadistused, nagu:

• Millised mime tüübid on toetatud
• Vaikeaegumised
• Gzip konfiguratsioon

Saate neid aspekte seadistada Envoy Proxy filtritega, mida arutame hiljem.

Samm 3 — Serveri konfiguratsioon

HTTP konfigureerimise plokis määrab NGINX, et see kuulab porti 8080 ja vastab sissetulevatele päringutele domeenide jaoks one.example.com ja www.one.example.com.

 server {
    listen        8080;
    server_name   one.example.com  www.one.example.com;

Envoy süsteemis hallatakse seda kuuldava kaudu.

Envoy kuuldavad

Envoy Proxy kasutamise üks tähtsamaid aspekte on kuuldavate määramine. Peate looma konfiguratsioonifaili, mis kirjeldab, kuidas soovite käivitada Envoy eksemplari.

Alljärgnev fragment loob uue kuuldava ja seob selle pordiga 8080. Konfiguratsioon juhib Envoy Proxy-d, millistele portidele ta peab olema seotud sisenevate päringute jaoks.

Envoy Proxy kasutab oma konfiguratsioonis YAML süntaksit. Selle süntaksiga tutvumiseks vaadake siit lingil.

Copy to Editorstatic_resources:
  listeners:
  - name: listener_0
    address:
      socket_address: { address: 0.0.0.0, port_value: 8080 }

Ei ole vaja määrata server_name, kuna Envoy Proxy filtrid saavad sellega hakkama.

Samm 4 — Asukoha konfiguratsioon

Kui päring jõuab NGINX-i, määrab asukohablokk, kuidas liiklust töödelda ja kuhu suunata. Järgmises fragmendis saadetakse kogu liiklus saidile upstream (tõlkija märkus: upstream — tavaliselt rakenduste serverid) klastrisse nimega targetCluster. Upstream klaster määratleb sõlmed, mis peavad päringu töötlema. Käsitleme seda järgmises sammus.

asukoht / {
    proxy_pass         http://targetCluster/;
    proxy_redirect     off;

    proxy_set_header   Host             $host;
    proxy_set_header   X-Real-IP        $remote_addr;
}

Envoy's Filters handle this.

Envoy Filters

Filtrid määravad, kuidas staatilise konfiguratsiooni korral sisenevaid päringuid töödelda. Antud juhul seadistame filtrid, mis vastavad server_names eelnevale sammule. Kui sisenevad päringud vastavad teatud domeenidele ja marsruutidele, suunatakse liiklus klastrisse. See on vastavuses NGINX-i tõusva konfiguratsiooniga.

Kopeeri redaktorisse    filter_chains:
    - filters:
      - name: envoy.http_connection_manager
        config:
          codec_type: auto
          stat_prefix: ingress_http
          route_config:
            name: local_route
            virtual_hosts:
            - name: backend
              domains:
                - "one.example.com"
                - "www.one.example.com"
              routes:
              - match:
                  prefix: "/"
                route:
                  cluster: targetCluster
          http_filters:
          - name: envoy.router

Nimi envoy.http_connection_manager on Envoy Proxy sisseehitatud filter. Muud filtrid sisaldavad Redis, Mongo, TCP. Täieliku nimekirja leiate dokumentatsioonis.

Täiendava teabe saamiseks teiste koormuse tasakaalustamise poliitikate kohta külastage Envoy dokumentatsiooni.

Samm 5 — Proxide ja Ülesvoolu Konfiguratsioon

NGINX-i konfisuratsioonis määratleb upstream sihtserverite kogumi, mis haldab liiklust. Sel juhul on määratud kaks klastrit.

  upstream targetCluster {
    172.18.0.3:80;
    172.18.0.4:80;
  }

Envoy-s haldab seda klastrid.

Envoy klastrid

Upstreami ekvivalent määratletakse klastritena. Sel juhul on määratud hostid, mis haldavad liiklust. Hostide ligipääsu viis, näiteks ooteaeg, määratletakse klastrikona konfiguratsioonina. See võimaldab täpsemalt kontrollida selliste aspektide, nagu ooteaeg ja koormuse jaotus, täpsust.

Kopeeri redaktorisse  klastrid:
  - name: targetCluster
    connect_timeout: 0.25s
    type: STRICT_DNS
    dns_lookup_family: V4_ONLY
    lb_policy: ROUND_ROBIN
    hosts: [
      { socket_address: { address: 172.18.0.3, port_value: 80 }},
      { socket_address: { address: 172.18.0.4, port_value: 80 }}
    ]

Teenuse avastamisel STRICT_DNS Envoy lahendab pidevalt ja asünkroonselt määratud DNS-i sihte. Iga DNS-i päringu tulemusena tagastatud IP-aadress loetakse ülesandes klastris selgeks hostiks. See tähendab, et kui päring tagastab kaks IP-aadressi, eeldab Envoy, et klastris on kaks hosti, ja mõlemad tuleks koormuse tasakaalustamiseks arvesse võtta. Kui host eemaldatakse tulemustest, eeldab Envoy, et see enam ei eksisteeri, ja suunab liiklust välja olemasolevate ühenduste basseinidest.

Lisainformatsiooni saamiseks vaata. Envoy Proxy dokumentatsiooni..

Samm 6 — Logide ja vigade juurde pääsemine.

Lõplik seadistus — logimine. Selle asemel, et saata vealogid kettale, kasutab Envoy Proxy pilvepõhist lähenemist. Kõik rakenduse logid suunatakse. stdout ja stderr.

Kui kasutajad teevad päringu, on juurdepääsulogid valikulised ja vaikimisi keelatud. HTTP-päringute juurdepääsulogide lubamiseks aktiveeri seadistus. access_log HTTP ühenduste haldurile. Teekond võib olla kas seade, nagu. stdout, või fail kettal, sõltuvalt teie nõuetest.

Järgmine konfiguratsioon suunab kõik juurdepääsu logid stdout (tõlkija märkus — stdout on vajalik envoy kasutamiseks dockeris. Kui kasutada ilma dockerita, asendage /dev/stdout tavapärase logifaili teega). Koo see fragment ühenduste halduri konfiguratsiooni sektsiooni:

Kopeeri lõikelaualeaccess_log:
- name: envoy.file_access_log
  config:
    path: "/dev/stdout"

Tulemused peaksid välja nägema järgmised:

      - name: envoy.http_connection_manager
        config:
          codec_type: auto
          stat_prefix: ingress_http
          access_log:
          - name: envoy.file_access_log
            config:
              path: "/dev/stdout"
          route_config:

Vaikimisi sisaldab Envoy formaadiread, mis sisaldavad HTTP päringu detaile:

[%START_TIME%] "%REQ(:METHOD)% %REQ(X-ENVOY-ORIGINAL-PATH?:PATH)% %PROTOCOL%" %RESPONSE_CODE% %RESPONSE_FLAGS% %BYTES_RECEIVED% %BYTES_SENT% %DURATION% %RESP(X-ENVOY-UPSTREAM-SERVICE-TIME)% "%REQ(X-FORWARDED-FOR)%" "%REQ(USER-AGENT)%" "%REQ(X-REQUEST-ID)%" "%REQ(:AUTHORITY)%" "%UPSTREAM_HOST%"n

Selle formaadirea tulemus:

[2018-11-23T04:51:00.281Z] "GET / HTTP/1.1" 200 - 0 58 4 1 "-" "curl/7.47.0" "f21ebd42-6770-4aa5-88d4-e56118165a7d" "one.example.com" "172.18.0.4:80"

Väljundi sisu saab kohandada, seades formaadi välja. Näiteks:

access_log:
- name: envoy.file_access_log
  config:
    path: "/dev/stdout"
    format: "[%START_TIME%] "%REQ(:METHOD)% %REQ(X-ENVOY-ORIGINAL-PATH?:PATH)% %PROTOCOL%" %RESPONSE_CODE% %RESP(X-ENVOY-UPSTREAM-SERVICE-TIME)% "%REQ(X-REQUEST-ID)%" "%REQ(:AUTHORITY)%" "%UPSTREAM_HOST%"n"

Logi rida saab salvestada ka JSON formaadis, kui seadistate välja json_format. Näiteks:

access_log:
- name: envoy.file_access_log
  config:
    path: "/dev/stdout"
    json_format: {"protocol": "%PROTOCOL%", "duration": "%DURATION%", "request_method": "%REQ(:METHOD)%"}

Lisainformatsiooni sõltumatu registreerimise meetodi kohta leiate siit

https://www.envoyproxy.io/docs/envoy/latest/configuration/access_log#config-access-log-format-dictionaries

Logimine ei ole ainus viis saada ülevaade Envoy Proxy toimimisest. Sellel on sisseehitatud edasijõudnud jälgimise ja mõõdikute võimalused. Lisainfot leiate jälgimise dokumentatsioonist või läbi Interaktiivse jälgimise skripti.

Samm 7 — Käivitamine

Nüüd olete konfigureerimise NGINX-ilt Envoy Proxy-le üle viinud. Viimane samm on käivitada Envoy Proxy eksemplar testimiseks.

Käivitamine kasutajana

NGINX-i konfiguratsiooni ülaosas rida user www www; näitab NGINX-i käitamise madala privileegiga kasutajana, et suurendada turvalisust.

Envoy Proxy kasutab pilvepõhist lähenemist haldamiseks, kes on protsessi omanik. Kui käivitame Envoy Proxy konteineri kaudu, saame määrata madala privileegiga kasutaja.

Envoy Proxy käivitamine

Allpool käivitab Envoy Proxy Docker-konteineris hostis. See käsk võimaldab Envoy'l kuulata sissetulevaid päringuid porti 80 kaudu. Siiski, nagu on märgitud kuulaja konfiguratsioonis, kuulab Envoy Proxy sissetulevat liiklust läbi pordi 8080. See võimaldab protsessil töötada madala privileegiga kasutajana.

docker run --name proxy1 -p 80:8080 --user 1000:1000 -v /root/envoy.yaml:/etc/envoy/envoy.yaml envoyproxy/envoy

Testimine

Käideldud proxy'ga saab teste teha ja töödelda. Järgmine cURL käsk saadab päringu, mille hosti pealkiri on määratud proxy konfiguratsioonis.

curl -H "Host: one.example.com" localhost -i

HTTP päring toob kaasa vea 503. See on tingitud sellest, et tagasivoolu ühendused ei tööta ja need ei ole saadaval. Seega ei ole Envoy Proxy'l päringu jaoks saadaolevaid sihtkohti. Järgmine käsk käivitab rea HTTP teenuseid, mis vastavad Envoy'ile määratud konfiguratsioonile.

docker run -d katacoda/docker-http-server; docker run -d katacoda/docker-http-server;

Saadaolevate teenustega suudab Envoy edukalt proksida liiklust sihtkohta.

curl -H "Host: one.example.com" localhost -i

Te peaksite nägema vastust, mis näitab, milline Docker- konteiner töötles päringu. Envoy Proxy logides peaksite samuti nägema väljundrida.

Lisapealkirjad HTTP vastuses

Kehtiva päringu vastuse pealkirjades näete lisandusid HTTP pealkirju. Pealkirjas kuvatakse aeg, mis kulus ülemise hosti päringu töötlemiseks. See on väljendatud millisekundites. See on kasulik, kui klient soovib määrata teenindusaega võrreldes võrgu viivitusega.

x-envoy-upstream-service-time: 0
server: envoy

Lõppkonfiguratsioon

static_resources:
  listeners:
  - name: listener_0
    address:
      socket_address: { address: 0.0.0.0, port_value: 8080 }
    filter_chains:
    - filters:
      - name: envoy.http_connection_manager
        config:
          codec_type: auto
          stat_prefix: ingress_http
          route_config:
            name: local_route
            virtual_hosts:
            - name: backend
              domains:
                - "one.example.com"
                - "www.one.example.com"
              routes:
              - match:
                  prefix: "/"
                route:
                  cluster: targetCluster
          http_filters:
          - name: envoy.router
          clusters:
  - name: targetCluster
    connect_timeout: 0.25s
    type: STRICT_DNS
    dns_lookup_family: V4_ONLY
    lb_policy: ROUND_ROBIN
    hosts: [
      { socket_address: { address: 172.18.0.3, port_value: 80 }},
      { socket_address: { address: 172.18.0.4, port_value: 80 }}
    ]

admin:
  access_log_path: /tmp/admin_access.log
  address:
    socket_address: { address: 0.0.0.0, port_value: 9090 }

Tõlkija lisainfo

Envoy Proxy paigaldusjuhised leiate veebisaidilt https://www.getenvoy.io/

Vaikeselt ei sisalda rpm systemd teenuse konfi.

Lisage systemd teenuse konfi /etc/systemd/system/envoy.service:

[Unit]
Description=Envoy Proxy
Documentation=https://www.envoyproxy.io/
After=network-online.target
Requires=envoy-auth-server.service
Wants=nginx.service

[Service]
User=root
Restart=on-failure
ExecStart=/usr/bin/envoy --config-path /etc/envoy/config.yaml
[Install]
WantedBy=multi-user.target

Peate looma kausta /etc/envoy/ ja panema sinna config.yaml faili.

Envoy proxy kohta on olemas Telegrami vestlus: https://t.me/envoyproxy_ru

Envoy Proxy ei toeta staatilise sisu jagamist. Seetõttu palun hääletage selle funktsiooni üle. https://github.com/envoyproxy/envoy/issues/378

Ainult registreeritud kasutajad saavad küsitluses osaleda. Logige sisse, palun.

Kas see postitus innustas teid Envoy Proxy seadistama ja katsetama?

• jah

• ei

75 kasutajat hääletasid. 18 kasutajat jäid erapooletuks.

Allikas: habr.com