הגירה מ-Nginx ל-Envoy Proxy

שלום, הבר! אני מביא לידיעתך תרגום של הפוסט: הגירה מ-Nginx ל-Envoy Proxy.

Envoy הוא שרת פרוקסי מבוזר בעל ביצועים גבוהים (כתוב ב-C++) המיועד לשירותים ויישומים בודדים, הוא גם אפיק תקשורת ו"מישור נתונים אוניברסלי" המיועד לארכיטקטורות "רשת שירות" גדולות של מיקרו-שירותים. בעת יצירתו נלקחו בחשבון פתרונות לבעיות שעלו במהלך פיתוח שרתים כגון NGINX, HAProxy, חומרה מאזני עומסים ומאזני עומס בענן. Envoy פועלת לצד כל אפליקציה ומפשטת את הרשת כדי לספק פונקציונליות משותפת ללא קשר לפלטפורמה. כאשר כל תעבורת השירות בתשתית זורמת דרך רשת Envoy, קל לדמיין אזורים בעייתיים עם צפייה עקבית, לכוון את הביצועים הכוללים ולהוסיף פונקציונליות ליבה במיקום ספציפי.

יכולות

• ארכיטקטורה מחוץ לתהליך: envoy הוא שרת עצמאי, בעל ביצועים גבוהים, אשר תופס כמות קטנה של זיכרון RAM. זה עובד בשילוב עם כל שפת יישום או מסגרת.
• תמיכה ב-http/2 ו-grpc: ל-envoy יש תמיכה ב-http/2 ו-grpc מהשורה הראשונה עבור חיבורים נכנסים ויוצאים. זהו פרוקסי שקוף מ-http/1.1 ל-http/2.
• איזון עומסים מתקדם: השליח תומך בתכונות מתקדמות של איזון עומסים כולל ניסיונות חוזרים אוטומטיים, שבירת שרשרת, הגבלת תעריפים גלובלית, הצללת בקשות, איזון עומס אזורי מקומי וכו'.
• API לניהול תצורה: envoy מספק API חזק לניהול דינמי של התצורה שלך.
• צפייה: צפיות עמוקה של תעבורת L7, תמיכה מקורית למעקב וצפייה מבוזר של mongodb, dynamodb ויישומים רבים אחרים.

שלב 1 - דוגמה לתצורת NGINX

סקריפט זה משתמש בקובץ בעל מבנה מיוחד nginx.conf, בהתבסס על הדוגמה המלאה מ NGINX Wiki. אתה יכול להציג את התצורה בעורך על ידי פתיחה nginx.conf

תצורת המקור של nginx

user  www www;
pid /var/run/nginx.pid;
worker_processes  2;

events {
  worker_connections   2000;
}

http {
  gzip on;
  gzip_min_length  1100;
  gzip_buffers     4 8k;
  gzip_types       text/plain;

  log_format main      '$remote_addr - $remote_user [$time_local]  '
    '"$request" $status $bytes_sent '
    '"$http_referer" "$http_user_agent" '
    '"$gzip_ratio"';

  log_format download  '$remote_addr - $remote_user [$time_local]  '
    '"$request" $status $bytes_sent '
    '"$http_referer" "$http_user_agent" '
    '"$http_range" "$sent_http_content_range"';

  upstream targetCluster {
    172.18.0.3:80;
    172.18.0.4:80;
  }

  server {
    listen        8080;
    server_name   one.example.com  www.one.example.com;

    access_log   /var/log/nginx.access_log  main;
    error_log  /var/log/nginx.error_log  info;

    location / {
      proxy_pass         http://targetCluster/;
      proxy_redirect     off;

      proxy_set_header   Host             $host;
      proxy_set_header   X-Real-IP        $remote_addr;
    }
  }
}

לתצורות NGINX יש בדרך כלל שלושה מרכיבי מפתח:

1. הגדרת שרת NGINX, מבנה יומן ופונקציונליות Gzip. זה מוגדר באופן גלובלי בכל המקרים.
2. הגדרת NGINX לקבלת בקשות למארח one.example.com ביציאה 8080.
3. הגדרת מיקום היעד, כיצד לטפל בתנועה עבור חלקים שונים של כתובת האתר.

לא כל התצורה תחול על Envoy Proxy, ואתה לא צריך להגדיר הגדרות מסוימות. שליח פרוקסי יש ארבעה סוגי מפתח, התומכים בתשתית הליבה שמציעה NGINX. הליבה היא:

• מאזינים: הם קובעים כיצד ה-Envoy Proxy מקבל בקשות נכנסות. Envoy Proxy תומך כרגע רק במאזינים מבוססי TCP. לאחר יצירת חיבור, הוא מועבר למערכת של מסננים לעיבוד.
• מסננים: הם חלק מארכיטקטורת צינור שיכולה לעבד נתונים נכנסים ויוצאים. פונקציונליות זו כוללת מסננים כגון Gzip, אשר דוחס את הנתונים לפני שליחתם ללקוח.
• נתבים: הם מעבירים תנועה ליעד הנדרש, המוגדר כאשכול.
• אשכולות: הם מגדירים את נקודת הקצה עבור פרמטרי תעבורה ותצורה.

אנו נשתמש בארבעת הרכיבים הללו כדי ליצור תצורת Proxy של Envoy שתתאים לתצורת NGINX ספציפית. המטרה של Envoy היא לעבוד עם ממשקי API ותצורה דינמית. במקרה זה, תצורת הבסיס תשתמש בהגדרות סטטיות עם קידוד קשיח מ-NGINX.

שלב 2 - תצורת NGINX

החלק הראשון nginx.conf מגדיר כמה רכיבים פנימיים של NGINX שיש להגדיר.

קשרי עובדים

התצורה שלהלן קובעת את מספר תהליכי העבודה והחיבורים. זה מציין כיצד NGINX יתאים לביקוש.

worker_processes  2;

events {
  worker_connections   2000;
}

Envoy Proxy מנהל זרימות עבודה וחיבורים בדרכים שונות.

Envoy יוצר שרשור עובד עבור כל שרשור חומרה במערכת. כל שרשור עובד מבצע לולאת אירוע לא חוסמת שאחראי עליה

1. מקשיב לכל מאזין
2. קבלת קשרים חדשים
3. יצירת קבוצת מסננים לחיבור
4. עבד את כל פעולות ה-I/O במהלך חיי החיבור.

כל עיבוד החיבורים הנוסף מטופל במלואו בשרשור העובד, כולל כל התנהגות העברה.

לכל חוט עובדים ב-Envoy יש מאגר חיבורים. אז מאגרי חיבור HTTP/2 מקימים רק חיבור אחד לכל מארח חיצוני בכל פעם, אם יש ארבעה שרשורי עובדים יהיו ארבעה חיבורי HTTP/2 לכל מארח חיצוני במצב יציב. על ידי שמירה על הכל בשרשור עובד אחד, כמעט כל הקוד יכול להיכתב ללא חסימה, כאילו היה שרשור בודד. אם מוקצים יותר שרשורי עובדים מהנדרש, הדבר עלול להוביל לבזבוז זיכרון, יצירת מספר רב של חיבורים סרק, והפחתת מספר הפעמים שחיבורים מוחזרים בחזרה לבריכה.

למידע נוסף בקרו באתר הבלוג של שליח פרוקסי.

תצורת HTTP

בלוק התצורה הבא של NGINX מגדיר הגדרות HTTP כגון:

• אילו סוגי פנטומימאי נתמכים
• ברירת המחדל של פסק זמן
• תצורת Gzip

אתה יכול להתאים אישית את ההיבטים האלה באמצעות מסננים ב-Envoy Proxy, שבו נדון בהמשך.

שלב 3 - תצורת שרת

בבלוק תצורת HTTP, תצורת NGINX מציינת להאזין ביציאה 8080 ולהגיב לבקשות נכנסות לדומיינים one.example.com и www.one.example.com.

 server {
    listen        8080;
    server_name   one.example.com  www.one.example.com;

בתוך Envoy, הוא נשלט על ידי מאזינים.

מאזינים שליח

ההיבט החשוב ביותר בהתחלה עם Envoy Proxy הוא הגדרת המאזינים שלך. עליך ליצור קובץ תצורה שמתאר כיצד ברצונך להפעיל את המופע של Envoy.

הקטע שלמטה ייצור מאזין חדש ויקשר אותו ליציאה 8080. התצורה אומרת ל-Envoy Proxy לאילו יציאות הוא צריך לאגד עבור בקשות נכנסות.

Envoy Proxy משתמש בסימון YAML עבור התצורה שלו. למבוא לסימון זה, עיין כאן קשר.

Copy to Editorstatic_resources:
  listeners:
  - name: listener_0
    address:
      socket_address: { address: 0.0.0.0, port_value: 8080 }

אין צורך להגדיר שם שרת, שכן מסנני Proxy של Envoy יטפלו בזה.

שלב 4 - תצורת מיקום

כשמגיעה בקשה ל-NGINX, בלוק המיקום קובע כיצד לעבד ולאן לנתב את התעבורה. בפרגמנט הבא, כל התעבורה לאתר מועברת לאשכול במעלה (הערת המתרגם: במעלה הזרם הוא בדרך כלל שרת יישומים) בשם targetCluster. האשכול במעלה הזרם מגדיר את הצמתים שצריכים לעבד את הבקשה. נדון בכך בשלב הבא.

location / {
    proxy_pass         http://targetCluster/;
    proxy_redirect     off;

    proxy_set_header   Host             $host;
    proxy_set_header   X-Real-IP        $remote_addr;
}

ב-Envoy, פילטרים עושים זאת.

מסנני שליחים

עבור תצורה סטטית, מסננים קובעים כיצד לעבד בקשות נכנסות. במקרה זה אנו מגדירים מסננים שמתאימים server_names בשלב הקודם. כאשר מגיעות בקשות נכנסות התואמות תחומים ומסלולים מסוימים, התעבורה מנותבת לאשכול. זוהי המקבילה לתצורת NGINX מלמטה למעלה.

Copy to Editor    filter_chains:
    - filters:
      - name: envoy.http_connection_manager
        config:
          codec_type: auto
          stat_prefix: ingress_http
          route_config:
            name: local_route
            virtual_hosts:
            - name: backend
              domains:
                - "one.example.com"
                - "www.one.example.com"
              routes:
              - match:
                  prefix: "/"
                route:
                  cluster: targetCluster
          http_filters:
          - name: envoy.router

שם envoy.http_connection_manager הוא מסנן מובנה ב-Envoy Proxy. מסננים אחרים כוללים Redis, Mongo, TCP. תוכל למצוא את הרשימה המלאה בכתובת תיעוד.

למידע נוסף על מדיניות אחרת של איזון עומסים, בקר תיעוד שליח.

שלב 5 - תצורת Proxy ו-Upstream

ב-NGINX, התצורה במעלה הזרם מגדירה קבוצה של שרתי יעד שיעבדו תעבורה. במקרה זה, הוקצו שני אשכולות.

  upstream targetCluster {
    172.18.0.3:80;
    172.18.0.4:80;
  }

ב-Envoy, זה מנוהל על ידי אשכולות.

אשכולות שליחים

המקבילה במעלה הזרם מוגדרת כאשכולות. במקרה זה, המארחים שישרתו את התעבורה זוהו. אופן הגישה למארחים, כגון פסקי זמן, מוגדר כתצורת אשכול. זה מאפשר שליטה מפורטת יותר על היבטים כמו חביון ואיזון עומסים.

Copy to Editor  clusters:
  - name: targetCluster
    connect_timeout: 0.25s
    type: STRICT_DNS
    dns_lookup_family: V4_ONLY
    lb_policy: ROUND_ROBIN
    hosts: [
      { socket_address: { address: 172.18.0.3, port_value: 80 }},
      { socket_address: { address: 172.18.0.4, port_value: 80 }}
    ]

בעת שימוש בגילוי שירות STRICT_DNS Envoy יפתור באופן רציף וא-סינכרוני את יעדי ה-DNS שצוינו. כל כתובת IP שהוחזרה מתוצאת ה-DNS תיחשב כמארח מפורש באשכול במעלה הזרם. המשמעות היא שאם בקשה תחזיר שתי כתובות IP, Envoy יניח שיש שני מארחים באשכול, ושניהם חייבים להיות מאוזנים בעומס. אם מארח יוסר מהתוצאה, Envoy יניח שהוא אינו קיים יותר ותמשוך תנועה מכל מאגר חיבורים קיימים.

למידע נוסף ראה תיעוד פרוקסי של השליח.

שלב 6 - גישת יומן ושגיאות

התצורה הסופית היא רישום. במקום לדחוף יומני שגיאה לדיסק, Envoy Proxy נוקט בגישה מבוססת ענן. כל יומני היישומים מופלטים אל stdout и סטדרר.

כאשר משתמשים מגישים בקשה, יומני גישה הם אופציונליים ומושבתים כברירת מחדל. כדי להפעיל יומני גישה עבור בקשות HTTP, הפעל את התצורה גישה_בלוג עבור מנהל חיבורי HTTP. הנתיב יכול להיות מכשיר כגון stdout, או קובץ בדיסק, בהתאם לדרישות שלך.

התצורה הבאה תפנה את כל יומני הגישה אל stdout (הערת המתרגם - stdout נדרש כדי להשתמש ב-envoy בתוך docker. אם משתמשים בו ללא docker, אז החליפו את /dev/stdout בנתיב לקובץ יומן רגיל). העתק את קטע הקוד למדור התצורה של מנהל החיבורים:

Copy to Clipboardaccess_log:
- name: envoy.file_access_log
  config:
    path: "/dev/stdout"

התוצאות אמורות להיראות כך:

      - name: envoy.http_connection_manager
        config:
          codec_type: auto
          stat_prefix: ingress_http
          access_log:
          - name: envoy.file_access_log
            config:
              path: "/dev/stdout"
          route_config:

כברירת מחדל, ל-Envoy יש מחרוזת פורמט הכוללת את הפרטים של בקשת ה-HTTP:

[%START_TIME%] "%REQ(:METHOD)% %REQ(X-ENVOY-ORIGINAL-PATH?:PATH)% %PROTOCOL%" %RESPONSE_CODE% %RESPONSE_FLAGS% %BYTES_RECEIVED% %BYTES_SENT% %DURATION% %RESP(X-ENVOY-UPSTREAM-SERVICE-TIME)% "%REQ(X-FORWARDED-FOR)%" "%REQ(USER-AGENT)%" "%REQ(X-REQUEST-ID)%" "%REQ(:AUTHORITY)%" "%UPSTREAM_HOST%"n

התוצאה של מחרוזת פורמט זו היא:

[2018-11-23T04:51:00.281Z] "GET / HTTP/1.1" 200 - 0 58 4 1 "-" "curl/7.47.0" "f21ebd42-6770-4aa5-88d4-e56118165a7d" "one.example.com" "172.18.0.4:80"

ניתן להתאים אישית את תוכן הפלט על ידי הגדרת שדה הפורמט. לדוגמה:

access_log:
- name: envoy.file_access_log
  config:
    path: "/dev/stdout"
    format: "[%START_TIME%] "%REQ(:METHOD)% %REQ(X-ENVOY-ORIGINAL-PATH?:PATH)% %PROTOCOL%" %RESPONSE_CODE% %RESP(X-ENVOY-UPSTREAM-SERVICE-TIME)% "%REQ(X-REQUEST-ID)%" "%REQ(:AUTHORITY)%" "%UPSTREAM_HOST%"n"

ניתן להפיק את שורת היומן גם בפורמט JSON על ידי הגדרת השדה json_format. לדוגמא:

access_log:
- name: envoy.file_access_log
  config:
    path: "/dev/stdout"
    json_format: {"protocol": "%PROTOCOL%", "duration": "%DURATION%", "request_method": "%REQ(:METHOD)%"}

למידע נוסף על מתודולוגיית רישום השליח, בקר

https://www.envoyproxy.io/docs/envoy/latest/configuration/access_log#config-access-log-format-dictionaries

רישום הוא לא הדרך היחידה לקבל תובנות לגבי העבודה עם Envoy Proxy. יש לו יכולות מעקב ומדדים מתקדמות המובנות בתוכו. אתה יכול לברר עוד ב תיעוד מעקב או דרך סקריפט מעקב אינטראקטיבי.

שלב 7 - השקה

כעת העברת את התצורה שלך מ-NGINX ל-Envoy Proxy. השלב האחרון הוא להפעיל מופע של Envoy Proxy כדי לבדוק אותו.

הפעל כמשתמש

בראש שורת התצורה של NGINX משתמש www www; מציין להפעיל את NGINX כמשתמש בעל הרשאות נמוכות כדי לשפר את האבטחה.

Envoy Proxy נוקט בגישה מבוססת ענן לניהול מי הבעלים של תהליך. כאשר אנו מפעילים את Envoy Proxy דרך קונטיינר, אנו יכולים לציין משתמש בעל הרשאות נמוכה.

הפעלת Proxy של Envoy

הפקודה למטה תפעיל את Envoy Proxy דרך קונטיינר Docker במארח. פקודה זו מעניקה ל-Envoy את היכולת להאזין לבקשות נכנסות ביציאה 80. עם זאת, כפי שצוין בתצורת המאזין, Envoy Proxy מאזין לתעבורה נכנסת ביציאה 8080. זה מאפשר לתהליך לפעול כמשתמש בעל הרשאות נמוכות.

docker run --name proxy1 -p 80:8080 --user 1000:1000 -v /root/envoy.yaml:/etc/envoy/envoy.yaml envoyproxy/envoy

בדיקה

כאשר פרוקסי פועל, כעת ניתן לבצע ולעבד בדיקות. פקודת cURL הבאה מנפיקה בקשה עם כותרת המארח המוגדרת בתצורת ה-proxy.

curl -H "Host: one.example.com" localhost -i

בקשת ה-HTTP תגרום לשגיאה 503. הסיבה לכך היא שחיבורים במעלה הזרם אינם פועלים ואינם זמינים. לכן, ל-Envoy Proxy אין יעדים זמינים לבקשה. הפקודה הבאה תתחיל סדרה של שירותי HTTP התואמים לתצורה שהוגדרה עבור Envoy.

docker run -d katacoda/docker-http-server; docker run -d katacoda/docker-http-server;

עם השירותים הזמינים, Envoy יכולה בהצלחה את התעבורה ליעד שלה.

curl -H "Host: one.example.com" localhost -i

אתה אמור לראות תגובה המציינת איזה מיכל Docker עיבד את הבקשה. ביומני ה-Proxy של Envoy אתה אמור לראות גם פלט של מחרוזת גישה.

כותרות תגובת HTTP נוספות

תראה כותרות HTTP נוספות בכותרות התגובה של הבקשה בפועל. הכותרת מציגה את הזמן שהמארח במעלה הזרם בילה בעיבוד הבקשה. מתבטא באלפיות שניות. זה שימושי אם הלקוח רוצה לקבוע את זמן השירות בהשוואה לאחזור הרשת.

x-envoy-upstream-service-time: 0
server: envoy

תצורה סופית

static_resources:
  listeners:
  - name: listener_0
    address:
      socket_address: { address: 0.0.0.0, port_value: 8080 }
    filter_chains:
    - filters:
      - name: envoy.http_connection_manager
        config:
          codec_type: auto
          stat_prefix: ingress_http
          route_config:
            name: local_route
            virtual_hosts:
            - name: backend
              domains:
                - "one.example.com"
                - "www.one.example.com"
              routes:
              - match:
                  prefix: "/"
                route:
                  cluster: targetCluster
          http_filters:
          - name: envoy.router
          clusters:
  - name: targetCluster
    connect_timeout: 0.25s
    type: STRICT_DNS
    dns_lookup_family: V4_ONLY
    lb_policy: ROUND_ROBIN
    hosts: [
      { socket_address: { address: 172.18.0.3, port_value: 80 }},
      { socket_address: { address: 172.18.0.4, port_value: 80 }}
    ]

admin:
  access_log_path: /tmp/admin_access.log
  address:
    socket_address: { address: 0.0.0.0, port_value: 9090 }

מידע נוסף מהמתרגם

הוראות להתקנת Envoy Proxy ניתן למצוא באתר https://www.getenvoy.io/

כברירת מחדל, ל-rpm אין תצורת שירות systemd.

הוסף תצורת שירות systemd /etc/systemd/system/envoy.service:

[Unit]
Description=Envoy Proxy
Documentation=https://www.envoyproxy.io/
After=network-online.target
Requires=envoy-auth-server.service
Wants=nginx.service

[Service]
User=root
Restart=on-failure
ExecStart=/usr/bin/envoy --config-path /etc/envoy/config.yaml
[Install]
WantedBy=multi-user.target

אתה צריך ליצור ספרייה /etc/envoy/ ולשים שם את config.yaml config.

יש צ'אט טלגרם באמצעות פרוקסי שליח: https://t.me/envoyproxy_ru

Envoy Proxy אינו תומך בהצגת תוכן סטטי. לכן, מי יכול להצביע לתכונה: https://github.com/envoyproxy/envoy/issues/378

רק משתמשים רשומים יכולים להשתתף בסקר. להתחברבבקשה.

האם הפוסט הזה עודד אותך להתקין ולבדוק את proxy של שליחות?

• כן

• לא

75 משתמשים הצביעו. 18 משתמשים נמנעו.

מקור: www.habr.com