אנו מרכיבים את ה-Nginx שלנו עם כמה פקודות

היי!
שמי סרגיי, אני עובד כמהנדס תשתית בצוות ה-API של פלטפורמת tinkoff.ru.

במאמר זה אדבר על הבעיות שעמן התמודד הצוות שלנו בעת הכנת מאזנים על סמך nginx לפרויקטים שונים. אספר לכם גם על הכלי שאפשר לי להתגבר על רובם.

Nginx הוא שרת פרוקסי רב תכליתי ומפתח באופן פעיל. הוא כולל מספר רב של מודולים, זו אינה רשימה מלאה. כל פרויקט מטיל דרישות מסוימות על הפונקציונליות של המאזן וגרסת Nginx (לדוגמה, נוכחות של http/2 ו-grpc proxying), והרכב המודולים שלו.

אנו רוצים לראות גרסה חדשה עם סט המודולים הנדרש, הפועלת תחת הפצת לינוקס ספציפית. במקרה שלנו, מדובר במערכות מבוססות deb ו-rpm. האפשרות עם מכולות אינה נחשבת במאמר זה.

אנחנו רוצים לשנות במהירות את הפונקציונליות של האיזונים שלנו. וכאן מיד עולה השאלה: איך להשיג זאת תוך הוצאת כמה שפחות משאבים? עדיף אפילו להגדיר את התהליך כך שנוכל לציין מספר סופי של פרמטרי קלט, וביציאה לקבל חפץ בצורת חבילת deb/rpm עבור מערכת ההפעלה הרצויה.

כתוצאה מכך, ניתן לגבש מספר בעיות:

• לא תמיד יש חבילות עם הגרסה העדכנית ביותר של Nginx.
• אין חבילות עם המודולים הנדרשים.
• קומפילציה ובנייה ידנית של חבילה גוזלת זמן ומייגעת ממש.
• אין תיאור כיצד מורכב מופע Nginx זה או אחר.

כדי לפתור את הבעיות הללו, מתעורר הצורך בכלי שיקח כקלט מפרט בפורמט קריא לאדם ומרכיב חבילת Nginx עם הפונקציונליות הדרושה על בסיסה.

לא מצאנו אפשרות מתאימה עבורנו במרחב העצום של Github, החלטנו ליצור כלי משלנו - nginx-builder.

מפרטים

בכלי שלנו, רצינו ליצור תיאור של המפרט בצורה של קוד, שאותו אפשר להכניס למאגר Git. לשם כך בחרנו בפורמט המוכר לדברים כאלה - yaml. דוגמה למפרט:

nginx_version: 1.14.1
output_package: deb
modules:
  - module:
      name: nginx-auth-ldap
      git_url: https://github.com/kvspb/nginx-auth-ldap.git
      git_branch: master
      dependencies:
        - libldap2-dev
  - module:
      name: ngx_http_substitutions_filter_module
      git_url: https://github.com/yaoweibin/ngx_http_substitutions_filter_module.git
  - module:
      name: headers-more-nginx-module
      web_url: https://github.com/openresty/headers-more-nginx-module/archive/v0.261.zip
  - module:
      name: nginx-module-vts
      git_url: https://github.com/vozlt/nginx-module-vts.git
      git_tag: v0.1.18
  - module:
      name: ngx_devel_kit
      git_url: https://github.com/simplresty/ngx_devel_kit.git
      git_tag: v0.3.0
  - module:
      name: ngx_cache_purge
      git_url: https://github.com/FRiCKLE/ngx_cache_purge.git
  - module:
      name: ngx_http_dyups_module
      git_url: https://github.com/yzprofile/ngx_http_dyups_module.git
  - module:
      name: nginx-brotli
      git_url: https://github.com/eustas/ngx_brotli.git
      git_tag: v0.1.2
  - module:
      name: nginx_upstream_check_module
      git_url: https://github.com/yaoweibin/nginx_upstream_check_module.git
  - module:
      name: njs
      git_url: https://github.com/nginx/njs.git
      git_tag: 0.2.5
      config_folder_path: nginx

כאן אנו מציינים שאנו רוצים לראות חבילת deb עם גרסה 1.14.2 של Nginx עם סט המודולים הנדרש. הקטע עם המודולים הוא אופציונלי. עבור כל אחד מהם אתה יכול להגדיר:

• שם.
• כתובת איפה אתה יכול להשיג את זה:
  • מאגר Git. אתה יכול גם לציין סניף או תג.
  • קישור אינטרנט לארכיון.
  • קישור מקומי לארכיון.

מודולים מסוימים דורשים התקנה של תלות נוספת, לדוגמה nginx-auth-ldap דורש התקנה של libldap2-dev. ניתן לציין גם תלות נחוצות בעת תיאור המודול.

הסביבה

בכלי שלנו אתה יכול לקבל במהירות סביבה עם כלי עזר מותקנים עבור קומפילציה, הרכבת חבילות ותוכנות עזר אחרות. מיכל Docker עם כל מה שאתה צריך הוא אידיאלי כאן (במאגר כבר יש כמה דוגמאות של קבצי Docker עבור אובונטו ו-centos).

לאחר עריכת המפרט והכנת הסביבה, אנו משיקים את הבונה שלנו, לאחר שהתקינו בעבר את התלות שלו:

pip3 install -r requirements.txt
./main.py build -f [конфиг_файл].yaml -r [номер_ревизии]

מספר הגרסה כאן הוא אופציונלי ומשמש למכלול גרסאות. זה כתוב במטא מידע של החבילה, מה שמקל על עדכון בשרתים.
מהיומנים ניתן לעקוב אחר המתרחש. הנה דוגמה לנקודות העיקריות:

builder - INFO - Parse yaml file: example.config.yaml
builder - INFO - Download scripts for build deb package
builder - INFO - Downloading nginx src...
builder - INFO - --> http://nginx.org/download/nginx-1.14.1.tar.gz
builder - INFO - Downloading 3d-party modules...
builder - INFO - Module nginx-auth-ldap will download by branch
builder - INFO - -- Done: nginx-auth-ldap
builder - INFO - -- Done: ngx_http_substitutions_filter_module
builder - INFO - Module headers-more-nginx-module will downloading
builder - INFO - Module nginx-module-vts will download by tag
builder - INFO - -- Done: nginx-module-vts
builder - INFO - Module ngx_devel_kit will download by tag
builder - INFO - -- Done: ngx_devel_kit
builder - INFO - -- Done: ngx_cache_purge
builder - INFO - -- Done: ngx_http_dyups_module
builder - INFO - Downloading dependencies
builder - INFO - Building .deb package
builder - INFO - Running 'dh_make'...
builder - INFO - Running 'dpkg-buildpackage'...
dpkg-deb: building package 'nginx' in '../nginx_1.14.1-1_amd64.deb'.

אז, עם רק כמה פקודות, אנחנו יוצרים את הסביבה ואת ה-Nginx ההרכבה הנדרשת, והחבילה מופיעה בספרייה שממנה מופעל הסקריפט.

הטבעה

אנחנו יכולים גם לשלב את הכלי שלנו בתהליכי CI/CD. כל אחת ממערכות ה-CI הרבות הקיימות כיום יכולה לעזור בכך, למשל עיר צוות או Gitlab CI.

כתוצאה מכך, בכל פעם שהמפרט משתנה במאגר Git, בניית החפץ מופעלת אוטומטית. מספר הגרסה מקושר למונה השקת הבנייה.
עם קצת יותר זמן, אתה יכול להגדיר את החפץ להישלח למאגר החבילות המקומי שלך, Nexus, Artifactory וכן הלאה.

יתרון נוסף הוא שניתן לחבר את קובץ התצורה של yaml ל-Ansible או למערכת תצורה אוטומטית אחרת, ומשם נוכל לקחת את מספר הגרסה וסוג החבילה שנרצה לפרוס.

מה הלאה

הפרויקט עדיין לא הושלם. זה מה שאנחנו עובדים עליו עכשיו:

• אנו מרחיבים את אפשרות התצורה, אך יחד עם זאת שומרים על כך פשוט ככל האפשר. אתה לא רוצה להגדיר אלף פרמטרים אם אתה צריך רק שניים, והשאר מתאים כברירת מחדל. זה כולל דגלי קומפילציה (כעת אתה יכול לשנות אותם בקובץ התצורה הפנימי src/config.py), נתיב התקנה והפעלה של משתמש.
• אנו מוסיפים אפשרויות לשליחת חבילה אוטומטית למאגרי חפצים שונים.
• בצע פקודה מותאמת אישית בעת טעינת מודול (לדוגמה, לשימוש github.com/nginx-modules/nginx_upstream_check_module תחילה עליך להחיל תיקון של גרסה ספציפית)
• הוספת מבחנים:
  • החבילה מותקנת כהלכה.
  • ל-Nginx יש את הגרסה הנדרשת והיא בנויה עם הדגלים והמודולים הנדרשים.
  • נוצרים הנתיבים הדרושים, החשבונות וכן הלאה.

אבל אתה יכול להשתמש בכלי הזה עכשיו, וגם להציע שיפורים - github.com/TinkoffCreditSystems/Nginx-builder ברוך הבא!

מקור: www.habr.com