במאמר זה אשתף את החוויה שלי בהגדרת CI/CD באמצעות לוח הבקרה של Plesk ופעולות Github. היום נלמד איך לפרוס פרויקט פשוט עם השם הלא מסובך "Helloworld". הוא כתוב במסגרת Flask Python, עם עובדי סלרי וחזית Angular 8.

קישורים למאגרים: אחורי, חזיתי.

בחלק הראשון של המאמר, נבחן את הפרויקט שלנו וחלקיו. בשנייה, נבין כיצד להגדיר את Plesk ולהתקין את ההרחבות והרכיבים הדרושים (DB, RabbitMQ, Redis, Docker וכו').

בחלק השלישי, סוף סוף נבין כיצד להגדיר צינור לפריסת הפרויקט שלנו לשרת בסביבת פיתוח ופרוד. ואז נשיק את האתר בשרת.

וכן, שכחתי להציג את עצמי. שמי אולג בורזוב, אני מפתח fullstack בצוות CRM למנהלי משכנתאות ב-Domclick.

סקירת פרוייקט

ראשית, בואו נסתכל על שני מאגרי פרויקטים - אחורי וקדמי - ונעבור על הקוד.

אחורי: בקבוק+סלרי

לחלק האחורי, לקחתי חבורה שהיא די פופולרית בקרב מפתחי Python: המסגרת של Flask (עבור ה-API) וסלרי (עבור תור המשימות). SQLAchemy משמש כ-ORM. Alembic משמש להגירות. לאימות JSON בידיות - מרשמלו.

В מאגרים יש קובץ Readme.md עם תיאור מפורט של המבנה והוראות להפעלת הפרויקט.

Web Part API די לא מסובך, מורכב מ-6 עטים:

/ping - לבדיקת זמינות;
מטפלים לרישום, הרשאה, ביטול הרשאה וקבלת משתמש מורשה;
ידית דואר אלקטרוני שמכניסה משימה לתור סלרי.

חלק סלרי אפילו יותר קל, יש רק בעיה אחת send_mail_task.

בתיקייה /conf יש שתי תיקיות משנה:

docker עם שני Dockerfiles (base.dockerfile לבנות תמונת בסיס שמשתנה לעתים רחוקות ו Dockerfile עבור מכלולים עיקריים);
.env_files - עם קבצים עם משתני סביבה עבור סביבות שונות.

ישנם ארבעה קבצי docker-compose בבסיס הפרויקט:

docker-compose.local.db.yml להעלות מאגר מידע מקומי לפיתוח;
docker-compose.local.workers.yml להעלאה מקומית של העובד, מסד הנתונים, Redis ו-RabbitMQ;
docker-compose.test.yml להפעיל בדיקות במהלך הפריסה;
docker-compose.yml לפריסה.

והתיקיה האחרונה שאנחנו מעוניינים בה - .ci-cd. הוא מכיל סקריפטים של מעטפת לפריסה:

deploy.sh - השקת הגירה ופריסה. פועל על השרת לאחר בנייה והרצת בדיקות ב-Github Actions;
rollback.sh - חזרה של מכולות לגרסה הקודמת של ההרכבה;
curl_tg.sh - שליחת הודעות פריסה לטלגרם.

חזית ב-Angular

מאגר עם חזית הרבה יותר פשוט מזה של בק. החזית מורכבת משלושה עמודים:

עמוד ראשי עם טופס שליחת מייל וכפתור יציאה.
עמוד התחברות.
דף הרשמה.

העמוד הראשי נראה סגפני:

יש שני קבצים בשורש Dockerfile и docker-compose.yml, כמו גם התיקיה המוכרת .ci-cd עם מעט פחות סקריפטים מאשר במאגר האחורי (סקריפטים שהוסרו להפעלת בדיקות).

התחלת פרויקט בפלסק

נתחיל בהגדרת Plesk ויצירת מנוי לאתר שלנו.

התקנת הרחבות

ב-Plesk, אנחנו צריכים ארבע הרחבות:

Docker לנהל ולהציג באופן חזותי את מצב המכולות בפאנל הניהול של Plesk;
Git כדי להגדיר את שלב הפריסה בשרת;
Let's Encrypt ליצור (וחידוש אוטומטי) של תעודות TLS בחינם;
Firewall כדי להגדיר סינון של תעבורה נכנסת.

אתה יכול להתקין אותם דרך פאנל הניהול של Plesk בסעיף הרחבות:

לא נשקול את ההגדרות המפורטות עבור הרחבות, הגדרות ברירת המחדל יעשו למטרות ההדגמה שלנו.

צור מנוי ואתר

לאחר מכן, עלינו ליצור מנוי לאתר helloworld.ru שלנו ולהוסיף שם את תת-הדומיין dev.helloworld.ru.

צור מנוי לדומיין helloworld.ru וציין את סיסמת הכניסה למשתמש המערכת:

סמן את התיבה בתחתית העמוד אבטח את הדומיין באמצעות Let's Encryptאם ברצוננו להגדיר HTTPS עבור האתר:
לאחר מכן, במנוי זה, צור תת-דומיין dev.helloworld.ru (שעבורו תוכל גם להנפיק תעודת TLS בחינם):

התקנת רכיבי שרת

יש לנו שרת עם מערכת ההפעלה Debian Stretch 9.12 והתקנת לוח בקרה פלסק אובסידיאן 18.0.27.

עלינו להתקין ולהגדיר עבור הפרויקט שלנו:

PostgreSQL (במקרה שלנו, יהיה שרת אחד עם שני מסדי נתונים עבור סביבות dev ו-prod).
RabbitMQ (אותו מופע עם vhosts שונים עבור סביבות).
שני מופעי Redis (לסביבות מפתחים ופרודים).
Docker Registry (לאחסון מקומי של תמונות Docker בנויות).
ממשק משתמש עבור רישום Docker.

PostgreSQL

Plesk כבר מגיע עם PostgreSQL DBMS, אבל לא הגרסה האחרונה (בזמן כתיבת Plesk Obsidian поддерживал Postgres גרסאות 8.4–10.8). אנחנו רוצים את הגרסה העדכנית ביותר עבור האפליקציה שלנו (12.3 בזמן כתיבת שורות אלה), אז נתקין אותה באופן ידני.

יש הרבה הוראות מפורטות להתקנת Postgres בדביאן ברשת (דוגמה), אז אני לא אתאר אותם בפירוט, אני רק אתן את הפקודות:

wget -q https://www.postgresql.org/media/keys/ACCC4CF8.asc -O - | sudo apt-key add -
sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt/ stretch-pgdg main" >> /etc/apt/sources.list.d/pgdg.list'

sudo apt-get update
sudo apt-get install postgresql postgresql-contrib

בהתחשב בכך של-PostgreSQL יש הגדרות ברירת מחדל בינוניות למדי, יש צורך לתקן את התצורה. זה יעזור לנו מחשבון: אתה צריך לנהוג בפרמטרים של השרת שלך ולהחליף את ההגדרות בקובץ /etc/postgresql/12/main/postgresql.confלאלה המוצעים. יש לציין כאן שמחשבונים כאלה אינם כדור קסם, ויש לכוון את הבסיס בצורה מדויקת יותר, בהתבסס על החומרה, האפליקציה ומורכבות השאילתות שלך. אבל זה מספיק כדי להתחיל.

בנוסף להגדרות המוצעות על ידי המחשבון, אנו גם משנים postgresql.confיציאת ברירת המחדל 5432 לאחרת (בדוגמה שלנו - 53983).

לאחר שינוי קובץ התצורה, הפעל מחדש את postgresql-server עם הפקודה:

service postgresql restart

התקנו והגדרנו את PostgreSQL. כעת בואו ניצור מסד נתונים, משתמשים עבור סביבות מפתחים ופרודים, וניתן למשתמשים זכויות לנהל את מסד הנתונים:

$ su - postgres
postgres:~$ create database hw_dev_db_name;
CREATE DATABASE
postgres:~$ create user hw_dev_db_user with password 'hw_dev_db_password';
CREATE ROLE
postgres:~$ grant ALL privileges ON database hw_dev_db_name to hw_dev_db_user;
GRANT
postgres:~$ create database hw_prod_db_name;
CREATE DATABASE
postgres:~$ create user hw_prod_db_user with password 'hw_prod_db_password';
CREATE ROLE
postgres:~$ grant ALL privileges ON database hw_prod_db_name to hw_prod_db_user;
GRANT

RabbitMQ

בואו נעבור להתקנת RabbitMQ, מתווך הודעות עבור סלרי. התקנתו בדביאן היא די פשוטה:

wget https://packages.erlang-solutions.com/erlang-solutions_1.0_all.deb
sudo dpkg -i erlang-solutions_1.0_all.deb

sudo apt-get update
sudo apt-get install erlang erlang-nox

sudo add-apt-repository 'deb http://www.rabbitmq.com/debian/ testing main'
wget -O- https://www.rabbitmq.com/rabbitmq-release-signing-key.asc | sudo apt-key add -

sudo apt-get update
sudo apt-get install rabbitmq-server

לאחר ההתקנה, אנחנו צריכים ליצור vhosts, משתמשים ולהעניק את הזכויות הדרושות:

sudo rabbitmqctl add_user hw_dev_amqp_user hw_dev_amqp_password 
sudo rabbitmqctl set_user_tags hw_dev_amqp_user administrator
sudo rabbitmqctl add_vhost hw_dev_vhost
sudo rabbitmqctl set_permissions -p hw_dev_vhost hw_dev_amqp_user ".*" ".*" ".*"

sudo rabbitmqctl add_user hw_prod_amqp_user hw_prod_amqp_password 
sudo rabbitmqctl set_user_tags hw_prod_amqp_user administrator
sudo rabbitmqctl add_vhost hw_prod_vhost
sudo rabbitmqctl set_permissions -p hw_prod_vhost hw_prod_amqp_user ".*" ".*" ".*"

Redis

כעת בואו נתקין ונקבע את הרכיב האחרון עבור האפליקציה שלנו - Redis. זה ישמש כקצה אחורי לאחסון התוצאות של משימות סלרי.

אנו נעלה שני מכולות Docker עם Redis עבור סביבות פיתוח ופרוד באמצעות ההרחבה Docker עבור פלסק.

אנחנו הולכים ל- Plesk, עוברים לקטע הרחבות, מחפשים את הרחבת Docker ומתקין אותה (אנחנו צריכים גרסה חינמית):
עבור אל התוסף המותקן, מצא את התמונה באמצעות החיפוש redis bitnami והתקן את הגרסה האחרונה:
אנו נכנסים לקונטיינר שהורדת ומתאים את התצורה: ציין את היציאה, את גודל ה-RAM המקסימלי שהוקצה, את הסיסמה במשתני הסביבה, ותעלה את עוצמת הקול:
אנו מבצעים את שלבים 2-3 עבור מיכל ה-prod, בהגדרות אנו משנים רק את הפרמטרים: יציאה, סיסמה, גודל RAM ונתיב לתיקיית הנפח בשרת:

דוקר רישום

בנוסף לשירותים הבסיסיים, זה יהיה נחמד לשים מאגר תמונות Docker משלך בשרת. למרבה המזל, שטח השרת הוא כעת זול למדי (בוודאי זול יותר ממנוי DockerHub), והתהליך של הקמת מאגר פרטי הוא פשוט מאוד.

אנחנו רוצים שיהיה לנו:

מאגר Docker מוגן בסיסמה נגיש בתת-דומיין https://docker.helloworld.ru;
ממשק משתמש לצפייה בתמונות במאגר, זמין ב https://docker-ui.helloworld.ru.

כדי לעשות זאת:

בואו ניצור שני תת-דומיינים ב-Plesk במנוי שלנו: docker.helloworld.ru ו-docker-ui.helloworld.ru, ונקבע עבורם אישורי Let's Encrypt.

הוסף את הקובץ לתיקיית תת הדומיין docker.helloworld.ru docker-compose.yml עם תוכן כזה:

version: "3"

services:
  docker-registry:
    image: "registry:2"
    restart: always
    ports:
      - "53985:5000"
    environment:
      REGISTRY_AUTH: htpasswd
      REGISTRY_AUTH_HTPASSWD_REALM: basic-realm
      REGISTRY_AUTH_HTPASSWD_PATH: /auth/.htpasswd
      REGISTRY_STORAGE_FILESYSTEM_ROOTDIRECTORY: /data
    volumes:
      - ./.docker-registry.htpasswd:/auth/.htpasswd
      - ./data:/data

  docker-registry-ui:
    image: konradkleine/docker-registry-frontend:v2
    restart: always
    ports:
      - "53986:80"
    environment:
      VIRTUAL_HOST: '*, https://*'
      ENV_DOCKER_REGISTRY_HOST: 'docker-registry'
      ENV_DOCKER_REGISTRY_PORT: 5000
    links:
      - 'docker-registry'

תחת SSH, ניצור את קובץ ה-.htpasswd עבור הרשאה בסיסית במאגר Docker:
```
htpasswd -bBc .htpasswd hw_docker_admin hw_docker_password
```
איסוף והרם מכולות:
```
docker-compose up -d
```
ואנחנו צריכים להפנות את Nginx לקונטיינרים שלנו. ניתן לעשות זאת דרך Plesk.

יש לבצע את השלבים הבאים עבור תת-הדומיינים docker.helloworld.ru ו-docker-ui.helloworld.ru:

בסעיף כלים Dev לאתר שלנו עבור אל כללי פרוקסי של Docker:

והוסף כלל לתעבורה נכנסת של פרוקסי למכולה שלנו:

אנחנו בודקים שאנחנו יכולים להיכנס למיכל שלנו מהמכונה המקומית:

$ docker login docker.helloworld.ru -u hw_docker_admin -p hw_docker_password
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
Login Succeeded

בואו נבדוק גם את פעולת תת-הדומיין docker-ui.helloworld.ru:

כאשר תלחץ על עיון במאגרים, הדפדפן יציג חלון הרשאה בו תצטרך להזין את שם המשתמש והסיסמה עבור המאגר. לאחר מכן, נועבר לדף עם רשימת מאגרים (בינתיים היא תהיה ריקה עבורכם):

פתיחת יציאות בחומת האש של Plesk

לאחר התקנת והגדרת הרכיבים, עלינו לפתוח פורטים כך שהרכיבים יהיו נגישים ממכולות Docker ומהרשת החיצונית.

בואו נראה כיצד לעשות זאת באמצעות תוסף חומת האש עבור Plesk שהתקנו קודם לכן.

לך ל כלים והגדרות > הגדרות > חומת אש:
לך ל שנה את כללי חומת האש של Plesk > הוסף כלל מותאם אישית ופתח את יציאות ה-TCP הבאות עבור רשת המשנה של Docker (172.0.0.0 / 8):
RabbitMQ: 1883, 4369, 5671-5672, 25672, 61613-61614
Redis: 32785, 32786
נוסיף גם כלל שיפתח את יציאות PostgreSQL ופאנלי ניהול RabbitMQ לעולם החיצון:
החל את הכללים באמצעות כפתור החל שינויים:

הגדרת CI/CD בפעולות Github

בוא נרד לחלק המעניין ביותר - הקמת צינור אינטגרציה רציף והעברת הפרויקט שלנו לשרת.

צינור זה יכלול שני חלקים:

בניית תמונה והפעלת בדיקות (עבור הקצה האחורי) - בצד Github;
הפעלת העברות (עבור ה-backend) ופריסה של קונטיינרים - בשרת.

פרוס ל- Plesk

נעסוק תחילה בנקודה השנייה (כי הראשונה תלויה בה).

אנו נגדיר את תהליך הפריסה באמצעות תוסף Git עבור Plesk.

שקול דוגמה עם סביבת Prod עבור מאגר Backend.

אנחנו עוברים למנוי של אתר Helloworld שלנו ונכנסים לסעיף המשנה של Git:
הכנס קישור למאגר Github שלנו לשדה "Remote Git repository" ושנה את תיקיית ברירת המחדל httpdocs לאחר (למשל. /httpdocs/hw_back):
העתק את מפתח SSH Public מהשלב הקודם ו הוסף זה בהגדרות Github.
לחץ על אישור על המסך בשלב 2, ולאחר מכן נפנה לדף המאגר ב- Plesk. כעת עלינו להגדיר את המאגר כך שיעודכן בהתחייבויות לסניף הראשי. כדי לעשות זאת, עבור אל הגדרות מאגר ולשמור את הערך Webhook URL (נצטרך את זה מאוחר יותר בעת הגדרת Github Actions):
בשדה פעולות במסך מהפסקה הקודמת, הזן את הסקריפט כדי להפעיל את הפריסה:
```
cd {REPOSITORY_ABSOLUTE_PATH}
.ci-cd/deploy.sh {ENV} {DOCKER_REGISTRY_HOST} {DOCKER_USER} {DOCKER_PASSWORD} {TG_BOT_TOKEN} {TG_CHAT_ID} 
```
שם:

{REPOSITORY_ABSOLUTE_PATH} - נתיב לתיקיית ה-prod של מאגר הקצה האחורי בשרת;
{ENV} - סביבה (dev / prod), במקרה שלנו prod;
{DOCKER_REGISTRY_HOST} - המארח של מאגר הדוקר שלנו
{TG_BOT_TOKEN} - אסימון בוט של טלגרם;
{TG_CHAT_ID} - מזהה הצ'אט/ערוץ לשליחת הודעות.

דוגמה לסקריפט:
```
cd /var/www/vhosts/helloworld.ru/httpdocs/hw_back/
.ci-cd/deploy.sh dev docker.helloworld.ru docker_user docker_password 12345678:AAbcdEfghCH1vGbCasdfSAs0K5PALDsaw -1001234567890
```
הוסף משתמש מהמנוי שלנו לקבוצת Docker (כדי שיוכל לנהל קונטיינרים):
```
sudo usermod -aG docker helloworld_admin
```

סביבת ה-dev עבור מאגר הקצה האחורי וה-frontend מוגדרים באותו אופן.

צינור פריסה ב-Github Actions

בואו נעבור להגדרת החלק הראשון של צינור ה-CI/CD שלנו ב-Github Actions.

קצה אחורי

הצינור מתואר ב קובץ deploy.yml.

אבל לפני שננתח אותו, בואו נמלא את המשתנים Secret שאנחנו צריכים ב-Github. כדי לעשות זאת, עבור אל הגדרות -> סודות:

DOCKER_REGISTRY - המארח של מאגר Docker שלנו (docer.helloworld.ru);
DOCKER_LOGIN - כניסה למאגר Docker;
DOCKER_PASSWORD - סיסמה אליו;
DEPLOY_HOST - מארח שבו פאנל הניהול של Plesk זמין (לדוגמה: helloworld.com: 8443 או 123.4.56.78:8443);
DEPLOY_BACK_PROD_TOKEN - אסימון לפריסה ל-prod-repository בשרת (קיבלנו אותו ב-Deployment in Plesk עמ' 4);
DEPLOY_BACK_DEV_TOKEN - אסימון לפריסה למאגר הפיתוח בשרת.

תהליך הפריסה הוא פשוט ומורכב משלושה שלבים עיקריים:

בנייה ופרסום של התמונה במאגר שלנו;
הפעלת בדיקות במיכל המבוססת על תמונה טרייה שנבנתה;
פריסה לסביבה הרצויה בהתאם לסניף (dev/master).

ממשק

קובץ deploy.yml עבור המאגר הקדמי קצת שונה מזה של בק. חסר לו שלב בהפעלת בדיקות ומשנה את שמות האסימונים לפריסה. סודות למאגר הקדמי, אגב, צריך למלא בנפרד.

הגדרת אתר

העברת תעבורה דרך Nginx

ובכן, הגענו לסוף. נותר רק להגדיר את הפרוקסי של תעבורה נכנסת ויוצאת לקונטיינר שלנו דרך Nginx. כבר כיסינו את התהליך הזה בשלב 5 של הגדרת Docker Registry. יש לחזור על אותו הדבר עבור החלקים האחוריים והקדמיים בסביבות מפתחים ופרודים.

אני אביא צילומי מסך של ההגדרות.

קצה אחורי

ממשק

הבהרה חשובה. כל כתובות ה-URL יקבלו פרוקסי למכולת החזית, מלבד אלה שמתחילות ב- /api/ - הם יועברו אל המיכל האחורי (כך במיכל האחורי, כל המטפלים חייבים להתחיל עם /api/).

תוצאות של

כעת האתר שלנו אמור להיות זמין בכתובות helloworld.ru ו-dev.helloworld.ru (Prod- ו-dev-environments, בהתאמה).

בסך הכל למדנו איך להכין אפליקציה פשוטה ב-Flask ו-Angular והקמנו צינור ב-Github Actions כדי לגלגל אותה לשרת שמריץ את Plesk.

אני אשכפל את הקישורים למאגרים עם הקוד: אחורי, חזיתי.

מקור: www.habr.com

CI/CD ב-Github Actions עבור פרויקט Flask+Angular

סקירת פרוייקט

אחורי: בקבוק+סלרי

חזית ב-Angular

התחלת פרויקט בפלסק

התקנת הרחבות

צור מנוי ואתר

התקנת רכיבי שרת

PostgreSQL

RabbitMQ

Redis

דוקר רישום

פתיחת יציאות בחומת האש של Plesk

הגדרת CI/CD בפעולות Github

פרוס ל- Plesk

צינור פריסה ב-Github Actions

קצה אחורי

ממשק

הגדרת אתר

העברת תעבורה דרך Nginx

קצה אחורי

ממשק

תוצאות של

הוספת תגובה ביטול תגובה