אנו מקבלים 10 אירועים ב-Yandex.Cloud. חלק 000

שלום לכולם, חברים!

* מאמר זה מבוסס על הסדנה הפתוחה של REBRAIN & Yandex.Cloud, אם אתם מעדיפים לצפות בסרטון, תוכלו למצוא אותו בקישור הזה - https://youtu.be/cZLezUm0ekE

לאחרונה הייתה לנו הזדמנות לנסות את Yandex.Cloud בשידור חי. מכיוון שרצינו לחקור הרבה זמן, זנחנו מיד את הרעיון להשיק בלוג וורדפרס פשוט עם בסיס ענן - זה היה משעמם מדי. לאחר מחשבה, החלטנו לפרוס משהו דומה לארכיטקטורת שירותי הפקה עבור קבלה וניתוח אירועים במצב כמעט בזמן אמת.

אני בטוח לחלוטין שהרוב המכריע של עסקים מקוונים (ולא רק) אוספים איכשהו הר של מידע על המשתמשים שלהם ופעולותיהם. לכל הפחות, זה הכרחי לקבלת החלטות מסוימות - למשל, אם אתה מנהל משחק מקוון, אתה יכול להסתכל על הסטטיסטיקה באיזו רמה משתמשים לרוב נתקעים ומוחקים את הצעצוע שלך. או מדוע משתמשים עוזבים את האתר שלך מבלי לרכוש דבר (שלום, Yandex.Metrica).

אז, הסיפור שלנו: איך כתבנו אפליקציה בגולאנג, בדקנו קפקא מול rabbitmq מול yqs, כתבנו הזרמת נתונים באשכול קליקהאוס ודימינו את הנתונים באמצעות yandex datatalens. באופן טבעי, כל זה היה מתובל בתענוגות תשתית בדמות docker, terraform, gitlab ci וכמובן, prometheus. בוא נלך!

ברצוני להסתייג מיד שלא נוכל להגדיר הכל בישיבה אחת - לשם כך נצטרך מספר מאמרים בסדרה. קצת על המבנה:

חלק 1 (אתה קורא אותו). נחליט על המפרט והארכיטקטורה של הפתרון, וגם נכתוב אפליקציה בגולנג.
חלק 2. אנו משחררים את האפליקציה שלנו לייצור, הופכים אותה לניתנת להרחבה ובודקים את העומס.
חלק 3. בואו ננסה להבין למה אנחנו צריכים לאחסן הודעות במאגר ולא בקבצים, וגם להשוות את שירות התורים של kafka, rabbitmq ו-yandex.
חלק 4 נפרוס אשכול Clickhouse, נכתוב שירות סטרימינג להעברת נתונים מהמאגר לשם, ונגדיר ויזואליזציה ב-datatalens.
חלק 5 בואו נביא את כל התשתית לצורה נכונה - הגדר ci/cd באמצעות gitlab ci, חיבור ניטור וגילוי שירות באמצעות פרומתאוס וקונסול.

TK

ראשית, בואו ננסח את תנאי ההתייחסות - מה בדיוק אנחנו רוצים לקבל כתוצאה מכך.

1. אנחנו רוצים שתהיה לנו נקודת קצה כמו events.kis.im (kis.im הוא דומיין הבדיקה שבו נשתמש לאורך כל המאמרים), שאמורה לקבל אירועים באמצעות HTTPS.
2. אירועים הם json פשוט כמו: {"event": "view", "os": "linux", "browser": "chrome"}. בשלב הסופי נוסיף עוד קצת שדות, אבל זה לא ישחק תפקיד גדול. אם תרצה, תוכל לעבור ל-protobuf.
3. השירות חייב להיות מסוגל לעבד 10 אירועים בשנייה.
4. זה אמור להיות אפשרי לשנות קנה מידה אופקית על ידי הוספת מופעים חדשים לפתרון שלנו. וזה יהיה נחמד אם נוכל להעביר את החלק הקדמי למיקומים גיאוגרפיים שונים כדי להפחית את זמן האחזור לבקשות הלקוח.
5. סובלנות לתקלות. הפתרון חייב להיות יציב מספיק ולהצליח לשרוד את הנפילה של כל חלק (עד מספר מסוים, כמובן).

אדריכלות

באופן כללי, עבור סוג זה של משימה, כבר מזמן הומצאו ארכיטקטורות קלאסיות המאפשרות קנה מידה יעיל. האיור מציג דוגמה לפתרון שלנו.

אז מה יש לנו:

1. בצד שמאל נמצאים המכשירים שלנו שמייצרים אירועים שונים, בין אם מדובר בשחקנים שמסיימים שלב בצעצוע בסמארטפון או ביצירת הזמנה בחנות מקוונת דרך דפדפן רגיל. אירוע, כמפורט במפרט, הוא json פשוט שנשלח לנקודת הקצה שלנו - events.kis.im.

2. שני השרתים הראשונים הם מאזנים פשוטים, המשימות העיקריות שלהם הן:

• להיות זמין כל הזמן. לשם כך, תוכלו להשתמש, למשל, ב-keealived, שיעביר את ה-IP הוירטואלי בין צמתים במקרה של בעיות.
• סיום TLS. כן, אנחנו נפסיק את ה-TLS עליהם. ראשית, על מנת שהפתרון שלנו יעמוד במפרט הטכני, ושנית, על מנת להקל בנטל יצירת חיבור מוצפן מהשרתים האחוריים שלנו.
• איזון בקשות נכנסות לשרתי קצה זמינים. מילת המפתח כאן היא נגישה. בהתבסס על זה, אנו מגיעים להבנה שמאזני עומסים חייבים להיות מסוגלים לנטר את השרתים שלנו עם יישומים ולהפסיק לאזן את התעבורה לצמתים כושלים.

3. אחרי האיזונים, יש לנו שרתי אפליקציות שמריצים אפליקציה פשוטה למדי. זה אמור להיות מסוגל לקבל בקשות נכנסות דרך HTTP, לאמת את ה-json שנשלח ולהכניס את הנתונים למאגר.

4. התרשים מציג את קפקא כחוצץ, אם כי, כמובן, ניתן להשתמש בשירותים דומים אחרים ברמה זו. נשווה בין קפקא, rabbitmq ו-yqs במאמר השלישי.

5. הנקודה הלפני אחרונה בארכיטקטורה שלנו היא Clickhouse - מסד נתונים עמודים המאפשר לאחסן ולעבד כמות עצומה של נתונים. ברמה זו, עלינו להעביר נתונים מהמאגר למערכת האחסון עצמה (עוד על כך במאמר 4).

עיצוב זה מאפשר לנו לשנות את קנה המידה של כל שכבה באופן אופקי באופן עצמאי. שרתי קצה לא יכולים להתמודד - בוא נוסיף עוד דבר - אחרי הכל, הם יישומים חסרי מדינה, ולכן, זה יכול להיעשות אפילו אוטומטית. המאגר בסגנון קפקא לא עובד - בואו נוסיף שרתים נוספים ונעביר אליהם חלק מהמחיצות של הנושא שלנו. קליקהאוס לא יכול להתמודד עם זה - זה בלתי אפשרי :) למעשה, אנחנו גם נחבר את השרתים ונפצח את הנתונים.

אגב, אם אתה רוצה ליישם את החלק האופציונלי של המפרטים הטכניים שלנו ולהרחיב במיקומים גיאוגרפיים שונים, אז אין דבר פשוט יותר:

בכל מיקום גיאוגרפי אנו פורסים מאזן עומסים עם יישום וקפקא. באופן כללי, מספיקים 2 שרתי יישומים, 3 צמתים קפקא ומאזן ענן, למשל, cloudflare, שיבדוק את זמינות צמתי האפליקציה ובקשות לאזן לפי מיקום גיאוגרפי על סמך כתובת ה-IP המקורית של הלקוח. כך, נתונים שנשלחים על ידי לקוח אמריקאי ינחתו על שרתים אמריקאים. והנתונים מאפריקה הם באפריקאית.

ואז הכל די פשוט - אנחנו משתמשים בכלי המראה מהסט של קפקא ומעתיקים את כל הנתונים מכל המיקומים למרכז הנתונים המרכזי שלנו שנמצא ברוסיה. באופן פנימי, אנו מנתחים את הנתונים ומתעדים אותם ב- Clickhouse להדמיה לאחר מכן.

אז, סידרנו את הארכיטקטורה - בואו נתחיל לטלטל את Yandex.Cloud!

כתיבת בקשה

לפני הענן, אתה עדיין צריך להיות קצת סבלני ולכתוב שירות פשוט למדי לעיבוד אירועים נכנסים. נשתמש בגולאנג מכיוון שהיא הוכיחה את עצמה היטב כשפה לכתיבת יישומי רשת.

לאחר שבילינו שעה (אולי כמה שעות), נקבל משהו כזה: https://github.com/RebrainMe/yandex-cloud-events/blob/master/app/main.go.

מהן הנקודות העיקריות שאני רוצה לציין כאן:

1. בעת הפעלת האפליקציה, ניתן לציין שני דגלים. האחד אחראי על היציאה שעליה נקשיב לבקשות http נכנסות (-addr). השני הוא עבור כתובת שרת קפקא שבה נרשום את האירועים שלנו (-קפקא):

addr     = flag.String("addr", ":8080", "TCP address to listen to")
kafka    = flag.String("kafka", "127.0.0.1:9092", "Kafka endpoints”)

2. האפליקציה משתמשת בספריית sarama ([] github.com/Shopify/sarama) לשלוח הודעות לאשכול קפקא. הגדרנו מיד את ההגדרות המכוונות למהירות עיבוד מקסימלית:

config := sarama.NewConfig()
config.Producer.RequiredAcks = sarama.WaitForLocal
config.Producer.Compression = sarama.CompressionSnappy
config.Producer.Return.Successes = true

3. לאפליקציה שלנו יש גם לקוח פרומתאוס מובנה, שאוסף מדדים שונים, כגון:

• מספר בקשות ליישום שלנו;
• מספר שגיאות בעת ביצוע הבקשה (אי אפשר לקרוא את בקשת הפוסט, json שבור, בלתי אפשרי לכתוב לקפקא);
• זמן טיפול בבקשה אחת מהלקוח, כולל זמן כתיבת הודעה לקפקא.

4. שלוש נקודות קצה שהבקשה שלנו מעבדת:

• /status - פשוט החזר בסדר כדי להראות שאנחנו חיים. למרות שאתה יכול להוסיף כמה צ'קים, כגון זמינות אשכול קפקא.
• /metrics - לפי כתובת האתר הזו, לקוח ה-prometheus יחזיר את המדדים שהוא אסף.
• /post הוא נקודת הקצה העיקרית שבה יישלחו בקשות POST עם json בפנים. האפליקציה שלנו בודקת את תקפות ה-json ואם הכל בסדר, היא כותבת את הנתונים לאשכול קפקא.

אעשה הסתייגות שהקוד אינו מושלם - ניתן (וצריך!) להשלים אותו. לדוגמה, אתה יכול להפסיק להשתמש ב-net/http המובנה ולעבור ל-fasthttp המהיר יותר. או שאתה יכול להרוויח זמן עיבוד ומשאבי מעבד על ידי העברת בדיקת התוקף של json לשלב מאוחר יותר - כאשר הנתונים מועברים מהמאגר לאשכול הקלקה.

בנוסף לצד הפיתוח של הנושא, חשבנו מיד על התשתית העתידית שלנו והחלטנו לפרוס את האפליקציה שלנו באמצעות docker. ה-Dockerfile הסופי לבניית האפליקציה הוא https://github.com/RebrainMe/yandex-cloud-events/blob/master/app/Dockerfile. באופן כללי, זה די פשוט, הנקודה היחידה שאני רוצה לשים לב אליה היא המכלול הרב-שלבי, המאפשר לנו לצמצם את התמונה הסופית של המיכל שלנו.

צעדים ראשונים בענן

קודם כל, הירשם cloud.yandex.ru. לאחר מילוי כל השדות הדרושים, ניצור לנו חשבון וניתן לנו מענק על סכום כסף מסוים, שניתן להשתמש בו לבדיקת שירותי ענן. אם אתה רוצה לחזור על כל השלבים מהמאמר שלנו, מענק זה אמור להספיק לך.

לאחר ההרשמה ייווצרו עבורכם ענן נפרד וספריית ברירת מחדל, בה תוכלו להתחיל ליצור משאבי ענן. באופן כללי, ב-Yandex.Cloud, יחסי המשאבים נראים כך:

אתה יכול ליצור מספר עננים עבור חשבון אחד. ובתוך הענן, צור ספריות שונות עבור פרויקטים שונים של החברה. תוכל לקרוא עוד על כך בתיעוד - https://cloud.yandex.ru/docs/resource-manager/concepts/resources-hierarchy. אגב, אתייחס אליו הרבה בהמשך הטקסט. כאשר הקמתי את כל התשתית מאפס, התיעוד עזר לי יותר מפעם אחת, אז אני ממליץ לך ללמוד אותו.

כדי לנהל את הענן, אתה יכול להשתמש גם בממשק האינטרנט וגם בכלי השירות של המסוף - yc. ההתקנה מתבצעת בפקודה אחת (עבור לינוקס ו-Mac OS):

curl https://storage.yandexcloud.net/yandexcloud-yc/install.sh | bash

אם מומחה האבטחה הפנימי שלך משתולל על הפעלת סקריפטים מהאינטרנט, אז, ראשית, תוכל לפתוח את הסקריפט ולקרוא אותו, ושנית, אנו מריצים אותו תחת המשתמש שלנו - ללא זכויות שורש.

אם אתה רוצה להתקין לקוח עבור Windows, אתה יכול להשתמש בהוראות כאן ולאחר מכן לבצע yc initכדי להתאים אותו באופן מלא:

vozerov@mba:~ $ yc init
Welcome! This command will take you through the configuration process.
Please go to https://oauth.yandex.ru/authorize?response_type=token&client_id= in order to obtain OAuth token.

Please enter OAuth token:
Please select cloud to use:
 [1] cloud-b1gv67ihgfu3bp (id = b1gv67ihgfu3bpt24o0q)
 [2] fevlake-cloud (id = b1g6bvup3toribomnh30)
Please enter your numeric choice: 2
Your current cloud has been set to 'fevlake-cloud' (id = b1g6bvup3toribomnh30).
Please choose folder to use:
 [1] default (id = b1g5r6h11knotfr8vjp7)
 [2] Create a new folder
Please enter your numeric choice: 1
Your current folder has been set to 'default' (id = b1g5r6h11knotfr8vjp7).
Do you want to configure a default Compute zone? [Y/n]
Which zone do you want to use as a profile default?
 [1] ru-central1-a
 [2] ru-central1-b
 [3] ru-central1-c
 [4] Don't set default zone
Please enter your numeric choice: 1
Your profile default Compute zone has been set to 'ru-central1-a'.
vozerov@mba:~ $

באופן עקרוני, התהליך פשוט – ראשית צריך לקבל אסימון oauth לניהול הענן, בחרו את הענן ואת התיקיה בה תשתמשו.

אם יש לך מספר חשבונות או תיקיות בתוך אותו ענן, תוכל ליצור פרופילים נוספים עם הגדרות נפרדות באמצעות yc config profile create ולעבור ביניהם.

בנוסף לשיטות לעיל, צוות Yandex.Cloud כתב טוב מאוד תוסף עבור terraform לניהול משאבי ענן. הכנתי מצידי מאגר git, שבו תיארתי את כל המשאבים שייווצרו במסגרת המאמר - https://github.com/rebrainme/yandex-cloud-events/. אנחנו מעוניינים בסניף המאסטר, בואו נשכפל אותו באופן מקומי:

vozerov@mba:~ $ git clone https://github.com/rebrainme/yandex-cloud-events/ events
Cloning into 'events'...
remote: Enumerating objects: 100, done.
remote: Counting objects: 100% (100/100), done.
remote: Compressing objects: 100% (68/68), done.
remote: Total 100 (delta 37), reused 89 (delta 26), pack-reused 0
Receiving objects: 100% (100/100), 25.65 KiB | 168.00 KiB/s, done.
Resolving deltas: 100% (37/37), done.
vozerov@mba:~ $ cd events/terraform/

כל המשתנים העיקריים המשמשים ב-terraform נכתבים בקובץ main.tf. כדי להתחיל, צור קובץ private.auto.tfvars בתיקיית terraform עם התוכן הבא:

# Yandex Cloud Oauth token
yc_token = ""
# Yandex Cloud ID
yc_cloud_id = ""
# Yandex Cloud folder ID
yc_folder_id = ""
# Default Yandex Cloud Region
yc_region = "ru-central1-a"
# Cloudflare email
cf_email = ""
# Cloudflare token
cf_token = ""
# Cloudflare zone id
cf_zone_id = ""

ניתן לקחת את כל המשתנים מרשימת התצורה של yc, מכיוון שכבר הגדרנו את כלי השירות המסוף. אני ממליץ לך להוסיף מיד את private.auto.tfvars ל-.gitignore, כדי לא לפרסם בטעות נתונים פרטיים.

ב-private.auto.tfvars ציינו גם נתונים מ-Cloudflare - כדי ליצור רשומות DNS ולשרת את הדומיין הראשי events.kis.im לשרתים שלנו. אם אינך רוצה להשתמש ב-cloudflare, הסר את האתחול של ספק ה-cloudflare ב-main.tf ואת הקובץ dns.tf, שאחראי על יצירת רשומות ה-dns הנחוצות.

בעבודתנו נשלב את כל שלוש השיטות - ממשק האינטרנט, כלי השירות של המסוף ו-terraform.

רשתות וירטואליות

למען האמת, אתה יכול לדלג על שלב זה, מכיוון שכאשר אתה יוצר ענן חדש, תהיה לך אוטומטית רשת נפרדת ו-3 רשתות משנה - אחת לכל אזור זמינות. אבל עדיין נרצה ליצור רשת נפרדת לפרויקט שלנו עם כתובת משלה. הדיאגרמה הכללית של אופן הפעולה של הרשת ב-Yandex.Cloud מוצגת באיור שלהלן (בכנות נלקחה מ https://cloud.yandex.ru/docs/vpc/concepts/)

אז, אתה יוצר רשת משותפת שבתוכה משאבים יכולים לתקשר זה עם זה. עבור כל אזור זמינות, תת-רשת נוצרת עם כתובת משלה ומחוברת לרשת הכללית. כתוצאה מכך, כל משאבי הענן בו יכולים לתקשר, גם אם הם נמצאים באזורי זמינות שונים. משאבים המחוברים לרשתות ענן שונות יכולים לראות זה את זה רק דרך כתובות חיצוניות. דרך אגב, איך הקסם הזה עובד בפנים, תואר היטב על Habré.

יצירת הרשת מתוארת בקובץ network.tf מהמאגר. שם אנו יוצרים רשת פרטית משותפת פנימית אחת ומחברים אליה שלוש רשתות משנה באזורי זמינות שונים - פנימי-a (172.16.1.0/24), פנימי-ב (172.16.2.0/24), פנימי-ג (172.16.3.0/24) ).

אתחול terraform וצור רשתות:

vozerov@mba:~/events/terraform (master) $ terraform init
... skipped ..

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_vpc_subnet.internal-a -target yandex_vpc_subnet.internal-b -target yandex_vpc_subnet.internal-c

... skipped ...

Plan: 4 to add, 0 to change, 0 to destroy.

Do you want to perform these actions?
  Terraform will perform the actions described above.
  Only 'yes' will be accepted to approve.

  Enter a value: yes

yandex_vpc_network.internal: Creating...
yandex_vpc_network.internal: Creation complete after 3s [id=enp2g2rhile7gbqlbrkr]
yandex_vpc_subnet.internal-a: Creating...
yandex_vpc_subnet.internal-b: Creating...
yandex_vpc_subnet.internal-c: Creating...
yandex_vpc_subnet.internal-a: Creation complete after 6s [id=e9b1dad6mgoj2v4funog]
yandex_vpc_subnet.internal-b: Creation complete after 7s [id=e2liv5i4amu52p64ac9p]
yandex_vpc_subnet.internal-c: Still creating... [10s elapsed]
yandex_vpc_subnet.internal-c: Creation complete after 10s [id=b0c2qhsj2vranoc9vhcq]

Apply complete! Resources: 4 added, 0 changed, 0 destroyed.

גדול! יצרנו את הרשת שלנו ועכשיו אנחנו מוכנים ליצור את השירותים הפנימיים שלנו.

יצירת מכונות וירטואליות

כדי לבדוק את האפליקציה, נצטרך ליצור רק שתי מכונות וירטואליות - נצטרך את הראשונה כדי לבנות ולהפעיל את האפליקציה, השנייה כדי להפעיל את קפקא, שבה נשתמש לאחסון הודעות נכנסות. וניצור מכונה נוספת שבה נגדיר את פרומתאוס לנטר את האפליקציה.

המכונות הוירטואליות יוגדרו באמצעות ansible, אז לפני שתתחיל את terraform, ודא שיש לך את אחת מהגרסאות האחרונות של ansible. והתקן את התפקידים הדרושים עם גלקסיה אפשרית:

vozerov@mba:~/events/terraform (master) $ cd ../ansible/
vozerov@mba:~/events/ansible (master) $ ansible-galaxy install -r requirements.yml
- cloudalchemy-prometheus (master) is already installed, skipping.
- cloudalchemy-grafana (master) is already installed, skipping.
- sansible.kafka (master) is already installed, skipping.
- sansible.zookeeper (master) is already installed, skipping.
- geerlingguy.docker (master) is already installed, skipping.
vozerov@mba:~/events/ansible (master) $

בתוך תיקיית ansible יש קובץ תצורה לדוגמה של .ansible.cfg שאני משתמש בו. זה עשוי להועיל.

לפני יצירת מכונות וירטואליות, ודא שיש לך ssh-agent רץ ונוסף מפתח ssh, אחרת terraform לא תוכל להתחבר למכונות שנוצרו. אני, כמובן, נתקלתי בבאג ב-os x: https://github.com/ansible/ansible/issues/32499#issuecomment-341578864. כדי למנוע את זה לקרות שוב, הוסף משתנה קטן ל-env לפני הפעלת Terraform:

vozerov@mba:~/events/terraform (master) $ export OBJC_DISABLE_INITIALIZE_FORK_SAFETY=YES

בתיקייה עם terraform אנו יוצרים את המשאבים הדרושים:

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_compute_instance.build -target yandex_compute_instance.monitoring -target yandex_compute_instance.kafka
yandex_vpc_network.internal: Refreshing state... [id=enp2g2rhile7gbqlbrkr]
data.yandex_compute_image.ubuntu_image: Refreshing state...
yandex_vpc_subnet.internal-a: Refreshing state... [id=e9b1dad6mgoj2v4funog]

An execution plan has been generated and is shown below.
Resource actions are indicated with the following symbols:
  + create

... skipped ...

Plan: 3 to add, 0 to change, 0 to destroy.

... skipped ...

אם הכל הסתיים בהצלחה (וזה אמור להיות), יהיו לנו שלוש מכונות וירטואליות:

1. build - מכונה לבדיקה ובניית אפליקציה. Docker הותקן אוטומטית על ידי Ansible.
2. ניטור - מכונת ניטור - פרומתאוס וגרפנה מותקנת עליה. כניסה / סיסמה סטנדרטי: אדמין / אדמין
3. קפקא היא מכונה קטנה עם קפקא מותקנת, נגישה ביציאה 9092.

בואו נוודא שכולם במקום:

vozerov@mba:~/events (master) $ yc compute instance list
+----------------------+------------+---------------+---------+---------------+-------------+
|          ID          |    NAME    |    ZONE ID    | STATUS  |  EXTERNAL IP  | INTERNAL IP |
+----------------------+------------+---------------+---------+---------------+-------------+
| fhm081u8bkbqf1pa5kgj | monitoring | ru-central1-a | RUNNING | 84.201.159.71 | 172.16.1.35 |
| fhmf37k03oobgu9jmd7p | kafka      | ru-central1-a | RUNNING | 84.201.173.41 | 172.16.1.31 |
| fhmt9pl1i8sf7ga6flgp | build      | ru-central1-a | RUNNING | 84.201.132.3  | 172.16.1.26 |
+----------------------+------------+---------------+---------+---------------+-------------+

המשאבים במקום, ומכאן נוכל לקבל את כתובות ה-IP שלהם. במהלך הדברים הבאים אשתמש בכתובות IP כדי להתחבר באמצעות ssh ולבדוק את האפליקציה. אם יש לך חשבון cloudflare המחובר ל-terraform, אל תהסס להשתמש בשמות DNS שנוצרו לאחרונה.
אגב, בעת יצירת מכונה וירטואלית, ניתן IP פנימי ושם DNS פנימי, כך שתוכל לגשת לשרתים בתוך הרשת לפי שם:

ubuntu@build:~$ ping kafka.ru-central1.internal
PING kafka.ru-central1.internal (172.16.1.31) 56(84) bytes of data.
64 bytes from kafka.ru-central1.internal (172.16.1.31): icmp_seq=1 ttl=63 time=1.23 ms
64 bytes from kafka.ru-central1.internal (172.16.1.31): icmp_seq=2 ttl=63 time=0.625 ms
^C
--- kafka.ru-central1.internal ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 0.625/0.931/1.238/0.308 ms

זה יהיה שימושי עבורנו כדי לציין לאפליקציה את נקודת הקצה עם kafk.

הרכבת האפליקציה

מעולה, יש שרתים, יש אפליקציה - כל מה שנשאר זה להרכיב אותה ולפרסם אותה. עבור ה-build נשתמש ב-docer build הרגיל, אך כאחסון תמונות נשתמש בשירות מ-Yandex - container registry. אבל דבר ראשון.

אנו מעתיקים את האפליקציה למכונת הבנייה, נכנסים דרך ssh ומרכיבים את התמונה:

vozerov@mba:~/events/terraform (master) $ cd ..
vozerov@mba:~/events (master) $ rsync -av app/ [email protected]:app/

... skipped ...

sent 3849 bytes  received 70 bytes  7838.00 bytes/sec
total size is 3644  speedup is 0.93

vozerov@mba:~/events (master) $ ssh 84.201.132.3 -l ubuntu
ubuntu@build:~$ cd app
ubuntu@build:~/app$ sudo docker build -t app .
Sending build context to Docker daemon  6.144kB
Step 1/9 : FROM golang:latest AS build
... skipped ...

Successfully built 9760afd8ef65
Successfully tagged app:latest

חצי הקרב הסתיים - כעת אנו יכולים לבדוק את הפונקציונליות של האפליקציה שלנו על ידי הפעלתו ושליחתו ל-kafka:

ubuntu@build:~/app$ sudo docker run --name app -d -p 8080:8080 app /app/app -kafka=kafka.ru-central1.internal:9092</code>

С локальной машинки можно отправить тестовый event и посмотреть на ответ:

<code>vozerov@mba:~/events (master) $ curl -D - -s -X POST -d '{"key1":"data1"}' http://84.201.132.3:8080/post
HTTP/1.1 200 OK
Content-Type: application/json
Date: Mon, 13 Apr 2020 13:53:54 GMT
Content-Length: 41

{"status":"ok","partition":0,"Offset":0}
vozerov@mba:~/events (master) $

האפליקציה הגיבה בהצלחה של ההקלטה וציינה את מזהה המחיצה והקיזוז שבה נכללה ההודעה. כל מה שנותר לעשות הוא ליצור רישום ב-Yandex.Cloud ולהעלות לשם את התמונה שלנו (איך לעשות זאת באמצעות שלוש שורות מתואר בקובץ registry.tf). צור אחסון:

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_container_registry.events

... skipped ...

Plan: 1 to add, 0 to change, 0 to destroy.

... skipped ...

Apply complete! Resources: 1 added, 0 changed, 0 destroyed.

ישנן מספר דרכים לאימות ברישום המכילים - באמצעות אסימון oauth, אסימון iam או מפתח חשבון שירות. פרטים נוספים על שיטות אלה ניתן למצוא בתיעוד. https://cloud.yandex.ru/docs/container-registry/operations/authentication. אנו נשתמש במפתח חשבון השירות, לכן אנו יוצרים חשבון:

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_iam_service_account.docker -target yandex_resourcemanager_folder_iam_binding.puller -target yandex_resourcemanager_folder_iam_binding.pusher

... skipped ...

Apply complete! Resources: 3 added, 0 changed, 0 destroyed.

כעת כל שנותר הוא ליצור עבורו מפתח:

vozerov@mba:~/events/terraform (master) $ yc iam key create --service-account-name docker -o key.json
id: ajej8a06kdfbehbrh91p
service_account_id: ajep6d38k895srp9osij
created_at: "2020-04-13T14:00:30Z"
key_algorithm: RSA_2048

אנו מקבלים מידע על מזהה האחסון שלנו, מעבירים את המפתח ומתחברים:

vozerov@mba:~/events/terraform (master) $ scp key.json [email protected]:
key.json                                                                                                                    100% 2392   215.1KB/s   00:00

vozerov@mba:~/events/terraform (master) $ ssh 84.201.132.3 -l ubuntu

ubuntu@build:~$ cat key.json | sudo docker login --username json_key --password-stdin cr.yandex
WARNING! Your password will be stored unencrypted in /home/ubuntu/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded
ubuntu@build:~$

כדי להעלות את התמונה לרישום, אנחנו צריכים את מזהה הרישום של מיכל, אנחנו לוקחים אותו מכלי השירות yc:

vozerov@mba:~ $ yc container registry get events
id: crpdgj6c9umdhgaqjfmm
folder_id:
name: events
status: ACTIVE
created_at: "2020-04-13T13:56:41.914Z"

לאחר מכן, אנו מתייגים את התמונה שלנו בשם חדש ומעלים:

ubuntu@build:~$ sudo docker tag app cr.yandex/crpdgj6c9umdhgaqjfmm/events:v1
ubuntu@build:~$ sudo docker push cr.yandex/crpdgj6c9umdhgaqjfmm/events:v1
The push refers to repository [cr.yandex/crpdgj6c9umdhgaqjfmm/events]
8c286e154c6e: Pushed
477c318b05cb: Pushed
beee9f30bc1f: Pushed
v1: digest: sha256:1dd5aaa9dbdde2f60d833be0bed1c352724be3ea3158bcac3cdee41d47c5e380 size: 946

אנו יכולים לוודא שהתמונה נטענה בהצלחה:

vozerov@mba:~/events/terraform (master) $ yc container repository list
+----------------------+-----------------------------+
|          ID          |            NAME             |
+----------------------+-----------------------------+
| crpe8mqtrgmuq07accvn | crpdgj6c9umdhgaqjfmm/events |
+----------------------+-----------------------------+

אגב, אם אתה מתקין את כלי השירות yc במחשב לינוקס, אתה יכול להשתמש בפקודה

yc container registry configure-docker

כדי להגדיר את docker.

מסקנה

עשינו הרבה עבודה קשה וכתוצאה מכך:

1. המצאנו את הארכיטקטורה של השירות העתידי שלנו.
2. כתבנו אפליקציה בגולנג המיישמת את ההיגיון העסקי שלנו.
3. אספנו אותו ושפכנו אותו לרישום מכולות פרטי.

בחלק הבא, נעבור לדברים המעניינים - נשחרר את האפליקציה שלנו לייצור ולבסוף נשיק את העומס עליה. אל תחליף!

החומר הזה נמצא בהקלטת הווידאו של הסדנה הפתוחה REBRAIN & Yandex.Cloud: אנו מקבלים 10 בקשות בשנייה ב-Yandex Cloud - https://youtu.be/cZLezUm0ekE

אם אתם מעוניינים להשתתף באירועים כאלה באינטרנט ולשאול שאלות בזמן אמת, התחברו ל DevOps של ערוץ REBRAIN.

ברצוננו לומר תודה מיוחדת ל-Yandex.Cloud על ההזדמנות לארח אירוע כזה. קישור אליהם - https://cloud.yandex.ru/prices

אם אתה צריך לעבור לענן או שיש לך שאלות לגבי התשתית שלך, אתה מוזמן להגיש בקשה.

נ.ב. יש לנו 2 ביקורות בחינם לחודש, אולי הפרויקט שלך יהיה אחד מהם.

מקור: www.habr.com