RabbitMQ. חלק 1. מבוא. ארלנג, AMQP

צהריים טובים, הבר! אני רוצה לשתף ספר לימוד-ספר עזר של ידע שהצלחתי לאסוף עליו RabbitMQ ולרכז להמלצות ומסקנות קצרות.

תוכן העניינים

• RabbitMQ. חלק 1. מבוא. Erlang, AMQP ו-RPC
• RabbitMQ. חלק 2. הבנת חילופים
• RabbitMQ. חלק 3. הבנת תורים וכריכות
• RabbitMQ. חלק 4. הבנת מה הם מסרים ומסגרות
• RabbitMQ. חלק 5: פרסום וצריכת ביצועי הודעות
• RabbitMQ. חלק 6. סקירה של מודולי הפדרציה והשופל
• RabbitMQ. חלק 7. פרטים על קונקשן ושאנל
• RabbitMQ. חלק 8. RabbitMQ ב-.NET
• RabbitMQ. חלק 9. ניטור

בקצרה על AMQP

AMQP (Advanced Message Queuing Protocol) הוא פרוטוקול פתוח להעברת הודעות בין רכיבי מערכת. הרעיון הבסיסי הוא שתתי מערכות בודדות (או אפליקציות עצמאיות) יכולות להחליף הודעות באופן שרירותי באמצעות מתווך AMQP, שמבצע ניתוב, אולי מבטיח מסירה, מפיץ זרמי נתונים ונרשם לסוגי ההודעות הרצויים.

פרוטוקול AMQP מציג שלושה מושגים:

• exchange (נקודת החלפה או החלפה) - נשלחות אליה הודעות. נקודת החלפה מפיץ את ההודעה בתור אחד או יותר. היא מנתב הודעות לתור מבוסס על קישורים שנוצרו (binding) בינו לבין התור
• queue (תור) - מבנה נתונים בדיסק או ב-RAM כי מאחסן קישורים להודעות ונותן עותקים של הודעות consumers (לצרכנים)
• binding (מחייב) - כלל ש אומר לנקודת ההחלפה לאיזה תור ההודעות האלה צריכות להיכנס

הפרוטוקול פועל על גבי TCP / IP.

בקצרה על ארלנג

קוד המקור של הפרויקט נמצא במאגר בכתובת GitHub. ארכיטקטורה שרת RabbitMQ מבוסס על ארלנג ו-BEAM.

Erlang שפותחה על ידי החברה Ericsson באמצע שנות ה-1980 כמערכת מבוזרת, סובלנית לתקלות, בזמן אמת עבור יישומים הדורשים 99,999% זמן פעולה. Erlang משמש בתעשיות שונות ויישומים מודרניים, למשל. WhatsApp. תוכל לקרוא עוד במאמר ארכיטקטורת WhatsApp, שפייסבוק רכשה תמורת 19 מיליארד דולר

בקצרה על RabbitMQ

RabbitMQ הוא מתווך הודעות בקוד פתוח. הוא מנתב הודעות לאורך כל העקרונות הבסיסיים של הפרוטוקול AMQP מתואר ב מפרטים. RabbitMQ מיישם ומשלים את הפרוטוקול AMQP.

הרעיון המרכזי של מודל ההודעות ב RabbitMQ העניין הוא producer (מפרסם) אינו שולח הודעות ישירות לתור. למעשה, ולעתים קרובות למדי, המפרסם אפילו לא יודע אם ההודעה תועבר לתור כלשהו.

במקום זאת, המוציא לאור יכול לשלוח רק הודעות לבורסה. מצד אחד, הבורסה מקבלת הודעות מבעלי אתרים, ומצד שני היא שולחת אותן לתורים. החלפת חייבת לדעת בדיוק מה לעשות עם ההודעה שהיא מקבלת. האם צריך להוסיף אותו לתור מסוים? האם צריך להוסיף אותו למספר תורים? או שיש להתעלם מההודעה.

עבודה קצרה RabbitMQ ניתן לתאר כך:

1. המוציא לאור שולח הודעה לבורסה ספציפית
2. החלפה, לאחר שקיבלה הודעה, מנתבת אותה לתור אחד או יותר בהתאם לכללים המחייבים בינה לבין התור
3. התור מאחסן הפניה להודעה זו. ההודעה עצמה מאוחסנת ב-RAM או בדיסק
4. ברגע שהצרכן מוכן לקבל הודעה מהתור, השרת יוצר עותק של ההודעה דרך הקישור ושולח
5. הצרכן מקבל את ההודעה ושולח אישור למתווך
6. המתווך, עם קבלת האישור, מסיר עותק של ההודעה מהתור. לאחר מכן מוחק מה-RAM והדיסק

RPC

תהליך RPC (קריאה להליך מרחוק) עומד בבסיס כמעט כל האינטראקציות עם הגרעין RabbitMQ. למשל, דיונים ראשוניים על תנאי הלקוח עם RabbitMQ, מדגים תהליך מסוים RPC. לאחר השלמת הרצף הזה, RabbitMQ יהיה מוכן לקבל בקשות מהלקוח:

גם במפרט AMQP גם הלקוח וגם השרת יכולים להנפיק פקודות. המשמעות היא שהלקוח ממתין לתקשורת עם השרת. פקודות הן מחלקות ושיטות. לדוגמה, Connection.Start – קריאת שיטה Start כיתה Connection.

חיבור וערוצים

עבור חילופי מידע כאלה בין לקוח לשרת, ערוצים. ערוצים נוצרים בתוך חיבור ספציפי. כל ערוץ מבודד מערוצים אחרים. במקרה הסינכרוני, לא ניתן לבצע את הפקודה הבאה עד לקבלת תגובה.

על מנת שניתן יהיה לשלוח פקודות במקביל, יש לפתוח מספר ערוצים. כל ערוץ יוצר ערוץ נפרד Erlang תהליך. לחיבור אחד יכול להיות מספר ערוצים (רִבּוּב). לכל ערוץ ישנם מבנים ואובייקטים מסוימים בזיכרון. לכן, ככל שיש יותר ערוצים בתוך חיבור, ה RabbitMQ משתמש יותר בזיכרון לנהל חיבור כזה.

דוגמה פשוטה ליצירת חיבור וערוץ באמצעות RabbitMQ.Client:

// ...
private void TryConnect()
{
    var factory = new ConnectionFactory() 
    {
        HostName = "host_name",
        UserName = "user_name",
        Password = "p@ssword",
        // Включение автоматичекого восстановления
        // соединения после сбоев сети 
        AutomaticRecoveryEnabled = true
    };
    _connection = factory.CreateConnection();
}
// ...
public void CreateChanel()
{
    _channel = _connection.CreateModel();
    // other options 
}

פתיחת חיבור חדש עבור כל פעולה מומלצת מאוד מכיוון שכך יוביל לעלויות גבוהות. ערוצים צריכים להיות גם מתמשכים, אבל שגיאות פרוטוקול רבות גורמות לסגירת הערוץ, כך שאורך החיים של הערוץ עשוי להיות קצר מזה של החיבור.

היכן משתמשים ב- RabbitMQ?

בהקשר של שירותי מיקרו, הפרוטוקול AMQP ויישומה ב RabbitMQ משמש לעתים קרובות עבור אינטראקציה אסינכרונית בין שירותים.

בהקשר IIOT פרוטוקול AMQP ויישומה ב RabbitMQ משמש להחלפת נתונים בין שרתים (שרת-שרת). השתמש גם בתוסף MQTT Plugin RabbitMQ שהוא יישום של הפרוטוקול MQTT להעברת נתונים בין חיישן לשרת בסביבות עם מהירות נמוכה והשהייה גבוהה (רשימה מלאה של פרוטוקולים נתמכים מופיעה בכתובת אתר הפרויקט).

במאמר הבא נתחיל להבין את Exchanges ביתר פירוט.

תזכור

• אתר פרויקט RabbitMQ

מקור: www.habr.com