דוגמה ליישום של Intinuous Integration עם BuildBot

(תמונה מאת מחשוב החל מ- Pixabay)

היי!

שמי יבגני צ'רקין, אני מתכנת בצוות פיתוח בחברת כרייה פולימטל.

כאשר מתחילים כל פרויקט גדול, אתה מתחיל לחשוב: "באיזו תוכנה הכי כדאי להשתמש כדי לטפל בו?" פרויקט IT עובר מספר שלבים לפני שחרור הגרסה הבאה. זה טוב כאשר שרשרת השלבים האלה היא אוטומטית. התהליך האוטומטי של שחרור גרסה חדשה של פרויקט IT עצמו נקרא אינטגרציה מתמשכת. BuildBot התגלה כעוזר טוב עבורנו ביישום תהליך זה.

במאמר זה החלטתי לספק סקירה כללית של האפשרויות BuildBot. למה התוכנה הזו מסוגלת? איך לפנות אליו ואיך לבנות איתו מערכת יחסי עבודה אפקטיבית רגילה? אתה יכול ליישם את הניסיון שלנו בעצמך על ידי יצירת שירות עובד לבנייה ובדיקה של הפרויקט שלך במכונה שלך.

תוכן

תוכן

1. למה BuildBot?
2. קונספט בהובלת BuildMaster
3. התקנה
4. צעדים ראשונים

5. תצורה. מתכון שלב אחר שלב

5.1 BuildmasterConfig
עובד 5.2
5.3 change_source
5.4 מתזמנים

5.5 BuildFactory
5.6 בונים

6. דוגמה לתצורה משלך

6.1 בדרך ל-master.cfg שלך
6.2 עבודה עם svn
6.3 מכתב אליך: כתבים מוסמכים להצהיר

עשינו זאת! מזל טוב

1. למה BuildBot?

בעבר ב-habr-e נתקלתי במאמרים על יישום אינטגרציה מתמשכת עם BuildBot. לְמָשָׁל, זֶה מצאתי את זה הכי אינפורמטיבי. יש עוד דוגמא - פשוט יותר. ניתן לתבל את המאמרים הללו דוגמה מהמדריךו - זה אחרי זה, באנגלית. הקופה מהווה נקודת התחלה טובה. לאחר קריאת המאמרים הללו, סביר להניח שתרצה מיד משהו על BuildBot לעשות.

תפסיק! האם מישהו באמת השתמש בזה בפרויקטים שלו? מסתבר שכן רבים יישמו זאת במשימותיהם. יכול להמצא דוגמאות להשתמש BuildBot ובארכיוני הקוד של גוגל.

אז מה ההיגיון של אנשים משתמשים Buildbot? אחרי הכל, יש כלים אחרים: בקרת קרוז и ג'נקינס. אני אענה כך. לרוב המשימות ג'נקינס והאמת תספיק. בתורו, BuildBot - מסתגל יותר, בעוד שבעיות נפתרות שם בצורה פשוטה כמו ב ג'נקינס. הבחירה בידיים שלך. אך מכיוון שאנו מחפשים כלי לפרויקט יעד מתפתח, מדוע לא לבחור כזה שיאפשר, החל משלבים פשוטים, להשיג מערכת בנייה בעלת אינטראקטיביות וממשק ייחודי.

למי שפרויקט היעד שלו כתוב בפיתון, נשאלת השאלה: "למה לא לבחור מערכת אינטגרציה בעלת ממשק ברור מבחינת השפה שבה נעשה שימוש בפרויקט?" ועכשיו הגיע הזמן להציג את היתרונות BuildBot.

אז, "הרביעייה האינסטרומנטלית" שלנו. לעצמי, זיהיתי ארבע תכונות BuildBot:

1. זוהי מסגרת קוד פתוח תחת רישיון GPL
2. זהו השימוש ב-python ככלי תצורה ותיאור הפעולות הנדרשות
3. זו הזדמנות לקבל מענה מהמכונה עליה מתבצעת ההרכבה
4. אלה, לבסוף, הדרישות המינימליות למארח. הפריסה דורשת פיתון ומפותל, ואינה דורשת מכונה וירטואלית ומכונת ג'אווה.

2. קונספט בהובלת BuildMaster

מרכזי בארכיטקטורת חלוקת המשימות הוא BuildMaster. זה שירות ש:

• עוקב אחר שינויים בעץ המקור של הפרויקט
• שולח פקודות שצריך לבצע על ידי שירות Worker כדי לבנות את הפרויקט ולבדוק אותו
• מודיע משתמשים לגבי תוצאות הפעולות שננקטו

BuildMaster מוגדר באמצעות קובץ master.cfg. הקובץ הזה נמצא בשורש BuildMaster. בהמשך אראה כיצד נוצר השורש הזה. הקובץ עצמו master.cfg מכיל סקריפט python שמשתמש בקריאות BuildBot.

האובייקט החשוב הבא ביותר BuildBot יש שם עובד. שירות זה יכול להיות מופעל על מארח אחר עם מערכת הפעלה אחרת, או אולי על זה שבו BuildMaster. זה יכול להתקיים גם בסביבה וירטואלית שהוכנה במיוחד עם חבילות ומשתנים משלה. ניתן להכין את הסביבות הווירטואליות הללו באמצעות כלי עזר פיתון כמו virtualenv, venv.

BuildMaster משדר פקודות לכולם עובד-y, והוא, בתורו, ממלא אותם. כלומר, מסתבר שתהליך הבנייה והבדיקה של פרויקט יכול להימשך עובד-e עם Windows וב-Worker אחר עם לינוקס.

לבדוק קודי מקור של הפרויקט מתרחשים בכל אחד מהם עובד-ה.

3. התקנה

אז בוא נלך. אני אשתמש באובונטו 18.04 כמארח. אני אשים אחד על זה BuildMaster-א ואחד עובד-א. אבל תחילה עליך להתקין python3.7:

sudo apt-get update
sudo apt-get install python3.7

למי שצריך python3.7.2 במקום 3.7.1, אתה יכול לעשות את הפעולות הבאות:

sudo apt-get update
sudo apt-get software-properties-common
sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt-get install python3.7
sudo ln -fs /usr/bin/python3.7 /usr/bin/python3
pip3 install --upgrade pip

השלב הבא הוא התקנה צייץ и BuildBot, כמו גם חבילות המאפשרות לך להשתמש בפונקציונליות נוספת BuildBot-א.

/*Все что под sudo будет установленно для всех пользователей в директорию /usr/local/lib/python3.7/dist-packages*/

#На хосте который производит мониторинг Worker-ов 
sudo pip install twisted #Библиотека twisted
sudo pip install buildbot #BuildMaster
#Дополнительный функционал
pip install pysqlite3 #Устанавливаем базу sqllite в учебных целях
pip install jinja2 #framework наподобие django, для web и для почтовых рассыллок
pip install autobahn #Web cокеты для связи BuildMaster->Worker
pip install sqlalchemy sqlalchemy-migrate #Для отображения схемы базы данных
#Для Web отображения BuildBot-a
pip install buildbot-www buildbot-grid-view buildbot-console-view buildbot-waterfall-view
pip install python-dateutil #Отображение дат в web
#На стороне хоста который непосредственно осуществляет сборку и тестирование 
pip install buildbot-worker #Worker
#Дополнительный функционал
sudo pip install virtualenv #Виртуальная среда 

4. צעדים ראשונים

זמן ליצור BuildMaster. זה יהיה בתיקייה שלנו /home/habr/master.

mkdir master
buildbot create-master master # Собственно сдесь и создаем

השלב הבא. בואו ליצור עובד. זה יהיה בתיקייה שלנו /בית/חדר/עובד.

mkdir worker
buildbot-worker create-worker --umask=0o22 --keepalive=60 worker localhost:4000 yourWorkerName password

כשאתה רץ עובד, אז כברירת מחדל היא תיצור ב /בית/חדר/עובד תיקייה עם שם הפרויקט, המצוין ב master.cfg. ובתיקייה עם שם הפרויקט היא תיצור ספרייה לִבנוֹת, וימשיך לעשות זאת לתשלום. ספריית עבודה עבור עובד-והיא תהפוך לספרייה /home/habr/yourProject/build.

"מפתח זהב
ועכשיו בשביל מה כתבתי את הפסקה הקודמת: תסריט ש אב ידרוש מ עובד-ובוצע מרחוק בספרייה זו לא יבוצע מכיוון שלסקריפט אין הרשאות להפעיל. כדי לתקן את המצב, תזדקק למפתח --umask=0o22, האוסר לכתוב לספרייה זו, אך ישמור על זכויות ההשקה. וזה כל מה שאנחנו צריכים.

BuildMaster и עובד ליצור קשר אחד עם השני. קורה שזה מתנתק ו עובד מחכה זמן מה לתגובה מ BuildMaster-א. אם אין תגובה, החיבור מופעל מחדש. מַפְתֵחַ --keepalive=60 רק צריך לציין את הזמן שאחריו לְחַבֵּר מאתחל.

5. תצורה. מתכון שלב אחר שלב

תְצוּרָה BuildMaster מתבצע בצד המכונה שבו ביצענו את הפקודה ליצור-מאסטר. במקרה שלנו, זו ספרייה /home/habr/master. קובץ תצורה master.cfg עדיין לא קיים, אבל הפקודה עצמה כבר יצרה את הקובץ master.cmg.sample. אתה צריך לשנות את השם ל master.cfg.sample в master.cfg

mv master.cfg.sample master.cfg

בואו נפתח את זה master.cfg. ובואו נסתכל ממה זה מורכב. ואחרי זה, בואו ננסה ליצור קובץ תצורה משלנו.

master.cfg

c['change_source'] = []
c['change_source'].append(changes.GitPoller(
    'git://github.com/buildbot/hello-world.git',
         workdir='gitpoller-workdir', branch='master',
         pollInterval=300))
                        
c['schedulers'] = []
c['schedulers'].append(schedulers.SingleBranchScheduler(
        name="all",
        change_filter=util.ChangeFilter(branch='master'),
        treeStableTimer=None,
        builderNames=["runtests"]))
c['schedulers'].append(schedulers.ForceScheduler(
        name="force",
        builderNames=["runtests"]))
                        
factory = util.BuildFactory()
                        
factory.addStep(steps.Git(repourl='git://github.com/buildbot/hello-world.git', mode='incremental'))
factory.addStep(steps.ShellCommand(command=["trial", "hello"],
                                   env={"PYTHONPATH": "."}))
                        
c['builders'] = []
c['builders'].append(
    util.BuilderConfig(name="runtests",
    workernames=["example-worker"],
    factory=factory))
                         
c['services'] = []
                        
c['title'] = "Hello World CI"
c['titleURL'] = "https://buildbot.github.io/hello-world/"
                        
                        
c['buildbotURL'] = "http://localhost:8010/"
                        
c['www'] = dict(port=8010,
                plugins=dict(waterfall_view={}, console_view={}, grid_view={}))
                        
c['db'] = {
    'db_url' : "sqlite:///state.sqlite",
}

5.1 BuildmasterConfig

c = BuildmasterConfig = {} 

BuildmasterConfig - מילון בסיסי של קובץ התצורה. זה חייב להיכלל בקובץ התצורה. לנוחות השימוש, כינוי מוצג בקוד התצורה "ג". כותרות של מפתחות в c["keyFromDist"] הם אלמנטים קבועים לאינטראקציה איתם BuildMaster. עבור כל מפתח, האובייקט המתאים מוחלף כערך.

עובד 5.2

c['workers'] = [worker.Worker("example-worker", "pass")]

הפעם אנו מציינים BuildMaster-y רשימה של עובד-ס. עצמי עובד יצרנו מעל, מציין אתה-עובד-שם и סיסמא. כעת יש לציין אותם במקום זאת עובד לדוגמה и לעבור .

5.3 change_source

c['change_source'] = []
c['change_source'].append(changes.GitPoller(
                            'git://github.com/buildbot/hello-world.git',
                             workdir='gitpoller-workdir', branch='master',
                             pollInterval=300))                

לפי מפתח change_source dictionary c נקבל גישה לרשימה שבה נרצה לשים אובייקט שמסקר את המאגר עם קוד המקור של הפרויקט. הדוגמה משתמשת במאגר Git שנשאל במרווחים מסוימים.

הטיעון הראשון הוא הנתיב למאגר שלך.

workdir מייצג את הנתיב לתיקיה שבה נמצא בצד עובד-קרוב לנתיב /home/habr/worker/yourProject/build git יאחסן את הגרסה המקומית של המאגר.

סניף מכיל ענף ספציפי במאגר שיש לעקוב אחריו.

pollInterval מכיל את מספר השניות שאחריו BuildMaster יסקר את המאגר לשינויים.

ישנן מספר שיטות לעקוב אחר שינויים במאגר של פרויקט.

השיטה הפשוטה ביותר היא הסקרים, מה שמרמז על כך BuildMaster מעת לעת סוקר את השרת עם המאגר. אם לבצע שיקף את השינויים במאגר, אם כן BuildMaster תיצור אובייקט פנימי עם עיכוב מסוים שינוי ולשלוח אותו למטפל באירועים מתזמן, שתשיק את השלבים לבניית הפרויקט ולבדיקתו עובד-ה. בין השלבים הללו יצוינו עדכון מאגר. בדיוק על עובדפעולה זו תיצור עותק מקומי של המאגר. הפרטים של תהליך זה יכוסו להלן בשני הסעיפים הבאים. (5.4 и 5.5).

שיטה אלגנטית עוד יותר למעקב אחר שינויים במאגר היא לשלוח הודעות ישירות מהשרת המארח אותו BuildMaster- על שינוי קודי המקור של הפרויקט. במקרה זה, ברגע שהמפתח עושה לבצע, השרת עם מאגר הפרויקט ישלח הודעה BuildMaster-y. והוא, בתורו, יירט אותו על ידי יצירת אובייקט PBChangeSource. לאחר מכן, אובייקט זה יועבר אל מתזמן, אשר מפעיל את השלבים לבניית הפרויקט ובדיקתו. חלק חשוב בשיטה זו הוא העבודה עם וו-סקריפטים של שרת במאגר. בתסריט וו-א, אחראי לעיבוד פעולות כאשר לבצע-ה, אתה צריך להתקשר לשירות שינוי שלח וציין את כתובת הרשת BuildMaster-א. אתה גם צריך לציין את יציאת הרשת שתאזין PBChangeSource. PBChangeSource, אגב, הוא חלק BuildMaster-א. שיטה זו תדרוש אישור מנהל-a בשרת שבו נמצא מאגר הפרויקטים. תחילה יהיה עליך לבצע גיבוי של המאגר.

5.4 מתזמנים

c['schedulers'] = []
c['schedulers'].append(schedulers.SingleBranchScheduler(
        name="all",
        change_filter=util.ChangeFilter(branch='master'),
        treeStableTimer=None,
        builderNames=["runtests"]))
c['schedulers'].append(schedulers.ForceScheduler(
        name="force",
        builderNames=["runtests"]))

מתזמנים – זהו אלמנט שפועל כטריגר שמתחיל את כל שרשרת ההרכבה והבדיקות של הפרויקט.


אותם שינויים שנרשמו change_source, השתנה בתהליך העבודה BuildBot-א להתנגד שינוי ועכשיו כל Sheduler בהתבסס עליהם, הוא בונה בקשות לתחילת תהליך בניית הפרויקט. עם זאת, הוא גם קובע מתי הבקשות הללו מועברות בהמשך לתור. חפץ בונה מאחסן תור של בקשות ועוקב אחר מצב ההרכבה הנוכחית בנפרד עובד-ה. בונה קיים על BuildMaster-ה והלאה עובד-ה. הוא שולח עם BuildMaster-א על עובד-וכבר ספציפית לִבנוֹת - סדרה של שלבים שיש לבצע.
אנו רואים שבדוגמה הנוכחית כזה מתזמנים נוצרו 2 חלקים. יתר על כן, לכל אחד יש סוג משלו.

SingleBranchScheduler - אחד השיעורים הפופולריים ביותר בלוח הזמנים. הוא צופה בענף אחד ומופעל על ידי שינוי מתועד בו. כאשר הוא רואה שינויים, הוא יכול לעכב את שליחת בקשת הבנייה (דחה לתקופה המצוינת בפרמטר המיוחד treeStableTimer). ב שם מגדיר את שם לוח הזמנים שיוצג בו BuildBot-ממשק אינטרנט. IN שינוי מסנן נקבע מסנן, לאחר מעבר אילו שינויים בסניף גורמים ללוח הזמנים לשלוח בקשה לבנייה. IN שמות בונה השם מצוין בונה-א, שנקבע מעט מאוחר יותר. השם במקרה שלנו יהיה זהה לשם הפרויקט: המיזם שלך.

ForceScheduler דבר מאוד פשוט. סוג זה של לוח זמנים מופעל על ידי לחיצת עכבר BuildBot-ממשק אינטרנט. לפרמטרים יש אותה מהות כמו ב SingleBranchScheduler.

נ.ב מס' 3. אולי זה יועיל
תְקוּפָתִי הוא לוח זמנים שפועל בתדירות מסוימת קבועה בזמן. השיחה נראית בערך כך

from buildbot.plugins import schedulers
nightly = schedulers.Periodic(name="daily",
                              builderNames=["full-solaris"],
                              periodicBuildTimer=24*60*60)
c['schedulers'] = [nightly]                    

5.5 BuildFactory

factory = util.BuildFactory()
                        
factory.addStep(steps.Git(repourl='git://github.com/buildbot/hello-world.git', mode='incremental'))
factory.addStep(steps.ShellCommand(command=["trial", "hello"],
                                   env={"PYTHONPATH": "."}))

periodicBuildTimer מציין את הזמן של מחזוריות זו בשניות.

BuildFactory יוצר ספציפי לִבנוֹת, אז מה בונה שולח ל עובד. בתוך BuildFactory מציין את השלבים שיש לבצע עובד-y. שלבים מתווספים על ידי קריאה לשיטה addStep

השלב הראשון שנוסף בדוגמה זו הוא git clean -d -f -f -xאז קופת git. פעולות אלו כלולות בפרמטר שיטה, שאינו מוצהר בבירור אך מרמז על ערך ברירת מחדל טרי... פָּרָמֶטֶר mode='incremental' מציין שהקבצים הם מהספרייה שבה צ'צ'אוט, בעודו חסר במאגר, נשאר ללא נגיעה.

השלב השני שנוסף הוא קריאה לסקריפט מִשׁפָּט עם פרמטר שלום בצד עובד-a מהספרייה /home/habr/worker/yourProject/build עם משתנה הסביבה PATHONPATH=... לפיכך, אתה יכול לכתוב סקריפטים משלך ולהפעיל אותם בצד עובד-בכל צעד util.ShellCommand. ניתן למקם סקריפטים אלה ישירות במאגר. ואז ב צ'צ'אוט-ה הם יפלו /home/habr/worker/yourProject/build. עם זאת, אז יש שני "אבל":

1. עובד יש ליצור עם מפתח --umak כך שזה לא יחסום זכויות ביצוע לאחר לתשלום-א.
2. ב דחיפת גיט-ה מהסקריפטים האלה אתה צריך כדי לציין את המאפיין ניתן לביצועכך שבהמשך צ'צ'אוט-e לא איבד את הזכות לבצע את הסקריפט Git.

5.6 בונים

c['builders'] = []
c['builders'].append(util.BuilderConfig(name="runtests",
                                        workernames=["example-worker"],
                                        factory=factory))

על מה שיש בונה נאמר כאן. עכשיו אני אספר לך בפירוט רב יותר על איך ליצור את זה. BuilderConfig הוא קונסטרוקטור בונה. מעצבים כאלה ב ג['בונים'] אתה יכול לציין כמה, מכיוון שזהו גיליון של אובייקטים בונה סוּג. כעת נכתוב מחדש את הדוגמה מ BuildBot, מקרב אותו למשימה שלנו.

c['builders'] = []
c['builders'].append(util.BuilderConfig(name="yourProject",
                                            workernames=["yourWorkerName"],
                                            factory=factory))

עכשיו אני אספר לך על הפרמטרים BuilderConfig.

שם מציין את השם בונה-א. כאן קראנו לזה המיזם שלך... זה אומר שבהמשך עובד- נתיב זה ייווצר /home/habr/worker/yourProject/build. Sheduler מחפש בונה רק בשם הזה.

שמות עובדים מכיל גיליון עובד-ס. לכל אחד מהם יש להוסיף ג['עובדים'].

מפעל - ספציפי לִבנוֹת, אליו הוא קשור בונה. הוא ישלח את החפץ לִבנוֹת על עובד כדי להשלים את כל השלבים הכלולים בזה לִבנוֹת-א.

6. דוגמה לתצורה משלך

הנה ארכיטקטורת הפרויקט לדוגמה שאני מציע ליישם באמצעותה BuildBot
.

אנו נשתמש כמערכת בקרת גרסאות svn. המאגר עצמו ימוקם בענן כלשהו. הנה הכתובת של הענן הזה svn.host/svn/yourProject/trunk. בענן מתחת svn יש שם משתמש לחשבון: המשתמש, passwd: סיסמא. סקריפטים המייצגים שלבים לִבנוֹת-a יהיה גם בסניף svn, בתיקייה נפרדת buildbot/worker_linux. סקריפטים אלו ממוקמים במאגר עם המאפיין השמור הפעלה.

BuildMaster и עובד לרוץ על אותו מארח project.host .BuildMaster מאחסן את הקבצים שלו בתיקייה /home/habr/master. עובד הוא מאוחסן בנתיב הבא /בית/חדר/עובד. תקשורת תהליכית BuildMaster-א ו עובד-a מתבצע דרך יציאה 4000 לפי הפרוטוקול BuildBot-א, כלומר 'פב' נוהל.

פרויקט היעד כתוב כולו ב- Python. המשימה היא לעקוב אחר השינויים שלו, ליצור קובץ הפעלה, ליצור תיעוד ולערוך בדיקות. במקרה של כשל, כל המפתחים צריכים לשלוח הודעה בדוא"ל המציינת שיש פעולה לא מוצלחת.

תצוגת אינטרנט BuildBot נתחבר ליציאה 80 עבור project.host. אין צורך להתקין את Apatch. כחלק מהספרייה מפותל יש כבר שרת אינטרנט, BuildBot משתמש בו.

לאחסון מידע פנימי עבור BuildBot אנחנו נשתמש 12te.

נדרש מארח עבור דיוור smtp.your.domain - זה מאפשר שליחת מכתבים מהדואר [מוגן בדוא"ל] ללא אימות. גם על המארח 'SMTP הפרוטוקול נשמע במוצב 1025.

שני אנשים מעורבים בתהליך: מנהל и המשתמש. מנהל מנהל BuildBot. המשתמש הוא האדם שמתחייב לבצע-ס.

קובץ ניתן לביצוע נוצר באמצעות pyinstaller. התיעוד נוצר באמצעות דו חמצן.

עבור הארכיטקטורה הזו כתבתי את זה: master.cfg:

master.cfg

import os, re
from buildbot.plugins import steps, util, schedulers, worker, changes, reporters

c= BuildmasterConfig ={}

c['workers'] = [ worker.Worker('yourWorkerName', 'password') ]
c['protocols'] = {'pb': {'port': 4000}} 


svn_poller = changes.SVNPoller(repourl="https://svn.host/svn/yourProject/trunk",
                                svnuser="user",
                                svnpasswd="password",
                                pollinterval=60,
				split_file=util.svn.split_file_alwaystrunk
                                )

c['change_source'] =  svn_poller

hourlyscheduler = schedulers.SingleBranchScheduler(
                                name="your-project-schedulers",
				change_filter=util.ChangeFilter(branch=None),
                                builderNames=["yourProject"],
				properties = {'owner': 'admin'}
                                )

c['schedulers'] = [hourlyscheduler]

checkout = steps.SVN(repourl='https://svn.host/svn/yourProject/trunk',
                        mode='full',
                        method='fresh',
                        username="user",
                        password="password",
                        haltOnFailure=True)

	
projectHost_build = util.BuildFactory()  


cleanProject = steps.ShellCommand(name="Clean",
                 command=["buildbot/worker_linux/pyinstaller_project", "clean"]
                                )
buildProject = steps.ShellCommand(name="Build",
                 command=["buildbot/worker_linux/pyinstaller_project", "build"]
                                )
doxyProject = steps.ShellCommand(name="Update Docs",
                                command=["buildbot/worker_linux/gendoc", []]
                                )
testProject = steps.ShellCommand(name="Tests",
                                command=["python","tests/utest.py"],
                                env={'PYTHONPATH': '.'}
                                )

projectHost_build.addStep(checkout)
projectHost_build.addStep(cleanProject)
projectHost_build.addStep(buildProject)
projectHost_build.addStep(doxyProject)
projectHost_build.addStep(testProject)


c['builders'] = [
        util.BuilderConfig(name="yourProject", workername='yourWorkerName', factory=projectHost_build)
]


template_html=u'''
<h4>Статус построенного релиза: {{ summary }}</h4>
<p>Используемый сервис для постраения: {{ workername }}</p>
<p>Проект: {{ projects }}</p>
<p>Для того что бы посмотреть интерфейс управления пройдите по ссылке: {{ buildbot_url }}</p>
<p>Для того что бы посмотреть результат сборки пройдите по ссылке: {{ build_url }}</p>
<p>Используя WinSCP можно подключиться к серверу c ip:xxx.xx.xxx.xx. Войдя под habr/password, забрать собранный executable файл с директории ~/worker/yourProject/build/dist.</p>
<p><b>Построение было произведено через Buildbot</b></p>
'''

sendMessageToAll = reporters.MailNotifier(fromaddr="[email protected]",
					sendToInterestedUsers=True,
					lookup="your.domain",
					relayhost="smtp.your.domain",
					smtpPort=1025,
					mode="warnings",
					extraRecipients=['[email protected]'],
              messageFormatter=reporters.MessageFormatter(
						template=template_html,
						template_type='html',
						wantProperties=True, 
                                                wantSteps=True)
					)
c['services'] = [sendMessageToAll]

c['title'] = "The process of bulding"
c['titleURL'] = "http://project.host:80/"

c['buildbotURL'] = "http://project.host"

c['www'] = dict(port=80,
                plugins=dict(waterfall_view={}, console_view={}, grid_view={}))


c['db'] = {
    'db_url' : "sqlite:///state.sqlite"
}

ראשית אתה צריך создать BuildMaster-א ו עובד-א. לאחר מכן הדבק את הקובץ הזה master.cfg в /home/habr/master.

השלב הבא הוא להתחיל את השירות BuildMasterא

sudo buildbot start /home/habr/master

לאחר מכן התחל את השירות עובד-a

buildbot-worker start /home/habr/worker

מוּכָן! עַכשָׁיו Buildbot יעקוב אחר שינויים ויפעיל לבצע-י פנימה svn, ביצוע שלבי בנייה ובדיקת פרויקט עם הארכיטקטורה הנ"ל.

להלן אתאר כמה תכונות של האמור לעיל master.cfg.

6.1 בדרך ל-master.cfg שלך

תוך כדי כתיבת שלי master.cfg יעשו שגיאות רבות, לכן תידרש קריאת קובץ היומן. זה מאוחסן כ BuildMaster-ec נתיב מוחלט /home/habr/master/twistd.log, ובצד עובד-א עם נתיב מוחלט /home/habr/worker/twistd.log. בזמן שתקרא את השגיאה ותתקן אותה, תצטרך להפעיל מחדש את השירות BuildMaster-א. הנה איך זה נעשה:

sudo buildbot stop /home/habr/master
sudo buildbot upgrade-master /home/habr/master
sudo buildbot start /home/habr/master

6.2 עבודה עם svn

svn_poller = changes.SVNPoller(repourl="https://svn.host/svn/yourProject/trunk",
                               svnuser="user",
                               svnpasswd="password",
                               pollinterval=60,
                               split_file=util.svn.split_file_alwaystrunk
                        )

c['change_source'] =  svn_poller

hourlyscheduler = schedulers.SingleBranchScheduler(
                            name="your-project-schedulers",
                            change_filter=util.ChangeFilter(branch=None),
                            builderNames=["yourProject"],
                            properties = {'owner': 'admin'}
                        )

c['schedulers'] = [hourlyscheduler]

checkout = steps.SVN(repourl='https://svn.host/svn/yourProject/trunk',
                     mode='full',
                     method='fresh',
                     username="user",
                     password="password",
                     haltOnFailure=True)

ראשית, בואו נסתכל על svn_poller. זה עדיין אותו ממשק, שסקר באופן קבוע את המאגר פעם בדקה. במקרה הזה svn_poller ניגש רק לסניף תא המטען. פרמטר מסתורי split_file=util.svn.split_file_alwaystrunk קובע את הכללים: כיצד לשבור את מבנה התיקיות svn על הענפים. הוא גם מציע להם נתיבים יחסיים. בתורו split_file_alwaystrank מפשט את התהליך בכך שהמאגר מכיל רק תא המטען.

В מתזמנים צוין שינוי מסנןמי שרואה ללא חתימה ומשייך אליו סניף תא המטען לפי אסוציאציה נתונה דרך split_file_alwaystrank. תגובה לשינויים ב תא המטען, משיקה בונה עם שם המיזם שלך.

נכסים כאן זה נחוץ כדי שהמנהל יקבל רשימות דיוור של תוצאות בנייה ובדיקות כבעלים של התהליך.

שלב לִבנוֹת-a לתשלום מסוגל למחוק לחלוטין כל קבצים שנמצאים בגרסה המקומית של המאגר עובד-א. ואז תעשה את המלאה עדכון. המצב מוגדר דרך הפרמטר מצב=מלא, שיטה=טרי... פָּרָמֶטֶר haltOnTailure אומר שאם עדכון יבוצע עם שגיאה, אז יש להשעות את כל תהליך הבנייה והבדיקה, מכיוון שפעולות נוספות אינן הגיוניות.

6.3 מכתב אליך: כתבים מוסמכים להצהיר

כתבים הוא שירות לשליחת הודעות במייל.

template_html=u'''
<h4>Статус построенного релиза: {{ summary }}</h4>
<p>Используемый сервис для постраения: {{ workername }}</p>
<p>Проект: {{ projects }}</p>
<p>Для того что бы посмотреть интерфейс управления пройдите по ссылке: {{ buildbot_url }}</p>
<p>Для того что бы посмотреть результат сборки пройдите по ссылке: {{ build_url }}</p>
<p>Используя WinSCP можно подключиться к серверу c ip:xxx.xx.xxx.xx. Войдя под habr/password, забрать собранный executable файл с директории ~/worker/yourProject/build/dist.</p>
<p><b>Построение было произведено через Buildbot</b></p>
'''
                        
sendMessageToAll = reporters.MailNotifier(fromaddr="[email protected]",
                                          sendToInterestedUsers=True,
                                          lookup="your.domain",
                                          relayhost="smtp.your.domain",
                                          smtpPort=1025,
                                          mode="warnings",
                                          extraRecipients=['[email protected]'],
                                    messageFormatter=reporters.MessageFormatter(
                                                    template=template_html,
                                                    template_type='html',
                                                    wantProperties=True, 
                                                    wantSteps=True)
                                        )
c['services'] = [sendMessageToAll]

הוא יכול לשלוח הודעות דרכים שונות.

MailNotifier משתמש בדוא"ל כדי לשלוח הודעות.

template_html מגדיר את תבנית הטקסט עבור הניוזלטר. HTML משמש ליצירת סימון. זה משתנה על ידי המנוע jinja2 (ניתן להשוות עם ג'נגו). BuildBot יש קבוצה של משתנים שהערכים שלהם מוחלפים בתבנית במהלך תהליך יצירת טקסט ההודעה. משתנים אלו מוקפים ב-{{ סוגרים מתולתלים כפולים }}. לדוגמה, תקציר מציג את מצב הפעולות שהושלמו, כלומר הצלחה או כישלון. א פרויקטים יפלוט המיזם שלך. אז, באמצעות פקודות שליטה ב jinja2, משתנים BuildBot-a ו-python כלי עיצוב מחרוזות, אתה יכול ליצור הודעה די אינפורמטיבית.

MailNotifier מכיל את הטיעונים הבאים.

fromaddr – הכתובת ממנה כולם יקבלו את הניוזלטר.

sendToInterestedUsers=True שולח הודעה לבעלים ולמשתמש שעשה לבצע.

בדיקה - סיומת שיש להוסיף לשמות המשתמשים המקבלים את הניוזלטר. כך מנהל כיצד יקבל המשתמש את הניוזלטר בכתובת [מוגן בדוא"ל].

מארח ממסר מציין את שם המארח שבו השרת נפתח SMTP, smptPort מציין את מספר היציאה שמאזין SMTP שרת

mode="אזהרה" אומר שהדיוור צריך להיעשות רק אם יש לפחות שלב אחד לִבנוֹת-a, שהסתיים בכישלון הסטטוס או באזהרה. במקרה של הצלחה, אין צורך לשלוח ניוזלטר.

נמענים נוספים מכיל רשימה של אנשים שאליהם יש לשלוח את הדיוור בנוסף לבעלים ולמי שביצע את לבצע.

messageFormatter הוא אובייקט המציין את פורמט ההודעה, התבנית שלה וקבוצת משתנים זמינים מ jinja2. אפשרויות כגון wantProperties=נכון и wantSteps=נכון להגדיר קבוצה זו של משתנים זמינים.

with['services']=[sendMessageToAll] מספק רשימה של שירותים, ביניהם יהיו שלנו כתב.

עשינו זאת! מזל טוב

יצרנו תצורה משלנו וראינו את הפונקציונליות שהיא מסוגלת לה. BuildBot. זה, לדעתי, מספיק כדי להבין אם הכלי הזה נחוץ ליצירת הפרויקט שלך. האם אתה מעוניין בו? האם זה יועיל לך? האם נוח לעבוד איתו? אז אני לא כותב את המאמר הזה לשווא.

ועוד. הייתי רוצה שהקהילה המקצועית משתמשת BuildBot, הפך רחב יותר, מדריכים תורגמו, והיו עוד דוגמאות.

תודה לכולכם על תשומת הלב. בהצלחה.

מקור: www.habr.com