🥇 مثالن ۾ بوٽ ٺاهيو

مون کي سيٽ اپ ڪرڻ جي ضرورت هئي سافٽ ويئر پيڪيجز کي گڏ ڪرڻ ۽ پهچائڻ جي گٽ مخزن کان سائيٽ تي. ۽ جڏهن مون ڏٺو، ايترو گهڻو اڳ نه، هتي هبري تي هڪ آرٽيڪل تي buildbot (آخر ۾ لنڪ)، مون ان کي ڪوشش ڪرڻ ۽ ان کي لاڳو ڪرڻ جو فيصلو ڪيو.

جيئن ته buildbot هڪ ورهايل نظام آهي، اهو منطقي هوندو ته هر فن تعمير ۽ آپريٽنگ سسٽم لاءِ الڳ بلڊ هوسٽ ٺاهيو وڃي. اسان جي صورت ۾، اهي LXC ڪنٽينر هوندا (لينڪس جي صورت ۾) ۽ qemu (ونڊوز جي صورت ۾):

vm-srv-build1 - centos 7، اتي ھڪڙو بلڊ بوٽ ماسٽر ۽ ھڪڙو ڪم ڪندڙ ھوندو
vm-srv-build2 - debian 10، DEB پيڪيجز جي تعمير لاء
vm-srv-build3 - ونڊوز 10، اسيمبليءَ لاءِ، توهان کي خبر آهي ته ڇا لاءِ

گڏ ڪنداسين ريڪ GUI - سرورز جي ڪلستر کي منظم ڪرڻ لاءِ 1C ريڪ لاءِ هڪ گرافڪ انٽرفيس. لينڪس لاءِ، هر او ايس لاءِ معياري اوزار استعمال ڪيا ويندا؛ ونڊوز لاءِ هڪ exe فائل ٺاهڻ لاءِ tcl اسڪرپٽ مان، استعمال ڪريو آزاد لپيٽڻ.

تنصيب

GNU / Linux

تنصيب لاءِ انٽرنيٽ تي ڪافي دستاويز موجود آهن 1,2. ها، ۽ اهو ڪو خاص مسئلو ناهي:
ماسٽر لاء:

pip3 install buildbot
pip3 install twisted
pip3 install autobahn
pip3 install pysqlite3
pip3 install sqlalchemy sqlalchemy-migrate
pip3 install buildbot-www buildbot-grid-view buildbot-console-view buildbot-waterfall-view
pip3 install python-dateutil

"مزدورن" لاء، هي ڪافي آهي:

pip3 install buildbot-worker

يقينن، اهو وڌيڪ صحيح هوندو ته هر OS لاء پيڪيجز گڏ ڪرڻ، پر اهو مضمون جي دائري کان ٻاهر آهي. اسان ڪم لاءِ ڪنٽينرز قائم ڪرڻ جي وضاحت کي به ختم ڪنداسين، مان صرف نوٽ ڪندس ته مان ProxMox VE استعمال ڪريان ٿو. ۽ توهان کي به ضرورت پوندي ته هر محور لاءِ پيڪيجز انسٽال ڪرڻ گهرجن اسيمبليءَ لاءِ (centos: rpmdevtools, etc.؛ debian: build-essential, dh-make, pbuilder, etc.)

پراجيڪٽ ٺاهيو ۽ بلڊ بوٽ سروسز هڪ غير مراعات يافته صارف جي طور تي شروع ڪيون وينديون، تنهنڪري توهان کي پروسيس ۾ حصو وٺندڙ سڀني ميزبانن تي هڪ ٺاهڻ جي ضرورت آهي:


adduser buildbot

اڳيون، اسان ترتيب ڏينداسين خدمتن جي خودڪار لانچ، ترتيب سان، هر ميزبان تي (ڪنٽينرز):

وزرڊ کي هلائڻ لاءِ Systemd يونٽ:

touch /etc/systemd/buildbot-master.service 

[Unit]
Description=BuildBot master service
After=network.target

[Service]
User=buildbot
Group=buildbot
WorkingDirectory=/home/buildbot/master
ExecStart=/usr/local/bin/buildbot start --nodaemon
ExecReload=/bin/kill -HUP $MAINPID

[Install]
WantedBy=multi-user.target

۽ "ڪم ڪندڙ"

touch /etc/systemd/buildbot-worker.service 

[Unit]
Description=BuildBot worker service
After=network.target

[Service]master
User=buildbot
Group=buildbot
WorkingDirectory=/home/buildbot/worker
ExecStart=/usr/local/bin/buildbot-worker start --nodaemon

[Install]
WantedBy=buildbot-master.service

جيئن ته سڀئي اسڪرپٽ (اسان جي صورت ۾) /usr/local/ ۾ واقع آهن، توهان کي انهن کي ماحول جي متغير ۾ رستو مقرر ڪرڻ گهرجي:

nano /root/.bash_profile

PATH=$PATH:$HOME/.local/bin:$HOME/bin:/usr/local/bin

ان کان پوء، توهان ٺاهي سگهو ٿا هڪ ڊائريڪٽري بنيادي ڍانچي لاءِ “ڪارڪنن” (سڀني ميزبانن تي)، اهو ڪرڻ لاءِ، بلڊ بوٽ استعمال ڪندڙ جي تحت رجسٽر ٿيو ۽ هيٺ ڏنل حڪمن کي هلائڻ:

پهرين ميزبان تي vm-srv-build1:

su - buildbot
mkdir /home/buildbot/worker
cd ~
buildbot-worker create-worker --umask=0o22 --keepalive=60 worker vm-srv-build1:4000 CentOS 123456

ٻئي ميزبان تي vm-srv-build2:

su - buildbot
mkdir /home/buildbot/worker
cd ~
buildbot-worker create-worker --umask=0o22 --keepalive=60 worker vm-srv-build1:4000 Debian-10 123456

ڪم ڪندڙ ميزبانن تي، بلڊ بوٽ-ورڪر سروس شروع ڪري سگھجي ٿو

systemctl start buildbot-worker

ايم ايس ونڊوز

ونڊوز جي تحت اسيمبليءَ لاءِ ”ڪم ڪندڙ“ جي طور تي، Win10 جي تازي رليز سان گڏ هڪ ورچوئل مشين استعمال ڪئي ويندي.
ڪم ڪرڻ لاء توهان کي ضرورت پوندي:

Python
PyWIN
Git
Python ۾ سڀني قسمن جي مختلف شين کي نصب ڪرڻ لاء، توهان کي ڊائون لوڊ ڪرڻ جي ضرورت آهي Visual Studio 2019 لاءِ اوزار ٺاھيو
ڪريٽو

مٿين سڀني کي انسٽال ڪرڻ کان پوء، توهان انسٽال ڪري سگهو ٿا buildbot پاڻ کي:

pip install buildbot-worker

اچو ته هڪ ڪم ڪندڙ ڊاريڪٽري ٺاهي

md c:worker

۽ اچو ته لانچ ڪريون

buildbot-worker start c:worker

جيڪڏهن سڀ ڪجهه ڪم ڪري ٿو (ڏسو log c:workertwistd.log)، ته پوءِ توهان رجسٽري ۾ ڪم ڪندڙ ڊاريڪٽري سان هڪ شئي شامل ڪري اسان جي “worker” کي خدمت جي طور تي رجسٽر ڪري سگهو ٿا (ڪمانڊز ايگزيڪيوٽو ڪيا ويندا آهن پاور شيل ۾ ايڊمنسٽريٽر جي طور تي):

buildbot_worker_windows_service.exe --user VM-SRV-BUILD3buildbot --password 123456 --startup auto install
New-ItemProperty -path Registry::HKEY_LOCAL_MACHINESYSTEMCurrentControlSetservicesBuildBotParameters -Name directories -PropertyType String -Value c:worker

۽ توهان خدمت شروع ڪري سگهو ٿا

Start-Service buildbot

اهو سڀ ڪجهه "ڪارڪنن" سان آهي، توهان کي انهن کي وڌيڪ هٿ ڪرڻ جي ضرورت ناهي، سڀ ڪنٽرول ماسٽر کان اچي ٿو.

مددگار سيٽ اپ

شروع ڪرڻ سان، اچو ته ماسٽر لاءِ انفراسٽرڪچر ٺاهيون (مکيه ميزبان تي)، ائين ڪرڻ لاءِ، رجسٽر ٿيو بلڊ بوٽ استعمال ڪندڙ ۽ ھيٺ ڏنل حڪمن تي عمل ڪريو:

su - buildbot
mkdir /home/buildbot/master
cd ~
buildbot create-master master

تيار ٿيل پيڪيجز لاء، ٺاھيو ڊاريڪٽري ٺاھيو

mkdir /home/buildbot/builds

هڪ master.cfg فائل ٺاهي وئي /home/buildbot/master/ ڊاريڪٽري ۾. هي فائل هڪ پائٿون ڪوڊ آهي ۽ سسٽم جي سڀني ميڪانيزم جي وضاحت تي مشتمل آهي؛ اسان مستقبل ۾ ان سان ڪم ڪنداسين.

nano /home/buildbot/master/master.cfg

import os, re
from buildbot.plugins import steps, util, schedulers, worker, changes, reporters

c= BuildmasterConfig ={}

# Описание наших рабочих.
c['workers'] = [ worker.Worker('CentOS', '123456'), worker.Worker('Debian-10', '123456'), worker.Worker('Windows-10', '123456')]
c['protocols'] = {'pb': {'port': 4000}} 

# Указание мастеру какой репозиторий отслеживать
c['change_source'] = []
c['change_source'].append(changes.GitPoller(
       repourl = 'https://bitbucket.org/svk28/rac-gui.git',
       project = 'Rac-GUI',
       branches = True,
       pollInterval = 60
      )
)

# служба запуска сборки
c['schedulers'] = []
c['schedulers'].append(schedulers.SingleBranchScheduler(
       name="Rac-GUI-schedulers",
       change_filter=util.ChangeFilter(branch='master'),
       builderNames=["Rac-GUI-RPM-builder", "Rac-GUI-DEB-builder", "Rac-GUI-WIN-builder"],
       properties = {'owner': 'admin'}
       )
)
@util.renderer

######################################3
# Сборка RPM-пакета
 rac_gui_build_RPM = util.BuildFactory()

rac_gui_build_RPM.addStep(steps.Git(
       repourl = 'https://bitbucket.org/svk28/rac-gui.git',
       workdir = 'rac-gui',
       haltOnFailure = True,
       submodules = True,
       mode='full',
       progress = True)
)

مختلف ورزن جي پيڪيجز جي اسيمبليءَ کي خودڪار ڪرڻ لاءِ، جيئن ته master.cfg فائل جي ڪوڊ ۾ داخل ٿيڻ جي ضرورت نه پوي، rac_gui.tcl پروگرام جي مکيه اسڪرپٽ ۾، هيڊر ۾ موجوده ورزن ۽ رليز جون لائينون شامل ڪيون ويون. :

######################################################
#        Rac GUI
...
# version: 1.0.3
# release: 1

۽ انهن لائينن جي بنياد تي، buildbot پيڪيجز کي نمبر ڏيندو. ڊيٽا کي ڪڍڻ لاء، استعمال ڪريو ڪنسول گريپ ڪال. buildbot ۾ توهان صرف "مزدور" لاء متغير بيان نٿا ڪري سگهو (گهٽ ۾ گهٽ، مون کي نه مليو آهي ڪيئن). اھو اھو آھي جيڪو ملڪيت لاء استعمال ڪيو ويندو آھي. اهي. اسيمبليء جي عمل ۾، اسان ورزن کي طئي ڪرڻ ۽ ڇڏڻ لاء قدم شامل ڪيو ۽، مطابق، نسخو مقرر ڪريو ۽ ملڪيت جاري ڪريو. خاصيتون مختلف طريقن سان سيٽ ڪري سگھجن ٿيون، ھن صورت ۾ ڪنسول حڪم کي ڪال ڪندي:

# Добавим определение версии из основного файла
rac_gui_build_RPM.addStep(
       steps.SetPropertyFromCommand(
       command="grep version ../rac-gui/rac_gui.tcl | grep -oE 'b[0-9]{1,2}.[0-9]{1,2}.[0-9]{1,2}b'", property="version"
       )
)
# Добавим определение релиза из основного файла
rac_gui_build_RPM.addStep(
       steps.SetPropertyFromCommand(
       command="grep release ../rac-gui/rac_gui.tcl | grep -oE 'b[0-9]{1,3}b'", property="release"
       )
)

توھان util.Interpolate() کي ڪال ڪندي نتيجن جي قيمتن کي متبادل ڪري سگھو ٿا.

# Запакуем исходники
rac_gui_build_RPM.addStep(
       steps.ShellCommand(
          command=["tar", "czf", util.Interpolate("/home/buildbot/rpmbuild/SOURCES/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"), "../rac-gui"]
       )
)

هتي اهو ياد رکڻ گهرجي ته جيئن ته ميزبان پيڪيجز جي دستي اسيمبليء لاء پڻ استعمال ڪيو ويندو آهي، اسيمبلي معياري رستن سان گڏ ٿيندي.

# Копируем spec
rac_gui_build_RPM.addStep(steps.ShellCommand(
       command=["cp", "../rac-gui/rac_gui.spec", "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))

صحيح رليز ۽ ورجن نمبرن کي سيٽ ڪرڻ لاءِ، معياري سيڊ ڪال استعمال ڪريو، يعني. ڪمانڊ اسپيڪ فائل جي اندر ويلن کي تبديل ڪري ٿو گھربل سان

# меняем версию
rac_gui_build_RPM.addStep(steps.ShellCommand(
       command=["sed", "-i", util.Interpolate("s/.*Version:.*/Version:t%(prop:version)s/"), "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))
# меняем релиз
rac_gui_build_RPM.addStep(steps.ShellCommand(
       command=["sed", "-i", util.Interpolate("s/.*Release:.*/Release:t%(prop:release)s/"), "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))

# запускаем процесс сборки
rac_gui_build_RPM.addStep(steps.RpmBuild(
       specfile="/home/buildbot/rpmbuild/SPECS/rac_gui.spec",
       dist='.el5',
       topdir='/home/buildbot/rpmbuild',
       builddir='/home/buildbot/rpmbuild/build',
       rpmdir='/home/buildbot/rpmbuild/RPMS',
       sourcedir='/home/buildbot/rpmbuild/SOURCES'
      )
)

اسان مڪمل ٿيل گڏ ڪيل پيڪيج کي نقل ڪريون ٿا ۽ آرڪائيو ذريعن سان ماسٽر ڏانهن. پر توهان فوري طور تي فائلون ڪاپي ڪري سگهو ٿا توهان جي ڪم فائل مان توهان جي مخزن يا ويب سائيٽ ڏانهن.

# Скопируем файл на мастер
rac_gui_build_RPM.addStep(
       steps.FileUpload(
          workersrc=util.Interpolate("/home/buildbot/rpmbuild/RPMS/noarch/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm"),
          masterdest=util.Interpolate("/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm")
      )
)

rac_gui_build_RPM.addStep(
       steps.FileUpload(
       workersrc=util.Interpolate("/home/buildbot/rpmbuild/SOURCES/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"),
          masterdest=util.Interpolate("/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz")
       )
)

اچو ته گڏ ڪيل پيڪيجز کي ڪاپي ڪرڻ جو عمل شروع ڪريون ماسٽر تي FTP ذريعي هوسٽنگ ڏانهن. هن مقصد لاء استعمال ڪيو ويندو آهي اسڪرپٽ tcl تي.

rac_gui_build_RPM.addStep(
        steps.MasterShellCommand(
            command=["/usr/local/bin/deploy-ftp.tcl",
                util.Interpolate("--local-file=/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm"),
                util.Interpolate("--remote-file=uploads/rac-gui/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm")]
        )
)

rac_gui_build_RPM.addStep(
        steps.MasterShellCommand(
            command=["/usr/local/bin/deploy-ftp.tcl",
                util.Interpolate("--local-file=/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"),
                util.Interpolate("--remote-file=uploads/rac-gui/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz")]
        )
)

اهو ئي آهي RPM سان. ھاڻي اچو ته DEB پيڪيج جي تعمير لاء الگورتھم بيان ڪرڻ شروع ڪريو. جيئن ته مختلف سسٽم لاءِ پيڪيجز ٺاهڻ جا عمل هڪ ٻئي کان آزاد آهن، ڪيترائي مرحلا ورجائي ويندا.


rac_gui_build_DEB = util.BuildFactory()

rac_gui_build_DEB.addStep(steps.Git(
       repourl = 'https://bitbucket.org/svk28/rac-gui.git',
       haltOnFailure = True,
       submodules = True,
       mode='full',
       workdir='build',
       progress = True)
)

# Добавим определение версии из основного файла
rac_gui_build_DEB.addStep(
       steps.SetPropertyFromCommand(
       command="grep version rac_gui.tcl | grep -oE 'b[0-9]{1,2}.[0-9]{1,2}.[0-9]{1,2}b'", property="version"
       )
)

# Добавим определение релиза из основного файла
rac_gui_build_DEB.addStep(
       steps.SetPropertyFromCommand(
       command="grep release rac_gui.tcl | grep -oE 'b[0-9]{1,3}b'", property="release"
       )
)

# Переименуем запускаемый файл
    rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["mv", "rac_gui.tcl", "racgui"]))

RPM پيڪيج لاءِ، ڪجھ ھيٺ ڏنل طريقا rpm پاڻ اسيمبليءَ دوران ڪيا آھن ۽ بيان ڪيل آھن اندر؛ ديبين لاءِ، توھان کي ھتي ڪرڻو پوندو:

# Поменяем пути к библиотекам
rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["sed", "-i", "s+^set dir(lib)+set dir(lib) /usr/share/rac-gui/lib ;#+g", "racgui"]))

# Поменяем пути к файлам
rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["sed", "-i", "s+[pwd]+/usr/share/rac-gui+g", "racgui"]))

# заархивируем исходники
rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["tar", "czf", util.Interpolate("../rac-gui_%(prop:version)s.orig.tar.gz"), "."]))

# Соберём пакет
rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["dpkg-buildpackage"]))

# Скопируем файл на мастер
rac_gui_build_DEB.addStep(
       steps.FileUpload(
       workersrc=util.Interpolate("../rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb"),
           masterdest=util.Interpolate("/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb")
       )
)
rac_gui_build_DEB.addStep(
        steps.MasterShellCommand(
            command=["/usr/local/bin/deploy-ftp.tcl",
             util.Interpolate("--local-file=/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb"),
             util.Interpolate("--remote-file=uploads/rac-gui/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb")]
        )
)

۽ DEB سان ڪيو ويو، هاڻي ونڊوز!

rac_gui_build_WIN = util.BuildFactory()

rac_gui_build_WIN.addStep(steps.Git(
       repourl = 'https://bitbucket.org/svk28/rac-gui.git',
       haltOnFailure = True,
       submodules = True,
       mode='full',
       workdir='build',
       progress = True)
)

جيئن ته grep ۽ sed ونڊوز ۾ معياري نه آهن (يا آهن؟)، اسان پاور شيل استعمال ڪنداسين

# Добавим определение версии из основного файла
rac_gui_build_WIN.addStep(
       steps.SetPropertyFromCommand(
       command="powershell -command "((Get-Content .rac_gui.tcl | Select-String -Pattern 'version:') -split 's')[2]",
       property="version"
       )
    )

# Добавим определение релиза из основного файла
rac_gui_build_WIN.addStep(
       steps.SetPropertyFromCommand(
       command="powershell -command "((Get-Content .rac_gui.tcl | Select-String -Pattern 'release:') -split 's')[2]",
       property="release"
       )
)

# Создадим запускаемый файл
rac_gui_build_WIN.addStep(steps.ShellCommand(
       command=["c:binfreewrap.exe", "rac_gui.tcl"]))

# запакуем то, что получилось
rac_gui_build_WIN.addStep(steps.ShellCommand(
       command=["c:Program Files7-zip7z.exe", "a", "-r", util.Interpolate("..rac-gui_%(prop:version)s-%(prop:release)s.win.zip"), "..build"]))

# скопируем на мастер
rac_gui_build_WIN.addStep(
       steps.FileUpload(
       workersrc=util.Interpolate("..rac-gui_%(prop:version)s-%(prop:release)s.win.zip"),
           masterdest=util.Interpolate("/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s.win.zip")
       )
)
# Скопируем файл на хостинг
rac_gui_build_WIN.addStep(
        steps.MasterShellCommand(
            command=["/usr/local/bin/deploy-ftp.tcl",
            util.Interpolate("--local-file=/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s.win.zip"),
            util.Interpolate("--remote-file=uploads/rac-gui/rac-gui_%(prop:version)s-%(prop:release)s.win.zip")]
       )
)

# Тут определяем какие сборщики у нас есть
c['builders'] = [
        util.BuilderConfig(name="Rac-GUI-RPM-builder", workername='CentOS', factory=rac_gui_build_RPM),
        util.BuilderConfig(name="Rac-GUI-DEB-builder", workername='Debian-10', factory=rac_gui_build_DEB),
        util.BuilderConfig(name="Rac-GUI-WIN-builder", workername='Windows-10', factory=rac_gui_build_WIN),
]

اسان توهان کي تعمير جي عمل جي صورتحال بابت مطلع ڪرڻ لاء اي ميل استعمال ڪنداسين.


c['services'] = []

template=u'''
    <h4>Build status: {{ summary }}</h4>
    <p> Worker used: {{ workername }}</p>
    {% for step in build['steps'] %}
    <p> {{ step['name'] }}: {{ step['result'] }}</p>
    {% endfor %}
    <p><b> -- The Buildbot</b></p>
    '''

mailNotifier = reporters.MailNotifier(fromaddr="[email protected]",
             sendToInterestedUsers=False,
             mode=('all'),
             extraRecipients=["[email protected]"],
             relayhost="mail.domain.ru",
             smtpPort=587,
             smtpUser="[email protected]",
             smtpPassword="******",
             messageFormatter=reporters.MessageFormatter(
                                 template=template, template_type='html',
                                 wantProperties=True, wantSteps=True))

c['services'].append(mailNotifier)

# Основные настройки мастера
c['title'] = "The process of bulding"
c['titleURL'] = "http://vm-srv-build1:80/"
c['buildbotURL'] = "http://vm-srv-build1/"
c['www'] = dict(port=80,
                plugins=dict(waterfall_view={}, console_view={}, grid_view={}))
c['db'] = {
       'db_url' : "sqlite:///state.sqlite"
}

فائل محفوظ ڪريو ۽ توھان ڪوشش ڪري سگھوٿا وزرڊ سروس شروع ڪرڻ جي:

systemctl restart buildbot-master

لاگ ۾ اسان چيڪ ڪنداسين ته هر شي ترتيب سان ترتيب ۾ آهي ۽ هر شيء عام طور تي ڪم ڪري رهي آهي. اسان جي سڀني ڪارڪنن کي ھاڻي ڳنڍڻ گھرجي، جيڪي خوشيءَ سان لاگ ۾ رپورٽ ڪيا ويندا »»'/home/buildbot/master/twistd.log»»':

 2019-07-24 16:50:35+0300 [-] Loading buildbot.tac...
 2019-07-24 16:50:35+0300 [-] Loaded.
 2019-07-24 16:50:35+0300 [-] twistd 19.2.1 (/usr/bin/python3.6 3.6.8) starting up.
 2019-07-24 16:50:35+0300 [-] reactor class: twisted.internet.epollreactor.EPollReactor.
 2019-07-24 16:50:35+0300 [-] Starting BuildMaster -- buildbot.version: 2.3.1
 2019-07-24 16:50:35+0300 [-] Loading configuration from '/home/buildbot/master/master.cfg'
 2019-07-24 16:50:36+0300 [-] /usr/local/lib/python3.6/site-packages/buildbot/config.py:90: buildbot.config.ConfigWarning: [0.9.0 and later] `buildbotNetUsageData` is not configured and defaults to basic.
        This parameter helps the buildbot development team to understand the installation base.
        No personal information is collected.
        Only installation software version info and plugin usage is sent.
        You can `opt-out` by setting this variable to None.
        Or `opt-in` for more information by setting it to "full".

 2019-07-24 16:50:36+0300 [-] Setting up database with URL 'sqlite:/state.sqlite'
 2019-07-24 16:50:36+0300 [-] setting database journal mode to 'wal'
 2019-07-24 16:50:36+0300 [-] adding 1 new services, removing 0
 2019-07-24 16:50:36+0300 [-] adding 1 new change_sources, removing 0
 2019-07-24 16:50:36+0300 [-] gitpoller: using workdir '/home/buildbot/master/gitpoller-work'
 2019-07-24 16:50:36+0300 [-] adding 3 new builders, removing 0
 2019-07-24 16:50:36+0300 [-] adding 1 new schedulers, removing 0
 2019-07-24 16:50:36+0300 [-] initializing www plugin 'waterfall_view'
 2019-07-24 16:50:36+0300 [-] initializing www plugin 'console_view'
 2019-07-24 16:50:36+0300 [-] initializing www plugin 'grid_view'
 2019-07-24 16:50:36+0300 [-] NOTE: www plugin 'sitenav' is installed but not configured
 2019-07-24 16:50:36+0300 [-] initializing www plugin 'waterfall_view'
 2019-07-24 16:50:36+0300 [-] initializing www plugin 'console_view'
 2019-07-24 16:50:36+0300 [-] initializing www plugin 'grid_view'
 2019-07-24 16:50:36+0300 [-] NOTE: www plugin 'sitenav' is installed but not configured
 2019-07-24 16:50:36+0300 [-] BuildbotSite starting on 80
 2019-07-24 16:50:36+0300 [-] Starting factory <buildbot.www.service.BuildbotSite object at 0x7fe31c2657b8>
 2019-07-24 16:50:36+0300 [-] adding 3 new workers, removing 0
 2019-07-24 16:50:36+0300 [-] PBServerFactory starting on 4000
 2019-07-24 16:50:36+0300 [-] Starting factory <twisted.spread.pb.PBServerFactory object at 0x7fe31c147470>
 2019-07-24 16:50:37+0300 [-] BuildMaster is running
 2019-07-24 16:50:37+0300 [-] buildbotNetUsageData: sending {'installid': 'b6193b126b96689351d2fe95787c5a03fc0879f9', 'versions': {'Python': '3.6.8', 'Buildbot': '2.3.1', 'Twisted': '19.2.1'}, 'platform': {'platform': 'Linux-4.15.18-10- pve-x86_64-with-centos-7.6.1810-Core', 'system': 'Linux', 'machine': 'x86_64', 'processor': 'x86_64', 'python_implementation': 'CPython', 'version': '#1 SMP PVE 4.15.18-32', 'distro': 'centos:7'}, 'plugins': {'buildbot/worker/base/Worker': 3, 'buildbot/config/BuilderConfig': 3, 'buildbot/schedulers/basic/SingleBranchScheduler': 1, 'buildbot/reporters/mail/MailNotifier': 1, 'buildbot/changes/gitpoller/GitPoller': 1, 'buildbot/steps/worker/MakeDirectory': 1, 'buildbot/steps/source/git/Git': 3, 'buildbot/steps/shell/ShellCommand': 9, 'buildbot/steps/package/rpm/rpmbuild/RpmBuild': 1}, 'db': 'sqlite', 'mq': 'simple', 'www_plugins': ['waterfall_view', 'console_view', 'grid_view']}
 2019-07-24 16:50:37+0300 [Broker,0,127.0.0.1] worker 'CentOS' attaching from IPv4Address(type='TCP', host='127.0.0.1', port=37332)
 2019-07-24 16:50:37+0300 [Broker,0,127.0.0.1] Got workerinfo from 'CentOS'
 2019-07-24 16:50:37+0300 [-] bot attached
 2019-07-24 16:50:37+0300 [Broker,0,127.0.0.1] Worker CentOS attached to Rac-GUI-RPM-builder
 2019-07-24 16:50:37+0300 [-] buildbotNetUsageData: buildbot.net said: ok
 2019-07-24 16:50:39+0300 [Broker,1,192.168.55.15] worker 'Windows-10' attaching from IPv4Address(type='TCP', host='192.168.5.145', port=49831)
 2019-07-24 16:50:39+0300 [Broker,1,192.168.55.15] Got workerinfo from 'Windows-10'
 2019-07-24 16:50:40+0300 [-] bot attached
 2019-07-24 16:50:40+0300 [Broker,1,192.168.55.15] Worker Windows-10 attached to Rac-GUI-WIN-builder
 2019-07-24 16:50:41+0300 [Broker,2,192.168.55.99] worker 'Debian-10' attaching from IPv4Address(type='TCP', host='192.168.5.9', port=44430)
 2019-07-24 16:50:41+0300 [Broker,2,192.168.55.99] Got workerinfo from 'Debian-10'
 2019-07-24 16:50:41+0300 [-] bot attached
 2019-07-24 16:50:41+0300 [Broker,2,192.168.55.99] Worker Debian-10 attached to Rac-GUI-DEB-builder

هي سيٽ اپ جي عمل کي مڪمل ڪري ٿو. توھان ويب انٽرفيس ذريعي موجوده صورتحال ڏسي سگھو ٿا. جتي توهان تعميراتي غلطيون پڻ ڏسي سگهو ٿا، منجمد عمل کي ڪٽ ڪريو جيڪڏهن ڪجهه غلط ٿي ويو، وغيره.

فوري طور تي لانچ کان پوء، اسان جي محنت مزدورن کي مينيو ذريعي ڏسي سگھجي ٿو "تعمير" -> "مزدورن"

پهرين تعمير جو عمل مڪمل ٿيڻ کان پوءِ (يعني Git مخزن ۾ تبديليون)، عملن جي حالت پهرين صفحي تي ظاهر ٿيندي.

جيڪڏهن توهان مائوس سان گهربل لائن تي ڪلڪ ڪندا، هڪ صفحو هن عمل جي موجوده حالت سان کلي ويندو، جتي توهان ڏسي سگهو ٿا ته ڇا ٿي رهيو آهي، ڪهڙيون غلطيون وغيره.

مڪمل جادوگر ترتيب هتي ڳولي سگھجي ٿو

import os, re
from buildbot.plugins import steps, util, schedulers, worker, changes, reporters
c= BuildmasterConfig ={}
c['workers'] = [ worker.Worker('CentOS', '123456'), worker.Worker('Debian-10', '123456'), worker.Worker('Windows-10', '123456')]
c['protocols'] = {'pb': {'port': 4000}} 
c['change_source'] = []
c['change_source'].append(changes.GitPoller(
repourl = 'https://bitbucket.org/svk28/rac-gui.git',
project = 'Rac-GUI',
branches = True,
pollInterval = 600
))
# служба запуска сборки
c['schedulers'] = []
c['schedulers'].append(schedulers.SingleBranchScheduler(
name="Rac-GUI-schedulers",
change_filter=util.ChangeFilter(branch='master'),
builderNames=["Rac-GUI-RPM-builder", "Rac-GUI-DEB-builder", "Rac-GUI-WIN-builder"],
properties = {'owner': 'admin'}
))
@util.renderer
def get_name_version_release(props):
prog_name = "rac-gui"
prog_version = "1.0.3"
prog_release = "3"
return {
"prog_name": prog_name
#"prog_version": prog_version,
#"prog_release": prog_release
}
rac_gui_build_RPM = util.BuildFactory()
rac_gui_build_RPM.addStep(steps.Git(
repourl = 'https://bitbucket.org/svk28/rac-gui.git',
workdir = 'rac-gui',
haltOnFailure = True,
submodules = True,
mode='full',
progress = True)
)
# Добавим определение версии из основного файла
rac_gui_build_RPM.addStep(
steps.SetPropertyFromCommand(
command="grep version ../rac-gui/rac_gui.tcl | grep -oE 'b[0-9]{1,2}.[0-9]{1,2}.[0-9]{1,2}b'", property="version"
)
)
# Добавим определение релиза из основного файла
rac_gui_build_RPM.addStep(
steps.SetPropertyFromCommand(
command="grep release ../rac-gui/rac_gui.tcl | grep -oE 'b[0-9]{1,3}b'", property="release"
)
)
rac_gui_build_RPM.addStep(steps.ShellCommand(
command=["tar", "czf", util.Interpolate("/home/buildbot/rpmbuild/SOURCES/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"), "../rac-gui"]))
rac_gui_build_RPM.addStep(steps.ShellCommand(
command=["cp", "../rac-gui/rac_gui.spec", "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))
rac_gui_build_RPM.addStep(steps.ShellCommand(
command=["sed", "-i", util.Interpolate("s/.*Version:.*/Version:t%(prop:version)s/"), "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))
rac_gui_build_RPM.addStep(steps.ShellCommand(
command=["sed", "-i", util.Interpolate("s/.*Release:.*/Release:t%(prop:release)s/"), "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))
rac_gui_build_RPM.addStep(steps.RpmBuild(
specfile="/home/buildbot/rpmbuild/SPECS/rac_gui.spec",
dist='.el5',
topdir='/home/buildbot/rpmbuild',
builddir='/home/buildbot/rpmbuild/build',
rpmdir='/home/buildbot/rpmbuild/RPMS',
sourcedir='/home/buildbot/rpmbuild/SOURCES'
))
# Скопируем файл на мастер
rac_gui_build_RPM.addStep(
steps.FileUpload(
workersrc=util.Interpolate("/home/buildbot/rpmbuild/RPMS/noarch/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm"),
masterdest=util.Interpolate("/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm")
)
)
rac_gui_build_RPM.addStep(
steps.FileUpload(
workersrc=util.Interpolate("/home/buildbot/rpmbuild/SOURCES/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"),
masterdest=util.Interpolate("/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz")
)
)
rac_gui_build_RPM.addStep(
steps.MasterShellCommand(
command=["/usr/local/bin/deploy-ftp.tcl",
util.Interpolate("--local-file=/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm"),
util.Interpolate("--remote-file=uploads/rac-gui/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm")]
)
)
rac_gui_build_RPM.addStep(
steps.MasterShellCommand(
command=["/usr/local/bin/deploy-ftp.tcl",
util.Interpolate("--local-file=/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"),
util.Interpolate("--remote-file=uploads/rac-gui/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz")]
)
)
####################################
##      DEB 
####################################
rac_gui_build_DEB = util.BuildFactory()
rac_gui_build_DEB.addStep(steps.Git(
repourl = 'https://bitbucket.org/svk28/rac-gui.git',
haltOnFailure = True,
submodules = True,
mode='full',
workdir='build',
progress = True)
)
# Добавим определение версии из основного файла
rac_gui_build_DEB.addStep(
steps.SetPropertyFromCommand(
command="grep version rac_gui.tcl | grep -oE 'b[0-9]{1,2}.[0-9]{1,2}.[0-9]{1,2}b'", property="version"
)
)
# Добавим определение релиза из основного файла
rac_gui_build_DEB.addStep(
steps.SetPropertyFromCommand(
command="grep release rac_gui.tcl | grep -oE 'b[0-9]{1,3}b'", property="release"
)
)
# Переименуем запускаемый файл
rac_gui_build_DEB.addStep(steps.ShellCommand(
command=["mv", "rac_gui.tcl", "racgui"]))
# Поменяем пути к библиотекам
rac_gui_build_DEB.addStep(steps.ShellCommand(
command=["sed", "-i", "s+^set dir(lib)+set dir(lib) /usr/share/rac-gui/lib ;#+g", "racgui"]))
# Поменяем пути к файлам
rac_gui_build_DEB.addStep(steps.ShellCommand(
command=["sed", "-i", "s+[pwd]+/usr/share/rac-gui+g", "racgui"]))
# заархивируем исходники
rac_gui_build_DEB.addStep(steps.ShellCommand(
command=["tar", "czf", util.Interpolate("../rac-gui_%(prop:version)s.orig.tar.gz"), "."]))
# Соберём пакет
rac_gui_build_DEB.addStep(steps.ShellCommand(
command=["dpkg-buildpackage"]))
# Скопируем файл на мастер
rac_gui_build_DEB.addStep(
steps.FileUpload(
workersrc=util.Interpolate("../rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb"),
masterdest=util.Interpolate("/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb")
)
)
rac_gui_build_DEB.addStep(
steps.MasterShellCommand(
command=["/usr/local/bin/deploy-ftp.tcl",
util.Interpolate("--local-file=/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb"),
util.Interpolate("--remote-file=uploads/rac-gui/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb")]
)
)
############################################
#       WIN
############################################
rac_gui_build_WIN = util.BuildFactory()
rac_gui_build_WIN.addStep(steps.Git(
repourl = 'https://bitbucket.org/svk28/rac-gui.git',
haltOnFailure = True,
submodules = True,
mode='full',
workdir='build',
progress = True)
)
# Добавим определение версии из основного файла
rac_gui_build_WIN.addStep(
steps.SetPropertyFromCommand(
command="powershell -command "((Get-Content .rac_gui.tcl | Select-String -Pattern 'version:') -split 's')[2]",
property="version"
)
)
# Добавим определение релиза из основного файла
rac_gui_build_WIN.addStep(
steps.SetPropertyFromCommand(
command="powershell -command "((Get-Content .rac_gui.tcl | Select-String -Pattern 'release:') -split 's')[2]",
property="release"
)
)
# Создадим запускаемый файл
rac_gui_build_WIN.addStep(steps.ShellCommand(
command=["c:binfreewrap.exe", "rac_gui.tcl"]))
# запакуем то, что получилось
rac_gui_build_WIN.addStep(steps.ShellCommand(
command=["c:Program Files7-zip7z.exe", "a", "-r", util.Interpolate("..rac-gui_%(prop:version)s-%(prop:release)s.win.zip"), "..build"]))
# скопируем на мастер
rac_gui_build_WIN.addStep(
steps.FileUpload(
workersrc=util.Interpolate("..rac-gui_%(prop:version)s-%(prop:release)s.win.zip"),
masterdest=util.Interpolate("/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s.win.zip")
)
)
# Скопируем файл на хостинг
rac_gui_build_WIN.addStep(
steps.MasterShellCommand(
command=["/usr/local/bin/deploy-ftp.tcl",
util.Interpolate("--local-file=/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s.win.zip"),
util.Interpolate("--remote-file=uploads/rac-gui/rac-gui_%(prop:version)s-%(prop:release)s.win.zip")]
)
)
c['builders'] = [
util.BuilderConfig(name="Rac-GUI-RPM-builder", workername='CentOS', factory=rac_gui_build_RPM),
util.BuilderConfig(name="Rac-GUI-DEB-builder", workername='Debian-10', factory=rac_gui_build_DEB),
util.BuilderConfig(name="Rac-GUI-WIN-builder", workername='Windows-10', factory=rac_gui_build_WIN),
]
c['services'] = []
template=u'''
<h4>Build status: {{ summary }}</h4>
<p> Worker used: {{ workername }}</p>
{% for step in build['steps'] %}
<p> {{ step['name'] }}: {{ step['result'] }}</p>
{% endfor %}
<p><b> -- The Buildbot</b></p>
'''
mailNotifier = reporters.MailNotifier(fromaddr="[email protected]",
sendToInterestedUsers=False,
mode=('all'),
extraRecipients=["[email protected]"],
relayhost="mail.domain.local",
smtpPort=587,
smtpUser="[email protected]",
smtpPassword="**********",
messageFormatter=reporters.MessageFormatter(
template=template, template_type='html',
wantProperties=True, wantSteps=True))
c['services'].append(mailNotifier)
c['title'] = "The process of bulding"
c['titleURL'] = "http://vm-srv-build1:80/"
c['buildbotURL'] = "http://vm-srv-build1/"
c['www'] = dict(port=80,
plugins=dict(waterfall_view={}, console_view={}, grid_view={}))
c['db'] = {
'db_url' : "sqlite:///state.sqlite"
}

مواد

مضمون جي تياري ۾ هيٺيون مواد استعمال ڪيو ويو:

BuildBot سان مسلسل انضمام جو مثال لاڳو ڪرڻ
Buildbot: هڪ ڪهاڻي مثالن سان گڏ هڪ ٻئي مسلسل انضمام سسٽم بابت
Ubuntu 16.04 تي Buildbot ۾ مسلسل انضمام قائم ڪرڻ
خير، پيداوار جي دستاويز Buildbot Tutorial

جو ذريعو: www.habr.com

Buildbot مثالن ۾

تنصيب

GNU / Linux

ايم ايس ونڊوز

مددگار سيٽ اپ

مواد

تبصرو شامل ڪريو جواب منسوخ