Buildbot u primerima

Trebao sam postaviti proces izgradnje i isporuke paketa softvera na sajt iz Git repozitorija. I, videvši nedavno ovde na Habr-u članak o buildbot-u (link na kraju), odlučio sam ga probati i primeniti.

Budući da je buildbot distribuirani sistem, logično je napraviti poseban građevinski host za svaku arhitekturu i operativni sistem. U našem slučaju to će biti LXC kontejneri (u slučaju Linux-a) i qemu (u slučaju Windows-a):

  • vm-srv-build1 — centos 7, ovde će biti buildbot master i jedan od radnika
  • vm-srv-build2 — debian 10, za izgradnju DEB paketa
  • vm-srv-build3 — windows 10, za izgradnju, razumete pod šta

Izgradnja će biti Rac GUI — grafički interfejs za 1C rac za upravljanje klasterom servera. Za Linux će se koristiti standardna sredstva za svaku OS, dok će za izgradnju exe datoteke pod Windows-om iz tcl skripte biti korišćeno freewrap.

Instalacija

GNU/Linux

Na mreži ima dovoljno resursa za instalaciju i dokumentaciju 1,2. I nije izazvala nikakve posebne probleme:
Za majstora:

pip3 install buildbot
pip3 install twisted
pip3 install autobahn
pip3 install pysqlite3
pip3 install sqlalchemy sqlalchemy-migrate
pip3 install buildbot-www buildbot-grid-view buildbot-console-view buildbot-waterfall-view
pip3 install python-dateutil

Za ‘radnike’, ovo je dovoljno:

pip3 install buildbot-worker

Naravno, ispravno bi bilo izraditi pakete za svaku OS, ali to nije deo ovog članka. Takođe, izostaviću opis postavljanja kontejnera za rad, samo ću napomenuti da koristim ProxMox VE. Takođe će biti potrebno instalirati pakete potrebne za izgradnju (centos: rpmdevtools itd; debian: build-essential, dh-make, pbuilder itd.)

Izgradnja projekata i servisi buildbot će se pokretati pod imenom neverovatnog korisnika, stoga ga je potrebno kreirati na svim hostovima koji učestvuju u procesu:


adduser buildbot

Zatim ćemo postaviti automatsko pokretanje servisa, prema tome na svakom od hostova (kontejnera):

Systemd jedinica za pokretanje majstora:

touch /etc/systemd/buildbot-master.service 

[Unit]
Description=BuildBot master service
After=network.target

[Service]
User=buildbot
Group=buildbot
WorkingDirectory=/home/buildbot/master
ExecStart=/usr/local/bin/buildbot start --nodaemon
ExecReload=/bin/kill -HUP $MAINPID

[Install]
WantedBy=multi-user.target

i ‘radnog’

touch /etc/systemd/buildbot-worker.service 

[Unit]
Description=BuildBot worker service
After=network.target

[Service]master
User=buildbot
Group=buildbot
WorkingDirectory=/home/buildbot/worker
ExecStart=/usr/local/bin/buildbot-worker start --nodaemon

[Install]
WantedBy=buildbot-master.service

Budući da se svi skripti (u našem slučaju) nalaze u /usr/local/, treba da pročistite put do njih u varijablama okruženja:

nano /root/.bash_profile

PATH=$PATH:$HOME/.local/bin:$HOME/bin:/usr/local/bin

Nakon toga, možemo stvoriti infrastrukturu direktorija za "radnike" (na svim serverima), za to se registrujemo kao korisnik buildbot i izvršavamo sledeće komande:

Na prvom serveru vm-srv-build1:

su - buildbot
mkdir /home/buildbot/worker
cd ~
buildbot-worker create-worker --umask=0o22 --keepalive=60 worker vm-srv-build1:4000 CentOS 123456

Na drugom serveru vm-srv-build2:

su - buildbot
mkdir /home/buildbot/worker
cd ~
buildbot-worker create-worker --umask=0o22 --keepalive=60 worker vm-srv-build1:4000 Debian-10 123456

Na radnim serverima, službu buildbot-worker možemo pokrenuti

systemctl start buildbot-worker

MS Windows

Kao "radnika" za izgradnju na Windows-u, koristićemo virtuelnu mašinu sa poslednjim izdanjem Win10.
Za rad će biti potrebno:

Nakon što se sve navedeno instalira, možemo instalirati i sam buildbot:

pip install buildbot-worker

Kreirajmo radni direktorij

md c:worker

I pokrenimo

buildbot-worker start c:worker

Ako sve radi (pogledajte log c:workertwistd.log), onda možemo našeg "radnika" registrovati kao službu, dodajući stavku u registar sa radnim direktorijem (komande se izvršavaju u powershell-u pokrenutom kao administrator):

buildbot_worker_windows_service.exe --user VM-SRV-BUILD3buildbot --password 123456 --startup auto install
New-ItemProperty -path Registry::HKEY_LOCAL_MACHINESYSTEMCurrentControlSetservicesBuildBotParameters -Name directories -PropertyType String -Value c:worker

I možemo pokrenuti službu

Start-Service buildbot

Sa "radnicima" je to sve, dalje ih ne treba dirati, sva uprava ide sa mastera.

Podešavanje mastera

Za početak, stvorimo infrastrukturu za mastera (na glavnom serveru), za to se registrujemo kao korisnik buildbot i izvršavamo sledeće komande:

su - buildbot
mkdir /home/buildbot/master
cd ~
buildbot create-master master

Za gotove pakete stvorimo direktorij builds

mkdir /home/buildbot/builds

U direktoriju /home/buildbot/master/ je stvoren fajl master.cfg. Ovaj fajl predstavlja python kod i sadrži opis svih mehanizama rada sistema, sa njim ćemo raditi u budućnosti.

nano /home/buildbot/master/master.cfg

import os, re
from buildbot.plugins import steps, util, schedulers, worker, changes, reporters

c = BuildmasterConfig ={}

# Opis naših radnika.
c['workers'] = [ worker.Worker('CentOS', '123456'), worker.Worker('Debian-10', '123456'), worker.Worker('Windows-10', '123456')]
c['protocols'] = {'pb': {'port': 4000}} 

# Navođenje majstora koji repozitorij da prati
c['change_source'] = []
c['change_source'].append(changes.GitPoller(
       repourl = 'https://bitbucket.org/svk28/rac-gui.git',
       project = 'Rac-GUI',
       branches = True,
       pollInterval = 60
      )
)

# usluga za pokretanje gradnje
c['schedulers'] = []
c['schedulers'].append(schedulers.SingleBranchScheduler(
       name="Rac-GUI-schedulers",
       change_filter=util.ChangeFilter(branch='master'),
       builderNames=["Rac-GUI-RPM-builder", "Rac-GUI-DEB-builder", "Rac-GUI-WIN-builder"],
       properties = {'owner': 'admin'}
       )
)
@util.renderer

######################################3
# Gradnja RPM paketa
 rac_gui_build_RPM = util.BuildFactory()

rac_gui_build_RPM.addStep(steps.Git(
       repourl = 'https://bitbucket.org/svk28/rac-gui.git',
       workdir = 'rac-gui',
       haltOnFailure = True,
       submodules = True,
       mode='full',
       progress = True)
)

Za automatizaciju gradnje paketa različitih verzija, da ne bi bilo potrebno zadirati u kod datoteke master.cfg, u glavnom skriptu programa rac_gui.tcl dodane su linije s trenutnom verzijom i izdanjem:

######################################################
#        Rac GUI
...
# version: 1.0.3
# release: 1

I na osnovu ovih linija buildbot će numerisati pakete. Za izvlačenje podataka koristi se poziv konzolnog grep-a. U buildbot-u jednostavno ne možete odrediti promenljive za „radnike“ (barem nisam pronašao kako). Za to služe svojstva (property). Tj. u proces gradnje dodajemo korake za određivanje verzije i izdanja, te tako postavljamo svojstva version i release. Svojstva se mogu postavljati na različite načine, u ovom slučaju to je poziv konzolne komande:

# Добавим определение версии из основного файла
rac_gui_build_RPM.addStep(
       steps.SetPropertyFromCommand(
       command="grep version ../rac-gui/rac_gui.tcl | grep -oE 'b[0-9]{1,2}.[0-9]{1,2}.[0-9]{1,2}b'", property="version"
       )
)
# Добавим определение релиза из основного файла
rac_gui_build_RPM.addStep(
       steps.SetPropertyFromCommand(
       command="grep release ../rac-gui/rac_gui.tcl | grep -oE 'b[0-9]{1,3}b'", property="release"
       )
)

Dobijene vrednosti se mogu umetnuti putem poziva util.Interpolate().

# Запакуем исходники
rac_gui_build_RPM.addStep(
       steps.ShellCommand(
          command=["tar", "czf", util.Interpolate("/home/buildbot/rpmbuild/SOURCES/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"), "../rac-gui"]
       )
)

Treba napomenuti da, s obzirom da se host koristi i za ručnu gradnju paketa, gradnja će se odvijati prema standardnim putanjama.

# Копируем spec
rac_gui_build_RPM.addStep(steps.ShellCommand(
       command=["cp", "../rac-gui/rac_gui.spec", "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))

Za postavljanje tačnih brojeva izdanja i verzije koristi se poziv standardnog sed, tj. komanda menja vrednosti unutar spec-datoteke na potrebne.

# меняем версию
rac_gui_build_RPM.addStep(steps.ShellCommand(
       command=["sed", "-i", util.Interpolate("s/.*Version:.*/Version:t%(prop:version)s/"), "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))
# меняем релиз
rac_gui_build_RPM.addStep(steps.ShellCommand(
       command=["sed", "-i", util.Interpolate("s/.*Release:.*/Release:t%(prop:release)s/"), "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))

# запускаем процесс сборки
rac_gui_build_RPM.addStep(steps.RpmBuild(
       specfile="/home/buildbot/rpmbuild/SPECS/rac_gui.spec",
       dist='.el5',
       topdir='/home/buildbot/rpmbuild',
       builddir='/home/buildbot/rpmbuild/build',
       rpmdir='/home/buildbot/rpmbuild/RPMS',
       sourcedir='/home/buildbot/rpmbuild/SOURCES'
      )
)

Gotov sastavljen paket i arhiva sa izvorima se kopiraju na majstora. No, može se i odmah sa radnog mesta kopirati u svoj repozitorij ili na sajt.

# Скопируем файл на мастер
rac_gui_build_RPM.addStep(
       steps.FileUpload(
          workersrc=util.Interpolate("/home/buildbot/rpmbuild/RPMS/noarch/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm"),
          masterdest=util.Interpolate("/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm")
      )
)

rac_gui_build_RPM.addStep(
       steps.FileUpload(
       workersrc=util.Interpolate("/home/buildbot/rpmbuild/SOURCES/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"),
          masterdest=util.Interpolate("/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz")
       )
)

Pokrenimo na majstoru proces kopiranja sastavljenih paketa na hosting putem ftp-a. Za to se koristi skriptu na tcl.

rac_gui_build_RPM.addStep(
        steps.MasterShellCommand(
            command=["/usr/local/bin/deploy-ftp.tcl",
                util.Interpolate("--local-file=/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm"),
                util.Interpolate("--remote-file=uploads/rac-gui/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm")]
        )
)

rac_gui_build_RPM.addStep(
        steps.MasterShellCommand(
            command=["/usr/local/bin/deploy-ftp.tcl",
                util.Interpolate("--local-file=/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"),
                util.Interpolate("--remote-file=uploads/rac-gui/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz")]
        )
)

S ovim završavamo s RPM-om. Sada ćemo opisati algoritam za sastavljanje DEB paketa. Budući da su procesi sastavljanja paketa za različite sisteme neovisni jedan o drugom, mnogi koraci će se ponavljati.


rac_gui_build_DEB = util.BuildFactory()

rac_gui_build_DEB.addStep(steps.Git(
       repourl = 'https://bitbucket.org/svk28/rac-gui.git',
       haltOnFailure = True,
       submodules = True,
       mode='full',
       workdir='build',
       progress = True)
)

# Dodajemo određivanje verzije iz glavne datoteke
rac_gui_build_DEB.addStep(
       steps.SetPropertyFromCommand(
       command="grep version rac_gui.tcl | grep -oE 'b[0-9]{1,2}.[0-9]{1,2}.[0-9]{1,2}b'", property="version"
       )
)

# Dodajemo određivanje izdanja iz glavne datoteke
rac_gui_build_DEB.addStep(
       steps.SetPropertyFromCommand(
       command="grep release rac_gui.tcl | grep -oE 'b[0-9]{1,3}b'", property="release"
       )
)

# Preimenujemo izvršnu datoteku
    rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["mv", "rac_gui.tcl", "racgui"]))

Za RPM paket deo donjih procedura obavlja sam rpm prilikom sastavljanja i opisane su unutar speca, za debian to mora da se uradi ovde:

# Поменяем пути к библиотекам
rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["sed", "-i", "s+^set dir(lib)+set dir(lib) /usr/share/rac-gui/lib ;#+g", "racgui"]))

# Поменяем пути к файлам
rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["sed", "-i", "s+[pwd]+/usr/share/rac-gui+g", "racgui"]))

# заархивируем исходники
rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["tar", "czf", util.Interpolate("../rac-gui_%(prop:version)s.orig.tar.gz"), "."]))

# Соберём пакет
rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["dpkg-buildpackage"]))

# Скопируем файл на мастер
rac_gui_build_DEB.addStep(
       steps.FileUpload(
       workersrc=util.Interpolate("../rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb"),
           masterdest=util.Interpolate("/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb")
       )
)
rac_gui_build_DEB.addStep(
        steps.MasterShellCommand(
            command=["/usr/local/bin/deploy-ftp.tcl",
             util.Interpolate("--local-file=/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb"),
             util.Interpolate("--remote-file=uploads/rac-gui/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb")]
        )
)

I sa DEB-om je gotovo, sada prelazimo na windows!

rac_gui_build_WIN = util.BuildFactory()

rac_gui_build_WIN.addStep(steps.Git(
       repourl = 'https://bitbucket.org/svk28/rac-gui.git',
       haltOnFailure = True,
       submodules = True,
       mode='full',
       workdir='build',
       progress = True)
)

Budući da u windows-u standardno nema grep i sed (ili ih ima?) koristićemo powershell

# Добавим определение версии из основного файла
rac_gui_build_WIN.addStep(
       steps.SetPropertyFromCommand(
       command="powershell -command "((Get-Content .rac_gui.tcl | Select-String -Pattern 'version:') -split 's')[2]",
       property="version"
       )
    )

# Добавим определение релиза из основного файла
rac_gui_build_WIN.addStep(
       steps.SetPropertyFromCommand(
       command="powershell -command "((Get-Content .rac_gui.tcl | Select-String -Pattern 'release:') -split 's')[2]",
       property="release"
       )
)

# Создадим запускаемый файл
rac_gui_build_WIN.addStep(steps.ShellCommand(
       command=["c:binfreewrap.exe", "rac_gui.tcl"]))

# запакуем то, что получилось
rac_gui_build_WIN.addStep(steps.ShellCommand(
       command=["c:Program Files7-zip7z.exe", "a", "-r", util.Interpolate("..rac-gui_%(prop:version)s-%(prop:release)s.win.zip"), "..build"]))

# скопируем на мастер
rac_gui_build_WIN.addStep(
       steps.FileUpload(
       workersrc=util.Interpolate("..rac-gui_%(prop:version)s-%(prop:release)s.win.zip"),
           masterdest=util.Interpolate("/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s.win.zip")
       )
)
# Скопируем файл на хостинг
rac_gui_build_WIN.addStep(
        steps.MasterShellCommand(
            command=["/usr/local/bin/deploy-ftp.tcl",
            util.Interpolate("--local-file=/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s.win.zip"),
            util.Interpolate("--remote-file=uploads/rac-gui/rac-gui_%(prop:version)s-%(prop:release)s.win.zip")]
       )
)

# Тут определяем какие сборщики у нас есть
c['builders'] = [
        util.BuilderConfig(name="Rac-GUI-RPM-builder", workername='CentOS', factory=rac_gui_build_RPM),
        util.BuilderConfig(name="Rac-GUI-DEB-builder", workername='Debian-10', factory=rac_gui_build_DEB),
        util.BuilderConfig(name="Rac-GUI-WIN-builder", workername='Windows-10', factory=rac_gui_build_WIN),
]

Za obaveštavanje o stanju proces sastavljanja koristićemo elektronsku poštu


c['services'] = []

template=u'''
    <h4>Status gradnje: {{ summary }}</h4>
    <p> Korišten radnik: {{ workername }}</p>
    {% for step in build['steps'] %}
    <p> {{ step['name'] }}: {{ step['result'] }}</p>
    {% endfor %}
    <p><b> -- Buildbot</b></p>
    '''

mailNotifier = reporters.MailNotifier(fromaddr="builder@domain.ru",
             sendToInterestedUsers=False,
             mode=('all'),
             extraRecipients=["admin@domain.ru"],
             relayhost="mail.domain.ru",
             smtpPort=587,
             smtpUser="builder@domain.ru",
             smtpPassword="******",
             messageFormatter=reporters.MessageFormatter(
                                 template=template, template_type='html',
                                 wantProperties=True, wantSteps=True))

c['services'].append(mailNotifier)

# Osnovne postavke majstora
c['title'] = "Proces izrade"
c['titleURL'] = "http://vm-srv-build1:80/"
c['buildbotURL'] = "http://vm-srv-build1/"
c['www'] = dict(port=80,
                plugins=dict(waterfall_view={}, console_view={}, grid_view={}))
c['db'] = {
       'db_url' : "sqlite:///state.sqlite"
}

Čuvamo datoteku i možemo pokušati pokrenuti službu majstora:

systemctl restart buildbot-master

U logu ćemo proveriti da li je sve u redu s konfiguracijom i da sve funkcioniše u normalnom režimu. Svi naši radnici sada bi trebalo da se povežu, o čemu će biti veselo obavešteno u logu »»'/home/buildbot/master/twistd.log»»’:

 2019-07-24 16:50:35+0300 [-] Učitavanje buildbot.tac...
 2019-07-24 16:50:35+0300 [-] Učitano.
 2019-07-24 16:50:35+0300 [-] twistd 19.2.1 (\/usr\/bin\/python3.6 3.6.8) se pokreće.
 2019-07-24 16:50:35+0300 [-] Klasa reaktora: twisted.internet.epollreactor.EPollReactor.
 2019-07-24 16:50:35+0300 [-] Pokreće se BuildMaster -- buildbot.version: 2.3.1
 2019-07-24 16:50:35+0300 [-] Učitavanje konfiguracije iz '\/home\/buildbot\/master\/master.cfg'
 2019-07-24 16:50:36+0300 [-] \/usr\/local\/lib\/python3.6\/site-packages\/buildbot\/config.py:90: buildbot.config.ConfigWarning: [0.9.0 i kasnije] `buildbotNetUsageData` nije konfigurisan i podrazumeva se na osnovi.
        Ova promenljiva pomaže timu za razvoj buildbota da razume osnovu instalacije.
        Nema ličnih informacija.
        Samo informacije o verziji instalacijskog softvera i korišćenju plugin-a se šalju.
        Možete `odjaviti` postavljanjem ove promenljive na None.
        Ili se `prijaviti` za više informacija postavljanjem na "full".

 2019-07-24 16:50:36+0300 [-] Postavljanje baze podataka sa URL-om 'sqlite:\/state.sqlite'
 2019-07-24 16:50:36+0300 [-] postavljanje načina dnevnika baze podataka na 'wal'
 2019-07-24 16:50:36+0300 [-] dodavanje 1 nove usluge, uklanjanje 0
 2019-07-24 16:50:36+0300 [-] dodavanje 1 novog change_sources, uklanjanje 0
 2019-07-24 16:50:36+0300 [-] gitpoller: koristi radni direktorij '\/home\/buildbot\/master\/gitpoller-work'
 2019-07-24 16:50:36+0300 [-] dodavanje 3 nova graditelja, uklanjanje 0
 2019-07-24 16:50:36+0300 [-] dodavanje 1 novog rasporeda, uklanjanje 0
 2019-07-24 16:50:36+0300 [-] inicijalizacija www plugina 'waterfall_view'
 2019-07-24 16:50:36+0300 [-] inicijalizacija www plugina 'console_view'
 2019-07-24 16:50:36+0300 [-] inicijalizacija www plugina 'grid_view'
 2019-07-24 16:50:36+0300 [-] NAPOMENA: www plugin 'sitenav' je instaliran, ali nije konfigurisan
 2019-07-24 16:50:36+0300 [-] inicijalizacija www plugina 'waterfall_view'
 2019-07-24 16:50:36+0300 [-] inicijalizacija www plugina 'console_view'
 2019-07-24 16:50:36+0300 [-] inicijalizacija www plugina 'grid_view'
 2019-07-24 16:50:36+0300 [-] NAPOMENA: www plugin 'sitenav' je instaliran, ali nije konfigurisan
 2019-07-24 16:50:36+0300 [-] BuildbotSite se pokreće na 80
 2019-07-24 16:50:36+0300 [-] Pokreće se fabrika <buildbot.www.service.BuildbotSite object at 0x7fe31c2657b8>
 2019-07-24 16:50:36+0300 [-] dodavanje 3 nova radnika, uklanjanje 0
 2019-07-24 16:50:36+0300 [-] PBServerFactory se pokreće na 4000
 2019-07-24 16:50:36+0300 [-] Pokreće se fabrika <twisted.spread.pb.PBServerFactory object at 0x7fe31c147470>
 2019-07-24 16:50:37+0300 [-] BuildMaster radi
 2019-07-24 16:50:37+0300 [-] buildbotNetUsageData: šalje {'installid': 'b6193b126b96689351d2fe95787c5a03fc0879f9', 'versions': {'Python': '3.6.8', 'Buildbot': '2.3.1', 'Twisted': '19.2.1'}, 'platform': {'platform': 'Linux-4.15.18-10- pve-x86_64-with-centos-7.6.1810-Core', 'system': 'Linux', 'machine': 'x86_64', 'processor': 'x86_64', 'python_implementation': 'CPython', 'version': '#1 SMP PVE 4.15.18-32', 'distro': 'centos:7'}, 'plugins': {'buildbot\/worker\/base\/Worker': 3, 'buildbot\/config\/BuilderConfig': 3, 'buildbot\/schedulers\/basic\/SingleBranchScheduler': 1, 'buildbot\/reporters\/mail\/MailNotifier': 1, 'buildbot\/changes\/gitpoller\/GitPoller': 1, 'buildbot\/steps\/worker\/MakeDirectory': 1, 'buildbot\/steps\/source\/git\/Git': 3, 'buildbot\/steps\/shell\/ShellCommand': 9, 'buildbot\/steps\/package\/rpm\/rpmbuild\/RpmBuild': 1}, 'db': 'sqlite', 'mq': 'simple', 'www_plugins': ['waterfall_view', 'console_view', 'grid_view']}
 2019-07-24 16:50:37+0300 [Broker,0,127.0.0.1] radnik 'CentOS' se povezuje iz IPv4Address(type='TCP', host='127.0.0.1', port=37332)
 2019-07-24 16:50:37+0300 [Broker,0,127.0.0.1] Dobijen workerinfo od 'CentOS'
 2019-07-24 16:50:37+0300 [-] bot povezan
 2019-07-24 16:50:37+0300 [Broker,0,127.0.0.1] Worker CentOS je povezan na Rac-GUI-RPM-builder
 2019-07-24 16:50:37+0300 [-] buildbotNetUsageData: buildbot.net je rekao: ok
 2019-07-24 16:50:39+0300 [Broker,1,192.168.55.15] radnik 'Windows-10' se povezuje iz IPv4Address(type='TCP', host='192.168.5.145', port=49831)
 2019-07-24 16:50:39+0300 [Broker,1,192.168.55.15] Dobijen workerinfo od 'Windows-10'
 2019-07-24 16:50:40+0300 [-] bot povezan
 2019-07-24 16:50:40+0300 [Broker,1,192.168.55.15] Worker Windows-10 povezan na Rac-GUI-WIN-builder
 2019-07-24 16:50:41+0300 [Broker,2,192.168.55.99] radnik 'Debian-10' se povezuje iz IPv4Address(type='TCP', host='192.168.5.9', port=44430)
 2019-07-24 16:50:41+0300 [Broker,2,192.168.55.99] Dobijen workerinfo od 'Debian-10'
 2019-07-24 16:50:41+0300 [-] bot povezan
 2019-07-24 16:50:41+0300 [Broker,2,192.168.55.99] Worker Debian-10 povezan na Rac-GUI-DEB-builder

Ovdje je proces podešavanja završen. Trenutno stanje se može pregledati putem web sučelja. Također možete pregledati greške u gradnji, ponovo pokrenuti zamrznuti proces ako nešto krene po zlu itd.

Odmah nakon pokretanja naših radnika, možete ih pregledati putem menija «Builds» -> «Workers»

Buildbot u primerima

Nakon što se izvrši prvi proces gradnje (tj. promjene u Git repozitoriju), na prvoj stranici će se prikazati stanje procesa.

Buildbot u primerima

Ako kliknete mišem na željeni red, otvorit će se stranica s trenutnim stanjem ovog procesa, gdje možete vidjeti što se događa, koje su greške itd.

Buildbot u primerima

Cijelu konfiguraciju majstora možete preuzeti ovdje

import os, re
from buildbot.plugins import steps, util, schedulers, worker, changes, reporters

c= BuildmasterConfig ={}

c['workers'] = [ worker.Worker('CentOS', '123456'), worker.Worker('Debian-10', '123456'), worker.Worker('Windows-10', '123456')]
c['protocols'] = {'pb': {'port': 4000}} 

c['change_source'] = []
c['change_source'].append(changes.GitPoller(
    repourl = 'https://bitbucket.org/svk28/rac-gui.git',
    project = 'Rac-GUI',
    branches = True,
    pollInterval = 600
    ))

# Servis za pokretanje gradnje
c['schedulers'] = []
c['schedulers'].append(schedulers.SingleBranchScheduler(
    name="Rac-GUI-schedulers",
    change_filter=util.ChangeFilter(branch='master'),
    builderNames=["Rac-GUI-RPM-builder", "Rac-GUI-DEB-builder", "Rac-GUI-WIN-builder"],
    properties = {'owner': 'admin'}
    ))
@util.renderer
def get_name_version_release(props):
    prog_name = "rac-gui"
    prog_version = "1.0.3"
    prog_release = "3"

    return {
    "prog_name": prog_name
    #"prog_version": prog_version,
    #"prog_release": prog_release
}

rac_gui_build_RPM = util.BuildFactory()

rac_gui_build_RPM.addStep(steps.Git(
    repourl = 'https://bitbucket.org/svk28/rac-gui.git',
    workdir = 'rac-gui',
    haltOnFailure = True,
    submodules = True,
    mode='full',
    progress = True)
    )

# Dodamo definiciju verzije iz glavnog fajla
rac_gui_build_RPM.addStep(
    steps.SetPropertyFromCommand(
    command="grep version ../rac-gui/rac_gui.tcl | grep -oE 'b[0-9]{1,2}.[0-9]{1,2}.[0-9]{1,2}b'", property="version"
    )
)

# Dodamo definiciju izdanja iz glavnog fajla
rac_gui_build_RPM.addStep(
    steps.SetPropertyFromCommand(
    command="grep release ../rac-gui/rac_gui.tcl | grep -oE 'b[0-9]{1,3}b'", property="release"
    )
)

rac_gui_build_RPM.addStep(steps.ShellCommand(
    command=["tar", "czf", util.Interpolate("/home/buildbot/rpmbuild/SOURCES/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"), "../rac-gui"]))

rac_gui_build_RPM.addStep(steps.ShellCommand(
    command=["cp", "../rac-gui/rac_gui.spec", "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))

rac_gui_build_RPM.addStep(steps.ShellCommand(
    command=["sed", "-i", util.Interpolate("s/.*Version:.*\/Version:t%(prop:version)s\/"), "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))

rac_gui_build_RPM.addStep(steps.ShellCommand(
    command=["sed", "-i", util.Interpolate("s/.*Release:.*\/Release:t%(prop:release)s\/"), "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))

rac_gui_build_RPM.addStep(steps.RpmBuild(
    specfile="/home/buildbot/rpmbuild/SPECS/rac_gui.spec",
    dist='.el5',
    topdir='/home/buildbot/rpmbuild',
    builddir='/home/buildbot/rpmbuild/build',
    rpmdir='/home/buildbot/rpmbuild/RPMS',
    sourcedir='/home/buildbot/rpmbuild/SOURCES'
    ))

# Kopiramo fajl na master
rac_gui_build_RPM.addStep(
    steps.FileUpload(
    workersrc=util.Interpolate("/home/buildbot/rpmbuild/RPMS/noarch/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm"),
        masterdest=util.Interpolate("/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm")
    )
)

rac_gui_build_RPM.addStep(
    steps.FileUpload(
    workersrc=util.Interpolate("/home/buildbot/rpmbuild/SOURCES/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"),
        masterdest=util.Interpolate("/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz")
    )
)

rac_gui_build_RPM.addStep(
    steps.MasterShellCommand(
    command=["/usr/local/bin/deploy-ftp.tcl",
     util.Interpolate("--local-file=/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm"),
     util.Interpolate("--remote-file=uploads/rac-gui/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm")]
    )
)

rac_gui_build_RPM.addStep(
    steps.MasterShellCommand(
    command=["/usr/local/bin/deploy-ftp.tcl",
     util.Interpolate("--local-file=/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"),
     util.Interpolate("--remote-file=uploads/rac-gui/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz")]
    )
)
####################################
##      DEB 
####################################

rac_gui_build_DEB = util.BuildFactory()

rac_gui_build_DEB.addStep(steps.Git(
    repourl = 'https://bitbucket.org/svk28/rac-gui.git',
    haltOnFailure = True,
    submodules = True,
    mode='full',
    workdir='build',
    progress = True)
    )

# Dodamo definiciju verzije iz glavnog fajla
rac_gui_build_DEB.addStep(
    steps.SetPropertyFromCommand(
    command="grep version rac_gui.tcl | grep -oE 'b[0-9]{1,2}.[0-9]{1,2}.[0-9]{1,2}b'", property="version"
    )
)

# Dodamo definiciju izdanja iz glavnog fajla
rac_gui_build_DEB.addStep(
    steps.SetPropertyFromCommand(
    command="grep release rac_gui.tcl | grep -oE 'b[0-9]{1,3}b'", property="release"
    )
)

# Preimenujemo pokretački fajl
rac_gui_build_DEB.addStep(steps.ShellCommand(
    command=["mv", "rac_gui.tcl", "racgui"]))

# Promenimo putanje do biblioteka
rac_gui_build_DEB.addStep(steps.ShellCommand(
    command=["sed", "-i", "s+^set dir(lib)+set dir(lib) /usr/share/rac-gui/lib ;#+g", "racgui"]))

# Promenimo putanje do fajlova
rac_gui_build_DEB.addStep(steps.ShellCommand(
    command=["sed", "-i", "s+[pwd]+/usr/share/rac-gui+g", "racgui"]))

# Zapakujemo izvorne kodove
rac_gui_build_DEB.addStep(steps.ShellCommand(
    command=["tar", "czf", util.Interpolate("../rac-gui_%(prop:version)s.orig.tar.gz"), "."]))

# Izgradimo paket
rac_gui_build_DEB.addStep(steps.ShellCommand(
    command=["dpkg-buildpackage"]))

# Kopiramo fajl na master
rac_gui_build_DEB.addStep(
    steps.FileUpload(
    workersrc=util.Interpolate("../rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb"),
        masterdest=util.Interpolate("/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb")
    )
)

rac_gui_build_DEB.addStep(
    steps.MasterShellCommand(
    command=["/usr/local/bin/deploy-ftp.tcl",
     util.Interpolate("--local-file=/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb"),
     util.Interpolate("--remote-file=uploads/rac-gui/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb")]
    )
)
############################################
#       WIN
############################################

rac_gui_build_WIN = util.BuildFactory()

rac_gui_build_WIN.addStep(steps.Git(
    repourl = 'https://bitbucket.org/svk28/rac-gui.git',
    haltOnFailure = True,
    submodules = True,
    mode='full',
    workdir='build',
    progress = True)
    )

# Dodamo definiciju verzije iz glavnog fajla
rac_gui_build_WIN.addStep(
    steps.SetPropertyFromCommand(
    command="powershell -command "((Get-Content .rac_gui.tcl | Select-String -Pattern 'version:') -split 's')[2]",
    property="version"
    )
)

# Dodamo definiciju izdanja iz glavnog fajla
rac_gui_build_WIN.addStep(
    steps.SetPropertyFromCommand(
    command="powershell -command "((Get-Content .rac_gui.tcl | Select-String -Pattern 'release:') -split 's')[2]",
    property="release"
    )
)

# Kreiramo pokretački fajl
rac_gui_build_WIN.addStep(steps.ShellCommand(
    command=["c:binfreewrap.exe", "rac_gui.tcl"]))

# Zapakujemo ono što smo dobili
rac_gui_build_WIN.addStep(steps.ShellCommand(
    command=["c:Program Files7-zip7z.exe", "a", "-r", util.Interpolate("..rac-gui_%(prop:version)s-%(prop:release)s.win.zip"), "..build"]))

# Kopiramo na master
rac_gui_build_WIN.addStep(
    steps.FileUpload(
    workersrc=util.Interpolate("..rac-gui_%(prop:version)s-%(prop:release)s.win.zip"),
        masterdest=util.Interpolate("/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s.win.zip")
    )
)

# Kopiramo fajl na hosting
rac_gui_build_WIN.addStep(
    steps.MasterShellCommand(
    command=["/usr/local/bin/deploy-ftp.tcl",
     util.Interpolate("--local-file=/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s.win.zip"),
     util.Interpolate("--remote-file=uploads/rac-gui/rac-gui_%(prop:version)s-%(prop:release)s.win.zip")]
    )
)

c['builders'] = [
        util.BuilderConfig(name="Rac-GUI-RPM-builder", workername='CentOS', factory=rac_gui_build_RPM),
        util.BuilderConfig(name="Rac-GUI-DEB-builder", workername='Debian-10', factory=rac_gui_build_DEB),
        util.BuilderConfig(name="Rac-GUI-WIN-builder", workername='Windows-10', factory=rac_gui_build_WIN),
]

c['services'] = []

template=u'''
<h4>Status gradnje: {{ summary }}</h4>
<p> Korišten radnik: {{ workername }}</p>
{% for step in build['steps'] %}
<p> {{ step['name'] }}: {{ step['result'] }}</p>
{% endfor %}
<p><b> -- Buildbot</b></p>
'''

mailNotifier = reporters.MailNotifier(fromaddr="112@icvibor.ru",
          sendToInterestedUsers=False,
          mode=('all'),
          extraRecipients=["my@domain.local"],
          relayhost="mail.domain.local",
          smtpPort=587,
          smtpUser="buildbot@domain.local",
          smtpPassword="**********",
          messageFormatter=reporters.MessageFormatter(
                                 template=template, template_type='html',
                                 wantProperties=True, wantSteps=True))

c['services'].append(mailNotifier)

c['title'] = "Proces izgradnje"
c['titleURL'] = "http://vm-srv-build1:80/"

c['buildbotURL'] = "http://vm-srv-build1/"

c['www'] = dict(port=80,
                plugins=dict(waterfall_view={}, console_view={}, grid_view={}))
c['db'] = {
    'db_url' : "sqlite://state.sqlite"
}

Materijali

Prilikom pripreme članka korišteni su sljedeći materijali:

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster