Buildbot i exempel

Jag behövde stÀlla in bygg- och leveransprocessen för programvarupaket frÄn Git-repositoryn. Och efter att jag nyligen sett en artikel om buildbot hÀr pÄ Habré (lÀnk i slutet) bestÀmde jag mig för att prova och anvÀnda det.

Eftersom buildbot Àr ett distribuerat system, skulle det vara logiskt att skapa en separat byggvÀrd för varje arkitektur och operativsystem. I vÄrt fall blir detta LXC-containrar (för Linux) och QEMU (för Windows):

  • vm-srv-build1 — CentOS 7, hĂ€r kommer buildbot-mastern (master) och en av arbetarna (worker) att befinna sig
  • vm-srv-build2 — Debian 10, för att bygga DEB-paket
  • vm-srv-build3 — Windows 10, för byggen, som ni förstĂ„r.

Vi kommer att bygga Rac GUI — grafiskt grĂ€nssnitt för 1C rac för att hantera serverkluster. För Linux kommer standardverktyg att anvĂ€ndas för varje OS, för att bygga exe-filer för Windows frĂ„n TCL-skript anvĂ€nds freewrap.

Installation

GNU/Linux

Det finns tillrÀckligt med installationsdokumentation pÄ nÀtet. 1,2Och det orsakar inga sÀrskilda problem:
För mastern:

pip3 install buildbot
pip3 install twisted
pip3 install autobahn
pip3 install pysqlite3
pip3 install sqlalchemy sqlalchemy-migrate
pip3 install buildbot-www buildbot-grid-view buildbot-console-view buildbot-waterfall-view
pip3 install python-dateutil

För "arbetarna", Àr det tillrÀckligt med detta:

pip3 install buildbot-worker

SjÀlvklart skulle det vara mer korrekt att bygga paketen för varje OS, men det ligger utanför artikelns ramar. Vi hoppar Àven över beskrivningen av instÀllningen av containrarna, bara att jag anvÀnder ProxMox VE. Och vi behöver ocksÄ installera paket för varje system som krÀvs för byggandet (CentOS: rpmdevtools osv; Debian: build-essential, dh-make, pbuilder osv.)

Byggprojekten och tjÀnsterna för buildbot kommer att köras under en icke-privilegierad anvÀndare, sÄ det Àr nödvÀndigt att skapa en sÄdan anvÀndare pÄ alla vÀrdar som deltar i processen:


adduser buildbot

DÀrefter stÀller vi in automatisk start av tjÀnsterna, pÄ varje vÀrd (container):

Systemd-enhet för att starta mastern:

touch /etc/systemd/buildbot-master.service 

[Unit]
Description=BuildBot master service
After=network.target

[Service]
User=buildbot
Group=buildbot
WorkingDirectory=/home/buildbot/master
ExecStart=/usr/local/bin/buildbot start --nodaemon
ExecReload=/bin/kill -HUP $MAINPID

[Install]
WantedBy=multi-user.target

och "arbetaren"

touch /etc/systemd/buildbot-worker.service 

[Unit]
Description=BuildBot worker service
After=network.target

[Service]master
User=buildbot
Group=buildbot
WorkingDirectory=/home/buildbot/worker
ExecStart=/usr/local/bin/buildbot-worker start --nodaemon

[Install]
WantedBy=buildbot-master.service

Eftersom alla skript (i vÄrt fall) ligger i /usr/local/, bör vi ange sökvÀgen till dem i miljövariablerna:

nano /root/.bash_profile

PATH=$PATH:$HOME/.local/bin:$HOME/bin:/usr/local/bin

DÀrefter kan du skapa en kataloginfrastruktur för "arbetare" (pÄ alla vÀrdar), registrera under anvÀndaren buildbot och utföra följande kommandon:

PÄ den första vÀrden vm-srv-build1:

su - buildbot
mkdir /home/buildbot/worker
cd ~
buildbot-worker create-worker --umask=0o22 --keepalive=60 worker vm-srv-build1:4000 CentOS 123456

PÄ den andra vÀrden vm-srv-build2:

su - buildbot
mkdir /home/buildbot/worker
cd ~
buildbot-worker create-worker --umask=0o22 --keepalive=60 worker vm-srv-build1:4000 Debian-10 123456

PÄ arbetsvÀrdarna kan du starta tjÀnsten buildbot-worker.

systemctl start buildbot-worker

MS Windows

Som "arbetare" för byggandet för Windows kommer en virtuell maskin med den senaste versionen av Win10 att anvÀndas.
För att detta ska fungera behöver du:

NÀr allt ovanstÄende har installerats kan vi Àven installera buildbot:

pip install buildbot-worker

Vi skapar en arbetskatalog

md c:worker

Och startar

buildbot-worker start c:worker

Om allt fungerar (se logg c:workertwistd.log), kan vi registrera vÄr "arbetare" som en tjÀnst genom att lÀgga till en post i registret med arbetskatalogen (kommandona utförs i Powershell som körs som administratör):

buildbot_worker_windows_service.exe --user VM-SRV-BUILD3buildbot --password 123456 --startup auto install
New-ItemProperty -path Registry::HKEY_LOCAL_MACHINESYSTEMCurrentControlSetservicesBuildBotParameters -Name directories -PropertyType String -Value c:worker

Och sÄ kan vi starta tjÀnsten.

Start-Service buildbot

Det Àr allt om "arbetarna", vi behöver inte röra dem mer; all hantering sker frÄn mastern.

InstÀllning av mastern

Först skapar vi infrastrukturen för mastern (pÄ huvudvÀrden), registrera under anvÀndaren buildbot och utför följande kommandon:

su - buildbot
mkdir /home/buildbot/master
cd ~
buildbot create-master master

För de fÀrdiga paketen skapar vi en katalog builds.

mkdir /home/buildbot/builds

I katalogen /home/buildbot/master/ har en fil skapats som heter master.cfg. Denna fil Àr kod i Python och innehÄller beskrivning av alla systemets funktioner, och det Àr den vi kommer att arbeta med framöver.

nano /home/buildbot/master/master.cfg

import os, re
from buildbot.plugins import steps, util, schedulers, worker, changes, reporters

c = BuildmasterConfig = {}

# Beskrivning av vÄra arbetare.
c['workers'] = [ worker.Worker('CentOS', '123456'), worker.Worker('Debian-10', '123456'), worker.Worker('Windows-10', '123456')]
c['protocols'] = {'pb': {'port': 4000}}

# Angivelse till mastern om vilken repository som ska övervakas
c['change_source'] = []
c['change_source'].append(changes.GitPoller(
       repourl = 'https://bitbucket.org/svk28/rac-gui.git',
       project = 'Rac-GUI',
       branches = True,
       pollInterval = 60
      )
)

# TjÀnst för att starta bygget
c['schedulers'] = []
c['schedulers'].append(schedulers.SingleBranchScheduler(
       name="Rac-GUI-schedulers",
       change_filter=util.ChangeFilter(branch='master'),
       builderNames=["Rac-GUI-RPM-builder", "Rac-GUI-DEB-builder", "Rac-GUI-WIN-builder"],
       properties = {'owner': 'admin'}
       )
)
@util.renderer

######################################3
# Bygg en RPM-paket
 rac_gui_build_RPM = util.BuildFactory()

rac_gui_build_RPM.addStep(steps.Git(
       repourl = 'https://bitbucket.org/svk28/rac-gui.git',
       workdir = 'rac-gui',
       haltOnFailure = True,
       submodules = True,
       mode='full',
       progress = True)
)

För att automatisera byggandet av paket i olika versioner, och för att slippa gÄ in och Àndra i master.cfg-filen, har rader med aktuell version och release lagts till i den huvudsakliga programmet rac_gui.tcl.

######################################################
#        Rac GUI
...
# version: 1.0.3
# release: 1

Och baserat pÄ dessa rader kommer buildbot att numrera paketen. För att hÀmta data anvÀnds ett konsolvÀrde av grep. I buildbot gÄr det inte enkelt att definiera variabler för "arbetare" (i alla fall har jag inte hittat hur). Detta görs genom egenskaper (property). D.v.s. i byggprocessen lÀgger vi till steg för att definiera version och release och sÀtter dÀrför egenskaperna version och release. Egenskaper kan sÀttas pÄ olika sÀtt, i detta fall genom att anropa en konsol kommando:

# Đ”ĐŸĐ±Đ°ĐČĐžĐŒ ĐŸĐżŃ€Đ”ĐŽĐ”Đ»Đ”ĐœĐžĐ” ĐČДрсОО Оз ĐŸŃĐœĐŸĐČĐœĐŸĐłĐŸ фаĐčла
rac_gui_build_RPM.addStep(
       steps.SetPropertyFromCommand(
       command="grep version ../rac-gui/rac_gui.tcl | grep -oE 'b[0-9]{1,2}.[0-9]{1,2}.[0-9]{1,2}b'", property="version"
       )
)
# Đ”ĐŸĐ±Đ°ĐČĐžĐŒ ĐŸĐżŃ€Đ”ĐŽĐ”Đ»Đ”ĐœĐžĐ” рДлОза Оз ĐŸŃĐœĐŸĐČĐœĐŸĐłĐŸ фаĐčла
rac_gui_build_RPM.addStep(
       steps.SetPropertyFromCommand(
       command="grep release ../rac-gui/rac_gui.tcl | grep -oE 'b[0-9]{1,3}b'", property="release"
       )
)

De erhÄllna vÀrdena kan sÀttas in genom att anropa util.Interpolate().

# ЗапаĐșŃƒĐ”ĐŒ ĐžŃŃ…ĐŸĐŽĐœĐžĐșĐž
rac_gui_build_RPM.addStep(
       steps.ShellCommand(
          command=["tar", "czf", util.Interpolate("/home/buildbot/rpmbuild/SOURCES/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"), "../rac-gui"]
       )
)

HÀr bör man notera att eftersom vÀrden anvÀnds för manuell paketbyggnad ocksÄ, sÄ kommer bygget att ske via standardvÀgar.

# ĐšĐŸĐżĐžŃ€ŃƒĐ”ĐŒ spec
rac_gui_build_RPM.addStep(steps.ShellCommand(
       command=["cp", "../rac-gui/rac_gui.spec", "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))

För att stÀlla in korrekta release- och versionsnummer anvÀnds en standard sed-anrop, det vill sÀga kommandot ersÀtter vÀrdena inuti spec-filen med de nödvÀndiga.

# ĐŒĐ”ĐœŃĐ”ĐŒ ĐČДрсОю
rac_gui_build_RPM.addStep(steps.ShellCommand(
       command=["sed", "-i", util.Interpolate("s/.*Version:.*/Version:t%(prop:version)s/"), "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))
# ĐŒĐ”ĐœŃĐ”ĐŒ рДлОз
rac_gui_build_RPM.addStep(steps.ShellCommand(
       command=["sed", "-i", util.Interpolate("s/.*Release:.*/Release:t%(prop:release)s/"), "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))

# запусĐșĐ°Đ”ĐŒ ĐżŃ€ĐŸŃ†Đ”ŃŃ ŃĐ±ĐŸŃ€ĐșĐž
rac_gui_build_RPM.addStep(steps.RpmBuild(
       specfile="/home/buildbot/rpmbuild/SPECS/rac_gui.spec",
       dist='.el5',
       topdir='/home/buildbot/rpmbuild',
       builddir='/home/buildbot/rpmbuild/build',
       rpmdir='/home/buildbot/rpmbuild/RPMS',
       sourcedir='/home/buildbot/rpmbuild/SOURCES'
      )
)

Den fÀrdiga byggda paketet och arkivet med kÀllkod kopieras till mastern. Men man kan ocksÄ direkt kopiera frÄn arbetsfilen till sin repository eller webbplats.

# ĐĄĐșĐŸĐżĐžŃ€ŃƒĐ”ĐŒ фаĐčĐ» ĐœĐ° ĐŒĐ°ŃŃ‚Đ”Ń€
rac_gui_build_RPM.addStep(
       steps.FileUpload(
          workersrc=util.Interpolate("/home/buildbot/rpmbuild/RPMS/noarch/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm"),
          masterdest=util.Interpolate("/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm")
      )
)

rac_gui_build_RPM.addStep(
       steps.FileUpload(
       workersrc=util.Interpolate("/home/buildbot/rpmbuild/SOURCES/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"),
          masterdest=util.Interpolate("/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz")
       )
)

Vi kommer att starta en kopieringsprocess av de byggda paketen till hosting via ftp. För detta anvÀnds skript pÄ tcl.

rac_gui_build_RPM.addStep(
        steps.MasterShellCommand(
            command=["/usr/local/bin/deploy-ftp.tcl",
                util.Interpolate("--local-file=/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm"),
                util.Interpolate("--remote-file=uploads/rac-gui/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm")]
        )
)

rac_gui_build_RPM.addStep(
        steps.MasterShellCommand(
            command=["/usr/local/bin/deploy-ftp.tcl",
                util.Interpolate("--local-file=/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"),
                util.Interpolate("--remote-file=uploads/rac-gui/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz")]
        )
)

Vi har avslutat arbetet med RPM. Nu gÄr vi vidare till beskrivningen av algoritmen för att bygga DEB-paket. Eftersom byggprocesserna för olika system Àr oberoende av varandra kommer mÄnga steg att upprepas.


rac_gui_build_DEB = util.BuildFactory()

rac_gui_build_DEB.addStep(steps.Git(
       repourl = 'https://bitbucket.org/svk28/rac-gui.git',
       haltOnFailure = True,
       submodules = True,
       mode='full',
       workdir='build',
       progress = True)
)

# LÀgger till versionsdefinition frÄn huvudfilen
rac_gui_build_DEB.addStep(
       steps.SetPropertyFromCommand(
       command="grep version rac_gui.tcl | grep -oE 'b[0-9]{1,2}.[0-9]{1,2}.[0-9]{1,2}b'", property="version"
       )
)

# LÀgger till release-definition frÄn huvudfilen
rac_gui_build_DEB.addStep(
       steps.SetPropertyFromCommand(
       command="grep release rac_gui.tcl | grep -oE 'b[0-9]{1,3}b'", property="release"
       )
)

# Byter namn pÄ körfilen
    rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["mv", "rac_gui.tcl", "racgui"]))

För RPM-paketet utförs en del av de följande procedurerna av rpm under byggprocessen och beskrivs i spec-filen, för Debian mÄste detta göras hÀr:

# ĐŸĐŸĐŒĐ”ĐœŃĐ”ĐŒ путо Đș Đ±ĐžĐ±Đ»ĐžĐŸŃ‚Đ”ĐșĐ°ĐŒ
rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["sed", "-i", "s+^set dir(lib)+set dir(lib) /usr/share/rac-gui/lib ;#+g", "racgui"]))

# ĐŸĐŸĐŒĐ”ĐœŃĐ”ĐŒ путо Đș фаĐčĐ»Đ°ĐŒ
rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["sed", "-i", "s+[pwd]+/usr/share/rac-gui+g", "racgui"]))

# заархОĐČĐžŃ€ŃƒĐ”ĐŒ ĐžŃŃ…ĐŸĐŽĐœĐžĐșĐž
rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["tar", "czf", util.Interpolate("../rac-gui_%(prop:version)s.orig.tar.gz"), "."]))

# ĐĄĐŸĐ±Đ”Ń€Ń‘ĐŒ паĐșДт
rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["dpkg-buildpackage"]))

# ĐĄĐșĐŸĐżĐžŃ€ŃƒĐ”ĐŒ фаĐčĐ» ĐœĐ° ĐŒĐ°ŃŃ‚Đ”Ń€
rac_gui_build_DEB.addStep(
       steps.FileUpload(
       workersrc=util.Interpolate("../rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb"),
           masterdest=util.Interpolate("/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb")
       )
)
rac_gui_build_DEB.addStep(
        steps.MasterShellCommand(
            command=["/usr/local/bin/deploy-ftp.tcl",
             util.Interpolate("--local-file=/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb"),
             util.Interpolate("--remote-file=uploads/rac-gui/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb")]
        )
)

Och med DEB klart, nu till Windows!

rac_gui_build_WIN = util.BuildFactory()

rac_gui_build_WIN.addStep(steps.Git(
       repourl = 'https://bitbucket.org/svk28/rac-gui.git',
       haltOnFailure = True,
       submodules = True,
       mode='full',
       workdir='build',
       progress = True)
)

Eftersom Windows normalt sett inte har grep och sed (eller har det?) kommer vi att anvÀnda PowerShell.

# Đ”ĐŸĐ±Đ°ĐČĐžĐŒ ĐŸĐżŃ€Đ”ĐŽĐ”Đ»Đ”ĐœĐžĐ” ĐČДрсОО Оз ĐŸŃĐœĐŸĐČĐœĐŸĐłĐŸ фаĐčла
rac_gui_build_WIN.addStep(
       steps.SetPropertyFromCommand(
       command="powershell -command "((Get-Content .rac_gui.tcl | Select-String -Pattern 'version:') -split 's')[2]",
       property="version"
       )
    )

# Đ”ĐŸĐ±Đ°ĐČĐžĐŒ ĐŸĐżŃ€Đ”ĐŽĐ”Đ»Đ”ĐœĐžĐ” рДлОза Оз ĐŸŃĐœĐŸĐČĐœĐŸĐłĐŸ фаĐčла
rac_gui_build_WIN.addStep(
       steps.SetPropertyFromCommand(
       command="powershell -command "((Get-Content .rac_gui.tcl | Select-String -Pattern 'release:') -split 's')[2]",
       property="release"
       )
)

# ĐĄĐŸĐ·ĐŽĐ°ĐŽĐžĐŒ запусĐșĐ°Đ”ĐŒŃ‹Đč фаĐčĐ»
rac_gui_build_WIN.addStep(steps.ShellCommand(
       command=["c:binfreewrap.exe", "rac_gui.tcl"]))

# запаĐșŃƒĐ”ĐŒ Ń‚ĐŸ, Ń‡Ń‚ĐŸ ĐżĐŸĐ»ŃƒŃ‡ĐžĐ»ĐŸŃŃŒ
rac_gui_build_WIN.addStep(steps.ShellCommand(
       command=["c:Program Files7-zip7z.exe", "a", "-r", util.Interpolate("..rac-gui_%(prop:version)s-%(prop:release)s.win.zip"), "..build"]))

# сĐșĐŸĐżĐžŃ€ŃƒĐ”ĐŒ ĐœĐ° ĐŒĐ°ŃŃ‚Đ”Ń€
rac_gui_build_WIN.addStep(
       steps.FileUpload(
       workersrc=util.Interpolate("..rac-gui_%(prop:version)s-%(prop:release)s.win.zip"),
           masterdest=util.Interpolate("/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s.win.zip")
       )
)
# ĐĄĐșĐŸĐżĐžŃ€ŃƒĐ”ĐŒ фаĐčĐ» ĐœĐ° Ń…ĐŸŃŃ‚ĐžĐœĐł
rac_gui_build_WIN.addStep(
        steps.MasterShellCommand(
            command=["/usr/local/bin/deploy-ftp.tcl",
            util.Interpolate("--local-file=/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s.win.zip"),
            util.Interpolate("--remote-file=uploads/rac-gui/rac-gui_%(prop:version)s-%(prop:release)s.win.zip")]
       )
)

# бут ĐŸĐżŃ€Đ”ĐŽĐ”Đ»ŃĐ”ĐŒ ĐșаĐșОД ŃĐ±ĐŸŃ€Ń‰ĐžĐșĐž у ĐœĐ°Ń Đ”ŃŃ‚ŃŒ
c['builders'] = [
        util.BuilderConfig(name="Rac-GUI-RPM-builder", workername='CentOS', factory=rac_gui_build_RPM),
        util.BuilderConfig(name="Rac-GUI-DEB-builder", workername='Debian-10', factory=rac_gui_build_DEB),
        util.BuilderConfig(name="Rac-GUI-WIN-builder", workername='Windows-10', factory=rac_gui_build_WIN),
]

För att meddela om statusen för byggprocessen kommer vi att anvÀnda elektrisk post.


c['services'] = []

template=u'''
    <h4>Byggstatus: {{ summary }}</h4>
    <p> Arbetare som användes: {{ workername }}</p>
    {% for step in build['steps'] %}
    <p> {{ step['name'] }}: {{ step['result'] }}</p>
    {% endfor %}
    <p><b> -- Byggbot</b></p>
    '''

mailNotifier = reporters.MailNotifier(fromaddr="builder@domain.ru",
             sendToInterestedUsers=False,
             mode=('all'),
             extraRecipients=["admin@domain.ru"],
             relayhost="mail.domain.ru",
             smtpPort=587,
             smtpUser="builder@domain.ru",
             smtpPassword="******",
             messageFormatter=reporters.MessageFormatter(
                                 template=template, template_type='html',
                                 wantProperties=True, wantSteps=True))

c['services'].append(mailNotifier)

# Grundläggande inställningar för mästaren
c['title'] = "Byggprocessen"
c['titleURL'] = "http://vm-srv-build1:80/"
c['buildbotURL'] = "http://vm-srv-build1/"
c['www'] = dict(port=80,
                plugins=dict(waterfall_view={}, console_view={}, grid_view={}))
c['db'] = {
       'db_url' : "sqlite://state.sqlite"
}

Spara filen och vi kan försök köra byggmÀstarens tjÀnst:

systemctl restart buildbot-master

I loggen kontrollerar vi att konfigurationen Àr okej och att allt fungerar som det ska. Alla vÄra arbetare ska nu ansluta, vilket kommer att meddelas i loggen »»'/home/buildbot/master/twistd.log»».

 2019-07-24 16:50:35+0300 [-] Laddar buildbot.tac...
 2019-07-24 16:50:35+0300 [-] Laddad.
 2019-07-24 16:50:35+0300 [-] twistd 19.2.1 (\/usr\/bin\/python3.6 3.6.8) startar.
 2019-07-24 16:50:35+0300 [-] reaktorklass: twisted.internet.epollreactor.EPollReactor.
 2019-07-24 16:50:35+0300 [-] Startar BuildMaster -- buildbot.version: 2.3.1
 2019-07-24 16:50:35+0300 [-] Laddar konfiguration frÄn '\/home\/buildbot\/master\/master.cfg'
 2019-07-24 16:50:36+0300 [-] \/usr\/local\/lib\/python3.6\/site-packages\/buildbot\/config.py:90: buildbot.config.ConfigWarning: [0.9.0 och senare] `buildbotNetUsageData` Àr inte konfigurerat och standardinstÀllningen Àr grundlÀggande.
 Detta parameter hjÀlper buildbot-utvecklingsteamet att förstÄ installationsbasen.
 Ingen personlig information samlas in.
 Endast installationsprogramvaruversionsinformation och pluginanvÀndning skickas.
 Du kan `opt-out` genom att stÀlla in denna variabel pÄ None.
 Eller `opt-in` för mer information genom att stÀlla in den pÄ "full".

 2019-07-24 16:50:36+0300 [-] SĂ€tter upp databas med URL 'sqlite:\/state.sqlite'
 2019-07-24 16:50:36+0300 [-] sÀtter databasens journallÀge till 'wal'
 2019-07-24 16:50:36+0300 [-] lÀgger till 1 ny tjÀnst, tar bort 0
 2019-07-24 16:50:36+0300 [-] lÀgger till 1 ny change_sources, tar bort 0
 2019-07-24 16:50:36+0300 [-] gitpoller: anvÀnder arbetskatalog '\/home\/buildbot\/master\/gitpoller-work'
 2019-07-24 16:50:36+0300 [-] lÀgger till 3 nya byggare, tar bort 0
 2019-07-24 16:50:36+0300 [-] lÀgger till 1 ny schemalÀggare, tar bort 0
 2019-07-24 16:50:36+0300 [-] initiering av www-plugin 'waterfall_view'
 2019-07-24 16:50:36+0300 [-] initiering av www-plugin 'console_view'
 2019-07-24 16:50:36+0300 [-] initiering av www-plugin 'grid_view'
 2019-07-24 16:50:36+0300 [-] OBS: www-plugin 'sitenav' Àr installerad men inte konfigurerad
 2019-07-24 16:50:36+0300 [-] initiering av www-plugin 'waterfall_view'
 2019-07-24 16:50:36+0300 [-] initiering av www-plugin 'console_view'
 2019-07-24 16:50:36+0300 [-] initiering av www-plugin 'grid_view'
 2019-07-24 16:50:36+0300 [-] OBS: www-plugin 'sitenav' Àr installerad men inte konfigurerad
 2019-07-24 16:50:36+0300 [-] BuildbotSite startar pÄ 80
 2019-07-24 16:50:36+0300 [-] Startar fabrik <buildbot.www.service.BuildbotSite objekt vid 0x7fe31c2657b8>
 2019-07-24 16:50:36+0300 [-] lÀgger till 3 nya arbetare, tar bort 0
 2019-07-24 16:50:36+0300 [-] PBServerFactory startar pÄ 4000
 2019-07-24 16:50:36+0300 [-] Startar fabrik <twisted.spread.pb.PBServerFactory objekt vid 0x7fe31c147470>
 2019-07-24 16:50:37+0300 [-] BuildMaster kör
 2019-07-24 16:50:37+0300 [-] buildbotNetUsageData: skickar {'installid': 'b6193b126b96689351d2fe95787c5a03fc0879f9', 'versions': {'Python': '3.6.8', 'Buildbot': '2.3.1', 'Twisted': '19.2.1'}, 'platform': {'platform': 'Linux-4.15.18-10- pve-x86_64-with-centos-7.6.1810-Core', 'system': 'Linux', 'machine': 'x86_64', 'processor': 'x86_64', 'python_implementation': 'CPython', 'version': '#1 SMP PVE 4.15.18-32', 'distro': 'centos:7'}, 'plugins': {'buildbot\/worker\/base\/Worker': 3, 'buildbot\/config\/BuilderConfig': 3, 'buildbot\/schedulers\/basic\/SingleBranchScheduler': 1, 'buildbot\/reporters\/mail\/MailNotifier': 1, 'buildbot\/changes\/gitpoller\/GitPoller': 1, 'buildbot\/steps\/worker\/MakeDirectory': 1, 'buildbot\/steps\/source\/git\/Git': 3, 'buildbot\/steps\/shell\/ShellCommand': 9, 'buildbot\/steps\/package\/rpm\/rpmbuild\/RpmBuild': 1}, 'db': 'sqlite', 'mq': 'simple', 'www_plugins': ['waterfall_view', 'console_view', 'grid_view']}
 2019-07-24 16:50:37+0300 [Broker,0,127.0.0.1] arbetare 'CentOS' kopplar frÄn IPv4Address(type='TCP', host='127.0.0.1', port=37332)
 2019-07-24 16:50:37+0300 [Broker,0,127.0.0.1] Fick workerinfo frÄn 'CentOS'
 2019-07-24 16:50:37+0300 [-] bot kopplad
 2019-07-24 16:50:37+0300 [Broker,0,127.0.0.1] Arbetare CentOS kopplad till Rac-GUI-RPM-builder
 2019-07-24 16:50:37+0300 [-] buildbotNetUsageData: buildbot.net sade: ok
 2019-07-24 16:50:39+0300 [Broker,1,192.168.55.15] arbetare 'Windows-10' kopplar frÄn IPv4Address(type='TCP', host='192.168.5.145', port=49831)
 2019-07-24 16:50:39+0300 [Broker,1,192.168.55.15] Fick workerinfo frÄn 'Windows-10'
 2019-07-24 16:50:40+0300 [-] bot kopplad
 2019-07-24 16:50:40+0300 [Broker,1,192.168.55.15] Arbetare Windows-10 kopplad till Rac-GUI-WIN-builder
 2019-07-24 16:50:41+0300 [Broker,2,192.168.55.99] arbetare 'Debian-10' kopplar frÄn IPv4Address(type='TCP', host='192.168.5.9', port=44430)
 2019-07-24 16:50:41+0300 [Broker,2,192.168.55.99] Fick workerinfo frÄn 'Debian-10'
 2019-07-24 16:50:41+0300 [-] bot kopplad
 2019-07-24 16:50:41+0300 [Broker,2,192.168.55.99] Arbetare Debian-10 kopplad till Rac-GUI-DEB-builder

NÀr instÀllningsprocessen Àr klar kan man se den aktuella statusen via webbgrÀnssnittet. DÀr kan man ocksÄ se byggfel, starta om en hÀngande process om nÄgot gÄr fel, osv.

Direkt efter att vÄra arbetare har startats kan man se dem via menyn «Builds» -> «Workers»

Buildbot i exempel

NÀr den första byggprocessen har genomförts (dvs. Àndringar i Git-repot), kommer statusen för processerna att visas pÄ den första sidan.

Buildbot i exempel

Om man klickar med musen pÄ den aktuella raden öppnas en sida med det aktuella statusen för denna process, dÀr man kan se vad som hÀnder, vilka fel som uppstÄr osv.

Buildbot i exempel

Den fullstÀndiga konfigurationen av mÀstaren kan hÀmtas hÀr

import os, re
from buildbot.plugins import steps, util, schedulers, worker, changes, reporters

c= BuildmasterConfig ={}

c['workers'] = [ worker.Worker('CentOS', '123456'), worker.Worker('Debian-10', '123456'), worker.Worker('Windows-10', '123456')]
c['protocols'] = {'pb': {'port': 4000}}

c['change_source'] = []
c['change_source'].append(changes.GitPoller(
    repourl = 'https://bitbucket.org/svk28/rac-gui.git',
    project = 'Rac-GUI',
    branches = True,
    pollInterval = 600
))

# Tjänst för att starta byggprocessen
c['schedulers'] = []
c['schedulers'].append(schedulers.SingleBranchScheduler(
    name="Rac-GUI-schedulers",
    change_filter=util.ChangeFilter(branch='master'),
    builderNames=["Rac-GUI-RPM-builder", "Rac-GUI-DEB-builder", "Rac-GUI-WIN-builder"],
    properties = {'owner': 'admin'}
))
@util.renderer
def get_name_version_release(props):
    prog_name = "rac-gui"
    prog_version = "1.0.3"
    prog_release = "3"

    return {
    "prog_name": prog_name
    #"prog_version": prog_version,
    #"prog_release": prog_release
}

rac_gui_build_RPM = util.BuildFactory()

rac_gui_build_RPM.addStep(steps.Git(
    repourl = 'https://bitbucket.org/svk28/rac-gui.git',
    workdir = 'rac-gui',
    haltOnFailure = True,
    submodules = True,
    mode='full',
    progress = True)
)

# Låt oss lägga till versionsbestämning från huvudfilen
rac_gui_build_RPM.addStep(
    steps.SetPropertyFromCommand(
    command="grep version ..\/rac-gui\/rac_gui.tcl | grep -oE 'b[0-9]{1,2}.[0-9]{1,2}.[0-9]{1,2}b'", property="version"
    )
)

# Låt oss lägga till releasebestämning från huvudfilen
rac_gui_build_RPM.addStep(
    steps.SetPropertyFromCommand(
    command="grep release ..\/rac-gui\/rac_gui.tcl | grep -oE 'b[0-9]{1,3}b'", property="release"
    )
)

rac_gui_build_RPM.addStep(steps.ShellCommand(
    command=["tar", "czf", util.Interpolate("\/home\/buildbot\/rpmbuild\/SOURCES\/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"), "..\/rac-gui"]))

rac_gui_build_RPM.addStep(steps.ShellCommand(
    command=["cp", "..\/rac-gui\/rac_gui.spec", "\/home\/buildbot\/rpmbuild\/SPECS\/rac_gui.spec"]))

rac_gui_build_RPM.addStep(steps.ShellCommand(
    command=["sed", "-i", util.Interpolate("s\/.*Version:.*\/Version:t%(prop:version)s\/"), "\/home\/buildbot\/rpmbuild\/SPECS\/rac_gui.spec"]))

rac_gui_build_RPM.addStep(steps.ShellCommand(
    command=["sed", "-i", util.Interpolate("s\/.*Release:.*\/Release:t%(prop:release)s\/"), "\/home\/buildbot\/rpmbuild\/SPECS\/rac_gui.spec"]))

rac_gui_build_RPM.addStep(steps.RpmBuild(
    specfile="\/home\/buildbot\/rpmbuild\/SPECS\/rac_gui.spec",
    dist='.el5',
    topdir='\/home\/buildbot\/rpmbuild',
    builddir='\/home\/buildbot\/rpmbuild\/build',
    rpmdir='\/home\/buildbot\/rpmbuild\/RPMS',
    sourcedir='\/home\/buildbot\/rpmbuild\/SOURCES'
))

# Låt oss kopiera filen till mastern
rac_gui_build_RPM.addStep(
    steps.FileUpload(
    workersrc=util.Interpolate("\/home\/buildbot\/rpmbuild\/RPMS\/noarch\/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm"),
        masterdest=util.Interpolate("\/home\/buildbot\/builds\/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm")
    ))

rac_gui_build_RPM.addStep(
    steps.FileUpload(
    workersrc=util.Interpolate("\/home\/buildbot\/rpmbuild\/SOURCES\/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"),
        masterdest=util.Interpolate("\/home\/buildbot\/builds\/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz")
    ))

rac_gui_build_RPM.addStep(
    steps.MasterShellCommand(
    command=["\/usr\/local\/bin\/deploy-ftp.tcl",
     util.Interpolate("--local-file=\/home\/buildbot\/builds\/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm"),
     util.Interpolate("--remote-file=uploads\/rac-gui\/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm")]
    ))

rac_gui_build_RPM.addStep(
    steps.MasterShellCommand(
    command=["\/usr\/local\/bin\/deploy-ftp.tcl",
     util.Interpolate("--local-file=\/home\/buildbot\/builds\/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"),
     util.Interpolate("--remote-file=uploads\/rac-gui\/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz")]
    ))
####################################
##      DEB 
####################################

rac_gui_build_DEB = util.BuildFactory()

rac_gui_build_DEB.addStep(steps.Git(
    repourl = 'https://bitbucket.org/svk28/rac-gui.git',
    haltOnFailure = True,
    submodules = True,
    mode='full',
    workdir='build',
    progress = True)
)

# Låt oss lägga till versionsbestämning från huvudfilen
rac_gui_build_DEB.addStep(
    steps.SetPropertyFromCommand(
    command="grep version rac_gui.tcl | grep -oE 'b[0-9]{1,2}.[0-9]{1,2}.[0-9]{1,2}b'", property="version"
    ))

# Låt oss lägga till releasebestämning från huvudfilen
rac_gui_build_DEB.addStep(
    steps.SetPropertyFromCommand(
    command="grep release rac_gui.tcl | grep -oE 'b[0-9]{1,3}b'", property="release"
    ))

# Byt namn på exekverbara filen
rac_gui_build_DEB.addStep(steps.ShellCommand(
    command=["mv", "rac_gui.tcl", "racgui"]))

# Ändra sökvägar till bibliotek
rac_gui_build_DEB.addStep(steps.ShellCommand(
    command=["sed", "-i", "s+^set dir(lib)+set dir(lib) \/usr\/share\/rac-gui\/lib ;#+g", "racgui"]))

# Ändra sökvägar till filer
rac_gui_build_DEB.addStep(steps.ShellCommand(
    command=["sed", "-i", "s+[pwd]+\/usr\/share\/rac-gui+g", "racgui"]))

# Komprimera källkoden
rac_gui_build_DEB.addStep(steps.ShellCommand(
    command=["tar", "czf", util.Interpolate("..\/rac-gui_%(prop:version)s.orig.tar.gz"), "."]))

# Bygg paketet
rac_gui_build_DEB.addStep(steps.ShellCommand(
    command=["dpkg-buildpackage"]))

# Låt oss kopiera filen till mastern
rac_gui_build_DEB.addStep(
    steps.FileUpload(
    workersrc=util.Interpolate("..\/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb"),
        masterdest=util.Interpolate("\/home\/buildbot\/builds\/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb")
    ))

rac_gui_build_DEB.addStep(
    steps.MasterShellCommand(
    command=["\/usr\/local\/bin\/deploy-ftp.tcl",
     util.Interpolate("--local-file=\/home\/buildbot\/builds\/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb"),
     util.Interpolate("--remote-file=uploads\/rac-gui\/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb")]
    ))
############################################
#       WIN
############################################

rac_gui_build_WIN = util.BuildFactory()

rac_gui_build_WIN.addStep(steps.Git(
    repourl = 'https://bitbucket.org/svk28/rac-gui.git',
    haltOnFailure = True,
    submodules = True,
    mode='full',
    workdir='build',
    progress = True)
)

# Låt oss lägga till versionsbestämning från huvudfilen
rac_gui_build_WIN.addStep(
    steps.SetPropertyFromCommand(
    command="powershell -command "((Get-Content .rac_gui.tcl | Select-String -Pattern 'version:') -split 's')[2]",
    property="version"
    ))

# Låt oss lägga till releasebestämning från huvudfilen
rac_gui_build_WIN.addStep(
    steps.SetPropertyFromCommand(
    command="powershell -command "((Get-Content .rac_gui.tcl | Select-String -Pattern 'release:') -split 's')[2]",
    property="release"
    ))

# Skapa exekverbart fil
rac_gui_build_WIN.addStep(steps.ShellCommand(
    command=["c:binfreewrap.exe", "rac_gui.tcl"]))

# Packa det vi fick
rac_gui_build_WIN.addStep(steps.ShellCommand(
    command=["c:Program Files7-zip7z.exe", "a", "-r", util.Interpolate("..rac-gui_%(prop:version)s-%(prop:release)s.win.zip"), "..build"]))

# Kopiera till mastern
rac_gui_build_WIN.addStep(
    steps.FileUpload(
    workersrc=util.Interpolate("..rac-gui_%(prop:version)s-%(prop:release)s.win.zip"),
        masterdest=util.Interpolate("\/home\/buildbot\/builds\/rac-gui_%(prop:version)s-%(prop:release)s.win.zip")
    ))

# Låt oss kopiera filen till hosting
rac_gui_build_WIN.addStep(
    steps.MasterShellCommand(
    command=["\/usr\/local\/bin\/deploy-ftp.tcl",
     util.Interpolate("--local-file=\/home\/buildbot\/builds\/rac-gui_%(prop:version)s-%(prop:release)s.win.zip"),
     util.Interpolate("--remote-file=uploads\/rac-gui\/rac-gui_%(prop:version)s-%(prop:release)s.win.zip")]
    ))

c['builders'] = [
        util.BuilderConfig(name="Rac-GUI-RPM-builder", workername='CentOS', factory=rac_gui_build_RPM),
        util.BuilderConfig(name="Rac-GUI-DEB-builder", workername='Debian-10', factory=rac_gui_build_DEB),
        util.BuilderConfig(name="Rac-GUI-WIN-builder", workername='Windows-10', factory=rac_gui_build_WIN),
]

c['services'] = []

template=u'''
<h4>Byggstatus: {{ summary }}</h4>
<p> Arbetare som användes: {{ workername }}</p>
{% for step in build['steps'] %}
<p> {{ step['name'] }}: {{ step['result'] }}</p>
{% endfor %}
<p><b> -- Byggbot</b></p>
'''

mailNotifier = reporters.MailNotifier(fromaddr="112@icvibor.ru",
          sendToInterestedUsers=False,
          mode=('all'),
          extraRecipients=["my@domain.local"],
          relayhost="mail.domain.local",
          smtpPort=587,
          smtpUser="buildbot@domain.local",
          smtpPassword="**********",
          messageFormatter=reporters.MessageFormatter(
                                 template=template, template_type='html',
                                 wantProperties=True, wantSteps=True))

c['services'].append(mailNotifier)

c['title'] = "Byggprocessen"
c['titleURL'] = "http://vm-srv-build1:80/"

c['buildbotURL'] = "http://vm-srv-build1/"

c['www'] = dict(port=80,
                plugins=dict(waterfall_view={}, console_view={}, grid_view={}))
c['db'] = {
    'db_url' : "sqlite:////state.sqlite"
}

Material

Vid förberedelsen av artikeln anvÀndes följande material:

KĂ€lla: habr.com

Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar đŸ”„ Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar | ProHoster