Primjer implementacije Continuous Integration pomoću BuildBota

Primjer implementacije Continuous Integration pomoću BuildBota
(Slika od Computerizer from Pixabay)

Pozdrav!

Moje ime je Evgenij Čerkin, ja sam programer iz tima razvijača u rudarskoj kompaniji Polymetal.

Kada započnete bilo koji veći projekt, počinjete se pitati: "Koji je softver najbolji za njegovu podršku?" IT projekt prolazi kroz nekoliko faza prije nego što se objavi nova verzija. Dobro je kada je lanac tih faza automatiziran. Samo automatizirani proces objave nove verzije IT projekta naziva se Continuous Integration. BuildBot koji nam je bio dobar pomoćnik u realizaciji ovog procesa.

U ovom članku odlučio sam predstaviti pregled mogućnosti BuildBot. Što ovaj softver može? Kako ga koristiti i kako uspostaviti normalne EFIKASNE RADNE ODNOS? Naše iskustvo možete primijeniti i vi, stvarajući na svojoj mašini radnu uslugu za izgradnju i testiranje vašeg projekta.

Sadržaj

Sadržaj

1. Zašto BuildBot?
2. Koncept vođen BuildMaster-om
3. Instalacija
4. Prvi koraci

5. Konfiguracija. Korak po korak

5.1 BuildmasterConfig
5.2 radnici
5.3 izvor_promjena
5.4 raspoređivači

5.5 BuildFactory
5.6 graditelji

6. Primjer vlastite konfiguracije

6.1 Na putu do svog master.cfg
6.2 Rad s svn
6.3 Primili ste e-mail: reporters su ovlašteni da iznesu

Uspjeli smo! Čestitam

1. Zašto BuildBot?

Ranije sam na habr-e sreo članke o implementaciji Continuous Integration s korištenjem BuildBot. Na primjer, ovaj mi se činila najinformativnija. Ima i drugi primjer — jednostavniji. Ovi članci se mogu obogatiti primjerom iz vodiča, već to uz to, na engleskom jeziku. Zajedno čine dobru polaznu točku. Nakon čitanja ovih članaka, sigurno ćete odmah htjeti nešto na BuildBot napraviti.

Stop! Je li netko uopće koristio to u svojim projektima? Ispostavlja se da jeste, mnoge primijenili su ga u svojim zadacima. Može se pronaći primjeri korištenja BuildBot i u arhivima Googleovog koda.

Dakle, koja je logika ljudi koji koriste Buildbot? Ведь есть другие инструменты: CruiseControl i Jenkins. Odgovaram ovako. Za većinu zadataka Jenkins doista će biti dovoljno. S druge strane, BuildBot - je prilagodljiviji, dok se zadaci rješavaju jednako lako kao i u Jenkins. Izbor je na vama. No, budući da tražimo alat za razvojni cilj, zašto ne odabrati onaj koji omogućava, temeljeći se na jednostavnim koracima, da dobijemo sustav izgradnje s interaktivnošću i jedinstvenim sučeljem.

Za one čiji je cilj projekt napisan u pythonu, postavlja se pitanje: „Zašto ne odabrati sustav za integraciju koji ima razumljivo sučelje s obzirom na jezik koji se koristi u projektu?“. I ovdje je pravo vrijeme da predstavimo prednosti BuildBot.

Dakle, naš 'alatni kvartet'. Za sebe sam odredio četvorku značajki BuildBot:

  1. To je framework s otvorenim izvorom pod GPL licencom
  2. To je korištenje pythona kao alata za konfiguriranje i opisivanje zahtijevanih radnji
  3. To je mogućnost dobivanja odgovora s stroja na kojem se odvija izgradnja
  4. To su, konačno, minimalni zahtjevi za host. Za implementaciju je potreban python i twisted, a ne zahtijeva se virtualna mašina ni java-mašina.

2. Koncept vođen BuildMaster-om

Primjer implementacije Continuous Integration pomoću BuildBota

Središnje mjesto u arhitekturi raspodjele zadataka zauzima BuildMaster. To je usluga koja:

  • prati promjene u stablu izvornog koda projekta
  • šalje naredbe koje servis Worker treba izvršiti za izgradnju projekta i njegovo testiranje
  • obavještava korisnike o rezultatima izvršenih radnji

BuildMaster konfigurira se putem datoteke master.cfg. Ta se datoteka nalazi u korijenu BuildMaster. Kasnije ću pokazati kako se taj korijen stvara. Sama datoteka master.cfg sadrži python — skriptu koja koristi pozive BuildBot.

Sljedeći najvažniji objekt BuildBot ima naziv Worker. Ova usluga može biti pokrenuta na drugom hostu s drugom OS, ili na onom gdje BuildMaster. Također, može postojati u posebno pripremljenom virtualnom okruženju sa svojim paketima i varijablama. Ova virtualna okruženja mogu se pripremiti pomoću python alata poput vertualenv, venv.

BuildMaster prevodi naredbe svakom Worker-u, a taj ih, zauzvrat, izvršava. Dakle, proces izgradnje i testiranja projekta može se odvijati na Worker-u pod upravljanjem Windowsa i na drugom Workeru pod upravljanjem linuxa.

Checkout izvora koda projekta odvija se na svakom Worker-u.

3. Instalacija

Dakle, krenimo. Kao host koristit ću Ubuntu 18.04. Na njemu ću postaviti jednog BuildMaster-a i jednog Worker-a. No prvo je potrebno instalirati python3.7:

sudo apt-get update
sudo apt-get install python3.7

Za one kojima je potreban python3.7.2 umjesto 3.7.1, može se učiniti sljedeće:


sudo apt-get update
sudo apt-get install software-properties-common
sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt-get install python3.7
sudo ln -fs /usr/bin/python3.7 /usr/bin/python3
pip3 install --upgrade pip

Sljedeći korak je instalacija Twisted i BuildBot, kao i paketi koji omogućuju korištenje dodatnih funkcionalnosti BuildBot-a.


/*Все что под sudo будет установленно для всех пользователей в директорию /usr/local/lib/python3.7/dist-packages*/

#На хосте который производит мониторинг Worker-ов 
sudo pip install twisted #Библиотека twisted
sudo pip install buildbot #BuildMaster
#Дополнительный функционал
pip install pysqlite3 #Устанавливаем базу sqllite в учебных целях
pip install jinja2 #framework наподобие django, для web и для почтовых рассыллок
pip install autobahn #Web cокеты для связи BuildMaster->Worker
pip install sqlalchemy sqlalchemy-migrate #Для отображения схемы базы данных
#Для Web отображения BuildBot-a
pip install buildbot-www buildbot-grid-view buildbot-console-view buildbot-waterfall-view
pip install python-dateutil #Отображение дат в web
#На стороне хоста который непосредственно осуществляет сборку и тестирование 
pip install buildbot-worker #Worker
#Дополнительный функционал
sudo pip install virtualenv #Виртуальная среда 

4. Prvi koraci

Vrijeme za kreiranje BuildMaster. Bit će u našoj mapi /home/habr/master.

mkdir master
buildbot create-master master # U biti ovdje kreiramo

Sljedeći korak. Kreirat ćemo Worker. Bit će u našoj mapi /home/habr/worker.

mkdir worker
buildbot-worker create-worker --umask=0o22 --keepalive=60 worker localhost:4000 yourWorkerName password

Kada pokrenete Worker, prema zadanim postavkama će kreirati u /home/habr/worker mapu s nazivom projekta koji je naveden u master.cfg. U mapi s nazivom projekta kreirat će direktorij build, a zatim će u njega raditi checkout. Radna mappa za Worker-a će biti direktorij /home/habr/yourProject/build.

Zlatni ključ
A sada ono zbog čega sam napisao prethodni odlomak: skripta koja Master će zatražiti od Worker-a da izvrši nešto daljinski u ovoj mapi, neće biti izvršena jer skripta nema ovlasti za pokretanje. Da bismo popravili situaciju, trebat će nam ključ —umask=0o22, koji zabranjuje pisanje u ovu mapu, ali ostavlja prava za pokretanje. A to nam i treba.

BuildMaster i Worker uspostavljaju međusobnu vezu. Dogodi se da se prekine i Worker neko vrijeme čeka odgovor od BuildMaster-a. Ako odgovora ne bude, veza se ponovno pokreće. Ključ —keepalive=60 je upravo potreban da bi se naznačilo vrijeme nakon kojeg connect ponovno pokreće.

5. Konfiguracija. Korak po korak

Konfiguracija BuildMaster provodi na strani uređaja gdje smo izvršavali komandu create-master. U našem slučaju — to je katalog /home/habr/master. Konfiguracijska datoteka master.cfg još uvijek ne postoji, no sama komanda već je stvorila datoteku master.cmg.sample. Potrebno je preimenovati je u master.cfg.sample u master.cfg

mv master.cfg.sample master.cfg

Otvorimo ovu master.cfg. I analizirat ćemo iz čega se sastoji. Nakon toga pokušat ćemo napraviti svoju konfiguracijsku datoteku.

master.cfg

c['change_source'] = []
c['change_source'].append(changes.GitPoller(
    'git://github.com/buildbot/hello-world.git',
         workdir='gitpoller-workdir', branch='master',
         pollInterval=300))
                        
c['schedulers'] = []
c['schedulers'].append(schedulers.SingleBranchScheduler(
        name="all",
        change_filter=util.ChangeFilter(branch='master'),
        treeStableTimer=None,
        builderNames=["runtests"]))
c['schedulers'].append(schedulers.ForceScheduler(
        name="force",
        builderNames=["runtests"]))
                        
factory = util.BuildFactory()
                        
factory.addStep(steps.Git(repourl='git://github.com/buildbot/hello-world.git', mode='incremental'))
factory.addStep(steps.ShellCommand(command=["trial", "hello"],
                                   env={"PYTHONPATH": "."}))
                        
c['builders'] = []
c['builders'].append(
    util.BuilderConfig(name="runtests",
    workernames=["example-worker"],
    factory=factory))
                         
c['services'] = []
                        
c['title'] = "Hello World CI"
c['titleURL'] = "https://buildbot.github.io/hello-world/"
                        
                        
c['buildbotURL'] = "http://localhost:8010/"
                        
c['www'] = dict(port=8010,
                plugins=dict(waterfall_view={}, console_view={}, grid_view={}))
                        
c['db'] = {
    'db_url' : "sqlite:////state.sqlite",
}

5.1 BuildmasterConfig

c = BuildmasterConfig = {} 

BuildmasterConfig — osnovni rječnik konfiguracijske datoteke. Mora biti obavezan u konfiguracijskoj datoteci. Radi lakšeg korištenja u konfiguracijskom kodu, unosi se njegov alias „c“. Imena ključeva u c[«keyFromDist»] su fiksni elementi za interakciju s BuildMaster. Za svaki ključ kao vrijednost šalje se odgovarajući objekt.

5.2 radnici

c['workers'] = [worker.Worker("example-worker", "pass")]

Ovaj put navodimo BuildMaster- listu Worker-ova. Sam Worker smo kreirali gore, navodeći your-worker-name i lozinka. Sada ih trebamo navesti umjesto example-worker i pass .

5.3 izvor_promjena

c['change_source'] = []
c['change_source'].append(changes.GitPoller(
                            'git://github.com/buildbot/hello-world.git',
                             workdir='gitpoller-workdir', branch='master',
                             pollInterval=300))                

Prema ključu change_source rječnika c pristupamo popisu u koji trebamo staviti objekt koji ispituje spremište sa izvorom projekta. U primjeru se koristi Git spremište koje se ispituje s određenim periodičkim intervalom.

Prvi argument je put do vašeg spremišta.

workdir predstavlja put do mape gdje će Worker-a u odnosu na put /home/habr/worker/yourProject/build git pohraniti lokalnu verziju spremišta.

branch sadrži konkretan ogranak u spremištu koji treba pratiti.

pollInterval sadrži broj sekundi nakon kojih BuildMaster će ispitivati spremište na promjene.

Postoji nekoliko metoda za praćenje promjena u spremištu projekta.

Najjednostavnija metoda je Polling, koja podrazumijeva da BuildMaster periodički provjerava poslužitelj s repozitorijem. U slučaju kada commit su odražene promjene u repozitoriju, tada BuildMaster s određenim kašnjenjem stvorit će unutarnji objekt Promjena i usmjerit će ga na obradu događaja Raspored, koji pokreće korake za izgradnju i testiranje projekta na Worker-u. Među tim koracima bit će navedeno update repokitorij. Upravo na Worker-u će se stvoriti lokalna kopija repozitorija. Detalji ovog procesa bit će objašnjeni u sljedeća dva odjeljka (5.4 i 5.5).

Još elegantnija metoda praćenja promjena u repozitoriju je neposredno slanje poruka s poslužitelja na kojem je smješten, prema BuildMaster-u o promjeni izvornog koda projekta. U tom slučaju, čim programer izvrši commit, poslužitelj s repozitorijem projekta će poslati poruku BuildMaster-u. A taj će je, zauzvrat, uhvatiti stvarajući objekt PBChangeSource. Taj objekt će biti proslijeđen u Raspored, koji aktivira korake za izgradnju projekta i njegovo testiranje. Važan dio ovog načina je rad s hook-skriptama poslužitelja u repozitoriju. U skripti hook-a, koja je odgovorna za obradu radnji pri commit-u, potrebno je pozvati alat sendchange i navesti mrežnu adresu BuildMaster-a. Također treba navesti mrežni port koji će slušati PBChangeSource. PBChangeSource, koji je, inače, dio BuildMaster-a. Ova metoda će zahtijevati prava admin-a na poslužitelju gdje se nalazi repozitorij projekta. Prije toga potrebno je napraviti backup repozitorija.

5.4 raspoređivači


c['schedulers'] = []
c['schedulers'].append(schedulers.SingleBranchScheduler(
        name="all",
        change_filter=util.ChangeFilter(branch='master'),
        treeStableTimer=None,
        builderNames=["runtests"]))
c['schedulers'].append(schedulers.ForceScheduler(
        name="force",
        builderNames=["runtests"]))

rasporeda – to je element koji djeluje kao okidač koji pokreće cijeli lanac izgradnje i testiranja projekta.
Primjer implementacije Continuous Integration pomoću BuildBota

Te promjene koje su bile zabilježene change_source, pretvorene su tijekom rada BuildBot-a u objekt Promjena i sada svaki Rasporeda na temelju njih sastavlja zahtjeve za pokretanje procesa izgradnje projekta. Međutim, on također određuje kada te zahtjeve proslijediti dalje u red. Objekt Graditelj drži red zahtjeva i prati stanje trenutne izgradnje na zasebnom Worker-u. Graditelj postoji i na BuildMaster-u i na Worker-u. On također šalje s BuildMaster-a na Worker-a već specifičan build — niz koraka koji se trebaju izvršiti.
Vidimo da u trenutnom primjeru postoje rasporeda stvaraju 2 komada. Pritom, svaki ima svoj tip.

SingleBranchScheduler – jedan od najpopularnijih klasa rasporeda. On nadgleda jednu granu i aktivira se na registrovanu promjenu u njoj. Kada primijeti promjene, može odgoditi slanje zahtjeva za izgradnju (odgoditi za period naveden u posebnom parametru treeStableTimer). U ime definira ime rasporeda koje će se prikazati u BuildBot-web sučelju. U ChangeFilter definira filtar, prolazeći kroz koji promjene u grani izazivaju raspored da pošalje zahtjev za izgradnju. U builderNames navodi se ime builder-a, koje ćemo definirati malo kasnije. Ime u našem slučaju bit će isto kao i ime projekta: yourProject.

ForceScheduler veoma je jednostavan koncept. Ova vrsta rasporeda aktivira se klikom miša putem BuildBot-web sučelja. Parametri imaju istu suštinu kao i u SingleBranchScheduler.

P.S. №3. Možda će zatrebati
Periodic — to je raspored koji se aktivira s određenom fiksnom vremenskom periodičnošću. Izgleda da se njegov poziv otprilike ovako


from buildbot.plugins import schedulers
nightly = schedulers.Periodic(name="daily",
                              builderNames=["full-solaris"],
                              periodicBuildTimer=24*60*60)
c['schedulers'] = [nightly]                    

5.5 BuildFactory


factory = util.BuildFactory()
                        
factory.addStep(steps.Git(repourl='git://github.com/buildbot/hello-world.git', mode='incremental'))
factory.addStep(steps.ShellCommand(command=["trial", "hello"],
                                   env={"PYTHONPATH": "."}))

periodicBuildTimer definira vrijeme te periodičnosti u sekundama.

BuildFactory stvara konkretan build, koji zatim builder šalje na Worker. U BuildFactory navode se koraci koje treba izvesti Worker-u. Koraci se dodaju pozivom metode addStep

Prvi dodani korak u ovom primjeru — git clean -d -f -f –x, zatim git checkout. Ove radnje su utvrđene u parametru method, koji nije jasno naveden, ali podrazumijeva zadanu vrijednost fresh. Parametar mode='incremental' govori o tome da datoteke u direktoriju, u koji se radi checkout, pri tome nedostajući u repozitoriju, ostaju netaknute.

Drugi dodani korak — to je poziv skripte trial c s parametrom hello na strani Worker-a iz direktorija /home/habr/worker/yourProject/build c varijablom okruženja PATHONPATH=… Na taj način, možete pisati svoje skripte i izvesti ih na strani Worker-a preko koraka util.ShellCommand. Ove skripte se mogu smjestiti direktno u repozitorij. Tada će prilikom checkout-e one biti uključene u /home/habr/worker/yourProject/build. Međutim, postoje dva "ali":

  1. Worker mora se stvoriti s ključem —umask da ne blokira prava za izvršavanje nakon checkout-a.
  2. Tijekom git push-e tih skripti mora se navesti svojstvo executable, kako bi prilikom checkout-e prava na izvršavanje skripte Git ne bila izgubljena.

5.6 graditelji


c['builders'] = []
c['builders'].append(util.BuilderConfig(name="runtests",
                                        workernames=["example-worker"],
                                        factory=factory))

O onome što je Graditelj bilo rečeno ovdje. Sada ću detaljnije objasniti kako ga stvoriti. BuilderConfig je konstruktor builder. Takvih konstruktora u c[‘builders’] može se definirati više njih, budući da je to lista objekata builder tipa. Sada ću malo prepraviti primjer kako bismo ga približili našoj zadatku. BuildBotc['builders'] = [] c['builders'].append(util.BuilderConfig(name="yourProject", workernames=["yourWorkerName"], factory=factory))


Sada ću pričati o parametrima

koji postavlja naziv BuilderConfig.

ime -a. Ovdje smo ga nazvali builder. To znači da će na yourProject-e biti stvoren taj put Workertraži /home/habr/worker/yourProject/build. Rasporeda baš po tom nazivu. builder workernames

sadrži listu -ova. Svaki od njih treba biti dodan u Workerc[‘workers’] factory.

— konkretan , s kojim je asociran build. On će poslati objekt builderza izvršavanje svih koraka koji su dio ovog build na Worker Evo arhitekture primjera projekta, koju predlažem da implementiramo putem build-a.

6. Primjer vlastite konfiguracije

Kao sustav za kontrolu verzija koristit ćemo BuildBot
.

svn . Sam repozitorij će se nalaziti u nekom oblaku. Evo adresa tog oblakasvn.host/svn/yourProject/trunk . U oblaku podima korisnički račun: ime: . Sam repozitorij će se nalaziti u nekom oblaku. Evo adresa tog oblaka , lozinka: korisnik. Skripte, koje predstavljaju korake lozinka-a će također biti u grani build, u posebnom mapi . Sam repozitorij će se nalaziti u nekom oblaku. Evo adresa tog oblakabuildbot/worker_linux . Ove skripte se nalaze u repozitoriju s pohranjenim svojstvomexecutable rade na jednom hostu.

BuildMaster i Worker project.host pohranjuje svoje datoteke u mapi .BuildMaster također pohranjuje na sljedećem putu /home/habr/master. Worker . Povezanost procesa /home/habr/worker-a i BuildMaster-a vrši se preko porta 4000 putem protokola Worker-a, to jest BuildBot‘pb’ protokola. Ciljani projekt je u potpunosti napisan na python-u. Cilj je pratiti njegove promjene, stvoriti izvršni file, generirati dokumentaciju, provesti testiranje. U slučaju neuspjeha, potrebno je svim programerima poslati poruku putem e-pošte o tome da postoji neuspješno izvršena radnja.

Web prikaz

bit će povezan na port 80 za BuildBot . Apatch nije potrebno instalirati. U sklopu biblioteke pohranjuje svoje datoteke u mapitwisted već postoji web server, koji koristi. BuildBot Za pohranu podataka unutarnje namjene

koristit ćemo BuildBot Za slanje e-pošte potreban je host sqlite.

smtp.your.domain — na njemu je dozvoljeno slanje poruka s adrese projectHost@your.domain bez autentifikacije. Također, na hostu ‘ smtp‘ protokol slušao je na portu 1025. U procesu sudjeluju dvije osobe:

. admin upravlja admin i korisnik. user je osoba koja izvršava BuildBot-e. commit-e.

Izvršni datoteku generira pyinstaller. Dokumentacija se generira pomoću doxygen.

Za ovu arhitekturu napisao sam sljedeće master.cfg:

master.cfg


import os, re
from buildbot.plugins import steps, util, schedulers, worker, changes, reporters

c= BuildmasterConfig ={}

c['workers'] = [ worker.Worker('yourWorkerName', 'password') ]
c['protocols'] = {'pb': {'port': 4000}} 


svn_poller = changes.SVNPoller(repourl="https://svn.host/svn/yourProject/trunk",
                                svnuser="user",
                                svnpasswd="password",
                                pollinterval=60,
				split_file=util.svn.split_file_alwaystrunk
                                )

c['change_source'] =  svn_poller

hourlyscheduler = schedulers.SingleBranchScheduler(
                                name="your-project-schedulers",
				change_filter=util.ChangeFilter(branch=None),
                                builderNames=["yourProject"],
				properties = {'owner': 'admin'}
                                )

c['schedulers'] = [hourlyscheduler]

checkout = steps.SVN(repourl='https://svn.host/svn/yourProject/trunk',
                        mode='full',
                        method='fresh',
                        username="user",
                        password="password",
                        haltOnFailure=True)

	
projectHost_build = util.BuildFactory()  


cleanProject = steps.ShellCommand(name="Clean",
                 command=["buildbot/worker_linux/pyinstaller_project", "clean"]
                                )
buildProject = steps.ShellCommand(name="Build",
                 command=["buildbot/worker_linux/pyinstaller_project", "build"]
                                )
doxyProject = steps.ShellCommand(name="Update Docs",
                                command=["buildbot/worker_linux/gendoc", []]
                                )
testProject = steps.ShellCommand(name="Tests",
                                command=["python","tests/utest.py"],
                                env={'PYTHONPATH': '.'}
                                )

projectHost_build.addStep(checkout)
projectHost_build.addStep(cleanProject)
projectHost_build.addStep(buildProject)
projectHost_build.addStep(doxyProject)
projectHost_build.addStep(testProject)


c['builders'] = [
        util.BuilderConfig(name="yourProject", workername='yourWorkerName', factory=projectHost_build)
]


template_html=u'''
<h4>Status izgrađene verzije: {{ summary }}</h4>
<p>Koristi se servis za izgradnju: {{ workername }}</p>
<p>Projekt: {{ projects }}</p>
<p>Da biste pogledali upravljačko sučelje, posjetite: {{ buildbot_url }}</p>
<p>Da biste pogledali rezultate izgradnje, posjetite: {{ build_url }}</p>
<p>Povezivanje sa serverom putem WinSCP moguće je preko IP: xxx.xx.xxx.xx. Ulazite kao habr/password i preuzmite prikupljeni izvršni datoteku iz direktorija ~/worker/yourProject/build/dist.</p>
<p><b>Izgradnja je izvršena putem Buildbota</b></p>
'''

sendMessageToAll = reporters.MailNotifier(fromaddr="projectHost@your.domain",
					sendToInterestedUsers=True,
					lookup="your.domain",
					relayhost="smtp.your.domain",
					smtpPort=1025,
					mode="warnings",
					extraRecipients=['user@your.domain'],
              messageFormatter=reporters.MessageFormatter(
						template=template_html,
						template_type='html',
						wantProperties=True, 
                                                wantSteps=True)
					)
c['services'] = [sendMessageToAll]

c['title'] = "Proces izgradnje"
c['titleURL'] = "http://project.host:80/"

c['buildbotURL'] = "http://project.host"

c['www'] = dict(port=80,
                plugins=dict(waterfall_view={}, console_view={}, grid_view={}))


c['db'] = {
    'db_url' : "sqlite:////state.sqlite"
}

Prvo je potrebno stvoriti BuildMaster-a vrši se preko porta 4000 putem protokola Worker-a. Zatim umetnite ovu datoteku master.cfg u /home/habr/master.

Sljedeći korak je pokretanje usluge BuildMaster-a


sudo buildbot start /home/habr/master

Zatim pokrenite uslugu Worker-a


buildbot-worker start /home/habr/worker

Gotovo! Sada Buildbot će pratiti promjene i aktivirati se na commit-u u . Sam repozitorij će se nalaziti u nekom oblaku. Evo adresa tog oblaka, izvršavajući korake gradnje i testiranja projekta s gore navedene arhitekture.

U nastavku ću opisati neke osobitosti gore navedene master.cfg.

6.1 Na putu do svog master.cfg


Tijekom pisanja svog master.cfg bit će mnogo pogrešaka, stoga će biti potrebno čitanje log-datoteke. Ona se pohranjuje kako na BuildMaster-e c apsolutnom putu /home/habr/master/twistd.log, tako i na strani Worker-a s apsolutnim putem /home/habr/worker/twistd.log. Tijekom čitanja pogrešaka i njihovog ispravljanja potrebno je ponovno pokrenuti uslugu BuildMaster-a. Evo kako to radite:


sudo buildbot stop /home/habr/master
sudo buildbot upgrade-master /home/habr/master
sudo buildbot start /home/habr/master

6.2 Rad s svn


svn_poller = changes.SVNPoller(repourl="https://svn.host/svn/yourProject/trunk",
                               svnuser="user",
                               svnpasswd="password",
                               pollinterval=60,
                               split_file=util.svn.split_file_alwaystrunk
                        )

c['change_source'] =  svn_poller

hourlyscheduler = schedulers.SingleBranchScheduler(
                            name="your-project-schedulers",
                            change_filter=util.ChangeFilter(branch=None),
                            builderNames=["yourProject"],
                            properties = {'owner': 'admin'}
                        )

c['schedulers'] = [hourlyscheduler]

checkout = steps.SVN(repourl='https://svn.host/svn/yourProject/trunk',
                     mode='full',
                     method='fresh',
                     username="user",
                     password="password",
                     haltOnFailure=True)

Prvo pogledajmo svn_poller. To je isti onaj sučelje koje redovito ispituje repozitorij svakih minute. U ovom slučaju svn_poller obraća se samo grani trunk. Tajanstveni parametar split_file=util.svn.split_file_alwaystrunk postavlja pravila: kako razdvojiti strukturu mapa . Sam repozitorij će se nalaziti u nekom oblaku. Evo adresa tog oblaka na grane. Također im nudi relativne putanje. S druge strane split_file_alwaystrunk pojednostavljuje proces, govoreći o tome da u repozitoriju postoji samo trunk.

U Schedulers navodi se ChangeFilter, koji vidi Nema i povezuje ga s granom trunk prema zadanom povezivanju kroz split_file_alwaystrunk. Reagirajući na promjene u trunk, pokreće builder c s imenom yourProject.

properties ovdje je potreban da bi admin primao obavijesti o rezultatima gradnje i testiranja kao vlasnik procesa.

Korak build-a checkout može izvršiti potpuno uklanjanje svih datoteka koje leže u lokalnoj verziji repozitorija Worker-a. A zatim napraviti potpuno svn update. Način je postavljen putem parametra mode=full, method=fresh. Parametar haltOnTailure govori o tome da ako svn update ako dođe do greške, ceo proces izrade i testiranja treba obustaviti, jer dalji koraci nemaju smisla.

6.3 Primili ste e-mail: reporters su ovlašteni da iznesu


novinari je usluga slanja obaveštenja putem emaila.


template_html=u'''
<h4>Status izgrađene verzije: {{ summary }}</h4>
<p>Koristi se servis za izgradnju: {{ workername }}</p>
<p>Projekt: {{ projects }}</p>
<p>Da biste pogledali upravljačko sučelje, posjetite: {{ buildbot_url }}</p>
<p>Da biste pogledali rezultate izgradnje, posjetite: {{ build_url }}</p>
<p>Povezivanje sa serverom putem WinSCP moguće je preko IP: xxx.xx.xxx.xx. Ulazite kao habr/password i preuzmite prikupljeni izvršni datoteku iz direktorija ~/worker/yourProject/build/dist.</p>
<p><b>Izgradnja je izvršena putem Buildbota</b></p>
'''
                        
sendMessageToAll = reporters.MailNotifier(fromaddr="projectHost@your.domain",
                                          sendToInterestedUsers=True,
                                          lookup="your.domain",
                                          relayhost="smtp.your.domain",
                                          smtpPort=1025,
                                          mode="warnings",
                                          extraRecipients=['user@your.domain'],
                                    messageFormatter=reporters.MessageFormatter(
                                                    template=template_html,
                                                    template_type='html',
                                                    wantProperties=True, 
                                                    wantSteps=True)
                                        )
c['services'] = [sendMessageToAll]

Može slati poruke na različite načine.

MailNotifier koristi email za slanje obaveštenja.

template_html postavlja šablon teksta za slanje. Za kreiranje markup-a koristi se html. Modifikovan je putem engine-a jinja2 (može se uporediti sa django). BuildBot ima set promenljivih čije se vrednosti ubacuju u šablon tokom kreiranja teksta poruke. Ove promenljive su napisane unutar {{ dvostrukih vitičastih zagrada }}. Na primer, sažetak izlazi status izvršenih operacija, tj. success ili failure. A projekti će prikazati yourProject. Tako, uz pomoć kontrolnih komandi u jinja2, promenljivih BuildBot-a i sredstava za formatiranje stringova u pythonu, može se kreirati prilično informativna poruka.

MailNotifier sadrži sledeće argumente.

fromaddr je adresa sa koje će svi primati obaveštenja.

sendToInterestedUsers=True šalje poruku vlasniku i korisniku koji je napravio commit.

lookup je sufiks koji treba dodati imenima korisnika kojima se šalje obaveštenje. Tako admin korisnik će primiti obaveštenje na adresu admin@your.domain.

relayhost postavlja ime hosta na kojem je otvoren server ‘ protokol slušao je na portu 1025., a smptPort postavlja broj porta koji osluškuje ‘ protokol slušao je na portu 1025. server.

mode=«warning» govori da obaveštenje treba slati samo u slučaju da postoji barem jedan korak build-a koji je završio sa statusom failure ili warning. U slučaju success slanje obaveštenja nije potrebno.

extraRecipients sadrži listu lica kojima treba slati obaveštenje osim vlasnika i osobe koja je izvršila commit.

messageFormatter je objekat koji definiše format poruke, njen šablon i set promenljivih dostupnih iz jinja2. Takvi parametri kao wantProperties=True i wantSteps=True definišu ovaj set dostupnih promenljivih.

s[‘services’]=[sendMessageToAll] pruža listu servisa, među kojima je i naš reporter.

Uspjeli smo! Čestitam

Kreirali smo sopstvenu konfiguraciju i videli funkcionalnost koju poseduje BuildBot. Mislim da je ovo dovoljno da se shvati da li je ovaj alat potreban za izradu vašeg projekta. Da li vas interesuje? Da li će vam koristiti? Da li se lako koristi? Onda nisam uzalud pisao ovaj članak.

I još nešto. Voleo bih da profesionalna zajednica koja koristi BuildBot, postane šira, da se priručnici prevode i da primera bude još više.

Hvala svima na pažnji. Srećno.

Izvor: habr.com

Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere 🔥 Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere | ProHoster