উদাহরণে বিল্ডবট

আমার একটি গিট সংগ্রহস্থল থেকে সাইটে সফ্টওয়্যার প্যাকেজগুলি একত্রিত করার এবং সরবরাহ করার প্রক্রিয়া সেট আপ করতে হবে। এবং যখন আমি দেখলাম, এতদিন আগে, এখানে Habré-এ বিল্ডবট সম্পর্কিত একটি নিবন্ধ (শেষে লিঙ্ক), আমি এটি চেষ্টা করার এবং এটি প্রয়োগ করার সিদ্ধান্ত নিয়েছি।

যেহেতু বিল্ডবট একটি বিতরণ করা সিস্টেম, তাই প্রতিটি আর্কিটেকচার এবং অপারেটিং সিস্টেমের জন্য একটি পৃথক বিল্ড হোস্ট তৈরি করা যৌক্তিক হবে। আমাদের ক্ষেত্রে, এগুলি হবে LXC পাত্রে (লিনাক্সের ক্ষেত্রে) এবং qemu (উইন্ডোজের ক্ষেত্রে):

• vm-srv-build1 - centos 7, সেখানে একজন বিল্ডবট মাস্টার এবং একজন কর্মী থাকবেন
• vm-srv-build2 - debian 10, DEB প্যাকেজ তৈরির জন্য
• vm-srv-build3 - উইন্ডোজ 10, সমাবেশের জন্য, আপনি কি জানেন

আমরা সংগ্রহ করব Rac GUI — সার্ভারের ক্লাস্টার পরিচালনার জন্য 1C rac-এর জন্য একটি গ্রাফিকাল ইন্টারফেস। লিনাক্সের জন্য, প্রতিটি ওএসের জন্য স্ট্যান্ডার্ড টুল ব্যবহার করা হবে; একটি tcl স্ক্রিপ্ট থেকে উইন্ডোজের জন্য একটি exe ফাইল তৈরি করতে, ব্যবহার করুন freewrap.

বিন্যাস

জিএনইউ / লিনাক্স

ইনস্টলেশনের জন্য ইন্টারনেটে যথেষ্ট ডকুমেন্টেশন আছে 1,2. হ্যাঁ, এবং এটি কোন বিশেষ সমস্যা সৃষ্টি করে না:
মাস্টারের জন্য:

pip3 install buildbot
pip3 install twisted
pip3 install autobahn
pip3 install pysqlite3
pip3 install sqlalchemy sqlalchemy-migrate
pip3 install buildbot-www buildbot-grid-view buildbot-console-view buildbot-waterfall-view
pip3 install python-dateutil

"শ্রমিকদের" জন্য, এটি যথেষ্ট:

pip3 install buildbot-worker

অবশ্যই, প্রতিটি ওএসের জন্য প্যাকেজ সংগ্রহ করা আরও সঠিক হবে, তবে এটি নিবন্ধের সুযোগের বাইরে। আমরা কাজের জন্য কন্টেইনার সেট আপ করার বিবরণও বাদ দেব, আমি শুধুমাত্র নোট করব যে আমি ProxMox VE ব্যবহার করি। এবং আপনাকে সমাবেশের জন্য প্রয়োজনীয় প্রতিটি অক্ষের জন্য প্যাকেজগুলি ইনস্টল করতে হবে (সেন্টোস: rpmdevtools, ইত্যাদি; ডেবিয়ান: বিল্ড-এসেনশিয়াল, ডিএইচ-মেক, পিবিল্ডার, ইত্যাদি)

বিল্ড প্রোজেক্ট এবং বিল্ডবট পরিষেবাগুলি একটি সুবিধাবিহীন ব্যবহারকারী হিসাবে চালু করা হবে, তাই আপনাকে প্রক্রিয়াটিতে অংশগ্রহণকারী সমস্ত হোস্টের জন্য একটি তৈরি করতে হবে:

adduser buildbot

এর পরে, আমরা প্রতিটি হোস্টে (পাত্রে) যথাক্রমে পরিষেবাগুলির স্বয়ংক্রিয় লঞ্চ কনফিগার করব:

উইজার্ড চালানোর জন্য সিস্টেমড ইউনিট:

touch /etc/systemd/buildbot-master.service 

[Unit]
Description=BuildBot master service
After=network.target

[Service]
User=buildbot
Group=buildbot
WorkingDirectory=/home/buildbot/master
ExecStart=/usr/local/bin/buildbot start --nodaemon
ExecReload=/bin/kill -HUP $MAINPID

[Install]
WantedBy=multi-user.target

এবং "কর্মী"

touch /etc/systemd/buildbot-worker.service 

[Unit]
Description=BuildBot worker service
After=network.target

[Service]master
User=buildbot
Group=buildbot
WorkingDirectory=/home/buildbot/worker
ExecStart=/usr/local/bin/buildbot-worker start --nodaemon

[Install]
WantedBy=buildbot-master.service

যেহেতু সমস্ত স্ক্রিপ্ট (আমাদের ক্ষেত্রে) /usr/local/ তে অবস্থিত, তাই আপনাকে পরিবেশের ভেরিয়েবলগুলিতে তাদের পথ সেট করতে হবে:

nano /root/.bash_profile

PATH=$PATH:$HOME/.local/bin:$HOME/bin:/usr/local/bin

এর পরে, আপনি "শ্রমিকদের" (সমস্ত হোস্টে) জন্য একটি ডিরেক্টরি অবকাঠামো তৈরি করতে পারেন, এটি করতে, বিল্ডবট ব্যবহারকারীর অধীনে নিবন্ধন করুন এবং নিম্নলিখিত কমান্ডগুলি চালান:

প্রথম হোস্ট vm-srv-build1-এ:

su - buildbot
mkdir /home/buildbot/worker
cd ~
buildbot-worker create-worker --umask=0o22 --keepalive=60 worker vm-srv-build1:4000 CentOS 123456

দ্বিতীয় হোস্টে vm-srv-build2:

su - buildbot
mkdir /home/buildbot/worker
cd ~
buildbot-worker create-worker --umask=0o22 --keepalive=60 worker vm-srv-build1:4000 Debian-10 123456

কর্মী হোস্টে, বিল্ডবট-কর্মী পরিষেবা শুরু করা যেতে পারে

systemctl start buildbot-worker

এমএস উইন্ডোজ

উইন্ডোজের অধীনে সমাবেশের জন্য "কর্মী" হিসাবে, Win10 এর সর্বশেষ রিলিজ সহ একটি ভার্চুয়াল মেশিন ব্যবহার করা হবে।
কাজ করার জন্য আপনার প্রয়োজন:

• পাইথন
• পাইউইন
• git
• পাইথনে সব ধরণের বিভিন্ন জিনিস ইনস্টল করতে, আপনাকে ডাউনলোড করতে হবে ভিজ্যুয়াল স্টুডিও 2019 এর জন্য টুল তৈরি করুন
• 7Zip

উপরের সমস্তটি ইনস্টল করার পরে, আপনি নিজেই বিল্ডবট ইনস্টল করতে পারেন:

pip install buildbot-worker

চলুন একটি কাজের ডিরেক্টরি তৈরি করি

md c:worker

এবং এর চালু করা যাক

buildbot-worker start c:worker

যদি সবকিছু কাজ করে (লগ c:workertwistd.log দেখুন), তাহলে আপনি রেজিস্ট্রিতে ওয়ার্কিং ডিরেক্টরির সাথে একটি আইটেম যোগ করে আমাদের "কর্মী"কে একটি পরিষেবা হিসাবে নিবন্ধন করতে পারেন (প্রশাসক হিসাবে চালানো পাওয়ারশেলে কমান্ডগুলি কার্যকর করা হয়):

buildbot_worker_windows_service.exe --user VM-SRV-BUILD3buildbot --password 123456 --startup auto install
New-ItemProperty -path Registry::HKEY_LOCAL_MACHINESYSTEMCurrentControlSetservicesBuildBotParameters -Name directories -PropertyType String -Value c:worker

এবং আপনি পরিষেবাটি শুরু করতে পারেন

Start-Service buildbot

এটি "শ্রমিকদের" সাথে, আপনাকে তাদের আর স্পর্শ করতে হবে না, সমস্ত নিয়ন্ত্রণ মাস্টারের কাছ থেকে আসে।

উইজার্ড সেটআপ

শুরু করার জন্য, আসুন মাস্টারের জন্য অবকাঠামো তৈরি করি (প্রধান হোস্টে), এটি করতে, বিল্ডবট ব্যবহারকারীর অধীনে নিবন্ধন করুন এবং নিম্নলিখিত কমান্ডগুলি চালান:

su - buildbot
mkdir /home/buildbot/master
cd ~
buildbot create-master master

রেডিমেড প্যাকেজগুলির জন্য, একটি বিল্ড ডিরেক্টরি তৈরি করুন

mkdir /home/buildbot/builds

একটি master.cfg ফাইল /home/buildbot/master/ ডিরেক্টরিতে তৈরি করা হয়েছে। এই ফাইলটি একটি পাইথন কোড এবং এতে সিস্টেমের সমস্ত মেকানিজমের বিবরণ রয়েছে; আমরা ভবিষ্যতে এটির সাথে কাজ করব।

nano /home/buildbot/master/master.cfg

import os, re
from buildbot.plugins import steps, util, schedulers, worker, changes, reporters

c= BuildmasterConfig ={}

# Описание наших рабочих.
c['workers'] = [ worker.Worker('CentOS', '123456'), worker.Worker('Debian-10', '123456'), worker.Worker('Windows-10', '123456')]
c['protocols'] = {'pb': {'port': 4000}} 

# Указание мастеру какой репозиторий отслеживать
c['change_source'] = []
c['change_source'].append(changes.GitPoller(
       repourl = 'https://bitbucket.org/svk28/rac-gui.git',
       project = 'Rac-GUI',
       branches = True,
       pollInterval = 60
      )
)

# служба запуска сборки
c['schedulers'] = []
c['schedulers'].append(schedulers.SingleBranchScheduler(
       name="Rac-GUI-schedulers",
       change_filter=util.ChangeFilter(branch='master'),
       builderNames=["Rac-GUI-RPM-builder", "Rac-GUI-DEB-builder", "Rac-GUI-WIN-builder"],
       properties = {'owner': 'admin'}
       )
)
@util.renderer

######################################3
# Сборка RPM-пакета
 rac_gui_build_RPM = util.BuildFactory()

rac_gui_build_RPM.addStep(steps.Git(
       repourl = 'https://bitbucket.org/svk28/rac-gui.git',
       workdir = 'rac-gui',
       haltOnFailure = True,
       submodules = True,
       mode='full',
       progress = True)
)

বিভিন্ন সংস্করণের প্যাকেজগুলির সমাবেশ স্বয়ংক্রিয় করার জন্য, যাতে master.cfg ফাইলের কোডের মধ্যে অনুসন্ধান করতে না হয়, rac_gui.tcl প্রোগ্রামের মূল স্ক্রিপ্টে, বর্তমান সংস্করণ এবং প্রকাশের সাথে লাইনগুলি হেডারে যুক্ত করা হয়েছিল :

######################################################
#        Rac GUI
...
# version: 1.0.3
# release: 1

এবং এই লাইনগুলির উপর ভিত্তি করে, বিল্ডবট প্যাকেজগুলিকে নম্বর দেবে। ডেটা বের করতে, কনসোল গ্রেপ কল ব্যবহার করুন। বিল্ডবটে আপনি কেবল "শ্রমিকদের" জন্য ভেরিয়েবলগুলি সংজ্ঞায়িত করতে পারবেন না (অন্তত, আমি কীভাবে খুঁজে পাইনি)। এই বৈশিষ্ট্য জন্য ব্যবহার করা হয় কি. সেগুলো. সমাবেশ প্রক্রিয়ায়, আমরা সংস্করণ এবং প্রকাশ নির্ধারণের জন্য পদক্ষেপগুলি যোগ করি এবং সেই অনুযায়ী, সংস্করণ এবং প্রকাশের বৈশিষ্ট্যগুলি সেট করি। কনসোল কমান্ড কল করে এই ক্ষেত্রে বৈশিষ্ট্যগুলি বিভিন্ন উপায়ে সেট করা যেতে পারে:

# Добавим определение версии из основного файла
rac_gui_build_RPM.addStep(
       steps.SetPropertyFromCommand(
       command="grep version ../rac-gui/rac_gui.tcl | grep -oE 'b[0-9]{1,2}.[0-9]{1,2}.[0-9]{1,2}b'", property="version"
       )
)
# Добавим определение релиза из основного файла
rac_gui_build_RPM.addStep(
       steps.SetPropertyFromCommand(
       command="grep release ../rac-gui/rac_gui.tcl | grep -oE 'b[0-9]{1,3}b'", property="release"
       )
)

আপনি util.Interpolate() কল করে ফলাফলের মানগুলি প্রতিস্থাপন করতে পারেন।

# Запакуем исходники
rac_gui_build_RPM.addStep(
       steps.ShellCommand(
          command=["tar", "czf", util.Interpolate("/home/buildbot/rpmbuild/SOURCES/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"), "../rac-gui"]
       )
)

এখানে উল্লেখ করা উচিত যে যেহেতু হোস্ট প্যাকেজগুলির ম্যানুয়াল সমাবেশের জন্যও ব্যবহৃত হয়, তাই সমাবেশটি স্ট্যান্ডার্ড পাথ বরাবর হবে।

# Копируем spec
rac_gui_build_RPM.addStep(steps.ShellCommand(
       command=["cp", "../rac-gui/rac_gui.spec", "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))

সঠিক রিলিজ এবং সংস্করণ নম্বর সেট করতে, একটি স্ট্যান্ডার্ড সেড কল ব্যবহার করুন, যেমন কমান্ডটি নির্দিষ্ট ফাইলের ভিতরের মানগুলিকে প্রয়োজনীয়গুলির সাথে প্রতিস্থাপন করে

# меняем версию
rac_gui_build_RPM.addStep(steps.ShellCommand(
       command=["sed", "-i", util.Interpolate("s/.*Version:.*/Version:t%(prop:version)s/"), "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))
# меняем релиз
rac_gui_build_RPM.addStep(steps.ShellCommand(
       command=["sed", "-i", util.Interpolate("s/.*Release:.*/Release:t%(prop:release)s/"), "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))

# запускаем процесс сборки
rac_gui_build_RPM.addStep(steps.RpmBuild(
       specfile="/home/buildbot/rpmbuild/SPECS/rac_gui.spec",
       dist='.el5',
       topdir='/home/buildbot/rpmbuild',
       builddir='/home/buildbot/rpmbuild/build',
       rpmdir='/home/buildbot/rpmbuild/RPMS',
       sourcedir='/home/buildbot/rpmbuild/SOURCES'
      )
)

আমরা মাস্টারের কাছে উত্স সহ সমাপ্ত একত্রিত প্যাকেজ এবং সংরক্ষণাগারটি অনুলিপি করি। কিন্তু আপনি অবিলম্বে আপনার কাজের ফাইল থেকে আপনার সংগ্রহস্থল বা ওয়েবসাইটে ফাইল কপি করতে পারেন।

# Скопируем файл на мастер
rac_gui_build_RPM.addStep(
       steps.FileUpload(
          workersrc=util.Interpolate("/home/buildbot/rpmbuild/RPMS/noarch/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm"),
          masterdest=util.Interpolate("/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm")
      )
)

rac_gui_build_RPM.addStep(
       steps.FileUpload(
       workersrc=util.Interpolate("/home/buildbot/rpmbuild/SOURCES/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"),
          masterdest=util.Interpolate("/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz")
       )
)

মাস্টারের FTP-এর মাধ্যমে হোস্টিং-এ সংগৃহীত প্যাকেজগুলো কপি করার প্রক্রিয়া শুরু করা যাক। এই উদ্দেশ্যে এটি ব্যবহার করা হয় লিপি tcl-এ।

rac_gui_build_RPM.addStep(
        steps.MasterShellCommand(
            command=["/usr/local/bin/deploy-ftp.tcl",
                util.Interpolate("--local-file=/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm"),
                util.Interpolate("--remote-file=uploads/rac-gui/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm")]
        )
)

rac_gui_build_RPM.addStep(
        steps.MasterShellCommand(
            command=["/usr/local/bin/deploy-ftp.tcl",
                util.Interpolate("--local-file=/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"),
                util.Interpolate("--remote-file=uploads/rac-gui/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz")]
        )
)

এটা RPM এর সাথে। এখন আসুন একটি DEB প্যাকেজ তৈরির জন্য অ্যালগরিদম বর্ণনা করা শুরু করি। যেহেতু বিভিন্ন সিস্টেমের জন্য প্যাকেজ তৈরির প্রক্রিয়াগুলি একে অপরের থেকে স্বাধীন, তাই অনেকগুলি ধাপ পুনরাবৃত্তি করা হবে।

rac_gui_build_DEB = util.BuildFactory()

rac_gui_build_DEB.addStep(steps.Git(
       repourl = 'https://bitbucket.org/svk28/rac-gui.git',
       haltOnFailure = True,
       submodules = True,
       mode='full',
       workdir='build',
       progress = True)
)

# Добавим определение версии из основного файла
rac_gui_build_DEB.addStep(
       steps.SetPropertyFromCommand(
       command="grep version rac_gui.tcl | grep -oE 'b[0-9]{1,2}.[0-9]{1,2}.[0-9]{1,2}b'", property="version"
       )
)

# Добавим определение релиза из основного файла
rac_gui_build_DEB.addStep(
       steps.SetPropertyFromCommand(
       command="grep release rac_gui.tcl | grep -oE 'b[0-9]{1,3}b'", property="release"
       )
)

# Переименуем запускаемый файл
    rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["mv", "rac_gui.tcl", "racgui"]))

একটি RPM প্যাকেজের জন্য, নিম্নলিখিত কিছু পদ্ধতিগুলি সমাবেশের সময় rpm নিজেই সম্পন্ন করে এবং স্পেকের ভিতরে বর্ণনা করা হয়; ডেবিয়ানের জন্য, আপনাকে এটি এখানে করতে হবে:

# Поменяем пути к библиотекам
rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["sed", "-i", "s+^set dir(lib)+set dir(lib) /usr/share/rac-gui/lib ;#+g", "racgui"]))

# Поменяем пути к файлам
rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["sed", "-i", "s+[pwd]+/usr/share/rac-gui+g", "racgui"]))

# заархивируем исходники
rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["tar", "czf", util.Interpolate("../rac-gui_%(prop:version)s.orig.tar.gz"), "."]))

# Соберём пакет
rac_gui_build_DEB.addStep(steps.ShellCommand(
       command=["dpkg-buildpackage"]))

# Скопируем файл на мастер
rac_gui_build_DEB.addStep(
       steps.FileUpload(
       workersrc=util.Interpolate("../rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb"),
           masterdest=util.Interpolate("/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb")
       )
)
rac_gui_build_DEB.addStep(
        steps.MasterShellCommand(
            command=["/usr/local/bin/deploy-ftp.tcl",
             util.Interpolate("--local-file=/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb"),
             util.Interpolate("--remote-file=uploads/rac-gui/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb")]
        )
)

এবং DEB দিয়ে করা হয়েছে, এখন উইন্ডোজ!

rac_gui_build_WIN = util.BuildFactory()

rac_gui_build_WIN.addStep(steps.Git(
       repourl = 'https://bitbucket.org/svk28/rac-gui.git',
       haltOnFailure = True,
       submodules = True,
       mode='full',
       workdir='build',
       progress = True)
)

যেহেতু গ্রেপ এবং সেড উইন্ডোজে স্ট্যান্ডার্ড নয় (নাকি আছে?), আমরা পাওয়ারশেল ব্যবহার করব

# Добавим определение версии из основного файла
rac_gui_build_WIN.addStep(
       steps.SetPropertyFromCommand(
       command="powershell -command "((Get-Content .rac_gui.tcl | Select-String -Pattern 'version:') -split 's')[2]",
       property="version"
       )
    )

# Добавим определение релиза из основного файла
rac_gui_build_WIN.addStep(
       steps.SetPropertyFromCommand(
       command="powershell -command "((Get-Content .rac_gui.tcl | Select-String -Pattern 'release:') -split 's')[2]",
       property="release"
       )
)

# Создадим запускаемый файл
rac_gui_build_WIN.addStep(steps.ShellCommand(
       command=["c:binfreewrap.exe", "rac_gui.tcl"]))

# запакуем то, что получилось
rac_gui_build_WIN.addStep(steps.ShellCommand(
       command=["c:Program Files7-zip7z.exe", "a", "-r", util.Interpolate("..rac-gui_%(prop:version)s-%(prop:release)s.win.zip"), "..build"]))

# скопируем на мастер
rac_gui_build_WIN.addStep(
       steps.FileUpload(
       workersrc=util.Interpolate("..rac-gui_%(prop:version)s-%(prop:release)s.win.zip"),
           masterdest=util.Interpolate("/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s.win.zip")
       )
)
# Скопируем файл на хостинг
rac_gui_build_WIN.addStep(
        steps.MasterShellCommand(
            command=["/usr/local/bin/deploy-ftp.tcl",
            util.Interpolate("--local-file=/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s.win.zip"),
            util.Interpolate("--remote-file=uploads/rac-gui/rac-gui_%(prop:version)s-%(prop:release)s.win.zip")]
       )
)

# Тут определяем какие сборщики у нас есть
c['builders'] = [
        util.BuilderConfig(name="Rac-GUI-RPM-builder", workername='CentOS', factory=rac_gui_build_RPM),
        util.BuilderConfig(name="Rac-GUI-DEB-builder", workername='Debian-10', factory=rac_gui_build_DEB),
        util.BuilderConfig(name="Rac-GUI-WIN-builder", workername='Windows-10', factory=rac_gui_build_WIN),
]

বিল্ড প্রক্রিয়ার স্থিতি সম্পর্কে আপনাকে অবহিত করতে আমরা ইমেল ব্যবহার করব।

c['services'] = []

template=u'''
    <h4>Build status: {{ summary }}</h4>
    <p> Worker used: {{ workername }}</p>
    {% for step in build['steps'] %}
    <p> {{ step['name'] }}: {{ step['result'] }}</p>
    {% endfor %}
    <p><b> -- The Buildbot</b></p>
    '''

mailNotifier = reporters.MailNotifier(fromaddr="[email protected]",
             sendToInterestedUsers=False,
             mode=('all'),
             extraRecipients=["[email protected]"],
             relayhost="mail.domain.ru",
             smtpPort=587,
             smtpUser="[email protected]",
             smtpPassword="******",
             messageFormatter=reporters.MessageFormatter(
                                 template=template, template_type='html',
                                 wantProperties=True, wantSteps=True))

c['services'].append(mailNotifier)

# Основные настройки мастера
c['title'] = "The process of bulding"
c['titleURL'] = "http://vm-srv-build1:80/"
c['buildbotURL'] = "http://vm-srv-build1/"
c['www'] = dict(port=80,
                plugins=dict(waterfall_view={}, console_view={}, grid_view={}))
c['db'] = {
       'db_url' : "sqlite:///state.sqlite"
}

ফাইলটি সংরক্ষণ করুন এবং আপনি উইজার্ড পরিষেবা শুরু করার চেষ্টা করতে পারেন:

systemctl restart buildbot-master

লগে আমরা পরীক্ষা করব যে কনফিগারেশনের সাথে সবকিছু ঠিক আছে এবং সবকিছু স্বাভাবিক হিসাবে কাজ করছে। আমাদের সকল কর্মীদের এখন সংযুক্ত হওয়া উচিত, যা খুশির সাথে লগ »»'/home/buildbot/master/twistd.log»»' এ রিপোর্ট করা হবে:

 2019-07-24 16:50:35+0300 [-] Loading buildbot.tac...
 2019-07-24 16:50:35+0300 [-] Loaded.
 2019-07-24 16:50:35+0300 [-] twistd 19.2.1 (/usr/bin/python3.6 3.6.8) starting up.
 2019-07-24 16:50:35+0300 [-] reactor class: twisted.internet.epollreactor.EPollReactor.
 2019-07-24 16:50:35+0300 [-] Starting BuildMaster -- buildbot.version: 2.3.1
 2019-07-24 16:50:35+0300 [-] Loading configuration from '/home/buildbot/master/master.cfg'
 2019-07-24 16:50:36+0300 [-] /usr/local/lib/python3.6/site-packages/buildbot/config.py:90: buildbot.config.ConfigWarning: [0.9.0 and later] `buildbotNetUsageData` is not configured and defaults to basic.
        This parameter helps the buildbot development team to understand the installation base.
        No personal information is collected.
        Only installation software version info and plugin usage is sent.
        You can `opt-out` by setting this variable to None.
        Or `opt-in` for more information by setting it to "full".

 2019-07-24 16:50:36+0300 [-] Setting up database with URL 'sqlite:/state.sqlite'
 2019-07-24 16:50:36+0300 [-] setting database journal mode to 'wal'
 2019-07-24 16:50:36+0300 [-] adding 1 new services, removing 0
 2019-07-24 16:50:36+0300 [-] adding 1 new change_sources, removing 0
 2019-07-24 16:50:36+0300 [-] gitpoller: using workdir '/home/buildbot/master/gitpoller-work'
 2019-07-24 16:50:36+0300 [-] adding 3 new builders, removing 0
 2019-07-24 16:50:36+0300 [-] adding 1 new schedulers, removing 0
 2019-07-24 16:50:36+0300 [-] initializing www plugin 'waterfall_view'
 2019-07-24 16:50:36+0300 [-] initializing www plugin 'console_view'
 2019-07-24 16:50:36+0300 [-] initializing www plugin 'grid_view'
 2019-07-24 16:50:36+0300 [-] NOTE: www plugin 'sitenav' is installed but not configured
 2019-07-24 16:50:36+0300 [-] initializing www plugin 'waterfall_view'
 2019-07-24 16:50:36+0300 [-] initializing www plugin 'console_view'
 2019-07-24 16:50:36+0300 [-] initializing www plugin 'grid_view'
 2019-07-24 16:50:36+0300 [-] NOTE: www plugin 'sitenav' is installed but not configured
 2019-07-24 16:50:36+0300 [-] BuildbotSite starting on 80
 2019-07-24 16:50:36+0300 [-] Starting factory <buildbot.www.service.BuildbotSite object at 0x7fe31c2657b8>
 2019-07-24 16:50:36+0300 [-] adding 3 new workers, removing 0
 2019-07-24 16:50:36+0300 [-] PBServerFactory starting on 4000
 2019-07-24 16:50:36+0300 [-] Starting factory <twisted.spread.pb.PBServerFactory object at 0x7fe31c147470>
 2019-07-24 16:50:37+0300 [-] BuildMaster is running
 2019-07-24 16:50:37+0300 [-] buildbotNetUsageData: sending {'installid': 'b6193b126b96689351d2fe95787c5a03fc0879f9', 'versions': {'Python': '3.6.8', 'Buildbot': '2.3.1', 'Twisted': '19.2.1'}, 'platform': {'platform': 'Linux-4.15.18-10- pve-x86_64-with-centos-7.6.1810-Core', 'system': 'Linux', 'machine': 'x86_64', 'processor': 'x86_64', 'python_implementation': 'CPython', 'version': '#1 SMP PVE 4.15.18-32', 'distro': 'centos:7'}, 'plugins': {'buildbot/worker/base/Worker': 3, 'buildbot/config/BuilderConfig': 3, 'buildbot/schedulers/basic/SingleBranchScheduler': 1, 'buildbot/reporters/mail/MailNotifier': 1, 'buildbot/changes/gitpoller/GitPoller': 1, 'buildbot/steps/worker/MakeDirectory': 1, 'buildbot/steps/source/git/Git': 3, 'buildbot/steps/shell/ShellCommand': 9, 'buildbot/steps/package/rpm/rpmbuild/RpmBuild': 1}, 'db': 'sqlite', 'mq': 'simple', 'www_plugins': ['waterfall_view', 'console_view', 'grid_view']}
 2019-07-24 16:50:37+0300 [Broker,0,127.0.0.1] worker 'CentOS' attaching from IPv4Address(type='TCP', host='127.0.0.1', port=37332)
 2019-07-24 16:50:37+0300 [Broker,0,127.0.0.1] Got workerinfo from 'CentOS'
 2019-07-24 16:50:37+0300 [-] bot attached
 2019-07-24 16:50:37+0300 [Broker,0,127.0.0.1] Worker CentOS attached to Rac-GUI-RPM-builder
 2019-07-24 16:50:37+0300 [-] buildbotNetUsageData: buildbot.net said: ok
 2019-07-24 16:50:39+0300 [Broker,1,192.168.55.15] worker 'Windows-10' attaching from IPv4Address(type='TCP', host='192.168.5.145', port=49831)
 2019-07-24 16:50:39+0300 [Broker,1,192.168.55.15] Got workerinfo from 'Windows-10'
 2019-07-24 16:50:40+0300 [-] bot attached
 2019-07-24 16:50:40+0300 [Broker,1,192.168.55.15] Worker Windows-10 attached to Rac-GUI-WIN-builder
 2019-07-24 16:50:41+0300 [Broker,2,192.168.55.99] worker 'Debian-10' attaching from IPv4Address(type='TCP', host='192.168.5.9', port=44430)
 2019-07-24 16:50:41+0300 [Broker,2,192.168.55.99] Got workerinfo from 'Debian-10'
 2019-07-24 16:50:41+0300 [-] bot attached
 2019-07-24 16:50:41+0300 [Broker,2,192.168.55.99] Worker Debian-10 attached to Rac-GUI-DEB-builder

এটি সেটআপ প্রক্রিয়া সম্পূর্ণ করে। আপনি ওয়েব ইন্টারফেসের মাধ্যমে বর্তমান অবস্থা দেখতে পারেন। যেখানে আপনি বিল্ড ত্রুটিগুলিও দেখতে পারেন, কিছু ভুল হলে একটি হিমায়িত প্রক্রিয়াকে লাথি দিন ইত্যাদি।

লঞ্চের পরপরই, আমাদের কঠোর কর্মীদের "বিল্ডস" -> "শ্রমিক" মেনুর মাধ্যমে দেখা যাবে

প্রথম বিল্ড প্রক্রিয়া সম্পন্ন হওয়ার পরে (অর্থাৎ গিট সংগ্রহস্থলে পরিবর্তন), প্রক্রিয়াগুলির স্থিতি প্রথম পৃষ্ঠায় প্রদর্শিত হবে।

আপনি মাউস দিয়ে পছন্দসই লাইনে ক্লিক করলে, এই প্রক্রিয়াটির বর্তমান অবস্থা সহ একটি পৃষ্ঠা খুলবে, যেখানে আপনি কী ঘটছে, কী ত্রুটি ইত্যাদি দেখতে পাবেন।

সম্পূর্ণ উইজার্ড কনফিগারেশন এখানে পাওয়া যাবে

import os, re
from buildbot.plugins import steps, util, schedulers, worker, changes, reporters
c= BuildmasterConfig ={}
c['workers'] = [ worker.Worker('CentOS', '123456'), worker.Worker('Debian-10', '123456'), worker.Worker('Windows-10', '123456')]
c['protocols'] = {'pb': {'port': 4000}} 
c['change_source'] = []
c['change_source'].append(changes.GitPoller(
repourl = 'https://bitbucket.org/svk28/rac-gui.git',
project = 'Rac-GUI',
branches = True,
pollInterval = 600
))
# служба запуска сборки
c['schedulers'] = []
c['schedulers'].append(schedulers.SingleBranchScheduler(
name="Rac-GUI-schedulers",
change_filter=util.ChangeFilter(branch='master'),
builderNames=["Rac-GUI-RPM-builder", "Rac-GUI-DEB-builder", "Rac-GUI-WIN-builder"],
properties = {'owner': 'admin'}
))
@util.renderer
def get_name_version_release(props):
prog_name = "rac-gui"
prog_version = "1.0.3"
prog_release = "3"
return {
"prog_name": prog_name
#"prog_version": prog_version,
#"prog_release": prog_release
}
rac_gui_build_RPM = util.BuildFactory()
rac_gui_build_RPM.addStep(steps.Git(
repourl = 'https://bitbucket.org/svk28/rac-gui.git',
workdir = 'rac-gui',
haltOnFailure = True,
submodules = True,
mode='full',
progress = True)
)
# Добавим определение версии из основного файла
rac_gui_build_RPM.addStep(
steps.SetPropertyFromCommand(
command="grep version ../rac-gui/rac_gui.tcl | grep -oE 'b[0-9]{1,2}.[0-9]{1,2}.[0-9]{1,2}b'", property="version"
)
)
# Добавим определение релиза из основного файла
rac_gui_build_RPM.addStep(
steps.SetPropertyFromCommand(
command="grep release ../rac-gui/rac_gui.tcl | grep -oE 'b[0-9]{1,3}b'", property="release"
)
)
rac_gui_build_RPM.addStep(steps.ShellCommand(
command=["tar", "czf", util.Interpolate("/home/buildbot/rpmbuild/SOURCES/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"), "../rac-gui"]))
rac_gui_build_RPM.addStep(steps.ShellCommand(
command=["cp", "../rac-gui/rac_gui.spec", "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))
rac_gui_build_RPM.addStep(steps.ShellCommand(
command=["sed", "-i", util.Interpolate("s/.*Version:.*/Version:t%(prop:version)s/"), "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))
rac_gui_build_RPM.addStep(steps.ShellCommand(
command=["sed", "-i", util.Interpolate("s/.*Release:.*/Release:t%(prop:release)s/"), "/home/buildbot/rpmbuild/SPECS/rac_gui.spec"]))
rac_gui_build_RPM.addStep(steps.RpmBuild(
specfile="/home/buildbot/rpmbuild/SPECS/rac_gui.spec",
dist='.el5',
topdir='/home/buildbot/rpmbuild',
builddir='/home/buildbot/rpmbuild/build',
rpmdir='/home/buildbot/rpmbuild/RPMS',
sourcedir='/home/buildbot/rpmbuild/SOURCES'
))
# Скопируем файл на мастер
rac_gui_build_RPM.addStep(
steps.FileUpload(
workersrc=util.Interpolate("/home/buildbot/rpmbuild/RPMS/noarch/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm"),
masterdest=util.Interpolate("/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm")
)
)
rac_gui_build_RPM.addStep(
steps.FileUpload(
workersrc=util.Interpolate("/home/buildbot/rpmbuild/SOURCES/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"),
masterdest=util.Interpolate("/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz")
)
)
rac_gui_build_RPM.addStep(
steps.MasterShellCommand(
command=["/usr/local/bin/deploy-ftp.tcl",
util.Interpolate("--local-file=/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm"),
util.Interpolate("--remote-file=uploads/rac-gui/rac-gui-%(prop:version)s-%(prop:release)s.noarch.rpm")]
)
)
rac_gui_build_RPM.addStep(
steps.MasterShellCommand(
command=["/usr/local/bin/deploy-ftp.tcl",
util.Interpolate("--local-file=/home/buildbot/builds/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz"),
util.Interpolate("--remote-file=uploads/rac-gui/rac-gui-%(prop:version)s-%(prop:release)s.tar.gz")]
)
)
####################################
##      DEB 
####################################
rac_gui_build_DEB = util.BuildFactory()
rac_gui_build_DEB.addStep(steps.Git(
repourl = 'https://bitbucket.org/svk28/rac-gui.git',
haltOnFailure = True,
submodules = True,
mode='full',
workdir='build',
progress = True)
)
# Добавим определение версии из основного файла
rac_gui_build_DEB.addStep(
steps.SetPropertyFromCommand(
command="grep version rac_gui.tcl | grep -oE 'b[0-9]{1,2}.[0-9]{1,2}.[0-9]{1,2}b'", property="version"
)
)
# Добавим определение релиза из основного файла
rac_gui_build_DEB.addStep(
steps.SetPropertyFromCommand(
command="grep release rac_gui.tcl | grep -oE 'b[0-9]{1,3}b'", property="release"
)
)
# Переименуем запускаемый файл
rac_gui_build_DEB.addStep(steps.ShellCommand(
command=["mv", "rac_gui.tcl", "racgui"]))
# Поменяем пути к библиотекам
rac_gui_build_DEB.addStep(steps.ShellCommand(
command=["sed", "-i", "s+^set dir(lib)+set dir(lib) /usr/share/rac-gui/lib ;#+g", "racgui"]))
# Поменяем пути к файлам
rac_gui_build_DEB.addStep(steps.ShellCommand(
command=["sed", "-i", "s+[pwd]+/usr/share/rac-gui+g", "racgui"]))
# заархивируем исходники
rac_gui_build_DEB.addStep(steps.ShellCommand(
command=["tar", "czf", util.Interpolate("../rac-gui_%(prop:version)s.orig.tar.gz"), "."]))
# Соберём пакет
rac_gui_build_DEB.addStep(steps.ShellCommand(
command=["dpkg-buildpackage"]))
# Скопируем файл на мастер
rac_gui_build_DEB.addStep(
steps.FileUpload(
workersrc=util.Interpolate("../rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb"),
masterdest=util.Interpolate("/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb")
)
)
rac_gui_build_DEB.addStep(
steps.MasterShellCommand(
command=["/usr/local/bin/deploy-ftp.tcl",
util.Interpolate("--local-file=/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb"),
util.Interpolate("--remote-file=uploads/rac-gui/rac-gui_%(prop:version)s-%(prop:release)s_amd64.deb")]
)
)
############################################
#       WIN
############################################
rac_gui_build_WIN = util.BuildFactory()
rac_gui_build_WIN.addStep(steps.Git(
repourl = 'https://bitbucket.org/svk28/rac-gui.git',
haltOnFailure = True,
submodules = True,
mode='full',
workdir='build',
progress = True)
)
# Добавим определение версии из основного файла
rac_gui_build_WIN.addStep(
steps.SetPropertyFromCommand(
command="powershell -command "((Get-Content .rac_gui.tcl | Select-String -Pattern 'version:') -split 's')[2]",
property="version"
)
)
# Добавим определение релиза из основного файла
rac_gui_build_WIN.addStep(
steps.SetPropertyFromCommand(
command="powershell -command "((Get-Content .rac_gui.tcl | Select-String -Pattern 'release:') -split 's')[2]",
property="release"
)
)
# Создадим запускаемый файл
rac_gui_build_WIN.addStep(steps.ShellCommand(
command=["c:binfreewrap.exe", "rac_gui.tcl"]))
# запакуем то, что получилось
rac_gui_build_WIN.addStep(steps.ShellCommand(
command=["c:Program Files7-zip7z.exe", "a", "-r", util.Interpolate("..rac-gui_%(prop:version)s-%(prop:release)s.win.zip"), "..build"]))
# скопируем на мастер
rac_gui_build_WIN.addStep(
steps.FileUpload(
workersrc=util.Interpolate("..rac-gui_%(prop:version)s-%(prop:release)s.win.zip"),
masterdest=util.Interpolate("/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s.win.zip")
)
)
# Скопируем файл на хостинг
rac_gui_build_WIN.addStep(
steps.MasterShellCommand(
command=["/usr/local/bin/deploy-ftp.tcl",
util.Interpolate("--local-file=/home/buildbot/builds/rac-gui_%(prop:version)s-%(prop:release)s.win.zip"),
util.Interpolate("--remote-file=uploads/rac-gui/rac-gui_%(prop:version)s-%(prop:release)s.win.zip")]
)
)
c['builders'] = [
util.BuilderConfig(name="Rac-GUI-RPM-builder", workername='CentOS', factory=rac_gui_build_RPM),
util.BuilderConfig(name="Rac-GUI-DEB-builder", workername='Debian-10', factory=rac_gui_build_DEB),
util.BuilderConfig(name="Rac-GUI-WIN-builder", workername='Windows-10', factory=rac_gui_build_WIN),
]
c['services'] = []
template=u'''
<h4>Build status: {{ summary }}</h4>
<p> Worker used: {{ workername }}</p>
{% for step in build['steps'] %}
<p> {{ step['name'] }}: {{ step['result'] }}</p>
{% endfor %}
<p><b> -- The Buildbot</b></p>
'''
mailNotifier = reporters.MailNotifier(fromaddr="[email protected]",
sendToInterestedUsers=False,
mode=('all'),
extraRecipients=["[email protected]"],
relayhost="mail.domain.local",
smtpPort=587,
smtpUser="[email protected]",
smtpPassword="**********",
messageFormatter=reporters.MessageFormatter(
template=template, template_type='html',
wantProperties=True, wantSteps=True))
c['services'].append(mailNotifier)
c['title'] = "The process of bulding"
c['titleURL'] = "http://vm-srv-build1:80/"
c['buildbotURL'] = "http://vm-srv-build1/"
c['www'] = dict(port=80,
plugins=dict(waterfall_view={}, console_view={}, grid_view={}))
c['db'] = {
'db_url' : "sqlite:///state.sqlite"
}

উপকরণ

নিবন্ধটি প্রস্তুত করতে নিম্নলিখিত উপকরণগুলি ব্যবহার করা হয়েছিল:

• BuildBot এর সাথে ক্রমাগত একীকরণের একটি উদাহরণ বাস্তবায়ন
• বিল্ডবট: আরেকটি ধারাবাহিক ইন্টিগ্রেশন সিস্টেমের উদাহরণ সহ একটি গল্প
• উবুন্টু 16.04 এ বিল্ডবটে ক্রমাগত ইন্টিগ্রেশন সেট আপ করা হচ্ছে
• ভাল, পণ্য ডকুমেন্টেশন বিল্ডবট টিউটোরিয়াল

উত্স: www.habr.com