BuildBot प्रयोग गरेर निरन्तर एकीकरण लागू गर्ने उदाहरण

(द्वारा छवि कम्प्युटराइजर बाट Pixabay)

नमस्ते!

मेरो नाम Evgeniy Cherkin, म एक खनन कम्पनी मा एक विकास टोली मा एक प्रोग्रामर हुँ पोलीमेटल.

कुनै पनि ठूलो परियोजना सुरु गर्दा, तपाइँ सोच्न थाल्नुहुन्छ: "यसलाई कायम राख्न कुन सफ्टवेयर प्रयोग गर्न राम्रो छ?" अर्को संस्करण जारी गर्नु अघि IT परियोजनाले धेरै चरणहरू पार गर्दछ। यी चरणहरूको श्रृंखला स्वचालित हुँदा यो राम्रो छ। IT परियोजनाको नयाँ संस्करण जारी गर्ने स्वचालित प्रक्रियालाई नै भनिन्छ निरन्तर एकता. BuildBot यो प्रक्रिया कार्यान्वयन गर्न हाम्रो लागि राम्रो सहायक साबित भयो।

यस लेखमा मैले सम्भावनाहरूको एक सिंहावलोकन प्रदान गर्ने निर्णय गरें BuildBot। यो सफ्टवेयर के सक्षम छ? उहाँसँग कसरी सम्पर्क गर्ने र उहाँसँग सामान्य प्रभावकारी कार्य सम्बन्ध कसरी निर्माण गर्ने? तपाइँले तपाइँको मेसिनमा तपाइँको परियोजना निर्माण र परीक्षण को लागी एक कार्य सेवा सिर्जना गरेर हाम्रो अनुभव आफैं लागू गर्न सक्नुहुन्छ।

सामग्रीहरू

सामग्रीहरू

1. किन BuildBot?
2. बिल्डमास्टरको नेतृत्वमा अवधारणा
3. स्थापना
4. पहिलो चरणहरू

5. कन्फिगरेसन। चरण-दर-चरण नुस्खा

5.1 BuildmasterConfig
5.2 कर्मचारीहरू
5.3 परिवर्तन_स्रोत
5.4 अनुसूचकहरू

5.5 निर्माण कारखाना
5.6 निर्माणकर्ताहरू

6. तपाईंको आफ्नै कन्फिगरेसनको उदाहरण

6.1 तपाईंको master.cfg जाने बाटोमा
6.2 svn सँग काम गर्दै
6.3 तपाईलाई पत्र: रिपोर्टरहरू घोषणा गर्न अधिकृत छन्

हामीले गर्यो! बधाई छ

1. किन BuildBot?

पहिले habr-e मा मैले कार्यान्वयन बारे लेखहरू भेट्टाएँ निरन्तर एकता प्रयोग गर्दै BuildBot। जस्तै, यो चाहिँ मलाई यो सबैभन्दा जानकारीपूर्ण लाग्यो। अर्को उदाहरण छ- सरल। यी लेखहरू मौसमी हुन सक्छन् पुस्तिकाबाट उदाहरणर यसलाई त्यस पछि, अंग्रेजीमा। कूपले राम्रो सुरुवात बिन्दु बनाउँछ। यी लेखहरू पढिसकेपछि, तपाईले तुरुन्तै केहि गर्न चाहानुहुन्छ BuildBot गर्न

रोक! के कसैले वास्तवमा आफ्नो परियोजनाहरूमा प्रयोग गरेको छ? यो हो बाहिर जान्छ धेरै आफ्नो कार्यमा लागू गरे। फेला पार्न सकिन्छ उदाहरणहरू प्रयोग गर्नुहोस् BuildBot र गुगल कोड अभिलेखहरूमा।

त्यसोभए मानिसहरूले प्रयोग गर्ने तर्क के हो बिल्डबोट? आखिर, त्यहाँ अन्य उपकरणहरू छन्: क्रूज कन्ट्रोल и जेनकिन्स। म यसरी जवाफ दिनेछु। अधिकांश कार्यहरूको लागि जेनकिन्स र सत्य पर्याप्त हुनेछ। यसको पालोमा, BuildBot - अधिक अनुकूली, जबकि समस्याहरू त्यहाँ सरल रूपमा समाधान गरिन्छ जेनकिन्स। छनोट तपाईको हो। तर जब हामी विकासशील लक्ष्य परियोजनाको लागि उपकरण खोज्दैछौं, अन्तरक्रियाशीलता र एक अद्वितीय इन्टरफेस भएको निर्माण प्रणाली प्राप्त गर्न सरल चरणहरूबाट सुरू गर्न अनुमति दिने एउटा किन छनौट नगर्नुहोस्।

जसको लक्षित परियोजना पाइथनमा लेखिएको छ, प्रश्न उठ्छ: "किन एकीकरण प्रणाली छनोट नगर्ने जुन परियोजनामा ​​प्रयोग गरिएको भाषाको सन्दर्भमा स्पष्ट इन्टरफेस छ?" र अब यो फाइदाहरू प्रस्तुत गर्ने समय हो BuildBot.

त्यसैले, हाम्रो "वाद्य चौकडी"। मेरो लागि, मैले चारवटा विशेषताहरू पहिचान गरेको छु BuildBot:

1. यो GPL लाइसेन्स अन्तर्गत खुला स्रोत फ्रेमवर्क हो
2. यो कन्फिगरेसन उपकरण र आवश्यक कार्यहरूको विवरणको रूपमा पाइथनको प्रयोग हो
3. यो मेसिनबाट प्रतिक्रिया प्राप्त गर्ने अवसर हो जसमा सभा हुन्छ
4. यी हुन्, अन्तमा, होस्टका लागि न्यूनतम आवश्यकताहरू। डिप्लोयमेन्टका लागि पाइथन र ट्विस्टेड चाहिन्छ, र भर्चुअल मेसिन र जाभा मेसिनको आवश्यकता पर्दैन।

2. बिल्डमास्टरको नेतृत्वमा अवधारणा

कार्य वितरण वास्तुकलाको केन्द्रबिन्दु हो बिल्डमास्टर। यो एक सेवा हो जुन:

• ट्रयाक राख्छ परियोजना स्रोत रूख मा परिवर्तन
• पठाउँछ आदेशहरू जुन परियोजना निर्माण गर्न र परीक्षण गर्न कार्यकर्ता सेवाद्वारा कार्यान्वयन गर्नुपर्छ
• सूचित गर्दछ लिइएको कार्यहरूको नतिजा बारे प्रयोगकर्ताहरू

बिल्डमास्टर फाइल मार्फत कन्फिगर गरियो master.cfg। यो फाइल रूटमा छ बिल्डमास्टर। पछि म यो जरा कसरी सिर्जना हुन्छ देखाउनेछु। फाइल आफैं master.cfg कल प्रयोग गर्ने पाइथन स्क्रिप्ट समावेश गर्दछ BuildBot.

अर्को सबैभन्दा महत्त्वपूर्ण वस्तु BuildBot नाम छ कामदार। यो सेवा अर्को होस्टमा फरक OS को साथ सुरू गर्न सकिन्छ, वा जहाँ एकमा बिल्डमास्टर। यो विशेष रूपमा तयार पारिएको भर्चुअल वातावरणमा यसको आफ्नै प्याकेजहरू र चरहरूसँग अवस्थित हुन सक्छ। यी भर्चुअल वातावरणहरू पाइथन उपयोगिताहरू जस्तै प्रयोग गरेर तयार गर्न सकिन्छ virtualenv, venv.

बिल्डमास्टर सबैलाई आदेश प्रसारण गर्दछ कामदार-y, र उसले, बारीमा, तिनीहरूलाई पूरा गर्दछ। त्यो हो, यो बाहिर जान्छ कि एक परियोजना निर्माण र परीक्षण को प्रक्रिया जान सक्छ कामदार- विन्डोज चलाउने र लिनक्स चलाउने अर्को कार्यकर्तामा।

चेकआउट परियोजना स्रोत कोड प्रत्येक मा हुन्छ कामदार-ई।

3. स्थापना

त्यसोभए, जाऔं। म होस्टको रूपमा Ubuntu 18.04 प्रयोग गर्नेछु। म यसमा एउटा राख्छु बिल्डमास्टर- एक र एक कामदार-क। तर पहिले तपाईंले python3.7 स्थापना गर्न आवश्यक छ:

sudo apt-get update
sudo apt-get install python3.7

3.7.2 को सट्टा python3.7.1 चाहिनेहरूको लागि, तपाईंले निम्न गर्न सक्नुहुन्छ:

sudo apt-get update
sudo apt-get software-properties-common
sudo add-apt-repository ppa:deadsnakes/ppa
sudo apt-get install python3.7
sudo ln -fs /usr/bin/python3.7 /usr/bin/python3
pip3 install --upgrade pip

अर्को चरण स्थापना गर्न हो ट्विट गरे и BuildBot, साथै प्याकेजहरू जसले तपाईंलाई थप कार्यक्षमता प्रयोग गर्न अनुमति दिन्छ BuildBot-ए।

/*Все что под sudo будет установленно для всех пользователей в директорию /usr/local/lib/python3.7/dist-packages*/

#На хосте который производит мониторинг Worker-ов 
sudo pip install twisted #Библиотека twisted
sudo pip install buildbot #BuildMaster
#Дополнительный функционал
pip install pysqlite3 #Устанавливаем базу sqllite в учебных целях
pip install jinja2 #framework наподобие django, для web и для почтовых рассыллок
pip install autobahn #Web cокеты для связи BuildMaster->Worker
pip install sqlalchemy sqlalchemy-migrate #Для отображения схемы базы данных
#Для Web отображения BuildBot-a
pip install buildbot-www buildbot-grid-view buildbot-console-view buildbot-waterfall-view
pip install python-dateutil #Отображение дат в web
#На стороне хоста который непосредственно осуществляет сборку и тестирование 
pip install buildbot-worker #Worker
#Дополнительный функционал
sudo pip install virtualenv #Виртуальная среда 

4. पहिलो चरणहरू

सिर्जना गर्ने समय बिल्डमास्टर। यो हाम्रो फोल्डरमा हुनेछ /home/habr/master.

mkdir master
buildbot create-master master # Собственно сдесь и создаем

अर्को पाइला। सिर्जना गरौं कामदार। यो हाम्रो फोल्डरमा हुनेछ /home/habr/worker.

mkdir worker
buildbot-worker create-worker --umask=0o22 --keepalive=60 worker localhost:4000 yourWorkerName password

जब तपाईं दौडनुहुन्छ कामदार, त्यसपछि पूर्वनिर्धारित रूपमा यो सिर्जना हुनेछ /home/habr/worker परियोजना को नाम संग फोल्डर, मा निर्दिष्ट गरिएको छ master.cfg। र प्रोजेक्टको नामको साथ फोल्डरमा यसले डाइरेक्टरी सिर्जना गर्नेछ निर्माण, र यो गर्न जारी रहनेछ चेकआउट। को लागि कार्य निर्देशिका कामदार-र यो डाइरेक्टरी बन्नेछ /home/habr/yourProject/build.

"गोल्डेन कुञ्जी
र अब मैले अघिल्लो अनुच्छेद के लेखेको छु: एउटा स्क्रिप्ट जुन मास्टर बाट माग गर्नेछ कामदार-र यस डाइरेक्टरीमा टाढैबाट गरिएको कार्य कार्यान्वयन हुने छैन किनभने स्क्रिप्टसँग चल्ने अनुमति छैन। स्थिति सच्याउन, तपाईंलाई एउटा कुञ्जी चाहिन्छ --umask=0o22, जसले यस डाइरेक्टरीमा लेख्न निषेध गर्दछ, तर सुरुवात अधिकारहरू राख्नेछ। र यो सबै हामीलाई चाहिन्छ।

बिल्डमास्टर и कामदार एक अर्कासँग सम्बन्ध स्थापित गर्नुहोस्। यस्तो हुन्छ कि यो बन्द हुन्छ र कामदार बाट प्रतिक्रियाको लागि केहि समय पर्खनुहोस् बिल्डमास्टर-ए। यदि कुनै प्रतिक्रिया छैन भने, जडान पुन: सुरु हुन्छ। कुञ्जी --keepalive=60 केवल त्यस पछिको समय संकेत गर्न आवश्यक छ कनेक्टआइपीएस एप रिबुट गर्दछ।

5. कन्फिगरेसन। चरण-दर-चरण नुस्खा

कन्फिगरेसन बिल्डमास्टर मेसिनको छेउमा गरिन्छ जहाँ हामीले आदेश कार्यान्वयन गर्यौं सिर्जना-मास्टर। हाम्रो मामला मा, यो एक निर्देशिका हो /home/habr/master। कन्फिगरेसन फाइल master.cfg अझै अवस्थित छैन, तर आदेश आफैले फाइल सिर्जना गरेको छ master.cmg.sample। तपाईंले यसलाई पुन: नामाकरण गर्न आवश्यक छ master.cfg.sample в master.cfg

mv master.cfg.sample master.cfg

यसलाई खोलौं master.cfg। र यसमा के समावेश छ हेरौं। र त्यस पछि, हाम्रो आफ्नै कन्फिगरेसन फाइल बनाउन प्रयास गरौं।

master.cfg

c['change_source'] = []
c['change_source'].append(changes.GitPoller(
    'git://github.com/buildbot/hello-world.git',
         workdir='gitpoller-workdir', branch='master',
         pollInterval=300))
                        
c['schedulers'] = []
c['schedulers'].append(schedulers.SingleBranchScheduler(
        name="all",
        change_filter=util.ChangeFilter(branch='master'),
        treeStableTimer=None,
        builderNames=["runtests"]))
c['schedulers'].append(schedulers.ForceScheduler(
        name="force",
        builderNames=["runtests"]))
                        
factory = util.BuildFactory()
                        
factory.addStep(steps.Git(repourl='git://github.com/buildbot/hello-world.git', mode='incremental'))
factory.addStep(steps.ShellCommand(command=["trial", "hello"],
                                   env={"PYTHONPATH": "."}))
                        
c['builders'] = []
c['builders'].append(
    util.BuilderConfig(name="runtests",
    workernames=["example-worker"],
    factory=factory))
                         
c['services'] = []
                        
c['title'] = "Hello World CI"
c['titleURL'] = "https://buildbot.github.io/hello-world/"
                        
                        
c['buildbotURL'] = "http://localhost:8010/"
                        
c['www'] = dict(port=8010,
                plugins=dict(waterfall_view={}, console_view={}, grid_view={}))
                        
c['db'] = {
    'db_url' : "sqlite:///state.sqlite",
}

5.1 BuildmasterConfig

c = BuildmasterConfig = {} 

BuildmasterConfig - कन्फिगरेसन फाइलको आधारभूत शब्दकोश। यो कन्फिगरेसन फाइलमा समावेश हुनुपर्छ। प्रयोगको सजिलोको लागि, कन्फिगरेसन कोडमा एक उपनाम प्रस्तुत गरिएको छ "ग"। शीर्षकहरू कुञ्जीहरू в c["keyFromDist"] अन्तरक्रियाका लागि निश्चित तत्वहरू हुन् बिल्डमास्टर। प्रत्येक कुञ्जीको लागि, सम्बन्धित वस्तुलाई मानको रूपमा प्रतिस्थापन गरिएको छ।

5.2 कर्मचारीहरू

c['workers'] = [worker.Worker("example-worker", "pass")]

यस पटक हामी संकेत गर्छौं बिल्डमास्टर-y को ​​सूची कामदार-s। म आफै कामदार हामीले सिर्जना गर्यौं उच्च, संकेत गर्दै तपाईं-कामदार-नाम и पासवर्ड। अब तिनीहरूको सट्टा निर्दिष्ट गर्न आवश्यक छ उदाहरण - कार्यकर्ता и पारित .

5.3 परिवर्तन_स्रोत

c['change_source'] = []
c['change_source'].append(changes.GitPoller(
                            'git://github.com/buildbot/hello-world.git',
                             workdir='gitpoller-workdir', branch='master',
                             pollInterval=300))                

कुञ्जी द्वारा परिवर्तन_स्रोत शब्दकोश c हामी सूचीमा पहुँच प्राप्त गर्छौं जहाँ हामी परियोजनाको स्रोत कोडको साथ भण्डारमा मतदान गर्ने वस्तु राख्न चाहन्छौं। उदाहरणले Git भण्डार प्रयोग गर्दछ जुन निश्चित अन्तरालहरूमा पोल गरिन्छ।

पहिलो तर्क तपाईको भण्डारको बाटो हो।

workdir छेउमा भएको फोल्डरको बाटो प्रतिनिधित्व गर्दछ कामदार- बाटो को सापेक्ष /home/habr/worker/yourProject/build git भण्डारको स्थानीय संस्करण भण्डारण गर्नेछ।

साखा भण्डारमा एक विशेष शाखा समावेश गर्दछ जुन अनुसरण गर्नुपर्छ।

pollInterval पछि सेकेन्ड को संख्या समावेश गर्दछ बिल्डमास्टर परिवर्तनहरूको लागि भण्डार पोल गर्नेछ।

परियोजनाको भण्डारमा परिवर्तनहरू ट्र्याक गर्न धेरै तरिकाहरू छन्।

सबैभन्दा सरल तरिका हो मतदान, जसको अर्थ हुन्छ बिल्डमास्टर आवधिक रूपमा भण्डार संग सर्भर मतदान गर्दछ। यदि प्रतिबद्ध रिपोजिटरी मा परिवर्तन प्रतिबिम्बित, त्यसपछि बिल्डमास्टर केहि ढिलाइ संग एक आन्तरिक वस्तु सिर्जना गर्नेछ परिवर्तन र घटना ह्यान्डलरलाई पठाउनुहोस् अनुसूची, जसले परियोजना निर्माण र परीक्षण गर्न चरणहरू सुरू गर्नेछ कामदार-ई। यी चरणहरू बीच संकेत गरिनेछ अद्यावधिक भण्डार। ठ्याक्कै मा कामदारयसले भण्डारको स्थानीय प्रतिलिपि सिर्जना गर्नेछ। यस प्रक्रियाको विवरण तल अर्को दुई खण्डहरूमा समेटिनेछ। (5.4 и 5.5).

रिपोजिटरीमा परिवर्तनहरू ट्र्याक गर्ने अझ राम्रो तरिका भनेको सर्भरबाट सीधा सन्देशहरू पठाउनु हो। बिल्डमास्टर- परियोजना स्रोत कोड परिवर्तन बारे। यस अवस्थामा, विकासकर्ताले बनाइने बित्तिकै प्रतिबद्ध, परियोजना भण्डार भएको सर्भरले सन्देश पठाउनेछ बिल्डमास्टर-y। र उसले, बारीमा, वस्तु सिर्जना गरेर यसलाई अवरोध गर्नेछ PBCchange स्रोत। अर्को, यो वस्तु हस्तान्तरण गरिनेछ अनुसूची, जसले परियोजना निर्माण र परीक्षण गर्न चरणहरू सक्रिय गर्दछ। यो विधि को एक महत्वपूर्ण भाग संग काम छ हुक- भण्डारमा सर्भर स्क्रिप्टहरू। स्क्रिप्टमा हुक-ए, प्रशोधन कार्यहरूको लागि जिम्मेवार जब प्रतिबद्ध-ई, तपाईंले उपयोगिता कल गर्न आवश्यक छ पठाउने परिवर्तन र नेटवर्क ठेगाना निर्दिष्ट गर्नुहोस् बिल्डमास्टर-ए। तपाईंले सुन्न सक्ने नेटवर्क पोर्ट पनि निर्दिष्ट गर्न आवश्यक छ PBCchange स्रोत. PBCchange स्रोत, वैसे, भाग हो बिल्डमास्टर-ए। यो विधिलाई अनुमति चाहिन्छ .-ए सर्भरमा जहाँ परियोजना भण्डार अवस्थित छ। तपाईंले पहिले भण्डारको जगेडा बनाउन आवश्यक हुनेछ।

5.4 अनुसूचकहरू

c['schedulers'] = []
c['schedulers'].append(schedulers.SingleBranchScheduler(
        name="all",
        change_filter=util.ChangeFilter(branch='master'),
        treeStableTimer=None,
        builderNames=["runtests"]))
c['schedulers'].append(schedulers.ForceScheduler(
        name="force",
        builderNames=["runtests"]))

अनुसूचकहरू - यो एक तत्व हो जसले ट्रिगरको रूपमा कार्य गर्दछ जसले परियोजनाको विधानसभा र परीक्षणको सम्पूर्ण श्रृंखला सुरु गर्दछ।


ती परिवर्तनहरू रेकर्ड गरिएका थिए परिवर्तन_स्रोत, काम को प्रक्रिया मा रूपान्तरण BuildBot- एक आपत्ति परिवर्तन र अब हरेक शेड्युलर तिनीहरूको आधारमा, यसले परियोजना निर्माण प्रक्रिया सुरु गर्न अनुरोधहरू बनाउँछ। यद्यपि, यसले यो पनि निर्धारण गर्दछ कि कहिले यी अनुरोधहरू लाममा थप हस्तान्तरण हुन्छन्। एउटा वस्तु निर्माता अनुरोधहरूको लाम भण्डार गर्दछ र हालको विधानसभाको अवस्थालाई छुट्टै मा ट्र्याक गर्दछ कामदार-ई। निर्माता मा अवस्थित छ बिल्डमास्टर- e र on कामदार-ई। साथ पठाउँछन् बिल्डमास्टर- एक मा कामदार- र पहिले नै विशिष्ट निर्माण - पछ्याउनु पर्ने चरणहरूको श्रृंखला।
अहिलेको उदाहरणमा हामीले देखेका छौं अनुसूचकहरू 2 टुक्राहरू सिर्जना गरिएका छन्। यसबाहेक, प्रत्येकको आफ्नै प्रकार छ।

एकल शाखा तालिका - तालिकामा सबैभन्दा लोकप्रिय कक्षाहरू मध्ये एक। यसले एउटा शाखा हेर्छ र यसमा रेकर्ड गरिएको परिवर्तनद्वारा ट्रिगर हुन्छ। जब उसले परिवर्तनहरू देख्छ, उसले निर्माण अनुरोध पठाउन ढिलाइ गर्न सक्छ (विशेष प्यारामिटरमा निर्दिष्ट अवधिको लागि स्थगित गर्नुहोस्। ट्रीस्टेबल टाइमर)। IN नाम मा प्रदर्शित हुने तालिकाको नाम सेट गर्दछ BuildBot- वेब इन्टरफेस। IN फिल्टर परिवर्तन गर्नुहोस् एक फिल्टर सेट गरिएको छ, पास गरेपछि शाखामा कुन परिवर्तनहरू निर्माणको लागि अनुरोध पठाउन तालिकालाई प्रोम्प्ट गर्दछ। IN निर्माणकर्ता नामहरू नाम उल्लेख गरिएको छ निर्माता-a, जुन हामी केहि पछि सेट गर्नेछौं। हाम्रो मामला मा नाम परियोजना नाम जस्तै हुनेछ: तपाईंको परियोजना.

फोर्स शेड्युलर धेरै साधारण कुरा। यस प्रकारको तालिका माउस क्लिक थ्रु द्वारा ट्रिगर गरिएको छ BuildBot- वेब इन्टरफेस। मापदण्डहरू मा जस्तै सार छ एकल शाखा तालिका.

PS नम्बर 3। सायद यो काममा आउनेछ
आवधिक एक निश्चित समय-निर्धारित आवृत्तिमा चल्ने तालिका हो। कल केहि यस्तो देखिन्छ

from buildbot.plugins import schedulers
nightly = schedulers.Periodic(name="daily",
                              builderNames=["full-solaris"],
                              periodicBuildTimer=24*60*60)
c['schedulers'] = [nightly]                    

5.5 निर्माण कारखाना

factory = util.BuildFactory()
                        
factory.addStep(steps.Git(repourl='git://github.com/buildbot/hello-world.git', mode='incremental'))
factory.addStep(steps.ShellCommand(command=["trial", "hello"],
                                   env={"PYTHONPATH": "."}))

आवधिक निर्माण टाइमर सेकेन्डमा यो आवधिकताको समय निर्दिष्ट गर्दछ।

निर्माण कारखाना एक विशिष्ट सिर्जना गर्दछ निर्माण, त्यसपछि निर्माता मा पठाउँछ कामदार। को निर्माण कारखाना पछ्याउने चरणहरू संकेत गर्दछ कामदार-y। विधि कल गरेर चरणहरू थपिएका छन् addStep

यस उदाहरणमा पहिलो थपिएको चरण हो git क्लीन -d -f -f -xत्यसो भए git चेकआउट। यी कार्यहरू प्यारामिटरमा समावेश छन् विधि, जुन स्पष्ट रूपमा भनिएको छैन तर पूर्वनिर्धारित मानलाई संकेत गर्दछ ताजा... प्यारामिटर मोड = 'बृद्धिशील' संकेत गर्दछ कि फाइलहरू डाइरेक्टरीबाट हो जहाँ चेकआउट, भण्डारबाट हराइरहेको बेला, अछुतो रहनुहोस्।

दोस्रो थपिएको चरण लिपि कल गर्दैछ परीक्षण प्यारामिटर संग नमस्ते छेउमा कामदार- निर्देशिका बाट /home/habr/worker/yourProject/build परिवेश चर PATHONPATH=... यसरी, तपाईंले आफ्नै लिपिहरू लेख्न सक्नुहुन्छ र तिनीहरूलाई छेउमा कार्यान्वयन गर्न सक्नुहुन्छ। कामदार- हरेक कदम util.ShellCommand। यी स्क्रिप्टहरू सिधै भण्डारमा राख्न सकिन्छ। त्यसपछि मा चेकआउट-ई तिनीहरू मा पर्नेछ /home/habr/worker/yourProject/build। यद्यपि, त्यसपछि त्यहाँ दुई "तर" छन्:

1. कामदार एक कुञ्जी संग सिर्जना गर्नुपर्छ --उमास्क ताकि यसले कार्यान्वयन अधिकारहरू पछि रोक्दैन चेकआउट-ए।
2. मा git धक्का-ई यी लिपिहरू मध्ये तपाईंले गुण निर्दिष्ट गर्न आवश्यक छ कार्यान्वयनयोग्यत्यसैले पछि चेकआउट-e ले Git स्क्रिप्ट कार्यान्वयन गर्ने अधिकार गुमाएको छैन।

5.6 निर्माणकर्ताहरू

c['builders'] = []
c['builders'].append(util.BuilderConfig(name="runtests",
                                        workernames=["example-worker"],
                                        factory=factory))

के हो भन्ने बारे निर्माता भनिएको थियो यहाँ। अब म यसलाई कसरी बनाउने बारे थप विवरणमा बताउनेछु। BuilderConfig एक कन्स्ट्रक्टर हो निर्माता। त्यस्ता डिजाइनरहरू मा c['निर्माणकर्ता'] तपाईले धेरै निर्दिष्ट गर्न सक्नुहुन्छ, किनकि यो वस्तुहरूको पाना हो निर्माता प्रकार। अब बाट उदाहरण पुन: लेखौं BuildBot, यसलाई हाम्रो कार्यको नजिक ल्याउँदै।

c['builders'] = []
c['builders'].append(util.BuilderConfig(name="yourProject",
                                            workernames=["yourWorkerName"],
                                            factory=factory))

अब म तपाईंलाई प्यारामिटरहरूको बारेमा बताउनेछु BuilderConfig.

नाम नाम निर्दिष्ट गर्दछ निर्माता-क। यहाँ हामीले यसलाई नाम दिएका छौं तपाईंको परियोजना... यसको मतलब यो हो कामदार- यो बाटो बनाइनेछ /home/habr/worker/yourProject/build. शेड्युलर खोज्दै निर्माता केवल यो नाम द्वारा।

कामदारको नाम पाना समावेश गर्दछ कामदार-s। जसमध्ये प्रत्येकमा थपिनुपर्छ ग['कामदार'].

कारखाना - विशिष्ट निर्माण, जससँग यो सम्बन्धित छ निर्माता। उसले वस्तु पठाउनेछ निर्माण मा कामदार यसमा समावेश सबै चरणहरू पूरा गर्न निर्माण-ए।

6. तपाईंको आफ्नै कन्फिगरेसनको उदाहरण

यहाँ परियोजना वास्तुकलाको उदाहरण हो जुन मैले मार्फत कार्यान्वयन गर्न प्रस्ताव गरेको छु BuildBot
.

हामी संस्करण नियन्त्रण प्रणालीको रूपमा प्रयोग गर्नेछौं svn। भण्डार आफै क्लाउड को एक प्रकार मा स्थित हुनेछ। यो क्लाउड को ठेगाना छ svn.host/svn/yourProject/trunk। बादल मुनिमा svn त्यहाँ एक खाता प्रयोगकर्ता नाम छ: प्रयोगकर्ता, passwd: पासवर्ड। चरणहरू प्रतिनिधित्व गर्ने लिपिहरू निर्माण-ए पनि शाखामा हुनेछ svn, छुट्टै फोल्डरमा buildbot/worker_linux। यी स्क्रिप्टहरू भण्डारणमा सुरक्षित गरिएका गुणहरूसँग अवस्थित छन् कार्यान्वयन योग्य.

बिल्डमास्टर и कामदार एउटै होस्टमा चलाउनुहोस् परियोजना होस्ट .बिल्डमास्टर फोल्डरमा यसको फाइलहरू भण्डारण गर्दछ /home/habr/master. कामदार यसलाई निम्न मार्गमा भण्डार गरिएको छ /home/habr/worker। प्रक्रिया संचार बिल्डमास्टर-ए र कामदार-ए प्रोटोकल अनुसार पोर्ट 4000 मार्फत गरिन्छ BuildBot-ए, त्यो हो 'pb' प्रोटोकल।

लक्ष्य परियोजना पूर्णतया पाइथनमा लेखिएको छ। कार्य भनेको यसको परिवर्तनहरू ट्र्याक गर्नु, कार्यान्वयनयोग्य फाइल सिर्जना गर्नु, कागजातहरू उत्पन्न गर्नु, र परीक्षण सञ्चालन गर्नु हो। असफलताको अवस्थामा, सबै विकासकर्ताहरूले ईमेल मार्फत सन्देश पठाउन आवश्यक छ कि त्यहाँ असफल कार्य हो।

वेब प्रदर्शन BuildBot हामी पोर्ट 80 मा जडान गर्नेछौं परियोजना होस्ट। Apatch स्थापना गर्न आवश्यक छैन। पुस्तकालय को एक भाग को रूप मा मुड त्यहाँ पहिले नै वेब सर्भर छ, BuildBot यसलाई प्रयोग गर्दछ।

को लागि आन्तरिक जानकारी भण्डारण गर्न BuildBot использовать использовать sqlite.

मेलिङका लागि होस्ट चाहिन्छ smtp.your.domain - यसले मेलबाट पत्रहरू पठाउन अनुमति दिन्छ [ईमेल सुरक्षित] प्रमाणीकरण बिना। होस्टमा पनि'एसएमटीपी ' मिनेट पोस्ट 1025 मा सुनुवाइ भइरहेको छ।

त्यहाँ दुई व्यक्तिहरू प्रक्रियामा संलग्न छन्: . и प्रयोगकर्ता। प्रशासक प्रशासक BuildBot। प्रयोगकर्ता प्रतिबद्ध व्यक्ति हो प्रतिबद्ध-s।

कार्यान्वयनयोग्य फाइल मार्फत उत्पन्न हुन्छ पाइइन्स्टलर। कागजात मार्फत उत्पन्न हुन्छ डक्सिजन.

यस वास्तुकलाको लागि मैले यो लेखे: master.cfg:

master.cfg

import os, re
from buildbot.plugins import steps, util, schedulers, worker, changes, reporters

c= BuildmasterConfig ={}

c['workers'] = [ worker.Worker('yourWorkerName', 'password') ]
c['protocols'] = {'pb': {'port': 4000}} 


svn_poller = changes.SVNPoller(repourl="https://svn.host/svn/yourProject/trunk",
                                svnuser="user",
                                svnpasswd="password",
                                pollinterval=60,
				split_file=util.svn.split_file_alwaystrunk
                                )

c['change_source'] =  svn_poller

hourlyscheduler = schedulers.SingleBranchScheduler(
                                name="your-project-schedulers",
				change_filter=util.ChangeFilter(branch=None),
                                builderNames=["yourProject"],
				properties = {'owner': 'admin'}
                                )

c['schedulers'] = [hourlyscheduler]

checkout = steps.SVN(repourl='https://svn.host/svn/yourProject/trunk',
                        mode='full',
                        method='fresh',
                        username="user",
                        password="password",
                        haltOnFailure=True)

	
projectHost_build = util.BuildFactory()  


cleanProject = steps.ShellCommand(name="Clean",
                 command=["buildbot/worker_linux/pyinstaller_project", "clean"]
                                )
buildProject = steps.ShellCommand(name="Build",
                 command=["buildbot/worker_linux/pyinstaller_project", "build"]
                                )
doxyProject = steps.ShellCommand(name="Update Docs",
                                command=["buildbot/worker_linux/gendoc", []]
                                )
testProject = steps.ShellCommand(name="Tests",
                                command=["python","tests/utest.py"],
                                env={'PYTHONPATH': '.'}
                                )

projectHost_build.addStep(checkout)
projectHost_build.addStep(cleanProject)
projectHost_build.addStep(buildProject)
projectHost_build.addStep(doxyProject)
projectHost_build.addStep(testProject)


c['builders'] = [
        util.BuilderConfig(name="yourProject", workername='yourWorkerName', factory=projectHost_build)
]


template_html=u'''
<h4>Статус построенного релиза: {{ summary }}</h4>
<p>Используемый сервис для постраения: {{ workername }}</p>
<p>Проект: {{ projects }}</p>
<p>Для того что бы посмотреть интерфейс управления пройдите по ссылке: {{ buildbot_url }}</p>
<p>Для того что бы посмотреть результат сборки пройдите по ссылке: {{ build_url }}</p>
<p>Используя WinSCP можно подключиться к серверу c ip:xxx.xx.xxx.xx. Войдя под habr/password, забрать собранный executable файл с директории ~/worker/yourProject/build/dist.</p>
<p><b>Построение было произведено через Buildbot</b></p>
'''

sendMessageToAll = reporters.MailNotifier(fromaddr="[email protected]",
					sendToInterestedUsers=True,
					lookup="your.domain",
					relayhost="smtp.your.domain",
					smtpPort=1025,
					mode="warnings",
					extraRecipients=['[email protected]'],
              messageFormatter=reporters.MessageFormatter(
						template=template_html,
						template_type='html',
						wantProperties=True, 
                                                wantSteps=True)
					)
c['services'] = [sendMessageToAll]

c['title'] = "The process of bulding"
c['titleURL'] = "http://project.host:80/"

c['buildbotURL'] = "http://project.host"

c['www'] = dict(port=80,
                plugins=dict(waterfall_view={}, console_view={}, grid_view={}))


c['db'] = {
    'db_url' : "sqlite:///state.sqlite"
}

पहिले तपाइँलाई चाहिन्छ सिर्जना गर्नुहोस् बिल्डमास्टर-ए र कामदार-क। त्यसपछि यो फाइल टाँस्नुहोस् master.cfg в /home/habr/master.

अर्को चरण सेवा सुरु गर्न हो बिल्डमास्टरa

sudo buildbot start /home/habr/master

त्यसपछि सेवा सुरु गर्नुहोस् कामदार-a

buildbot-worker start /home/habr/worker

तयार! अब बिल्डबोट परिवर्तनहरू ट्र्याक गर्नेछ र ट्रिगर गर्नेछ प्रतिबद्ध- y मा svn, माथिको वास्तुकलाको साथ एक परियोजना निर्माण र परीक्षणको चरणहरू प्रदर्शन गर्दै।

तल म माथिका केही विशेषताहरू वर्णन गर्नेछु master.cfg।

6.1 तपाईंको master.cfg जाने बाटोमा

लेख्दा मेरो master.cfg धेरै त्रुटिहरू बनाइनेछन्, त्यसैले लग फाइल पढ्न आवश्यक हुनेछ। को रूपमा भण्डार गरिएको छ बिल्डमास्टर-ईसी निरपेक्ष मार्ग /home/habr/master/twistd.log, र छेउमा कामदार- निरपेक्ष मार्ग संग /home/habr/worker/twistd.log। तपाईंले त्रुटि पढ्नुभयो र यसलाई ठीक गर्नुभयो, तपाईंले सेवा पुन: सुरु गर्न आवश्यक हुनेछ बिल्डमास्टर-ए। यहाँ यो कसरी गरिन्छ:

sudo buildbot stop /home/habr/master
sudo buildbot upgrade-master /home/habr/master
sudo buildbot start /home/habr/master

6.2 svn सँग काम गर्दै

svn_poller = changes.SVNPoller(repourl="https://svn.host/svn/yourProject/trunk",
                               svnuser="user",
                               svnpasswd="password",
                               pollinterval=60,
                               split_file=util.svn.split_file_alwaystrunk
                        )

c['change_source'] =  svn_poller

hourlyscheduler = schedulers.SingleBranchScheduler(
                            name="your-project-schedulers",
                            change_filter=util.ChangeFilter(branch=None),
                            builderNames=["yourProject"],
                            properties = {'owner': 'admin'}
                        )

c['schedulers'] = [hourlyscheduler]

checkout = steps.SVN(repourl='https://svn.host/svn/yourProject/trunk',
                     mode='full',
                     method='fresh',
                     username="user",
                     password="password",
                     haltOnFailure=True)

पहिले, एक नजर हेरौं svn_poller। यो अझै पनि उही इन्टरफेस छ, नियमित रूपमा एक मिनेट एक पटक भण्डार मतदान। यस मामला मा svn_poller मात्र शाखा पहुँच ट्रंक। रहस्यमय प्यारामिटर split_file=util.svn.split_file_alwaystruk नियमहरू सेट गर्दछ: कसरी फोल्डर संरचना तोड्ने svn शाखाहरूमा। उहाँले तिनीहरूलाई सापेक्ष मार्गहरू पनि प्रदान गर्नुहुन्छ। यसको पालो मा split_file_alwaystruunk भण्डारमा मात्र समावेश छ भनी प्रक्रियालाई सरल बनाउँछ ट्रंक.

В अनुसूचक संकेत फिल्टर परिवर्तन गर्नुहोस्जसले देख्छ कुनै पनि र यसको साथ एक शाखा सम्बद्ध ट्रंक मार्फत दिइएको संघ अनुसार split_file_alwaystruunk। मा परिवर्तनहरूको प्रतिक्रिया दिँदै ट्रंक, सुरु हुन्छ निर्माता नाम संग तपाईंको परियोजना.

गुण यहाँ यो आवश्यक छ कि प्रशासकले प्रक्रियाको मालिकको रूपमा निर्माण र परीक्षण परिणामहरूको मेलिङ सूचीहरू प्राप्त गर्दछ।

चरण निर्माण-a चेकआउट भण्डारको स्थानीय संस्करणमा अवस्थित कुनै पनि फाइलहरू पूर्ण रूपमा मेटाउन सक्षम कामदार-ए। र त्यसपछि पूरा गर्नुहोस् svn अपडेट। मोड प्यारामिटर मार्फत कन्फिगर गरिएको छ मोड = पूर्ण, विधि = ताजा... प्यारामिटर haltOnTailure भन्छ कि यदि svn अपडेट त्रुटिको साथ कार्यान्वयन गरिनेछ, त्यसपछि निर्माण र परीक्षणको सम्पूर्ण प्रक्रिया निलम्बित हुनुपर्छ, किनकि थप कार्यहरूको अर्थ छैन।

6.3 तपाईलाई पत्र: रिपोर्टरहरू घोषणा गर्न अधिकृत छन्

संवाददाता इमेल मार्फत सूचनाहरू पठाउने सेवा हो।

template_html=u'''
<h4>Статус построенного релиза: {{ summary }}</h4>
<p>Используемый сервис для постраения: {{ workername }}</p>
<p>Проект: {{ projects }}</p>
<p>Для того что бы посмотреть интерфейс управления пройдите по ссылке: {{ buildbot_url }}</p>
<p>Для того что бы посмотреть результат сборки пройдите по ссылке: {{ build_url }}</p>
<p>Используя WinSCP можно подключиться к серверу c ip:xxx.xx.xxx.xx. Войдя под habr/password, забрать собранный executable файл с директории ~/worker/yourProject/build/dist.</p>
<p><b>Построение было произведено через Buildbot</b></p>
'''
                        
sendMessageToAll = reporters.MailNotifier(fromaddr="[email protected]",
                                          sendToInterestedUsers=True,
                                          lookup="your.domain",
                                          relayhost="smtp.your.domain",
                                          smtpPort=1025,
                                          mode="warnings",
                                          extraRecipients=['[email protected]'],
                                    messageFormatter=reporters.MessageFormatter(
                                                    template=template_html,
                                                    template_type='html',
                                                    wantProperties=True, 
                                                    wantSteps=True)
                                        )
c['services'] = [sendMessageToAll]

उसले सन्देश पठाउन सक्छ विभिन्न तरिकाहरू.

मेल नोटिफायर सूचनाहरू पठाउन इमेल प्रयोग गर्दछ।

टेम्प्लेट_html न्यूजलेटरको लागि पाठ टेम्प्लेट सेट गर्दछ। HTML मार्कअप सिर्जना गर्न प्रयोग गरिन्छ। यो इन्जिन द्वारा परिमार्जन गरिएको छ jinja2 (सँग तुलना गर्न सकिन्छ Django). BuildBot चरहरूको सेट छ जसको मानहरू सन्देश पाठ उत्पन्न गर्ने प्रक्रियाको क्रममा टेम्प्लेटमा प्रतिस्थापित हुन्छन्। यी चरहरू {{ डबल कर्ली ब्रेसेस }} मा बन्द छन्। उदाहरणका लागि, सारांश पूरा सञ्चालनको स्थिति देखाउँछ, त्यो हो, सफलता वा विफलता। ए परियोजनाहरू आउटपुट गर्नेछ तपाईंको परियोजना। त्यसोभए, नियन्त्रण आदेशहरू प्रयोग गरेर jinja2, चर BuildBot-a र पाइथन स्ट्रिङ ढाँचा उपकरण, तपाईं एक धेरै जानकारीपूर्ण सन्देश सिर्जना गर्न सक्नुहुन्छ।

मेल नोटिफायर निम्न तर्कहरू समावेश छन्।

थपबाट - ठेगाना जहाँबाट सबैले न्यूजलेटर प्राप्त गर्नेछन्।

इच्छुक प्रयोगकर्ताहरूलाई पठाउनुहोस्=True ले मालिक र प्रयोगकर्तालाई सन्देश पठाउँछ जसले बनाएको हो प्रतिबद्ध.

माथि हेर — समाचारपत्र प्राप्त गर्ने प्रयोगकर्ताहरूको नाममा जोडिएको प्रत्यय। त्यसैले . कसरी प्रयोगकर्ताले ठेगानामा न्यूजलेटर प्राप्त गर्नेछ [ईमेल सुरक्षित].

रिलेहोस्ट सर्भर खोलिएको होस्टनाम निर्दिष्ट गर्दछ एसएमटीपीएक smptPort सुन्ने पोर्ट नम्बर निर्दिष्ट गर्दछ एसएमटीपी сервер।

मोड="चेतावनी" कम्तिमा एक पाइला भएमा मात्र पत्राचार गर्नुपर्ने बताउँछन् निर्माण-a, जुन स्थिति असफलता वा चेतावनी संग समाप्त भयो। सफलता को मामला मा, एक न्यूजलेटर पठाउन आवश्यक छैन।

अतिरिक्त प्राप्तकर्ताहरू मालिक र व्यक्ति बाहेक जसलाई पत्राचार पठाइनु पर्छ व्यक्तिहरूको सूची समावेश गर्दछ। प्रतिबद्ध.

सन्देश ढाँचा सन्देश ढाँचा, यसको टेम्प्लेट, र उपलब्ध चरहरूको सेट निर्दिष्ट गर्ने वस्तु हो। jinja2। विकल्पहरू जस्तै wantProperties=सत्य и wantSteps=True उपलब्ध चरहरूको यो सेट परिभाषित गर्नुहोस्।

['सेवाहरू']=[sendMessageToAll] सँग सेवाहरूको सूची प्रदान गर्दछ, जसमध्ये हाम्रो हुनेछ रिपोर्टर.

हामीले गर्यो! बधाई छ

हामीले हाम्रो आफ्नै कन्फिगरेसन सिर्जना गर्यौं र कार्यक्षमता देख्यौं जुन यो सक्षम छ। BuildBot। यो, मलाई लाग्छ, यो उपकरण आफ्नो परियोजना सिर्जना गर्न आवश्यक छ कि भनेर बुझ्न पर्याप्त छ। के तपाइँ उहाँमा रुचि राख्नुहुन्छ? के यो तपाईलाई उपयोगी हुनेछ? के उहाँसँग काम गर्न सहज छ? तब म यो लेख व्यर्थमा लेखिरहेको छैन।

र थप। म व्यावसायिक समुदाय प्रयोग गर्न चाहन्छु BuildBot, फराकिलो भयो, म्यानुअलहरू अनुवाद गरियो, र त्यहाँ अझ धेरै उदाहरणहरू थिए।

ध्यान दिनुभएकोमा सबैलाई धन्यवाद। भाग्यले साथ दिओस्।

स्रोत: www.habr.com