Fitowar labari wanda ya shafi komai

Makiya Gaskiya da 12f-2

A ƙarshen Afrilu, yayin da White Walkers ke kewaye da Winterfell, wani abu mai ban sha'awa ya faru da mu; mun yi wani sabon salo. A ka'ida, koyaushe muna fitar da sabbin abubuwa cikin samarwa (kamar kowa). Amma wannan ya bambanta. Girman sa ya kasance irin wannan kuskuren kuskure da za mu iya yi zai shafi duk ayyukanmu da masu amfani da mu. A sakamakon haka, mun fitar da komai bisa ga shirin, a cikin lokacin da aka tsara da kuma sanar da lokacin raguwa, ba tare da sakamakon tallace-tallace ba. Labarin yana game da yadda muka cimma wannan da kuma yadda kowa zai iya maimaita shi a gida.

Yanzu ba zan kwatanta yanke shawara na gine-gine da fasaha da muka yi ba ko in faɗi yadda duk yake aiki. Waɗannan su ne bayanin kula a gefe game da yadda ɗayan mafi wahala ya faru, wanda na lura kuma na shiga kai tsaye. Ba na da'awar cikawa ko cikakkun bayanai na fasaha; watakila za su bayyana a wani labarin.

Fage + wane irin aiki ne wannan?

Muna gina dandalin girgije Mail.ru Cloud Solutions (MCS), inda nake aiki a matsayin daraktan fasaha. Kuma yanzu lokaci ya yi da za a ƙara IAM (Identity and Access Management) zuwa dandalinmu, wanda ke ba da haɗin kai na duk asusun mai amfani, masu amfani, kalmomin shiga, matsayi, ayyuka da ƙari. Me yasa ake buƙatar shi a cikin gajimare wata tambaya ce bayyananne: duk bayanan mai amfani ana adana shi a ciki.

Yawancin lokaci ana fara gina irin waɗannan abubuwa a farkon kowane aiki. Amma a tarihi abubuwa sun ɗan bambanta a MCS. An gina MCS a sassa biyu:

• Opentack tare da nasa tsarin izini na Keystone,
• Hotbox (S3 ajiya) dangane da aikin Mail.ru Cloud,

a kusa da wanda sabbin ayyuka suka bayyana.

Ainihin, waɗannan nau'ikan izini biyu ne daban-daban. Bugu da ƙari, mun yi amfani da wasu ci gaba na Mail.ru daban-daban, alal misali, ajiyar kalmar sirri na Mail.ru na gaba ɗaya, da kuma mai haɗawa mai buɗewa wanda aka rubuta, godiya ga wanda aka ba da SSO (izni na ƙarshe zuwa ƙarshe) a cikin Horizon panel. na injunan kama-da-wane (na asali OpenStack UI).

Yin IAM a gare mu yana nufin haɗa shi duka zuwa tsarin guda ɗaya, gaba ɗaya namu. Har ila yau, ba za mu rasa wani aiki a kan hanya ba, amma za mu haifar da tushe na gaba wanda zai ba mu damar tsaftace shi a fili ba tare da sake fasalin ba da kuma daidaita shi ta fuskar aiki. Har ila yau, a farkon, masu amfani suna da abin koyi don samun damar yin amfani da ayyuka (RBAC ta tsakiya, ikon samun damar tushen rawar) da wasu ƙananan abubuwa.

Aikin ya zama mara hankali: python da perl, da yawa na baya, sabis na rubuce-rubuce masu zaman kansu, ƙungiyoyin ci gaba da yawa da admins. Kuma mafi mahimmanci, akwai dubban masu amfani da rai akan tsarin samar da yaki. Duk waɗannan dole ne a rubuta su kuma, mafi mahimmanci, an fitar da su ba tare da asarar rayuka ba.

Me za mu fitar?

Don sanya shi sosai, a cikin kimanin watanni 4 mun shirya abubuwa masu zuwa:

• Mun ƙirƙiri sabbin daemon da yawa waɗanda suka haɗa ayyukan da a baya suka yi aiki a sassa daban-daban na abubuwan more rayuwa. Sauran ayyukan an wajabta sabon baya a cikin sigar waɗannan aljanu.
• Mun rubuta namu tsakiyar ma'ajiyar kalmomin shiga da maɓallai, akwai don duk ayyukanmu, waɗanda za a iya gyara su kyauta kamar yadda muke buƙata.
• Mun rubuta sababbin bayanan baya guda 4 don Keystone daga karce (masu amfani, ayyuka, matsayi, ayyukan rawar), wanda, a zahiri, ya maye gurbin bayanan sa, kuma yanzu yana aiki azaman ma'aji guda ɗaya don kalmomin shiga na mai amfani.
• Mun koya wa duk ayyukan Opentack ɗin mu zuwa sabis na manufofin ɓangare na uku don manufofinsu maimakon karanta waɗannan manufofin gida daga kowace sabar (eh, haka Opentack ke aiki ta tsohuwa!)

Irin wannan babban sake yin aiki yana buƙatar babba, hadaddun kuma, mafi mahimmanci, sauye-sauye na aiki tare a yawancin tsarin da ƙungiyoyin ci gaba daban-daban suka rubuta. Da zarar an taru, gabaɗayan tsarin yakamata yayi aiki.

Yadda za a fitar da irin waɗannan canje-canje kuma ba zazzage shi ba? Da farko mun yanke shawarar duba kadan a nan gaba.

Dabarun ƙaddamarwa

• Zai yiwu a mirgine samfurin a matakai da yawa, amma wannan zai ƙara lokacin haɓakawa sau uku. Bugu da ƙari, na ɗan lokaci za mu sami cikakkiyar ɓarna bayanai a cikin ma'ajin bayanai. Dole ne ku rubuta kayan aikin daidaitawa naku kuma ku zauna tare da ma'ajin bayanai da yawa na dogon lokaci. Kuma wannan yana haifar da haɗari iri-iri.
• Duk abin da za a iya shirya a bayyane ga mai amfani an yi shi a gaba. Ya ɗauki watanni 2.
• Mun ƙyale kanmu lokaci na tsawon sa'o'i da yawa - kawai don ayyukan mai amfani don ƙirƙira da canza albarkatu.
• Don aiwatar da duk albarkatun da aka riga aka ƙirƙira, ba a yarda da lokacin hutu ba. Mun shirya cewa yayin ƙaddamarwa, albarkatun yakamata suyi aiki ba tare da bata lokaci ba kuma suyi tasiri ga abokan ciniki.
• Don rage tasirin abokan cinikinmu idan wani abu ya ɓace, mun yanke shawarar ƙaddamar da ranar Lahadi da yamma. Ƙananan abokan ciniki suna sarrafa injunan kama-da-wane da dare.
• Mun gargadi duk abokan cinikinmu cewa a cikin lokacin da aka zaɓa don ƙaddamarwa, ba za a sami gudanar da sabis ba.

Digression: menene shirin?

<tsanaki, falsafa>

Kowane ƙwararren IT yana iya amsawa cikin sauƙi abin da ake nufi. Kuna shigar da CI/CD, kuma ana isar da komai ta atomatik zuwa shagon. 🙂

Tabbas wannan gaskiya ne. Amma wahalar ita ce tare da kayan aikin isar da lambar zamani, fahimtar jujjuyar kanta ta ɓace. Yadda kuke mantawa game da al'adar ƙirƙira dabarar yayin kallon jigilar zamani. Komai yana sarrafa kansa sosai wanda galibi ana aiwatar dashi ba tare da fahimtar cikakken hoto ba.

Kuma duk hoton haka yake. Fitowar ta ƙunshi manyan abubuwa guda huɗu:

1. Isar da lamba, gami da gyara bayanai. Misali, hijirarsu.
2. Code rollback shine ikon komawa baya idan wani abu yayi kuskure. Misali, ta hanyar ƙirƙirar madadin.
3. Lokacin kowane aikin fiddawa/juyawa. Kuna buƙatar fahimtar lokacin kowane aiki na maki biyu na farko.
4. Ayyukan da abin ya shafa. Wajibi ne a kimanta duka abubuwan da ake tsammani masu kyau da kuma yiwuwar mummunan tasiri.

Dole ne a yi la'akari da duk waɗannan abubuwan don samun nasarar fiddawa. Yawancin lokaci kawai na farko, ko mafi kyau na biyu, ana tantance batu, sa'an nan kuma ana ɗaukar ƙaddamar da nasara. Amma na uku da na huɗu sun fi mahimmanci. Wane mai amfani ne zai so idan aikin ya ɗauki awanni 3 maimakon minti ɗaya? Ko kuma idan wani abu da ba dole ba ya sami tasiri yayin fiddawa? Ko kuwa raguwar lokacin sabis ɗaya zai haifar da sakamako mara tabbas?

Dokar 1..n, shirye-shiryen saki

Da farko na yi tunanin a taƙaice kwatanta tarurrukanmu: dukan ƙungiyar, sassanta, tarin tattaunawa a wuraren kofi, muhawara, gwaje-gwaje, kwakwalwa. Sai na yi tunanin hakan ba zai zama dole ba. Watanni hudu na ci gaba ko da yaushe ya ƙunshi wannan, musamman ma lokacin da ba ku rubuta wani abu da za a iya ba da shi akai-akai, amma babban fasali don tsarin rayuwa. Wanne ya shafi duk ayyuka, amma babu abin da ya kamata ya canza ga masu amfani sai "maɓalli ɗaya a cikin mahaɗin yanar gizo."

Fahimtar mu na yadda ake fitar da shi ya canza daga kowane sabon taro, kuma sosai. Misali, za mu sabunta duk bayanan lissafin mu. Amma mun ƙididdige lokacin kuma mun gane cewa ba zai yiwu a yi haka ba a cikin lokacin da ya dace. Ya ɗauki kusan ƙarin mako guda don sharewa da adana bayanan lissafin kuɗi. Kuma lokacin da saurin jujjuyawar da ake sa ran har yanzu bai gamsar ba, mun ba da umarnin ƙarin kayan aiki mai ƙarfi, inda aka ja duk tushe. Ba wai ba mu so mu yi hakan da wuri ba, amma buƙatuwar da ake da ita a yanzu ta bar mu ba tare da wani zaɓi ba.

Lokacin da ɗayanmu ya yi shakku kan cewa zazzagewar na iya shafar samuwar na'urorin mu, mun shafe mako guda muna gudanar da gwaje-gwaje, gwaje-gwaje, nazarin lambobin kuma mun sami cikakkiyar fahimta cewa hakan ba zai faru ba a cikin samar da mu, har ma mafi yawan shakku sun yarda. da wannan.

A halin yanzu, mutanen daga goyon bayan fasaha sun gudanar da gwaje-gwaje masu zaman kansu don rubuta umarni ga abokan ciniki akan hanyoyin haɗin gwiwa, wanda ya kamata ya canza bayan ƙaddamarwa. Sun yi aiki akan UX mai amfani, umarnin da aka shirya kuma sun ba da shawarwari na sirri.

Mun sarrafa duk ayyukan fiddawa da suka yiwu. Kowane aiki an rubuta shi, har ma da mafi sauƙi, kuma ana yin gwaje-gwaje akai-akai. Sun yi gardama game da hanya mafi kyau don kashe sabis ɗin - ƙetare daemon ko toshe damar zuwa sabis tare da bangon wuta. Mun ƙirƙiri jerin jerin ƙungiyoyi don kowane mataki na fiddawa kuma mun sabunta shi akai-akai. Mun zana kuma mun sabunta taswirar Gantt akai-akai don duk aikin fiddawa, tare da lokaci.

Say mai…

Dokar ƙarshe, kafin a fitar da ita

...lokaci ya yi da za a birgima.

Kamar yadda suka ce, ba za a iya kammala aikin fasaha ba, kawai an gama aiki da shi. Dole ne ku yi ƙoƙari na son rai, fahimtar cewa ba za ku sami komai ba, amma gaskanta cewa kun yi duk zato masu ma'ana, an tanadar da duk wasu lokuta masu yuwuwa, rufe duk kwari masu mahimmanci, kuma duk mahalarta sun yi duk abin da za su iya. Yawan lambar da kuka fitar, yana da wahala a shawo kan kanku game da wannan (bayan haka, kowa ya fahimci cewa ba zai yiwu a hango komai ba).

Mun yanke shawarar cewa a shirye muke mu fitar da mu lokacin da muka gamsu cewa mun yi duk abin da zai yiwu don rufe duk haɗari ga masu amfani da mu da ke da alaƙa da abubuwan da ba zato ba tsammani da raguwar lokaci. Wato komai na iya yin kuskure sai:

1. Shafi (tsarki a gare mu, mafi daraja) kayan aikin mai amfani,
2. Ayyuka: amfani da sabis ɗinmu bayan fitowar ya kamata ya zama iri ɗaya da wanda ya gabata.

Mirgine fita

Nadi biyu, 8 kada ku tsoma baki

Muna ɗaukar lokaci don duk buƙatun masu amfani na tsawon awanni 7. A wannan lokacin, muna da tsarin ƙaddamarwa da tsarin juyawa.

• Fitar da kanta tana ɗaukar kusan awanni 3.
• 2 hours don gwaji.
• Sa'o'i 2 - ajiye don yiwuwar sake dawowa na canje-canje.

An zana ginshiƙi na Gantt don kowane aiki, tsawon lokacin da zai ɗauka, abin da ke faruwa a jere, abin da aka yi a layi daya.

Wani guntun ginshiƙi na Gantt, ɗaya daga cikin sigar farko (ba tare da kisa ba). Mafi Kyawun Kayan Aikin Aiki tare

Duk mahalarta suna da ƙayyadaddun rawar da suke takawa a cikin fiddawar, ayyukan da suke yi, da abin da suke da alhakin kai. Muna ƙoƙarin kawo kowane mataki zuwa atomatik, mirgine shi, mirgine shi baya, tattara ra'ayi da sake fitar da shi.

Tarihin abubuwan da suka faru

Don haka, mutane 15 sun zo aiki ranar Lahadi, 29 ga Afrilu, da karfe 10 na dare. Baya ga manyan mahalarta taron, wasu sun zo ne kawai don tallafawa ƙungiyar, wanda godiya ta musamman a gare su.

Hakanan yana da kyau a faɗi cewa maɓallin gwajin mu yana hutu. Ba shi yiwuwa a fitar da shi ba tare da gwaji ba, muna bincika zaɓuɓɓuka. Abokin aiki ya yarda ya gwada mu daga hutu, wanda ta sami babban godiya daga dukan ƙungiyar.

00:00. Tsaya
Muna dakatar da buƙatun mai amfani, rataya alamar cewa aikin fasaha. Saka idanu yana kururuwa, amma komai na al'ada ne. Mun duba cewa babu wani abu da ya faɗo face abin da ya kamata ya faɗo. Kuma mun fara aikin ƙaura.

Kowane mutum yana da bugu na shirin bugu zuwa batu, kowa ya san wanda ke yin abin da kuma a wane lokaci. Bayan kowane mataki, muna bincika lokutan don tabbatar da cewa ba mu wuce su ba, kuma komai yana tafiya daidai da tsari. Wadanda ba sa shiga cikin fiddawa kai tsaye a matakin da ake ciki suna shirya ta hanyar ƙaddamar da wasan wasan kwaikwayo na kan layi (Xonotic, nau'in 3 quacks) don kada su damun abokan aikinsu. 🙂

02:00. An yi birgima
Wani abin mamaki - mun gama fitar da sa'a daya a baya, saboda inganta bayanan mu da rubutun ƙaura. Kuka gabaɗaya, "an birgima!" Duk sabbin ayyuka suna cikin samarwa, amma ya zuwa yanzu kawai za mu iya ganin su a cikin keɓancewa. Kowa ya shiga yanayin gwaji, ya rarraba su zuwa rukuni, kuma ya fara ganin abin da ya faru a ƙarshe.

Bai fito sosai ba, mun gane wannan bayan mintuna 10, lokacin da babu wani abu da aka haɗa ko aiki a cikin ayyukan membobin ƙungiyar. Saurin aiki tare, muna bayyana matsalolinmu, muna saita abubuwan da suka fi dacewa, mu shiga cikin ƙungiyoyi kuma mu shiga yin gyara.

02:30. Matsaloli biyu manya vs idanu hudu
Mun sami manyan matsaloli guda biyu. Mun fahimci cewa abokan ciniki ba za su ga wasu ayyukan da aka haɗa ba, kuma matsaloli za su taso tare da asusun abokan hulɗa. Dukansu biyun suna saboda rashin cika rubutun ƙaura don wasu lamurra na gefe. Muna bukatar mu gyara shi yanzu.

Muna rubuta tambayoyin da ke rikodin wannan, tare da aƙalla idanu 4. Muna gwada su yayin samarwa don tabbatar da cewa suna aiki kuma ba su karya komai ba. Kuna iya ci gaba. A lokaci guda, muna gudanar da gwajin haɗin kai na yau da kullun, wanda ke nuna wasu ƙarin batutuwa. Dukansu ƙanana ne, amma kuma suna buƙatar gyara su.

03:00. -2 matsaloli +2 matsaloli
An gyara manyan matsalolin guda biyu da suka gabata, kuma kusan dukkanin ƙananan ƙananan ma. Duk waɗanda ba su cikin gyare-gyare suna aiki tuƙuru a cikin asusun su kuma suna ba da rahoton abin da suka samu. Muna ba da fifiko, rarraba tsakanin ƙungiyoyi, kuma muna barin abubuwa marasa mahimmanci don safiya.

Muna sake gudanar da gwaje-gwajen, sun gano sabbin manyan matsaloli guda biyu. Ba duk manufofin sabis sun zo daidai ba, don haka wasu buƙatun mai amfani ba su wuce izini ba. Ƙari da sabuwar matsala tare da asusun abokan hulɗa. Mu yi sauri mu duba.

03:20. Aiki tare na gaggawa
Sabuwar fitowar ta gyara. Na biyu, muna shirya daidaitawar gaggawa. Mun fahimci abin da ke faruwa: gyaran da ya gabata ya gyara matsala ɗaya, amma ya haifar da wata. Muna yin hutu don gano yadda za mu yi shi daidai kuma ba tare da sakamako ba.

03:30. Ido shida
Mun fahimci abin da yanayin ƙarshe na tushe ya kamata ya zama don duk abin da ke da kyau ga duk abokan tarayya. Muna rubuta buƙatun tare da idanu 6, mirgine shi a cikin pre-production, gwada shi, mirgine shi don samarwa.

04:00. Komai yana aiki
Duk gwaje-gwajen sun wuce, ba a iya ganin matsaloli masu mahimmanci. Daga lokaci zuwa lokaci, wani abu a cikin ƙungiyar ba ya aiki ga wani, muna amsawa da sauri. Yawancin lokaci ƙararrawa karya ce. Amma wani lokacin wani abu ba ya zuwa, ko wani shafi na daban ba ya aiki. Muna zaune, gyara, gyara, gyara. Wata ƙungiya daban tana ƙaddamar da babban fasali na ƙarshe - lissafin kuɗi.

04:30. Batun dawowa
Maganar rashin dawowa na gabatowa, wato lokacin da idan muka fara birgima, ba za mu gamu da raguwar lokacin da aka yi mana ba. Akwai matsaloli tare da lissafin kuɗi, wanda ya sani kuma ya rubuta komai, amma taurin kai ya ƙi rubuta kuɗi daga abokan ciniki. Akwai kwari da yawa akan shafuka, ayyuka, da matsayi. Babban aikin yana aiki, duk gwaje-gwaje sun wuce cikin nasara. Mun yanke shawarar cewa an yi shirin, ba za mu koma baya ba.

06:00. Buɗe ga kowa a cikin UI
An gyara kwari. Wasu waɗanda ba sa jan hankalin masu amfani ana barin su na gaba. Mun bude ke dubawa ga kowa da kowa. Muna ci gaba da aiki akan lissafin kuɗi, jiran amsawar mai amfani da sakamakon sa ido.

07:00. Matsaloli tare da lodin API
Ya bayyana a fili cewa mun ɗan kuskuren kuskuren nauyin akan API ɗinmu kuma mun gwada wannan nauyin, wanda ba zai iya gano matsalar ba. Sakamakon haka, ≈5% na buƙatun sun gaza. Mu tashi mu nemi dalili.

Biyan kuɗi yana da taurin kai kuma baya son yin aiki ma. Mun yanke shawarar dage shi har sai daga baya don aiwatar da sauye-sauye cikin kwanciyar hankali. Wato, an tara duk albarkatun a cikinsa, amma rubuta-off daga abokan ciniki ba su shiga ba. Tabbas, wannan matsala ce, amma idan aka kwatanta da fitowar gabaɗaya da alama ba ta da mahimmanci.

08:00. Gyara API
Mun fitar da gyara don kaya, gazawar ta tafi. Mun fara komawa gida.

10:00. Duka
Komai yana gyarawa. Yana da shiru a cikin saka idanu kuma a wurin abokan ciniki, ƙungiyar a hankali tana barci. Kudin lissafin ya rage, za mu mayar da shi gobe.

Sa'an nan a cikin rana akwai jerin abubuwan da suka kafa rajistan ayyukan, sanarwa, lambobin dawowa da keɓancewa ga wasu abokan cinikinmu.

Don haka, shirin ya yi nasara! Yana iya, ba shakka, ya fi kyau, amma mun yanke shawara game da abin da bai ishe mu ba don cimma kamala.

Jimlar

A cikin watanni 2 na shirye-shiryen aiki mai ƙarfi don ƙaddamarwa, an kammala ayyuka 43, waɗanda ke ɗaukar awanni biyu zuwa kwanaki da yawa.

A lokacin fiddawa:

• sababbin aljanu da suka canza - guda 5, maye gurbin 2 monoliths;
• canje-canje a cikin ma'ajin bayanai - dukkanin bayanan mu guda 6 tare da bayanan mai amfani sun shafi, an yi zazzagewa daga tsoffin ma'ajin bayanai zuwa guda uku;
• gaba daya sake fasalin gaba;
• adadin lambar da aka sauke - 33 dubu layin sabon lambar, ≈ 3 layin lambar lamba a cikin gwaje-gwaje, ≈ 5 layin lambar ƙaura;
• duk bayanan ba su cika ba, babu na'urar kwastomomi guda daya da ta lalace. 🙂

Ayyuka masu kyau don tsarawa mai kyau

Sun yi mana jagora a cikin wannan mawuyacin hali. Amma, gabaɗaya magana, yana da amfani a bi su yayin kowace fiɗa. Amma idan mafi rikitarwa na fiddawa, mafi girman rawar da suke takawa.

1. Abu na farko da kuke buƙatar yi shine fahimtar yadda ficewar zata iya ko zata shafi masu amfani. Za a yi downtime? Idan haka ne, menene lokacin hutu? Ta yaya wannan zai shafi masu amfani? Wadanne yanayi ne mafi kyawu kuma mafi munin yanayi? Kuma rufe kasada.
2. Shirya komai. A kowane mataki, kuna buƙatar fahimtar duk abubuwan da aka fi so:
   • isar da lambar;
   • rikodin rikodin;
   • lokacin kowane aiki;
   • shafi ayyuka.
3. Yi wasa cikin al'amuran har sai duk matakan fiddawa, da kuma kasada a kowannen su, sun bayyana a fili. Idan kuna da shakku, zaku iya yin hutu kuma ku bincika matakin da ake tambaya daban.
4. Kowane mataki zai iya kuma ya kamata a inganta idan yana taimakawa masu amfani da mu. Alal misali, zai rage raguwa ko cire wasu haɗari.
5. Gwajin jujjuyawa yana da mahimmanci fiye da gwajin isar da lamba. Wajibi ne a bincika cewa sakamakon sake dawowa tsarin zai dawo zuwa matsayinsa na asali, kuma tabbatar da hakan tare da gwaje-gwaje.
6. Duk abin da za a iya sarrafa shi ya kamata ya zama ta atomatik. Duk abin da ba za a iya sarrafa kansa ba ya kamata a rubuta shi gaba a kan takardar yaudara.
7. Yi rikodin ma'aunin nasara. Wane aiki ya kamata ya kasance kuma a wane lokaci? Idan hakan bai faru ba, gudanar da tsarin sake dawowa.
8. Kuma mafi mahimmanci - mutane. Ya kamata kowa ya san abin da yake yi, dalilin da ya sa da abin da ya dogara da ayyukansu a cikin aikin fiddawa.

Kuma a cikin jumla ɗaya, tare da kyakkyawan tsari da bayani za ku iya fitar da duk abin da kuke so ba tare da sakamako na tallace-tallace ba. Ko da wani abu da zai shafi duk ayyukan ku a cikin samarwa.

source: www.habr.com