Nasayran nga nasulayan pa lang ang katakus sa CTO sa ikaduhang higayon nga iyang gihimo kini nga tahas. Tungod kay usa ka butang ang pagtrabaho sa usa ka kompanya sa daghang mga tuig, pag-uswag uban niini ug, nga naa sa parehas nga konteksto sa kultura, anam-anam nga makadawat dugang nga responsibilidad. Ug lain na usab ang pagdiretso sa posisyon sa teknikal nga direktor sa usa ka kompanya nga adunay kabilin nga mga bagahe ug daghang mga problema nga hapsay nga gisilhig sa ilawom sa carpet.

Niini nga diwa, ang kasinatian ni Leon Fire, nga iyang gipaambit DevOpsConf, dili eksakto nga talagsaon, apan gipadaghan sa iyang kasinatian ug ang gidaghanon sa lainlaing mga tahas nga iyang nahimo sa pagsulay sa dagan sa 20 ka tuig, kini mapuslanon kaayo. Ubos sa cut mao ang usa ka kronolohiya sa mga panghitabo sa 90 ka adlaw ug daghang mga istorya nga makalingaw nga kataw-an kung kini mahitabo sa uban, apan dili kaayo makalingaw nga atubangon sa personal.

Mabulukon kaayo ang gisulti ni Leon sa Russian, mao nga kung adunay 35-40 ka minuto, girekomenda nako ang pagtan-aw sa video. Text nga bersyon sa pagluwas sa panahon sa ubos.

Ang una nga bersyon sa taho usa ka maayong pagkahan-ay nga paghulagway sa pagtrabaho kauban ang mga tawo ug mga proseso, nga adunay mapuslanon nga mga rekomendasyon. Apan wala niya isulti ang tanan nga mga sorpresa nga nasugatan sa dalan. Busa, akong giusab ang format ug gipresentar ang mga problema nga mitungha sa akong atubangan sama sa usa ka jack-in-the-box sa bag-ong kompanya, ug mga pamaagi sa pagsulbad niini sa kronolohikal nga pagkahan-ay.

Usa ka bulan sa wala pa

Sama sa daghang maayong mga istorya, kini nagsugod sa alkohol. Naglingkod kami kauban ang mga higala sa usa ka bar, ug sama sa gipaabut sa mga espesyalista sa IT, ang tanan naghilak sa ilang mga problema. Usa kanila bag-o lang nag-ilis ug trabaho ug naghisgot bahin sa iyang mga problema sa teknolohiya, ug sa mga tawo, ug sa team. Sa sige nakog paminaw, mas naamgohan nako nga iya lang ko i-hire, kay mao ni ang mga klase sa problema nga akong nasulbad sa miaging 15 ka tuig. Gisultihan nako siya, ug pagkasunod adlaw nagkita mi sa usa ka palibot sa trabahoan. Ang kompanya gitawag nga Mga Estratehiya sa Pagtudlo.

Ang mga Estratehiya sa Pagtudlo usa ka lider sa merkado sa kurikulum alang sa gagmay nga mga bata gikan sa pagkahimugso hangtod sa tulo ka tuig ang edad. Ang tradisyonal nga "papel" nga kompanya 40 na ka tuig ang edad, ug ang digital SaaS nga bersyon sa plataporma 10. Bag-ohay lang, ang proseso sa pagpahiangay sa digital nga teknolohiya sa mga sumbanan sa kompanya nagsugod. Ang "bag-o" nga bersyon gilunsad sa 2017 ug halos sama sa daan, apan kini mas grabe pa.

Ang labing makaiikag nga butang mao nga ang trapiko sa kini nga kompanya matag-an - matag adlaw, matag tuig, klaro nimo nga mahibal-an kung pila ang mga tawo nga moabut ug kanus-a. Pananglitan, tali sa 13 ug 15 p.m. ang tanan nga mga bata sa kindergarten matulog ug ang mga magtutudlo magsugod sa pagsulod sa impormasyon. Ug kini mahitabo matag adlaw, gawas sa katapusan sa semana, tungod kay halos walay usa nga nagtrabaho sa katapusan sa semana.

Sa gamay nga pagtan-aw sa unahan, akong mamatikdan nga nagsugod ako sa akong trabaho sa panahon sa labing taas nga tinuig nga trapiko, nga makapaikag alang sa lainlaing mga hinungdan.

Ang plataporma, nga ingon og 2 ka tuig ra ang edad, adunay usa ka lahi nga stack: ColdFusion & SQL Server gikan sa 2008. Ang ColdFusion, kung wala ka nahibal-an, ug lagmit nga wala nimo nahibal-an, usa ka negosyo nga PHP nga migawas sa tungatunga sa 90s, ug sukad niadto wala pa ako makadungog niini. Anaa usab ang: Ruby, MySQL, PostgreSQL, Java, Go, Python. Apan ang nag-unang monolith midagan sa ColdFusion ug SQL Server.

Mga problema

Sa labi nakong pagpakigsulti sa mga empleyado sa kompanya bahin sa trabaho ug unsa nga mga problema ang nasugatan, labi nakong naamgohan nga ang mga problema dili lamang teknikal sa kinaiyahan. Okay, ang teknolohiya daan na - ug wala sila nagtrabaho niini, apan adunay mga problema sa team ug sa mga proseso, ug ang kompanya nagsugod sa pagsabut niini.

Sa naandan, ang ilang mga tech naglingkod sa suok ug naghimo og usa ka matang sa trabaho. Apan nagkadaghan ang negosyo nga nagsugod sa pag-agi sa digital nga bersyon. Busa, sa miaging tuig sa wala pa ako magsugod sa pagtrabaho, adunay mga bag-o nga nagpakita sa kompanya: board of directors, CTO, CPO ug QA director. Kana mao, ang kompanya nagsugod sa pagpamuhunan sa sektor sa teknolohiya.

Ang mga pagsubay sa usa ka bug-at nga kabilin dili lamang sa mga sistema. Ang kompanya adunay mga proseso sa kabilin, mga tawo nga kabilin, kultura sa kabilin. Kining tanan kinahanglang usbon. Naghunahuna ko nga siguradong dili kini makalaay, ug nakahukom nga sulayan kini.

Duha ka adlaw sa wala pa

Duha ka adlaw sa wala pa magsugod og bag-ong trabaho, miabut ko sa opisina, gipuno ang katapusang mga papeles, nahimamat ang team, ug nadiskobrehan nga ang team nakigbisog sa problema niadtong higayona. Kini mao nga ang kasagaran nga oras sa pagkarga sa panid milukso ngadto sa 4 segundos, sa ato pa, 2 ka beses.

Sa paghukom sa graph, adunay klaro nga nahitabo, ug dili klaro kung unsa. Kini nahimo nga ang problema mao ang network latency sa data center: 5 ms latency sa data center nahimong 2 s alang sa mga tiggamit. Wala ko mahibal-an kung ngano nga kini nahitabo, apan sa bisan unsang kaso nahibal-an nga ang problema naa sa sentro sa datos.

Unang adlaw

Duha ka adlaw ang milabay ug sa akong unang adlaw sa trabaho akong nadiskobrehan nga ang problema wala mawala.

Sulod sa duha ka adlaw, ang mga panid sa tiggamit nag-load sa kasagaran sa 4 ka segundo. Mangutana ko kung nakit-an ba nila kung unsa ang problema.

- Oo, nagbukas kami og tiket.
- UG?
- Aw, wala pa sila motubag kanamo.

Dayon akong naamgohan nga ang tanan nga gisulti kanako kaniadto usa lamang ka gamay nga tumoy sa iceberg nga kinahanglan nakong awayon.

Adunay usa ka maayo nga kinutlo nga haom kaayo niini:

"Usahay aron mabag-o ang teknolohiya kinahanglan nimo nga usbon ang organisasyon."

Apan tungod kay nagsugod ako sa pagtrabaho sa pinakabusy nga panahon sa tuig, kinahanglan nakong tan-awon ang duha ka mga kapilian sa pagsulbad sa problema: dali ug dugay. Ug magsugod sa kung unsa ang kritikal karon.

Ikatulo nga adlaw

Busa, ang loading molungtad og 4 segundos, ug gikan sa 13 ngadto sa 15 ang kinadak-ang mga taluktok.

Sa ikatulo nga adlaw niining yugtoa sa panahon, ang katulin sa pag-download ingon niini:

Gikan sa akong panglantaw, wala gayoy nagtrabaho. Gikan sa panan-aw sa uban kini nagdagan nga mas hinay kaysa naandan. Apan dili kini mahitabo nga ingon niana-kini usa ka seryoso nga problema.

Gisulayan nako nga kombinsihon ang team, diin ilang gitubag nga kinahanglan ra nila ang daghang mga server. Kini, siyempre, usa ka solusyon sa problema, apan dili kini kanunay ang bugtong ug labing epektibo. Nangutana ko nganong walay igong mga server, unsa ang gidaghanon sa trapiko. Gi-extrapolate nako ang datos ug nakit-an nga kami adunay gibana-bana nga 150 nga mga hangyo matag segundo, nga, sa prinsipyo, naa sa sulod sa makatarunganon nga mga limitasyon.

Apan dili nato kalimtan nga sa dili pa nimo makuha ang husto nga tubag, kinahanglan nimo nga ipangutana ang husto nga pangutana. Ang akong sunod nga pangutana mao: pila ang among mga frontend server? Ang tubag "naglibog kanako gamay" - kami adunay 17 ka frontend server!

— Maulaw kong mangutana, apan ang 150 gibahin sa 17 naghatag ug mga 8? Nag-ingon ka ba nga ang matag server nagtugot sa 8 nga mga hangyo matag segundo, ug kung ugma adunay 160 nga mga hangyo matag segundo, kinahanglan namon ang 2 pa nga mga server?

Siyempre, wala kami magkinahanglan og dugang nga mga server. Ang solusyon anaa sa code mismo, ug sa ibabaw:

var currentClass = classes.getCurrentClass();
return currentClass;

Adunay usa ka function getCurrentClass(), tungod kay ang tanan sa site nagtrabaho sa konteksto sa usa ka klase - husto kana. Ug alang niining usa ka function sa matag panid adunay 200+ ka hangyo.

Ang solusyon niining paagiha yano ra kaayo, dili na nimo kinahanglan nga isulat pag-usab ang bisan unsang butang: ayaw na lang pangayoa pag-usab ang parehas nga kasayuran.

if ( !isDefined("REQUEST.currentClass") ) {
    var classes = new api.private.classes.base();
   REQUEST.currentClass = classes.getCurrentClass();
}
return REQUEST.currentClass;

Nalipay kaayo ko tungod kay nakahukom ko nga sa ikatulo pa lang nga adlaw nakit-an nako ang panguna nga problema. Sama sa akong kabuang, usa lang kini sa daghang mga problema.

Apan ang pagsulbad niining unang problema naghulog sa graph nga mas ubos.

Sa parehas nga oras, naghimo kami uban pang mga pag-optimize. Adunay daghang mga butang nga makita nga mahimong ayohon. Pananglitan, sa samang ikatulo nga adlaw akong nadiskobrehan nga adunay usa ka cache sa sistema human sa tanan (sa una naghunahuna ko nga ang tanan nga mga hangyo gikan sa database). Kung maghunahuna ko sa usa ka cache, maghunahuna ko sa standard Redis o Memcached. Apan ako ra ang naghunahuna sa ingon, tungod kay kana nga sistema naggamit sa MongoDB ug SQL Server alang sa pag-cache - parehas nga gikan diin ang datos gibasa.

Ikanapulo ka adlaw

Sa unang semana akong giatubang ang mga problema nga kinahanglang sulbaron karon. Sa usa ka dapit sa ikaduhang semana, miadto ko sa stand-up sa unang higayon aron makigkomunikar sa team, aron tan-awon kung unsa ang nahitabo ug kung giunsa ang tibuok proseso.

Usa ka butang nga makapaikag ang nadiskobrehan pag-usab. Ang team naglangkob sa: 18 developers; 8 tester; 3 manedyer; 2 ka arkitekto. Ug silang tanan miapil sa komon nga mga ritwal, nga mao, labaw pa sa 30 ka mga tawo ang moadto sa stand-up matag buntag ug nagsulti sa ilang gibuhat. Klaro nga ang miting wala mokabat ug 5 o 15 minutos. Walay naminaw ni bisan kinsa tungod kay ang tanan nagtrabaho sa lain-laing mga sistema. Sa kini nga porma, ang 2-3 nga mga tiket matag oras alang sa usa ka sesyon sa pamostura usa na ka maayong resulta.

Ang una namong gibuhat mao ang pagbahin sa team sa daghang linya sa produkto. Alang sa lain-laing mga seksyon ug mga sistema, naggahin kami og bulag nga mga team, nga naglakip sa mga developer, tester, product manager, ug business analyst.

Ingon usa ka sangputanan nakuha namon:

• Pagminus sa mga stand-up ug rally.
• Ang kahibalo sa hilisgutan sa produkto.
• Usa ka pagbati sa pagpanag-iya. Kung ang mga tawo kanunay nga nag-usik sa mga sistema, nahibal-an nila nga adunay lain nga lagmit kinahanglan nga magtrabaho sa ilang mga bug, apan dili ang ilang kaugalingon.
• Kolaborasyon tali sa mga grupo. Dili kinahanglan nga isulti, ang QA wala kaayo nakigsulti sa mga programmer kaniadto, ang produkto naghimo sa kaugalingon nga butang, ug uban pa. Karon sila adunay usa ka komon nga punto sa responsibilidad.

Nag-una kami nga naka-focus sa kahusayan, pagka-produktibo ug kalidad - kini ang mga problema nga among gisulayan pagsulbad sa pagbag-o sa team.

Ika-onse nga adlaw

Sa proseso sa pagbag-o sa istruktura sa team, nadiskubrehan nako kung giunsa ang pag-ihap SugilanonPunto. Ang 1 SP katumbas sa usa ka adlaw, ug ang matag tiket adunay SP alang sa pag-uswag ug QA, nga mao, labing menos 2 SP.

Giunsa nako pagkadiskobre niini?

Nakakita kami og bug: sa usa sa mga report, diin ang petsa sa pagsugod ug pagtapos sa panahon diin gikinahanglan ang report gisulod, ang katapusang adlaw wala gikonsiderar. Kana mao, sa usa ka dapit sa hangyo walay <=, apan yano <. Gisultihan ko nga kini mao ang tulo ka Story Points, nga mao 3 nga mga adlaw.

Human niini kami:

• Ang sistema sa rating sa Story Points giusab. Karon ang mga pag-ayo alang sa mga menor de edad nga mga bug nga dali nga maipasa sa sistema nga makaabut sa tiggamit nga mas paspas.
• Nagsugod kami sa paghiusa sa mga may kalabutan nga mga tiket alang sa pag-uswag ug pagsulay. Kaniadto, ang matag tiket, ang matag bug usa ka sirado nga ekosistema, dili gihigot sa bisan unsang butang. Ang pagbag-o sa tulo ka mga buton sa usa ka panid mahimong tulo ka lainlaing mga tiket nga adunay tulo nga lainlaing mga proseso sa QA imbis nga usa ka awtomatiko nga pagsulay matag panid.
• Nagsugod kami sa pagtrabaho kauban ang mga developer sa usa ka pamaagi sa pagbanabana sa mga gasto sa pagtrabaho. Tulo ka adlaw sa pag-ilis sa usa ka buton dili kataw-anan.

Ikakawhaan nga adlaw

Sa usa ka dapit sa tunga-tunga sa unang bulan, ang sitwasyon mipalig-on og gamay, akong nahibal-an kung unsa ang batakan nga nahitabo, ug nagsugod na sa pagtan-aw sa umaabot ug paghunahuna mahitungod sa dugay nga mga solusyon.

Long term nga mga tumong:

• Gidumala nga plataporma. Gatusan nga mga hangyo sa matag panid dili seryoso.
• Predictable nga mga uso. Adunay mga periodic nga mga peak sa trapiko nga sa unang pagtan-aw wala'y kalambigitan sa uban nga mga sukatan - kinahanglan namon nga masabtan kung nganong kini nahitabo ug makat-on sa pagtagna.
• Pagpalapad sa plataporma. Ang negosyo padayon nga nagtubo, nagkadaghan ang mga tiggamit, ug ang trapiko nagkadaghan.

Kaniadto kanunay kining giingon: "Atong isulat pag-usab ang tanan sa [pinulongan / balangkas], ang tanan molihok nga mas maayo!"

Sa kadaghanan nga mga kaso dili kini molihok, maayo kung ang pagsulat usab molihok. Busa, kinahanglan namong maghimo ug roadmap - usa ka espesipikong estratehiya nga naghulagway sa matag lakang kon unsaon pagkab-ot ang mga tumong sa negosyo (unsay among buhaton ug ngano), nga:

• nagpakita sa misyon ug mga tumong sa proyekto;
• nag-una sa mga nag-unang tumong;
• adunay usa ka eskedyul sa pagkab-ot niini.

Sa wala pa kini, wala’y usa nga nakigsulti sa team bahin sa katuyoan sa bisan unsang mga pagbag-o nga gihimo. Nagkinahanglan kini og husto nga sukdanan sa kalampusan. Sa unang higayon sa kasaysayan sa kompanya, nagtakda kami og mga KPI alang sa teknikal nga grupo, ug kini nga mga timailhan nahigot sa mga organisasyonal.

Kana mao, ang mga KPI sa organisasyon gisuportahan sa mga team, ug ang mga KPI sa team gisuportahan sa mga indibidwal nga KPI. Kung dili, kung ang mga teknolohikal nga KPI dili motakdo sa mga organisasyonal, nan ang tanan mobira sa habol sa ilang kaugalingon.

Pananglitan, ang usa sa mga KPI sa organisasyon mao ang pagdugang sa bahin sa merkado pinaagi sa mga bag-ong produkto.

Unsaon nimo pagsuporta ang tumong sa pagbaton ug mas daghang bag-ong mga produkto?

• Una, gusto namong mogugol ug dugang panahon sa paghimog bag-ong mga produkto imbes nga ayohon ang mga depekto. Kini usa ka lohikal nga solusyon nga dali sukdon.
• Ikaduha, gusto namong suportahan ang pagtaas sa gidaghanon sa transaksyon, tungod kay kon mas dako ang bahin sa merkado, mas daghang tiggamit ug, sumala niana, mas daghang trapiko.

Dayon ang mga indibidwal nga KPI nga mahimong ipatuman sulod sa grupo, pananglitan, anaa sa dapit diin gikan ang mga nag-unang mga depekto. Kung espesipiko ka nga nagpunting sa kini nga seksyon, mahimo nimong masiguro nga adunay labi ka gamay nga mga depekto, ug unya ang oras alang sa paghimo og mga bag-ong produkto ug pag-usab alang sa pagsuporta sa mga KPI sa organisasyon modaghan.

Busa, ang matag desisyon, lakip ang pagsulat pag-usab nga kodigo, kinahanglang suportahan ang piho nga mga tumong nga gitakda sa kompanya alang kanato (pagtubo sa organisasyon, bag-ong mga bahin, pagrekrut).

Atol niini nga proseso, ang usa ka makapaikag nga butang miabut sa kahayag, nga nahimong balita dili lamang alang sa techies, apan sa kinatibuk-an sa kompanya: ang tanan nga mga tiket kinahanglan nga naka-focus sa labing menos usa ka KPI. Kana mao, kung ang usa ka produkto nag-ingon nga gusto nga maghimo usa ka bag-ong bahin, ang una nga pangutana kinahanglan ipangutana: "Unsa nga KPI ang gisuportahan sa kini nga bahin?" Kung dili, unya pasayloa - kini ingon usa ka wala kinahanglana nga bahin.

Ikakatloan ka adlaw

Sa katapusan sa bulan, akong nadiskobrehan ang laing nuance: walay usa sa akong Ops team ang nakakita sa mga kontrata nga among gisudlan sa mga kliyente. Mahimong mangutana ka nganong kinahanglan nimo nga makita ang mga kontak.

• Una, tungod kay ang mga SLA gipiho sa mga kontrata.
• Ikaduha, lahi ang mga SLA. Ang matag kliyente miabut uban ang iyang kaugalingong mga kinahanglanon, ug ang departamento sa pagbaligya mipirma nga walay pagtan-aw.

Ang laing makapaikag nga nuance mao nga ang kontrata sa usa sa pinakadako nga mga kliyente nag-ingon nga ang tanan nga mga bersyon sa software nga gisuportahan sa plataporma kinahanglan nga n-1, nga mao, dili ang pinakabag-o nga bersyon, apan ang penultimate.

Klaro kung unsa kami ka layo sa n-1 kung ang plataporma gibase sa ColdFusion ug SQL Server 2008, nga wala na gisuportahan sa Hulyo.

Ika-kuwarentay singko nga adlaw

Sa tunga-tunga sa ikaduhang bulan aduna akoy igong panahon sa paglingkod ug pagbuhat bilisapamapping hingpit alang sa tibuok proseso. Kini ang mga kinahanglanon nga lakang nga kinahanglan buhaton, gikan sa paghimo sa usa ka produkto hangtod sa paghatud niini sa konsumidor, ug kini kinahanglan nga ihulagway sa daghang detalye kutob sa mahimo.

Giputol nimo ang proseso sa gagmay nga mga piraso ug tan-awa kung unsa ang nagkinahanglag daghang oras, kung unsa ang mahimo nga ma-optimize, mapaayo, ug uban pa. Pananglitan, unsa kadugay ang usa ka hangyo sa produkto nga moagi sa pamostura, kanus-a kini moabot sa usa ka tiket nga makuha sa usa ka developer, QA, ug uban pa. Mao nga imong gitan-aw ang matag indibidwal nga lakang sa detalye ug hunahunaa kung unsa ang mahimo nga ma-optimize.

Sa dihang gibuhat nako kini, duha ka butang ang nakadani sa akong mata:

• taas nga porsyento sa mga tiket nga gibalik gikan sa QA balik sa mga developer;
• Ang mga pagsusi sa paghangyo sa pagbitad dugay kaayo.

Ang problema mao nga kini ang mga konklusyon sama sa: Daw nagkinahanglag daghang oras, apan dili kami sigurado kung unsa kadugay.

"Dili nimo mapauswag ang dili nimo masukod."

Unsaon pag-justify kung unsa ka seryoso ang problema? Nag-usik ba kini sa mga adlaw o oras?

Aron sukdon kini, gidugang namo ang pipila ka mga lakang sa proseso sa Jira: "andam alang sa dev" ug "andam alang sa QA" aron masukod kung unsa kadugay ang matag tiket naghulat ug kung pila ka beses kini mobalik sa usa ka piho nga lakang.

Gidugang usab namo ang "in review" aron mahibal-an kung pila ang mga tiket sa kasagaran alang sa pagrepaso, ug gikan niini mahimo ka magsugod sa pagsayaw. Kami adunay mga sukatan sa sistema, karon kami nagdugang bag-ong mga sukatan ug nagsugod sa pagsukod:

• Episyente sa proseso: performance ug giplano/gitugyan.
• kalidad sa proseso: gidaghanon sa mga depekto, mga depekto gikan sa QA.

Makatabang gyud nga masabtan kung unsa ang maayo ug kung unsa ang dili maayo.

Ika-singkuwenta nga adlaw

Kini ang tanan, siyempre, maayo ug makapaikag, apan sa katapusan sa ikaduha nga bulan adunay nahitabo nga, sa prinsipyo, matag-an, bisan kung wala ako magdahom sa ingon nga sukdanan. Ang mga tawo nagsugod sa pagbiya tungod kay ang top management nausab. Ang bag-ong mga tawo misulod sa pagdumala ug nagsugod sa pag-usab sa tanan, ug ang mga tigulang mihunong. Ug kasagaran sa usa ka kompanya nga pila na ka tuig, ang tanan managhigala ug ang tanan kaila sa usag usa.

Gidahom kini, apan wala damha ang sukod sa mga pagtangtang. Pananglitan, sa usa ka semana duha ka team lead ang dungan nga misumite sa ilang mga resignation sa ilang kaugalingong kabubut-on. Busa, kinahanglan kong dili lamang kalimtan ang bahin sa ubang mga problema, apan mag-focus sa paghimo og team. Kini usa ka taas ug lisud nga problema nga sulbaron, apan kini kinahanglan nga atubangon tungod kay gusto nako nga luwason ang mga tawo nga nagpabilin (o kadaghanan kanila). Kinahanglan nga sa usa ka paagi reaksiyon sa kamatuoran nga ang mga tawo mibiya aron sa pagpadayon sa moral sa team.

Sa teoriya, kini maayo: ang usa ka bag-ong tawo moabut nga adunay kompleto nga carte blanche, kinsa makatimbang-timbang sa mga kahanas sa team ug makapuli sa mga personahe. Sa tinuud, dili ka makadala og bag-ong mga tawo tungod sa daghang mga hinungdan. Ang balanse gikinahanglan kanunay.

• Daan ug bag-o. Kinahanglan natong huptan ang mga tigulang nga makausab ug makasuporta sa misyon. Apan sa parehas nga oras, kinahanglan namon nga magdala og bag-ong dugo, hisgutan namon kana sa ulahi.
• Kasinatian. Daghan kog estorya sa maayong mga junior nga matinguhaon ug gustong motrabaho namo. Apan dili nako sila madala tungod kay walay igo nga mga senior nga mosuporta sa mga junior ug molihok isip mga magtutudlo alang kanila. Kinahanglan nga una nga mag-recruit sa taas ug pagkahuman sa mga batan-on.
• Carrot ug stick.

Wala koy maayong tubag sa pangutana kung unsa ang husto nga balanse, kung giunsa kini pagmentinar, pila ka tawo ang huptan ug pila ang iduso. Kini usa ka indibidwal nga proseso.

Day singkwentay uno

Nagsugod ko sa pagtan-aw pag-ayo sa team aron masabtan kung kinsa ang naa nako, ug sa makausa pa akong nahinumduman:

"Kadaghanan sa mga problema mao ang mga problema sa mga tawo."

Akong nakit-an nga ang team nga ingon niana - ang Dev ug Ops - adunay tulo ka dagkong problema:

• Katagbawan sa kasamtangan nga kahimtang sa mga kalihokan.
• Kakulang sa responsibilidad - tungod kay wala'y usa nga nagdala sa mga resulta sa trabaho sa mga performers aron maimpluwensyahan ang negosyo.
• Kahadlok sa kausaban.

Ang pagbag-o kanunay magdala kanimo gikan sa imong komportable nga lugar, ug ang mga batan-on, labi nga dili nila gusto ang pagbag-o tungod kay wala sila makasabut kung ngano ug wala nila masabtan kung giunsa. Ang labing komon nga tubag nga akong nadungog mao ang, "Wala pa gyud namo nahimo." Dugang pa, nakaabot kini sa punto sa hingpit nga kabuang - ang labing gamay nga mga pagbag-o dili mahitabo kung wala ang usa nga masuko. Ug bisag unsa ka dako ang epekto sa mga kausaban sa ilang trabaho, ang mga tawo miingon: “Dili, ngano? Dili kini molihok."

Apan dili ka mahimong mas maayo kung wala’y pagbag-o.

Ako adunay usa ka bug-os nga binuang nga panag-istoryahanay sa usa ka empleyado, gisultihan ko siya sa akong mga ideya alang sa pag-optimize, diin siya misulti kanako:
- Oh, wala nimo makita kung unsa ang naa namo sa miaging tuig!
- Unya?
"Karon mas maayo na kini kaysa kaniadto."
- Busa, dili kini mahimong mas maayo?
- Para unsa?

Maayong pangutana - ngano? Ingon og kini mas maayo karon kaysa kaniadto, unya ang tanan igo na. Kini mosangpot sa kakulang sa responsibilidad, nga hingpit nga normal sa prinsipyo. Sama sa akong giingon, ang teknikal nga grupo medyo naa sa kilid. Ang kompanya nagtuo nga sila kinahanglan nga maglungtad, apan walay usa nga nagbutang sa mga sumbanan. Ang teknikal nga suporta wala gayud makakita sa SLA, mao nga kini "madawat" alang sa grupo (ug kini ang labing nakapahadlok kanako):

• 12 segundos nga pagkarga;
• 5-10 minutos nga downtime matag pagpagawas;
• Ang pag-troubleshoot sa mga kritikal nga problema nagkinahanglan og mga adlaw ug mga semana;
• kakulang sa mga kawani sa katungdanan 24x7 / on-call.

Walay usa nga misulay sa pagpangutana ngano nga dili nato kini buhaton nga mas maayo, ug walay usa nga nakaamgo nga kini kinahanglan nga dili ingon niini nga paagi.

Isip usa ka bonus, adunay usa pa ka problema: kakulang sa kasinatian. Ang mga tigulang mibiya, ug ang nahabilin nga batan-ong team nagdako ubos sa miaging rehimen ug nahilo niini.

Labaw pa niining tanan, ang mga tawo nahadlok usab nga mapakyas ug makita nga walay katakus. Gipahayag kini sa kamatuoran nga, una, sila sa bisan unsa nga kahimtang wala mangayo og tabang. Kapila na mi nag-istorya isip usa ka grupo ug tagsa-tagsa, ug ako miingon, “Pangutan-a ang usa ka pangutana kon kamo wala masayud unsaon sa pagbuhat sa usa ka butang.” Masaligon ako sa akong kaugalingon ug nahibal-an nga masulbad nako ang bisan unsang problema, apan magkinahanglan kini og panahon. Busa, kung makapangutana ako sa usa nga nahibal-an kung giunsa kini pagsulbad sa 10 minuto, mangutana ako. Ang gamay nga kasinatian nga imong nabatonan, mas mahadlok ka nga mangutana tungod kay sa imong hunahuna maisip ka nga walay katakus.

Kini nga kahadlok sa pagpangutana nagpadayag sa kaugalingon sa makapaikag nga mga paagi. Pananglitan, mangutana ka: "Kumusta ka niini nga buluhaton?" - "Pipila ka oras ang nahabilin, nahuman na ako." Sa sunod nga adlaw nangutana ka pag-usab, nakuha nimo ang tubag nga maayo ang tanan, apan adunay usa ka problema, andam na gyud kini sa katapusan sa adlaw. Milabay ang laing adlaw, ug hangtod nga maipit ka sa bungbong ug mapugos sa pagpakigsulti sa usa ka tawo, kini nagpadayon. Ang usa ka tawo gusto nga sulbaron ang usa ka problema sa iyang kaugalingon; siya nagtuo nga kung dili niya kini sulbaron sa iyang kaugalingon, kini usa ka dako nga kapakyasan.

Maoy hinungdan gipataas sa mga developer ang mga banabana. Mao ra kadto ang anekdota, sa dihang naghisgut sila sa usa ka buluhaton, gihatagan ko nila og ingon nga numero nga natingala kaayo ko. Gisultihan ako nga sa mga banabana sa developer, gilakip sa developer ang oras nga ibalik ang tiket gikan sa QA, tungod kay makit-an nila ang mga sayup didto, ug ang oras nga kuhaon sa PR, ug ang oras samtang ang mga tawo nga kinahanglan magsusi. kini mahimong busy - nga mao, ang tanan, bisan unsa nga posible.

Ikaduha, ang mga tawo nga nahadlok nga magpakita nga walay katakus sobra nga pag-analisar. Kung isulti nimo kung unsa gyud ang kinahanglan buhaton, magsugod kini: "Dili, unsa man kung hunahunaon naton kini dinhi?" Niini nga pagsabut, ang among kompanya dili talagsaon; kini usa ka sumbanan nga problema alang sa mga batan-on.

Agig tubag, akong gipaila ang mosunod nga mga praktis:

• Pagmando 30 minutos. Kung dili nimo masulbad ang problema sa tunga sa oras, hangyoa ang usa ka tawo nga motabang. Naglihok kini sa lainlaing lebel sa kalampusan, tungod kay ang mga tawo wala gihapon mangutana, apan labing menos nagsugod na ang proseso.
• Kuhaa ang tanan gawas sa esensya, sa pagbana-bana sa tagal sa pagkompleto sa usa ka buluhaton, nga mao, hunahunaa lamang kung unsa kadugay ang pagsulat sa code.
• Kinabuhi nga pagkat-on para sa mga nag-overanalyze. Kini mao ang kanunay nga pagtrabaho uban sa mga tawo.

Ika-60 nga adlaw

Samtang ginabuhat nako kining tanan, panahon na aron mahibal-an ang badyet. Siyempre, nakakita kog daghang makapaikag nga mga butang diin among gigasto ang among kuwarta. Pananglitan, kami adunay usa ka tibuuk nga rack sa usa ka bulag nga sentro sa datos nga adunay usa ka FTP server, nga gigamit sa usa ka kliyente. Kini nahimo nga "... mibalhin kami, apan siya nagpabilin nga ingon niana, wala namo siya giusab." 2 ka tuig na ang milabay.

Ang partikular nga interes mao ang bayronon alang sa mga serbisyo sa panganod. Nagtuo ko nga ang panguna nga hinungdan sa taas nga bayronon sa panganod mao ang mga nag-develop nga adunay walay kutub nga pag-access sa mga server sa unang higayon sa ilang kinabuhi. Dili nila kinahanglan nga mangutana: "Palihug hatagi ako usa ka pagsulay nga server," mahimo nila kini makuha sa ilang kaugalingon. Dugang pa, ang mga developers kanunay gusto nga magtukod sa ingon nga cool nga sistema nga ang Facebook ug Netflix mahimong masina.

Apan ang mga developers walay kasinatian sa pagpalit sa mga tigtagad ug ang kahanas sa pagtino sa gikinahanglan nga gidak-on sa mga tigtagad, tungod kay sila wala magkinahanglan niini kaniadto. Ug kasagaran dili nila masabtan ang kalainan tali sa scalability ug performance.

Mga resulta sa imbentaryo:

• Mibiya kami sa parehas nga sentro sa datos.
• Gitapos namon ang kontrata sa 3 nga serbisyo sa log. Tungod kay kami adunay 5 kanila - ang matag developer nga nagsugod sa pagdula sa usa ka butang nagkuha usa ka bag-o.
• 7 AWS nga sistema gisirhan. Sa makausa pa, walay mihunong sa patay nga mga proyekto; silang tanan nagpadayon sa pagtrabaho.
• Gipakunhod ang gasto sa software sa 6 ka beses.

Kapitoan ug lima ka adlaw

Milabay ang panahon, ug sulod sa duha ug tunga ka bulan kinahanglang makigkita ko sa board of directors. Ang among board of directors dili mas maayo o mas grabe pa kay sa uban; sama sa tanang board of directors, gusto niyang mahibal-an ang tanan. Ang mga tawo namuhunan sa salapi ug gusto nga masabtan kung unsa ang among gibuhat nga nahiangay sa gitakda nga mga KPI.

Ang board of directors makadawat og daghang impormasyon kada bulan: ang gidaghanon sa mga tiggamit, ang ilang pagtubo, unsa nga mga serbisyo ang ilang gigamit ug giunsa, performance ug produktibidad, ug sa katapusan, kasagaran nga katulin sa pagkarga sa panid.

Ang problema lang kay nagtuo ko nga puro daotan ang kasagaran. Apan lisod kaayo ipasabot kini sa board of directors. Naanad sila sa pag-operate sa mga aggregated nga numero, ug dili, pananglitan, ang pagkaylap sa mga oras sa pagkarga matag segundo.

Adunay pipila ka makapaikag nga mga punto bahin niini. Pananglitan, giingon nako nga kinahanglan naton bahinon ang trapiko tali sa lainlaing mga web server depende sa klase sa sulud.

Kana mao, ang ColdFusion moagi sa Jetty ug nginx ug maglansad sa mga panid. Ug ang mga imahe, JS ug CSS moagi sa usa ka bulag nga nginx nga adunay kaugalingon nga mga pag-configure. Kini usa ka medyo standard nga praktis nga akong gihisgutan nagsulat duha ka tuig na ang milabay. Ingon usa ka sangputanan, ang mga litrato nag-load nga labi ka paspas, ug... ang kasagaran nga katulin sa pagkarga misaka sa 200 ms.

Nahitabo kini tungod kay ang graph gihimo base sa datos nga kauban sa Jetty. Kana mao, ang paspas nga sulud wala gilakip sa kalkulasyon - ang kasagaran nga kantidad milukso. Klaro kini kanamo, nangatawa kami, apan unsaon namo pagpatin-aw sa board of directors kung nganong nakahimo kami og usa ka butang ug ang mga butang nahimong mas grabe sa 12%?

Adlaw otsentay singko

Sa katapusan sa ikatulong bulan, akong naamgohan nga adunay usa ka butang nga wala nako maisip: oras. Ang tanan nga akong gihisgutan nagkinahanglan og panahon.

Kini ang akong tinuud nga sinemana nga kalendaryo - usa lang ka semana sa trabaho, dili kaayo busy. Walay igong panahon sa tanan. Busa, pag-usab, kinahanglan nimo nga magrekrut og mga tawo nga makatabang kanimo sa pagsagubang sa mga problema.

konklusyon

Dili lang kana. Sa kini nga istorya, wala pa nako nahibal-an kung giunsa namon pagtrabaho ang produkto ug gisulayan ang pag-tune sa kinatibuk-ang balud, o kung giunsa namon gisagol ang teknikal nga suporta, o kung giunsa namon nasulbad ang ubang mga problema sa teknikal. Pananglitan, nahibal-an nako nga aksidente nga sa labing kadaghan nga mga lamesa sa database wala namon gigamit SEQUENCE. Kita adunay kaugalingong sinulat nga gimbuhaton nextID, ug wala kini gigamit sa usa ka transaksyon.

Adunay usa ka milyon nga susama nga mga butang nga mahimo namong hisgutan sa dugay nga panahon. Apan ang labing importante nga butang nga kinahanglan pa nga isulti mao ang kultura.

Kini mao ang kultura o ang kakulang niini nga mosangpot sa tanan nga uban nga mga problema. Kami naningkamot sa pagtukod sa usa ka kultura diin ang mga tawo:

• dili mahadlok sa mga kapakyasan;
• pagkat-on gikan sa mga sayop;
• makigtambayayong sa ubang mga team;
• paghimog inisyatiba;
• pagkuha sa responsibilidad;
• abi-abi ang resulta isip tumong;
• nagsaulog sa kalampusan.

Uban niini ang tanan moabut.

Leon Fire sa twitter, facebook ug padayon medium.

Adunay duha ka mga estratehiya bahin sa kabilin: likayi ang pagtrabaho uban niini sa tanan nga gasto, o maisugon nga pagbuntog sa mga kauban nga mga kalisdanan. Kami c DevOpsConf Nagsubay kami sa ikaduhang dalan, nagbag-o sa mga proseso ug mga pamaagi. Apil kanamo sa youtube, mailing list и telegrama, ug magdungan kita sa pagpatuman sa usa ka kultura sa DevOps.

Source: www.habr.com