{"id":34841,"date":"2019-10-31T22:00:43","date_gmt":"2019-10-31T19:00:43","guid":{"rendered":"https:\/\/prohoster.info\/blog\/avtomatizatsiya-zameny-diskov-s-pomoshhyu-ansible\/"},"modified":"2019-10-31T22:00:43","modified_gmt":"2019-10-31T19:00:43","slug":"avtomatizatsiya-zameny-diskov-s-pomoshhyu-ansible","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/avtomatizatsiya-zameny-diskov-s-pomoshhyu-ansible","title":{"rendered":"Automatisering av diskbyten med hj\u00e4lp av Ansible","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Automatisering
\n
\nHej alla. Jag arbetar som ledande systemadministrat\u00f6r p\u00e5 OK och ansvarar f\u00f6r portalen. Jag vill ber\u00e4tta om hur vi har byggt upp processen f\u00f6r automatisk byte av diskar, och hur vi sedan utesl\u00f6t administrat\u00f6ren fr\u00e5n denna process och ersatte honom med en bot.<\/p>\n

Den h\u00e4r artikeln \u00e4r en slags translitterering presentation<\/a><\/noindex> till HighLoad+ 2018
\n<\/a><\/noindex><\/p>\n

Byggande av processen f\u00f6r byte av diskar<\/h2>\n

<\/p>\n

F\u00f6rst lite siffror<\/h3>\n

\nOK \u00e4r en gigantisk tj\u00e4nst som anv\u00e4nds av miljontals m\u00e4nniskor. Den st\u00f6ds av cirka 7000 servrar som \u00e4r bel\u00e4gna i 4 olika datacenter. I servrarna finns \u00f6ver 70 000 diskar. Om man staplar dem ovanp\u00e5 varandra f\u00e5r man ett torn som \u00e4r mer \u00e4n 1 km h\u00f6gt. <\/p>\n

H\u00e5rddiskar \u00e4r den komponent i servern som oftast g\u00e5r s\u00f6nder. Med s\u00e5dan volym m\u00e5ste vi byta ut cirka 30 diskar varje vecka, och denna procedur har blivit en obehaglig rutin.<\/p>\n

\"Automatisering
\n<\/p>\n

Incidenter<\/h3>\n

\nVi har i v\u00e5rt f\u00f6retag inf\u00f6rt en helt\u00e4ckande incidenthantering. Varje incident registrerar vi i Jira och l\u00f6ser och analyserar sedan. Om incidenten har p\u00e5verkat anv\u00e4ndarna samlas vi f\u00f6r att fundera p\u00e5 hur vi snabbare kan reagera i s\u00e5dana situationer, hur vi kan minska effekten, och sj\u00e4lvklart hur vi kan f\u00f6rhindra upprepning.<\/p>\n

Lagringsenheter \u00e4r inget undantag. Deras tillst\u00e5nd \u00f6vervakas av Zabbix. Vi bevakar meddelanden i Syslog f\u00f6r att uppt\u00e4cka skriv-\/l\u00e4serfel, analyserar tillst\u00e5ndet hos HW\/SW-RAID, och \u00f6vervakar SMART, samt ber\u00e4knar slitaget f\u00f6r SSD. <\/p>\n

Hur diskar byttes tidigare<\/h3>\n

\nN\u00e4r en trigger t\u00e4nds i Zabbix skapas en incident i Jira och tilldelas automatiskt till de aktuella ingenj\u00f6rerna i datacentren. Detta g\u00f6r vi f\u00f6r alla HW-incidenter, det vill s\u00e4ga s\u00e5dana som kr\u00e4ver n\u00e5gon form av fysiskt arbete med utrustningen i datacentret.
\nIngenj\u00f6ren i datacentret \u00e4r en person som hanterar fr\u00e5gor relaterade till h\u00e5rdvaran, ansvarar f\u00f6r installation, underh\u00e5ll och demontering av servrar. N\u00e4r han f\u00e5r en biljett s\u00e4tter han ig\u00e5ng med arbetet. I diskhyllorna byter han ut diskarna sj\u00e4lv. Men om han inte har tillg\u00e5ng till r\u00e4tt enhet ber ingenj\u00f6ren jouransvariga systemadministrat\u00f6rer om hj\u00e4lp. F\u00f6rst m\u00e5ste disken tas ur rotation. F\u00f6r detta beh\u00f6ver man g\u00f6ra n\u00f6dv\u00e4ndiga \u00e4ndringar p\u00e5 servern, stoppa applikationerna och avmontera disken.<\/p>\n

Under den arbetsdagar \u00e4r den jourhavande systemadministrat\u00f6ren ansvarig f\u00f6r hela portalens funktion. Han utreder incidenter, utf\u00f6r reparationer och hj\u00e4lper utvecklarna med mindre uppgifter. Han arbetar inte med h\u00e5rddiskarna.<\/p>\n

Tidigare kommunicerade datacentertekniker med systemadministrat\u00f6ren via chatt. Teknikerna skickade l\u00e4nkar till Jira-biljetter, och administrat\u00f6ren gick igenom dem och f\u00f6rde en logg \u00f6ver arbetet i n\u00e5gon anteckningsbok. Men f\u00f6r s\u00e5dana uppgifter \u00e4r chattar besv\u00e4rliga: informationen \u00e4r ostrukturerad och g\u00e5r fort f\u00f6rlorad. Dessutom kunde administrat\u00f6ren enkelt g\u00e5 ifr\u00e5n datorn och vara otillg\u00e4nglig under en tid, medan teknikern stod vid servern med en h\u00f6g av diskar och v\u00e4ntade.<\/p>\n

Men det v\u00e4rsta var att administrat\u00f6rerna inte s\u00e5g hela bilden: vilka diskincidenter som fanns och var potentiella problem kunde uppst\u00e5. Detta beror p\u00e5 att vi l\u00e4mnar alla h\u00e5rdvaruincidenter till ingenj\u00f6rerna. Ja, man kunde visa alla incidenter p\u00e5 administrat\u00f6rens instrumentpanel, men de \u00e4r v\u00e4ldigt m\u00e5nga, och administrat\u00f6ren involverades endast i vissa av dem.<\/p>\n

Dessutom kunde ingenj\u00f6ren inte korrekt prioritera, eftersom han inte visste n\u00e5got om syftet med de specifika servrarna eller om f\u00f6rdelningen av data \u00f6ver lagringsenheterna.<\/p>\n

Ny procedur f\u00f6r byten<\/h3>\n

\nDet f\u00f6rsta vi gjorde var att separera alla diskincidenter till en egen typ \"HW-disk\" och l\u00e4gga till f\u00e4lten \"namn p\u00e5 blockenhet\", \"storlek\" och \"disktyp\" s\u00e5 att denna information sparades i biljetten och man inte beh\u00f6vde st\u00e4ndigt utbyta den i chatt. <\/p>\n

\"Automatisering
\nVi kom ocks\u00e5 \u00f6verens om att vi inom ett och samma incident skulle byta endast en disk. Detta f\u00f6renklade avsev\u00e4rt processen f\u00f6r automatisering, insamling av statistik och arbete i framtiden. <\/p>\n

Dessutom lade vi till f\u00e4ltet \"ansvarig administrat\u00f6r\". Dit s\u00e4tts den jourhavande systemadministrat\u00f6ren automatiskt. Det \u00e4r mycket praktiskt, eftersom ingenj\u00f6ren nu alltid ser vem som \u00e4r ansvarig. Det beh\u00f6vs inte g\u00e5 till kalendern och leta. Just detta f\u00e4lt har gjort det m\u00f6jligt att visa biljetter p\u00e5 administrat\u00f6rens instrumentpanel d\u00e4r hans hj\u00e4lp kan beh\u00f6vas.<\/p>\n

\"Automatisering
\nF\u00f6r att alla deltagare ska dra maximal nytta av nyheterna har vi skapat filter och instrumentpaneler och ber\u00e4ttat om dem f\u00f6r teamet. N\u00e4r folk f\u00f6rst\u00e5r f\u00f6r\u00e4ndringarna distanserar de sig inte fr\u00e5n dem som n\u00e5got on\u00f6digt. Ingenj\u00f6ren beh\u00f6ver veta racknumret d\u00e4r servern \u00e4r placerad, storlek och typ p\u00e5 disken. F\u00f6r administrat\u00f6ren \u00e4r det viktigt att f\u00f6rst och fr\u00e4mst f\u00f6rst\u00e5 vilken grupp servrar det handlar om och vilken effekt som kan uppn\u00e5s vid diskbyte.<\/p>\n

Att ha f\u00e4lt och deras visning \u00e4r praktiskt, men det l\u00f6ste inte behovet av att anv\u00e4nda chattar. F\u00f6r detta var vi tvungna att f\u00f6r\u00e4ndra arbetsprocessen. <\/p>\n

Tidigare var det s\u00e5 h\u00e4r:<\/p>\n

\"Automatisering
\nI dag forts\u00e4tter ingenj\u00f6rerna att arbeta s\u00e5 h\u00e4r n\u00e4r de inte beh\u00f6ver hj\u00e4lp av administrat\u00f6ren.<\/p>\n

Det f\u00f6rsta vi gjorde var att inf\u00f6ra en ny status Investigate<\/b>. I den h\u00e4r statusen befinner sig \u00e4rendet n\u00e4r ingenj\u00f6ren \u00e4nnu inte har best\u00e4mt sig f\u00f6r om han beh\u00f6ver hj\u00e4lp fr\u00e5n administrat\u00f6ren eller inte. Genom denna status kan ingenj\u00f6ren \u00f6verf\u00f6ra \u00e4rendet till administrat\u00f6ren. Dessutom markerar vi \u00e4renden med denna status n\u00e4r vi beh\u00f6ver byta disk, men sj\u00e4lva disken inte finns p\u00e5 plats. S\u00e5dant sker vid CDN och avl\u00e4gsna platser.<\/p>\n

Vi har ocks\u00e5 lagt till statusen Redo<\/b>. \u00c4rendet \u00f6verg\u00e5r till denna status efter diskbytet. Det vill s\u00e4ga, allt \u00e4r redan gjort, men HW\/SW RAID synkroniseras p\u00e5 servern. Detta kan ta ganska l\u00e5ng tid.<\/p>\n

Om en administrat\u00f6r involveras i arbetet blir schemat lite mer komplicerat.<\/p>\n

\"Automatisering
\nFr\u00e5n statusen \u00d6ppen<\/b> kan \u00e4rendet \u00f6verf\u00f6ras b\u00e5de av systemadministrat\u00f6ren och ingenj\u00f6ren. I statusen In progress<\/b> tar administrat\u00f6ren ur disken fr\u00e5n rotation s\u00e5 att ingenj\u00f6ren enkelt kan ta ut den: han aktiverar belysningen, avmonterar disken, stoppar applikationer beroende p\u00e5 den specifika servergruppen.<\/p>\n

Sedan \u00f6verg\u00e5r \u00e4rendet till Ready to change<\/b>: detta \u00e4r en signal till ingenj\u00f6ren att disken kan tas bort. Alla f\u00e4lt i Jira \u00e4r redan ifyllda, ingenj\u00f6ren vet vilken typ och storlek p\u00e5 disken. Dessa uppgifter fylls antingen i automatiskt i den f\u00f6reg\u00e5ende statusen eller av administrat\u00f6ren.<\/p>\n

Efter diskbytet \u00f6verg\u00e5r \u00e4rendet till statusen Changed<\/b>. Det kontrolleras att r\u00e4tt disk sattes in, partitioneringen g\u00f6rs, applikationen startas och vissa uppgifter f\u00f6r datag \u00e5terst\u00e4llning utf\u00f6rs. \u00c4rendet kan ocks\u00e5 \u00f6verg\u00e5 till statusen Redo<\/b>, i detta fall f\u00f6rblir administrat\u00f6ren ansvarig, eftersom han inf\u00f6rde disken i rotation. Det fullst\u00e4ndiga schemat ser ut s\u00e5 h\u00e4r.<\/p>\n

\"Automatisering
\nTillkomsten av nya f\u00e4lt har avsev\u00e4rt underl\u00e4ttat v\u00e5rt arbete. Teamet har b\u00f6rjat arbeta med strukturerad information, vilket har gjort det tydligt vad som beh\u00f6ver g\u00f6ras och i vilket steg. Prioriteringarna har blivit mycket mer relevanta, eftersom de nu st\u00e4lls in av administrat\u00f6ren.<\/p>\n

Behovet av chattar har f\u00f6rsvunnit. Sj\u00e4lvklart kan administrat\u00f6ren skriva till ingenj\u00f6ren \"det h\u00e4r m\u00e5ste bytas snabbare\", eller \"det \u00e4r redan kv\u00e4ll, hinner du byta?\". Men vi kommunicerar inte l\u00e4ngre dagligen i chattarna om dessa fr\u00e5gor.<\/p>\n

Diskarna byts nu i grupper. Om administrat\u00f6ren kommer till arbetet lite tidigare och har lite ledig tid, samt inget har fungerat fel, kan han f\u00f6rbereda flera servrar f\u00f6r byte: s\u00e4tta in f\u00e4lt, ta bort diskar fr\u00e5n rotation och \u00f6verl\u00e4mna uppgiften till ingenj\u00f6ren. Ingenj\u00f6ren kommer lite senare till datacentret, ser uppgiften, tar de n\u00f6dv\u00e4ndiga lagringsenheterna fr\u00e5n lagret och byter dem omedelbart. Som ett resultat har hastigheten p\u00e5 bytena \u00f6kat.<\/p>\n

Erfarenheterna fr\u00e5n att bygga arbetsfl\u00f6det<\/h3>\n

<\/p>\n