{"id":34841,"date":"2019-10-31T22:00:43","date_gmt":"2019-10-31T19:00:43","guid":{"rendered":"https:\/\/prohoster.info\/blog\/avtomatizatsiya-zameny-diskov-s-pomoshhyu-ansible\/"},"modified":"2019-10-31T22:00:43","modified_gmt":"2019-10-31T19:00:43","slug":"avtomatizatsiya-zameny-diskov-s-pomoshhyu-ansible","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/avtomatizatsiya-zameny-diskov-s-pomoshhyu-ansible","title":{"rendered":"Kettavahetuse automatiseerimine Ansible'i abil","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Kettavahetuse
\n
\nTere k\u00f5igile. Ma t\u00f6\u00f6tan peamise s\u00fcsteemiadministraatorina O.K.-s ja vastutan portaali stabiilse t\u00f6\u00f6tamise eest. Soovin r\u00e4\u00e4kida, kuidas me oleme \u00fcles ehitanud automaatse ketaste vahetamise protsessi ning seej\u00e4rel, kuidas me eemaldasime selle protsessist administraatori ja asendasime ta robotiga.<\/p>\n

See artikkel on teatud m\u00f5ttes transkriptsioon esitas<\/a><\/noindex> HighLoad+ 2018-l
\n<\/a><\/noindex><\/p>\n

Ketaste vahetamise protsessi t\u00f5hususe \u00fclesehitamine<\/h2>\n

<\/p>\n

Esiteks m\u00f5ned numbrid<\/h3>\n

\nO.K. on hiiglaslik teenus, mida kasutavad miljonid inimesed. Seda teenindab umbes 7000 serverit, mis asuvad neljas erinevas andmekeskuses. Serverites on \u00fcle 70 000 ketta. Kui need \u00fcksteise peale laduda, saame \u00fcle 1 km k\u00f5rge torni. <\/p>\n

Ketad on serveri komponent, mis laguneb k\u00f5ige sagedamini. Selliste suurte mahtude korral peame iga n\u00e4dal vahetama umbes 30 ketast, ja see protseduur on muutunud \u00fcsna ebameeldivaks rutiiniks.<\/p>\n

\"Kettavahetuse
\n<\/p>\n

Intsidentide<\/h3>\n

\nMeie firmas on kehtestatud t\u00e4ielik probleemihaldus. Iga probleem fikseeritakse Jira-s, seej\u00e4rel lahendame ja arutame seda. Kui probleemil on m\u00f5ju kasutajatele, koguneme kindlasti ja m\u00f5tleme, kuidas kiiresti sellistes olukordades reageerida, kuidas v\u00e4hendada m\u00f5ju ja muidugi, kuidas v\u00e4ltida kordumist.<\/p>\n

Kettad pole erand. Nende seisundi j\u00e4lgimist teostab Zabbix. J\u00e4lgime Syslog-s kirjutamise\/loetavuse vigu, anal\u00fc\u00fcsime HW\/SW-raidide seisukorda, j\u00e4lgime SMART-i ja SSD-de kulumist. <\/p>\n

Kuidas kettad varem vahetati<\/h3>\n

\nKui Zabbixis s\u00fcttib m\u00f5ni k\u00e4ivitus, genereeritakse Jira-s probleem ja see m\u00e4\u00e4ratakse automaatselt vastavatele inseneridele andmekeskustes. Teeme seda k\u00f5igi riistvara probleemidega, ehk siis sellistega, mis n\u00f5uavad f\u00fc\u00fcsilist t\u00f6\u00f6d seadmete kallal andmekeskuses.
\nAndmekeskuse insener on inimene, kes lahendab k\u00fcsimusi, mis on seotud riistvaraga, vastutab serverite paigaldamise, hoolduse ja demonteerimise eest. P\u00e4rast p\u00e4ringu saamist asub insener t\u00f6\u00f6le. Ketaste riiulites vahetab ta kettad iseseisvalt. Kuid kui tal puudub juurdep\u00e4\u00e4s vajalikele seadmetele, p\u00f6\u00f6rdub insener abi saamiseks \u00f6\u00f6p\u00e4evara turvaseadmestike administraatorite poole. Esiteks tuleb ketas v\u00e4lja rotaatsioonist eemaldada. Selleks tuleb teha vajalikud muudatused serveris, peatada rakendused, eemaldada ketas.<\/p>\n

Vahetuses olev s\u00fcsteemiadministraator vastutab kogu portaali t\u00f6\u00f6 eest. Ta uurib juhtumeid, tegeleb parandamisega, aitab arendajaid v\u00e4ikeste \u00fclesannete t\u00e4itmisel. Ta ei tegele ainult k\u00f5vakettastega.<\/p>\n

Varem suhtlesid andmekeskuse insenerid s\u00fcsteemiadministraatoriga vestluses. Insenerid saatsid linke Jira-piletitele, administraator l\u00e4ks neid vaatama ja haldas t\u00f6\u00f6l\u00f5ike mingisuguses m\u00e4rkmete raamatus. Kuid selliste \u00fclesannete jaoks ei ole vestlused mugavad: teave seal ei ole struktureeritud ja kaob kiiresti. Ja administraator v\u00f5is lihtsalt arvutist eemale minna ning m\u00f5nda aega ei vastata p\u00e4ringutele, samas kui insener seisis serveri juures, k\u00e4es hunnik kettaid, ja ootas.<\/p>\n

Kuid k\u00f5ige halvem oli see, et administraatorid ei n\u00e4inud tervikpilti: millised k\u00f5vaketta juhtumid eksisteerivad, kus v\u00f5ib potentsiaalselt probleem tekkida. See on seotud sellega, et me anname k\u00f5ik HW-juhtumid inseneridele. Jah, k\u00f5ik juhtumid oli v\u00f5imalik kuvada administraatori armatuurlaudadele. Kuid neid on v\u00e4ga palju ja administraatorit kaasati vaid m\u00f5nedes neist.<\/p>\n

Lisaks ei suutnud insener \u00f5igesti prioriteete seada, sest ta ei teadnud konkreetsete serverite otstarbe ega teabe jaotuse kohta salvestites.<\/p>\n

Uus asendamisprotseduur<\/h3>\n

\nEsimene asi, mida me tegime, oli viia k\u00f5ik k\u00f5vaketta juhtumid eraldi t\u00fc\u00fcpi \"HW-ketas\" ja lisada sellele v\u00e4ljad \"blokeerimisaparaadi nimi\", \"suurus\" ja \"ketta t\u00fc\u00fcp\", et see teave salvestuks piletisse, ning ei peaks seda pidevalt vestluses jagama. <\/p>\n

\"Kettavahetuse
\nSamuti leppisime kokku, et \u00fche juhtumi raames vahetame ainult \u00fche ketta. See lihtsustas oluliselt automatiseerimise protsessi, statistika kogumist ja t\u00f6\u00f6d. <\/p>\n

Lisaks lisasime v\u00e4lja \"vastutav administraator\". Sinna pannakse automaatselt vahetuses olev s\u00fcsteemiadministraator. See on v\u00e4ga mugav, sest n\u00fc\u00fcd n\u00e4eb insener alati, kes on vastutav. Ei ole vaja kalendrisse minna ja otsida. Just see v\u00e4li v\u00f5imaldas tuua administraatori armatuurlaudadele piletid, kus v\u00f5ib-olla vajatakse tema abi.<\/p>\n

\"Kettavahetuse
\nKuna k\u00f5ik osalejad saaksid uuendustest maksimaalset kasu, oleme loonud filtrid ja armatuurlaud, ning r\u00e4\u00e4kinud neist meestele. Kui inimesed m\u00f5istavad muudatusi, ei hoia nad neist distantse, nagu need oleksid ebaolulised. Inseneril on oluline teada riiuli numbrit, kus server asub, ketta suurust ja t\u00fc\u00fcpi. Administrator peab peaeesm\u00e4rgina m\u00f5istma, mis t\u00fc\u00fcpi serverigrupp see on ja milline v\u00f5ib olla m\u00f5ju ketta vahetamisel.<\/p>\n

V\u00e4ljade olemasolu ja nende kuvamine on mugav, kuid see ei vabastanud meid vajadusest kasutada vestlusi. Selleks tuli t\u00f6\u00f6protsessi muuta. <\/p>\n

Varem oli see selline:<\/p>\n

\"Kettavahetuse
\nT\u00e4na t\u00f6\u00f6tavad insenerid nii j\u00e4tkuvalt, kui nad ei vaja administraatori abi.<\/p>\n

Esimene asi, mida me tegime, oli uue staatuse, Investigate<\/b>, sisseviimine. Selles etapis on pilet selline, kus insener pole veel otsustanud, kas tal on administraator vajalik v\u00f5i mitte. Selle staatuse kaudu saab insener piletit administraatorile edastada. Lisaks on selle staatusega me m\u00e4rkime pileteid, kus on vajalik ketta vahetamine, kuid ketast end pole platsil. See juhtub n\u00e4iteks CDN-ide ja kaugplatside puhul.<\/p>\n

Lisaks oleme lisanud staatuse, Valmis<\/b>. Sellesse staatusesse kantakse pilet p\u00e4rast ketta vahetamist. See t\u00e4hendab, et k\u00f5ik on juba tehtud, kuid serveris s\u00fcnkroniseeritakse HW\/SW RAID. See v\u00f5ib v\u00f5tta \u00fcsna kaua aega.<\/p>\n

Kui t\u00f6\u00f6le kaasatakse administraator, muutub skeem veidi keerulisemaks.<\/p>\n

\"Kettavahetuse
\nStaatusest, Ava<\/b> saab piletit edastada nii s\u00fcsteemiadministraator kui ka insener. Staatuses In progress<\/b> v\u00f5tab administraator ketta rotiatsioonist v\u00e4lja, et insener saaks selle lihtsalt v\u00e4lja v\u00f5tta: l\u00fclitab sisse valgustuse, monteerib ketta lahti, peatab rakendused, olenevalt konkreetse serverigruppi vajadustest.<\/p>\n

Seej\u00e4rel kantakse pilet staatusesse Ready to change<\/b>: see on signaal insenerile, et ketas saab v\u00e4lja v\u00f5tta. K\u00f5ik v\u00e4ljad Jira-s on juba t\u00e4idetud, insener teab, milline on ketta t\u00fc\u00fcp ja suurus. Need andmed kantakse kas automaatselt eelmisel staatuse kaudu v\u00f5i administraatori poolt.<\/p>\n

P\u00e4rast ketta vahetamist kantakse pilet staatusesse Changed<\/b>. Kontrollitakse, et oleme vahetanud vajaliku ketta, tehakse partitsioneerimine, rakendus k\u00e4ivitatakse ja m\u00f5ned andmete taastamise \u00fclesanded t\u00e4idetakse. Samuti v\u00f5ib pilet olla kantud staatusesse Valmis<\/b>, sel juhul j\u00e4\u00e4b vastutavaks administraator, kuna tema lisas ketta rotiatsiooni. T\u00e4ielik skeem n\u00e4eb v\u00e4lja selline.<\/p>\n

\"Kettavahetuse
\nUute v\u00e4ljade lisamine on meie elu oluliselt lihtsustanud. Inimesed hakkavad t\u00f6\u00f6tama struktureeritud teabe alusel, on selge, mida ja millal teha. Prioriteedid on n\u00fc\u00fcd palju asjakohasemad, kuna need m\u00e4\u00e4rab administraator.<\/p>\n

Suhtlemise vajadus chattides on kadunud. Loomulikult v\u00f5ib administraator kirjutada insenerile \"siin tuleb kiiremini vahetada\" v\u00f5i \"on juba \u00f5htu, kas j\u00f5uad vahetada?\". Kuid me ei suhtle enam igap\u00e4evaselt nendel teemadel chattides.<\/p>\n

Kettad vahetatakse now massiliselt. Kui administraator tuleb t\u00f6\u00f6le natuke varem ja tal on vaba aega ning midagi pole veel juhtunud, saab ta ette valmistada mitu serverit vahetamiseks: v\u00e4ljad seadistada, kettad rotatsioonist v\u00e4lja v\u00f5tta ja \u00fclesande insenerile edastada. Insener tuleb hiljem andmekeskusesse, n\u00e4eb \u00fclesannet, v\u00f5tab laost vajalikud andmekandjad ja vahetab kohe v\u00e4lja. Tulemusena on vahetuse kiirus suurenenud.<\/p>\n

Omandatud kogemus t\u00f6\u00f6protsessi koostamisel.<\/h3>\n

<\/p>\n