🥇Начинаещият системен администратор: как да направим ред от хаоса

Аз съм системен администратор в FirstVDS и това е текстът на първата вводна лекция от моя кратък курс за помощ на начинаещи колеги. Специалистите, които току-що са започнали работа в системното администриране, се сблъскват с редица едни и същи проблеми. За да предложа решения, реших да напиша този цикъл от лекции. Някои от нещата в него са специфични за техническата поддръжка на хостинга, но като цяло могат да се окажат полезни, ако не за всички, то за много от тях. Затова адаптирах текста на лекцията, за да го споделя тук.

Няма значение как се нарича вашата длъжност — важно е, че на практика вие се занимавате с администриране. Затова нека започнем с това, с което трябва да се занимава системният администратор. Основната му задача е да поддържа реда, да осигурява управление на ресурсите и да се подготвя за бъдещи увеличения на натоварването. Без системен администратор сървърът бързо се превръща в хаос. Логовете не се записват, или в тях се записва нещо несъществуващо, ресурсите се разпределят неоптимално, дискът се запълва с всякакъв вид боклук и системата започва да се срива от такова количество хаос. Спокойно! Системните администратори в лицето на вас започват решаването на проблемите и премахването на безредиците!

Опорни точки на системното администриране

Преди да преминем към решаването на проблемите, е добре да се запознаем с четирите основни опорни точки на администрирането:

Документация
Шаблонизиране
Оптимизация
Автоматизация

Това е основата на всичко. Ако не изградите работния си процес върху тези принципи, той ще бъде неефективен, непродуктивен и изобщо малко ще прилича на истинско администриране. Нека разгледаме всеки от тях поотделно.

Документация

Документация означава не само да четете документация (макар че без това не можете), но и да я водите.

Как да водите документация:

Сблъскали сте се с нова проблема, която досега не сте виждали? Запишете основните симптоми, методите за диагностика и принципите за отстраняване.
Разработили сте ново елегантно решение на типичен проблем? Запишете го, за да не се налага да го изобретявате наново след месец.
Помогнали са ви да разберете въпрос, по който не сте имали представа? Запишете основните тези и концепции, нарисувайте схема за себе си.

Основната идея: не трябва да разчитате изцяло на собствената си памет, когато учите и прилагате нови неща.

В какъв формат ще го направите, зависи само от вас: това може да бъде система за бележки, личен блог, текстов файл или физически тетрадка. Най-важното е вашите записи да отговарят на следните изисквания:

Да не са прекалено дълги. Изтъквайте основните идеи, методи и средства. Ако разбирането на проблема изисква задълбочаване в ниско ниво механика на работа с паметта в Linux, не преписвайте статията, от която сте я научили — дайте линк към нея.
Записите трябва да бъдат разбираеми за вас. Ако редицата race cond.lockup не ви позволява веднага да разберете какво описвате с тази редица — пояснете. В добра документация не трябва да се разчита по половин час.
Търсенето е много полезен инструмент. Ако водите записи в блог, добавяйте тагове; ако в физически тетрадка — залепвайте малки пост-ит бележки с описания. Няма особено значение в документацията, ако за да намерите отговор в нея, отделяте толкова време, колкото бихте отделили за решаване на въпрос от нула.

Ето как може да изглежда документация: от примитивни бележки в тетрадка (снимката по-горе) до пълноценна многопотребителска база знания с тагове, търсене и всички възможни удобства (по-долу).

Не само че няма да ви се налага да търсите едни и същи отговори два пъти: документирането ще бъде отлична помощ в изучаването на нови теми (конспекти, нали!), ще развие вашето 'паяжоподобно' чувство (умението да диагностицирате сложен проблем с един повърхностен поглед) и ще добави организация на вашите действия. Ако документацията бъде достъпна за вашите колеги, тя ще им позволи да разберат какво и как сте направили, когато не сте на място.

Шаблонизация

Шаблонизация означава създаване и използване на шаблони. За решаване на повечето типови въпроси е добре да се създаде определен шаблон на действие. За диагностика на повечето проблеми трябва да се използва стандартизирана последователност от действия. Когато ремонтирате/инсталирате/оптимизирате нещо, работоспособността на това нещо трябва да се проверява по стандартизирани чек-листи.

Шаблонизация е най-добрият начин за организиране на работния процес. Използвайки типови процедури за решаване на най-честите проблеми, вие получавате множество полезни неща. Например, използването на чек-листове ще ви позволи да диагностицирате всички важни функции за работата и да отстраните ненужната диагностика на маловажни функционалности. Стандартизираните процедури ще минимизират ненужните колебания и ще намалят вероятността за грешка.

Първият важен момент е, че процедурите и чек-листовете също трябва да се документират. Ако просто се надявате на паметта, можете да пропуснете някаква наистина важна проверка или операция и всичко да се срине. Вторият важен момент е - всички шаблонни практики могат и трябва да бъдат модифицирани, ако ситуацията изисква това. Няма идеални и напълно универсални шаблони. Ако имате проблем, а проверката по шаблон не го е разкрила - това не означава, че проблемът не съществува. Обаче преди да започнете проверка на някакви малко вероятни хипотетични проблеми, винаги е добре първо да направите бърза проверка по шаблон.

Оптимизация

Оптимизация говори сама за себе си. Работният процес трябва да бъде максимално оптимизиран по отношение на времето и усилията. Тук възможностите са безброй: научете горещите клавиши, съкращенията, регулярните изрази, наличните инструменти. Търсете начини за по-практично използване на тези инструменти. Ако 100 пъти на ден извиквате команда, свържете я с клавишно съкращение. Ако трябва редовно да се свързвате с едни и същи сървъри, запишете alias с едно слово, който ще ви свързва с тях:

Запознайте се с различните налични инструменти - възможно е да има по-удобен терминален клиент, DE, мениджър на клипборда, браузър, имейл клиент, операционна система. Разберете какви инструменти използват вашите колеги и познати - възможно е те да ги избират не просто така. След като подберете инструментите, научете се да ги използвате: запомнете клавишите, съкращенията, съветите и триковете.

Оптимално използвайте стандартните инструменти – coreutils, vim, регулярни изрази, bash. За последните три има огромно количество отлични ръководства и документация. С тяхна помощ можете доста бързо да преминете от състояние «аз се чувствам като маймуна, която чупи ядки с лаптоп – до «аз съм маймуна, която използва лаптопа, за да си поръча ядец».

Автоматизацията

Автоматизацията ще прехвърли тежките операции от нашите уморени ръце в неуморимите ръце на автоматика. Ако някаква стандартна процедура се изпълнява в пет еднотипни команди, защо да не обгърнете всички тези команди в един файл и да не извикате една команда, която този файл сваля и изпълнява?

Всъщност автоматизацията на 80% се състои в писането и оптимизацията на собствени инструменти (и още 20% от опитите да ги накарате да работят както трябва). Това може да бъде просто напреднал едноредов код или огромен всемогъщ инструмент с уеб интерфейс и API. Основният критерий тук е, че създаването на инструмента не трябва да отнема повече време и усилия, отколкото количеството време и усилия, което този инструмент ще ви спести. Ако напишете скрипт за пет часа, който никога повече няма да ви е нужен, за задача, която без него би отнела час-два – това е много лоша оптимизация на работния процес. Можете да отделите пет часа за създаване на инструмент, само ако количеството, типът задачи и времето позволяват, което не се случва често.

Автоматизацията не е задължително да включва написването на пълноценни скриптове. Например, за да създадете куп еднотипни обекти от списък, е достатъчен ловък едноредов код, който автоматично ще направи това, което вие бихте правили на ръка, превключвайки между прозорците, с куп копирането и поставянето.

Същевременно, ако изградите процеса на администриране на тези четири стълба, можете доста бързо да повишите своята ефективност, продуктивност и квалификация. Въпреки това, този списък трябва да бъде допълнен с още една точка, без която работата в ИТ практически е невъзможна – самообразованието.

Самообразованието на системния администратор

За да бъдете поне малко компетентни в тази сфера, трябва постоянно да учите и да научавате нови неща. Ако нямате никакво желание да се сблъсквате с неизвестното и да разбирате, много бързо ще се провалите. В IT постоянно се появяват различни нови решения, технологии и методи, и ако не ги изучавате дори на повърхностно ниво — сте на път към загуба. Много области на информационните технологии разчитат на доста сложна и обширна основа. Например, мрежовата работа. Мрежите и интернетът са навсякъде, сблъсквате се с тях всеки ден, но когато започнете да изучавате технологиите зад тях, ще откриете огромна и много сложна дисциплина, изучаването на която не е дори разходка в парка.

Не включих тази точка в списъка, защото тя е ключова за IT като цяло, а не само за системното администриране. Разбира се, няма как да научите абсолютно всичко веднага — просто физически няма да ви стигне времето. Ето защо, когато се самообразовате, трябва да помните за необходимите нива на абстракция.

Не е задължително веднага да учите как работи вътрешното управление на паметта на всяка отделна утилита и как тя взаимодейства с управлението на паметта на Linux, но е добре да знаете схематично какво представлява оперативната памет и за какво служи. Не е необходимо да знаете как структурно се различават заглавките на TCP и UDP, но би било добре да разбирате основните разлики в работата на протоколите. Не е нужно да изучавате какво представляват затихванията на сигнала в оптиката, но би било полезно да знаете защо реалните загуби винаги се наследяват по възлите. Няма нищо лошо в това да разбирате как работят определени елементи на определено ниво на абстракция и не е задължително да разглеждате абсолютно всички нива, когато абстракцията липсва напълно (просто ще полудете).

Въпреки това, в своята област да разсъждавате на ниво абстракция "това е нещо, което позволява да се показват сайтове" — не е много добро. Следващите лекции ще бъдат посветени на преглед на основните области, с които системният администратор трябва да се сблъсква в работата на по-ниски нива на абстракция. Ще се опитам да ограничим количеството разглеждани знания до минимално ниво на абстракция.

10 заповеди на системното администриране

И така, усвоихме четири основни стълба и основата. Можем ли да започнем да решаваме проблеми? Още не. Преди това е добре да се запознаем с така наречените "най-добри практики" и правила на добрия тон. Без тях съществува вероятност да причините повече вреда, отколкото полза. И така, нека започнем:

Някои от моите колеги смятат, че първото правило е "не наранявай". Но аз съм склонен да не се съглася. Когато се опитваш да не нараниш, не можеш да направиш нищо — твърде много действия са потенциално разрушителни. Най-важното правило според мен е — "направи архив". Дори ако нараниш, винаги можеш да се върнеш назад и всичко вече няма да е толкова зле.
Архивирай винаги, когато времето и мястото позволяват. Архивирай това, което ще променяш, и това, което рискуваш да изгубиш при потенциално разрушително действие. Добре е също така архивът да се провери за целостност и наличието на всички нужни данни. Не изтривай архива веднага след като всичко е проверено, освен ако не е необходимо да освободи място на диска. Ако е необходимо място — архивирай на твой личен сървър и изтривай след седмица.
Второто по важност правило (което аз самият често нарушавам) — "не крий". Ако си направил архив, напиши — къде, за да не се налага колегите ти да го търсят. Ако си направил някакви неочевидни или сложни действия, запиши: ще си тръгнеш у дома, а проблемът може да се повтори или да възникне при някой друг и твоето решение ще бъде открито по ключовите думи. Дори ако правиш нещо, което добре познаваш, това може да не е известно на твоите колеги.
Третото правило не се нуждае от обяснения: "никога не прави нещо, чиито последици не знаеш, не си представяш или не разбираш". Не копирай команди от интернет, ако не знаеш какво правят, повикай man и разясни първо. Не прилагай готови решения, ако не можеш да разбереш какво правят. Намали до абсолютния минимум изпълнението на обфускиран код. Ако нямаш време да се запознаеш — то правиш нещо не така и трябва да се запознаеш с следващия пункт.
"Тествай". Нови скриптове, инструменти, едноредовки и команди трябва да бъдат тествани в контролирана среда, а не на клиентска машина, ако там съществува поне минимален потенциал за разрушителни действия. Дори ако всичко е архивирано (а вие сте го направили), даунтаймът не е най-доброто нещо. Създайте отделен сървър/виртуална машина/chroot за тази цел и тествайте там. Нищо не се е счупило? Тогава можете да стартирате на „боевото“.
„Контролирай“. Минимизирайте всички операции, които не контролирате. Една кривa зависимост на пакет може да отведе половината от системата надолу, а зададеният флаг -y за yum remove ви дава възможност да тренировате уменията си за възстановяване на системата от нула. Ако действието няма неконтролируеми алтернативи, преминете към следващия пункт и готовия бекъп.
„Провери“. Проверявайте последствията от вашите действия и дали е необходимо да се върнете на бекъп. Проверявайте дали наистина проблема е решена. Проверявайте дали грешката се възпроизвежда и при какви условия. Проверявайте какво можете да счупите с вашите действия. Доверието в нашата работа е излишно, но проверката никога не е излишна.
„Комуникирай“. Ако не можете да разрешите проблема, попитайте колегите си дали са имали същия опит. Искате да приложите спорно решение - разбирайте мнението на колегите. Възможно е те да предложат по-добро решение. Нямате ли увереност в действията си - обсъдете ги с колегите. Дори ако това е вашата експертна област, свеж поглед на ситуацията може да изясни много. Не се срамувайте от собственото си незнание. По-добре е да зададете глупав въпрос, да изглеждате глупаво и да получите отговор на него, от колкото да не зададете въпроса, да не получите отговор и да останете в неведение.
„Не отказвай помощ без основателна причина“. Точката е обратната страна на предишната. Ако ви зададат глупав въпрос - пояснете и обяснете. Ако поискат невъзможно - обяснете защо е невъзможно и предложете алтернативи. Ако нямате време (наистина нямате време, а не желание) - кажете, че имате спешен въпрос и голямо количество работа, но ще се справите по-късно. Ако колегите нямат спешни задачи, предложете да се обърнат към тях и делегирайте въпроса.
„Дай обратна връзка“. Някой от колегите е започнал да прилага нова методология или нов скрипт, а вие срещате негативни последици от това решение? Уведомете ни за това. Може би проблемът се решава с три реда код или пет минути доработка на методологията. Нападнали сте бъг в софтуера? Уведомете за бъга. Ако той се възпроизвежда или няма нужда да се възпроизвежда, вероятно ще бъде поправен. Изказвайте желания, предложения и конструктивна критика, обсъждайте въпросите, които изглеждат актуални.
«Искайте обратна връзка». Всички ние не сме перфектни, както и решенията ни, а най-добрият начин да проверим правилността на решението си е да го изнесем на обсъждане. Оптимизирали сте нещо за клиента — помолете да следят работата, може би «вентила» на системата не е там, където сте търсили. Написали сте малък помощен скрипт — покажете го на колегите, може те да намерят начин да го подобрят.

Ако постоянно прилагате тези практики в работата, повечето проблеми спират да бъдат проблеми: не само ще сведете собствените си грешки и провали до минимум, но и ще имате възможности да ги поправите (под формата на бекъпи и колеги, които ще ви съветват да направите бекъп). След това — само технически детайли, в които, както е известно, се крие дяволът.

Основните инструменти, с които ще се наложи да работите повече от 50% от времето – grep и vim. Какво може да бъде по-просто? Търсене по текст и редактиране на текст. Въпреки това и grep, и vim са мощни многофункционални мултитули, които позволяват ефективно намиране и редактиране на текст. Ако някакъв Windows notepad ви позволи просто да напишете/изтриете ред, то в vim можете да правите почти всичко с текста. Не вярвате — извикайте командата vimtutor от терминала и започнете да се учите. Що се отнася до grep — основната му сила е в регулярните изрази. Да, самият инструмент позволява доста гъвкаво задаване на условия за търсене и извеждане на данни, но без RegExp това няма особен смисъл. И регулярните изрази трябва да се знаят! Най-малкото на базово ниво. За начало бих ви посъветвал да погледнете това видео, в него се разглеждат основите на регулярните изрази и тяхното приложение съвместно с grep. Ах да, при комбинирането им с vim, получавате ULTIMATE POWER възможност да правите с текста такива неща, че се налага да ги обвесите със значки 18+.

От останалите 50%, 40% се падат на пакета инструменти coreutils. За coreutils списък можете да видите в уикипедия, а мануалът за целия списък — на сайта GNU. Каквото не е покрито от този набор, има в утилитите POSIX. Не е необходимо да запомняте всичко с всички опции наизуст, но поне да имате представа какво могат основните инструменти — е полезно. Няма да се налага да изобретявате велосипеди от патерици. По някое време ми трябваше да заменя нови редове с интервали в изхода от някаква утилита, и нараненият ми мозък роди конструкция от типа sed ':a;N;$!ba;s/n/ /g', но съседът, който дойде, ме отстрани с метла от консолата, а после реши задачата, написвайки tr 'n' ' '.

Бих посъветвал да запомните какво прави всяка отделна инструмент и опции за най-често използваните команди, а за всичко останало има man. Не се колебайте да зови man, ако имате съмнения. И задължително прочетете man на самия man — той съдържа важна информация за това какво ще намерите.

Знаейки тези инструменти, можете да решите ефективно значителна част от задачите, с които ще се сблъскате на практика. В следващите лекции ще разгледаме кога да прилагате тези инструменти и структурата на основните служби и приложения, към които те се прилагат.

С вас беше системният администратор на FirstVDS Кирил Цветков.

Източник: habr.com