Сдружаваме Python и Bash: библиотеките smart-env и python-shell

Добър ден на всички.

В днешно време Python е един от най-използваните езици в сферата на разработването не само на софтуерни продукти, но и на инфраструктурата им. Поради това много девопс специалисти, независимо дали искат или не, трябваше да научат нов език, за да го използват в допълнение на старите добри Bash скриптове. Въпреки това, Bash и Python имат различни подходи към написването на код и определени характеристики, поради което преносът на Bash скриптове на „змейския език“ понякога се оказва сложна и далеч не тривиална задача.

За да облекчат живота на девопс специалистите, са създадени и продължават да се създават много полезни библиотеки и утилити на Python. Настоящата статия описва две нови библиотеки, създадени от автора на този пост — smart-env и python-shell — които целят да освободят девопс специалистите от необходимостта да отделят много внимание на детайлите от работата с Python, оставяйки пространство за по-интересни задачи. Областта на действие на библиотеките е работа с променливи на средата и стартиране на външни утилити.

Който се интересува, моля да продължи надолу.

Нови „велосипеди“?

Изглежда, че няма смисъл да се създават нови пакети за достатъчно обикновени операции? Какво пречи да се използват директно os.environ и subprocess.?

Доказателства в полза на всяка от библиотеките ще представя отделно.

Библиотека smart-env

Преди да започнете да пишете собственото си творение, е полезно да се поразровите в Интернет и да потърсите готови решения. Разбира се, има риск да не намерите това, от което се нуждаете, но това е по-скоро „страхов случай“. Обикновено подходът сработва и спестява много време и усилия.

Според по искане на беше установено следното:

• има пакети, които наистина обвиват извикванията към os.environ, но изискват много отвлечени действия (създаване на екземпляр на клас, специални параметри в извикванията и др.);
• има добри пакети, които обаче са здраво свързани с определена екосистема (главно с уеб фреймворци като Django) и затова без наковалня не са съвсем универсални;
• има редки опити да се направи нещо ново. Например, да се добави типизация и явно да се парсват стойностите на променливите чрез извикване на методи от вида

  get_(името на променливата)

  Или ето още едно решение, което обаче не поддържа вече остарелия Python 2 (на който, въпреки че има официален R.I.P., все още остават купища написан код и цели екосистеми);

• има училищни-студенски проекти, които напълно непонятно за какво се оказаха в upstream PyPI и само създават проблеми с именуването на нови пакети (в частност, името „smart-env“ е принудителна мярка).

И този списък може да продължи дълго. Въпреки това, и изброените по-горе точки бяха достатъчни, за да се запаля идеята да направя нещо удобно и универсално.

Изискванията, които бяха поставени пред написването на smart-env:

• Максимално проста схема на използване
• Лесна за конфигуриране поддръжка на типизация на данни
• Съвместимост с Python 2.7
• Добро покритие на кода с тестове

В крайна сметка, всичко това беше реализирано. Ето пример за употреба:

from smart_env import ENV

print(ENV.HOME)  # Равно на print(os.environ['HOME'])

# предполагайки, че сте задали променливата на среда MYVAR на "True"

ENV.enable_automatic_type_cast()

my_var = ENV.MY_VAR  # Равно на булево True

ENV.NEW_VAR = 100  # Задава нова променлива на среда

Както се вижда от примера, за работа с новия клас е достатъчно просто да го импортнете (не е нужно да създавате инстанция — което е излишно действие). Достъпът до всяка променлива на среда се постига чрез обращение към нея като към променлива на класа ENV, което всъщност прави този клас интуитивно разбираема обвивка на нативната системна среда, като паралелно я превръща в възможен вариант на конфигурационен обект практически всяка система (подобен подход, например, се постига в Django, само че там конфигурационният обект е самият модул/пакет settings).

Включването/изключването на режима на поддръжка на автоматична типизация се постига чрез използването на два метода — enable_automatic_type_cast() и disable_automatic_type_cast(). Това може да бъде удобно, ако в променливата на среда има сериализиран JSON-подобен обект или дори просто булева константа (явното указване на променливата DEBUG в Django чрез сравнение на променливата на среда с „допустимите“ низове — един от често срещаните случаи). Но сега няма нужда да конвертирате низовете ръчно — по-голямата част от необходимите действия вече са заложени в недрата на библиотеката и само чакат сигнал за действие. 🙂 В общи линии, типизацията работи прозрачно и поддържа почти всички налични вградени типове данни (не са тествани frozenset, complex и bytes).

Изискването за поддръжка на Python 2 беше реализирано практически без жертви (отказ от typing и някои „бонбончета“ от последните версии Python 3), благодарение на широкоразпространения six (за решаване на проблеми с използването на метакласове).

Но има и някои ограничения:

• Поддръжката на Python 3 изисква версия 3.5 и по-висока (наличието им в проекта ви е резултат или от мързел, или от липса на нужда от подобрения, тъй като трудно може да се измисли обективна причина, поради която все още да седите на 3.4);
• В Python 2.7 библиотеката не поддържа десериализация на литерали от множества. Описание тук. Но, ако някой иска да я реализира – добре дошъл:);

Библиотеката също така следва механизъм за изключения в случай на грешки при парсиране. Ако низът не може да бъде разпознат от нито един от наличните анализатори, стойността остава низова (по-скоро от съображения за удобство и обратна съвместимост с познатата логика на работа на променливите в Bash).

Библиотека python-shell

Сега ще ви разкажа за втората библиотека (описанието на недостатъците на наличните аналози пропускам – то е подобно на описаното за smart-env. Аналозите – тук и тук).

Като цяло, идеята за реализация и изискванията към нея са аналогични на описаните за smart-env, което се вижда от примера:

from python_shell import Shell

Shell.ls('-l', '$HOME')  # Равно на "ls -l $HOME"

command = Shell.whoami()  # Равно на "whoami"
print(command.output)  # принтира името на текущия потребител

print(command.command)  # принтира "whoami"
print(command.return_code)  # принтира "0"
print(command.arguments)  # принтира ""

Shell.mkdir('-p', '\/tmp\/new_folder')  # създава нова папка

Идеята е следната:

1. Единен клас, олицетворяващ Bash в света на Python;
2. Всяка Bash команда се извиква като функция на класа Shell;
3. Параметрите за извикване на всяка функция се предават при извикването на съответната Bash команда;
4. Всяка команда се изпълнява „тук и сега“ в момента на нейното извикване, т.е. работи синхронен подход;
5. има възможност за достъп до изхода на командата в stdout, както и кода на нейното завръщане;
6. Ако командата я няма в системата – хвърля се изключение.

Както в случая с smart-env, осигурена е поддръжка на Python 2 (вярно, нужно беше малко повече жертви) и няма поддръжка на Python 3.0-3.4.

Планове за развитие на библиотеките

Библиотеките могат да се използват вече: и двете са публикувани в официалния PyPI. Изходният код е наличен на Github (вижте по-долу).

И двете библиотеки ще се развиват с оглед на обратната връзка, събрана от заинтересованите. И, ако в smart-env може би е трудно да се измислят нови функции, то в python-shell определено има какво да се добави:

• поддръжка на неблокиращи повиквания;
• възможност за интерактивна комуникация с екипа (работа с stdin);
• добавяне на нови свойства (например, property за извличане на изхода от stderr);
• реализация на каталог с налични команди (за използване с функцията dir());
• и т.н.

Връзки

1. Библиотека smart-env: Github и PyPI
2. Библиотека python-shell: Github и PyPI
3. Телеграм-канал актуализации на библиотеките

UPD 23.02.2020:
* Репозиториите са преместени, съответните връзки са актуализирани
* Версия python-shell==1.0.1 е в процес на издаване на 29.02.2020. Сред промените — поддръжка на автоматично допълване на команди и команда dir(Shell), стартиране на команди с невалиден Python идентификатор, поправка на бъгове.

Източник: habr.com