Създаване на приятелство между Python и Bash: библиотеки smart-env и python-shell

Добър ден на всички

Днес Python е един от най-използваните езици в областта на създаването не само на самите софтуерни продукти, но и на предоставянето на тяхната инфраструктура. В резултат на това много devops, независимо дали по тяхна воля или против нея, трябваше да научат нов език за по-късна употреба като допълнение към добрите стари Bash скриптове. Bash и Python обаче изповядват различни подходи за писане на код и имат определени характеристики, което означава, че пренасянето на Bash скриптове към „змийския език“ понякога се оказва обемна и далеч не тривиална задача.

За да улеснят живота на devops, бяха създадени и продължават да се създават много полезни библиотеки и помощни програми в Python. Тази статия описва две нови библиотеки, създадени от автора на тази публикация - smart-env и python-shell - и предназначени да облекчат devops от необходимостта да обръщат много внимание на тънкостите на работата с Python, оставяйки място за по-интересни задачи. Обхватът на дейност на библиотеките е променливи на средата и стартиране на външни помощни програми.

Който се интересува, моля вижте кат.

Нови "велосипеди"?

Изглежда, защо да създавате нови пакети за доста обикновени операции? Какво ви пречи да използвате os.environ и subprocess.<метод или клас по ваш избор> директно?

Ще представя доказателства в полза на всяка от библиотеките поотделно.

библиотека smart-env

Преди да напишете свое собствено въображение, е полезно да отидете онлайн и да потърсите готови решения. Разбира се, има риск да не намерите това, от което се нуждаете, но това е по-скоро „застрахователно събитие“. По правило този подход работи и спестява много време и усилия.

Според резултатите търсене беше разкрито следното:

• има пакети, които всъщност обгръщат повиквания към os.environ, но в същото време изискват куп разсейващи действия (създаване на екземпляр на клас, специални параметри в повикванията и т.н.);
• Има добри пакети, които обаче са строго обвързани с конкретна екосистема (основно уеб рамки като Django) и следователно не са универсални без файл;
• има редки опити да се направи нещо ново. Например, добавете въвеждане и изрично анализирайте стойностите на променливи чрез извикване на методи като

  get_<typename>(var_name)

  Или тук още едно решение, който обаче не поддържа вече опозорения Python 2 (който въпреки официален RIP, все още има планини от писмен код и цели екосистеми);

• има ученически занаяти, които по някаква неизвестна причина са се озовали в PyPI нагоре и само създават проблеми с именуването на нови пакети (по-специално името „smart-env“ е необходима мярка).

И този списък може да продължи дълго време. Горните точки обаче бяха достатъчни, за да ме запалят по идеята да направя нещо удобно и универсално.

Изисквания, които бяха зададени преди написването на smart-env:

• Най-простата схема за използване
• Лесно конфигурируема поддръжка за въвеждане на данни
• Съвместим с Python 2.7
• Добро покритие на кода от тестове

В крайна сметка всичко това се реализира. Ето пример за използване:

from smart_env import ENV

print(ENV.HOME)  # Equals print(os.environ['HOME'])

# assuming you set env variable MYVAR to "True"

ENV.enable_automatic_type_cast()

my_var = ENV.MY_VAR  # Equals boolean True

ENV.NEW_VAR = 100  # Sets a new environment variable

Както можете да видите от примера, за да работите с нов клас, просто трябва да го импортирате (не е необходимо да създавате екземпляр - минус допълнителното действие). Достъпът до всяка променлива на средата се постига, като се отнася към нея като към променлива от класа ENV, което всъщност прави този клас интуитивна обвивка за естествената системна среда, като същевременно го превръща във възможен конфигурационен обект за почти всяка система ( подобен подход, например, е постигнат в Django, само че там конфигурационният обект е самият модул/пакет за настройки).

Активирането/деактивирането на режима за поддръжка на автоматично въвеждане се постига чрез два метода - enable_automatic_type_cast() и disable_automatic_type_cast(). Това може да бъде удобно, ако променливата на средата съдържа сериализиран JSON-подобен обект или дори само булева константа (изричното задаване на променливата DEBUG в Django чрез сравняване на променливата на средата с „валидни“ низове е един от най-честите случаи). Но сега няма нужда от изрично преобразуване на низове - повечето от необходимите действия вече са вградени в дълбините на библиотеката и просто чакат сигнал за действие. 🙂 Като цяло въвеждането работи прозрачно и поддържа почти всички налични вградени типове данни (frozenset, complex и bytes не са тествани).

Изискването за поддръжка на Python 2 беше приложено практически без жертви (изоставянето на писането и някои от „захарните бонбони“ на най-новите версии на Python 3), по-специално благодарение на вездесъщите шест (за решаване на проблемите с използването на метакласове ).

Но има някои ограничения:

• Поддръжката на Python 3 означава версия 3.5 и по-нова (тяхното присъствие във вашия проект е резултат или от мързел, или от липса на нужда от подобрения, тъй като е трудно да се измисли обективна причина защо все още сте на 3.4);
• В Python 2.7 библиотеката не поддържа десериализация на зададени литерали. Описание тук. Но ако някой иска да го реализира, заповядайте :);

Библиотеката също има механизъм за изключение в случай на грешки при анализиране. Ако низът не може да бъде разпознат от нито един от наличните анализатори, стойността остава низ (по-скоро от съображения за удобство и обратна съвместимост с обичайната логика на това как работят променливите в Bash).

библиотека на python-shell

Сега ще ви разкажа за втората библиотека (ще пропусна описанието на недостатъците на съществуващите аналози - тя е подобна на описаната за smart-env. Аналози - тук и тук).

Като цяло идеята за внедряване и изискванията за него са подобни на тези, описани за smart-env, както се вижда от примера:

from python_shell import Shell

Shell.ls('-l', '$HOME')  # Equals "ls -l $HOME"

command = Shell.whoami()  # Equals "whoami"
print(command.output)  # prints your current user name

print(command.command)  # prints "whoami"
print(command.return_code)  # prints "0"
print(command.arguments)  # prints ""

Shell.mkdir('-p', '/tmp/new_folder')  # makes a new folder

Идеята е следната:

1. Един клас, който представлява Bash в света на Python;
2. Всяка команда Bash се извиква като функция на класа Shell;
3. След това параметрите за всяко извикване на функция се предават в съответното извикване на команда Bash;
4. Всяка команда се изпълнява “тук и сега” в момента, в който е извикана, т.е. синхронният подход работи;
5. възможно е достъп до изхода на команда в stdout, както и нейния код за връщане;
6. Ако командата не е в системата, се хвърля изключение.

Както при smart-env, има поддръжка за Python 2 (въпреки че беше необходима малко повече жертвена кръв) и няма поддръжка за Python 3.0-3.4.

Планове за развитие на библиотеката

Можете да използвате библиотеките сега: и двете са публикувани в официалния PyPI. Източниците са налични в Github (вижте по-долу).

И двете библиотеки ще бъдат разработени, като се вземат предвид отзивите, събрани от заинтересованите. И ако може да е трудно да се измислят различни нови функции в smart-env, то в python-shell определено има още нещо, което да добавите:

• поддръжка за неблокиращи разговори;
• възможност за интерактивна комуникация с екипа (работа със stdin);
• добавяне на нови свойства (например свойство за получаване на изход от stderr);
• внедряване на директория с налични команди (за използване с функцията dir());
• и т.н.

Позоваването

1. библиотека smart-env: Github и PyPI
2. библиотека на python-shell: Github и PyPI
3. Телеграм канал актуализации на библиотеката

UPD 23.02.2020 г.:
* Репозиториите са преместени, съответните връзки са актуализирани
* Версия python-shell==1.0.1 се подготвя за пускане на 29.02.2020 г. Промените включват поддръжка за автоматично довършване на команди и командата dir(Shell), изпълнение на команди с невалиден идентификатор на Python и корекции на грешки.

Източник: www.habr.com