Тази статия е посветена на Python Gateway — проект на общността с отворен код за платформата за данни InterSystems IRIS. Този проект позволява оркестрация на всякакви алгоритми за машинно обучение, разработени на Python (основната среда за множество Data Scientists), и използване на многобройни готови библиотеки за бързо изграждане на адаптивни, роботизирани аналитични AI/ML решения на платформата InterSystems IRIS. В тази статия ще покажа как InterSystems IRIS може да оркестрира процеси на Python, ефективно да осъществява двустранна передача на данни и да създава интелигентни бизнес процеси.

План

1. Въведение.
2. Инструменти.
3. Инсталация.
4. API.
5. Интероперабилност.
6. Jupyter Notebook.
7. Изводи.
8. Линкове.
9. MLToolkit.

Въведение

Python е високо ниво език за програмиране с общо предназначение, ориентиран към увеличаване на производителността на разработчика и четимостта на кода. В тази серия статии ще разгледам възможностите за приложение на Python на платформата InterSystems IRIS, като основният акцент в тази статия е използването на Python като език за създаване и прилагане на модели за машинно обучение.

Машинното обучение (ML) е клас методи на изкуствения интелект, характеризиращи се с обучение в процеса на решаване на множество подобни задачи, вместо да се решава задача директно.

Алгоритмите и моделите за машинно обучение стават все по-разпространени. Има много причини за това, но накрая всичко се свежда до достъпността, простотата и постигането на практически резултати. Дали кластеризацията или дори невронното моделиране е нова технология?

Разбира се, че не, но в момента не е необходимо да пишем стотици хиляди редове код, за да стартираме един модел, а разходите за създаване и прилагане на модели стават все по-малки.

Инструментите се развиват - въпреки че нямаме напълно GUI-ориентирани AI/ML инструменти, напредъкът, който наблюдаваме в много други класове информационни системи, например BI (от писане на код до използване на фреймуорци и GUI-ориентирани конфигурируеми решения), също се наблюдава и в инструментите за създаване на AI/ML. Вече преминахме етапа на писане на код и днес използваме фреймуорци за изграждане и обучение на модели.

Други подобрения, например, възможността за разпространяване на предварително обучен модел, когато крайният потребител просто трябва да завърши обучението на модела с неговите специфични данни, също така опростяват началото на прилагането на машинното обучение. Тези постижения значително улесняват изучаването на машинното обучение както за специалистите, така и за компаниите като цяло.

От друга страна, ние събираме все повече данни. Благодарение на унифицираната платформа за данни, като InterSystems IRIS, всичката тази информация може да бъде незабавно подготвена и използвана като входни данни за модели на машинно обучение.

С прехода към облака стартирането на AI/ML проекти става по-лесно от когато и да е било. Можем да консумираме само онези ресурси, които са ни нужни. Освен това, благодарение на паралелизацията, предлагана от облачните платформи, можем да спестим време.

Но какво ще кажете за резултатите? Тук всичко става по-сложно. Съществуват многобройни инструменти за изграждане на модели, за които ще разкажа по-късно. Създаването на добър модел не е лесно, но какво следва? Получаването на печалба от използването на модела в бизнеса също е неосъществима задача. Коренът на проблема е в разделянето на аналитичните и транзакционните натоварвания и моделите на данни. Когато обучаваме модел, обикновено го правим на исторически данни. Но мястото на създадения модел е в транзакционната обработка на данни. Какво е добро в най-добрия модел за откриване на измамни транзакции, ако го стартираме веднъж на ден? Измамниците отдавна са изчезнали с парите. Трябва да обучим модела на исторически данни, но също така трябва да го прилагаме в реално време на новите постъпващи данни, за да могат бизнес процесите ни да действат в съответствие с прогнозите, направени от модела.

ML Toolkit — набор от инструменти, чиято цел е именно това: обединяване на модели и транзакционна среда, за да могат създадените модели да се използват лесно директно в бизнес процесите ви. Python Gateway е част от ML Toolkit и осигурява интеграция с езика Python (подобно на R Gateway, който е част от ML Toolkit и осигурява интеграция с езика R).

Инструментарий

Преди да продължим, бих искал да опиша няколко инструмента и библиотеки за Python, които ще използваме по-късно.

Технологии

• Python е интерпретируем, високостепенен език за програмиране с общо предназначение. Основното предимство на езика е голямата библиотека от математически, ML и AI библиотеки. Както и ObjectScript, това е обектно-ориентиран език, но всичко се определя динамично, а не статично. Освен това всичко е обект. По-късните статии предполагат мимолетно запознаване с езика. Ако искате да започнете обучението, препоръчвам да започнете с документацията.
• За нашите последващи упражнения инсталирайте Python 3.6.7 64 бита.
• IDE: Използвам PyCharm, но наистина има много. Ако използвате Atelier, съществува Eclipse приставка за разработчици на Python. Ако използвате VS Code, има разширение за Python.
• Notebook: вместо IDE можете да пишете и споделяте своите скриптове в онлайн тетрадки. Най-популярната от тях е Jupyter.

Библиотеки

Ето (непълен) списък на библиотеки за машинно обучение:

• Numpy — основен пакет за точни изчисления.
• Pandas — структури за данни с висока производителност и инструменти за анализ на данни.
• Matplotlib — създаване на графики.
• Seaborn — визуализация на данни, базирана на matplotlib.
• Sklearn — методи за машинно обучение.
• XGBoost — алгоритми за машинно обучение в рамките на методологията на градиентното буустинг (Gradient Boosting).
• Gensim — NLP.
• Keras — невронни мрежи.
• Tensorflow — платформа за създаване на модели за машинно обучение.
• PyTorch — платформа за създаване на модели за машинно обучение, ориентирана към Python.
• Nyoka — PMML от различни модели.

AI/ML технологиите позволяват на бизнеса да стане по-ефективен и гъвкав. В допълнение, днес тези технологии стават по-лесни за разработка и внедряване. Започнете да изучавате AI/ML технологиите и как те могат да помогнат на вашата организация да расте.

Инсталиране на

Има няколко начина за инсталиране и използване на Python Gateway:

• ОС
  • Windows
  • Linux
  • Mac
• Docker
  • Използвайте образ от DockerHub
  • Създайте свой собствен образ

Независимо от начина на инсталиране, ще имате нужда от изходния код. Единственото място за изтегляне на кода е страницата с версии. Тя съдържа тествани стабилни версии, просто вземете последната. Към момента това е 0.8, но с времето ще има и нови. Не клонирайте/изтегляйте репозитория, а просто изтеглете последната версия.

ОС

Ако инсталирате Python Gateway в операционната система, първо (независимо от операционната система) трябва да инсталирате Python. За целта:

1. Инсталирайте Python 3.6.7 64 бита. Препоръчва се да инсталирате Python в директорията по подразбиране.
2. Инсталирайте модула dill: pip install dill.
3. Изтеглете кода ObjectScript (т.е. do $system.OBJ.ImportDir("C:InterSystemsReposPythoniscpy", "*.cls", "c",,1)) в която и да е област с продукции. Ако искате съществуващата област да поддържа продукции, изпълнете: write ##class(%EnsembleMgr).EnableNamespace($Namespace, 1).
4. Поставете callout DLL/SO/DYLIB в папката bin на вашия инстанс InterSystems IRIS. Файлът с библиотеката трябва да е достъпен по пътя, който се връща write ##class(isc.py.Callout).GetLib().

Windows

1. Уверете се, че променливата на средата PYTHONHOME посочва на Python 3.6.7.
2. Уверете се, че системната променлива на средата PATH съдържа променливата PYTHONHOME (или директорията, на която сочи).

Linux (Debian/Ubuntu)

1. Проверете, че променливата на средата PATH съдържа /usr/lib и /usr/lib/x86_64-linux-gnu. Използвайте файла /etc/environment за задаване на променливите на средата.
2. При грешки undefined symbol: _Py_TrueStruct задействайте настройката PythonLib. Също така в Readme има раздел за отстраняване на проблеми.

Mac

1. В момента се поддържа само Python 3.6.7 от Python.org. Проверете променливата PATH.

Ако сте променяли променливите на средата, рестартирайте вашия продукт InterSystems.

Docker

Използването на контейнери има няколко предимства:

• Портативност
• Ефективност
• Изолация
• Лекота
• Иммутабилност

Запознайте се с тази серия статии за повече информация относно използването на Docker с продуктите на InterSystems.

Всички сборки на Python Gateway в момента са базирани на контейнери. 2019.4.

Готов образ

Изпълнете: docker run -d -p 52773:52773 --name irispy intersystemscommunity/irispy-community:latest, за да изтеглите и стартирате Python Gateway с InterSystems IRIS Community Edition. Това е всичко.

Създайте свой собствен образ

За изграждане на docker образ, изпълнете в корена на репозитория: docker build --force-rm --tag intersystemscommunity/irispy:latest ..
По подразбиране образът се изгражда на базата на образа store/intersystems/iris-community:2019.4.0.383.0, но можете да го промените, като зададете променливата IMAGE.
За изграждане от InterSystems IRIS, изпълнете: `docker build —build-arg IMAGE=store/intersystems/iris:2019.4.0.383.0 —force-rm —tag intersystemscommunity/irispy:latest`.

След това можете да стартирате docker образа:

docker run -d 
  -p 52773:52773 
  -v //:/mount 
  --name irispy 
  intersystemscommunity/irispy:latest 
  --key /mount/iris.key

Ако използвате образ, базиран на InterSystems IRIS Community Edition, не е необходимо да посочвате ключ.

Коментари

• Процес на тестване isc.py.test.Process съхранява серия от изображения в временен каталог. Може би ще искате да промените този път на монтиран каталог. За това редактирайте настройката WorkingDir като посочите монтираната директория.
• За достъп до терминала изпълнете: docker exec -it irispy sh.
• Достъп до Портала за Управление на Системата с логин SuperUser/SYS.
• За да спрете контейнера, изпълнете: docker stop irispy && docker rm --force irispy.

Проверка на инсталацията

След като инсталирате Python Gateway, е добре да проверите дали работи. Изпълнете този код в терминала на InterSystems IRIS:

set sc = ##class(isc.py.Callout).Setup() 
set sc = ##class(isc.py.Main).SimpleString("x='HELLO'", "x", , .var).
write var

В резултат трябва да бъде изведено HELLO — стойността на Python променливата x. Ако статусът, който се връща sc е грешка или var е празно, проверете Readme — секция за отстраняване на проблеми.

API

Python Gateway е инсталиран и вие се уверихте, че работи. Време е да започнете да го използвате!
Главният интерфейс за Python е isc.py.Main. Той предлага следните групи методи (всички връщат %Status):

• Изпълнение на кода
• Предаване на данни
• Помощни

Изпълнение на кода

Тези методи позволяват изпълнението на произволен Python код.

SimpleString

SimpleString — това е основният метод. Той приема 4 опционални аргумента:

• code — низ с кода за изпълнение. Символ за нов ред: $c(10).
• returnVariable — името на променливата за връщане.
• serialization — как да сериализирате returnVariable. 0 — string (по подразбиране), 1 — repr.
• резултати — ByRef референция на променливата, в която се записва стойността returnVariable.

По-горе изпълнихме:

set sc = ##class(isc.py.Main).SimpleString("x='HELLO'", "x", , .var).

В този пример присвояваме на Python променливата x стойността Здравейте и искаме да върнем стойността на Python променливата x в променливата на ObjectScript var.

ExecuteCode

ExecuteCode е по-безопасна и по-малко ограничена алтернатива SimpleString.
Низовете в платформата InterSystems IRIS са ограничени до 3 641 144 символа, и ако искате да изпълните по-дълъг код, трябва да използвате потоци.
Приемат се два аргумента:

• code — низ или поток от Python код за изпълнение.
• variable — (по избор) задава резултата от изпълнението code на тази Python променлива.

Пример за използване:

set sc = ##class(isc.py.Main).ExecuteCode("2*3", "y").

В този пример умножаваме 2 по 3 и записваме резултата в Python променлива y.

Предаване на данни

Предавайте данни на Python и обратно.

Python -> InterSystems IRIS

Има 4 начина да получите стойността на Python променлива в InterSystems IRIS, в зависимост от сериализацията, която ви е необходима:

• String за прости типове данни и отстраняване на грешки.
• Repr за съхранение на прости обекти и отстраняване на проблеми.
• JSON за лесно манипулиране на данни от страна на InterSystems IRIS.
• Pickle за запазване на обекти.

Тези методи позволяват извличането на променливи от Python под формата на низ или потоци.

• GetVariable(variable, serialization, .stream, useString) — получаване на serialization променлива variable в stream. Ако useString равно на 1 и ако сериализацията е поставена в низ, се връща низ, а не поток.
• GetVariableJson(variable, .stream, useString) — получаване на JSON сериализация на променливата.
• GetVariablePickle(variable, .stream, useString, useDill) -получаване на Pickle (или Dill) сериализация на променливата.

Нека опитаме да получим нашата променлива y.

set sc = ##class(isc.py.Main).GetVariable("y", , .val, 1)
write val
>6

InterSystems IRIS -> Python

Зареждаме данни от InterSystems IRIS в Python.

• ExecuteQuery(query, variable, type, namespace) — създава набор от данни (pandas dataframe или list) от sql заявка и я поставя в променлива в Python. variable. Пакетът isc.py трябва да бъде достъпен в областта namespace — там ще се изпълнява заявката.
• ExecuteGlobal(global, variable, type, start, end, mask, labels, namespace) — зарежда данни от глобала global от подскрипта start до end в Python като променлива от тип тип: list, или pandas. dataframe. Описание на опционалните аргументи mask и labels е достъпно в документацията на класа и репозитория Data Transfer docs.
• ExecuteClass(class, variable, type, start, end, properties, namespace) — зарежда данни от класа class от id start до end в Python като променлива от тип тип: list, или pandas. dataframe. properties — списък (разделител — запетая) на свойствата на класа, които трябва да бъдат заредени в набора от данни. Поддържат се маски. * и ?. По подразбиране — * (всички свойства). Свойството %%CLASSNAME се игнорира.
• ExecuteTable(table, variable, type, start, end, properties, namespace) — зарежда данни от таблицата table от id start до end в Python.

ExecuteQuery — универсално (всяка коректна SQL-заявка ще бъде предадена на Python). Въпреки това, ExecuteGlobal и неговите обвивки ExecuteClass и ExecuteTable работят с редица ограничения. Те са значително по-бързи (3-5 пъти по-бързо от ODBC драйвери и 20 пъти по-бързо ExecuteQuery). Допълнителна информация в Data Transfer docs.
Всички тези методи поддържат предаване на данни от всяка област. Пакетът isc.py трябва да бъде достъпен в целевата област.

ExecuteQuery

ExecuteQuery(request, variable, type, namespace) — предаване на резултатите от всяка коректна SQL-заявка на Python. Това е най-бавният метод за предаване на данни. Използвайте го, ако ExecuteGlobal и неговите обвивки не са на разположение.

Аргументи:

• query — sql заявка.
• variable — име на Python променливата, в която се записват данните.
• тип — list или Pandas dataframe.
• namespace — област, в която ще се изпълнява заявката.

ExecuteGlobal

ExecuteGlobal(global, variable, type, start, end, mask, labelels, namespace) — предаване на глобал в Python.

Аргументи:

• global — име на глобала без ^
• variable — име на Python променливата, в която се записват данните.
• тип — list или Pandas dataframe.
• start — първи подскрипт на глобала. Задължително %Integer.
• end — последният сабскрипт на глобала. Обязательно %Integer.
• mask — маска на стойности на глобала. Маската може да бъде по-къса от броя на полетата в глобала (в този случай полетата в края ще бъдат пропуснати). Как да форматираме маската:
  • + премини стойността така, както е.
  • - пропусни стойността.
  • b — Логически тип (0 — False, всичко останало — True).
  • d — Дата (от $horolog, на Windows от 1970, на Linux от 1900).
  • t — Време ($horolog, секунди след полунощ).
  • m — Времева маркировка (стринг във формат ГОДИНА-МЕСЕЦ-ДЕН ЧАС:МИНУТА:СЕКУНДА).
• labels — %List на имената на колоните. Първият елемент — името на сабскрипта.
• namespace — област, в която ще се изпълнява заявката.

ExecuteClass

Обвивка над ExecuteGlobal. На базата на определение на класа подготвя извикване ExecuteGlobal и го извиква.

ExecuteClass(class, variable, type, start, end, properties, namespace) — предаване на данни от класа в Python.

Аргументи:

• class — име на класа
• variable — име на Python променливата, в която се записват данните.
• тип — list или Pandas dataframe.
• start — начално Id.
• end — крайно Id
• properties — списък (разделител — запетая) на свойствата на класа, които трябва да бъдат заредени в набора от данни. Поддържат се маски. * и ?. По подразбиране — * (всички свойства). Свойството %%CLASSNAME се игнорира.
• namespace — област, в която ще се изпълнява заявката.

Всички свойства се предават така, както са, освен свойствата на типовете te, %Time, %Boolean и %TimeStamp — те се конвертират в съответните класове на Python.

ExecuteTable

Обвивка над ExecuteClass. Превежда името на таблицата в името на класа и извиква ExecuteClass. Подпис:

ExecuteTable(table, variable, type, start, end, properties, namespace) — предаване на данни от таблицата в Python.

Аргументи:

• table — име на таблицата.
  Всички останали аргументи се предават така, както са, в ExecuteClass.

Забележки

• ExecuteGlobal, ExecuteClass и ExecuteTable работят с еднаква бързина.
• ExecuteGlobal двадесет пъти по-бързо от ExecuteQuery при големи набори от данни (време за предаване повече от >0.01 секунди).
• ExecuteGlobal, ExecuteClass и ExecuteTable работят на глобали с дадената структура: ^global(ключ) = $lb(prop1, prop2, ..., propN) където key — цяло число.
• За ExecuteGlobal, ExecuteClass и ExecuteTable поддържан диапазон от стойности te отговаря на диапазона mktime и зависи от ОС (windows: 1970-01-01, linux 1900-01-01, mac). Използвайте %TimeStampза предаване на данни извън този диапазон или използвайте pandas dataframe, тъй като това ограничение е само за списък.
• За ExecuteGlobal, ExecuteClass и ExecuteTable всички аргументи, освен източника на данни (глобал, клас или таблица) и променливата, са опционални.

Примери

Тестов клас isc.py.test.Person съдържа метод, демонстриращ всички варианти за предаване на данни:

set global = "isc.py.test.PersonD"
set class = "isc.py.test.Person"
set table = "isc_py_test.Person"
set query = "SELECT * FROM isc_py_test.Person"

// Общи аргументи
set variable = "df"
set type = "dataframe"
set start = 1
set end = $g(^isc.py.test.PersonD, start)

// Метод 0: ExecuteGlobal без аргументи
set sc = ##class(isc.py.Main).ExecuteGlobal(global, variable _ 0, type)

// Метод 1: ExecuteGlobal с аргументи    
// При подаване на глобала имената на полетата се задават ръчно
// globalKey - името на субскрипта 
set labels = $lb("globalKey", "Name", "DOB", "TS", "RandomTime", "AgeYears", "AgeDecimal", "AgeDouble", "Bool")

// mask съдържа с 1 елемент по-малко от labels, тъй като "globalKey" е името на сабскрипта
// Пропускаме %%CLASSNAME
set mask = "-+dmt+++b"

set sc = ##class(isc.py.Main).ExecuteGlobal(global, variable _ 1, type, start, end, mask, labels)

// Метод 2: ExecuteClass
set sc = ##class(isc.py.Main).ExecuteClass(class, variable _ 2, type, start, end)

// Метод 3: ExecuteTable
set sc = ##class(isc.py.Main).ExecuteTable(table, variable _ 3, type, start, end)

// Метод 4: ExecuteTable
set sc = ##class(isc.py.Main).ExecuteQuery(query, variable _ 4, type)

Извикайте метода do ##class(isc.py.test.Person).Test() за да видите как работят всички методи за предаване на данни.

Допълнителни методи

• GetVariableInfo(variable, serialization, .defined, .type, .length) — да получите информация за променливата: дали е дефинирана, клас и дължина на сериализация.
• GetVariableDefined(variable, .defined) — дали променливата е дефинирана.
• GetVariableType(variable, .type) — да получите клас на променливата.
• GetStatus() — да получите и премахнете последното изключение от страна на Python.
• GetModuleInfo(module, .imported, .alias) — да получите променлива на модула и статус на импорта.
• GetFunctionInfo(function, .defined, .type, .docs, .signature, .arguments) — да получите информация за функцията.

Интероперативност

Научихте се да извиквате Python Gateway от терминала, сега ще започнем да го използваме в продукцията. Основата на взаимодействието с Python в този режим — isc.py.ens.Operation. Той ни позволява:

• Да изпълняваме код на Python
• Да запазваме/възстановяваме контекста на Python
• Да зареждаме и получаваме данни от Python

Всъщност, Python операцията е обвивка около isc.py.Main. Операцията isc.py.ens.Operation дава възможност за взаимодействие с Python процеса от продуктите на InterSystems IRIS. Поддържат се пет заявки:

• isc.py.msg.ExecutionRequest за изпълнение на Python код. Връща isc.py.msg.ExecutionResponse с резултата от изпълнението и стойностите на поисканите променливи.
• isc.py.msg.StreamExecutionRequest за изпълнение на Python код. Връща isc.py.msg.StreamExecutionResponse резултата от изпълнението и стойностите на поисканите променливи. Аналогичен isc.py.msg.ExecutionRequest, но приема и връща потоци вместо низове.
• isc.py.msg.QueryRequest за предаване на резултата от изпълнението на SQL запитване. Връща Ens.Response.
• isc.py.msg.GlobalRequest/isc.py.msg.ClassRequest/isc.py.msg.TableRequest за предаване на данни глобала/клас/таблица. Връща Ens.Response.
• isc.py.msg.SaveRequest за запазване на контекста на Python. Връща Ens.StringResponse с идентификатора на контекста.

• isc.py.msg.RestoreRequest за възстановяване на контекста на Python.

  Освен това, isc.py.ens.Operation има две настройки:

  • Initializer — избор на клас, реализиращ интерфейса isc.py.init.Abstract. Може да се използва за зареждане на функции, модули, класове и т.н. Изпълнява се само веднъж при стартиране на процеса.
  • PythonLib — (само за Linux) ако видите грешки при зареждане, задайте стойността му на libpython3.6m.so или дори до пълния път до библиотеката на Python.

Създаване на бизнес-процеси

Налични са два класа, които улесняват разработката на бизнес-процеси:

• isc.py.ens.ProcessUtils позволява извличане на анотации от активности с подмяна на променливи.
• isc.py.util.BPEmulator позволява лесно тестване на бизнес-процеси с Python. Може да изпълнява бизнес-процес (части на езика Python) в текущия процес.

Подмяна на променливи

Всички бизнес-процеси, наследени от isc.py.ens.ProcessUtils, могат да използват метода GetAnnotation(name) за получаване на стойността на анотацията на активността по нейното наименование. Анотацията на активността може да съдържа променливи, които ще бъдат изчислени от InterSystems IRIS преди да бъдат предадени на Python. Ето синтаксиса за подмяна на променливи:

• ${class:method:arg1:...:argN} — извикване на метод
• #{expr} — изпълни код на езика ObjectScript.

Примерът е наличен в тестовия бизнес-процес isc.py.test.Process, например, в активността Correlation Matrix: Graph: f.savefig(r'#{process.WorkDirectory}SHOWCASE${%PopulateUtils:Integer:1:100}.png'). В този пример:

• #{process.WorkDirectory} върща свойството WorkDirectory на обекта process, който е екземпляр на класа isc.py.test.Process т.е. текущия бизнес-процес.
• ${%PopulateUtils:Integer:1:100} извиква метода Integer клас %PopulateUtils, предавайки аргументите 1 и 100, връщайки произволно цяло число в диапазона 1...100.

Тестов бизнес-процес

Тестовата продукция и тестовият бизнес-процес са налични по подразбиране като част от Python Gateway. За да ги използвате:

1. В терминала на ОС изпълнете: pip install pandas matplotlib seaborn.
2. В терминала на InterSystems IRIS изпълнете: do ##class(isc.py.test.CannibalizationData).Import() за запълване на тестовите данни.
3. Стартирайте продукцията isc.py.test.Production.
4. Изпратете заявка от тип Ens.Request в isc.py.test.Process.

Нека видим как всичко това работи заедно. Отворете isc.py.test.Process в редактора BPL:

Изпълнение на кода

Най-важното извикване — изпълнението на кода на Python:

Използва се заявка isc.py.msg.ExecutionRequest, ето нейните свойства:

• Code — код на Python.
• SeparateLines — да се разделя ли кодът на редове за изпълнение. $c(10) (n) се използва за разделяне на редове. Обърнете внимание, че НЕ се препоръчва да се обработва съобщението изцяло наведнъж, тази функция е предназначена само за обработка def и подобни многострочни изрази. По подразбиране 0.
• Променливи — списък от променливи, разделени със запетаи, които ще бъдат добавени в отговора.
• Сериализация — Как да сериализираме променливите, които искаме да върнем. Опции: Str, Repr, JSON, Pickle и Dill, по подразбиране Str.

В нашия случай, ние само задаваме свойството Code, така че всички останали свойства ще използват стойностите по подразбиране. Задаваме го с извикването process.GetAnnotation("Import pandas"), което по време на изпълнение връща анотация след извършване на замяна на променливите. В крайна сметка, кодът import pandas as pd ще бъде предаден на Python. GetAnnotation може да е полезен за получаване на многострочни Python скриптове, но няма ограничения относно начина на получаване на кода. Можете да зададете свойството Code по всякакъв удобен за вас начин.

Получаване на променливи

Още едно интересно извикване с използване на isc.py.msg.ExecutionRequest — Матрица на корелацията: табличен:

Той изчислява матрицата на корелацията на страната на Python и извлича променливата corrmat обратно в InterSystems IRIS в JSON формат, чрез задаване на свойствата на запитването:

• Променливи: "corrmat"
• Сериализация: "JSON"

Можем да видим резултатите в Visual Trace:

И ако ни е нужно това значение в БП, можем да го получим по следния начин: callresponse.Variables.GetAt("corrmat").

Предаване на данни

Следва да поговорим за предаване на данни от InterSystems IRIS в Python, всички запитвания за предаване на данни реализират интерфейса isc.py.msg.DataRequest, който предоставя следните свойства:

• Variable — променливата Python, в която се записват данните.
• Тип — тип на променливата: dataframe (pandas dataframe) или list.
• Namespace — област, от която получаваме данните. Пакетът isc.py трябва да е достъпен в тази област. Това може да е област без поддръжка на продукции.

На базата на този интерфейс са реализирани 4 класа запитвания:

• isc.py.msg.QueryRequest — задайте свойството Query за предаване на SQL запитване.
• isc.py.msg.ClassRequest — задайте свойството Class за предаване на данни от клас.
• isc.py.msg.TableRequest — задайте свойството Table за предаване на данни от таблица.
• isc.py.msg.GlobalRequest — задайте свойството Global за предаване на данни от глобал.

В тестовия процес, наблюдавайте активността RAW, където isc.py.msg.QueryRequest показан в действие.

Съхраняване/възстановяване на контекста на Python

Накрая, можем да съхраним контекста на Python в InterSystems IRIS, за да направим това, ще изпратим isc.py.msg.SaveRequest с аргументите:

• Mask — Съхраняват се само променливи, които отговарят на маската. Поддържат се * и ?. Пример: "Data*, Figure?". По подразбиране *.
• MaxLength — Максималната дължина на запазената променлива. Ако сериализацията на променливата е по-дълга, тя ще бъде игнорирана. Задайте 0, за да получите променливи с произволна дължина. По подразбиране $$$MaxStringLength.
• Name — Име на контекста (по избор).
• Описание — Описание на контекста (по избор).

Връща Ens.StringResponse с Id на запазения контекст. В процеса на тестване, наблюдавайте активността Запази контекст.

Съответстващото искане isc.py.msg.RestoreRequest зарежда контекста от InterSystems IRIS в Python:

• ContextId — идентификатор на контекста.
• Изчисти — изчисти контекста преди възстановяване.

Jupyter Notebook

Jupyter Notebook — това е уеб приложение с отворен код, което позволява създаването на тетрадки, съдържащи код, визуализации и текст и тяхното публикуване. Python Gateway позволява преглед и редактиране на BPL процеси в Jupyter Notebook. Обърнете внимание, че в момента се използва стандартният executor Python 3.

Това разширение предполага, че анотациите съдържат код на Python и използват наименования на активности като заглавия на предшественици. Сега е възможно да се разработват бизнес процеси с PythonGateway в Jupyter Notebook. Ето какво е възможно:

• Да се създават нови бизнес процеси
• Да се изтриват бизнес процеси
• Да се създават нови активности
• Да се променят активности
• Да се изтриват активности

Ето демо видео. И няколко скрийншота:

Процесен експлорер

Редактор на процеса

Инсталиране на

1. Ще ви е необходим InterSystems IRIS 2019.2+.
2. Инсталирайте PythonGateway v0.8+ (необходимо е само isc.py.util.Jupyter, isc.py.util.JupyterCheckpoints и isc.py.ens.ProcessUtils).
3. Актуализирайте кода на ObjectScript от репозитория.
4. Изпълнете do ##class(isc.py.util.Jupyter).Install() и следвайте указанията.

Документация.

Изводи

MLToolkit — набор от инструменти, чиято цел е да обедини модели и транзакционна среда, така че построените модели да могат лесно да се използват направо във вашите бизнес процеси. Python Gateway е част от MLToolkit и осигурява интеграция с езика Python, позволявайки оркестрация на всякакви алгоритми за машинно обучение, създадени на езика Python (основната среда за много Data Scientists), използвайки множество готови библиотеки за бързо изграждане на адаптивни, роботизирани аналитични AI/ML решения на платформата InterSystems IRIS.

Връзки

• Предишна статия
• Python Gateway
• Примери за Python Gateway
• Convergent-Analytics
• Python 3.6.7 64 бита
• Документация и курсове по Python

MLToolkit

Група потребители на MLToolkit е частен GitHub репозиторий, създаден в рамките на корпоративната GitHub организация InterSystems. Тя е насочена към външни потребители, които инсталират, изучават или вече използват компонентите на MLToolkit, включително Python Gateway. В групата е наличен набор от реализирани кейсове (с изходен код и тестови данни) в области като маркетинг, производство, медицина и много други секции. За да се присъедините към групата потребители на ML Toolkit, моля, изпратете кратко съобщение по електронната поща на следния адрес: MLToolkit@intersystems.com и посочете в писмото си следните данни:

• Потребителско име в GitHub
• Организация (където работите или учите)
• Длъжност (вашата реална длъжност в организацията, или "Студент", или "Независим").
• Държава

На тези, които прочетоха статията и проявиха интерес към възможностите на InterSystems IRIS като платформа за разработка или хостване на механизми за изкуствен интелект и машинно обучение, предлагаме да обсъдим потенциални сценарии, които биха били интересни за вашето предприятие. С готовност ще анализираме нуждите на вашата компания и заедно ще определим план за действие; контактният имейл на нашата експертна група AI/ML е: MLToolkit@intersystems.com.

Източник: habr.com