See artikkel tutvustab Python Gateway't — kogukonna avatud lähtekoodiga projekti InterSystems IRIS andmeplatvormil. See projekt võimaldab orkestreerida kõiki masinõppe algoritme, mis on loodudPython'i keeles (peamine keskkond paljude andme teadlaste jaoks), ja kasutada mitmeid valmis raamatukogusid, et kiiresti luua kohandatud, robotiseeritud analüütilisi AI/ML lahendusi InterSystems IRIS platvormil. Selles artiklis näitan, kuidas InterSystems IRIS suudab orkestreerida protsesse Python'is, tõhusalt teostada kahepoolselt andmeedastust ja luua intelligentseid äriprotsesse.

Plaani

1. Sissejuhatus.
2. Tööriistakast.
3. Installimine.
4. API.
5. Interoperatiivsuse.
6. Jupyter Notebook.
7. Järeldused.
8. Lingid.
9. MLToolkit.

Sissejuhatus

Python on kõrgtasemeline üldine programmeerimiskeel, mille eesmärk on suurendada arendaja tootlikkust ja koodi loetavust. Selles artiklite sarjas räägin Python'i keele rakendusvõimalustest InterSystems IRIS platvormil, keskendudes selle artikli põhifookusele, mis on Python'i kasutamine masinõppemudelite loomiseks ja rakendamiseks.

Masinõpe (ML) on kunstliku intelligentsuse meetodite klass, mille iseloomulikuks jooniks on mitte probleemi otsene lahendamine, vaid õppimine sarnaste probleemide lahendamise protsessis.

Masinõppe algoritmid ja mudelid muutuvad üha levinumaks. Põhjuseid on mitmeid, kuid kõik taandub kättesaadavusele, lihtsusele ja praktiliste tulemuste saavutamisele. Kas klasterdamine või isegi närvivõrkude modelleerimine on uus tehnoloogia?

Kindlasti mitte, kuid praegu pole enam vajalik kirjutada sadu tuhandeid koodiridu, et käivitada üks mudel, ning mudelite loomise ja rakendamise kulud vähenevad järjest enam.

Tööriistad arenevad — kuigi meil pole täiesti GUI-suunitlusega AI/ML tööriistu, toimub see areng, mida oleme kogenud paljude teiste infosüsteemide klasside, näiteks BI (koodikirjutamisest GUI-seadistuslahenduste kasutamiseni) osas, ka AI/ML tööriistades. Oleme juba ületanud koodikirjutamisfaasi ja täna kasutame mudelite loomise ja õpetamise jaoks raamistikke.

Teised täiustused, nagu eelõpetatud mudeli levitamise võimalus, kus lõppkasutaja peab lihtsalt lõpetama mudeli koolituse oma spetsiifiliste andmete põhjal, muudavad masinõppe rakendamise alguse lihtsamaks. Need saavutused muudavad masinõppe õppimise kergemaks nii spetsialistide kui ka ettevõtete jaoks tervikuna.

Teisest küljest kogume üha rohkem andmeid. Tänu sellisele ühtsele andmeplatvormile nagu InterSystems IRIS saab kogu see teave kohe ette valmistada ja kasutada masinõppe mudelite algandmetena.

Pilve üleminekuga on AI/ML projektide käivitamine lihtsam kui kunagi varem. Me saame tarbida ainult neid ressursse, mida vajame. Veelgi enam, tänu pilveplatvormide pakutavale paralleelsusele saame säästa aega.

Aga mis on tulemused? Siin muutuvad asjad keerulisemaks. On palju tööriistu mudelite loomiseks, millest ma räägin edasi. Hea mudeli loomine ei ole lihtne, kuid mis edasi? Mudeli ärikasutamine on samuti keeruline ülesanne. Probleemi juured peituvad analüütiliste ja tehingukoormuste ning andmemudelite eristamises. Kui me koolitame mudelit, teeme seda tavaliselt ajalooliste andmete põhjal. Kuid mudeli koht on tehingute andmete töötlemises. Mis kasu on parimast petuskeemide avastamise mudelist, kui me käivitame selle ainult üks kord päevas? Petturid on juba kaua enne seda raha endale saanud. Peame mudelit koolitama ajalooliste andmete peal, kuid peame seda rakendama ka reaalajas uutelt andmetelt, et meie äri protsessid saaksid toimida mudeli tehtud prognooside kohaselt.

ML Toolkit — tööriistade komplekt, mille eesmärk on just see: mudelite ja tehingukeskkonna ühendamine, et loodud mudeleid saaks hõlpsasti kasutada otse teie äri protsessides. Python Gateway on osa ML Toolkitist ja tagab integreerimise Pythoniga (sarnaselt R Gateway’le, mis samuti ML Toolkit’i osa, tagab integreerimise R keelele).

Tööriistade komplekt

Enne kui jätkame, sooviksin tutvustada mõningaid Python’i tööriistu ja raamatukogusid, mida me hiljem kasutame.

Tehnoloogiad

• Python on tõlgendatav, kõrgtasemeline üldotstarbeline programmeerimiskeel. Keelenäitajaks on suur matemaatiliste, masinõppe ja AI raamatukogude kogum. Nagu ka ObjectScript, on see objektorienteeritud keel, kuid kõik määratakse dünaamiliselt, mitte staatiliselt. Kõik on samuti objekt. Edasised artiklid eeldavad, et olete keelest hetkeks tuttav. Kui soovite alustada õppimist, soovitan alustada dokumentatsioonis.
• Meie edasiste harjutuste jaoks installige Python 3.6.7 64 bit.
• IDE: Kasutan PyCharm, kuid üldiselt nende palju. Kui kasutate Atelierit, on olemas Eclipse'i plugin Pythoni arendamiseks. Kui kasutate VS Code'i, on olemas Pythonile mõeldud laiendus.
• Märkmik: IDE asemel saate oma skripte kirjutada ja nendega jagada veebimärkmikes. Kõige populaarsem neist on Jupyter.

Raamatukogud

Siin on (mittetäielik) nimekiri masinõppe raamatukogudest:

• Numpy — täpsete arvutuste põhipakett.
• Pandas — kõrge jõudlusega andmestruktuurid ja andmeanalüüsi tööriistad.
• Matplotlib — diagrammide loomine.
• Seaborn — andmete visualiseerimine, mis põhineb matplotlibil.
• Sklearn — masinõppe meetodid.
• XGBoost — masinõppe algoritmid, mis toetuvad gradientide tõusule (Gradient Boosting).
• Gensim — NLP.
• Keras — närvivõrgud.
• Tensorflow — masinõppe mudelite loomise platvorm.
• PyTorch — masinõppe mudelite loomise platvorm, mis on suunatud Pythonile.
• Nyoka — PMML erinevatest mudelitest.

AI/ML tehnoloogiad aitavad muuta äri tõhusamaks ja paindlikumaks. Veelgi enam, tänapäeval muutuvad need tehnoloogiad arendamisel ja rakendamisel lihtsamaks. Alustage AI/ML-tehnoloogiate uurimist ja õppige, kuidas need võivad aidata teie organisatsioonil kasvada.

Installeerimine

On mitmeid viise Python Gateway'i installimiseks ja kasutamiseks:

• OȘ
  • Windows
  • Linux
  • Mac
• Docker
  • Kasutage DockerHubi pilti
  • Looge oma oma pilt

Sõltumata installimisviisist vajate allika koodi. Ainult koht, kust koodi alla laadida, on väljaande leht. Seal on testitud stabiilsed väljalasked, lihtsalt võtke viimane. Hetkel on see 0.8, kuid aja jooksul tuleb uusi versioone. Ärge kloonige/üles laadige hoidlat, laadige alla viimane väljalase.

OȘ

Kui installite Python Gateway'i operatsioonisüsteemi, peate esmalt (sõltumata operatsioonisüsteemist) Python'i installima. Selleks:

1. Installige Python 3.6.7 64 bit. Soovitatav on installida Python vaikekausta.
2. Installige moodul dill: pip install dill.
3. Laadige alla ObjectScript kood (st. do $system.OBJ.ImportDir("C:InterSystemsReposPythoniscpy", "*.cls", "c",,1)) igasse piirkonda, kus on tooted. Kui soovite, et olemasolev piirkond toetaks tooteid, suhelge: write ##class(%EnsembleMgr).EnableNamespace($Namespace, 1).
4. Paigutage callout DLL/SO/DYLIB kausta bin teie InterSystems IRIS instantsist. Raamatukogufail peab olema saadaval teel, mida tagastatakse write ##class(isc.py.Callout).GetLib().

Windows

1. Veenduge, et keskkonnamuutuja PYTHONHOME osutab Python 3.6.7-le.
2. Veenduge, et süsteemi keskkonnamuutuja PATH sisaldab muutujat PYTHONHOME (või katalooge, millele see osutab).

Linux (Debian/Ubuntu)

1. Kontrollige, et keskkonnamuutuja PATH sisaldab /usr/lib ja /usr/lib/x86_64-linux-gnu. Kasutage faili /etc/environment keskkonnamuutujate seadistamiseks.
2. Vigade korral undefined symbol: _Py_TrueStruct seadke parameeter PythonLib. Samuti on Readme jaotises Tõrkeotsing.

Mac

1. Praegu toetatakse ainult Python 3.6.7 versiooni aadressilt Python.org. Kontrollige muutujat PATH.

Kui olete muutnud keskkonnamuutujate väärtusi, käivitage oma InterSystems toode uuesti.

Docker

Konteinerite kasutamine pakub mitmeid eeliseid:

• Üksus
• Tõhusus
• Isolatsioon
• Kerged
• Muuda

Tutvuge selle artiklite sarjaga detaile saamiseks Docker'i kasutamisest InterSystems toodetega.

Kõik Python Gateway ehitused põhinevad praegu konteineritel. 2019.4.

Valmis pilt

Käitage: docker run -d -p 52773:52773 --name irispy intersystemscommunity/irispy-community:latest, et laadida ja käivitada Python Gateway InterSystems IRIS Community Editioni koosseisus. Nii ongi.

Looge oma oma pilt

Docker pildi ehitamiseks käivitage juurkataloogis: docker build --force-rm --tag intersystemscommunity/irispy:latest ..
Vaikimisi koostis luuakse pildi põhjal store/intersystems/iris-community:2019.4.0.383.0, kuid saate seda muuta, seadistades muutuja IMAGE.
InterSystems IRIS-ist koostamiseks kasutage: `docker build —build-arg IMAGE=store/intersystems/iris:2019.4.0.383.0 —force-rm —tag intersystemscommunity/irispy:latest`.

Pärast seda saate käivitada Docker-pildi:

docker run -d 
  -p 52773:52773 
  -v //:/mount 
  --name irispy 
  intersystemscommunity/irispy:latest 
  --key /mount/iris.key

Kui kasutate InterSystems IRIS Community Edition'i põhjal loodud pilti, ei pruugi te võtit määrata.

Kommentaarid

• Testimisprotsess isc.py.test.Process salvestab mitmeid pilte ajutisse katalooge. Võib-olla soovite muuta selle tee monteeritud kataloogiks. Selleks muutke seade WorkingDir näidates monteeritud katalooge.
• Terminali juurde pääsemiseks kasutage: docker exec -it irispy sh.
• Juurdepääs Süsteemi Halduse Portaalile logi kaudu SuperUser/SYS.
• Konteinri peatamiseks kasutage: docker stop irispy && docker rm --force irispy.

Installatsiooni kontroll

Pärast Python Gateway installimist on mõistlik kontrollida, et see töötab. Käivitage see kood InterSystems IRIS terminalis:

set sc = ##class(isc.py.Callout).Setup() 
set sc = ##class(isc.py.Main).SimpleString("x='HELLO'", "x", , .var).
write var

Tulemus peab olema väljundis Tere — Pythoni muutuja väärtus x. Kui tagastatud staatuse sc on viga või var on tühi, kontrollige Readme — tõrkeotsingu jaotis.

API

Python Gateway on paigaldatud ja teil on kinnituseks, et see töötab. On aeg alustamiseks!
Peamine liides Pythonile on isc.py.Main. See pakub järgmisi meetodigruppide (kõik tagastavad %Status):

• Koodi täitmine
• Andmete edastamine
• Abiprogrammid

Koodi täitmine

Need meetodid võimaldavad täita suvalist Python koodi.

SimpleString

SimpleString — see on põhi meetod. See võtab 4 valikulist argumenti:

• code — täidetav koodirida. Rida vahetusmärk: $c(10).
• returnVariable — muutuja nimi, mis tagastatakse.
• serialiseerimise — kuidas serialiseerida returnVariable. 0 — string (vaikimisi), 1 — repr.
• tulemus — ByRef viide muutuja, kuhu väärtus salvestatakse returnVariable.

Ülal me täitsime:

set sc = ##class(isc.py.Main).SimpleString("x='Tere'", "x", , .var).

Selles näites määrame Pythoni muutuja x väärtus Tere ja soovime tagastada Python'i muutuja x ObjectScript muutuja var.

ExecuteCode

ExecuteCode on turvalisem ja vähem piiratud alternatiiv SimpleString.
InterSystems IRIS platvormil on stringid piiratud 3 641 144 märgiga, ning kui soovite käivitada pikema koodi, peate kasutama vooge.
Võetakse vastu kaks argumenti:

• code — string või Python koodivoog täitmiseks.
• variable — (valikuline) määrab tulemuse code selle Python muutuja.

Kasutamine:

set sc = ##class(isc.py.Main).ExecuteCode("2*3", "y").

Selles näites korrutame 2 ja 3 ning salvestame tulemuse Python muutuja. y.

Andmete edastamine

Edastage andmeid Pythonisse ja tagasi.

Python -> InterSystems IRIS

InterSystems IRIS-is on 4 viisi, kuidas saada Python muutuja väärtus, olenevalt vajatust serialiseerimisest:

• String lihtsate andmetüüpide ja silumise jaoks.
• Repr lihtsate objektide hoidmiseks ja silumise jaoks.
• JSON andmete lihtsaks käsitlemiseks InterSystems IRIS pool.
• Pickle objektide salvestamiseks.

Need meetodid võimaldavad saada muutujaid Pythonist stringidena või voogudena.

• GetVariable(variable, serialization, .stream, useString) — saada serialiseerimise muutuja variable ühes stream. Kui useString kui 1 ja serialiseerimine asetatakse stringi, siis tagastatakse string, mitte voog.
• GetVariableJson(variable, .stream, useString) — saada muutuja JSON serialiseerimine.
• GetVariablePickle(variable, .stream, useString, useDill) — saada Pickle (või Dill) serialiseerimine muutuja.

Püüame saada meie muutuja y.

set sc = ##class(isc.py.Main).GetVariable("y", , .val, 1)
write val
>6

InterSystems IRIS -> Python

Laadime andmeid InterSystems IRIS-ist Pythonisse.

• ExecuteQuery(query, variable, type, namespace) — loob andmeseti (pandas dataframe või loend) SQL päringu põhjal ja seob selle Python muutuja külge variable. Pakett isc.py peab olema ulatuses namespace — seal käivitatakse päring.
• ExecuteGlobal(global, variable, type, start, end, mask, labels, namespace) — laadib globaalset andmestikku globaalne alates alamskripti start kuni lõpp Pythonisse muutuja tüübina type: loend, või pandas dataframe. Valikargumendide kirjeldus mask ja labels on saadaval klassi dokumentatsioonis ja repos Andmete ülekande dokumendid.
• ExecuteClass(class, variable, type, start, end, properties, namespace) — laadib klassi andmeid class ID-lt start kuni lõpp Pythonisse muutuja tüübina type: loend, või pandas dataframe. properties — omaduste loend (eraldaja – koma), mis tuleb laadida andmesetti. Toetatakse maske * ja ?. Vaikimisi — * (kõik omadused). Omadust %%CLASSNAME ei arvestata.
• ExecuteTable(table, variable, type, start, end, properties, namespace) — laadib tabeli andmed tabel ID-lt start kuni lõpp Pythonisse.

ExecuteQuery — universaalne (igal kehtival SQL-päringul on lubatud edastada Pythonisse). Kuid ExecuteGlobal ja selle ümbrikud ExecuteClass ja ExecuteTable töötavad teatud piirangutega. Need on palju kiirem (3-5 korda kiirem ODBC draiveritest ja 20 korda kiirem ExecuteQuery). Täiendav teave on Andmete ülekande dokumendid.
Kõik need meetodid toetavad andmete edastamist mis tahes piirkonnast. Pakett isc.py peab olema sihtpiirkonnas kättesaadav.

ExecuteQuery

ExecuteQuery(request, variable, type, namespace) — edastamine tulemusi mis tahes regulaarse SQL-päringu puhul Pythonis. See on aeglasim andmete edastamise meetod. Kasutage seda, kui ExecuteGlobal ja selle mähiseid pole saadaval.

Argumentide loetelu:

• query — sql päring.
• variable — Python muutuja nimi, kuhu andmed kirjutatakse.
• type — loend või Pandas dataframe.
• namespace — piirkond, milles päringut täidetakse.

ExecuteGlobal

ExecuteGlobal(global, variable, type, start, end, mask, labels, namespace) — globaali edastamine Pythonis.

Argumentide loetelu:

• globaalne — globaali nimi ilma ^
• variable — Python muutuja nimi, kuhu andmed kirjutatakse.
• type — loend või Pandas dataframe.
• start — globaalide esimene alam-skript. Kohustuslik %Integer.
• lõpp — globaalide viimane alam-skript. Kohustuslik %Integer.
• mask — globaalide väärtuste mask. Mask võib olla lühem kui globaalide väljade arv (sellisel juhul jätetakse lõpu pooled välja). Kuidas maski vormindada:
  • + edasta väärtus nii nagu see on.
  • - jäta väärtus vahele.
  • b — Loogiline tüüp (0 — False, kõik muu — True).
  • d — Kuupäev (alates $horolog, Windowsis alates 1970, Linuxis alates 1900).
  • t — Aeg ($horolog, sekundid pärast keskööd).
  • m — Aja temp (aasta-kuud-päev tund:minut:sekund formaadi string).
• labels — %Loend veergude nimed. Esimene element — alam-skripti nimi.
• namespace — piirkond, milles päringut täidetakse.

ExecuteClass

Mähis üle ExecuteGlobal. Valiku klassi määratlemisel valmistab ette väljakutse ExecuteGlobal ja kutsub selle välja.

ExecuteClass(class, variable, type, start, end, properties, namespace) — klassi andmete edastamine Pythonis.

Argumentide loetelu:

• class — klassi nimi
• variable — Python muutuja nimi, kuhu andmed kirjutatakse.
• type — loend või Pandas dataframe.
• start — algne Id.
• lõpp — lõpp Id
• properties — omaduste loend (eraldaja – koma), mis tuleb laadida andmesetti. Toetatakse maske * ja ?. Vaikimisi — * (kõik omadused). Omadust %%CLASSNAME ei arvestata.
• namespace — piirkond, milles päringut täidetakse.

Kõik atribuudi väärtused edastatakse sellistena nagu nad on, välja arvatud tüübid %Date, %Time, %Boolean ja %TimeStamp — need konverteeritakse vastavatesse Python klassidesse.

ExecuteTable

Mähis üle ExecuteClass. Tõlgib tabeli nime klassi nimeks ja kutsub selle välja ExecuteClass. Signatuur:

ExecuteTable(table, variable, type, start, end, properties, namespace) — tabeli andmete edastamine Pythonis.

Argumentide loetelu:

• tabel — tabeli nimi.
  Kõik muud argumendid edastatakse sellistena nagu nad on ExecuteClass.

Märkmed

• ExecuteGlobal, ExecuteClass ja ExecuteTable töötab sama kiiresti.
• ExecuteGlobal 20 korda kiiremini kui ExecuteQuery suurtel andmekogudel (edastusaeg > 0.01 sekundit).
• ExecuteGlobal, ExecuteClass ja ExecuteTable töötavad globaalide puhul, millel on järgmine struktuur: ^global(key) = $lb(prop1, prop2, ..., propN) kus key — täisarv.
• Kuna ExecuteGlobal, ExecuteClass ja ExecuteTable toetatud väärtuste vahemik %Date vastab vahemikule mktime ja sõltub OS-ist (windows: 1970-01-01, linux 1900-01-01, mac). Kasutage %TimeStampselle vahemiku väljaspool andmete edastamiseks või kasutage pandas dataframe'i, kuna see piirang kehtib ainult nimekirja kohta.
• Kuna ExecuteGlobal, ExecuteClass ja ExecuteTable Kõik argumendid, välja arvatud andmeallikas (globaal, klass või tabel) ja muutuja, on valikulised.

Näited

Testklass isc.py.test.Person sisaldab meetodit, mis demonstreerib kõiki andmete edastamise variante:

set global = "isc.py.test.PersonD"
set class = "isc.py.test.Person"
set table = "isc_py_test.Person"
set query = "SELECT * FROM isc_py_test.Person"

// Üldised argumendid
set variable = "df"
set type = "dataframe"
set start = 1
set end = $g(^isc.py.test.PersonD, start)

// Meetod 0: ExecuteGlobal ilma argumentideta
set sc = ##class(isc.py.Main).ExecuteGlobal(global, variable _ 0, type)

// Meetod 1: ExecuteGlobal argumentidega
// Kui globaalne muutuja edastatakse, määratakse väljade nimed käsitsi
// globalKey - subscripte nimi
set labels = $lb("globalKey", "Name", "DOB", "TS", "RandomTime", "AgeYears", "AgeDecimal", "AgeDouble", "Bool")

// mask sisaldab 1 elementi vähem kui labels, kuna "globalKey" - subscripte nimi
// Jätame %%CLASSNAME välja
set mask = "-+dmt+++b"

set sc = ##class(isc.py.Main).ExecuteGlobal(global, variable _ 1, type, start, end, mask, labels)

// Meetod 2: ExecuteClass
set sc = ##class(isc.py.Main).ExecuteClass(class, variable _ 2, type, start, end)

// Meetod 3: ExecuteTable
set sc = ##class(isc.py.Main).ExecuteTable(table, variable _ 3, type, start, end)

// Meetod 4: ExecuteTable
set sc = ##class(isc.py.Main).ExecuteQuery(query, variable _ 4, type)

Kutsuge meetod do ##class(isc.py.test.Person).Test() näha, kuidas kõik andmeedastusmeetodid töötavad.

Abimeetodid

• GetVariableInfo(variable, serialization, .defined, .type, .length) — saada teavet muutujast: kas see on määratletud, klass ja serialiseerimise pikkus.
• GetVariableDefined(variable, .defined) — kas muutuja on määratletud.
• GetVariableType(variable, .type) — saada muutujaklass.
• GetStatus() — saada ja eemaldada viimane erand Pythonis.
• GetModuleInfo(module, .imported, .alias) — saada mooduli muutujat ja impordi staatust.
• GetFunctionInfo(function, .defined, .type, .docs, .signature, .arguments) — saada funktsiooni teavet.

Interoperatiivsuse

Olete õppinud kutsuma Python Gateway'd terminalist, nüüd alustame selle kasutamist tootmises. Koostoime Pythoniga sellises režiimis põhineb isc.py.ens.Operation. See võimaldab meil:

• Täitma koodi Pythonis
• Salvestama/taastama Python konteksti
• Laadida ja saada andmeid Pythonist

Põhimõtteliselt on Python operatsioon see, mis katab isc.py.Main. Operatsioon isc.py.ens.Operation annab võimaluse suhelda Python protsessiga InterSystems IRISi tootmisest. Toetatakse viit päringut:

• isc.py.msg.ExecutionRequest Python koodi täitmiseks. Tagastab isc.py.msg.ExecutionResponse täitmise tulemuse ja küsitud muutujate väärtused.
• isc.py.msg.StreamExecutionRequest Python koodi täitmiseks. Tagastab isc.py.msg.StreamExecutionResponse täitmise tulemuse ja küsitud muutujate väärtused. Analoog isc.py.msg.ExecutionRequest, kuid võtab ja tagastab vooge stringide asemel.
• isc.py.msg.QueryRequest SQL päringu täitmise tulemuse edastamiseks. Tagastab Ens.Response.
• isc.py.msg.GlobalRequest/isc.py.msg.ClassRequest/isc.py.msg.TableRequest andmete edastamiseks globaalsetele / klassidele / tabelitele. Tagastab Ens.Response.
• isc.py.msg.SaveRequest Python konteksti salvestamiseks. Tagastab Ens.StringResponse koos konteksti tuvastajaga.

• isc.py.msg.RestoreRequest Python konteksti taastamiseks.

  Lisaks toetab isc.py.ens.Operation on kaks seadistust:

  • Initializer — klassi valik, mis realiseerib liidest isc.py.init.Abstract. Seda saab kasutada funktsioonide, moodulite, klasside jne laadimiseks. Seda täidetakse vaid üks kord protsessi käivitamisel.
  • PythonLib — (ainult Linuxi jaoks) kui näete laadimise ajal vigu, seadke selle väärtus libpython3.6m.so või isegi Python teegile täis tee.

Äriprosesside loomine

On olemas kaks klassi, mis lihtsustavad äriprotsesside arendamist:

• isc.py.ens.ProcessUtils võimaldab välja tõmmata annotatsioone tegevustest muutuja asendamisega.
• isc.py.util.BPEmulator võimaldab hõlpsasti testida äriprotsesse Pythoniga. See suudab käivitada äriprotsessi (osad Python keeles) käimasolevas protsessis.

Muudatuste asendamine

Kõik äriprotsessid, mis pärinevad isc.py.ens.ProcessUtils, saavad kasutada meetodit GetAnnotation(name) aktiivsuse annotatsiooni väärtuse saamiseks tema nimetuse järgi. Aktiivsuse annotatsioon võib sisaldada muutujaid, mis arvutatakse InterSystems IRIS'i pool enne edastamist Pythonisse. Siin on muutuja asendamise süntaks:

• ${class:method:arg1:...:argN} — meetodi väljakutse
• #{expr} — koodi täitmine ObjectScripti keeles.

Näidis on saadaval testimisprotsessis isc.py.test.Process, näiteks aktiivsuses Korrelatsioonimatrix: Graaf: f.savefig(r'#{process.WorkDirectory}SHOWCASE${%PopulateUtils:Integer:1:100}.png'). Selles näites:

• #{process.WorkDirectory} tagastab objekti WorkDirectory omaduse processnäiteks praeguse äriprotsessi. isc.py.test.Process ${%PopulateUtils:Integer:1:100}
• ${%PopulateUtils:Integer:1:100} kutsub välja meetodi Integer klass %PopulateUtils, edastades argumendid 1 ja 100, tagastades juhusliku täisarvu vahemikus 1...100.

Testimisprotsess

Testtooted ja testimisprotsess on vaikimisi saadaval Python Gateway'i osana. Nende kasutamiseks:

1. Käivitage terminalis: pip install pandas matplotlib seaborn.
2. InterSystems IRIS terminalis käivitage: do ##class(isc.py.test.CannibalizationData).Import() testandmete täitmiseks.
3. Käivitage toode isc.py.test.Production.
4. Saada päringutüüpi Ens.Request ühes isc.py.test.Process.

Vaadake, kuidas see kõik koos töötab. Avage isc.py.test.Process BPL redigeerijas:

Koodi täitmine

Kõige olulisem väljakutse — Python koodi täitmine:

Kasutatakse päringut isc.py.msg.ExecutionRequest, siin on selle omadused:

• Kood — Pythoni kood.
• SeparateLines — kas jagada kood ridadeks täitmiseks. $c(10) (n) kasutatakse ridade eraldamiseks. Pange tähele, et EI SOOVITATA tegeleda sõnumiga korraga, see funktsioon on mõeldud ainult töötlemiseks def ja sarnaste mitmerealiste väljendite jaoks. Vaikimisi 0.
• Muutujad — komadega eraldatud muutujate loend, mis lisatakse vastusele.
• Serialization — Kuidas serialiseerida muutujad, mille soovime tagasi anda. Valikud: Str, Repr, JSON, Pickle ja Dill, vaikimisi Str.

Meie juhul määrame ainult omaduse Kood, seega kasutavad kõik teised omadused vaikeseadeid. Määrame selle kutsumisega process.GetAnnotation("Import pandas"), mis jooksutamise ajal tagastab annotatsiooni pärast muutujate asendamist. Lõpuks, kood import pandas as pd edastatakse Pythonile. GetAnnotation võib olla kasulik mitmerealiste Python skriptide saamiseks, kuid ei ole mingeid piiranguid selle meetodi kohta koodi saamisel. Võite määrata omaduse Kood igaühel, kes teile sobib.

Muutujate saamine

Veel üks huvitav väljakutse kasutades isc.py.msg.ExecutionRequest — Correlation Matrix: Tabular:

See on Pythonis korrelatsioonimatriitsi arvutamine ja muutuja välja tõmbamine corrmat InterSystems IRIS-i tagasi formatiseeritud JSON-i kujul, seadistades päringu omadused:

• Muutujad: "corrmat"
• Serialization: "JSON"

Me saame tulemusi näha Visual Trace'is:

Ja kui me seda väärtust vajame, saame selle kätte nii: callresponse.Variables.GetAt("corrmat").

Andmete edastamine

Järgnevalt räägime andmete edastamisest InterSystems IRIS-ist Pythonisse, kõik andmete edastamise päringud rakendavad liidest isc.py.msg.DataRequest, mis pakub järgmisi omadusi:

• Variable — Python muutuja, kuhu kirjutatakse andmed.
• Tüüp — muutuja tüüp: dataframe (pandas dataframe) või loend.
• Namespaces — ala, kust andmed saadakse. Pakett isc.py peab olema sellel alal kergesti ligipääsetav. See võib olla ala, mis ei toeta tooteid.

Selle liidese alusel on ellu viidud 4 päringu klassi:

• isc.py.msg.QueryRequest — seadke omadus Päring SQL päringu edastamiseks.
• isc.py.msg.ClassRequest — seadke omadus Class andmete klassi edastamiseks.
• isc.py.msg.TableRequest — seadke omadus Tabela tabeli andmete edastamiseks.
• isc.py.msg.GlobalRequest — seadke omadus Global globaalsete andmete edastamiseks.

Testimise protsessi käigus vaadake aktiivsust RAW, kus isc.py.msg.QueryRequest näidatud tegevuses.

Python konteksti salvestamine / taastamine

Lõpuks saame salvestada Python konteksti InterSystems IRIS-s, et seda teha, saadame isc.py.msg.SaveRequest argumendid:

• Mask — Salvestatakse ainult mustrile vastavad muutujad. Toetatud on * ja ?. Näide: "Data*, Figure?". Vaikimisi *.
• MaxLength — Salvestatava muutuja maksimaalne pikkus. Kui muutuja serialiseerimine ületab seda, jäetakse see tähelepanuta. Seadke 0, et lubada muutujaid mis tahes pikkuses. Vaikimisi $$$MaxStringLength.
• Nimi — Konteksti nimi (valikuline).
• Kirjeldus — Konteksti kirjeldus (valikuline).

Tagastab Ens.StringResponse koos Id salvestatud konteksti. Testimisprotsessi käigus vaadake aktiivsust Salvesta kontekst.

Sobilik päring isc.py.msg.RestoreRequest laadib konteksti InterSystems IRIS-st Pythonisse:

• ContextId — konteksti identifikaator.
• Puhasta — puhastada kontekst enne taastamist.

Jupyter Notebook

Jupyter Notebook — see on avatud lähtekoodiga veebirakendus, mis võimaldab luua märkmikke, mis sisaldavad koodi, visualiseerimisi ja teksti ning neid avaldada. Python Gateway võimaldab vaadata ja redigeerida BPL-protsesse Jupyter Notebook'i kujul. Pange tähele, et hetkel kasutatakse tavapärast Python 3 executorit.

See laiendus eeldab, et annotatsioonid sisaldavad Python koodi ja kasutavad aktiivsuste nimesid eelnevate pealkirjadena. Nüüd on võimalik arendada äri-protsesse PythonGateway Jupyter Notebookis. Siin on, mis on võimalik:

• Luua uusi äri protsesse
• Kustutada äri protsesse
• Luua uusi tegevusi
• Muuta tegevusi
• Kustutada tegevusi

Siin on demo-video. Ja mõned ekraanipildid:

Protsesside juhend

Protsessi redaktor

Installeerimine

1. Teil on vaja InterSystems IRIS 2019.2+.
2. Installige PythonGateway v0.8+ (nõutav ainult isc.py.util.Jupyter, isc.py.util.JupyterCheckpoints ja isc.py.ens.ProcessUtils).
3. Uuendage ObjectScript koodi hoidlast.
4. Sooritage do ##class(isc.py.util.Jupyter).Install() ja järgige juhiseid.

Dokumentatsioon.

Järeldused

MLToolkit on tööriistade komplekt, mille eesmärk on ühendada mudelid ja tehingute keskkond, et loodud mudeleid oleks lihtne kasutada otse teie äriprotsessides. Python Gateway on osa MLToolkit'ist ja pakub integreerimist Python'i keelega, võimaldades orkestreerida mis tahes masinõppe algoritme, mis on loodud Python'i keeles (peamine keskkond paljude andeteadlaste jaoks), kasutades mitmeid valmis raamatukogusid kiireks kohandatud, automatiseeritud analüütiliste AI/ML lahenduste loomiseks InterSystems IRIS platvormil.

Lingid

• Eelmine artikkel
• Python Gateway
• Python Gateway näidised
• Convergent-Analytics
• Python 3.6.7 64 bit
• Dokumentatsioon ja kursused Python'i kohta

MLToolkit

MLToolkit kasutajagrupp on privaatne GitHub-i reposteitor, mis on loodud osana InterSystems'i ettevõtte GitHub-organisatsioonist. See on suunatud välistele kasutajatele, kes installivad, uurivad või juba kasutavad MLToolkit'i komponente, sealhulgas Python Gateway'd. Grupis on saadaval mitmeid rakendatud juhtumeid (koos lähtekoodi ja testandmetega) turunduse, tootmise, meditsiini ja paljude teiste valdkondade jaoks. ML Toolkit kasutajagruppi liitumiseks saatke palun lühike e-kiri järgmistel andmetel: MLToolkit@intersystems.com ja märkige oma kirjas järgmised andmed:

• GitHubi kasutajanimi
• Organisatsioon (kus te töötate või õpite)
• Ametikoht (teie tegelik ametikoht teie organisatsioonis, või "Üliõpilane", või "Iseseisev").
• Riik

Neile, kes lugesid artiklit ja on huvitatud InterSystems IRISi võimalustest tehisintellekti ja masinõppe mehhanismide arendamise või majutamise platvormina, pakume välja võimalused arutada teie ettevõttele huvi pakkuvaid stsenaariume. Oleme valmis analüüsima teie ettevõtte vajadusi ja ühiselt määrama tegevusplaani; meie AI/ML ekspertgrupi kontaktmeiliaadress on MLToolkit@intersystems.com.

Allikas: habr.com