ეს სტატია ეხება Python Gateway-ს, ღია კოდის თემის პროექტს InterSystems IRIS მონაცემთა პლატფორმისთვის. ეს პროექტი საშუალებას გაძლევთ მოაწყოთ Python-ში შექმნილი მანქანური სწავლების ნებისმიერი ალგორითმი (მთავარი გარემო მრავალი მონაცემთა მეცნიერისთვის), გამოიყენოთ მრავალი მზა ბიბლიოთეკა, რათა სწრაფად შექმნათ ადაპტური, რობოტული ანალიტიკური AI / ML გადაწყვეტილებები InterSystems IRIS პლატფორმაზე. ამ სტატიაში მე გაჩვენებთ, თუ როგორ შეუძლია InterSystems IRIS-ს პითონში პროცესების ორკესტრირება, ორმხრივი მონაცემების ეფექტური კომუნიკაცია და ინტელექტუალური ბიზნეს პროცესების შექმნა.

გეგმა

1. შესავალი.
2. ხელსაწყოები.
3. ინსტალაცია.
4. API.
5. თავსებადობა.
6. იუპიტერის ნოუთბუქი.
7. დასკვნები.
8. ბმულები.
9. MLToolkit.

შესავალი

Python არის მაღალი დონის, ზოგადი დანიშნულების პროგრამირების ენა, რომელიც მიზნად ისახავს დეველოპერის პროდუქტიულობისა და კოდის წაკითხვის გაუმჯობესებას. სტატიების ამ სერიაში მე განვიხილავ Python-ის გამოყენების შესაძლებლობებს InterSystems IRIS პლატფორმაზე, ამ სტატიის მთავარი აქცენტი იქნება Python-ის, როგორც ენის მანქანური სწავლების მოდელების შესაქმნელად და გასაშვებად გამოყენება.

მანქანათმცოდნეობა (ML) არის ხელოვნური ინტელექტის მეთოდების კლასი, რომლის დამახასიათებელი თვისებაა არა პრობლემის პირდაპირი გადაწყვეტა, არამედ სწავლა მრავალი მსგავსი პრობლემის გადაჭრის პროცესში.

მანქანური სწავლების ალგორითმები და მოდელები სულ უფრო გავრცელებული ხდება. ამის მრავალი მიზეზი არსებობს, მაგრამ ეს ყველაფერი ხელმისაწვდომობას, სიმარტივესა და პრაქტიკული შედეგების მიღწევას უკავშირდება. არის თუ არა კლასტერირება ან თუნდაც ნერვული ქსელის მოდელირება ახალი ტექნოლოგია?

რა თქმა უნდა არა, მაგრამ დღესდღეობით არ არის საჭირო ასობით ათასი ხაზის კოდის დაწერა ერთი მოდელის გასაშვებად და მოდელების შექმნისა და გამოყენების ღირებულება სულ უფრო და უფრო ნაკლები ხდება.

ინსტრუმენტები ვითარდება - მიუხედავად იმისა, რომ ჩვენ არ გვაქვს სრულად GUI-ზე ორიენტირებული AI/ML ინსტრუმენტები, პროგრესი, რომელიც ვნახეთ საინფორმაციო სისტემების ბევრ სხვა კლასში, როგორიცაა BI (კოდის დაწერიდან ჩარჩოების გამოყენებამდე და GUI-ზე ორიენტირებული კონფიგურირებადი გადაწყვეტილებები) არის. ასევე შეინიშნება AI/ML შექმნის ინსტრუმენტებში. ჩვენ უკვე გავიარეთ კოდის დაწერის ეტაპი და დღეს ვიყენებთ ფრეიმიკებს მოდელების ასაგებად და მომზადებაში.

სხვა გაუმჯობესებები, როგორიცაა წინასწარ მომზადებული მოდელის გავრცელების შესაძლებლობა, სადაც საბოლოო მომხმარებელმა უბრალოდ უნდა დაასრულოს მოდელის ტრენინგი თავის კონკრეტულ მონაცემებზე, ასევე აადვილებს მანქანური სწავლის დაწყებას. ეს მიღწევები აადვილებს სასწავლო მანქანათმცოდნეობას როგორც პროფესიონალებისთვის, ასევე ზოგადად კომპანიებისთვის.

მეორე მხრივ, ჩვენ ვაგროვებთ სულ უფრო მეტ მონაცემს. მონაცემთა ერთიანი პლატფორმით, როგორიცაა InterSystems IRIS, ყველა ეს ინფორმაცია შეიძლება დაუყოვნებლივ მომზადდეს და გამოყენებულ იქნეს მანქანური სწავლების მოდელებში შესატანად.

ღრუბელზე გადასვლასთან ერთად, AI/ML პროექტების გაშვება უფრო ადვილი ხდება, ვიდრე ოდესმე. ჩვენ შეგვიძლია მხოლოდ იმ რესურსების მოხმარება, რაც გვჭირდება. უფრო მეტიც, ღრუბლოვანი პლატფორმების მიერ შემოთავაზებული პარალელიზაციის წყალობით, ჩვენ შეგვიძლია დაზოგოთ დახარჯული დრო.

მაგრამ რაც შეეხება შედეგებს? აქ ყველაფერი უფრო რთულდება. არსებობს მრავალი ინსტრუმენტი მოდელების შესაქმნელად, რომელზეც შემდეგში ვისაუბრებ. კარგი მოდელის შექმნა ადვილი არ არის, მაგრამ რა ხდება შემდეგ? ბიზნეს მოდელის გამოყენებით მოგების მიღება ასევე არატრივიალური ამოცანაა. პრობლემის საფუძველი არის ანალიტიკური და ტრანზაქციული დატვირთვების და მონაცემთა მოდელების გამიჯვნა. როდესაც ჩვენ ვამზადებთ მოდელს, ჩვენ ამას ჩვეულებრივ ვაკეთებთ ისტორიულ მონაცემებზე. მაგრამ აშენებული მოდელის ადგილი ტრანზაქციების მონაცემთა დამუშავებაშია. რა სარგებლობა მოაქვს თაღლითური ტრანზაქციის გამოვლენის საუკეთესო მოდელს, თუ მას დღეში ერთხელ ვატარებთ? თაღლითები ფულით დიდი ხანია დატოვეს. ჩვენ უნდა მოვამზადოთ მოდელი ისტორიულ მონაცემებზე, მაგრამ ასევე უნდა გამოვიყენოთ ის რეალურ დროში ახალ შემოსულ მონაცემებზე, რათა ჩვენმა ბიზნეს პროცესებმა იმოქმედონ მოდელის მიერ გაკეთებულ პროგნოზებზე.

ML Toolkit არის ინსტრუმენტების ნაკრები, რომელიც მიზნად ისახავს სწორედ ამის გაკეთებას: მოდელების და ტრანზაქციული გარემოს გაერთიანებას ისე, რომ აშენებული მოდელები ადვილად იქნას გამოყენებული პირდაპირ თქვენს ბიზნეს პროცესებში. Python Gateway არის ML Toolkit-ის ნაწილი და უზრუნველყოფს ინტეგრაციას Python ენასთან (ისევე როგორც R Gateway, როგორც ML Toolkit-ის ნაწილი, უზრუნველყოფს ინტეგრაციას R ენასთან).

ინსტრუმენტები

სანამ გავაგრძელებთ, მინდა აღვწერო პითონის რამდენიმე ინსტრუმენტი და ბიბლიოთეკა, რომლებსაც მოგვიანებით გამოვიყენებთ.

ტექნიკა

• პითონი არის ინტერპრეტირებული, მაღალი დონის, ზოგადი დანიშნულების პროგრამირების ენა. ენის მთავარი უპირატესობა არის მათემატიკური, ML და AI ბიბლიოთეკების დიდი ბიბლიოთეკა. ObjectScript-ის მსგავსად, ეს არის ობიექტზე ორიენტირებული ენა, მაგრამ ყველაფერი განისაზღვრება დინამიურად და არა სტატიკურად. ასევე ყველაფერი არის ობიექტი. შემდგომი სტატიები გულისხმობს ენის გაცნობას. თუ გსურთ სწავლის დაწყება, გირჩევთ დაიწყოთ დოკუმენტაცია.
• ჩვენი შემდგომი სავარჯიშოებისთვის კომპლექტი პითონი 3.6.7 64 ბიტიანი.
• IDE: მე ვიყენებ პიჩარმ, მაგრამ ზოგადად ისინი много. თუ იყენებთ Atelier-ს, არსებობს Eclipse მოდული პითონის დეველოპერებისთვის. თუ თქვენ იყენებთ VS კოდს, არსებობს პითონის გაფართოება.
• ნოუთბუქი: IDE-ის ნაცვლად, შეგიძლიათ დაწეროთ და გააზიაროთ თქვენი სკრიპტები ონლაინ ნოუთბუქებში. მათგან ყველაზე პოპულარულია იუპიტერი.

ბიბლიოთეკები

აქ არის მანქანათმცოდნეობის ბიბლიოთეკების (არასრული) სია:

• ნაგავი - ფუნდამენტური პაკეტი ზუსტი გამოთვლებისთვის.
• პანდა — მაღალი ხარისხის მონაცემთა სტრუქტურები და მონაცემთა ანალიზის ხელსაწყოები.
• matplotlib - გრაფიკების შექმნა.
• ზღვისფერი - მონაცემთა ვიზუალიზაცია matplotlib-ის საფუძველზე.
• Sklearn - მანქანათმცოდნეობის მეთოდები.
• Xgboost — მანქანათმცოდნეობის ალგორითმები გრადიენტის გაძლიერების მეთოდოლოგიის ფარგლებში.
• გენსიმ - NLP.
• კერას - ნეირონული ქსელები.
• ტენზორული — პლატფორმა მანქანათმცოდნეობის მოდელების შესაქმნელად.
• პიტორჩი არის პითონზე ორიენტირებული მანქანური სწავლების მოდელების შექმნის პლატფორმა.
• ნიოკა - PMML სხვადასხვა მოდელებიდან.

AI/ML ტექნოლოგიები ბიზნესს უფრო ეფექტურს და ადაპტირებულს ხდის. უფრო მეტიც, დღეს ამ ტექნოლოგიების განვითარება და დანერგვა უფრო ადვილი ხდება. დაიწყეთ AI/ML ტექნოლოგიების შესწავლა და როგორ შეუძლიათ მათ თქვენი ორგანიზაციის განვითარებაში დახმარება.

დაყენების

Python Gateway-ის ინსტალაციისა და გამოყენების რამდენიმე გზა არსებობს:

• ОС
  • Windows
  • Linux
  • Mac
• docker
  • გამოიყენეთ სურათი DockerHub-დან
  • შექმენით საკუთარი სახე

ინსტალაციის მეთოდის მიუხედავად, დაგჭირდებათ წყაროს კოდი. კოდის ჩამოტვირთვის ერთადერთი ადგილია რელიზების გვერდი. ის შეიცავს გამოცდილი სტაბილურ გამოშვებებს, უბრალოდ აიღეთ უახლესი. ამ დროისთვის ეს არის 0.8, მაგრამ დროთა განმავლობაში იქნება ახლები. ნუ კლონირებთ/ჩატვირთავთ საცავს, ჩამოტვირთეთ უახლესი გამოშვება.

ОС

თუ თქვენ დააინსტალირეთ Python Gateway ოპერაციულ სისტემაზე, მაშინ ჯერ (ოპერაციული სისტემის მიუხედავად) თქვენ უნდა დააინსტალიროთ Python. Ამისთვის:

1. დააინსტალირეთ Python 3.6.7 64 ბიტი. რეკომენდებულია პითონის დაყენება ნაგულისხმევ დირექტორიაში.
2. დააინსტალირეთ მოდული dill: pip install dill.
3. ჩამოტვირთეთ ObjectScript კოდი (ე.ი. do $system.OBJ.ImportDir("C:InterSystemsReposPythoniscpy", "*.cls", "c",,1)) ნებისმიერ ტერიტორიაზე პროდუქციით. თუ გსურთ არსებული ტერიტორია პროდუქციის მხარდასაჭერად, გაუშვით: write ##class(%EnsembleMgr).EnableNamespace($Namespace, 1).
4. ადგილი გამოძახება DLL/SO/DYLIB საქაღალდეში bin თქვენი InterSystems IRIS მაგალითი. ბიბლიოთეკის ფაილი ხელმისაწვდომი უნდა იყოს დაბრუნებულ გზაზე write ##class(isc.py.Callout).GetLib().

Windows

1. დარწმუნდით, რომ გარემოს ცვლადია PYTHONHOME მიუთითებს პითონზე 3.6.7.
2. დარწმუნდით, რომ სისტემის გარემოს ცვლადი არის PATH შეიცავს ცვლადს PYTHONHOME (ან დირექტორია, რომელზეც ის მიუთითებს).

Linux (Debian/Ubuntu)

1. შეამოწმეთ რომ არის გარემოს ცვლადი PATH შეიცავს /usr/lib и /usr/lib/x86_64-linux-gnu. გამოიყენეთ ფაილი /etc/environment გარემოს ცვლადების დასაყენებლად.
2. შეცდომების შემთხვევაში undefined symbol: _Py_TrueStruct დააყენეთ პარამეტრი PythonLib. აგრეთვე Readme არის პრობლემების მოგვარების განყოფილება.

Mac

1. ამჟამად მხოლოდ Python 3.6.7 არის მხარდაჭერილი python.org. შეამოწმეთ ცვლადი PATH.

თუ შეცვალეთ გარემოს ცვლადები, გადატვირთეთ თქვენი InterSystems პროდუქტი.

docker

კონტეინერების გამოყენებას აქვს რამდენიმე უპირატესობა:

• პორტაბელურობა
• ეფექტურობა
• საიზოლაციო
• სიმსუბუქე
• უცვლელობა

შეამოწმეთ ეს სტატიების სერია დამატებითი ინფორმაციისთვის Docker-ის გამოყენების შესახებ InterSystems-ის პროდუქტებთან.

Python Gateway-ის ყველა კონსტრუქცია ამჟამად კონტეინერზეა დაფუძნებული 2019.4.

მზა სურათი

გაშვება: docker run -d -p 52773:52773 --name irispy intersystemscommunity/irispy-community:latestჩამოტვირთეთ და გაუშვით Python Gateway InterSystems IRIS Community Edition-ით. Სულ ეს არის.

შექმენით საკუთარი სახე

დოკერის გამოსახულების ასაგებად, გაუშვით საცავის ძირში: docker build --force-rm --tag intersystemscommunity/irispy:latest ..
ნაგულისხმევად, სურათი აგებულია სურათის საფუძველზე store/intersystems/iris-community:2019.4.0.383.0, თუმცა ამის შეცვლა შეგიძლიათ ცვლადის დაყენებით IMAGE.
InterSystems IRIS-დან ასაშენებლად, გაუშვით: `docker build --build-arg IMAGE=store/intersystems/iris:2019.4.0.383.0 --force-rm --tag intersystemscommunity/irispy: უახლესი“.

ამის შემდეგ შეგიძლიათ დოკერის სურათის გაშვება:

docker run -d 
  -p 52773:52773 
  -v /<HOST-DIR-WITH-iris.key>/:/mount 
  --name irispy 
  intersystemscommunity/irispy:latest 
  --key /mount/iris.key

თუ იყენებთ სურათს InterSystems IRIS Community Edition-ის საფუძველზე, შეგიძლიათ გამოტოვოთ გასაღები.

კომენტარები

• ტესტირების პროცესი isc.py.test.Process ინახავს რამდენიმე სურათს დროებით დირექტორიაში. თქვენ შეგიძლიათ შეცვალოთ ეს გზა დამონტაჟებული დირექტორიაში. ამისათვის შეცვალეთ პარამეტრი WorkingDir დამონტაჟებული დირექტორიას მითითებით.
• ტერმინალის გასაშვებად: docker exec -it irispy sh.
• სისტემის მართვის პორტალზე წვდომა შესვლის გზით SuperUser/SYS.
• კონტეინერის შესაჩერებლად, გაუშვით: docker stop irispy && docker rm --force irispy.

ინსტალაციის შემოწმება

მას შემდეგ რაც დააინსტალირეთ Python Gateway, ღირს იმის შემოწმება, რომ ის მუშაობს. შეასრულეთ ეს კოდი InterSystems IRIS ტერმინალში:

set sc = ##class(isc.py.Callout).Setup() 
set sc = ##class(isc.py.Main).SimpleString("x='HELLO'", "x", , .var).
write var

შედეგი უნდა იყოს: HELLO - პითონის ცვლადის მნიშვნელობა x. თუ დაბრუნების სტატუსი sc არის შეცდომა ან var ცარიელი, შეამოწმეთ Readme - პრობლემების მოგვარების განყოფილება.

API

Python Gateway დაინსტალირებულია და თქვენ დაადასტურეთ, რომ ის მუშაობს. დროა დაიწყოთ მისი გამოყენება!
პითონის მთავარი ინტერფეისი არის isc.py.Main. ის გთავაზობთ მეთოდების შემდეგ ჯგუფებს (ყველა დაბრუნებას %Status):

• კოდის შესრულება
• მონაცემთა გადაცემა
• Დამხმარე

კოდის შესრულება

ეს მეთოდები საშუალებას გაძლევთ შეასრულოთ თვითნებური პითონის კოდი.

SimpleString

SimpleString - ეს არის მთავარი მეთოდი. მას სჭირდება 4 არჩევითი არგუმენტი:

• code - კოდის ხაზი შესასრულებლად. ხაზის არხის სიმბოლო: $c(10).
• returnVariable - დასაბრუნებელი ცვლადის სახელი.
• serialization - როგორ მოვახდინოთ სერიალი returnVariable. 0 - სტრიქონი (ნაგულისხმევი), 1 - repr.
• result — ByRef მითითება ცვლადზე, რომელშიც ჩაწერილია მნიშვნელობა returnVariable.

ზემოთ გავაკეთეთ:

set sc = ##class(isc.py.Main).SimpleString("x='HELLO'", "x", , .var).

ამ მაგალითში ჩვენ ვანიჭებთ Python ცვლადს x ღირებულება Hello და გვინდა დავაბრუნოთ პითონის ცვლადის მნიშვნელობა x ObjectScript ცვლადზე var.

ExecuteCode

ExecuteCode უფრო უსაფრთხო და ნაკლებად შემზღუდავი ალტერნატივაა SimpleString.
InterSystems IRIS პლატფორმის ხაზები შემოიფარგლება 3 სიმბოლოთი და თუ გსურთ უფრო გრძელი კოდის შესრულება, უნდა გამოიყენოთ threads.
მიღებულია ორი არგუმენტი:

• code - პითონის კოდის ხაზი ან ნაკადი, რომელიც უნდა შესრულდეს.
• variable — (სურვილისამებრ) ანიჭებს შესრულების შედეგს code ეს პითონის ცვლადი.

გამოყენების მაგალითი:

set sc = ##class(isc.py.Main).ExecuteCode("2*3", "y").

ამ მაგალითში ვამრავლებთ 2-ს 3-ზე და ვწერთ შედეგს პითონის ცვლადში y.

მონაცემთა გადაცემა

მონაცემების გადაცემა პითონში და უკან.

Python -> InterSystems IRIS

არსებობს 4 გზა Python ცვლადის მნიშვნელობის მისაღებად InterSystems IRIS-ში, რაც დამოკიდებულია თქვენთვის საჭირო სერიალიზაციაზე:

• String მონაცემთა მარტივი ტიპებისა და გამართვისთვის.
• Repr მარტივი ობიექტების შესანახად და გამართვისთვის.
• JSON მონაცემთა მარტივი მანიპულირებისთვის InterSystems IRIS მხარეს.
• Pickle ობიექტების გადასარჩენად.

ეს მეთოდები საშუალებას გაძლევთ მიიღოთ ცვლადები პითონიდან სტრიქონის ან ნაკადის სახით.

• GetVariable(variable, serialization, .stream, useString) -მიიღე serialization ცვლადი variable в stream. თუ useString არის 1 და სერიალიზაცია მოთავსებულია სტრიქონზე, შემდეგ ბრუნდება სტრიქონი და არა ნაკადი.
• GetVariableJson(variable, .stream, useString) - მიიღეთ ცვლადის JSON სერიალიზაცია.
• GetVariablePickle(variable, .stream, useString, useDill) -მიიღეთ Pickle (ან კამა) ცვლადის სერიალიზაცია.

შევეცადოთ მივიღოთ ჩვენი ცვლადი y.

set sc = ##class(isc.py.Main).GetVariable("y", , .val, 1)
write val
>6

InterSystems IRIS -> Python

InterSystems IRIS-დან მონაცემების ჩატვირთვა პითონში.

• ExecuteQuery(query, variable, type, namespace) - ქმნის მონაცემთა ბაზას (პანდა dataframe ან list) sql მოთხოვნიდან და აყენებს მას Python ცვლადზე variable. პლასტიკური ჩანთა isc.py ხელმისაწვდომი უნდა იყოს ტერიტორიაზე namespace — მოთხოვნა იქ შესრულდება.
• ExecuteGlobal(global, variable, type, start, end, mask, labels, namespace) - იტვირთება გლობალური მონაცემები global ხელმოწერიდან start დან end პითონში, როგორც ტიპის ცვლადი type: list, ან პანდა dataframe. არჩევითი არგუმენტების აღწერა mask მდე labels ხელმისაწვდომია კლასის დოკუმენტაციაში და საცავში მონაცემთა გადაცემის დოკუმენტები.
• ExecuteClass(class, variable, type, start, end, properties, namespace) - იტვირთება კლასის მონაცემები class ID-დან start დან end პითონში, როგორც ტიპის ცვლადი type: list, ან პანდა dataframe. properties — კლასის თვისებების სია (მძიმით გამოყოფილი), რომლებიც უნდა ჩაიტვირთოს მონაცემთა ნაკრებში. ნიღბები მხარდაჭერილია * и ?. ნაგულისხმევი - * (ყველა თვისება). საკუთრება %%CLASSNAME უგულებელყო.
• ExecuteTable(table, variable, type, start, end, properties, namespace) - იტვირთება ცხრილის მონაცემები table ID-დან start დან end პითონში.

ExecuteQuery — უნივერსალური (ნებისმიერი სწორი SQL შეკითხვა გადაეცემა Python-ს). თუმცა, ExecuteGlobal და მისი შეფუთვები ExecuteClass и ExecuteTable მუშაობა მთელი რიგი შეზღუდვებით. ისინი ბევრად უფრო სწრაფია (3-5-ჯერ უფრო სწრაფი ვიდრე ODBC დრაივერი და 20-ჯერ უფრო სწრაფი ExecuteQuery). დამატებითი ინფორმაცია მისამართზე მონაცემთა გადაცემის დოკუმენტები.
ყველა ეს მეთოდი მხარს უჭერს მონაცემთა გადაცემას ნებისმიერი ტერიტორიიდან. პლასტიკური ჩანთა isc.py ხელმისაწვდომი უნდა იყოს სამიზნე ზონაში.

ExecuteQuery

ExecuteQuery(request, variable, type, namespace) - ნებისმიერი სწორი SQL მოთხოვნის შედეგების გადატანა Python-ზე. ეს არის მონაცემთა გადაცემის ყველაზე ნელი მეთოდი. გამოიყენეთ თუ ExecuteGlobal და მისი შეფუთვა არ არის ხელმისაწვდომი.

არგუმენტები:

• query - sql შეკითხვა.
• variable - პითონის ცვლადის სახელი, რომელშიც ჩაწერილია მონაცემები.
• type - list ან პანდები dataframe.
• namespace - ტერიტორია, სადაც მოთხოვნა შესრულდება.

ExecuteGlobal

ExecuteGlobal(global, variable, type, start, end, mask, labelels, namespace) - გლობალის გავლა პითონში.

არგუმენტები:

• global - გლობალური სახელის გარეშე ^
• variable - პითონის ცვლადის სახელი, რომელშიც ჩაწერილია მონაცემები.
• type - list ან პანდები dataframe.
• start - გლობალურის პირველი ხელმოწერა. აუცილებლად %Integer.
• end - გლობალურის ბოლო ხელმოწერა. აუცილებლად %Integer.
• mask - გლობალური ღირებულების ნიღაბი. ნიღაბი შეიძლება იყოს უფრო მოკლე, ვიდრე გლობალური ველების რაოდენობა (ამ შემთხვევაში, ბოლო ველები გამოტოვებული იქნება). როგორ დავაფორმოთ ნიღაბი:
  • + გადაიტანეთ მნიშვნელობა, როგორც არის.
  • - ღირებულების გამოტოვება.
  • b - ლოგიკური ტიპი (0 - False, ყველა დანარჩენი - True).
  • d — თარიღი ($horolog-დან, Windows-ზე 1970 წლიდან, Linux-ზე 1900 წლიდან).
  • t — დრო ($horolog, წამი შუაღამის შემდეგ).
  • m — დროის შტამპი (სტრიქონის ფორმატი YEAR-MONTH-DAY HOUR:MINUTE:SECOND).
• labels — სვეტების სახელების სია. პირველი ელემენტი არის ხელმოწერის სახელი.
• namespace - ტერიტორია, სადაც მოთხოვნა შესრულდება.

ExecuteClass

გადაახვიეთ ExecuteGlobal. კლასის განსაზღვრებიდან გამომდინარე, ამზადებს ზარს ExecuteGlobal და უწოდებს მას.

ExecuteClass(class, variable, type, start, end, properties, namespace) - კლასის მონაცემების გადაცემა პითონში.

არგუმენტები:

• class - კლასის სახელი
• variable - პითონის ცვლადის სახელი, რომელშიც ჩაწერილია მონაცემები.
• type - list ან პანდები dataframe.
• start - საწყისი ID.
• end - საბოლოო ID
• properties — კლასის თვისებების სია (მძიმით გამოყოფილი), რომლებიც უნდა ჩაიტვირთოს მონაცემთა ნაკრებში. ნიღბები მხარდაჭერილია * и ?. ნაგულისხმევი - * (ყველა თვისება). საკუთრება %%CLASSNAME უგულებელყო.
• namespace - ტერიტორია, სადაც მოთხოვნა შესრულდება.

ყველა თვისება გადაეცემა როგორც არის, გარდა ტიპის თვისებებისა %Date, %Time, %Boolean и %TimeStamp - ისინი გარდაიქმნება პითონის შესაბამის კლასებად.

ExecuteTable

გადაახვიეთ ExecuteClass. თარგმნის ცხრილის სახელს კლასის სახელად და რეკავს ExecuteClass. ხელმოწერა:

ExecuteTable(table, variable, type, start, end, properties, namespace) - ცხრილის მონაცემების გადაცემა პითონზე.

არგუმენტები:

• table - მაგიდის სახელი.
  ყველა სხვა არგუმენტი მიღებულია ისე, როგორც არის ExecuteClass.

შენიშვნები

• ExecuteGlobal, ExecuteClass и ExecuteTable მუშაობა თანაბრად სწრაფად.
• ExecuteGlobal 20-ჯერ უფრო სწრაფად ვიდრე ExecuteQuery მონაცემთა დიდ ნაკრებებზე (გადაცემის დრო >0.01 წამი).
• ExecuteGlobal, ExecuteClass и ExecuteTable მუშაობა გლობალებზე ამ სტრუქტურით: ^global(key) = $lb(prop1, prop2, ..., propN) სადაც key - მთელი რიცხვი.
• იყიდება ExecuteGlobal, ExecuteClass и ExecuteTable მხარდაჭერილი მნიშვნელობების დიაპაზონი %Date შეესაბამება დიაპაზონს mktime და დამოკიდებულია OS-ზე (Windows: 1970-01-01, Linux 1900-01-01, Mac). გამოყენება %TimeStampამ დიაპაზონის მიღმა მონაცემების გადასატანად ან პანდას მონაცემთა ჩარჩოს გამოყენება, რადგან ეს არის მხოლოდ სიის შეზღუდვა.
• იყიდება ExecuteGlobal, ExecuteClass и ExecuteTable ყველა არგუმენტი გარდა მონაცემთა წყაროსა (გლობალური, კლასი ან ცხრილი) და ცვლადი არჩევითია.

მაგალითები

სატესტო კლასი isc.py.test.Person შეიცავს მეთოდს, რომელიც აჩვენებს მონაცემთა გადაცემის ყველა ვარიანტს:

set global = "isc.py.test.PersonD"
set class = "isc.py.test.Person"
set table = "isc_py_test.Person"
set query = "SELECT * FROM isc_py_test.Person"

// Общие аргументы
set variable = "df"
set type = "dataframe"
set start = 1
set end = $g(^isc.py.test.PersonD, start)

// Способ 0: ExecuteGlobal без аргументов
set sc = ##class(isc.py.Main).ExecuteGlobal(global, variable _ 0, type)

// Способ 1: ExecuteGlobal с аргументами    
// При передаче глобала названия полей задаются вручную
// globalKey - название сабсткрипта 
set labels = $lb("globalKey", "Name", "DOB", "TS", "RandomTime", "AgeYears", "AgeDecimal", "AgeDouble", "Bool")

// mask содержит на 1 элемент меньше чем labels потому что "globalKey" - название сабскипта
// Пропускаем %%CLASSNAME
set mask = "-+dmt+++b"

set sc = ##class(isc.py.Main).ExecuteGlobal(global, variable _ 1, type, start, end, mask, labels)

// Способ 2: ExecuteClass
set sc = ##class(isc.py.Main).ExecuteClass(class, variable _ 2, type, start, end)

// Способ 3: ExecuteTable
set sc = ##class(isc.py.Main).ExecuteTable(table, variable _ 3, type, start, end)

// Способ 4: ExecuteTable
set sc = ##class(isc.py.Main).ExecuteQuery(query, variable _ 4, type)

დარეკეთ მეთოდს do ##class(isc.py.test.Person).Test() რომ ნახოთ, როგორ მუშაობს მონაცემთა გადაცემის ყველა მეთოდი.

დამხმარე მეთოდები

• GetVariableInfo(variable, serialization, .defined, .type, .length) — მიიღეთ ინფორმაცია ცვლადის შესახებ: განსაზღვრულია თუ არა, მისი კლასი და სერიალიზაციის სიგრძე.
• GetVariableDefined(variable, .defined) - განსაზღვრულია თუ არა ცვლადი.
• GetVariableType(variable, .type) - მიიღეთ ცვლადის კლასი.
• GetStatus() - მიიღეთ და ამოიღეთ ბოლო გამონაკლისი პითონის მხარეს.
• GetModuleInfo(module, .imported, .alias) - მიიღეთ მოდულის ცვლადი და იმპორტის სტატუსი.
• GetFunctionInfo(function, .defined, .type, .docs, .signature, .arguments) — მიიღეთ ინფორმაცია ფუნქციის შესახებ.

თავსებადობა

თქვენ ისწავლეთ როგორ გამოიძახოთ Python Gateway ტერმინალიდან, ახლა დავიწყოთ მისი გამოყენება წარმოებაში. ამ რეჟიმში პითონთან ურთიერთობის საფუძველია isc.py.ens.Operation. ის გვაძლევს საშუალებას:

• შეასრულეთ კოდი პითონში
• პითონის კონტექსტის შენახვა/აღდგენა
• ჩატვირთეთ და მიიღეთ მონაცემები Python-დან

ძირითადად, პითონის ოპერაცია შეფუთულია isc.py.Main. Ოპერაცია isc.py.ens.Operation უზრუნველყოფს Python პროცესთან ურთიერთქმედების შესაძლებლობას InterSystems IRIS პროდუქტებიდან. ხუთი შეკითხვა მხარდაჭერილია:

• isc.py.msg.ExecutionRequest პითონის კოდის შესასრულებლად. ბრუნდება isc.py.msg.ExecutionResponse შესრულების შედეგით და მოთხოვნილი ცვლადების მნიშვნელობებით.
• isc.py.msg.StreamExecutionRequest პითონის კოდის შესასრულებლად. ბრუნდება isc.py.msg.StreamExecutionResponse შესრულების შედეგი და მოთხოვნილი ცვლადების მნიშვნელობები. ანალოგი isc.py.msg.ExecutionRequest, მაგრამ იღებს და აბრუნებს ნაკადებს სტრიქონების ნაცვლად.
• isc.py.msg.QueryRequest SQL მოთხოვნის შესრულების შედეგის გადასაცემად. ბრუნდება Ens.Response.
• isc.py.msg.GlobalRequest/isc.py.msg.ClassRequest/isc.py.msg.TableRequest გლობალური/კლასის/ცხრილის მონაცემების გადასაცემად. ბრუნდება Ens.Response.
• isc.py.msg.SaveRequest პითონის კონტექსტის შესანახად. ბრუნდება Ens.StringResponse კონტექსტური ID-ით.

• isc.py.msg.RestoreRequest პითონის კონტექსტის აღსადგენად.

  გარდა ამისა, isc.py.ens.Operation აქვს ორი პარამეტრი:

  • Initializer - კლასის შერჩევა, რომელიც ახორციელებს ინტერფეისს isc.py.init.Abstract. მისი გამოყენება შესაძლებელია ფუნქციების, მოდულების, კლასების და ა.შ. იგი შესრულებულია ერთხელ, როდესაც პროცესი იწყება.
  • PythonLib - (მხოლოდ Linux) თუ ხედავთ შეცდომებს ჩატვირთვისას, დააყენეთ მისი მნიშვნელობა libpython3.6m.so ან თუნდაც Python ბიბლიოთეკის სრულ გზაზე.

ბიზნეს პროცესების შექმნა

არსებობს ორი კლასი, რომელიც ხელს უწყობს ბიზნეს პროცესების განვითარებას:

• isc.py.ens.ProcessUtils საშუალებას გაძლევთ ამოიღოთ ანოტაციები აქტივობებიდან ცვლადის ჩანაცვლებით.
• isc.py.util.BPEmulator ამარტივებს ბიზნეს პროცესების გამოცდას Python-ით. მას შეუძლია შეასრულოს ბიზნეს პროცესი (პითონის ნაწილები) მიმდინარე პროცესში.

ცვლადი ჩანაცვლება

მემკვიდრეობით მიღებული ყველა ბიზნეს პროცესი isc.py.ens.ProcessUtils, შეუძლია გამოიყენოს მეთოდი GetAnnotation(name) რომ მიიღოთ აქტივობის ანოტაციის მნიშვნელობა მისი სახელით. აქტივობის ანოტაცია შეიძლება შეიცავდეს ცვლადებს, რომლებიც გამოითვლება InterSystems IRIS მხარეს, სანამ გადაეცემა Python-ს. აქ არის სინტაქსი ცვლადის ჩანაცვლებისთვის:

• ${class:method:arg1:...:argN} - მეთოდის ზარი
• #{expr} - შეასრულეთ კოდი ObjectScript ენაზე.

მაგალითი ხელმისაწვდომია ტესტირების ბიზნეს პროცესში isc.py.test.Processმაგალითად, საქმიანობაში Correlation Matrix: Graph: f.savefig(r'#{process.WorkDirectory}SHOWCASE${%PopulateUtils:Integer:1:100}.png'). ამ მაგალითში:

• #{process.WorkDirectory} აბრუნებს ობიექტის WorkDirectory თვისებას process, რომელიც კლასის მაგალითია isc.py.test.Process იმათ. მიმდინარე ბიზნეს პროცესი.
• ${%PopulateUtils:Integer:1:100} მეთოდს უწოდებს Integer კლასი %PopulateUtils, არგუმენტების გაცემა 1 и 100, აბრუნებს შემთხვევით მთელ რიცხვს დიაპაზონში 1...100.

ბიზნეს პროცესის ტესტირება

სატესტო პროდუქტები და სატესტო ბიზნეს პროცესები ხელმისაწვდომია ნაგულისხმევად, როგორც Python Gateway-ის ნაწილი. მათი გამოსაყენებლად:

1. OS ტერმინალში გაუშვით: pip install pandas matplotlib seaborn.
2. InterSystems IRIS ტერმინალში გაუშვით: do ##class(isc.py.test.CannibalizationData).Import() ტესტის მონაცემების შესავსებად.
3. პროდუქტების გაშვება isc.py.test.Production.
4. გაგზავნის მოთხოვნის ტიპი Ens.Request в isc.py.test.Process.

ვნახოთ, როგორ მუშაობს ეს ყველაფერი ერთად. გახსენით isc.py.test.Process BPL რედაქტორში:

კოდის შესრულება

ყველაზე მნიშვნელოვანი გამოწვევაა პითონის კოდის შესრულება:

გამოყენებულია შეკითხვა isc.py.msg.ExecutionRequestაქ არის მისი თვისებები:

• Code - პითონის კოდი.
• SeparateLines — დაიყოს თუ არა კოდი შესასრულებლად ხაზებად. $c(10) (n) გამოიყენება სტრიქონების გამოსაყოფად. გთხოვთ გაითვალისწინოთ, რომ არ არის რეკომენდებული მთელი შეტყობინების ერთდროულად დამუშავება, ეს ფუნქცია განკუთვნილია მხოლოდ დამუშავებისთვის def და მსგავსი მრავალხაზოვანი გამონათქვამები. ნაგულისხმევი 0.
• Variables — მძიმით გამოყოფილი ცვლადების სია, რომლებიც დაემატება პასუხს.
• Serialization — როგორ მოვახდინოთ ცვლადების სერიალიზაცია, რომელთა დაბრუნებაც გვინდა. Პარამეტრები: Str, Repr, JSON, Pickle и Dill, ნაგულისხმევი Str.

ჩვენს შემთხვევაში ჩვენ მხოლოდ ქონებას ვადგენთ Code, ამიტომ ყველა სხვა თვისება იყენებს ნაგულისხმევ მნიშვნელობებს. დარეკვით დავაყენეთ process.GetAnnotation("Import pandas"), რომელიც გაშვების დროს აბრუნებს ანოტაციას ცვლადის ჩანაცვლების შესრულების შემდეგ. ბოლოს და ბოლოს, კოდი import pandas as pd გადაეცემა პითონს. GetAnnotation შესაძლოა სასარგებლო იყოს პითონის მრავალხაზოვანი სკრიპტების მისაღებად, მაგრამ კოდის მიღების ამ მეთოდზე შეზღუდვები არ არსებობს. თქვენ შეგიძლიათ დააყენოთ ქონება Code თქვენთვის მოსახერხებელი ნებისმიერი გზით.

ცვლადების მიღება

კიდევ ერთი საინტერესო გამოწვევა გამოყენებით isc.py.msg.ExecutionRequest - Correlation Matrix: Tabular:

ის ითვლის კორელაციის მატრიცას პითონის მხარეს და ამოიღებს ცვლადს corrmat დაუბრუნდით InterSystems IRIS-ს JSON ფორმატში მოთხოვნის თვისებების დაყენებით:

• Variables: "corrmat"
• Serialization: "JSON"

ჩვენ შეგვიძლია ვიხილოთ შედეგები Visual Trace-ში:

და თუ ჩვენ გვჭირდება ეს მნიშვნელობა BP-ში, შეგვიძლია მივიღოთ ასე: callresponse.Variables.GetAt("corrmat").

მონაცემთა გადაცემა

შემდეგი, მოდით ვისაუბროთ მონაცემთა InterSystems IRIS-დან Python-ში გადაცემაზე; მონაცემთა გადაცემის ყველა მოთხოვნა ახორციელებს ინტერფეისს isc.py.msg.DataRequestრომელიც უზრუნველყოფს შემდეგ თვისებებს:

• Variable - პითონის ცვლადი, რომელშიც მონაცემები იწერება.
• Type - ცვლადი ტიპი: dataframe (პანდას მონაცემთა ჩარჩო) ან list.
• Namespace — ტერიტორია, საიდანაც ვიღებთ მონაცემებს. პლასტიკური ჩანთა isc.py ხელმისაწვდომი უნდა იყოს ამ სფეროში. ეს შეიძლება იყოს პროდუქტის მხარდაჭერის გარეშე.

ამ ინტერფეისის საფუძველზე, 4 კლასის მოთხოვნა ხორციელდება:

• isc.py.msg.QueryRequest - დააყენეთ ქონება Query SQL შეკითხვის გასაგზავნად.
• isc.py.msg.ClassRequest - დააყენეთ ქონება Class კლასის მონაცემების გადასაცემად.
• isc.py.msg.TableRequest - დააყენეთ ქონება Table ცხრილის მონაცემების გადასატანად.
• isc.py.msg.GlobalRequest - დააყენეთ ქონება Global მონაცემთა გლობალური გადაცემისთვის.

ტესტირების პროცესში შეხედეთ აქტივობას RAWსად isc.py.msg.QueryRequest მოქმედებაში ნაჩვენები.

პითონის კონტექსტის შენახვა/აღდგენა

და ბოლოს, ჩვენ შეგვიძლია შევინახოთ პითონის კონტექსტი InterSystems IRIS-ში, ამისათვის ჩვენ გამოგიგზავნით isc.py.msg.SaveRequest არგუმენტებით:

• Mask — შენახულია მხოლოდ ცვლადები, რომლებიც ემთხვევა ნიღაბს. მხარდაჭერილი * и ?... მაგალითი: "Data*, Figure?". ნაგულისხმევი *.
• MaxLength — შენახული ცვლადის მაქსიმალური სიგრძე. თუ ცვლადის სერიალიზაცია უფრო გრძელია, ის იგნორირებული იქნება. დააყენეთ 0-ზე ნებისმიერი სიგრძის ცვლადების მისაღებად. ნაგულისხმევი $$$MaxStringLength.
• Name — კონტექსტის სახელი (სურვილისამებრ).
• Description — კონტექსტის აღწერა (სურვილისამებრ).

ბრუნდება Ens.StringResponse с Id შენახული კონტექსტი. ტესტირების პროცესში შეხედეთ აქტივობას Save Context.

დაკავშირებული მოთხოვნა isc.py.msg.RestoreRequest ატვირთავს კონტექსტს InterSystems IRIS-დან პითონში:

• ContextId - კონტექსტის იდენტიფიკატორი.
• Clear — გაასუფთავეთ კონტექსტი აღდგენამდე.

იუპიტერის რვეული

იუპიტერის რვეული არის ღია კოდის ვებ აპლიკაცია, რომელიც საშუალებას გაძლევთ შექმნათ და გამოაქვეყნოთ ნოუთბუქები, რომლებიც შეიცავს კოდს, ვიზუალიზაციას და ტექსტს. Python Gateway გაძლევთ საშუალებას ნახოთ და დაარედაქტიროთ BPL პროცესები Jupyter Notebook-ის სახით. გთხოვთ გაითვალისწინოთ, რომ ამჟამად გამოიყენება Python 3-ის ნორმალური შემსრულებელი.

ეს გაფართოება ვარაუდობს, რომ ანოტაციები შეიცავს პითონის კოდს და იყენებს აქტივობის სახელებს, როგორც წინა სათაურებს. ახლა უკვე შესაძლებელია PythonGateway ბიზნეს პროცესების განვითარება Jupyter Notebook-ში. აი რა არის შესაძლებელი:

• შექმენით ახალი ბიზნეს პროცესები
• წაშალეთ ბიზნეს პროცესები
• შექმენით ახალი აქტივობები
• შეცვალეთ აქტივობები
• აქტივობების წაშლა

აქ დემო ვიდეო. და რამდენიმე ეკრანის სურათი:

პროცესის Explorer

პროცესის რედაქტორი

დაყენების

1. დაგჭირდებათ InterSystems IRIS 2019.2+.
2. დააინსტალირეთ PythonGateway v0.8+ (მხოლოდ საჭიროა isc.py.util.Jupyter, isc.py.util.JupyterCheckpoints и isc.py.ens.ProcessUtils).
3. განაახლეთ ObjectScript კოდი საცავიდან.
4. შეასრულე do ##class(isc.py.util.Jupyter).Install() და მიჰყევით მოთხოვნებს.

დოკუმენტაცია.

დასკვნები

MLToolkit არის ინსტრუმენტების ნაკრები, რომლის მიზანია მოდელების და ტრანზაქციების გარემოს გაერთიანება ისე, რომ აშენებული მოდელები ადვილად იქნას გამოყენებული პირდაპირ თქვენს ბიზნეს პროცესებში. Python Gateway არის MLToolkit-ის ნაწილი და უზრუნველყოფს Python ენასთან ინტეგრაციას, რაც საშუალებას გაძლევთ მოაწყოთ Python-ში შექმნილი ნებისმიერი მანქანათმცოდნეობის ალგორითმი (მთავარი გარემო მრავალი მონაცემთა მეცნიერისთვის), გამოიყენოთ მრავალი მზა ბიბლიოთეკა, რათა სწრაფად შექმნათ ადაპტური, რობოტული ანალიტიკური AI / ML გადაწყვეტილებები InterSystems პლატფორმაზე IRIS.

ლიტერატურა

• წინა სტატია
• პითონის კარიბჭე
• პითონის კარიბჭის ნიმუშები
• კონვერგენტული-ანალიტიკა
• პითონი 3.6.7 64 ბიტიანი
• პითონის დოკუმენტაცია და კურსები

MLToolkit

MLToolkit მომხმარებელთა ჯგუფი არის პირადი GitHub საცავი, რომელიც შეიქმნა InterSystems-ის კორპორატიული GitHub ორგანიზაციის ნაწილად. ის განკუთვნილია გარე მომხმარებლებისთვის, რომლებიც დააინსტალირებენ, სწავლობენ ან უკვე იყენებენ MLToolkit კომპონენტებს, მათ შორის Python Gateway-ს. ჯგუფს აქვს არაერთი განხორციელებული შემთხვევა (წყაროს კოდით და ტესტის მონაცემებით) მარკეტინგის, წარმოების, მედიცინის და მრავალი სხვა ინდუსტრიის სფეროებში. ML Toolkit მომხმარებელთა ჯგუფში გასაწევრიანებლად, გთხოვთ, გამოაგზავნოთ მოკლე ელ.წერილი შემდეგ მისამართზე: [ელ.ფოსტით დაცულია] და შეიტანეთ შემდეგი ინფორმაცია თქვენს წერილში:

• GitHub მომხმარებლის სახელი
• ორგანიზაცია (თქვენ მუშაობთ ან სწავლობთ)
• თანამდებობა (თქვენი ფაქტობრივი პოზიცია თქვენს ორგანიზაციაში, ან "სტუდენტი" ან "დამოუკიდებელი").
• ქვეყანა

მათთვის, ვინც წაიკითხა სტატია და დაინტერესებულია InterSystems IRIS-ის, როგორც ხელოვნური ინტელექტისა და მანქანათმცოდნეობის ძრავების შემუშავების ან ჰოსტინგის პლატფორმის შესაძლებლობებით, გეპატიჟებით განიხილოთ თქვენი საწარმოსთვის საინტერესო შესაძლო სცენარები. მოხარული ვიქნებით გავაანალიზოთ თქვენი კომპანიის საჭიროებები და ერთობლივად განვსაზღვროთ სამოქმედო გეგმა; ჩვენი AI/ML ექსპერტთა გუნდის საკონტაქტო ელექტრონული ფოსტის მისამართი – [ელ.ფოსტით დაცულია].

წყარო: www.habr.com