यह लेख पायथन गेटवे के बारे में है, जो इंटरसिस्टम्स आईआरआईएस डेटा प्लेटफ़ॉर्म के लिए एक ओपन सोर्स सामुदायिक प्रोजेक्ट है। यह प्रोजेक्ट आपको पायथन (कई डेटा वैज्ञानिकों के लिए मुख्य वातावरण) में बनाए गए किसी भी मशीन लर्निंग एल्गोरिदम को व्यवस्थित करने की अनुमति देता है, इंटरसिस्टम्स आईआरआईएस प्लेटफॉर्म पर जल्दी से अनुकूली, रोबोटिक विश्लेषणात्मक एआई / एमएल समाधान बनाने के लिए कई तैयार पुस्तकालयों का उपयोग करता है। इस लेख में, मैं दिखाऊंगा कि कैसे इंटरसिस्टम्स आईआरआईएस पायथन में प्रक्रियाओं को व्यवस्थित कर सकता है, कुशलतापूर्वक दो-तरफा डेटा संचार कर सकता है और बुद्धिमान व्यावसायिक प्रक्रियाएं बना सकता है।

योजना

परिचय।
औजार।
स्थापना
एपीआई।
अंतरसंचालनीयता।
ज्यूपिटर नोटबुक.
निष्कर्ष।
कड़ियाँ.
एमएलटूलकिट।

परिचय

पायथन एक उच्च स्तरीय, सामान्य प्रयोजन प्रोग्रामिंग भाषा है जिसका उद्देश्य डेवलपर उत्पादकता और कोड पठनीयता में सुधार करना है। लेखों की इस श्रृंखला में, मैं इंटरसिस्टम्स आईआरआईएस प्लेटफॉर्म पर पायथन का उपयोग करने की संभावनाओं पर चर्चा करूंगा, इस लेख का मुख्य फोकस मशीन लर्निंग मॉडल बनाने और चलाने के लिए एक भाषा के रूप में पायथन का उपयोग है।

मशीन लर्निंग (एमएल) कृत्रिम बुद्धिमत्ता विधियों का एक वर्ग है, जिसकी विशिष्ट विशेषता किसी समस्या का प्रत्यक्ष समाधान नहीं है, बल्कि कई समान समस्याओं को हल करने की प्रक्रिया में सीखना है।

मशीन लर्निंग एल्गोरिदम और मॉडल अधिक सामान्य होते जा रहे हैं। इसके कई कारण हैं, लेकिन यह सब पहुंच, सरलता और व्यावहारिक परिणाम प्राप्त करने पर निर्भर करता है। क्या क्लस्टरिंग या न्यूरल नेटवर्क मॉडलिंग एक नई तकनीक है?

बिल्कुल नहीं, लेकिन आजकल एक मॉडल को चलाने के लिए कोड की सैकड़ों-हजारों लाइनें लिखने की आवश्यकता नहीं है, और मॉडल बनाने और उपयोग करने की लागत कम होती जा रही है।

उपकरण विकसित हो रहे हैं - जबकि हमारे पास पूरी तरह से जीयूआई-केंद्रित एआई/एमएल उपकरण नहीं हैं, हमने सूचना प्रणालियों के कई अन्य वर्गों, जैसे बीआई (कोड लिखने से लेकर फ्रेमवर्क और जीयूआई-केंद्रित विन्यास योग्य समाधानों का उपयोग करने तक) के साथ जो प्रगति देखी है, वह है एआई/एमएल बनाने के टूल में भी देखा गया। हम पहले ही कोड लिखने का चरण पार कर चुके हैं और आज हम मॉडल बनाने और प्रशिक्षित करने के लिए फ्रेमवर्क का उपयोग करते हैं।

अन्य सुधार, जैसे कि पूर्व-प्रशिक्षित मॉडल को वितरित करने की क्षमता जहां अंतिम उपयोगकर्ता को बस अपने विशिष्ट डेटा पर मॉडल का प्रशिक्षण पूरा करना होता है, मशीन लर्निंग के साथ शुरुआत करना भी आसान बनाता है। ये प्रगति पेशेवरों और सामान्य रूप से कंपनियों दोनों के लिए मशीन लर्निंग को बहुत आसान बनाती है।

दूसरी ओर, हम अधिक से अधिक डेटा एकत्र कर रहे हैं। इंटरसिस्टम्स आईआरआईएस जैसे एकीकृत डेटा प्लेटफ़ॉर्म के साथ, यह सारी जानकारी तुरंत तैयार की जा सकती है और मशीन लर्निंग मॉडल में इनपुट के रूप में उपयोग की जा सकती है।

क्लाउड पर कदम रखने के साथ, एआई/एमएल प्रोजेक्ट लॉन्च करना पहले से कहीं ज्यादा आसान हो गया है। हम केवल उन संसाधनों का उपभोग कर सकते हैं जिनकी हमें आवश्यकता है। इसके अलावा, क्लाउड प्लेटफ़ॉर्म द्वारा पेश किए गए समानांतरीकरण के लिए धन्यवाद, हम खर्च किए गए समय को बचा सकते हैं।

लेकिन नतीजों का क्या? यहीं पर चीजें और अधिक जटिल हो जाती हैं। मॉडल बनाने के लिए कई उपकरण हैं, जिनके बारे में मैं आगे चर्चा करूंगा। एक अच्छा मॉडल बनाना आसान नहीं है, लेकिन आगे क्या? व्यवसाय मॉडल का उपयोग करके लाभ कमाना भी एक गैर-मामूली कार्य है। समस्या की जड़ विश्लेषणात्मक और लेनदेन संबंधी कार्यभार और डेटा मॉडल को अलग करना है। जब हम किसी मॉडल को प्रशिक्षित करते हैं, तो हम आमतौर पर इसे ऐतिहासिक डेटा पर करते हैं। लेकिन निर्मित मॉडल का स्थान ट्रांसेक्शनल डेटा प्रोसेसिंग में है। यदि हम इसे दिन में एक बार चलाते हैं तो सबसे अच्छा धोखाधड़ी लेनदेन का पता लगाने वाला मॉडल क्या अच्छा है? घोटालेबाज बहुत पहले ही पैसा लेकर चले गए हैं। हमें मॉडल को ऐतिहासिक डेटा पर प्रशिक्षित करने की आवश्यकता है, लेकिन हमें इसे नए आने वाले डेटा पर वास्तविक समय में लागू करने की भी आवश्यकता है ताकि हमारी व्यावसायिक प्रक्रियाएं मॉडल द्वारा की गई भविष्यवाणियों पर कार्य कर सकें।

एमएल टूलकिट टूल का एक सेट है जिसका उद्देश्य बस यही करना है: मॉडल और एक लेनदेन वातावरण को एकीकृत करना ताकि निर्मित मॉडल आसानी से सीधे आपकी व्यावसायिक प्रक्रियाओं में उपयोग किए जा सकें। पायथन गेटवे एमएल टूलकिट का हिस्सा है और पायथन भाषा के साथ एकीकरण प्रदान करता है (उसी तरह जैसे आर गेटवे, एमएल टूलकिट का हिस्सा होने के कारण आर भाषा के साथ एकीकरण प्रदान करता है)।

उपकरण

आगे बढ़ने से पहले, मैं कुछ पायथन टूल्स और लाइब्रेरीज़ का वर्णन करना चाहूंगा जिनका हम बाद में उपयोग करेंगे।

प्रौद्योगिकी

पायथन एक व्याख्यात्मक, उच्च-स्तरीय, सामान्य-उद्देश्य वाली प्रोग्रामिंग भाषा है। भाषा का मुख्य लाभ इसकी गणितीय, एमएल और एआई पुस्तकालयों की बड़ी लाइब्रेरी है। ऑब्जेक्टस्क्रिप्ट की तरह, यह एक ऑब्जेक्ट-ओरिएंटेड भाषा है, लेकिन सब कुछ स्थिर के बजाय गतिशील रूप से परिभाषित किया गया है। साथ ही हर चीज़ एक वस्तु है. बाद के लेख भाषा से परिचित होने का अनुमान लगाते हैं। यदि आप सीखना शुरू करना चाहते हैं, तो मेरा सुझाव है कि शुरुआत करें प्रलेखन.
हमारे बाद के अभ्यासों के लिए, सेट करें पायथन 3.6.7 64 बिट.
आईडीई: मैं उपयोग करता हूं PyCharm, लेकिन सामान्य तौर पर वे много. यदि आप एटेलियर का उपयोग करते हैं, तो पायथन डेवलपर्स के लिए एक एक्लिप्स प्लगइन है। यदि आप वीएस कोड का उपयोग कर रहे हैं, तो पायथन के लिए एक एक्सटेंशन है।
नोटबुक: आईडीई के बजाय, आप अपनी स्क्रिप्ट को ऑनलाइन नोटबुक में लिख और साझा कर सकते हैं। उनमें से सबसे लोकप्रिय है बृहस्पति.

पुस्तकालयों

यहां मशीन लर्निंग लाइब्रेरी की एक (गैर-विस्तृत) सूची दी गई है:

ऊँचा होना - सटीक गणना के लिए एक मौलिक पैकेज।
पांडा - उच्च-प्रदर्शन डेटा संरचनाएं और डेटा विश्लेषण उपकरण।
matplotlib - ग्राफ़ का निर्माण.
समुद्र में रहनेवाला - matplotlib पर आधारित डेटा विज़ुअलाइज़ेशन।
स्केलेर्न - मशीन सीखने के तरीके।
एक्सजीबूस्ट - ग्रेडिएंट बूस्टिंग पद्धति के ढांचे के भीतर मशीन लर्निंग एल्गोरिदम।
जेनसिम -एनएलपी.
Keras - तंत्रिका - तंत्र।
टेन्सलफ्लो - मशीन लर्निंग मॉडल बनाने के लिए एक मंच।
पायटॉर्च पायथन पर केंद्रित मशीन लर्निंग मॉडल बनाने का एक मंच है।
न्योका - विभिन्न मॉडलों से पीएमएमएल।

एआई/एमएल प्रौद्योगिकियां व्यवसाय को अधिक कुशल और अनुकूलनीय बनाती हैं। इसके अलावा, आज इन तकनीकों को विकसित करना और लागू करना आसान होता जा रहा है। एआई/एमएल प्रौद्योगिकियों के बारे में सीखना शुरू करें और वे आपके संगठन को बढ़ने में कैसे मदद कर सकते हैं।

स्थापना

पायथन गेटवे को स्थापित करने और उपयोग करने के कई तरीके हैं:

ऑपरेटिंग सिस्टम
- Windows
- Linux
- Mac
डाक में काम करनेवाला मज़दूर
- DockerHub से एक छवि का उपयोग करें
- अपना खुद का लुक बनाएं

स्थापना विधि चाहे जो भी हो, आपको स्रोत कोड की आवश्यकता होगी। कोड डाउनलोड करने का एकमात्र स्थान है पृष्ठ जारी करता है. इसमें परीक्षणित स्थिर रिलीज़ शामिल हैं, बस नवीनतम लें। फिलहाल यह 0.8 है, लेकिन समय के साथ नए भी आएंगे। रिपॉजिटरी को क्लोन/डाउनलोड न करें, नवीनतम रिलीज़ डाउनलोड करें।

ऑपरेटिंग सिस्टम

यदि आप किसी ऑपरेटिंग सिस्टम पर पायथन गेटवे इंस्टॉल कर रहे हैं, तो सबसे पहले (ऑपरेटिंग सिस्टम की परवाह किए बिना) आपको पायथन इंस्टॉल करना होगा। इसके लिए:

पायथन 3.6.7 64 बिट स्थापित करें. डिफ़ॉल्ट निर्देशिका में पायथन को स्थापित करने की अनुशंसा की जाती है।
मॉड्यूल स्थापित करें dill: pip install dill.
ऑब्जेक्टस्क्रिप्ट कोड डाउनलोड करें (अर्थात् do $system.OBJ.ImportDir("C:InterSystemsReposPythoniscpy", "*.cls", "c",,1)) उत्पादों वाले किसी भी क्षेत्र में। यदि आप उत्पादों का समर्थन करने के लिए मौजूदा क्षेत्र चाहते हैं, तो चलाएँ: write ##class(%EnsembleMgr).EnableNamespace($Namespace, 1).
जगह कॉलआउट डीएलएल/एसओ/डीवाईएलआईबी एक फ़ोल्डर में bin आपका इंटरसिस्टम्स आईआरआईएस उदाहरण। लाइब्रेरी फ़ाइल लौटाए गए पथ में उपलब्ध होनी चाहिए write ##class(isc.py.Callout).GetLib().

Windows

सुनिश्चित करें कि पर्यावरण चर PYTHONHOME पायथन 3.6.7 की ओर इशारा करता है।
सुनिश्चित करें कि सिस्टम वातावरण चर है PATH एक वेरिएबल शामिल है PYTHONHOME (या वह निर्देशिका जिस पर यह इंगित करता है)।

लिनक्स (डेबियन/उबंटू)

जांचें कि पर्यावरण चर है PATH यह होता है /usr/lib и /usr/lib/x86_64-linux-gnu. फ़ाइल का उपयोग करें /etc/environment पर्यावरण चर सेट करने के लिए।
त्रुटियों के मामले में undefined symbol: _Py_TrueStruct सेटिंग सेट करें PythonLib... मे भी रीडमी वहाँ एक समस्या निवारण अनुभाग है.

Mac

वर्तमान में केवल Python 3.6.7 समर्थित है Python.org. वेरिएबल की जाँच करें PATH.

यदि आपने पर्यावरण चर बदल दिया है, तो अपने इंटरसिस्टम्स उत्पाद को पुनरारंभ करें।

डाक में काम करनेवाला मज़दूर

कंटेनरों का उपयोग करने के कई फायदे हैं:

पोर्टेबिलिटी
प्रभावशीलता
इन्सुलेशन
लपट
अचल स्थिति

इसकी जांच करो लेखों की श्रृंखला इंटरसिस्टम्स उत्पादों के साथ डॉकर का उपयोग करने के बारे में अधिक जानकारी के लिए।

सभी पायथन गेटवे बिल्ड वर्तमान में कंटेनर आधारित हैं 2019.4.

तैयार छवि

दौड़ना: docker run -d -p 52773:52773 --name irispy intersystemscommunity/irispy-community:latestइंटरसिस्टम्स आईआरआईएस कम्युनिटी एडिशन के साथ पायथन गेटवे को डाउनलोड करने और चलाने के लिए। बस इतना ही।

अपना खुद का लुक बनाएं

डॉकर छवि बनाने के लिए, रिपॉजिटरी के रूट में चलाएँ: docker build --force-rm --tag intersystemscommunity/irispy:latest ..
डिफ़ॉल्ट रूप से, छवि छवि के आधार पर बनाई जाती है store/intersystems/iris-community:2019.4.0.383.0, हालाँकि आप एक वेरिएबल सेट करके इसे बदल सकते हैं IMAGE.
इंटरसिस्टम्स आईआरआईएस से निर्माण करने के लिए, चलाएँ: `docker build --build-arg IMAGE=store/intersystems/iris:2019.4.0.383.0 --force-rm --tag intersystemcommunity/irispy:latest"।

इसके बाद आप डॉकर छवि चला सकते हैं:

docker run -d 
  -p 52773:52773 
  -v /<HOST-DIR-WITH-iris.key>/:/mount 
  --name irispy 
  intersystemscommunity/irispy:latest 
  --key /mount/iris.key

यदि आप इंटरसिस्टम्स आईआरआईएस सामुदायिक संस्करण पर आधारित छवि का उपयोग कर रहे हैं, तो आप कुंजी को छोड़ सकते हैं।

परीक्षण प्रक्रिया isc.py.test.Process कई छवियों को एक अस्थायी निर्देशिका में सहेजता है। हो सकता है कि आप इस पथ को माउंटेड निर्देशिका में बदलना चाहें। ऐसा करने के लिए, सेटिंग संपादित करें WorkingDir आरोहित निर्देशिका को निर्दिष्ट करना।
टर्मिनल रन तक पहुँचने के लिए: docker exec -it irispy sh.
लॉगिन द्वारा सिस्टम प्रबंधन पोर्टल तक पहुंच SuperUser/SYS.
कंटेनर को रोकने के लिए, चलाएँ: docker stop irispy && docker rm --force irispy.

स्थापना का सत्यापन

एक बार जब आप पाइथन गेटवे स्थापित कर लेते हैं, तो यह जांचने लायक है कि यह काम कर रहा है या नहीं। इस कोड को इंटरसिस्टम्स आईआरआईएस टर्मिनल में निष्पादित करें:

set sc = ##class(isc.py.Callout).Setup() 
set sc = ##class(isc.py.Main).SimpleString("x='HELLO'", "x", , .var).
write var

परिणाम होना चाहिए: HELLO - पायथन वैरिएबल मान x. यदि वापसी की स्थिति sc एक त्रुटि है या var खाली, जांचें रीडमी - समस्या निवारण अनुभाग.

API

पायथन गेटवे स्थापित है और आपने सत्यापित किया है कि यह काम करता है। इसका उपयोग शुरू करने का समय आ गया है!
Python का मुख्य इंटरफ़ेस है isc.py.Main. यह विधियों के निम्नलिखित समूह प्रदान करता है (सभी वापस आते हैं)। %Status):

कोड निष्पादन
डाटा ट्रांसफर
अधीनस्थ

कोड निष्पादन

ये विधियाँ आपको मनमाना पायथन कोड निष्पादित करने की अनुमति देती हैं।

सिंपलस्ट्रिंग

SimpleString - यह मुख्य विधि है. इसमें 4 वैकल्पिक तर्क लगते हैं:

code - निष्पादित करने के लिए कोड की पंक्ति। पंक्ति फ़ीड वर्ण: $c(10).
returnVariable - लौटने वाले वेरिएबल का नाम।
serialization - क्रमबद्ध कैसे करें returnVariable. 0 - स्ट्रिंग (डिफ़ॉल्ट), 1 - पुनरुत्पादन।
result - ByRef उस वेरिएबल का संदर्भ है जिसमें मान लिखा गया है returnVariable.

ऊपर हमने किया:

set sc = ##class(isc.py.Main).SimpleString("x='HELLO'", "x", , .var).

इस उदाहरण में, हम एक पायथन वेरिएबल असाइन करते हैं x मूल्य Hello और पाइथॉन वैरिएबल का मान वापस करना चाहते हैं x एक ऑब्जेक्टस्क्रिप्ट वैरिएबल के लिए var.

निष्पादन कोड

ExecuteCode एक सुरक्षित और कम प्रतिबंधात्मक विकल्प है SimpleString.
इंटरसिस्टम्स आईआरआईएस प्लेटफ़ॉर्म में लाइनें 3 वर्णों तक सीमित हैं, और यदि आप लंबे कोड को निष्पादित करना चाहते हैं, तो आपको थ्रेड्स का उपयोग करने की आवश्यकता है।
दो तर्क स्वीकार किये जाते हैं:

code - निष्पादित किए जाने वाले पायथन कोड की एक पंक्ति या स्ट्रीम।
variable - (वैकल्पिक) निष्पादन का परिणाम निर्दिष्ट करता है code यह पायथन वैरिएबल.

उपयोग करने के लिए उदाहरण:

set sc = ##class(isc.py.Main).ExecuteCode("2*3", "y").

इस उदाहरण में, हम 2 को 3 से गुणा करते हैं और परिणाम को पायथन वेरिएबल में लिखते हैं y.

डाटा ट्रांसफर

पायथन से डेटा पास करें।

पायथन -> इंटरसिस्टम्स आईआरआईएस

इंटरसिस्टम्स आईआरआईएस में पायथन वैरिएबल का मान प्राप्त करने के 4 तरीके हैं, जो आपके लिए आवश्यक क्रमबद्धता पर निर्भर करता है:

String सरल डेटा प्रकार और डिबगिंग के लिए।
Repr सरल वस्तुओं को संग्रहीत करने और डिबगिंग के लिए।
JSON इंटरसिस्टम्स आईआरआईएस पक्ष पर आसान डेटा हेरफेर के लिए।
Pickle वस्तुओं को सहेजने के लिए.

ये विधियाँ आपको पायथन से स्ट्रिंग या स्ट्रीम के रूप में वेरिएबल पुनर्प्राप्त करने की अनुमति देती हैं।

GetVariable(variable, serialization, .stream, useString) - पाना serialization चर variable в stream। अगर useString 1 है और क्रमबद्धता को एक स्ट्रिंग पर रखा गया है, तो एक स्ट्रिंग वापस आती है न कि एक स्ट्रीम।
GetVariableJson(variable, .stream, useString) - एक वेरिएबल का JSON क्रमबद्धता प्राप्त करें।
GetVariablePickle(variable, .stream, useString, useDill) -एक चर का अचार (या डिल) क्रमांकन प्राप्त करें।

आइए अपना वेरिएबल प्राप्त करने का प्रयास करें y.

set sc = ##class(isc.py.Main).GetVariable("y", , .val, 1)
write val
>6

इंटरसिस्टम्स आईआरआईएस -> पायथन

इंटरसिस्टम्स आईआरआईएस से पायथन में डेटा लोड हो रहा है।

ExecuteQuery(query, variable, type, namespace) - एक डेटासेट (पांडा) बनाता है dataframe या list) एसक्यूएल क्वेरी से और इसे पायथन वेरिएबल पर सेट करता है variable. प्लास्टिक बैग isc.py क्षेत्र में उपलब्ध होना चाहिए namespace - अनुरोध वहां निष्पादित किया जाएगा।
ExecuteGlobal(global, variable, type, start, end, mask, labels, namespace) - वैश्विक डेटा लोड करता है global सबस्क्रिप्ट से start से end पायथन में एक प्रकार के चर के रूप में type: list, या पांडा dataframe. वैकल्पिक तर्कों का विवरण mask और labels क्लास डॉक्यूमेंटेशन और रिपॉजिटरी में उपलब्ध है डेटा स्थानांतरण दस्तावेज़.
ExecuteClass(class, variable, type, start, end, properties, namespace) - क्लास डेटा लोड करता है class आईडी से start से end पायथन में एक प्रकार के चर के रूप में type: list, या पांडा dataframe. properties - वर्ग गुणों की एक सूची (अल्पविराम द्वारा अलग की गई) जिसे डेटा सेट में लोड करने की आवश्यकता है। मास्क का समर्थन किया गया * и ?. गलती करना - * (सभी संपत्तियाँ)। संपत्ति %%CLASSNAME अवहेलना करना।
ExecuteTable(table, variable, type, start, end, properties, namespace) - टेबल डेटा लोड करता है table आईडी से start से end पायथन में.

ExecuteQuery - यूनिवर्सल (कोई भी सही SQL क्वेरी पायथन को पास कर दी जाएगी)। तथापि, ExecuteGlobal और उसके रैपर ExecuteClass и ExecuteTable कई प्रतिबंधों के साथ काम करें। वे बहुत तेज़ हैं (ODBC ड्राइवर से 3-5 गुना तेज़ और 20 गुना तेज़)। ExecuteQuery). अधिक जानकारी यहां डेटा स्थानांतरण दस्तावेज़.
ये सभी तरीके किसी भी क्षेत्र से डेटा ट्रांसफर का समर्थन करते हैं। प्लास्टिक बैग isc.py लक्ष्य क्षेत्र में उपलब्ध होना चाहिए।

क्वेरी को निष्पादित करें

ExecuteQuery(request, variable, type, namespace) - किसी भी सही SQL क्वेरी के परिणामों को पायथन में स्थानांतरित करना। यह सबसे धीमी डेटा ट्रांसफर विधि है। यदि इसका प्रयोग करें ExecuteGlobal और इसके रैपर उपलब्ध नहीं हैं.

तर्क:

query - एसक्यूएल क्वेरी.
variable - पायथन वेरिएबल का नाम जिसमें डेटा लिखा जाता है।
type - list या पांडा dataframe.
namespace - वह क्षेत्र जिसमें अनुरोध निष्पादित किया जाएगा।

निष्पादन वैश्विक

ExecuteGlobal(global, variable, type, start, end, mask, labelels, namespace) - पायथन में एक ग्लोबल पास करना।

तर्क:

global - बिना वैश्विक नाम ^
variable - पायथन वेरिएबल का नाम जिसमें डेटा लिखा जाता है।
type - list या पांडा dataframe.
start - ग्लोबल की पहली सबस्क्रिप्ट। अनिवार्य रूप से %Integer.
end - ग्लोबल की अंतिम सबस्क्रिप्ट। अनिवार्य रूप से %Integer.
mask - वैश्विक मूल्य मुखौटा। मास्क वैश्विक फ़ील्ड्स की संख्या से छोटा हो सकता है (जिस स्थिति में अंत में फ़ील्ड्स को छोड़ दिया जाएगा)। मास्क को कैसे फ़ॉर्मेट करें:
- + मान को वैसे ही पास करें जैसे है।
- - मूल्य छोड़ें.
- b - बूलियन प्रकार (0 - False, बाकी सभी - True).
- d — दिनांक ($horolog से, विंडोज़ पर 1970 से, लिनक्स पर 1900 से)।
- t - समय ($राशिफल, आधी रात के बाद के सेकंड)।
- m - टाइमस्टैम्प (प्रारूप स्ट्रिंग वर्ष-माह-दिन घंटा: मिनट: सेकंड)।
labels - %कॉलम नामों की सूची. पहला तत्व सबस्क्रिप्ट का नाम है.
namespace - वह क्षेत्र जिसमें अनुरोध निष्पादित किया जाएगा।

एक्ज़ीक्यूटक्लास

लपेटो ExecuteGlobal. वर्ग परिभाषा के आधार पर, एक कॉल तैयार करता है ExecuteGlobal और उसे बुलाता है.

ExecuteClass(class, variable, type, start, end, properties, namespace) - पायथन में क्लास डेटा पास करना।

तर्क:

class - कक्षा का नाम
variable - पायथन वेरिएबल का नाम जिसमें डेटा लिखा जाता है।
type - list या पांडा dataframe.
start - आरंभिक आईडी.
end -अंतिम आईडी
properties - वर्ग गुणों की एक सूची (अल्पविराम द्वारा अलग की गई) जिसे डेटा सेट में लोड करने की आवश्यकता है। मास्क का समर्थन किया गया * и ?. गलती करना - * (सभी संपत्तियाँ)। संपत्ति %%CLASSNAME अवहेलना करना।
namespace - वह क्षेत्र जिसमें अनुरोध निष्पादित किया जाएगा।

प्रकार की संपत्तियों को छोड़कर सभी संपत्तियों को वैसे ही पारित किया जाता है %Date, %Time, %Boolean и %TimeStamp - उन्हें संबंधित पायथन कक्षाओं में परिवर्तित किया जाता है।

निष्पादन तालिका

लपेटो ExecuteClass. तालिका नाम को कक्षा नाम और कॉल में अनुवादित करता है ExecuteClass. हस्ताक्षर:

ExecuteTable(table, variable, type, start, end, properties, namespace) - टेबल डेटा को पायथन में पास करना।

तर्क:

table - तालिका नाम।
अन्य सभी तर्क यथावत पारित किये जाते हैं ExecuteClass.

टिप्पणियां

ExecuteGlobal, ExecuteClass и ExecuteTable समान रूप से तेजी से काम करें.
ExecuteGlobal से 20 गुना तेज ExecuteQuery बड़े डेटा सेट पर (स्थानांतरण समय >0.01 सेकंड)।
ExecuteGlobal, ExecuteClass и ExecuteTable इस संरचना के साथ ग्लोबल्स पर काम करें: ^global(key) = $lb(prop1, prop2, ..., propN) जहां key - पूर्णांक।
के लिए ExecuteGlobal, ExecuteClass и ExecuteTable मूल्यों की समर्थित सीमा %Date रेंज के अनुरूप है mktime और ओएस पर निर्भर करता है (खिड़कियां: 1970-01-01, लिनक्स 1900 - 01 01, मैक). उपयोग %TimeStampइस सीमा के बाहर डेटा स्थानांतरित करने के लिए या पांडा डेटाफ़्रेम का उपयोग करें यह केवल सूची की सीमा है।
के लिए ExecuteGlobal, ExecuteClass и ExecuteTable डेटा स्रोत (वैश्विक, वर्ग या तालिका) और चर को छोड़कर सभी तर्क वैकल्पिक हैं।

उदाहरण

टेस्ट क्लास isc.py.test.Person इसमें सभी डेटा स्थानांतरण विकल्पों को प्रदर्शित करने वाली एक विधि शामिल है:

set global = "isc.py.test.PersonD"
set class = "isc.py.test.Person"
set table = "isc_py_test.Person"
set query = "SELECT * FROM isc_py_test.Person"

// Общие аргументы
set variable = "df"
set type = "dataframe"
set start = 1
set end = $g(^isc.py.test.PersonD, start)

// Способ 0: ExecuteGlobal без аргументов
set sc = ##class(isc.py.Main).ExecuteGlobal(global, variable _ 0, type)

// Способ 1: ExecuteGlobal с аргументами    
// При передаче глобала названия полей задаются вручную
// globalKey - название сабсткрипта 
set labels = $lb("globalKey", "Name", "DOB", "TS", "RandomTime", "AgeYears", "AgeDecimal", "AgeDouble", "Bool")

// mask содержит на 1 элемент меньше чем labels потому что "globalKey" - название сабскипта
// Пропускаем %%CLASSNAME
set mask = "-+dmt+++b"

set sc = ##class(isc.py.Main).ExecuteGlobal(global, variable _ 1, type, start, end, mask, labels)

// Способ 2: ExecuteClass
set sc = ##class(isc.py.Main).ExecuteClass(class, variable _ 2, type, start, end)

// Способ 3: ExecuteTable
set sc = ##class(isc.py.Main).ExecuteTable(table, variable _ 3, type, start, end)

// Способ 4: ExecuteTable
set sc = ##class(isc.py.Main).ExecuteQuery(query, variable _ 4, type)

विधि को कॉल करें do ##class(isc.py.test.Person).Test() यह देखने के लिए कि सभी डेटा स्थानांतरण विधियाँ कैसे काम करती हैं।

सहायक तरीके

GetVariableInfo(variable, serialization, .defined, .type, .length) - वेरिएबल के बारे में जानकारी प्राप्त करें: क्या यह परिभाषित है, इसकी कक्षा और क्रमांकन लंबाई।
GetVariableDefined(variable, .defined) - क्या चर परिभाषित है।
GetVariableType(variable, .type) - चर का वर्ग प्राप्त करें।
GetStatus() - पायथन पक्ष पर अंतिम अपवाद प्राप्त करें और हटाएं।
GetModuleInfo(module, .imported, .alias) - मॉड्यूल चर और आयात स्थिति प्राप्त करें।
GetFunctionInfo(function, .defined, .type, .docs, .signature, .arguments) - फ़ंक्शन के बारे में जानकारी प्राप्त करें.

इंटरोऑपरेबिलिटी

आपने टर्मिनल से पायथन गेटवे को कॉल करना सीख लिया है, अब इसे उत्पादन में उपयोग करना शुरू करते हैं। इस मोड में Python के साथ इंटरैक्ट करने का आधार है isc.py.ens.Operation. यह हमें अनुमति देता है:

पायथन में कोड निष्पादित करें
पायथन संदर्भ को सहेजें/पुनर्स्थापित करें
पायथन से डेटा लोड करें और प्राप्त करें

मूल रूप से, पायथन ऑपरेशन एक आवरण है isc.py.Main. संचालन isc.py.ens.Operation इंटरसिस्टम्स आईआरआईएस उत्पादों से पायथन प्रक्रिया के साथ बातचीत करने की क्षमता प्रदान करता है। पाँच प्रश्न समर्थित हैं:

isc.py.msg.ExecutionRequest पायथन कोड निष्पादित करने के लिए। रिटर्न isc.py.msg.ExecutionResponse निष्पादन परिणाम और अनुरोधित चर के मूल्यों के साथ।
isc.py.msg.StreamExecutionRequest पायथन कोड निष्पादित करने के लिए। रिटर्न isc.py.msg.StreamExecutionResponse निष्पादन का परिणाम और अनुरोधित चर के मान। अनुरूप isc.py.msg.ExecutionRequest, लेकिन स्ट्रिंग्स के बजाय स्ट्रीम स्वीकार करता है और लौटाता है।
isc.py.msg.QueryRequest SQL क्वेरी निष्पादित करने का परिणाम प्रसारित करने के लिए। रिटर्न Ens.Response.
isc.py.msg.GlobalRequest/isc.py.msg.ClassRequest/isc.py.msg.TableRequest वैश्विक/वर्ग/तालिका डेटा पास करने के लिए। रिटर्न Ens.Response.
isc.py.msg.SaveRequest पायथन संदर्भ को बचाने के लिए। रिटर्न Ens.StringResponse संदर्भ आईडी के साथ.
isc.py.msg.RestoreRequest पायथन संदर्भ को पुनर्स्थापित करने के लिए।

इसके अलावा, isc.py.ens.Operation दो सेटिंग्स हैं:
- Initializer - इंटरफ़ेस को लागू करने वाले वर्ग का चयन करना isc.py.init.Abstract. इसका उपयोग फ़ंक्शंस, मॉड्यूल, क्लास आदि को लोड करने के लिए किया जा सकता है। प्रक्रिया शुरू होने पर इसे एक बार निष्पादित किया जाता है।
- PythonLib - (केवल लिनक्स) यदि आपको लोड करते समय त्रुटियां दिखाई देती हैं, तो इसका मान सेट करें libpython3.6m.so या यहां तक कि पायथन लाइब्रेरी के पूर्ण पथ में भी।

व्यावसायिक प्रक्रियाओं का निर्माण

दो वर्ग उपलब्ध हैं जो व्यावसायिक प्रक्रियाओं के विकास को सुविधाजनक बनाते हैं:

isc.py.ens.ProcessUtils आपको परिवर्तनीय प्रतिस्थापन वाली गतिविधियों से एनोटेशन निकालने की अनुमति देता है।
isc.py.util.BPEmulator पायथन के साथ व्यावसायिक प्रक्रियाओं का परीक्षण करना आसान बनाता है। यह वर्तमान प्रक्रिया में एक व्यावसायिक प्रक्रिया (पायथन भाग) को निष्पादित कर सकता है।

परिवर्तनीय प्रतिस्थापन

सभी व्यावसायिक प्रक्रियाएँ विरासत में मिलीं isc.py.ens.ProcessUtils, विधि का उपयोग कर सकते हैं GetAnnotation(name) गतिविधि एनोटेशन मान को उसके नाम से प्राप्त करने के लिए। गतिविधि एनोटेशन में वेरिएबल शामिल हो सकते हैं जिनकी गणना पायथन को पास किए जाने से पहले इंटरसिस्टम्स आईआरआईएस पक्ष पर की जाएगी। यहाँ परिवर्तनीय प्रतिस्थापन के लिए वाक्यविन्यास है:

${class:method:arg1:...:argN} - विधि कॉल
#{expr} - ऑब्जेक्टस्क्रिप्ट भाषा में कोड निष्पादित करें।

परीक्षण व्यवसाय प्रक्रिया में एक उदाहरण उपलब्ध है isc.py.test.Process, उदाहरण के लिए, गतिविधि में Correlation Matrix: Graph: f.savefig(r'#{process.WorkDirectory}SHOWCASE${%PopulateUtils:Integer:1:100}.png'). इस उदाहरण में:

#{process.WorkDirectory} ऑब्जेक्ट की WorkDirectory प्रॉपर्टी लौटाता है process, जो वर्ग का एक उदाहरण है isc.py.test.Process वे। वर्तमान व्यवसाय प्रक्रिया.
${%PopulateUtils:Integer:1:100} एक विधि को कॉल करता है Integer वर्ग %PopulateUtils, तर्क पारित करना 1 и 100, श्रेणी में एक यादृच्छिक पूर्णांक लौटा रहा है 1...100.

व्यवसाय प्रक्रिया का परीक्षण करें

परीक्षण उत्पाद और परीक्षण व्यवसाय प्रक्रियाएँ पायथन गेटवे के भाग के रूप में डिफ़ॉल्ट रूप से उपलब्ध हैं। उनका उपयोग करने के लिए:

OS टर्मिनल में, चलाएँ: pip install pandas matplotlib seaborn.
इंटरसिस्टम्स आईआरआईएस टर्मिनल में, चलाएँ: do ##class(isc.py.test.CannibalizationData).Import() परीक्षण डेटा भरने के लिए.
उत्पाद लॉन्च करें isc.py.test.Production.
अनुरोध प्रकार भेजें Ens.Request в isc.py.test.Process.

आइए देखें कि यह सब एक साथ कैसे काम करता है। खुला isc.py.test.Process बीपीएल संपादक में:

कोड निष्पादन

सबसे महत्वपूर्ण चुनौती पायथन कोड निष्पादित करना है:

क्वेरी का उपयोग किया गया isc.py.msg.ExecutionRequest, यहाँ इसके गुण हैं:

Code -पायथन कोड.
SeparateLines - निष्पादन के लिए कोड को लाइनों में विभाजित करना है या नहीं। $c(10) (n) का उपयोग स्ट्रिंग्स को अलग करने के लिए किया जाता है। कृपया ध्यान दें कि संपूर्ण संदेश को एक साथ संसाधित करने की अनुशंसा नहीं की जाती है, यह फ़ंक्शन केवल संसाधित करने के लिए है def और समान बहुपंक्ति अभिव्यक्तियाँ। गलती करना 0.
Variables - वेरिएबल्स की अल्पविराम से अलग की गई सूची जिसे प्रतिक्रिया में जोड़ा जाएगा।
Serialization - उन वेरिएबल्स को क्रमबद्ध कैसे करें जिन्हें हम वापस करना चाहते हैं। विकल्प: Str, Repr, JSON, Pickle и Dill, गलती करना Str.

हमारे मामले में, हम केवल संपत्ति निर्धारित करते हैं Code, इसलिए अन्य सभी गुण डिफ़ॉल्ट मानों का उपयोग करते हैं। हम इसे कॉल करके सेट करते हैं process.GetAnnotation("Import pandas"), जो रनटाइम पर वेरिएबल प्रतिस्थापन निष्पादित होने के बाद एक एनोटेशन लौटाता है। आख़िरकार, कोड import pandas as pd पाइथन को पास कर दिया जाएगा। GetAnnotation मल्टी-लाइन पायथन स्क्रिप्ट प्राप्त करने के लिए उपयोगी हो सकता है, लेकिन कोड प्राप्त करने की इस पद्धति पर कोई प्रतिबंध नहीं है। आप संपत्ति सेट कर सकते हैं Code किसी भी तरह से आपके लिए सुविधाजनक।

वेरिएबल प्राप्त करना

एक और दिलचस्प चुनौती का उपयोग करना isc.py.msg.ExecutionRequest - Correlation Matrix: Tabular:

यह पायथन पक्ष पर सहसंबंध मैट्रिक्स की गणना करता है और चर निकालता है corrmat अनुरोध गुण सेट करके JSON प्रारूप में इंटरसिस्टम्स IRIS पर वापस जाएँ:

Variables: "corrmat"
Serialization: "JSON"

हम विज़ुअल ट्रेस में परिणाम देख सकते हैं:

और यदि हमें BP में इस मान की आवश्यकता है, तो हम इसे इस प्रकार प्राप्त कर सकते हैं: callresponse.Variables.GetAt("corrmat").

डाटा ट्रांसफर

इसके बाद, इंटरसिस्टम्स आईआरआईएस से पायथन में डेटा ट्रांसफर करने के बारे में बात करते हैं; डेटा ट्रांसफर के लिए सभी अनुरोध इंटरफ़ेस को लागू करते हैं isc.py.msg.DataRequestजो निम्नलिखित गुण प्रदान करता है:

Variable - एक पायथन वैरिएबल जिसमें डेटा लिखा जाता है।
Type - परिवर्तनीय प्रकार: dataframe (पांडा डेटाफ़्रेम) या list.
Namespace — वह क्षेत्र जहाँ से हम डेटा प्राप्त करते हैं। प्लास्टिक बैग isc.py इस क्षेत्र में उपलब्ध होना चाहिए. यह उत्पाद समर्थन के बिना एक क्षेत्र हो सकता है।

इस इंटरफ़ेस के आधार पर, अनुरोधों के 4 वर्ग कार्यान्वित किए जाते हैं:

isc.py.msg.QueryRequest - संपत्ति सेट करें Query SQL क्वेरी भेजने के लिए.
isc.py.msg.ClassRequest - संपत्ति सेट करें Class क्लास डेटा पास करने के लिए.
isc.py.msg.TableRequest - संपत्ति सेट करें Table तालिका डेटा स्थानांतरित करने के लिए.
isc.py.msg.GlobalRequest - संपत्ति सेट करें Global वैश्विक डेटा स्थानांतरण के लिए.

परीक्षण प्रक्रिया में, गतिविधि को देखें RAWजहां isc.py.msg.QueryRequest कार्रवाई में दिखाया गया है.

पायथन प्रसंग को सहेजना/पुनर्स्थापित करना

अंत में, हम पायथन संदर्भ को इंटरसिस्टम्स आईआरआईएस में संग्रहीत कर सकते हैं, ऐसा करने के लिए हम भेजेंगे isc.py.msg.SaveRequest तर्कों के साथ:

Mask - केवल वेरिएबल जो मास्क से मेल खाते हैं, सहेजे जाते हैं। का समर्थन किया * и ?. उदाहरण: "Data*, Figure?". गलती करना *.
MaxLength - संग्रहीत चर की अधिकतम लंबाई। यदि किसी वेरिएबल का क्रमांकन लंबा है, तो इसे अनदेखा कर दिया जाएगा। किसी भी लंबाई के वेरिएबल प्राप्त करने के लिए 0 पर सेट करें। गलती करना $$$MaxStringLength.
Name — प्रसंग नाम (वैकल्पिक).
Description - संदर्भ का विवरण (वैकल्पिक)।

रिटर्न Ens.StringResponse с Id सहेजा गया संदर्भ. परीक्षण प्रक्रिया में, गतिविधि को देखें Save Context.

संबंधित अनुरोध isc.py.msg.RestoreRequest इंटरसिस्टम्स आईआरआईएस से संदर्भ को पायथन में लोड करता है:

ContextId - संदर्भ पहचानकर्ता.
Clear - पुनर्स्थापित करने से पहले संदर्भ साफ़ करें।

जुपीटर नोटबुक

जुपीटर नोटबुक एक खुला स्रोत वेब एप्लिकेशन है जो आपको कोड, विज़ुअलाइज़ेशन और टेक्स्ट वाली नोटबुक बनाने और प्रकाशित करने की अनुमति देता है। पायथन गेटवे आपको ज्यूपिटर नोटबुक के रूप में बीपीएल प्रक्रियाओं को देखने और संपादित करने की अनुमति देता है। कृपया ध्यान दें कि वर्तमान में सामान्य Python 3 निष्पादक का उपयोग किया जाता है।

यह एक्सटेंशन मानता है कि एनोटेशन में पायथन कोड होता है और गतिविधि नामों को पूर्ववर्ती शीर्षकों के रूप में उपयोग करता है। अब ज्यूपिटर नोटबुक में PythonGateway व्यावसायिक प्रक्रियाओं को विकसित करना संभव है। यहां बताया गया है कि क्या संभव है:

नई व्यावसायिक प्रक्रियाएँ बनाएँ
व्यावसायिक प्रक्रियाएँ हटाएँ
नई गतिविधियाँ बनाएँ
गतिविधियाँ बदलें
गतिविधियाँ हटाएँ

यहां डेमो वीडियो. और कुछ स्क्रीनशॉट:

प्रोसेस एक्सप्लोरर

प्रक्रिया संपादक

स्थापना

आपको इंटरसिस्टम्स आईआरआईएस 2019.2+ की आवश्यकता होगी।
PythonGateway v0.8+ इंस्टॉल करें (केवल आवश्यक)। isc.py.util.Jupyter, isc.py.util.JupyterCheckpoints и isc.py.ens.ProcessUtils).
रिपॉजिटरी से ऑब्जेक्टस्क्रिप्ट कोड को अपडेट करें।
निष्पादित करना do ##class(isc.py.util.Jupyter).Install() और संकेतों का पालन करें.

अभिलेख.

निष्कर्ष

एमएलटूलकिट उपकरणों का एक सेट है जिसका लक्ष्य मॉडल और एक लेनदेन वातावरण को संयोजित करना है ताकि निर्मित मॉडल आसानी से सीधे आपकी व्यावसायिक प्रक्रियाओं में उपयोग किए जा सकें। पायथन गेटवे एमएलटूलकिट का हिस्सा है और पायथन भाषा के साथ एकीकरण प्रदान करता है, जिससे आप पायथन (कई डेटा वैज्ञानिकों के लिए मुख्य वातावरण) में बनाए गए किसी भी मशीन लर्निंग एल्गोरिदम को व्यवस्थित कर सकते हैं, जल्दी से अनुकूली, रोबोटिक विश्लेषणात्मक एआई / बनाने के लिए कई तैयार पुस्तकालयों का उपयोग कर सकते हैं। इंटरसिस्टम्स प्लेटफॉर्म आईआरआईएस पर एमएल समाधान।

संदर्भों

एमएलटूलकिट

MLToolkit उपयोगकर्ता समूह एक निजी GitHub रिपॉजिटरी है जिसे InterSystems कॉर्पोरेट GitHub संगठन के हिस्से के रूप में बनाया गया है। यह उन बाहरी उपयोगकर्ताओं के लिए है जो पायथन गेटवे सहित एमएलटूलकिट घटकों को स्थापित करते हैं, सीखते हैं या पहले से ही उपयोग कर रहे हैं। समूह के पास विपणन, विनिर्माण, चिकित्सा और कई अन्य उद्योगों के क्षेत्र में कई कार्यान्वित मामले (स्रोत कोड और परीक्षण डेटा के साथ) हैं। एमएल टूलकिट उपयोगकर्ता समूह में शामिल होने के लिए, कृपया निम्नलिखित पते पर एक संक्षिप्त ईमेल भेजें: [ईमेल संरक्षित] और अपने पत्र में निम्नलिखित जानकारी शामिल करें:

GitHub उपयोगकर्ता नाम
संगठन (आप काम करते हैं या अध्ययन करते हैं)
पद (आपके संगठन में आपकी वास्तविक स्थिति, या तो "छात्र" या "स्वतंत्र")।
देश

उन लोगों के लिए जिन्होंने लेख पढ़ा है और कृत्रिम बुद्धिमत्ता और मशीन लर्निंग इंजनों को विकसित करने या होस्ट करने के लिए एक मंच के रूप में इंटरसिस्टम्स आईआरआईएस की क्षमताओं में रुचि रखते हैं, हम आपको उन संभावित परिदृश्यों पर चर्चा करने के लिए आमंत्रित करते हैं जो आपके उद्यम के लिए रुचिकर हैं। हमें आपकी कंपनी की आवश्यकताओं का विश्लेषण करने और संयुक्त रूप से एक कार्य योजना निर्धारित करने में खुशी होगी; हमारी एआई/एमएल विशेषज्ञ टीम का संपर्क ईमेल पता - [ईमेल संरक्षित].

स्रोत: www.habr.com

इंटरसिस्टम्स आईआरआईएस में पायथन गेटवे

योजना

परिचय

उपकरण

प्रौद्योगिकी

पुस्तकालयों

स्थापना

ऑपरेटिंग सिस्टम

Windows

लिनक्स (डेबियन/उबंटू)

Mac

डाक में काम करनेवाला मज़दूर

तैयार छवि

अपना खुद का लुक बनाएं

टिप्पणियाँ

स्थापना का सत्यापन

API

कोड निष्पादन

सिंपलस्ट्रिंग

निष्पादन कोड

डाटा ट्रांसफर

पायथन -> इंटरसिस्टम्स आईआरआईएस

इंटरसिस्टम्स आईआरआईएस -> पायथन

क्वेरी को निष्पादित करें

निष्पादन वैश्विक

एक्ज़ीक्यूटक्लास

निष्पादन तालिका

टिप्पणियां

उदाहरण

सहायक तरीके

इंटरोऑपरेबिलिटी

व्यावसायिक प्रक्रियाओं का निर्माण

परिवर्तनीय प्रतिस्थापन

व्यवसाय प्रक्रिया का परीक्षण करें

कोड निष्पादन

वेरिएबल प्राप्त करना

डाटा ट्रांसफर

पायथन प्रसंग को सहेजना/पुनर्स्थापित करना

जुपीटर नोटबुक

प्रोसेस एक्सप्लोरर

प्रक्रिया संपादक

स्थापना

निष्कर्ष

संदर्भों

एमएलटूलकिट

एक टिप्पणी जोड़ें उत्तर रद्द