Yandex.Cloud आणि Python च्या सर्व्हरलेस फंक्शन्सवर अॅलिससाठी स्टेटफुल स्किल तयार करणे

चला बातम्यांपासून सुरुवात करूया. काल Yandex.Cloud ने सर्व्हरलेस संगणकीय सेवा सुरू करण्याची घोषणा केली यांडेक्स क्लाउड फंक्शन्स. याचा अर्थ: तुम्ही फक्त तुमच्या सेवेसाठी कोड लिहा (उदाहरणार्थ, वेब अॅप्लिकेशन किंवा चॅटबॉट), आणि क्लाउड स्वतःच व्हर्च्युअल मशीन बनवतो आणि देखरेख करतो जिथे ते चालते आणि लोड वाढल्यास त्यांची प्रतिकृती देखील बनवते. तुम्हाला अजिबात विचार करण्याची गरज नाही, हे खूप सोयीचे आहे. आणि देय फक्त गणना वेळेसाठी आहे.

तथापि, काही अजिबात पैसे देऊ शकत नाहीत. हे विकासक आहेत अॅलिसची बाह्य कौशल्ये, म्हणजे, त्यात चॅटबॉट्स तयार केले आहेत. कोणताही विकासक असे कौशल्य लिहू शकतो, होस्ट करू शकतो आणि नोंदणी करू शकतो आणि आजपासून कौशल्यांना होस्ट करण्याची आवश्यकता नाही - फक्त त्यांचा कोड क्लाउडवर फॉर्ममध्ये अपलोड करा समान सर्व्हरलेस फंक्शन.

पण काही बारकावे आहेत. प्रथम, आपल्या पिट कोडसाठी काही अवलंबित्व आवश्यक असू शकतात आणि त्यांना क्लाउडमध्ये ड्रॅग करणे क्षुल्लक नाही. दुसरे म्हणजे, कोणत्याही सामान्य चॅटबॉटला संवादाची स्थिती कुठेतरी संग्रहित करणे आवश्यक आहे (म्हणूनच राज्य); सर्व्हरलेस फंक्शनमध्ये हे करण्याचा सर्वात सोपा मार्ग कोणता आहे? तिसरे म्हणजे, तुम्ही अॅलिससाठी किंवा अगदी शून्य नसलेल्या प्लॉटसह काही प्रकारचे बॉट कसे लिहू शकता? लेख खरं तर या बारकावे बद्दल आहे.

नैतिक तयारी

अधीरांसाठी: क्लाउडवर फंक्शन अपलोड करण्यापूर्वी मी मेकफाइलसह आवश्यक अवलंबित्व गोळा करतो, मी यांडेक्स ऑब्जेक्ट स्टोरेजमध्ये संवादाची स्थिती संग्रहित करतो (ते S3 API ला समर्थन देते), आणि संवाद व्यवस्थापित करण्यासाठी मी माझी स्वतःची लायब्ररी वापरतो. tgalice. शेवटी ते बाहेर वळते अशा डेमो कौशल्य. आता हे सर्व थोडे विस्ताराने पाहू.

जे थोडेसे कमी अधीर आहेत, त्यांच्यासाठी, माझ्या कथेची जटिलता जाणून घेण्यापूर्वी, मी अगदी सोप्या गोष्टीपासून सुरुवात करण्याची शिफारस करतो. म्हणजे, एकल-फाइल इकोबॉट फंक्शन तयार करा, नोंदणी करा आणि डायलॉग डेव्हलपर कन्सोलमध्ये त्याची चाचणी करा; तपशील - मध्ये संवाद ब्लॉग и मेघ दस्तऐवजीकरण. आणि मगच सुरुवात करा.

आम्ही इथे कशासाठी लढत आहोत हे तुम्हाला लगेच जाणवायचे असेल तर अॅलिसला विचारा'"आयटी पत्रिका" कौशल्य सक्षम करा'. खालील प्रमाणे संवाद व्हायला हवा:

अॅलिस: हॅलो! तुम्ही "आयटी कुंडली" कौशल्यात आहात. तारे तुम्हाला काय वचन देतात हे शोधण्यासाठी "प्रारंभ करा" म्हणा.
वापरकर्ता: प्रारंभ करा
उत्तर: कृपया तुमचे नाव सांगा
यु: वसीस्युअली
उत्तर: आता मला तुमच्या जन्माचे वर्ष सांगा. फक्त चार अंक, काहीही अतिरिक्त नाही.
यु: दुसरा
उ: कृपया पुन्हा प्रयत्न करा. तुमच्या जन्माचे वर्ष एंटर करा - चार अंक.
यु: 2002
एक महान! आता तुमच्या जन्म महिन्याला नाव द्या.
यु: फेब्रुवारी
एक महान! शेवटी, मला तुमची जन्मतारीख सांगा - फक्त एक संख्या, फक्त एक किंवा दोन अंक.
यु: 18
उत्तर: धन्यवाद, वसीसुआली! आता आम्हाला माहित आहे: तुम्ही 17 वर्षांचे आणि कुंभ राशीचे आहात. बरं, नक्कीच, आपण भाग्यवान आहात! तारे तुम्हाला सांगतात: а что говорят звёзды, вы узнаете, запустив навык.

समस्या अशी आहे की इतके साधे संवाद कायम ठेवण्यासाठी, तुम्हाला वापरकर्त्याचे नाव आणि जन्मतारीख लक्षात ठेवणे आवश्यक आहे आणि सर्व्हरलेस फंक्शन वातावरणात हे क्षुल्लक नाही. संदर्भ RAM मध्ये किंवा डिस्कवर फाइल म्हणून संग्रहित करणे शक्य होणार नाही, कारण Yandex.Cloud एकाच वेळी अनेक व्हर्च्युअल मशीनवर फंक्शन चालवू शकते आणि त्यांच्या इच्छेनुसार स्विच करू शकते. तुम्हाला काही प्रकारचे बाह्य संचयन वापरावे लागेल. ऑब्जेक्ट स्टोरेज थेट Yandex.Cloud (म्हणजे, कदाचित जलद) मध्ये बर्‍यापैकी स्वस्त आणि गुंतागुंतीचे स्टोरेज म्हणून निवडले गेले. एक विनामूल्य पर्याय म्हणून, आपण प्रयत्न करू शकता, उदाहरणार्थ, एक विनामूल्य तुकडा ढगाळ मोंगा कुठेतरी दूर. ऑब्जेक्ट स्टोरेज (जे S3 इंटरफेसला सपोर्ट करते) आणि मोंगो या दोन्हीसाठी सोयीस्कर पायथन रॅपर्स आहेत.

दुसरी समस्या अशी आहे की ऑब्जेक्ट स्टोरेज, मोंगोडीबी आणि इतर कोणत्याही डेटाबेस किंवा डेटा स्टोअरमध्ये प्रवेश करण्यासाठी, आपल्याला काही बाह्य अवलंबनांची आवश्यकता आहे जी आपल्या फंक्शन कोडसह यांडेक्स फंक्शन्सवर अपलोड करणे आवश्यक आहे. आणि मला हे सोयीस्करपणे करायला आवडेल. दुर्दैवाने, हे पूर्णपणे सोयीस्कर होणार नाही (जसे Heroku वर), परंतु वातावरण तयार करण्यासाठी स्क्रिप्ट लिहून काही मूलभूत सोयी तयार केल्या जाऊ शकतात (फाइल बनवा).

कुंडली कौशल्य कसे सुरू करावे

1. तयार करा: लिनक्ससह काही मशीनवर जा. तत्वतः, आपण कदाचित Windows सह देखील कार्य करू शकता, परंतु नंतर आपल्याला मेकफाइल लॉन्च करून काही जादू करावी लागेल. आणि कोणत्याही परिस्थितीत, आपल्याला किमान पायथन 3.6 स्थापित करणे आवश्यक आहे.
2. Github वरून क्लोन करा कुंडली कौशल्याचे उदाहरण.
3. Y.Cloud मध्ये नोंदणी करा: https://cloud.yandex.ru
4. स्वत: ला दोन बादल्या तयार करा ऑब्जेक्ट स्टोरेजत्यांना कोणत्याही नावाने हाक मारा {BUCKET NAME} и tgalice-test-cold-storage (हे दुसरे नाव आता हार्डकोड केलेले आहे main.py माझे उदाहरण). पहिली बादली फक्त तैनातीसाठी आवश्यक असेल, दुसरी - संवाद स्थिती संग्रहित करण्यासाठी.
5. तयार सेवा खातेत्याला एक भूमिका द्या editor, आणि त्यासाठी स्थिर क्रेडेन्शियल्स मिळवा {KEY ID} и {KEY VALUE} - आम्ही त्यांचा वापर संवादाची स्थिती रेकॉर्ड करण्यासाठी करू. हे सर्व आवश्यक आहे जेणेकरून Ya.Cloud मधील फंक्शन Ya.Cloud वरून स्टोरेजमध्ये प्रवेश करू शकेल. एखाद्या दिवशी, मला आशा आहे, अधिकृतता स्वयंचलित होईल, परंतु आत्ता ते असेच आहे.
6. (पर्यायी) स्थापित करा कमांड लाइन इंटरफेस yc. तुम्ही वेब इंटरफेसद्वारे फंक्शन देखील तयार करू शकता, परंतु CLI चांगले आहे कारण त्यामध्ये सर्व प्रकारच्या नवकल्पना जलद दिसतात.
7. आता तुम्ही प्रत्यक्षात अवलंबित्व असेंब्ली तयार करू शकता: कौशल्य उदाहरणासह फोल्डरमधून कमांड लाइनवर चालवा make all. फोल्डरमध्ये लायब्ररींचा एक समूह (बहुतेक, नेहमीप्रमाणे, अनावश्यक) स्थापित केला जाईल dist.
8. ऑब्जेक्ट स्टोरेजमध्ये हाताने घाला (बाल्टीमध्ये {BUCKET NAME}) मागील चरणात प्राप्त केलेले संग्रहण dist.zip. इच्छित असल्यास, आपण हे कमांड लाइनवरून करू शकता, उदाहरणार्थ, वापरून एडब्ल्यूएस सीएलआय.
9. वेब इंटरफेसद्वारे किंवा युटिलिटी वापरून सर्व्हरलेस फंक्शन तयार करा yc. युटिलिटीसाठी, कमांड असे दिसेल:

yc serverless function version create
    --function-name=horoscope
    --environment=AWS_ACCESS_KEY_ID={KEY ID},AWS_SECRET_ACCESS_KEY={KEY VALUE}
    --runtime=python37
    --package-bucket-name={BUCKET NAME}
    --package-object-name=dist.zip
    --entrypoint=main.alice_handler
    --memory=128M
    --execution-timeout=3s

मॅन्युअली फंक्शन तयार करताना, सर्व पॅरामीटर्स त्याच प्रकारे भरले जातात.

आता तुम्ही तयार केलेल्या फंक्शनची डेव्हलपर कन्सोलद्वारे चाचणी केली जाऊ शकते आणि नंतर कौशल्य सुधारले आणि प्रकाशित केले जाऊ शकते.

हुड अंतर्गत काय आहे

मेकफाइलमध्ये अवलंबित्व स्थापित करण्यासाठी आणि त्यांना संग्रहणात ठेवण्यासाठी एक अगदी सोपी स्क्रिप्ट असते dist.zip, अंदाजे यासारखे:

mkdir -p dist/
pip3 install -r requirements.txt --target dist/ 
cp main.py dist/main.py
cp form.yaml dist/form.yaml
cd dist && zip --exclude '*.pyc' -r ../dist.zip ./*

बाकी लायब्ररीमध्ये गुंडाळलेली काही साधी साधने आहेत tgalice. वापरकर्ता डेटा भरण्याची प्रक्रिया कॉन्फिगरेशनद्वारे वर्णन केली जाते form.yaml:

form_name: 'horoscope_form'
start:
  regexp: 'старт|нач(ать|ни)'
  suggests:
    - Старт
fields:
  - name: 'name'
    question: Пожалуйста, назовите своё имя.
  - name: 'year'
    question: Теперь скажите мне год вашего рождения. Только четыре цифры, ничего лишнего.
    validate_regexp: '^[0-9]{4}$'
    validate_message: Пожалуйста, попробуйте ещё раз. Назовите год вашего рождения - четыре цифры.
  - name: 'month'
    question: Замечательно! Теперь назовите месяц вашего рождения.
    options:
      - январь
     ...
      - декабрь
    validate_message: То, что вы назвали, не похоже на месяц. Пожалуйста, назовите месяц вашего рождения, без других слов.
  - name: 'day'
    question: Отлично! Наконец, назовите мне дату вашего рождения - только число, всего одна или две цифры.
    validate_regexp: '[0123]?d$'
    validate_message: Пожалуйста, попробуйте ещё раз. Вам нужно назвать число своего рождения (например, двадцатое); это одна или две цифры.

या कॉन्फिगरेशनचे पार्सिंग आणि अंतिम निकाल मोजण्याचे काम पायथन वर्गाने घेतले आहे

class CheckableFormFiller(tgalice.dialog_manager.form_filling.FormFillingDialogManager):
    SIGNS = {
        'январь': 'Козерог',
        ...
    }

    def handle_completed_form(self, form, user_object, ctx):
        response = tgalice.dialog_manager.base.Response(
            text='Спасибо, {}! Теперь мы знаем: вам {} лет, и вы {}. n'
                 'Вот это вам, конечно, повезло! Звёзды говорят вам: {}'.format(
                form['fields']['name'],
                2019 - int(form['fields']['year']),
                self.SIGNS[form['fields']['month']],
                random.choice(FORECASTS),
            ),
            user_object=user_object,
        )
        return response

अधिक तंतोतंत, बेस वर्ग FormFillingDialogManager "फॉर्म" भरणे आणि बाल वर्ग पद्धतीशी संबंधित आहे handle_completed_form ती तयार झाल्यावर काय करायचे ते तिला सांगते.

संवादाच्या या मुख्य प्रवाहाव्यतिरिक्त, वापरकर्त्याला अभिवादन करणे आवश्यक आहे, तसेच "मदत" कमांड वापरून मदत दिली पाहिजे आणि "एक्झिट" कमांड वापरून कौशल्यातून मुक्त केले पाहिजे. या उद्देशासाठी मध्ये tgalice एक टेम्पलेट देखील आहे, म्हणून संपूर्ण संवाद व्यवस्थापक तुकड्यांचा बनलेला आहे:

dm = tgalice.dialog_manager.CascadeDialogManager(
    tgalice.dialog_manager.GreetAndHelpDialogManager(
        greeting_message=DEFAULT_MESSAGE,
        help_message=DEFAULT_MESSAGE,
        exit_message='До свидания, приходите в навык "Айтишный гороскоп" ещё!'
    ),
    CheckableFormFiller(`form.yaml`, default_message=DEFAULT_MESSAGE)
)

CascadeDialogManager हे फक्त कार्य करते: ते त्याचे सर्व घटक संवादाच्या वर्तमान स्थितीवर लागू करण्याचा प्रयत्न करते आणि प्रथम योग्य निवडते.

डायलॉग मॅनेजर प्रत्येक मेसेजला प्रतिसाद म्हणून Python ऑब्जेक्ट परत करतो. Response, जे नंतर साध्या मजकुरात रूपांतरित केले जाऊ शकते किंवा एलिस किंवा टेलिग्राममधील संदेशात - बॉट कुठे चालत आहे यावर अवलंबून; त्यात संवादाची बदललेली स्थिती देखील आहे जी जतन करणे आवश्यक आहे. हे संपूर्ण स्वयंपाकघर दुसरा वर्ग हाताळतो, DialogConnector, त्यामुळे यांडेक्स फंक्शन्सवर कौशल्य लाँच करण्यासाठी थेट स्क्रिप्ट यासारखे दिसते:

...
session = boto3.session.Session()
s3 = session.client(
    service_name='s3',
    endpoint_url='https://storage.yandexcloud.net',
    aws_access_key_id=os.environ['AWS_ACCESS_KEY_ID'],
    aws_secret_access_key=os.environ['AWS_SECRET_ACCESS_KEY'],
    region_name='ru-central1',
)
storage = tgalice.session_storage.S3BasedStorage(s3_client=s3, bucket_name='tgalice-test-cold-storage')
connector = tgalice.dialog_connector.DialogConnector(dialog_manager=dm, storage=storage)
alice_handler = connector.serverless_alice_handler

तुम्ही बघू शकता, यापैकी बहुतेक कोड ऑब्जेक्ट स्टोरेजच्या S3 इंटरफेसशी कनेक्शन तयार करतात. हे कनेक्शन थेट कसे वापरले जाते ते आपण वाचू शकता tgalice कोड मध्ये.
शेवटची ओळ फंक्शन तयार करते alice_handler — पॅरामीटर सेट केल्यावर आम्ही Yandex.Cloud ला खेचायला सांगितले तेच --entrypoint=main.alice_handler.

ते सर्व आहे, प्रत्यक्षात. असेंब्लीसाठी मेकफाईल्स, संदर्भ साठवण्यासाठी S3 सारखी ऑब्जेक्ट स्टोरेज आणि पायथन लायब्ररी tgalice. सर्व्हरलेस फंक्शन्स आणि पायथनच्या अभिव्यक्तीसह एकत्रितपणे, हे निरोगी मानवी कौशल्य विकसित करण्यासाठी पुरेसे आहे.

तुम्ही विचारू शकता की ते तयार करण्याची गरज का होती tgalice? JSON ला रिक्वेस्ट ते रिस्पॉन्स आणि स्टोरेज पासून मेमरी आणि बॅक मध्ये ट्रान्सफर करणारे सर्व कंटाळवाणे कोड त्यात आहेत. एक नियमित कोड ऍप्लिकेशन देखील आहे, "फेब्रुवारी" हे "फेब्रुवारी" सारखे आहे हे समजून घेण्यासाठी एक कार्य आहे आणि गरिबांसाठी इतर NLU. माझ्या कल्पनेनुसार, हे आधीच पुरेसे असावे जेणेकरुन तुम्ही तांत्रिक तपशीलांमुळे जास्त विचलित न होता yaml फायलींमधील कौशल्यांचे प्रोटोटाइप स्केच करू शकता.

जर तुम्हाला अधिक गंभीर NLU हवे असेल तर तुम्ही ते तुमच्या कौशल्याला जोडू शकता रस किंवा दीपपाव्हलोव्ह, परंतु त्यांना सेट करण्यासाठी तंबोरीसह अतिरिक्त नृत्य आवश्यक असेल, विशेषतः सर्व्हरलेसवर. जर तुम्हाला कोडिंग अजिबात वाटत नसेल, तर तुम्ही व्हिज्युअल कन्स्ट्रक्टर वापरावे Aimylogic. tgalice तयार करताना, मी काही प्रकारच्या मध्यवर्ती मार्गाबद्दल विचार केला. यातून काय येते ते पाहूया.

बरं, आता सामील व्हा एलिस कौशल्य विकासक गप्पा, वाचा दस्तऐवजीकरण, आणि अद्भुत तयार करा कौशल्ये!

स्त्रोत: www.habr.com