ალისისთვის სახელმწიფოებრივი უნარის შექმნა Yandex.Cloud-ისა და Python-ის სერვერის გარეშე ფუნქციებზე

დავიწყოთ სიახლეებით. გუშინ Yandex.Cloud-მა გამოაცხადა სერვერის გარეშე გამოთვლითი სერვისის გაშვება Yandex Cloud ფუნქციები. ეს ნიშნავს: თქვენ წერთ მხოლოდ თქვენი სერვისის კოდს (მაგალითად, ვებ აპლიკაციას ან ჩატბოტს) და თავად ღრუბელი ქმნის და ინახავს ვირტუალურ მანქანებს, სადაც მუშაობს, და დატვირთვის გაზრდის შემთხვევაში კი იმეორებს მათ. თქვენ საერთოდ არ გჭირდებათ ფიქრი, ეს ძალიან მოსახერხებელია. და გადახდა ხდება მხოლოდ გაანგარიშების დროისთვის.

თუმცა, ზოგიერთმა შეიძლება საერთოდ არ გადაიხადოს. ესენი არიან დეველოპერები ალისის გარეგანი უნარები, ანუ მასში ჩაშენებული ჩეთბოტები. ნებისმიერ დეველოპერს შეუძლია დაწეროს, უმასპინძლოს და დაარეგისტრიროს ასეთი უნარი და დღეიდან უნარ-ჩვევებს ჰოსტინგიც კი არ სჭირდება - უბრალოდ ატვირთეთ მათი კოდი ღრუბელში ფორმაში იგივე სერვერის ფუნქცია.

მაგრამ არსებობს რამდენიმე ნიუანსი. უპირველეს ყოვლისა, თქვენი pit კოდი შეიძლება მოითხოვდეს გარკვეულ დამოკიდებულებებს და მათი ღრუბელში ჩათრევა არა ტრივიალურია. მეორეც, ნებისმიერ ნორმალურ ჩეთბოტს სჭირდება დიალოგის მდგომარეობა სადმე შეინახოს (აქედან გამომდინარე); რა არის ამის გაკეთების უმარტივესი გზა სერვერის გარეშე? მესამე, როგორ შეგიძლიათ დაწეროთ სწრაფი და ბინძური უნარი ალისისთვის ან თუნდაც რაიმე სახის ბოტისთვის, რომელიც არ არის ნულოვანი ნახაზით? სტატია, ფაქტობრივად, ამ ნიუანსებზეა.

მორალური მომზადება

მოუთმენელთათვის: მე ვაგროვებ საჭირო დამოკიდებულებებს მაკიაფილით ფუნქციის ღრუბელში ატვირთვამდე, ვინახავ დიალოგის მდგომარეობას Yandex Object Storage-ში (ის მხარს უჭერს S3 API-ს) და ვიყენებ ჩემს ბიბლიოთეკას დიალოგის სამართავად. tgalice. ბოლოს გამოდის ასეთი დემო უნარი. ახლა მოდით შევხედოთ ამ ყველაფერს ცოტა უფრო დეტალურად.

მათთვის, ვინც ნაკლებად მოუთმენელია, სანამ სირთულის შესახებ ჩემს ისტორიას ჩავუღრმავდებით, გირჩევთ დაიწყოთ რაიმე მარტივით. კერძოდ, შექმენით ერთფაილიანი echobot ფუნქცია, დაარეგისტრირეთ და შეამოწმეთ იგი Dialogs დეველოპერის კონსოლში; დეტალები - in დიალოგების ბლოგი и ღრუბლოვანი დოკუმენტაცია. და მხოლოდ ამის შემდეგ დაიწყე.

თუ გინდათ დაუყოვნებლივ იგრძნოთ რისთვის ვიბრძვით აქ, ჰკითხეთ ალისას.ჩართეთ "IT ჰოროსკოპის" უნარი'. შემდეგი დიალოგი უნდა მოხდეს:

ალისა: გამარჯობა! თქვენ ხართ "IT ჰოროსკოპის" უნარში. თქვით „დაიწყე“ და გაარკვიე რას გპირდებიან ვარსკვლავები.
მომხმარებელი: დაწყება
პასუხი: გთხოვთ, მიუთითოთ თქვენი სახელი
იუ: ვასიზუალი
_ ახლა მითხარი შენი დაბადების წელი. მხოლოდ ოთხი ციფრი, ზედმეტი არაფერი.
იუ: მეორე
პასუხი: გთხოვთ, სცადოთ ხელახლა. შეიყვანეთ თქვენი დაბადების წელი - ოთხი ციფრი.
Yu: 2002 წ
Დიდი! ახლა დაასახელეთ თქვენი დაბადების თვე.
იუ: თებერვალი
Დიდი! და ბოლოს, მითხარით თქვენი დაბადების თარიღი - მხოლოდ რიცხვი, მხოლოდ ერთი ან ორი ციფრი.
Yu: 18 წ
_ გმადლობთ, ვასისუალი! ახლა ჩვენ ვიცით: თქვენ 17 წლის ხართ და მერწყული ხართ. კარგი, რა თქმა უნდა, გაგიმართლა! ვარსკვლავები გეუბნებიან: а что говорят звёзды, вы узнаете, запустив навык.

პრობლემა ის არის, რომ თუნდაც ასეთი მარტივი დიალოგის შესანარჩუნებლად, თქვენ უნდა გახსოვდეთ მომხმარებლის სახელი და დაბადების თარიღი, ხოლო სერვერის გარეშე ფუნქციის გარემოში ეს არა ტრივიალურია. კონტექსტის შენახვა RAM-ში ან დისკზე ფაილის სახით შეუძლებელი იქნება, რადგან Yandex.Cloud-ს შეუძლია ერთდროულად რამდენიმე ვირტუალურ აპარატზე ფუნქციის გაშვება და სურვილისამებრ მათ შორის გადართვა. თქვენ მოგიწევთ გამოიყენოთ რაიმე სახის გარე მეხსიერება. Object Storage აირჩიეს საკმაოდ იაფ და გაურთულებელ საცავად პირდაპირ Yandex.Cloud-ში (ანუ, ალბათ სწრაფად). როგორც უფასო ალტერნატივა, შეგიძლიათ სცადოთ, მაგალითად, უფასო ნაჭერი მოღრუბლული მონგა სადღაც შორს. არსებობს Python-ის მოსახერხებელი შეფუთვები როგორც Object Storage (რომელიც მხარს უჭერს S3 ინტერფეისს) და Mongo-სთვის.

კიდევ ერთი პრობლემა ის არის, რომ Object Storage-ზე, MongoDB-სა და ნებისმიერ სხვა მონაცემთა ბაზაში ან მონაცემთა მაღაზიაში წვდომისთვის, საჭიროა გარკვეული გარე დამოკიდებულებები, რომლებიც უნდა აიტვირთოთ Yandex Functions-ში თქვენი ფუნქციის კოდთან ერთად. და მე მინდა ამის გაკეთება მოხერხებულად. სამწუხაროდ, ეს არ იქნება სრულიად მოსახერხებელი (როგორც ჰეროკუზე), მაგრამ გარკვეული ძირითადი კომფორტის შექმნა შეიძლება გარემოს შესაქმნელად სკრიპტის დაწერით (ფაილის შექმნა).

როგორ გამოვიმუშავოთ ჰოროსკოპის უნარი

1. მომზადება: გადადით Linux-ის მქონე მოწყობილობაზე. პრინციპში, თქვენ ალბათ შეგიძლიათ Windows-ითაც იმუშაოთ, მაგრამ შემდეგ თქვენ მოგიწევთ გარკვეული ჯადოქრობის გაკეთება მაკიაფილის გაშვებით. და ნებისმიერ შემთხვევაში, დაგჭირდებათ მინიმუმ Python 3.6 დაინსტალირებული.
2. კლონირება Github-დან ჰოროსკოპის უნარის მაგალითი.
3. დარეგისტრირდით Y.Cloud-ში: https://cloud.yandex.ru
4. შექმენით საკუთარი თავი ორი ვედროში ობიექტის შენახვა, დაუძახეთ მათ ნებისმიერი სახელით {BUCKET NAME} и tgalice-test-cold-storage (ეს მეორე სახელი ახლა მყარი კოდირებულია main.py ჩემი მაგალითი). პირველი თაიგული დაგჭირდებათ მხოლოდ განლაგებისთვის, მეორე - დიალოგური მდგომარეობების შესანახად.
5. შექმნა მომსახურების ანგარიში, მიეცი მას როლი editorდა მიიღეთ სტატიკური სერთიფიკატები ამისთვის {KEY ID} и {KEY VALUE} — მათ გამოვიყენებთ დიალოგის მდგომარეობის ჩასაწერად. ეს ყველაფერი საჭიროა იმისათვის, რომ Ya.Cloud-ის ფუნქციამ შეძლოს Ya.Cloud-დან საცავზე წვდომა. ოდესმე, იმედი მაქვს, ავტორიზაცია ავტომატურად გახდება, მაგრამ ახლა ასეა.
6. (სურვილისამებრ) ინსტალაცია ბრძანების ხაზის ინტერფეისი yc. თქვენ ასევე შეგიძლიათ შექმნათ ფუნქცია ვებ ინტერფეისის საშუალებით, მაგრამ CLI კარგია, რადგან მასში ყველა სახის ინოვაცია უფრო სწრაფად ჩნდება.
7. ახლა თქვენ შეგიძლიათ რეალურად მოამზადოთ დამოკიდებულების ასამბლეა: გაუშვით იგი ბრძანების სტრიქონზე საქაღალდედან უნარების მაგალითით. make all. საქაღალდეში დაინსტალირდება უამრავი ბიბლიოთეკა (ძირითადად, როგორც ყოველთვის, არასაჭირო). dist.
8. ჩაასხით Object Storage-ში ხელით (ვედროში {BUCKET NAME}) წინა ეტაპზე მიღებული არქივი dist.zip. თუ სასურველია, ამის გაკეთება შეგიძლიათ ბრძანების ხაზიდან, მაგალითად, გამოყენებით AWS CLI.
9. შექმენით სერვერის გარეშე ფუნქცია ვებ ინტერფეისის საშუალებით ან კომუნალური პროგრამის გამოყენებით yc. კომუნალურისთვის, ბრძანება ასე გამოიყურება:

yc serverless function version create
    --function-name=horoscope
    --environment=AWS_ACCESS_KEY_ID={KEY ID},AWS_SECRET_ACCESS_KEY={KEY VALUE}
    --runtime=python37
    --package-bucket-name={BUCKET NAME}
    --package-object-name=dist.zip
    --entrypoint=main.alice_handler
    --memory=128M
    --execution-timeout=3s

ფუნქციის ხელით შექმნისას ყველა პარამეტრი ივსება ერთნაირად.

ახლა თქვენ მიერ შექმნილი ფუნქციის ტესტირება შესაძლებელია დეველოპერის კონსოლის მეშვეობით, შემდეგ კი უნარი გაუმჯობესდეს და გამოქვეყნდეს.

რა არის კაპოტის ქვეშ

მაკიაჟი რეალურად შეიცავს საკმაოდ მარტივ სკრიპტს დამოკიდებულებების ინსტალაციისა და არქივში განთავსებისთვის dist.zipდაახლოებით ასე:

mkdir -p dist/
pip3 install -r requirements.txt --target dist/ 
cp main.py dist/main.py
cp form.yaml dist/form.yaml
cd dist && zip --exclude '*.pyc' -r ../dist.zip ./*

დანარჩენი არის ბიბლიოთეკაში გახვეული რამდენიმე მარტივი ინსტრუმენტი tgalice. მომხმარებლის მონაცემების შევსების პროცესი აღწერილია კონფიგურაციით form.yaml:

form_name: 'horoscope_form'
start:
  regexp: 'старт|нач(ать|ни)'
  suggests:
    - Старт
fields:
  - name: 'name'
    question: Пожалуйста, назовите своё имя.
  - name: 'year'
    question: Теперь скажите мне год вашего рождения. Только четыре цифры, ничего лишнего.
    validate_regexp: '^[0-9]{4}$'
    validate_message: Пожалуйста, попробуйте ещё раз. Назовите год вашего рождения - четыре цифры.
  - name: 'month'
    question: Замечательно! Теперь назовите месяц вашего рождения.
    options:
      - январь
     ...
      - декабрь
    validate_message: То, что вы назвали, не похоже на месяц. Пожалуйста, назовите месяц вашего рождения, без других слов.
  - name: 'day'
    question: Отлично! Наконец, назовите мне дату вашего рождения - только число, всего одна или две цифры.
    validate_regexp: '[0123]?d$'
    validate_message: Пожалуйста, попробуйте ещё раз. Вам нужно назвать число своего рождения (например, двадцатое); это одна или две цифры.

ამ კონფიგურაციის გარჩევისა და საბოლოო შედეგის გამოთვლაზე მუშაობას იღებს პითონის კლასი

class CheckableFormFiller(tgalice.dialog_manager.form_filling.FormFillingDialogManager):
    SIGNS = {
        'январь': 'Козерог',
        ...
    }

    def handle_completed_form(self, form, user_object, ctx):
        response = tgalice.dialog_manager.base.Response(
            text='Спасибо, {}! Теперь мы знаем: вам {} лет, и вы {}. n'
                 'Вот это вам, конечно, повезло! Звёзды говорят вам: {}'.format(
                form['fields']['name'],
                2019 - int(form['fields']['year']),
                self.SIGNS[form['fields']['month']],
                random.choice(FORECASTS),
            ),
            user_object=user_object,
        )
        return response

უფრო ზუსტად, საბაზო კლასი FormFillingDialogManager ეხება „ფორმის“ შევსებას და ბავშვის კლასის მეთოდს handle_completed_form ეუბნება რა უნდა გააკეთოს, როცა მზად იქნება.

დიალოგის ამ ძირითადი ნაკადის გარდა, მომხმარებელს ასევე უნდა მიესალმოს, ასევე უნდა მიეცეს დახმარება „დახმარების“ ბრძანების გამოყენებით და განთავისუფლდეს უნარიდან „გასვლის“ ბრძანების გამოყენებით. ამ მიზნით ქ tgalice ასევე არსებობს შაბლონი, ასე რომ, მთელი დიალოგის მენეჯერი შედგება ნაწილებისგან:

dm = tgalice.dialog_manager.CascadeDialogManager(
    tgalice.dialog_manager.GreetAndHelpDialogManager(
        greeting_message=DEFAULT_MESSAGE,
        help_message=DEFAULT_MESSAGE,
        exit_message='До свидания, приходите в навык "Айтишный гороскоп" ещё!'
    ),
    CheckableFormFiller(`form.yaml`, default_message=DEFAULT_MESSAGE)
)

CascadeDialogManager ის მუშაობს მარტივად: ის ცდილობს თავის მხრივ გამოიყენოს მისი ყველა კომპონენტი დიალოგის ამჟამინდელ მდგომარეობაზე და ირჩევს პირველ შესაბამისს.

დიალოგის მენეჯერი აბრუნებს პითონის ობიექტს, როგორც პასუხი თითოეულ შეტყობინებაზე. Response, რომელიც შემდეგ შეიძლება გარდაიქმნას უბრალო ტექსტად, ან შეტყობინებად Alice-ში ან Telegram-ში - იმისდა მიხედვით, თუ სად მუშაობს ბოტი; ის ასევე შეიცავს დიალოგის შეცვლილ მდგომარეობას, რომელიც უნდა შეინახოს. მთელ ამ სამზარეულოს სხვა კლასი მართავს, DialogConnectorასე რომ, Yandex Functions-ზე უნარების გაშვების პირდაპირი სკრიპტი ასე გამოიყურება:

...
session = boto3.session.Session()
s3 = session.client(
    service_name='s3',
    endpoint_url='https://storage.yandexcloud.net',
    aws_access_key_id=os.environ['AWS_ACCESS_KEY_ID'],
    aws_secret_access_key=os.environ['AWS_SECRET_ACCESS_KEY'],
    region_name='ru-central1',
)
storage = tgalice.session_storage.S3BasedStorage(s3_client=s3, bucket_name='tgalice-test-cold-storage')
connector = tgalice.dialog_connector.DialogConnector(dialog_manager=dm, storage=storage)
alice_handler = connector.serverless_alice_handler

როგორც ხედავთ, ამ კოდის უმეტესობა ქმნის კავშირს Object Storage-ის S3 ინტერფეისთან. თქვენ შეგიძლიათ წაიკითხოთ, თუ როგორ გამოიყენება ეს კავშირი პირდაპირ tgalice კოდში.
ბოლო ხაზი ქმნის ფუნქციას alice_handler - იგივე, რაც ჩვენ ვუთხარით Yandex.Cloud-ს, რომ გაიყვანოს პარამეტრის დაყენებისას --entrypoint=main.alice_handler.

ეს ყველაფერი, ფაქტობრივად. მაკეფაილები შეკრებისთვის, S3-ის მსგავსი ობიექტების შენახვა კონტექსტის შესანახად და პითონის ბიბლიოთეკა tgalice. პითონის უსერვერო ფუნქციებთან და ექსპრესიულობასთან ერთად, ეს საკმარისია ჯანსაღი ადამიანური უნარების განვითარებისთვის.

შეიძლება გკითხოთ, რატომ იყო საჭირო შექმნა tgalice? ყველა მოსაწყენი კოდი, რომელიც გადასცემს JSON-ებს მოთხოვნიდან პასუხამდე და საცავიდან მეხსიერებაში და უკან, მასში დევს. ასევე არის რეგულარული კოდის აპლიკაცია, ფუნქცია იმის გასაგებად, რომ "თებერვალი" მსგავსია "თებერვალი" და სხვა NLU ღარიბებისთვის. ჩემი იდეის მიხედვით, ეს უკვე საკმარისი უნდა იყოს, რათა შეძლოთ უნარების პროტოტიპების დახატვა yaml ფაილებში ტექნიკური დეტალებით ზედმეტი ყურადღების გარეშე.

თუ გსურთ უფრო სერიოზული NLU, შეგიძლიათ დაურთოთ იგი თქვენს უნარს რასა ან დიპ პავლოვი, მაგრამ მათი დაყენება დასჭირდება დამატებით ცეკვებს ტამბურით, განსაკუთრებით სერვერის გარეშე. თუ საერთოდ არ გსურთ კოდირება, უნდა გამოიყენოთ ვიზუალური კონსტრუქტორი, როგორიცაა აიმილოგიური. tgalice-ს შექმნისას ვფიქრობდი რაღაც შუალედურ გზაზე. ვნახოთ რა გამოდის აქედან.

აბა, ახლა შემოგვიერთდი ალისის უნარების დეველოპერის ჩატიწაკითხვა დოკუმენტაციადა შექმენით მშვენიერი უნარები!

წყარო: www.habr.com