Yandex.Cloud 및 Python의 서버리스 기능에서 Alice를 위한 상태 저장 기술 생성

뉴스부터 시작하겠습니다. 어제 Yandex.Cloud는 서버리스 컴퓨팅 서비스 출시를 발표했습니다. Yandex 클라우드 기능. 즉, 서비스(예: 웹 애플리케이션 또는 챗봇)에 대한 코드만 작성하면 클라우드 자체가 실행되는 가상 머신을 생성 및 유지하고 로드가 증가하면 이를 복제하기도 한다는 의미입니다. 전혀 생각할 필요가 없고 매우 편리합니다. 그리고 지불은 계산 시간에만 적용됩니다.

그러나 일부는 전혀 지불하지 않을 수도 있습니다. 개발자들이에요 앨리스의 외부 스킬, 즉, 챗봇이 내장되어 있습니다. 모든 개발자는 이러한 기술을 작성, 호스팅 및 등록할 수 있으며, 오늘부터는 기술을 호스팅할 필요조차 없습니다. 코드를 다음 형식으로 클라우드에 업로드하기만 하면 됩니다. 동일한 서버리스 기능.

그러나 몇 가지 뉘앙스가 있습니다. 첫째, 피트 코드에는 일부 종속성이 필요할 수 있으며 이를 클라우드로 끌어오는 것은 쉽지 않습니다. 둘째, 일반 챗봇은 대화 상태를 어딘가에 저장해야 합니다(따라서 상태 저장). 서버리스 기능에서 이를 수행하는 가장 쉬운 방법은 무엇입니까? 셋째, Alice 또는 XNUMX이 아닌 플롯을 사용하는 일종의 봇을 위한 빠르고 더러운 기술을 어떻게 작성할 수 있습니까? 실제로 이 기사는 이러한 뉘앙스에 관한 것입니다.

도덕적 준비

참을성이 없는 경우: 함수를 클라우드에 업로드하기 전에 makefile로 필요한 종속성을 수집하고 Yandex Object Storage(S3 API 지원)에 대화 상자 상태를 저장하며 자체 라이브러리를 사용하여 대화 상자를 관리합니다. 티갈리체. 그 결과, 이러한 데모 스킬. 이제 이 모든 것을 좀 더 자세히 살펴보겠습니다.

조금 덜 참을성이 있는 사람들을 위해 복잡성에 대한 내 이야기를 시작하기 전에 간단한 것부터 시작하는 것이 좋습니다. 즉, 단일 파일 echobot 함수를 생성하고 이를 Dialogs 개발자 콘솔에 등록하고 테스트합니다. 세부정보 - 에서 대화 블로그 и 클라우드 문서. 그리고 나서야 시작됩니다.

우리가 여기서 무엇을 위해 싸우고 있는지 즉시 느끼고 싶다면 앨리스에게 물어보세요."IT 운세" 스킬을 활성화하세요'. 다음과 유사한 대화상자가 나타나야 합니다.

앨리스: 안녕하세요! 당신은 "IT 운세" 스킬에 있습니다. 별들이 당신에게 무엇을 약속하는지 알아 보려면 "시작"이라고 말하십시오.
사용자: 시작
A: 이름을 말씀해 주세요
유: 바시주알리
A: 이제 당신이 태어난 연도를 말해주세요. XNUMX자리 숫자만 있고 추가 내용은 없습니다.
유: 둘째
A: 다시 시도해 주세요. 태어난 연도를 XNUMX자리로 입력하세요.
유: 2002
대단한! 이제 태어난 달을 지정하십시오.
유: XNUMX월
대단한! 마지막으로, 생년월일을 알려주십시오. 숫자, 한두 자리만 말씀해 주십시오.
유: 18
A: 고마워요, Vasisualiy! 이제 우리는 당신이 17세이고 물병자리라는 것을 알고 있습니다. 물론, 당신은 운이 좋습니다! 별들은 당신에게 이렇게 말합니다. а что говорят звёзды, вы узнаете, запустив навык.

문제는 이런 간단한 대화라도 유지하려면 사용자의 이름과 생년월일을 기억해야 하는데, 서버리스 기능 환경에서는 이것이 결코 사소한 일이 아니라는 점이다. 컨텍스트를 RAM에 저장하거나 디스크에 파일로 저장할 수 없습니다. Yandex.Cloud는 동시에 여러 가상 머신에서 기능을 실행하고 마음대로 전환할 수 있습니다. 일종의 외부 저장소를 사용해야 합니다. Object Storage는 Yandex.Cloud에서 직접적으로 상당히 저렴하고 복잡하지 않은 스토리지(즉, 아마도 빠름)로 선택되었습니다. 무료 대안으로 무료 작품 등을 사용해 볼 수 있습니다. 클라우디 몬가 어딘가 멀리. Object Storage(S3 인터페이스 지원)와 Mongo 모두를 위한 편리한 Python 래퍼가 있습니다.

또 다른 문제는 Object Storage, MongoDB 및 기타 데이터베이스나 데이터 저장소에 액세스하려면 함수 코드와 함께 Yandex Functions에 업로드해야 하는 일부 외부 종속성이 필요하다는 것입니다. 그리고 저는 이것을 편리하게 하고 싶습니다. 불행하게도 완전히 편리하지는 않지만(Heroku처럼) 환경을 구축(파일 만들기)하는 스크립트를 작성하여 기본적인 편안함을 만들 수 있습니다.

운세 스킬 발동 방법

1. 준비: Linux가 설치된 머신으로 이동합니다. 원칙적으로 Windows에서도 작업할 수 있지만 메이크파일을 실행하려면 몇 가지 마법을 사용해야 합니다. 그리고 어쨌든 최소한 Python 3.6이 설치되어 있어야 합니다.
2. Github에서 복제 운세 스킬의 예.
3. Y.Cloud에 등록하세요: https://cloud.yandex.ru
4. 두 개의 버킷을 직접 만들어 보세요. 객체 저장소, 어떤 이름으로든 불러주세요 {BUCKET NAME} и tgalice-test-cold-storage (이 두 번째 이름은 이제 main.py 내 예). 첫 번째 버킷은 배포에만 필요하고 두 번째 버킷은 대화 상자 상태를 저장하는 데 필요합니다.
5. 생성 서비스 계정, 그에게 역할을 부여하세요 editor, 이에 대한 정적 자격 증명을 얻습니다. {KEY ID} и {KEY VALUE} — 우리는 대화의 상태를 기록하는 데 이를 사용할 것입니다. Ya.Cloud의 기능이 Ya.Cloud의 스토리지에 액세스할 수 있으려면 이 모든 것이 필요합니다. 언젠가는 인증이 자동으로 이루어지길 바라지만 지금은 그렇습니다.
6. (선택사항) 설치 명령줄 인터페이스 yc. 웹 인터페이스를 통해서도 기능을 생성할 수 있지만 CLI는 온갖 혁신이 더 빨리 나타나기 때문에 좋습니다.
7. 이제 실제로 종속성 어셈블리를 준비할 수 있습니다. 기술 예제가 있는 폴더의 명령줄에서 실행하세요. make all. 여러 라이브러리(대부분 평소와 같이 불필요함)가 폴더에 설치됩니다. dist.
8. Object Storage에 손으로 붓는다(버킷에 넣는다) {BUCKET NAME}) 이전 단계에서 얻은 아카이브 dist.zip. 원하는 경우 명령줄에서 이 작업을 수행할 수 있습니다. 예를 들어 다음을 사용합니다. AWS CLI.
9. 웹 인터페이스 또는 유틸리티를 사용하여 서버리스 기능 생성 yc. 유틸리티의 경우 명령은 다음과 같습니다.

yc serverless function version create
    --function-name=horoscope
    --environment=AWS_ACCESS_KEY_ID={KEY ID},AWS_SECRET_ACCESS_KEY={KEY VALUE}
    --runtime=python37
    --package-bucket-name={BUCKET NAME}
    --package-object-name=dist.zip
    --entrypoint=main.alice_handler
    --memory=128M
    --execution-timeout=3s

함수를 수동으로 생성할 때 모든 매개변수는 동일한 방식으로 채워집니다.

이제 생성한 기능을 개발자 콘솔을 통해 테스트한 후 기술을 개선하고 공개할 수 있습니다.

후드 아래에는 무엇이 있나요?

makefile에는 실제로 종속성을 설치하고 이를 아카이브에 저장하기 위한 매우 간단한 스크립트가 포함되어 있습니다. dist.zip, 대략 다음과 같습니다.

mkdir -p dist/
pip3 install -r requirements.txt --target dist/ 
cp main.py dist/main.py
cp form.yaml dist/form.yaml
cd dist && zip --exclude '*.pyc' -r ../dist.zip ./*

나머지는 라이브러리에 포함된 몇 가지 간단한 도구입니다. tgalice. 사용자 데이터를 채우는 과정은 구성에 설명되어 있습니다. form.yaml:

form_name: 'horoscope_form'
start:
  regexp: 'старт|нач(ать|ни)'
  suggests:
    - Старт
fields:
  - name: 'name'
    question: Пожалуйста, назовите своё имя.
  - name: 'year'
    question: Теперь скажите мне год вашего рождения. Только четыре цифры, ничего лишнего.
    validate_regexp: '^[0-9]{4}$'
    validate_message: Пожалуйста, попробуйте ещё раз. Назовите год вашего рождения - четыре цифры.
  - name: 'month'
    question: Замечательно! Теперь назовите месяц вашего рождения.
    options:
      - январь
     ...
      - декабрь
    validate_message: То, что вы назвали, не похоже на месяц. Пожалуйста, назовите месяц вашего рождения, без других слов.
  - name: 'day'
    question: Отлично! Наконец, назовите мне дату вашего рождения - только число, всего одна или две цифры.
    validate_regexp: '[0123]?d$'
    validate_message: Пожалуйста, попробуйте ещё раз. Вам нужно назвать число своего рождения (например, двадцатое); это одна или две цифры.

이 구성을 구문 분석하고 최종 결과를 계산하는 작업은 Python 클래스에서 수행됩니다.

class CheckableFormFiller(tgalice.dialog_manager.form_filling.FormFillingDialogManager):
    SIGNS = {
        'январь': 'Козерог',
        ...
    }

    def handle_completed_form(self, form, user_object, ctx):
        response = tgalice.dialog_manager.base.Response(
            text='Спасибо, {}! Теперь мы знаем: вам {} лет, и вы {}. n'
                 'Вот это вам, конечно, повезло! Звёзды говорят вам: {}'.format(
                form['fields']['name'],
                2019 - int(form['fields']['year']),
                self.SIGNS[form['fields']['month']],
                random.choice(FORECASTS),
            ),
            user_object=user_object,
        )
        return response

보다 정확하게는 기본 클래스 FormFillingDialogManager "양식" 작성 및 하위 클래스 방법을 다룹니다. handle_completed_form 준비가 되면 무엇을 해야 하는지 알려줍니다.

이러한 주요 대화 흐름 외에도 사용자에게 인사를 해야 하고 "help" 명령을 사용하여 도움을 주고 "exit" 명령을 사용하여 스킬을 해제해야 합니다. 이를 위해 tgalice 템플릿도 있으므로 전체 대화 관리자는 다음과 같은 조각으로 구성됩니다.

dm = tgalice.dialog_manager.CascadeDialogManager(
    tgalice.dialog_manager.GreetAndHelpDialogManager(
        greeting_message=DEFAULT_MESSAGE,
        help_message=DEFAULT_MESSAGE,
        exit_message='До свидания, приходите в навык "Айтишный гороскоп" ещё!'
    ),
    CheckableFormFiller(`form.yaml`, default_message=DEFAULT_MESSAGE)
)

CascadeDialogManager 이는 간단하게 작동합니다. 모든 구성 요소를 대화의 현재 상태에 차례로 적용하려고 시도하고 첫 번째 적절한 항목을 선택합니다.

대화 상자 관리자는 각 메시지에 대한 응답으로 Python 개체를 반환합니다. Response봇이 실행되는 위치에 따라 일반 텍스트로 변환되거나 Alice 또는 Telegram의 메시지로 변환될 수 있습니다. 또한 저장해야 하는 대화의 변경된 상태도 포함됩니다. 이 주방 전체는 다른 클래스에서 관리하고 있습니다. DialogConnector, Yandex Functions에서 기술을 실행하기 위한 직접 스크립트는 다음과 같습니다.

...
session = boto3.session.Session()
s3 = session.client(
    service_name='s3',
    endpoint_url='https://storage.yandexcloud.net',
    aws_access_key_id=os.environ['AWS_ACCESS_KEY_ID'],
    aws_secret_access_key=os.environ['AWS_SECRET_ACCESS_KEY'],
    region_name='ru-central1',
)
storage = tgalice.session_storage.S3BasedStorage(s3_client=s3, bucket_name='tgalice-test-cold-storage')
connector = tgalice.dialog_connector.DialogConnector(dialog_manager=dm, storage=storage)
alice_handler = connector.serverless_alice_handler

보시다시피, 이 코드의 대부분은 Object Storage의 S3 인터페이스에 대한 연결을 생성합니다. 이 연결이 어떻게 직접 사용되는지 읽을 수 있습니다. Tgalice 코드에서.
마지막 줄은 함수를 생성합니다 alice_handler — 매개변수를 설정할 때 Yandex.Cloud에 가져오라고 지시한 것과 동일한 것 --entrypoint=main.alice_handler.

실제로 그게 전부입니다. 어셈블리용 Makefile, 컨텍스트 저장을 위한 S3와 유사한 Object Storage 및 Python 라이브러리 tgalice. Python의 서버리스 기능과 표현력이 결합되면 건강한 인간 기술을 개발하기에 충분합니다.

왜 만들어야 했는지 물을 수도 있습니다. tgalice? JSON을 요청에서 응답으로, 저장소에서 메모리로 그리고 그 반대로 전송하는 모든 지루한 코드가 여기에 있습니다. 일반 코드 응용 프로그램, "XNUMX월"이 "XNUMX월"과 유사하다는 것을 이해하는 기능 및 가난한 사람들을 위한 기타 NLU도 있습니다. 내 생각에 따르면 이것은 기술적인 세부 사항에 너무 주의를 기울이지 않고 yaml 파일에서 기술의 프로토타입을 스케치할 수 있을 만큼 이미 충분할 것입니다.

좀 더 진지한 NLU를 원한다면 스킬에 붙일 수 있습니다. 라사 또는 딥파블로프, 그러나 이를 설정하려면 특히 서버리스에서 탬버린을 사용하여 추가 댄스가 필요합니다. 코딩하고 싶지 않다면 다음과 같은 시각적 생성자를 사용해야 합니다. 에이밀로직. tgalice를 만들 때 일종의 중간 경로를 생각했습니다. 이것이 어떻게 되는지 봅시다.

자, 이제 합류하세요 앨리스 기술 개발자 채팅, 읽다 문서, 멋진 작품을 만들어보세요 기술!

출처 : habr.com