Yandex.Cloud এবং Python এর সার্ভারহীন ফাংশনে অ্যালিসের জন্য একটি রাষ্ট্রীয় দক্ষতা তৈরি করা

খবর দিয়ে শুরু করা যাক। গতকাল Yandex.Cloud একটি সার্ভারহীন কম্পিউটিং পরিষেবা চালু করার ঘোষণা দিয়েছে ইয়ানডেক্স ক্লাউড ফাংশন. এর অর্থ হল: আপনি শুধুমাত্র আপনার পরিষেবার জন্য কোড লেখেন (উদাহরণস্বরূপ, একটি ওয়েব অ্যাপ্লিকেশন বা একটি চ্যাটবট), এবং ক্লাউড নিজেই ভার্চুয়াল মেশিনগুলি তৈরি করে এবং রক্ষণাবেক্ষণ করে যেখানে এটি চলে এবং এমনকি লোড বৃদ্ধি পেলে তাদের প্রতিলিপি করে৷ আপনার মোটেই চিন্তা করার দরকার নেই, এটি খুব সুবিধাজনক। এবং অর্থপ্রদান শুধুমাত্র গণনার সময়ের জন্য।

যাইহোক, কেউ কেউ একেবারেই অর্থ প্রদান করতে পারে না। এরাই ডেভেলপার অ্যালিসের বাহ্যিক দক্ষতা, অর্থাৎ, চ্যাটবট এতে তৈরি করা হয়েছে। যেকোন বিকাশকারী এই ধরনের দক্ষতা লিখতে, হোস্ট করতে এবং নিবন্ধন করতে পারে এবং আজ থেকে দক্ষতাগুলি হোস্ট করার দরকার নেই - কেবল ফর্মে ক্লাউডে তাদের কোড আপলোড করুন একই সার্ভারহীন ফাংশন.

তবে কয়েকটি সূক্ষ্মতা রয়েছে। প্রথমত, আপনার পিট কোডের জন্য কিছু নির্ভরতা প্রয়োজন হতে পারে এবং সেগুলিকে ক্লাউডে টেনে আনা অ-তুচ্ছ। দ্বিতীয়ত, যেকোনো সাধারণ চ্যাটবটকে সংলাপের অবস্থা কোথাও সংরক্ষণ করতে হবে (অতএব রাষ্ট্রীয়); একটি সার্ভারহীন ফাংশনে এটি করার সবচেয়ে সহজ উপায় কি? তৃতীয়ত, আপনি কীভাবে অ্যালিসের জন্য একটি দ্রুত এবং নোংরা দক্ষতা লিখতে পারেন বা এমনকী কোনও নন-জিরো প্লট সহ কোনও ধরণের বট লিখতে পারেন? নিবন্ধটি আসলে এই সূক্ষ্মতা সম্পর্কে।

নৈতিক প্রস্তুতি

অধৈর্যের জন্য: ক্লাউডে ফাংশনটি আপলোড করার আগে আমি একটি মেকফাইল দিয়ে প্রয়োজনীয় নির্ভরতা সংগ্রহ করি, আমি ইয়ানডেক্স অবজেক্ট স্টোরেজে ডায়ালগের অবস্থা সংরক্ষণ করি (এটি S3 API সমর্থন করে), এবং ডায়ালগ পরিচালনা করতে আমি আমার নিজস্ব লাইব্রেরি ব্যবহার করি tgalice. শেষ পর্যন্ত এটি সক্রিয় আউট এমন ডেমো দক্ষতা। এখন একটু বিস্তারিতভাবে এই সব তাকান.

যারা একটু কম অধৈর্য তাদের জন্য, জটিলতা সম্পর্কে আমার গল্পে ডুব দেওয়ার আগে, আমি খুব সাধারণ কিছু দিয়ে শুরু করার পরামর্শ দিই। যথা, একটি একক-ফাইল ইকোবট ফাংশন তৈরি করুন, নিবন্ধন করুন এবং ডায়ালগ বিকাশকারী কনসোলে এটি পরীক্ষা করুন; বিস্তারিত - ইন সংলাপ ব্লগ и ক্লাউড ডকুমেন্টেশন. এবং শুধুমাত্র তারপর শুরু.

আপনি যদি অবিলম্বে অনুভব করতে চান যে আমরা এখানে কিসের জন্য লড়াই করছি, অ্যালিসকে জিজ্ঞাসা করুন '"আইটি রাশিফল" দক্ষতা সক্ষম করুন' নিম্নলিখিত অনুরূপ একটি সংলাপ ঘটতে হবে:

এলিস: হ্যালো! আপনি "আইটি রাশিফল" দক্ষতায় আছেন। তারা আপনাকে কি প্রতিশ্রুতি দেয় তা জানতে "শুরু করুন" বলুন।
ব্যবহারকারী: শুরু করুন
উত্তরঃ আপনার নাম বলুন
ইউ: ভাসিসুয়ালি
উত্তরঃ এখন আপনার জন্ম সাল বলুন। মাত্র চারটি সংখ্যা, অতিরিক্ত কিছু নয়।
ইউ: দ্বিতীয়
উত্তর: অনুগ্রহ করে আবার চেষ্টা করুন। আপনার জন্মের বছর লিখুন - চারটি সংখ্যা।
ইউ: 2002
একটি মহান! এখন আপনার জন্ম মাসের নাম দিন।
ইউ: ফেব্রুয়ারি
একটি মহান! অবশেষে, আমাকে আপনার জন্ম তারিখ বলুন - শুধু একটি সংখ্যা, মাত্র এক বা দুটি সংখ্যা।
ইউ: 18
উত্তর: আপনাকে ধন্যবাদ, ভাসিসুয়ালি! এখন আমরা জানি: আপনার বয়স 17 বছর এবং একটি কুম্ভ। ভাল, অবশ্যই, আপনি ভাগ্যবান! তারা আপনাকে বলে: а что говорят звёзды, вы узнаете, запустив навык.

সমস্যা হল যে এমন একটি সাধারণ কথোপকথন বজায় রাখার জন্য, আপনাকে ব্যবহারকারীর নাম এবং জন্ম তারিখ মনে রাখতে হবে এবং সার্ভারহীন ফাংশন পরিবেশে এটি অ-তুচ্ছ। এটি RAM বা ডিস্কে একটি ফাইল হিসাবে প্রসঙ্গ সংরক্ষণ করা সম্ভব হবে না, কারণ Yandex.Cloud একই সময়ে বেশ কয়েকটি ভার্চুয়াল মেশিনে একটি ফাংশন চালাতে পারে এবং ইচ্ছামত তাদের মধ্যে স্যুইচ করতে পারে। আপনাকে কিছু ধরনের বাহ্যিক স্টোরেজ ব্যবহার করতে হবে। অবজেক্ট স্টোরেজকে সরাসরি Yandex.Cloud (অর্থাৎ, সম্ভবত দ্রুত) একটি মোটামুটি সস্তা এবং জটিল সঞ্চয়স্থান হিসাবে বেছে নেওয়া হয়েছিল। একটি বিনামূল্যে বিকল্প হিসাবে, আপনি চেষ্টা করতে পারেন, উদাহরণস্বরূপ, একটি বিনামূল্যে টুকরা মেঘলা মঙ্গা এখান থেকে দূরে অন্য কোথাও. অবজেক্ট স্টোরেজ (যা S3 ইন্টারফেস সমর্থন করে) এবং মঙ্গো উভয়ের জন্য সুবিধাজনক পাইথন র‌্যাপার রয়েছে।

আরেকটি সমস্যা হল অবজেক্ট স্টোরেজ, মঙ্গোডিবি, এবং অন্য কোনো ডাটাবেস বা ডেটা স্টোর অ্যাক্সেস করার জন্য, আপনার কিছু বাহ্যিক নির্ভরতা প্রয়োজন যা আপনার ফাংশন কোডের সাথে ইয়ানডেক্স ফাংশনে আপলোড করতে হবে। এবং আমি এটা সুবিধামত করতে চাই. দুর্ভাগ্যবশত, এটি সম্পূর্ণরূপে সুবিধাজনক হবে না (যেমন হেরোকুতে), তবে পরিবেশ তৈরি করার জন্য একটি স্ক্রিপ্ট লিখে কিছু মৌলিক আরাম তৈরি করা যেতে পারে (ফাইল তৈরি করুন)।

কীভাবে একটি রাশিফল ​​দক্ষতা চালু করবেন

1. প্রস্তুত করুন: লিনাক্স সহ কিছু মেশিনে যান। নীতিগতভাবে, আপনি সম্ভবত উইন্ডোজের সাথেও কাজ করতে পারেন, তবে তারপরে আপনাকে মেকফাইলটি চালু করার সাথে কিছু জাদু করতে হবে। এবং যে কোনও ক্ষেত্রে, আপনার কমপক্ষে পাইথন 3.6 ইনস্টল করা দরকার।
2. Github থেকে এটি ক্লোন করুন রাশিফল ​​দক্ষতার উদাহরণ.
3. Y.Cloud এ নিবন্ধন করুন: https://cloud.yandex.ru
4. নিজের মধ্যে দুটি বালতি তৈরি করুন বস্তু সংগ্রহস্থল, যে কোনো নামে ডাকুন {BUCKET NAME} и tgalice-test-cold-storage (এই দ্বিতীয় নামটি এখন হার্ডকোড করা হয়েছে main.py আমার উদাহরণ)। প্রথম বালতিটি কেবল স্থাপনের জন্য প্রয়োজন হবে, দ্বিতীয়টি - ডায়ালগ রাজ্যগুলি সংরক্ষণ করতে।
5. তৈরি পরিষেবা অ্যাকাউন্ট, তাকে একটি ভূমিকা দিন editor, এবং এর জন্য স্ট্যাটিক শংসাপত্র পান {KEY ID} и {KEY VALUE} — আমরা সংলাপের অবস্থা রেকর্ড করতে তাদের ব্যবহার করব। Ya.Cloud থেকে একটি ফাংশন যাতে Ya.Cloud থেকে স্টোরেজ অ্যাক্সেস করতে পারে সে জন্য এই সমস্ত প্রয়োজন। একদিন, আমি আশা করি, অনুমোদন স্বয়ংক্রিয় হয়ে উঠবে, তবে আপাতত এটি এমনই।
6. (ঐচ্ছিক) ইনস্টল করুন কমান্ড লাইন ইন্টারফেস yc. আপনি ওয়েব ইন্টারফেসের মাধ্যমে একটি ফাংশনও তৈরি করতে পারেন, তবে CLI ভাল কারণ এতে সমস্ত ধরণের উদ্ভাবন দ্রুত প্রদর্শিত হয়।
7. এখন আপনি আসলে নির্ভরতা সমাবেশ প্রস্তুত করতে পারেন: দক্ষতার উদাহরণ সহ ফোল্ডার থেকে কমান্ড লাইনে এটি চালান make all. ফোল্ডারে একগুচ্ছ লাইব্রেরি (বেশিরভাগই, স্বাভাবিকের মতো, অপ্রয়োজনীয়) ইনস্টল করা হবে dist.
8. হাত দিয়ে অবজেক্ট স্টোরেজে ঢালা (বালতিতে {BUCKET NAME}) আগের ধাপে প্রাপ্ত আর্কাইভ dist.zip. যদি ইচ্ছা হয়, আপনি কমান্ড লাইন থেকে এটি করতে পারেন, উদাহরণস্বরূপ, ব্যবহার করে এডাব্লুএস সি এল আই.
9. ওয়েব ইন্টারফেসের মাধ্যমে বা একটি ইউটিলিটি ব্যবহার করে একটি সার্ভারহীন ফাংশন তৈরি করুন yc. ইউটিলিটির জন্য, কমান্ডটি দেখতে এইরকম হবে:

yc serverless function version create
    --function-name=horoscope
    --environment=AWS_ACCESS_KEY_ID={KEY ID},AWS_SECRET_ACCESS_KEY={KEY VALUE}
    --runtime=python37
    --package-bucket-name={BUCKET NAME}
    --package-object-name=dist.zip
    --entrypoint=main.alice_handler
    --memory=128M
    --execution-timeout=3s

ম্যানুয়ালি একটি ফাংশন তৈরি করার সময়, সমস্ত পরামিতি একই ভাবে পূরণ করা হয়।

এখন আপনার তৈরি করা ফাংশনটি বিকাশকারী কনসোলের মাধ্যমে পরীক্ষা করা যেতে পারে এবং তারপর দক্ষতা উন্নত এবং প্রকাশ করা যেতে পারে।

হুড অধীনে কি

মেকফাইলে আসলে নির্ভরশীলতা ইনস্টল করার এবং একটি সংরক্ষণাগারে রাখার জন্য একটি মোটামুটি সহজ স্ক্রিপ্ট রয়েছে dist.zip, প্রায় এই মত:

mkdir -p dist/
pip3 install -r requirements.txt --target dist/ 
cp main.py dist/main.py
cp form.yaml dist/form.yaml
cd dist && zip --exclude '*.pyc' -r ../dist.zip ./*

বাকিটা লাইব্রেরিতে মোড়ানো কয়েকটি সহজ টুল tgalice. ব্যবহারকারীর ডেটা পূরণ করার প্রক্রিয়াটি কনফিগারেশন দ্বারা বর্ণনা করা হয় form.yaml:

form_name: 'horoscope_form'
start:
  regexp: 'старт|нач(ать|ни)'
  suggests:
    - Старт
fields:
  - name: 'name'
    question: Пожалуйста, назовите своё имя.
  - name: 'year'
    question: Теперь скажите мне год вашего рождения. Только четыре цифры, ничего лишнего.
    validate_regexp: '^[0-9]{4}$'
    validate_message: Пожалуйста, попробуйте ещё раз. Назовите год вашего рождения - четыре цифры.
  - name: 'month'
    question: Замечательно! Теперь назовите месяц вашего рождения.
    options:
      - январь
     ...
      - декабрь
    validate_message: То, что вы назвали, не похоже на месяц. Пожалуйста, назовите месяц вашего рождения, без других слов.
  - name: 'day'
    question: Отлично! Наконец, назовите мне дату вашего рождения - только число, всего одна или две цифры.
    validate_regexp: '[0123]?d$'
    validate_message: Пожалуйста, попробуйте ещё раз. Вам нужно назвать число своего рождения (например, двадцатое); это одна или две цифры.

এই কনফিগারেশনটি পার্স করার এবং চূড়ান্ত ফলাফল গণনা করার কাজটি পাইথন ক্লাস দ্বারা নেওয়া হয়েছে

class CheckableFormFiller(tgalice.dialog_manager.form_filling.FormFillingDialogManager):
    SIGNS = {
        'январь': 'Козерог',
        ...
    }

    def handle_completed_form(self, form, user_object, ctx):
        response = tgalice.dialog_manager.base.Response(
            text='Спасибо, {}! Теперь мы знаем: вам {} лет, и вы {}. n'
                 'Вот это вам, конечно, повезло! Звёзды говорят вам: {}'.format(
                form['fields']['name'],
                2019 - int(form['fields']['year']),
                self.SIGNS[form['fields']['month']],
                random.choice(FORECASTS),
            ),
            user_object=user_object,
        )
        return response

আরও সঠিকভাবে, বেস ক্লাস FormFillingDialogManager "ফর্ম" এবং শিশু শ্রেণীর পদ্ধতি পূরণের সাথে সম্পর্কিত handle_completed_form সে প্রস্তুত হলে তাকে কী করতে হবে তা বলে।

কথোপকথনের এই প্রধান প্রবাহ ছাড়াও, ব্যবহারকারীকে অবশ্যই অভিনন্দন জানাতে হবে, সেইসাথে "সহায়তা" কমান্ড ব্যবহার করে সহায়তা প্রদান করতে হবে এবং "প্রস্থান" কমান্ড ব্যবহার করে দক্ষতা থেকে মুক্তি দিতে হবে। এই উদ্দেশ্যে ইন tgalice একটি টেমপ্লেটও রয়েছে, তাই পুরো ডায়ালগ ম্যানেজারটি টুকরা দিয়ে তৈরি:

dm = tgalice.dialog_manager.CascadeDialogManager(
    tgalice.dialog_manager.GreetAndHelpDialogManager(
        greeting_message=DEFAULT_MESSAGE,
        help_message=DEFAULT_MESSAGE,
        exit_message='До свидания, приходите в навык "Айтишный гороскоп" ещё!'
    ),
    CheckableFormFiller(`form.yaml`, default_message=DEFAULT_MESSAGE)
)

CascadeDialogManager এটি সহজভাবে কাজ করে: এটি পালাক্রমে সংলাপের বর্তমান অবস্থায় এর সমস্ত উপাদান প্রয়োগ করার চেষ্টা করে এবং প্রথম উপযুক্তটি নির্বাচন করে।

ডায়ালগ ম্যানেজার প্রতিটি বার্তার প্রতিক্রিয়া হিসাবে একটি পাইথন বস্তু ফেরত দেয়। Response, যা তারপর প্লেইন টেক্সটে রূপান্তরিত হতে পারে, বা এলিস বা টেলিগ্রামের একটি বার্তায় - বটটি কোথায় চলছে তার উপর নির্ভর করে; এটিতে সংলাপের পরিবর্তিত অবস্থাও রয়েছে যা সংরক্ষণ করা প্রয়োজন। এই পুরো রান্নাঘরটি অন্য শ্রেণীর দ্বারা পরিচালিত হয়, DialogConnector, তাই Yandex ফাংশনগুলিতে একটি দক্ষতা চালু করার জন্য সরাসরি স্ক্রিপ্টটি এইরকম দেখাচ্ছে:

...
session = boto3.session.Session()
s3 = session.client(
    service_name='s3',
    endpoint_url='https://storage.yandexcloud.net',
    aws_access_key_id=os.environ['AWS_ACCESS_KEY_ID'],
    aws_secret_access_key=os.environ['AWS_SECRET_ACCESS_KEY'],
    region_name='ru-central1',
)
storage = tgalice.session_storage.S3BasedStorage(s3_client=s3, bucket_name='tgalice-test-cold-storage')
connector = tgalice.dialog_connector.DialogConnector(dialog_manager=dm, storage=storage)
alice_handler = connector.serverless_alice_handler

আপনি দেখতে পাচ্ছেন, এই কোডের বেশিরভাগই অবজেক্ট স্টোরেজের S3 ইন্টারফেসের সাথে একটি সংযোগ তৈরি করে। আপনি পড়তে পারেন কিভাবে এই সংযোগ সরাসরি ব্যবহার করা হয় tgalice কোডে.
শেষ লাইন ফাংশন তৈরি করে alice_handler — একই যা আমরা Yandex.Cloud কে বলেছিলাম প্যারামিটার সেট করার সময় টানতে --entrypoint=main.alice_handler.

যে সব, আসলে. সমাবেশের জন্য মেকফাইলস, প্রসঙ্গ সংরক্ষণের জন্য S3-এর মতো অবজেক্ট স্টোরেজ এবং একটি পাইথন লাইব্রেরি tgalice. পাইথনের সার্ভারহীন ফাংশন এবং অভিব্যক্তির সাথে মিলিত, এটি একটি সুস্থ মানুষের দক্ষতা বিকাশের জন্য যথেষ্ট।

আপনি জিজ্ঞাসা করতে পারেন কেন এটি তৈরি করা প্রয়োজন ছিল tgalice? সমস্ত বিরক্তিকর কোড যা JSON-গুলিকে অনুরোধ থেকে প্রতিক্রিয়া এবং স্টোরেজ থেকে মেমরিতে এবং পিছনে স্থানান্তর করে। এছাড়াও একটি নিয়মিত কোড অ্যাপ্লিকেশন রয়েছে, এটি বোঝার জন্য একটি ফাংশন যে "ফেব্রুয়ারি" "ফেব্রুয়ারি" এর মতো, এবং দরিদ্রদের জন্য অন্যান্য NLU। আমার ধারণা অনুসারে, এটি ইতিমধ্যে যথেষ্ট হওয়া উচিত যাতে আপনি প্রযুক্তিগত বিবরণ দ্বারা খুব বেশি বিভ্রান্ত না হয়ে ইয়ামল ফাইলগুলিতে দক্ষতার প্রোটোটাইপগুলি স্কেচ করতে পারেন।

আপনি যদি আরও গুরুতর NLU চান তবে আপনি এটি আপনার দক্ষতার সাথে সংযুক্ত করতে পারেন রাসা বা ডিপ পাভলভ, কিন্তু তাদের সেট আপ করার জন্য একটি খঞ্জনীর সাথে অতিরিক্ত নাচের প্রয়োজন হবে, বিশেষ করে সার্ভারহীন অবস্থায়। আপনি যদি মোটেও কোডিং পছন্দ না করেন তবে আপনার একটি ভিজ্যুয়াল কনস্ট্রাক্টর ব্যবহার করা উচিত আইমাইলোগিক. tgalice তৈরি করার সময়, আমি কিছু ধরণের মধ্যবর্তী পথ সম্পর্কে চিন্তা করেছি। এর কি আসে দেখা যাক.

আচ্ছা, এখন যোগ দিন এলিস দক্ষতা বিকাশকারী চ্যাট, পড়ুন ডকুমেন্টেশন, এবং বিস্ময়কর তৈরি করুন দক্ষতা!

উত্স: www.habr.com