ডেভেলপারদের জন্য DeepPavlov: #1 NLP টুল এবং চ্যাটবট তৈরি

হাই সব! আমরা একটি ওপেন-সোর্স লাইব্রেরি ব্যবহার করে প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (প্রাকৃতিক ভাষা প্রক্রিয়াকরণ বা কেবল এনএলপি) সম্পর্কিত ব্যবহারিক সমস্যা সমাধান এবং ডায়ালগ এজেন্ট (চ্যাটবট) তৈরি করার জন্য উত্সর্গীকৃত নিবন্ধগুলির একটি সিরিজ খুলছি। ডিপ পাভলভ, যা আমাদের টিম MIPT ল্যাবরেটরি অফ নিউরাল সিস্টেম এবং ডিপ লার্নিং-এ তৈরি করছে। এই সিরিজের মূল লক্ষ্য হল ডিপপ্যাভলভকে বিস্তৃত ডেভেলপারদের সাথে পরিচয় করিয়ে দেওয়া এবং দেখানো যে আপনি কীভাবে মেশিন লার্নিং এবং গণিতে পিএইচডি বিষয়ে গভীর জ্ঞান না রেখে প্রয়োগকৃত NLP সমস্যাগুলি সমাধান করতে পারেন।

NLP কাজগুলির মধ্যে রয়েছে পাঠ্যের অনুভূতি নির্ধারণ করা, নামকৃত সত্তাগুলিকে পার্স করা, আপনার বট থেকে কথোপকথক কী চায় তা নির্ধারণ করা: পিৎজা অর্ডার করুন বা পটভূমির তথ্য পান এবং আরও অনেক কিছু। আপনি NLP কাজ এবং পদ্ধতি সম্পর্কে আরও পড়তে পারেন এখানে.

এই প্রবন্ধে, আমরা আপনাকে দেখাব কিভাবে প্রাক-প্রশিক্ষিত NLP মডেল সহ একটি REST সার্ভার চালাতে হয়, কোন অতিরিক্ত কনফিগারেশন বা প্রশিক্ষণ ছাড়াই ব্যবহারের জন্য প্রস্তুত।

DeepPavlov এর ইনস্টলেশন

এখানে এবং নীচে, লিনাক্সের জন্য নির্দেশাবলী দেওয়া হবে। উইন্ডোজের জন্য, আমাদের দেখুন ডকুমেন্টেশন

• পাইথনের বর্তমান সমর্থিত সংস্করণের সাথে একটি ভার্চুয়াল পরিবেশ তৈরি এবং সক্রিয় করুন:

  virtualelnv env -p python3.7
  source env/bin/activate

• একটি ভার্চুয়াল পরিবেশে DeepPavlov ইনস্টল করুন:

  pip install deeppavlov
  

DeepPavlov মডেলের সাথে একটি REST সার্ভার চালু করা হচ্ছে

আমরা প্রথমবারের মতো ডিপপাভলভ মডেলের সাথে একটি সার্ভার চালু করার আগে, লাইব্রেরির স্থাপত্যের কিছু বৈশিষ্ট্য সম্পর্কে কথা বলা দরকারী হবে।

ডিপি-তে যেকোন মডেলের মধ্যে থাকে:

• পাইথন কোড;
• ডাউনলোডযোগ্য উপাদান - নির্দিষ্ট ডেটার উপর ধারাবাহিক প্রশিক্ষণের ফলাফল (এম্বেডিং, নিউরাল নেটওয়ার্কের ওজন ইত্যাদি);
• একটি কনফিগারেশন ফাইল (এর পরে কনফিগারেশন হিসাবে উল্লেখ করা হয়েছে), যাতে মডেল দ্বারা ব্যবহৃত ক্লাস, ডাউনলোড করা উপাদানগুলির URL, পাইথন নির্ভরতা ইত্যাদির তথ্য রয়েছে।

আমরা নিম্নলিখিত নিবন্ধগুলিতে দীপপাভলভের হুডের নীচে কী রয়েছে সে সম্পর্কে আপনাকে আরও বলব, আপাতত আমাদের জন্য এটি জানা যথেষ্ট:

• ডিপপ্যাভলভের যেকোন মডেলকে এর কনফিগারেশনের নাম দ্বারা চিহ্নিত করা হয়;
• মডেলটি চালানোর জন্য, আপনাকে DeepPavlov সার্ভার থেকে এর উপাদানগুলি ডাউনলোড করতে হবে;
• এছাড়াও, মডেলটি চালানোর জন্য, আপনাকে এটি ব্যবহার করে পাইথন লাইব্রেরিগুলি ইনস্টল করতে হবে।

আমরা যে প্রথম মডেলটি চালু করব তা হবে বহুভাষিক নামযুক্ত সত্তা স্বীকৃতি (NER)। মডেলটি টেক্সট শব্দগুলিকে শ্রেণীবদ্ধ করে নামযুক্ত সত্ত্বার ধরন অনুসারে যার সাথে তারা (সঠিক নাম, ভৌগলিক নাম, মুদ্রার নাম এবং অন্যান্য)। NER এর বর্তমান সবচেয়ে সাম্প্রতিক সংস্করণের জন্য কনফিগার নাম:

ner_ontonotes_bert_mult

আমরা মডেলের সাথে REST সার্ভার চালু করি:

1. আমরা সক্রিয় ভার্চুয়াল পরিবেশে এর কনফিগারেশনে নির্দিষ্ট মডেল নির্ভরতাগুলি ইনস্টল করি:

   python -m deeppavlov install ner_ontonotes_bert_mult
   

2. DeepPavlov সার্ভার থেকে সিরিয়ালাইজড মডেল উপাদান ডাউনলোড করুন:

   python -m deeppavlov download ner_ontonotes_bert_mult
   

   সিরিয়ালাইজ করা উপাদানগুলি ডিপপ্যাভলভ হোম ডিরেক্টরিতে ডাউনলোড করা হবে, যা ডিফল্টরূপে অবস্থিত

   ~/.deeppavlov

   ডাউনলোড করার সময়, ইতিমধ্যে ডাউনলোড করা উপাদানগুলির হ্যাশ সার্ভারে অবস্থিত উপাদানগুলির হ্যাশগুলির বিপরীতে পরীক্ষা করা হয়। একটি মিল থাকলে, ডাউনলোডটি এড়িয়ে যায় এবং বিদ্যমান ফাইলগুলি ব্যবহার করা হয়। ডাউনলোড করা উপাদানগুলির আকার গড়ে 0.5 থেকে 8 গিগাবাইট পর্যন্ত পরিবর্তিত হতে পারে, কিছু ক্ষেত্রে আনজিপ করার পরে 20 জিবি পর্যন্ত পৌঁছায়।

3. আমরা মডেলের সাথে REST সার্ভার চালু করি:

   python -m deeppavlov riseapi ner_ontonotes_bert_mult -p 5005
   

এই কমান্ডটি কার্যকর করার ফলে, হোস্ট মেশিনের পোর্ট 5005 এ একটি মডেল সহ একটি REST সার্ভার চালু করা হবে (ডিফল্ট পোর্টটি 5000)।

মডেলটি শুরু করার পরে, API ডকুমেন্টেশন সহ Swagger এবং পরীক্ষা করার ক্ষমতা URL এ পাওয়া যাবে http://127.0.0.1:5005. এর শেষ পয়েন্টে পাঠিয়ে মডেলটি পরীক্ষা করা যাক http://127.0.0.1:5005/model নিম্নলিখিত JSON সামগ্রী সহ অনুরোধ পোস্ট করুন:

{
  "x": [
    "В МФТИ можно добраться на электричке с Савёловского Вокзала.",
    "В юго-западной Руси стог жита оценен в 15 гривен"
  ]
}

প্রতিক্রিয়া হিসাবে আমাদের নিম্নলিখিত JSON পাওয়া উচিত:

[
  [
    ["В", "МФТИ", "можно", "добраться", "на", "электричке", "с", "Савёловского", "Вокзала", "."],
    ["O", "B-FAC", "O", "O", "O", "O", "O", "B-FAC", "I-FAC", "O"]
  ],
  [
    ["В", "юго", "-", "западной", "Руси", "стог", "жита", "оценен", "в", "15", "гривен"],
    ["O", "B-LOC", "I-LOC", "I-LOC", "I-LOC", "O", "O", "O", "O", "B-MONEY", "I-MONEY"]
  ]
]

এই উদাহরণগুলি ব্যবহার করে, আমরা DeepPavlov REST API বিশ্লেষণ করব।

API DeepPavlov

প্রতিটি DeepPavlov মডেলের অন্তত একটি ইনপুট যুক্তি আছে। REST API-এ, আর্গুমেন্টের নাম দেওয়া হয়, তাদের নাম হল ইনকামিং ডিকশনারির কী। বেশিরভাগ ক্ষেত্রে, যুক্তি হল পাঠ্য যা প্রক্রিয়া করা দরকার। মডেল দ্বারা প্রত্যাবর্তিত আর্গুমেন্ট এবং মান সম্পর্কে আরও তথ্য ডকুমেন্টেশনের MODELS বিভাগে পাওয়া যাবে ডিপ পাভলভ

উদাহরণে, আর্গুমেন্ট x-এ দুটি স্ট্রিংয়ের একটি তালিকা দেওয়া হয়েছিল, যার প্রতিটিকে আলাদা মার্কআপ দেওয়া হয়েছিল। DeepPavlov-এ, সমস্ত মডেল ইনপুট হিসাবে মানগুলির একটি তালিকা (ব্যাচ) গ্রহণ করে যা স্বাধীনভাবে প্রক্রিয়া করা হয়।

"ব্যাচ" শব্দটি মেশিন লার্নিং এর ক্ষেত্রকে নির্দেশ করে এবং একই সাথে একটি অ্যালগরিদম বা নিউরাল নেটওয়ার্ক দ্বারা প্রক্রিয়াকৃত স্বাধীন ইনপুট মানগুলির একটি ব্যাচকে বোঝায়। এই পদ্ধতিটি আপনাকে আলাদাভাবে ইনপুটে দেওয়া একই মানের তুলনায় মডেলটি একটি ব্যাচের একটি উপাদানকে প্রক্রিয়া করার সময় (প্রায়ই উল্লেখযোগ্যভাবে) কমাতে দেয়। কিন্তু প্রক্রিয়াকরণ ফলাফল শুধুমাত্র সমস্ত উপাদান প্রক্রিয়া করা হয়েছে পরে জারি করা হয়. অতএব, একটি ইনকামিং ব্যাচ তৈরি করার সময়, মডেলের গতি এবং এর প্রতিটি পৃথক উপাদানের জন্য প্রয়োজনীয় প্রক্রিয়াকরণের সময় বিবেচনা করা প্রয়োজন।

যদি ডিপপাভলভ মডেলের বেশ কয়েকটি যুক্তি থাকে, তবে তাদের প্রত্যেকটি নিজস্ব মানগুলির ব্যাচ গ্রহণ করে এবং আউটপুটে মডেলটি সর্বদা এক ব্যাচের উত্তর তৈরি করে। বহির্গামী ব্যাচের উপাদানগুলি একই সূচকের সাথে আগত ব্যাচগুলির উপাদানগুলি প্রক্রিয়াকরণের ফলাফল।

উপরের উদাহরণে, মডেলের ফলাফলটি ছিল প্রতিটি স্ট্রিংকে টোকেনে (শব্দ এবং বিরাম চিহ্ন) বিভক্ত করা এবং এটি প্রতিনিধিত্ব করে এমন নামকৃত সত্তা (সংস্থার নাম, মুদ্রা) সম্পর্কিত টোকেনকে শ্রেণীবদ্ধ করা। বর্তমানে মডেল ner_ontonotes_bert_mult 18 প্রকারের নামযুক্ত সত্তা চিনতে সক্ষম, একটি বিশদ বিবরণ পাওয়া যাবে এখানে.

ডিপপ্যাভলভের অন্যান্য আউট-অফ-দ্য-বক্স মডেল

এনইআর ছাড়াও, লেখার সময় ডিপপাভলভে নিম্নলিখিত আউট-অফ-দ্য-বক্স মডেলগুলি পাওয়া যায়:

পাঠ্য প্রশ্নের উত্তর

এই পাঠ্যের একটি অংশ দিয়ে পাঠ্যের প্রশ্নের উত্তর দিন। মডেল কনফিগারেশন: স্কোয়াড_রু_বার্ট_ইনফার

উদাহরণ অনুরোধ:

{
  "context_raw": [
    "DeepPavlov разрабатывается лабораторией МФТИ.",
    "В юго-западной Руси стог жита оценен в 15 гривен."
  ],
  "question_raw": [
    "Кем разрабатывается DeepPavlov?",
    "Сколько стоил стог жита на Руси?"
  ]
}

ফলাফল:

[
  ["лабораторией МФТИ", 27, 31042.484375],
  ["15 гривен", 39, 1049.598876953125]
]

অপমান সনাক্তকরণ

যে ব্যক্তির কাছে পাঠ্যটি সম্বোধন করা হয়েছে তার প্রতি অপমানের উপস্থিতি সনাক্তকরণ (লেখার সময় - শুধুমাত্র ইংরেজির জন্য)। মডেল কনফিগারেশন: insults_kaggle_conv_bert

উদাহরণ অনুরোধ:

{
  "x": [
    "Money talks, bullshit walks.",
    "You are not the brightest one."
  ]
}

ফলাফল:

[
  ["Not Insult"],
  ["Insult"]
]

অনুভূতির বিশ্লেষণ

পাঠ্য অনুভূতির শ্রেণীবিভাগ (ইতিবাচক, নিরপেক্ষ, নেতিবাচক)। মডেল কনফিগারেশন: rusentiment_elmo_twitter_cnn

উদাহরণ অনুরোধ:

{
  "x": [
    "Мне нравится библиотека DeepPavlov.",
    "Я слышал о библиотеке DeepPavlov.",
    "Меня бесят тролли и анонимусы."
  ]
}

ফলাফল:

[
  ["positive"],
  ["neutral"],
  ["negative"]
]

প্যারাফ্রেজ সনাক্তকরণ

দুটি ভিন্ন পাঠ্যের একই অর্থ আছে কিনা তা নির্ধারণ করা। মডেল কনফিগারেশন: stand_paraphraser_en

ক্যোয়ারী:

{
  "text_a": [
    "Город погружается в сон, просыпается Мафия.",
    "Президент США пригрозил расторжением договора с Германией."
  ],
  "text_b": [
    "Наступает ночь, все жители города пошли спать, а преступники проснулись.",
    "Германия не собирается поддаваться угрозам со стороны США."
  ]
}

ফলাফল:

[
  [1],
  [0]
]

সমস্ত আউট-অফ-দ্য-বক্স DeepPavlov মডেলের বর্তমান তালিকা সবসময় পাওয়া যাবে এখানে.

উপসংহার

এই নিবন্ধে, আমরা DeepPavlov API এবং বাক্সের বাইরে দেওয়া লাইব্রেরির কিছু পাঠ্য প্রক্রিয়াকরণ ক্ষমতার সাথে পরিচিত হয়েছি। এটি মনে রাখা উচিত যে কোনও NLP টাস্কের জন্য, টাস্কের বিষয় এলাকা (ডোমেন) এর সাথে সম্পর্কিত ডেটা সেটে মডেলকে প্রশিক্ষণ দেওয়ার সময় সর্বোত্তম ফলাফল অর্জন করা হবে। উপরন্তু, এমনকি আরো মডেল, নীতিগতভাবে, সব পরিস্থিতিতে প্রশিক্ষিত করা যাবে না.

নিম্নলিখিত নিবন্ধগুলিতে আমরা লাইব্রেরির অতিরিক্ত সেটিংস দেখব, ডকার থেকে ডিপপাভলভ চালু করব এবং তারপরে আমরা প্রশিক্ষণের মডেলগুলিতে চলে যাব। এবং ভুলে যাবেন না যে DeepPavlov আছে ফোরাম - লাইব্রেরি এবং মডেল সম্পর্কে আপনার প্রশ্ন জিজ্ঞাসা করুন. আপনার মনোযোগের জন্য আপনাকে ধন্যবাদ!

উত্স: www.habr.com