DeepPavlov დეველოპერებისთვის: #1 NLP ინსტრუმენტები და ჩატბოტის შექმნა

Სალამი ყველას! ჩვენ ვხსნით სტატიების სერიას, რომელიც ეძღვნება ბუნებრივი ენის დამუშავებასთან დაკავშირებული პრაქტიკული პრობლემების გადაჭრას (Natural Language Processing ან უბრალოდ NLP) და ვქმნით დიალოგების აგენტებს (chatbots) ღია წყაროს ბიბლიოთეკის გამოყენებით. დიპ პავლოვი, რომელიც შემუშავებულია ჩვენი გუნდის მიერ MIPT ნერვული სისტემებისა და ღრმა სწავლის ლაბორატორიაში. სერიის მთავარი მიზანია გააცნოს DeepPavlov დეველოპერების ფართო სპექტრს და აჩვენოს, თუ როგორ შეგიძლიათ გადაჭრათ გამოყენებული NLP ამოცანები მანქანათმცოდნეობის და მათემატიკის დოქტორის ღრმა ცოდნის გარეშე.

NLP ამოცანები მოიცავს ტექსტის სენტიმენტის განსაზღვრას, დასახელებული ერთეულების გაანალიზებას, იმის დადგენას, თუ რა სურს თანამოსაუბრეს თქვენი ბოტისგან: შეუკვეთეთ პიცა ან მიიღეთ ფონური ინფორმაცია და მრავალი სხვა. შეგიძლიათ მეტი წაიკითხოთ NLP ამოცანებისა და მეთოდების შესახებ აქ.

ამ სტატიაში ჩვენ გაჩვენებთ, თუ როგორ უნდა გაუშვათ REST სერვერი წინასწარ მომზადებული NLP მოდელებით, რომლებიც მზად არიან გამოსაყენებლად დამატებითი კონფიგურაციისა და ტრენინგის გარეშე.

DeepPavlov-ის ინსტალაცია

აქ და ქვემოთ მოცემულია ინსტრუქციები Linux-ისთვის. Windows-ისთვის იხილეთ ჩვენი დოკუმენტაცია

• შექმენით და გააქტიურეთ ვირტუალური გარემო Python-ის მიმდინარე მხარდაჭერილი ვერსიით:

  virtualelnv env -p python3.7
  source env/bin/activate

• დააინსტალირეთ DeepPavlov ვირტუალურ გარემოში:

  pip install deeppavlov
  

REST სერვერის გაშვება DeepPavlov მოდელით

სანამ სერვერს DeepPavlov-ის მოდელით პირველად გავუშვით, სასარგებლო იქნება ბიბლიოთეკის არქიტექტურის ზოგიერთ მახასიათებლებზე საუბარი.

ნებისმიერი მოდელი DP-ში შედგება:

• პითონის კოდი;
• ჩამოსატვირთი კომპონენტები - ტრენინგის სერიული შედეგები კონკრეტულ მონაცემებზე (ჩაშენებები, ნერვული ქსელების წონა და ა.შ.);
• კონფიგურაციის ფაილი (შემდგომში კონფიგურაცია), რომელიც შეიცავს ინფორმაციას მოდელის მიერ გამოყენებული კლასების შესახებ, გადმოწერილი კომპონენტების URL-ებს, პითონის დამოკიდებულებებს და ა.შ.

უფრო დაწვრილებით იმის შესახებ, თუ რა არის დიპპავლოვის კაპოტის ქვეშ, შემდეგ სტატიებში, ამ დროისთვის საკმარისია ვიცოდეთ, რომ:

• ნებისმიერი მოდელი DeepPavlov-ში იდენტიფიცირებულია მისი კონფიგურაციის სახელით;
• მოდელის გასაშვებად, თქვენ უნდა ჩამოტვირთოთ მისი კომპონენტები DeepPavlov სერვერებიდან;
• ასევე, მოდელის გასაშვებად, თქვენ უნდა დააინსტალიროთ პითონის ბიბლიოთეკები, რომლებიც მას იყენებს.

პირველი მოდელი, რომელსაც ჩვენ გამოვამუშავებთ, იქნება მრავალენოვანი სახელწოდებით ერთეულების ამოცნობა (NER). მოდელი ტექსტურ სიტყვებს კლასიფიცირებს დასახელებული ერთეულების ტიპის მიხედვით, რომელსაც ისინი მიეკუთვნებიან (საკუთარი სახელები, გეოგრაფიული სახელები, ვალუტების სახელები და სხვა). კონფიგურაციის სახელი NER-ის უახლესი ვერსიისთვის:

ner_ontonotes_bert_mult

ჩვენ გავუშვით REST სერვერი მოდელით:

1. ჩვენ ვაინსტალირებთ მის კონფიგურაციაში მითითებულ მოდელის დამოკიდებულებებს აქტიურ ვირტუალურ გარემოში:

   python -m deeppavlov install ner_ontonotes_bert_mult
   

2. ჩამოტვირთეთ სერიული მოდელის კომპონენტები DeepPavlov სერვერებიდან:

   python -m deeppavlov download ner_ontonotes_bert_mult
   

   სერიული კომპონენტები ჩამოიტვირთება DeepPavlov-ის საშინაო დირექტორიაში, რომელიც მდებარეობს ნაგულისხმევად

   ~/.deeppavlov

   ჩამოტვირთვისას უკვე გადმოწერილი კომპონენტების ჰეში მოწმდება სერვერზე განთავსებული კომპონენტების ჰეშებთან. თუ არსებობს დამთხვევა, ჩამოტვირთვა გამოტოვებულია და არსებული ფაილები გამოიყენება. ჩამოტვირთული კომპონენტების ზომები შეიძლება განსხვავდებოდეს საშუალოდ 0.5-დან 8 გბ-მდე, ზოგიერთ შემთხვევაში 20 გბ-ს მიაღწიოს unzipping-ის შემდეგ.

3. ჩვენ გავუშვით REST სერვერი მოდელით:

   python -m deeppavlov riseapi ner_ontonotes_bert_mult -p 5005
   

ამ ბრძანების შესრულების შედეგად, მოდელის მქონე REST სერვერი ამოქმედდება მასპინძელი მანქანის 5005 პორტზე (ნაგულისხმევი პორტი არის 5000).

მოდელის ინიციალიზაციის შემდეგ, Swagger API დოკუმენტაციით და ტესტირების შესაძლებლობით შეგიძლიათ იხილოთ URL-ზე http://127.0.0.1:5005. მოდით შევამოწმოთ მოდელი ბოლო წერტილში გაგზავნით http://127.0.0.1:5005/model POST მოთხოვნა შემდეგი JSON კონტენტით:

{
  "x": [
    "В МФТИ можно добраться на электричке с Савёловского Вокзала.",
    "В юго-западной Руси стог жита оценен в 15 гривен"
  ]
}

საპასუხოდ ჩვენ უნდა მივიღოთ შემდეგი JSON:

[
  [
    ["В", "МФТИ", "можно", "добраться", "на", "электричке", "с", "Савёловского", "Вокзала", "."],
    ["O", "B-FAC", "O", "O", "O", "O", "O", "B-FAC", "I-FAC", "O"]
  ],
  [
    ["В", "юго", "-", "западной", "Руси", "стог", "жита", "оценен", "в", "15", "гривен"],
    ["O", "B-LOC", "I-LOC", "I-LOC", "I-LOC", "O", "O", "O", "O", "B-MONEY", "I-MONEY"]
  ]
]

ამ მაგალითების გამოყენებით ჩვენ გავაანალიზებთ DeepPavlov REST API-ს.

API DeepPavlov

DeepPavlov-ის თითოეულ მოდელს აქვს მინიმუმ ერთი შეყვანის არგუმენტი. REST API-ში არგუმენტები დასახელებულია, მათი სახელები არის შემომავალი ლექსიკონის გასაღებები. უმეტეს შემთხვევაში, არგუმენტი არის ტექსტი, რომელიც საჭიროებს დამუშავებას. დამატებითი ინფორმაცია მოდელების მიერ დაბრუნებული არგუმენტებისა და მნიშვნელობების შესახებ შეგიძლიათ იხილოთ დოკუმენტაციის MODELS განყოფილებაში. დიპ პავლოვი

მაგალითში ორი სტრიქონის სია გადაეცა არგუმენტ x-ს, რომელთაგან თითოეულს მიენიჭა ცალკე მარკირება. DeepPavlov-ში ყველა მოდელი იღებს მნიშვნელობების სიას (პარტიას), რომლებიც დამოუკიდებლად მუშავდება.

ტერმინი „სერიები“ ეხება მანქანათმცოდნეობის სფეროს და ეხება დამოუკიდებელი შეყვანის მნიშვნელობების ჯგუფს, რომლებიც დამუშავებულია ალგორითმის ან ნერვული ქსელის ერთდროულად. ეს მიდგომა საშუალებას გაძლევთ შეამციროთ (ხშირად მნიშვნელოვნად) დრო, როდესაც მოდელი ამუშავებს სერიის ერთ ელემენტს, იმავე მნიშვნელობასთან შედარებით, რომელიც ცალკე გადაცემულია შეყვანისთვის. მაგრამ დამუშავების შედეგი გაიცემა მხოლოდ მას შემდეგ, რაც ყველა ელემენტი დამუშავდება. ამიტომ, შემომავალი ჯგუფის გენერირებისას, საჭირო იქნება მოდელის სიჩქარის გათვალისწინება და მისი თითოეული ცალკეული ელემენტის დამუშავების საჭირო დრო.

თუ DeepPavlov მოდელის რამდენიმე არგუმენტია, თითოეული მათგანი იღებს მნიშვნელობების საკუთარ პარტიას და გამოსავალზე მოდელი ყოველთვის აწარმოებს პასუხების ერთ პარტიას. გამავალი პარტიის ელემენტები არის შემომავალი პარტიების ელემენტების იგივე ინდექსით დამუშავების შედეგები.

ზემოხსენებულ მაგალითში, მოდელის შედეგი იყო თითოეული სტრიქონის დაშლა ნიშნებად (სიტყვები და პუნქტუაციის ნიშნები) და ნიშნის კლასიფიკაცია დასახელებულ ერთეულთან (ორგანიზაციის სახელი, ვალუტა), რომელსაც ის წარმოადგენს. ამჟამად მოდელი ner_ontonotes_bert_mult შეუძლია ამოიცნოს 18 ტიპის დასახელებული ერთეული, დეტალური აღწერა შეგიძლიათ იხილოთ აქ.

DeepPavlov-ის სხვა გამოშვებული მოდელები

NER-ის გარდა, წერის მომენტისთვის DeepPavlov-ში ხელმისაწვდომია შემდეგი გამოშვებული მოდელები:

ტექსტის კითხვაზე პასუხი

უპასუხეთ კითხვას ტექსტზე ამ ტექსტის ფრაგმენტით. მოდელის კონფიგურაცია: squad_ru_bert_infer

მოთხოვნის მაგალითი:

{
  "context_raw": [
    "DeepPavlov разрабатывается лабораторией МФТИ.",
    "В юго-западной Руси стог жита оценен в 15 гривен."
  ],
  "question_raw": [
    "Кем разрабатывается DeepPavlov?",
    "Сколько стоил стог жита на Руси?"
  ]
}

შედეგი:

[
  ["лабораторией МФТИ", 27, 31042.484375],
  ["15 гривен", 39, 1049.598876953125]
]

შეურაცხყოფის გამოვლენა

შეურაცხყოფის არსებობის გამოვლენა იმ პირის მიმართ, რომელსაც ტექსტი აქვს მიმართული (წერის დროს - მხოლოდ ინგლისურისთვის). მოდელის კონფიგურაცია: insults_kaggle_conv_bert

მოთხოვნის მაგალითი:

{
  "x": [
    "Money talks, bullshit walks.",
    "You are not the brightest one."
  ]
}

შედეგი:

[
  ["Not Insult"],
  ["Insult"]
]

განწყობის ანალიზი

ტექსტის განწყობის კლასიფიკაცია (პოზიტიური, ნეიტრალური, უარყოფითი). მოდელის კონფიგურაცია: rusentiment_elmo_twitter_cnn

მოთხოვნის მაგალითი:

{
  "x": [
    "Мне нравится библиотека DeepPavlov.",
    "Я слышал о библиотеке DeepPavlov.",
    "Меня бесят тролли и анонимусы."
  ]
}

შედეგი:

[
  ["positive"],
  ["neutral"],
  ["negative"]
]

პარაფრაზის გამოვლენა

იმის დადგენა, აქვს თუ არა ორ სხვადასხვა ტექსტს ერთი და იგივე მნიშვნელობა. მოდელის კონფიგურაცია: stand_paraphraser_ru

მოთხოვნა:

{
  "text_a": [
    "Город погружается в сон, просыпается Мафия.",
    "Президент США пригрозил расторжением договора с Германией."
  ],
  "text_b": [
    "Наступает ночь, все жители города пошли спать, а преступники проснулись.",
    "Германия не собирается поддаваться угрозам со стороны США."
  ]
}

შედეგი:

[
  [1],
  [0]
]

DeepPavlov-ის ყველა უახლესი მოდელის ამჟამინდელი სია ყოველთვის შეგიძლიათ იპოვოთ აქ.

დასკვნა

ამ სტატიაში ჩვენ გავეცანით DeepPavlov API-ს და ბიბლიოთეკის ტექსტის დამუშავების ზოგიერთ შესაძლებლობებს, რომლებიც მოწოდებულია ყუთში. გასათვალისწინებელია, რომ ნებისმიერი NLP ამოცანისთვის საუკეთესო შედეგი მიიღწევა მოდელის სწავლებისას ამოცანის საგნის (დომენის) შესაბამის მონაცემთა ნაკრებზე. გარდა ამისა, კიდევ უფრო მეტი მოდელი, პრინციპში, არ შეიძლება იყოს მომზადებული ყველა სიტუაციისთვის.

შემდეგ სტატიებში განვიხილავთ ბიბლიოთეკის დამატებით პარამეტრებს, Docker-დან DeepPavlov-ის გაშვებას და შემდეგ გადავალთ სასწავლო მოდელებზე. და არ დაგავიწყდეთ, რომ დიპპავლოვს აქვს ფორუმი - დასვით თქვენი შეკითხვები ბიბლიოთეკასა და მოდელებთან დაკავშირებით. Გმადლობთ ყურადღებისთვის!

წყარო: www.habr.com