DeepPavlov ສໍາລັບນັກພັດທະນາ: #1 ເຄື່ອງມື NLP ແລະການສ້າງ chatbot

ສະບາຍດີທຸກຄົນ! ພວກເຮົາກໍາລັງເປີດຊຸດຂອງບົດຄວາມທີ່ອຸທິດຕົນເພື່ອແກ້ໄຂບັນຫາພາກປະຕິບັດທີ່ກ່ຽວຂ້ອງກັບການປຸງແຕ່ງພາສາທໍາມະຊາດ (ການປຸງແຕ່ງພາສາທໍາມະຊາດຫຼືພຽງແຕ່ NLP) ແລະການສ້າງຕົວແທນໂຕ້ຕອບ (chatbots) ໂດຍໃຊ້ຫ້ອງສະຫມຸດແຫຼ່ງເປີດ. DeepPavlov, ເຊິ່ງໄດ້ຖືກພັດທະນາໂດຍທີມງານຂອງພວກເຮົາທີ່ຫ້ອງທົດລອງ MIPT ຂອງລະບົບປະສາດແລະການຮຽນຮູ້ເລິກ. ເປົ້າຫມາຍຕົ້ນຕໍຂອງຊຸດແມ່ນເພື່ອແນະນໍາ DeepPavlov ໃຫ້ກັບນັກພັດທະນາຢ່າງກວ້າງຂວາງແລະສະແດງວິທີທີ່ທ່ານສາມາດແກ້ໄຂບັນຫາ NLP ທີ່ໃຊ້ໄດ້ໂດຍບໍ່ຕ້ອງມີຄວາມຮູ້ເລິກເຊິ່ງໃນ Machine Learning ແລະ PhD ໃນຄະນິດສາດ.

ວຽກງານ NLP ປະກອບມີການກໍານົດຄວາມຮູ້ສຶກຂອງຂໍ້ຄວາມ, parsing ຫນ່ວຍງານທີ່ມີຊື່, ກໍານົດສິ່ງທີ່ interlocutor ຕ້ອງການຈາກ bot ຂອງທ່ານ: ສັ່ງ pizza ຫຼືຮັບຂໍ້ມູນພື້ນຖານ, ແລະອື່ນໆອີກ. ທ່ານສາມາດອ່ານເພີ່ມເຕີມກ່ຽວກັບວຽກງານ NLP ແລະວິທີການ ທີ່ນີ້.

ໃນບົດຄວາມນີ້, ພວກເຮົາຈະສະແດງໃຫ້ທ່ານເຫັນວິທີການແລ່ນເຊີບເວີ REST ທີ່ມີແບບຈໍາລອງ NLP ທີ່ໄດ້ຮັບການຝຶກອົບຮົມກ່ອນ, ພ້ອມທີ່ຈະໃຊ້ໂດຍບໍ່ມີການກໍາຫນົດຄ່າຫຼືການຝຶກອົບຮົມເພີ່ມເຕີມ.

ການຕິດຕັ້ງ DeepPavlov

ຕໍ່ໄປນີ້ແລະຂ້າງລຸ່ມນີ້, ຄໍາແນະນໍາສໍາລັບ Linux ຈະຖືກມອບໃຫ້. ສໍາລັບ Windows, ເບິ່ງຂອງພວກເຮົາ ເອກະສານ

• ສ້າງ ແລະເປີດໃຊ້ສະພາບແວດລ້ອມສະເໝືອນກັບ Python ເວີຊັນທີ່ຮອງຮັບໃນປັດຈຸບັນ:

  virtualelnv env -p python3.7
  source env/bin/activate

• ຕິດຕັ້ງ DeepPavlov ໃນສະພາບແວດລ້ອມ virtual:

  pip install deeppavlov
  

ເປີດຕົວເຊີບເວີ REST ດ້ວຍຕົວແບບ DeepPavlov

ກ່ອນທີ່ພວກເຮົາຈະເປີດຕົວເຄື່ອງແມ່ຂ່າຍທີ່ມີຮູບແບບ DeepPavlov ຄັ້ງທໍາອິດ, ມັນຈະເປັນປະໂຫຍດທີ່ຈະເວົ້າກ່ຽວກັບບາງລັກສະນະຂອງສະຖາປັດຕະຍະກໍາຂອງຫ້ອງສະຫມຸດ.

ຮູບແບບໃດນຶ່ງໃນ DP ປະກອບດ້ວຍ:

• ລະຫັດ Python;
• ອົງປະກອບທີ່ສາມາດດາວໂຫລດໄດ້ - ຜົນໄດ້ຮັບການຝຶກອົບຮົມ serialized ກ່ຽວກັບຂໍ້ມູນສະເພາະ (ການຝັງ, ນ້ໍາຫນັກຂອງເຄືອຂ່າຍ neural, ແລະອື່ນໆ);
• ໄຟລ໌ການຕັ້ງຄ່າ (ຕໍ່ໄປນີ້ເອີ້ນວ່າ config), ເຊິ່ງປະກອບດ້ວຍຂໍ້ມູນກ່ຽວກັບຫ້ອງຮຽນທີ່ໃຊ້ໂດຍຕົວແບບ, URL ຂອງອົງປະກອບທີ່ດາວໂຫລດ, ການຂຶ້ນກັບ Python, ແລະອື່ນໆ.

ພວກເຮົາຈະບອກທ່ານເພີ່ມເຕີມກ່ຽວກັບສິ່ງທີ່ຢູ່ພາຍໃຕ້ hood ຂອງ DeepPavlov ໃນບົດຄວາມຕໍ່ໄປນີ້, ສໍາລັບໃນປັດຈຸບັນມັນພຽງພໍສໍາລັບພວກເຮົາທີ່ຈະຮູ້ວ່າ:

• ຮູບແບບໃດໆໃນ DeepPavlov ແມ່ນຖືກກໍານົດໂດຍຊື່ຂອງການຕັ້ງຄ່າຂອງມັນ;
• ເພື່ອດໍາເນີນການຮູບແບບ, ທ່ານຈໍາເປັນຕ້ອງໄດ້ດາວນ໌ໂຫລດອົງປະກອບຂອງຕົນຈາກເຄື່ອງແມ່ຂ່າຍຂອງ DeepPavlov;
• ນອກຈາກນັ້ນ, ເພື່ອດໍາເນີນການຮູບແບບ, ທ່ານຈໍາເປັນຕ້ອງຕິດຕັ້ງຫ້ອງສະຫມຸດ Python ທີ່ມັນໃຊ້.

ຮູບແບບທໍາອິດທີ່ພວກເຮົາຈະເປີດຕົວຈະເປັນຫຼາຍພາສາ Named Entity Recognition (NER). ຕົວແບບຈໍາແນກຄໍາສັບຕ່າງໆຕາມປະເພດຂອງຫນ່ວຍງານທີ່ມີຊື່ທີ່ເຂົາເຈົ້າຂຶ້ນກັບ (ຊື່ທີ່ເຫມາະສົມ, ຊື່ທາງພູມສາດ, ຊື່ຂອງສະກຸນເງິນ, ແລະອື່ນໆ). Config ຊື່ສໍາລັບ NER ຮຸ່ນຫຼ້າສຸດໃນປະຈຸບັນ:

ner_ontonotes_bert_mult

ພວກເຮົາເປີດຕົວເຊີບເວີ REST ດ້ວຍຮູບແບບ:

1. ພວກເຮົາຕິດຕັ້ງຕົວແບບຈໍາລອງທີ່ລະບຸໄວ້ໃນ config ຂອງມັນເຂົ້າໄປໃນສະພາບແວດລ້ອມ virtual ທີ່ໃຊ້ວຽກ:

   python -m deeppavlov install ner_ontonotes_bert_mult
   

2. ດາວໂຫລດອົງປະກອບຕົວແບບ serialized ຈາກເຄື່ອງແມ່ຂ່າຍ DeepPavlov:

   python -m deeppavlov download ner_ontonotes_bert_mult
   

   ອົງ​ປະ​ກອບ serialized ຈະ​ໄດ້​ຮັບ​ການ​ດາວ​ໂຫຼດ​ກັບ DeepPavlov home directory​, ເຊິ່ງ​ແມ່ນ​ຕັ້ງ​ຢູ່​ໃນ​ຕອນ​ຕົ້ນ​

   ~/.deeppavlov

   ເມື່ອດາວໂຫລດ, hash ຂອງອົງປະກອບທີ່ດາວໂຫຼດແລ້ວຈະຖືກກວດສອບຕໍ່ກັບ hashes ຂອງອົງປະກອບທີ່ຢູ່ໃນເຄື່ອງແມ່ຂ່າຍ. ຖ້າ​ຫາກ​ວ່າ​ມີ​ການ​ແຂ່ງ​ຂັນ​, ການ​ດາວ​ໂຫຼດ​ແມ່ນ​ຂ້າມ​ແລະ​ໄຟລ​໌​ທີ່​ມີ​ຢູ່​ໄດ້​ຖືກ​ນໍາ​ໃຊ້​. ຂະຫນາດຂອງອົງປະກອບທີ່ດາວໂຫລດສາມາດແຕກຕ່າງກັນໂດຍສະເລ່ຍຈາກ 0.5 ຫາ 8 Gb, ໃນບາງກໍລະນີເຖິງ 20 Gb ຫຼັງຈາກ unzipping.

3. ພວກເຮົາເປີດຕົວເຊີບເວີ REST ດ້ວຍຮູບແບບ:

   python -m deeppavlov riseapi ner_ontonotes_bert_mult -p 5005
   

ເປັນຜົນມາຈາກການປະຕິບັດຄໍາສັ່ງນີ້, ເຄື່ອງແມ່ຂ່າຍ REST ທີ່ມີຮູບແບບຈະເປີດຕົວໃນພອດ 5005 ຂອງເຄື່ອງໂຮດ (ພອດເລີ່ມຕົ້ນແມ່ນ 5000).

ຫຼັງຈາກເລີ່ມຕົ້ນຮູບແບບ, Swagger ກັບເອກະສານ API ແລະຄວາມສາມາດໃນການທົດສອບສາມາດພົບໄດ້ທີ່ URL http://127.0.0.1:5005. ໃຫ້ທົດສອບຕົວແບບໂດຍການສົ່ງມັນໄປຫາຈຸດສິ້ນສຸດ http://127.0.0.1:5005/model ໂພສຄຳຮ້ອງຂໍດ້ວຍເນື້ອຫາ JSON ຕໍ່ໄປນີ້:

{
  "x": [
    "В МФТИ можно добраться на электричке с Савёловского Вокзала.",
    "В юго-западной Руси стог жита оценен в 15 гривен"
  ]
}

ໃນການຕອບສະຫນອງພວກເຮົາຄວນຈະໄດ້ຮັບ JSON ຕໍ່ໄປນີ້:

[
  [
    ["В", "МФТИ", "можно", "добраться", "на", "электричке", "с", "Савёловского", "Вокзала", "."],
    ["O", "B-FAC", "O", "O", "O", "O", "O", "B-FAC", "I-FAC", "O"]
  ],
  [
    ["В", "юго", "-", "западной", "Руси", "стог", "жита", "оценен", "в", "15", "гривен"],
    ["O", "B-LOC", "I-LOC", "I-LOC", "I-LOC", "O", "O", "O", "O", "B-MONEY", "I-MONEY"]
  ]
]

ການນໍາໃຊ້ຕົວຢ່າງເຫຼົ່ານີ້, ພວກເຮົາຈະວິເຄາະ DeepPavlov REST API.

API DeepPavlov

ແຕ່ລະຕົວແບບ DeepPavlov ມີການໂຕ້ຖຽງການປ້ອນຂໍ້ມູນຢ່າງໜ້ອຍໜຶ່ງອັນ. ໃນ REST API, arguments ຖືກຕັ້ງຊື່, ຊື່ຂອງພວກເຂົາແມ່ນກະແຈຂອງວັດຈະນານຸກົມທີ່ເຂົ້າມາ. ໃນກໍລະນີຫຼາຍທີ່ສຸດ, ການໂຕ້ຖຽງແມ່ນຂໍ້ຄວາມທີ່ຕ້ອງໄດ້ຮັບການປຸງແຕ່ງ. ຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບການໂຕ້ຖຽງແລະຄ່າທີ່ສົ່ງຄືນໂດຍຕົວແບບສາມາດພົບໄດ້ຢູ່ໃນພາກ MODELS ຂອງເອກະສານ DeepPavlov

ໃນຕົວຢ່າງ, ບັນຊີລາຍຊື່ຂອງສອງສາຍຖືກສົ່ງໄປຫາ argument x, ແຕ່ລະອັນໄດ້ຖືກມອບຫມາຍແຍກຕ່າງຫາກ. ໃນ DeepPavlov, ຮູບແບບທັງຫມົດໃຊ້ເວລາເປັນ input ບັນຊີລາຍຊື່ (batch) ຂອງມູນຄ່າທີ່ຖືກປຸງແຕ່ງເປັນເອກະລາດ.

ຄໍາວ່າ "batch" ຫມາຍເຖິງພາກສະຫນາມຂອງການຮຽນຮູ້ເຄື່ອງຈັກແລະຫມາຍເຖິງ batch ຂອງມູນຄ່າ input ເອກະລາດປະມວນຜົນໂດຍ algorithm ຫຼື neural network ພ້ອມກັນ. ວິທີການນີ້ຊ່ວຍໃຫ້ທ່ານສາມາດຫຼຸດຜ່ອນ (ເລື້ອຍໆຢ່າງຫຼວງຫຼາຍ) ເວລາທີ່ຮູບແບບປະມວນຜົນອົງປະກອບຫນຶ່ງຂອງ batch ທຽບກັບມູນຄ່າດຽວກັນທີ່ສົ່ງກັບວັດສະດຸປ້ອນແຍກຕ່າງຫາກ. ແຕ່ຜົນໄດ້ຮັບການປຸງແຕ່ງແມ່ນອອກພຽງແຕ່ຫຼັງຈາກອົງປະກອບທັງຫມົດໄດ້ຮັບການປຸງແຕ່ງ. ດັ່ງນັ້ນ, ເມື່ອສ້າງ batch ຂາເຂົ້າ, ມັນຈໍາເປັນຕ້ອງຄໍານຶງເຖິງຄວາມໄວຂອງຕົວແບບແລະເວລາການປຸງແຕ່ງທີ່ຕ້ອງການສໍາລັບແຕ່ລະອົງປະກອບຂອງມັນ.

ຖ້າມີການໂຕ້ຖຽງຫຼາຍກັບແບບຈໍາລອງ DeepPavlov, ແຕ່ລະຄົນໄດ້ຮັບມູນຄ່າຂອງຕົນເອງ, ແລະໃນຜົນໄດ້ຮັບ, ຮູບແບບຈະຜະລິດຄໍາຕອບຫນຶ່ງຊຸດ. ອົງປະກອບຂອງ batch ຂາອອກແມ່ນຜົນຂອງການປຸງແຕ່ງອົງປະກອບຂອງ batch ຂາເຂົ້າທີ່ມີດັດຊະນີດຽວກັນ.

ໃນຕົວຢ່າງຂ້າງເທິງ, ຜົນໄດ້ຮັບຂອງຕົວແບບແມ່ນເພື່ອທໍາລາຍແຕ່ລະສາຍເຂົ້າໄປໃນ tokens (ຄໍາສັບຕ່າງໆແລະເຄື່ອງຫມາຍວັກຕອນ) ແລະຈັດປະເພດ token ທີ່ກ່ຽວຂ້ອງກັບຫນ່ວຍງານທີ່ມີຊື່ (ຊື່ອົງການຈັດຕັ້ງ, ສະກຸນເງິນ) ທີ່ມັນເປັນຕົວແທນ. ໃນປັດຈຸບັນຮູບແບບ ner_ontonotes_bert_mult ມີຄວາມສາມາດໃນການຮັບຮູ້ 18 ປະເພດຂອງຫນ່ວຍງານທີ່ມີຊື່, ຄໍາອະທິບາຍລາຍລະອຽດສາມາດພົບໄດ້ ທີ່ນີ້.

ຮູບແບບນອກລະບົບອື່ນໆໂດຍ DeepPavlov

ນອກເໜືອໄປຈາກ NER, ຮູບແບບນອກລະບົບຕໍ່ໄປນີ້ແມ່ນມີຢູ່ໃນ DeepPavlov ໃນເວລາຂຽນ:

ຂໍ້ຄວາມຕອບຄໍາຖາມ

ຕອບຄໍາຖາມກັບຂໍ້ຄວາມທີ່ມີຊິ້ນສ່ວນຂອງຂໍ້ຄວາມນີ້. ການຕັ້ງຄ່າຕົວແບບ: squad_ru_bert_infer

ຄຳຮ້ອງຂໍຕົວຢ່າງ:

{
  "context_raw": [
    "DeepPavlov разрабатывается лабораторией МФТИ.",
    "В юго-западной Руси стог жита оценен в 15 гривен."
  ],
  "question_raw": [
    "Кем разрабатывается DeepPavlov?",
    "Сколько стоил стог жита на Руси?"
  ]
}

ຜົນໄດ້ຮັບ:

[
  ["лабораторией МФТИ", 27, 31042.484375],
  ["15 гривен", 39, 1049.598876953125]
]

ການກວດຫາການດູຖູກ

ການກວດສອບການປະກົດຕົວຂອງ insult ກັບບຸກຄົນທີ່ຂໍ້ຄວາມຖືກແກ້ໄຂ (ໃນເວລາຂຽນ - ພຽງແຕ່ສໍາລັບພາສາອັງກິດ). ການຕັ້ງຄ່າຕົວແບບ: insults_kaggle_conv_bert

ຄຳຮ້ອງຂໍຕົວຢ່າງ:

{
  "x": [
    "Money talks, bullshit walks.",
    "You are not the brightest one."
  ]
}

ຜົນໄດ້ຮັບ:

[
  ["Not Insult"],
  ["Insult"]
]

ການວິເຄາະຄວາມຮູ້ສຶກ

ການຈັດປະເພດຂອງຄວາມຮູ້ສຶກຂອງຂໍ້ຄວາມ (ໃນທາງບວກ, ເປັນກາງ, ລົບ). ການຕັ້ງຄ່າຕົວແບບ: rusentiment_elmo_twitter_cnn

ຄຳຮ້ອງຂໍຕົວຢ່າງ:

{
  "x": [
    "Мне нравится библиотека DeepPavlov.",
    "Я слышал о библиотеке DeepPavlov.",
    "Меня бесят тролли и анонимусы."
  ]
}

ຜົນໄດ້ຮັບ:

[
  ["positive"],
  ["neutral"],
  ["negative"]
]

ການກວດຫາຄຳຫຍໍ້

ການກໍານົດວ່າສອງບົດເລື່ອງທີ່ແຕກຕ່າງກັນມີຄວາມຫມາຍດຽວກັນ. ການຕັ້ງຄ່າຕົວແບບ: stand_paraphraser_en

ຮ້ອງຂໍ:

{
  "text_a": [
    "Город погружается в сон, просыпается Мафия.",
    "Президент США пригрозил расторжением договора с Германией."
  ],
  "text_b": [
    "Наступает ночь, все жители города пошли спать, а преступники проснулись.",
    "Германия не собирается поддаваться угрозам со стороны США."
  ]
}

ຜົນໄດ້ຮັບ:

[
  [1],
  [0]
]

ບັນຊີລາຍຊື່ໃນປະຈຸບັນຂອງຮູບແບບ DeepPavlov ທີ່ບໍ່ມີຢູ່ໃນປ່ອງທັງຫມົດສາມາດພົບໄດ້ສະເຫມີ ທີ່ນີ້.

ສະຫລຸບ

ໃນບົດຄວາມນີ້, ພວກເຮົາໄດ້ຮູ້ຈັກກັບ DeepPavlov API ແລະບາງຄວາມສາມາດປະມວນຜົນຂໍ້ຄວາມຂອງຫ້ອງສະຫມຸດສະຫນອງໃຫ້ອອກຈາກກ່ອງ. ຄວນຈື່ໄວ້ວ່າສໍາລັບວຽກງານ NLP ໃດກໍ່ຕາມ, ຜົນໄດ້ຮັບທີ່ດີທີ່ສຸດຈະບັນລຸໄດ້ໃນເວລາທີ່ການຝຶກອົບຮົມແບບຈໍາລອງກ່ຽວກັບຊຸດຂໍ້ມູນທີ່ສອດຄ່ອງກັບຫົວຂໍ້ (ໂດເມນ) ຂອງວຽກງານ. ນອກຈາກນັ້ນ, ໃນຫຼັກການ, ຕົວແບບຫຼາຍແມ່ນບໍ່ສາມາດຝຶກອົບຮົມສໍາລັບທຸກສະຖານະການ.

ໃນບົດຄວາມຕໍ່ໄປນີ້ພວກເຮົາຈະເບິ່ງການຕັ້ງຄ່າເພີ່ມເຕີມຂອງຫ້ອງສະຫມຸດ, ການເປີດຕົວ DeepPavlov ຈາກ Docker, ແລະຫຼັງຈາກນັ້ນພວກເຮົາຈະກ້າວໄປສູ່ຮູບແບບການຝຶກອົບຮົມ. ແລະຢ່າລືມວ່າ DeepPavlov ມີ ການສົນທະນາ - ຖາມ​ຄໍາ​ຖາມ​ຂອງ​ທ່ານ​ກ່ຽວ​ກັບ​ຫ້ອງ​ສະ​ຫມຸດ​ແລະ​ຕົວ​ແບບ​. ຂອບໃຈສໍາລັບຄວາມສົນໃຈຂອງທ່ານ!

ແຫຼ່ງຂໍ້ມູນ: www.habr.com