DeepPavlov arendajatele: #1 NLP ja vestlusrobotite loomise tööriistad

Tere kõigile! Alustame artiklite seeriat, mis on pühendatud praktiliste ülesannete lahendamisele, mis on seotud loomuliku keele töötlemisega (Natural Language Processing või lihtsalt NLP) ja dialoogagentide (vestlusrobotite) loomisega avatud lähtekoodiga raamatukogu abil DeepPavlov, mille arendamisega tegeleb meie MFTI närvisüsteemide ja süvaõppe labori meeskond. Seeria peamine eesmärk on tutvustada laiemale arendajate ringile DeepPavlovit ja näidata, kuidas saab lahendada praktilisi NLP ülesandeid, omamata seejuures sügavaid teadmisi masinõppest ja matemaatika doktorikraadist.

NLP ülesannete hulka kuuluvad teksti tooni määramine, nimetatud entiteetide parsimine, määramine, mida tahab teie robotist vestluspartner: tellida pitsat või saada teavet ja palju muud. Täiendavalt NLP ülesannete ja meetodite kohta saate lugeda siit.

Selles artiklis räägime, kuidas käivitada REST-server eelõppinud NLP mudelitega, mis on valmis kasutamiseks ilma igasuguse täiendava seadistuse või koolituseta.

DeepPavlovi installatsioon

Allpool on antud juhised Linuxi jaoks. Windowsi jaoks vaadake meie dokumentatsioon

• Looge ja aktiveerige virtuaalne keskkond hetkel toetatud Python versiooniga:

  virtualenv env -p python3.7
  source env/bin/activate

• Installige DeepPavlov virtuaalsesse keskkonda:

  pip install deeppavlov
  

DeepPavlovi mudeli REST-serveri käivitamine

Enne, kui käivitame esmakordselt serveri DeepPavlovi mudeliga, oleks kasulik rääkida mõningatest raamatukogu arhitektuuri eripära.

Iga mudel DP-s koosneb järgmistest osadest:

• Pythonis kirjutatud kood;
• Allalaadimistest komponentidest — seriaalsetest õppimistulemustest konkreetsetest andmetest (embeddingud, närvivõrkude kaalu jne);
• Konfiguratsioonifailist (edaspidi — konfigureerimisfail), milles on teave mudelis kasutatavate klasside, allalaadimise komponentide URL-ide, Python sõltuvuste ja muu kohta.

Selle kohta, mis toimub DeepPavlovi all, räägime järgmistes artiklites; praegu piisab meile teada, et:

• Iga mudel DeepPavlovis identifitseeritakse oma konfiguratsiooni nimega;
• Mudeli käivitamiseks on vaja alla laadida selle komponendid DeepPavlovi serveritest;
• Samuti on mudeli käitamiseks vajalik installida kasutatavad Python raamatukogud.

Esimene mudel, mida käivitame, on mitmekeelne nimetuste tuvastamise mudel (NER). Mudel klassifitseerib sõnad teksti järgi nimetu seose tüüpide kaupa, kuhu nad kuuluvad (isikunimed, geograafilised nimed, valuutanimed jne). Konfiguratsiooni nimi praeguse versiooni NER jaoks:

ner_ontonotes_bert_mult

Käivitame REST serveri mudeliga:

1. Installeerime aktiivsesse virtuaalsesse keskkonda mudeli sõltuvused, mis on näidatud tema konfigureerimises:

   python -m deeppavlov install ner_ontonotes_bert_mult
   

2. Laeme mudeli serialiseeritud komponendid DeepPavlovi serveritest:

   python -m deeppavlov download ner_ontonotes_bert_mult
   

   Serialiseeritud komponendid laetakse DeepPavlovi kodukausta, mis vaikimisi asub

   ~/.deeppavlov

   Laadimise ajal kontrollitakse, et allalaaditud komponentide hash vastaks serveris olevate komponentide hash'ile. Kui hash'id kattuvad, siis allalaadimist ei toimu ja kasutatakse juba olemasolevaid faile. Allalaaditavate komponentide suurused võivad varieeruda keskmiselt 0,5 kuni 8 Gb, mõnel juhul pärast välja pakkimist ulatudes 20 Gb.

3. Käivitame REST-serveri mudeliga:

   python -m deeppavlov riseapi ner_ontonotes_bert_mult -p 5005
   

Selle käsu täitmise tulemusena käivitatakse REST server mudeliga host-masina 5005. port (vaikimisi port on 5000).

Pärast mudeli initsialiseerimist leiate API dokumentatsiooniga Swaggeri, kus saate seda testida, URL-ilt http://127.0.0.1:5005. Testime mudelit, saates lõpp-punktile http://127.0.0.1:5005/model POST päringu järgmise JSON sisuga:

{
  "x": [
    "MFPIsse saab rongiga Savjolovski jaamast.",
    "Lõuna-läänes Venemaal hinnatakse heina virna 15 grivni"
  ]
}

Vastuseks peaksime saama järgmise JSON-i:

[
  [
    ["M", "MFPIsse", "saab", "rongiga", "Savjolovski", "jaamast", "."],
    ["O", "B-FAC", "O", "O", "O", "O", "O", "B-FAC", "I-FAC", "O"]
  ],
  [
    ["L", "lõuna", "-", "läänes", "Venemaal", "heina", "virna", "hinnatakse", "15", "grivni"],
    ["O", "B-LOC", "I-LOC", "I-LOC", "I-LOC", "O", "O", "O", "O", "B-MONEY", "I-MONEY"]
  ]
]

Nendel näidetel käsitleme REST API DeepPavlovi.

DeepPavlovi API

Iga DeepPavlovi mudelil on vähemalt üks sisendargument. REST API-s on argumendid nimetatud, nende nimed on sisenddicti võtmed. Enamasti on argument tekst, mida tuleb töödelda. Rohkem teavet argumentide ja mudelite tagastatavate väärtuste kohta leiate dokumentatsiooni rubriigist MODELS. DeepPavlov

Näites oli argumendiks x edastatud kahe rea loend, mille igaühele anti eraldi vormindus. DeepPavlovis aktsepteerivad kõik mudelid sisendiks loendi (partii) väärtusi, mida töödeldakse iseseisvalt.

Termin "partii" (batch) viitab masinõppe valdkonnale ja tähistab sõltumatute sisendite pakki, mida algoritm või närvivõrk töödeldakse samaaegselt. Selline lähenemine võimaldab tavaliselt vähendada töötlemisaja, mil üksiku partii element töödeldakse mudeli poolt, võrreldes sama väärtuse eraldiseisva sisendi töötlemisega. Kuid töötlemise tulemus antakse välja alles pärast kõigi elementide töötlemist. Seetõttu tuleb sisendi partii moodustamisel arvestada mudeli töökiirus ja iga eraldi elementi vajalik töötlemisaeg.

Kui DeepPavlovi mudelil on mitu argumenti, edastatakse igasse neist oma partii väärtusi, ja mudel väljastab alati ühe partii vastuseid. Väljundpartii elemendid on sisendpartiidest sama indeksiga elementide töötlemise tulemused.

Antud näites oli mudeli töö tulemus igal real tokenite (sõnad ja kirjavahemärgid) jagamine ja tokeni klassifitseerimine seoses nimetatud entiteediga (ettevõtte nimi, valuuta), mida see esindab. Praegu mudel ner_ontonotes_bert_mult on võimeline tuvastama 18 tüüpi nimetatud entiteete, mille üksikasjaliku kirjelduse leidmine on võimalik siit.

Muud DeepPavlovi välja töötatud mudelid out-of-the-box

Lisaks NER-ile on DeepPavlovis artikli kirjutamise hetkel saadaval järgmised out-of-the-box mudelid:

Teksti küsimustele vastamine

Küsimusele vastus antud teksti fragmendiga. Mudeli konfigureerimine: squad_ru_bert_infer

Päringu näide:

{
  "context_raw": [
    "DeepPavlovi arendab MFTI laboratoorium.",
    "Lõuna-Läänes hinnati heina kuhi 15 grivnat."
  ],
  "question_raw": [
    "Kes arendab DeepPavlovi?",
    "Kui palju maksis heina kuhi Venemaal?"
  ]
}

Tulemus:

[
  ["MFTI laboratooriumi", 27, 31042.484375],
  ["15 grivnat", 39, 1049.598876953125]
]

Solvangute tuvastamine

Isiku solvangute olemasolu tuvastamine, kellele tekst on suunatud (artikli kirjutamise hetkel — ainult inglise keeles). Mudeli konfigureerimine: insults_kaggle_conv_bert

Päringu näide:

{
  "x": [
    "Money talks, bullshit walks.",
    "You are not the brightest one."
  ]
}

Tulemus:

[
  ["Ei ole solvang"],
  ["Solvang"]
]

Meelsuse analüüs

Teksti meelsuse klassifitseerimine (positiivne, neutraalne, negatiivne). Mudeli konfigureerimine: rusentiment_elmo_twitter_cnn

Päringu näide:

{
  "x": [
    "Mulle meeldib DeepPavlovi teek.",
    "Olen kuulnud DeepPavlovi teegist.",
    "Mulle ei meeldi trollid ja anonüümsed."
  ]
}

Tulemus:

[
  ["positiivne"],
  ["neutraalne"],
  ["negatiivne"]
]

Parafraseerimise tuvastamine

Määramine, kas kahel erineval tekstil on sama tähendus. Mudeli konfiguratsioon: stand_paraphraser_ru

Päring:

{
  "text_a": [
    "Linn jääb unne, Mafia tõuseb igal hommikul.",
    "USA president on ähvardanud Saksamaa lepingut lõpetada."
  ],
  "text_b": [
    "Öö saabub, kõik linnaelanikud on magama läinud, kurjategijad on aga ärganud.",
    "Saksamaa ei kavatse USA ähvardustele alluda."
  ]
}

Tulemus:

[
  [1],
  [0]
]

Aktuaalne nimekiri kõigist eeldefineeritud DeepPavlovi mudelitest on alati saadaval. siin.

Kokkuvõte

Selles artiklis tutvustasime DeepPavlovi API-d ja mõningaid teegi tekstiprotsessimise võimalusi, mis on saadaval "kastist välja". T tuleks aga arvestada, et iga NLP ülesande puhul saavutatakse parim tulemus selle mudeli treenimisel andmekogul, mis vastab ülesande teema valdkonnale. Lisaks ei saa veelgi rohkem mudeleid olla treenitud kõigeks elu jaoks.

Järgnevates artiklites vaatame teegi lisaseadeid, DeepPavlovi käivitamist Dockeris ning seejärel liigume mudelite treenimise juurde. Ja ärge unustage, et DeepPavlov on a forum – esitage oma küsimusi seoses teegi ja mudelitega. Aitäh tähelepanu eest!

Allikas: habr.com