DeepPavlov för utvecklare: #1 verktyg för NLP och skapande av chattbotar

Hej alla! Vi inleder en serie artiklar som handlar om att lösa praktiska problem kopplade till bearbetning av naturligt språk (Natural Language Processing eller bara NLP) och skapandet av dialogagenter (chatbots) med hjälp av ett open-source bibliotek DeepPavlov, som utvecklas av vårt team vid laboratoriet för neurala system och djupinlärning på MIPT. Huvudmålet med serien är att introducera en bred krets av utvecklare till DeepPavlov och visa hur man kan lösa tillämpade NLP-uppgifter utan att ha djupa kunskaper inom maskininlärning och en doktorsexamen i matematik.

Till NLP-uppgifter hör att bestämma textens ton, parsning av namngivna entiteter, att fastställa vad din bots samtalspartner vill: beställa pizza eller få information, och mycket mer. Mer detaljerad information om uppgifter och metoder inom NLP kan du läsa ). Ett typiskt exempel på användning:.

I denna artikel kommer vi att berätta hur man startar en REST-server med förtränade NLP-modeller som är redo att användas utan någon ytterligare konfiguration eller utbildning.

Installation av DeepPavlov

Här och framöver kommer instruktioner för Linux att ges. För Windows, se vår dokumentationen

• Skapa och aktivera en virtuell miljö med den aktuella stödda versionen av Python:

  virtualenv env -p python3.7
  source env/bin/activate

• Installera DeepPavlov i den virtuella miljön:

  pip install deeppavlov
  

Starta REST-servern med DeepPavlov-modellen

Innan vi kör servern med DeepPavlov-modellen för första gången är det bra att nämna några funktioner i bibliotekets arkitektur.

Varje modell i DP består av:

• Kod i Python;
• Nedladdningsbara komponenter – serialiserade träningsresultat på specifika data (embeddingar, vikter för neurala nätverk osv.);
• En konfigurationsfil (hädanefter kallad konfig), som innehåller information om de klasser som modellen använder, URL:er för nedladdade komponenter, Python-beroenden och annat.

Mer information om vad som döljer sig bakom DeepPavlov kommer vi att ge i kommande artiklar, än så länge räcker det att veta att:

• Varje modell i DeepPavlov identifieras med namnet på sin konfig;
• För att köra modellen måste dess komponenter hämtas från DeepPavlovs servrar;
• Dessutom måste de bibliotek som modellen använder installeras.

Den första modellen som vi kommer att lansera är en flerspråkig Named Entity Recognition (NER). Modellen klassificerar orden i texten baserat på typen av namngivna entiteter de tillhör (namn på personer, geografiska platser, valutanamn och andra). Namnet på konfigurationen för den senaste versionen av NER:

ner_ontonotes_bert_mult

Vi startar REST-servern med modellen:

1. Vi installerar beroenden för modellen i den aktiva virtuella miljön som anges i dess konfiguration:

   python -m deeppavlov install ner_ontonotes_bert_mult
   

2. Vi laddar ner de serialiserade komponenterna av modellen från DeepPavlov-servrarna:

   python -m deeppavlov download ner_ontonotes_bert_mult
   

   De serialiserade komponenterna kommer att laddas ner till DeepPavlovs hemkatalog, som som standard ligger på

   ~/.deeppavlov

   När man laddar ner jämförs hashkoden för redan nedladdade komponenter med hashkoderna för komponenter som finns på servern. Om de matchar, hoppar vi över nedladdningen och använder redan existerande filer. Storleken på de nedladdade komponenterna kan variera mellan 0.5 och 8 GB, och i vissa fall kan de efter uppackning nå upp till 20 GB.

3. Vi startar REST-servern med modellen:

   python -m deeppavlov riseapi ner_ontonotes_bert_mult -p 5005
   

Som ett resultat av att denna kommando körs så kommer en REST-server med modellen att startas på port 5005 på värdmaskinen (standardporten är 5000).

Efter att modellen har initierats kan Swagger med API-dokumentation och testmöjligheter hittas via URL http://127.0.0.1:5005. Vi testar modellen genom att skicka en begäran till slutpunkten http://127.0.0.1:5005/model en POST-begäran med följande JSON-innehåll:

{
  "x": [
    "I MFTI kan man ta sig dit med pendeltåg från Savyolovsky Station.",
    "I sydvästra Ryssland värderas en halmstack till 15 hryvnias"
  ]
}

Som svar bör vi få följande JSON:

[
  [
    ["I", "MFTI", "kan", "man", "ta", "sig", "dit", "med", "pendeltåg", "från", "Savyolovsky", "Station", "."],
    ["O", "B-FAC", "O", "O", "O", "O", "O", "B-FAC", "I-FAC", "O"]
  ],
  [
    ["I", "sydvästra", "-", "Ryssland", "värderas", "en", "halmstack", "till", "15", "hryvnias"],
    ["O", "B-LOC", "I-LOC", "I-LOC", "I-LOC", "O", "O", "O", "O", "B-MONEY", "I-MONEY"]
  ]
]

Genom dessa exempel kommer vi att gå igenom REST API för DeepPavlov.

API för DeepPavlov

Varje DeepPavlov-modell har minst ett ingående argument. I REST API är argumenten namngivna och deras namn är nycklarna i den ingående ordboken. I de flesta fall är argumentet texten som behöver bearbetas. Mer om argumenten och de värden som modellerna returnerar kan man läsa i avsnittet MODELS i dokumentationen. DeepPavlov

I exemplet skickades en lista med två strängar som argument x, och varje sträng gavs en separat layout. I DeepPavlov tar alla modeller emot en lista (batch) av värden som behandlas oberoende.

Termen "batch" hänvisar till området för maskininlärning och avser ett paket av oberoende ingående värden som behandlas av algoritmen eller neurala nätverket samtidigt. Denna metod gör det möjligt att minska (ofta avsevärt) behandlingstiden för enstaka element i batchen jämfört med samma värde som skickas in separat. Men resultatet av behandlingen ges först efter att alla element har behandlats. Därför måste hastigheten på modellens arbete och den tid som krävs för att bearbeta varje enskilt element beaktas vid bildandet av den ingående batchen.

Om DeepPavlov-modellen har flera argument, skickas varje argument en egen batch av värden, och modellen ger alltid en batch av svar som utdata. Elementen i den utgående batchen är resultatet av bearbetningen av elementen i de ingående batcherna med samma index.

I det angivna exemplet var resultatet av modellens arbete uppdelningen av varje sträng i tokens (ord och interpunktion) och klassificeringen av token i förhållande till den namngivna entiteten (organisationsnamn, valuta) som den representerar. För närvarande kan modellen ner_ontonotes_bert_mult känna igen 18 typer av namngivna entiteter, detaljerad beskrivning finns att hitta ). Ett typiskt exempel på användning:.

Andra out-of-the-box-modeller från DeepPavlov

Förutom NER är följande out-of-the-box-modeller från DeepPavlov tillgängliga vid tidpunkten för artikelns skrivande:

Text Question Answering

Svar på en fråga från texten med en del av denna text. Modellkonfiguration: squad_ru_bert_infer

Exempel på begäran:

{
  "context_raw": [
    "DeepPavlov utvecklas av MIPTs laboratorium.",
    "I sydvästra Ryssland bedömdes en hö av vete till 15 hryvnias."
  ],
  "question_raw": [
    "Vem utvecklar DeepPavlov?",
    "Hur mycket kostade högen av vete i Ryssland?"
  ]
}

Resultatet:

[
  ["MIPTs laboratorium", 27, 31042.484375],
  ["15 hryvnias", 39, 1049.598876953125]
]

Insult Detection

Identifiering av förekomsten av förolämpning riktad mot den person vars text avses (vid tidpunkten för artikelns skrivande — endast för engelska). Modellkonfiguration: insults_kaggle_conv_bert

Exempel på begäran:

{
  "x": [
    "Money talks, bullshit walks.",
    "You are not the brightest one."
  ]
}

Resultatet:

[
  ["Not Insult"],
  ["Insult"]
]

Sentiment Analysis

Klassificering av textens ton (positiv, neutral, negativ). Modellkonfiguration: rusentiment_elmo_twitter_cnn

Exempel på begäran:

{
  "x": [
    "Jag gillar biblioteket DeepPavlov.",
    "Jag har hört talas om biblioteket DeepPavlov.",
    "Jag stör mig på troll och anonymus."
  ]
}

Resultatet:

[
  ["positiv"],
  ["neutral"],
  ["negativ"]
]

Parafrasering Detektion

Att avgöra om två olika texter har samma betydelse. Modellkonfiguration: stand_paraphraser_ru

Förfrågan:

{
  "text_a": [
    "Staden faller i sömn, Maffian vaknar.",
    "USA:s president hotade att säga upp avtalet med Tyskland."
  ],
  "text_b": [
    "Natten faller, alla invånare i staden har gått till sängs, och brottslingarna har vaknat.",
    "Tyskland har ingen avsikt att ge efter för hot från USA."
  ]
}

Resultatet:

[
  [1],
  [0]
]

Den aktuella listan över alla out-of-the-box modeller från DeepPavlov går alltid att hitta här.

Slutsats

I denna artikel har vi bekantat oss med API:et för DeepPavlov och vissa funktioner för textbehandling som erbjuds "out-of-the-box". Det är viktigt att ha i åtanke att för varje NLP-uppgift kommer bästa resultat att uppnås genom att träna en modell på en datamängd som motsvarar ämnesområdet för uppgiften. Dessutom går det i princip inte att träna fler modeller för alla möjliga scenarier.

I kommande artiklar kommer vi att granska ytterligare inställningar av biblioteket, köra DeepPavlov från Docker, och sedan gå vidare till att träna modeller. Och kom ihåg att DeepPavlov har forum – ställ dina frågor angående biblioteket och modeller. Tack för din uppmärksamhet!

Källa: habr.com