विकासकर्ताहरूको लागि DeepPavlov: #1 NLP उपकरण र च्याटबट सिर्जना

नमस्ते सबै! हामी प्राकृतिक भाषा प्रशोधन (प्राकृतिक भाषा प्रशोधन वा केवल NLP) सम्बन्धी व्यावहारिक समस्याहरू समाधान गर्न र खुला स्रोत पुस्तकालय प्रयोग गरेर संवाद एजेन्टहरू (च्याटबटहरू) सिर्जना गर्न समर्पित लेखहरूको श्रृंखला खोल्दैछौं। दीपपाभलोभ, जुन हाम्रो टोलीद्वारा न्यूरल सिस्टम्स र डीप लर्निङको MIPT प्रयोगशालामा विकसित भइरहेको छ। शृङ्खलाको मुख्य लक्ष्य दीपपाभलोभलाई विकासकर्ताहरूको एक विस्तृत श्रृंखलामा परिचय गराउनु हो र तपाइँ कसरी मेसिन लर्निङ र गणितमा पीएचडीमा गहिरो ज्ञान बिना लागू NLP समस्याहरू समाधान गर्न सक्नुहुन्छ भनेर देखाउनु हो।

NLP कार्यहरूमा पाठको भावना निर्धारण गर्ने, नाम गरिएका संस्थाहरूलाई पार्स गर्ने, अन्तर्वार्ताकर्ताले तपाईंको बोटबाट के चाहन्छन् भन्ने निर्धारण गर्ने: पिज्जा अर्डर गर्ने वा पृष्ठभूमि जानकारी प्राप्त गर्ने, र थप कुराहरू समावेश छन्। तपाईं NLP कार्यहरू र विधिहरू बारे थप पढ्न सक्नुहुन्छ यहाँ.

यस लेखमा, हामी तपाईंलाई पूर्व-प्रशिक्षित NLP मोडेलहरूको साथ कसरी REST सर्भर चलाउने भनेर देखाउनेछौं, कुनै अतिरिक्त कन्फिगरेसन वा प्रशिक्षण बिना प्रयोग गर्न तयार छ।

DeepPavlov को स्थापना

यहाँ र तल, लिनक्सका लागि निर्देशनहरू दिइनेछ। विन्डोजको लागि, हाम्रो हेर्नुहोस् कागजात

• पाइथनको हालको समर्थित संस्करणको साथ भर्चुअल वातावरण सिर्जना र सक्रिय गर्नुहोस्:

  virtualelnv env -p python3.7
  source env/bin/activate

• भर्चुअल वातावरणमा DeepPavlov स्थापना गर्नुहोस्:

  pip install deeppavlov
  

DeepPavlov मोडेलको साथ REST सर्भर सुरु गर्दै

हामीले पहिलो पटक DeepPavlov मोडेलको साथ सर्भर सुरु गर्नु अघि, यो पुस्तकालयको वास्तुकलाका केही सुविधाहरूको बारेमा कुरा गर्न उपयोगी हुनेछ।

DP मा कुनै पनि मोडेल समावेश छ:

• पाइथन कोड;
• डाउनलोड गर्न मिल्ने कम्पोनेन्टहरू - विशिष्ट डेटामा क्रमबद्ध प्रशिक्षण परिणामहरू (इम्बेडिङहरू, न्यूरल नेटवर्कहरूको वजन, आदि);
• एउटा कन्फिगरेसन फाइल (यसपछि कन्फिगरेसन भनिन्छ), जसमा मोडेलद्वारा प्रयोग गरिएका वर्गहरू, डाउनलोड गरिएका कम्पोनेन्टहरूको URL, पाइथन निर्भरताहरू, आदि बारे जानकारी समावेश हुन्छ।

हामी तपाईंलाई निम्न लेखहरूमा DeepPavlov को हुड अन्तर्गत के छ भन्ने बारे थप बताउनेछौं, अहिलेको लागि यो जान्न पर्याप्त छ:

• DeepPavlov मा कुनै पनि मोडेल यसको कन्फिगरेसन को नाम द्वारा पहिचान गरिएको छ;
• मोडेल चलाउनको लागि, तपाईंले DeepPavlov सर्भरबाट यसको कम्पोनेन्टहरू डाउनलोड गर्न आवश्यक छ;
• साथै, मोडेल चलाउनको लागि, तपाईंले यसलाई प्रयोग गर्ने पाइथन लाइब्रेरीहरू स्थापना गर्न आवश्यक छ।

हामीले लन्च गर्ने पहिलो मोडल बहुभाषिक नामित संस्था पहिचान (NER) हुनेछ। मोडेलले पाठ शब्दहरूलाई तिनीहरूसँग सम्बन्धित नामहरू (उचित नामहरू, भौगोलिक नामहरू, मुद्राहरूको नामहरू, र अन्य) को प्रकार अनुसार वर्गीकरण गर्दछ। NER को हालको सबैभन्दा भर्खरको संस्करणको लागि कन्फिग नाम:

ner_ontonotes_bert_mult

हामी मोडेलको साथ REST सर्भर सुरु गर्छौं:

1. हामी सक्रिय भर्चुअल वातावरणमा यसको कन्फिगरेसनमा निर्दिष्ट मोडेल निर्भरताहरू स्थापना गर्छौं:

   python -m deeppavlov install ner_ontonotes_bert_mult
   

2. DeepPavlov सर्भरबाट क्रमबद्ध मोडेल कम्पोनेन्टहरू डाउनलोड गर्नुहोस्:

   python -m deeppavlov download ner_ontonotes_bert_mult
   

   क्रमबद्ध कम्पोनेन्टहरू DeepPavlov गृह निर्देशिकामा डाउनलोड गरिनेछ, जुन पूर्वनिर्धारित रूपमा अवस्थित छ।

   ~/.deeppavlov

   डाउनलोड गर्दा, पहिले नै डाउनलोड गरिएका घटकहरूको ह्यास सर्भरमा अवस्थित कम्पोनेन्टहरूको ह्यासहरू विरुद्ध जाँच गरिन्छ। यदि त्यहाँ एक मिल्दो छ भने, डाउनलोड छोडिन्छ र अवस्थित फाइलहरू प्रयोग गरिन्छ। डाउनलोड गरिएका कम्पोनेन्टहरूको साइज औसतमा ०.५ देखि ८ जीबीसम्म फरक हुन सक्छ, केही अवस्थामा अनजिप गरेपछि २० जीबीसम्म पुग्छ।

3. हामी मोडेलको साथ REST सर्भर सुरु गर्छौं:

   python -m deeppavlov riseapi ner_ontonotes_bert_mult -p 5005
   

यो आदेश कार्यान्वयन गर्ने परिणामको रूपमा, होस्ट मेसिनको पोर्ट 5005 मा मोडेलको साथ REST सर्भर सुरु हुनेछ (पूर्वनिर्धारित पोर्ट 5000 हो)।

मोडेल प्रारम्भ गरेपछि, API कागजात र परीक्षण गर्ने क्षमताको साथ स्वेगर URL मा फेला पार्न सकिन्छ http://127.0.0.1:5005। मोडेललाई अन्तिम बिन्दुमा पठाएर परीक्षण गरौं http://127.0.0.1:5005/model निम्न JSON सामग्रीको साथ अनुरोध पोस्ट गर्नुहोस्:

{
  "x": [
    "В МФТИ можно добраться на электричке с Савёловского Вокзала.",
    "В юго-западной Руси стог жита оценен в 15 гривен"
  ]
}

प्रतिक्रियामा हामीले निम्न JSON प्राप्त गर्नुपर्छ:

[
  [
    ["В", "МФТИ", "можно", "добраться", "на", "электричке", "с", "Савёловского", "Вокзала", "."],
    ["O", "B-FAC", "O", "O", "O", "O", "O", "B-FAC", "I-FAC", "O"]
  ],
  [
    ["В", "юго", "-", "западной", "Руси", "стог", "жита", "оценен", "в", "15", "гривен"],
    ["O", "B-LOC", "I-LOC", "I-LOC", "I-LOC", "O", "O", "O", "O", "B-MONEY", "I-MONEY"]
  ]
]

यी उदाहरणहरू प्रयोग गरेर, हामी DeepPavlov REST API को विश्लेषण गर्नेछौं।

API DeepPavlov

प्रत्येक DeepPavlov मोडेलमा कम्तिमा एउटा इनपुट तर्क छ। REST API मा, तर्कहरूलाई नाम दिइएको छ, तिनीहरूको नाम आगमन शब्दकोशको कुञ्जीहरू हुन्। धेरैजसो अवस्थामा, तर्क भनेको प्रशोधन गर्नुपर्ने पाठ हो। मोडेलहरूद्वारा फिर्ता गरिएका तर्कहरू र मानहरूको बारेमा थप जानकारी कागजातको MODELS खण्डमा फेला पार्न सकिन्छ। दीपपाभलोभ

उदाहरणमा, तर्क x मा दुई स्ट्रिङहरूको सूची पास गरिएको थियो, जसमध्ये प्रत्येकलाई छुट्टै मार्कअप दिइएको थियो। DeepPavlov मा, सबै मोडेलहरूले स्वतन्त्र रूपमा प्रशोधन गरिएका मानहरूको सूची (ब्याच) इनपुटको रूपमा लिन्छन्।

"ब्याच" शब्दले मेसिन लर्निङको क्षेत्रलाई जनाउँछ र एल्गोरिथ्म वा न्यूरल नेटवर्कद्वारा एकैसाथ प्रशोधन गरिएको स्वतन्त्र इनपुट मानहरूको ब्याचलाई जनाउँछ। यो दृष्टिकोणले तपाईंलाई फरक रूपमा इनपुटमा पास गरेको समान मानको तुलनामा मोडेलले ब्याचको एउटा तत्वलाई प्रशोधन गर्ने समय (प्रायः महत्त्वपूर्ण रूपमा) घटाउन अनुमति दिन्छ। तर सबै तत्वहरू प्रशोधन गरिसकेपछि मात्र प्रशोधन परिणाम जारी गरिन्छ। तसर्थ, आगमन ब्याच उत्पन्न गर्दा, मोडेलको गति र यसको प्रत्येक व्यक्तिगत तत्वहरूको लागि आवश्यक प्रशोधन समयलाई ध्यानमा राख्न आवश्यक हुनेछ।

यदि DeepPavlov मोडेलमा धेरै तर्कहरू छन् भने, तिनीहरूमध्ये प्रत्येकले मानहरूको आफ्नै ब्याच प्राप्त गर्दछ, र आउटपुटमा मोडेलले सधैं जवाफहरूको एक ब्याच उत्पादन गर्दछ। बाहिर जाने ब्याचका तत्वहरू समान अनुक्रमणिकाको साथ आगमन ब्याचका तत्वहरूलाई प्रशोधन गर्ने परिणामहरू हुन्।

माथिको उदाहरणमा, मोडेलको नतिजा प्रत्येक स्ट्रिङलाई टोकनहरू (शब्दहरू र विराम चिन्हहरू) मा विभाजन गर्न र यसले प्रतिनिधित्व गर्ने नामित संस्था (संस्थाको नाम, मुद्रा) सापेक्ष टोकन वर्गीकरण गर्नु थियो। हाल मोडल ner_ontonotes_bert_mult 18 प्रकारका नामित संस्थाहरू पहिचान गर्न सक्षम, विस्तृत विवरण पाउन सकिन्छ यहाँ.

DeepPavlov द्वारा अन्य आउट-अफ-द-बक्स मोडेलहरू

NER को अतिरिक्त, निम्न आउट-अफ-द-बक्स मोडेलहरू लेख्ने समयमा DeepPavlov मा उपलब्ध छन्:

पाठ प्रश्नको उत्तर

यस पाठको टुक्राको साथ पाठको प्रश्नको जवाफ दिनुहोस्। मोडेल कन्फिगरेसन: squad_ru_bert_infer

अनुरोध उदाहरण:

{
  "context_raw": [
    "DeepPavlov разрабатывается лабораторией МФТИ.",
    "В юго-западной Руси стог жита оценен в 15 гривен."
  ],
  "question_raw": [
    "Кем разрабатывается DeepPavlov?",
    "Сколько стоил стог жита на Руси?"
  ]
}

परिणाम:

[
  ["лабораторией МФТИ", 27, 31042.484375],
  ["15 гривен", 39, 1049.598876953125]
]

अपमान पत्ता लगाउने

व्यक्तिलाई अपमानको उपस्थिति पत्ता लगाउने जसलाई पाठलाई सम्बोधन गरिएको छ (लेख्ने समयमा - अंग्रेजीको लागि मात्र)। मोडेल कन्फिगरेसन: insults_kaggle_conv_bert

अनुरोध उदाहरण:

{
  "x": [
    "Money talks, bullshit walks.",
    "You are not the brightest one."
  ]
}

परिणाम:

[
  ["Not Insult"],
  ["Insult"]
]

सेन्मेन्ट विश्लेषण

पाठ भावना को वर्गीकरण (सकारात्मक, तटस्थ, नकारात्मक)। मोडेल कन्फिगरेसन: rusentiment_elmo_twitter_cnn

अनुरोध उदाहरण:

{
  "x": [
    "Мне нравится библиотека DeepPavlov.",
    "Я слышал о библиотеке DeepPavlov.",
    "Меня бесят тролли и анонимусы."
  ]
}

परिणाम:

[
  ["positive"],
  ["neutral"],
  ["negative"]
]

पैराफ्रेज पत्ता लगाउने

दुई फरक पाठको एउटै अर्थ छ कि छैन भनेर निर्धारण गर्दै। मोडेल कन्फिगरेसन: stand_paraphraser_en

अनुरोध:

{
  "text_a": [
    "Город погружается в сон, просыпается Мафия.",
    "Президент США пригрозил расторжением договора с Германией."
  ],
  "text_b": [
    "Наступает ночь, все жители города пошли спать, а преступники проснулись.",
    "Германия не собирается поддаваться угрозам со стороны США."
  ]
}

परिणाम:

[
  [1],
  [0]
]

सबै आउट-अफ-द-बक्स DeepPavlov मोडेलहरूको हालको सूची सधैं फेला पार्न सकिन्छ यहाँ.

निष्कर्षमा

यस लेखमा, हामीले DeepPavlov API र बक्स बाहिर प्रदान गरिएको पुस्तकालयको केही पाठ प्रशोधन क्षमताहरूसँग परिचित भयौं। यो ध्यानमा राख्नु पर्छ कि कुनै पनि NLP कार्यको लागि, कार्यको विषय क्षेत्र (डोमेन) सँग सम्बन्धित डेटा सेटमा मोडेललाई तालिम दिंदा उत्तम परिणाम प्राप्त हुनेछ। थप रूपमा, अझ धेरै मोडेलहरू, सिद्धान्तमा, सबै परिस्थितिहरूको लागि प्रशिक्षित हुन सक्दैन।

निम्न लेखहरूमा हामी पुस्तकालयको अतिरिक्त सेटिङहरू हेर्नेछौं, डकरबाट DeepPavlov सुरु गर्दै, र त्यसपछि हामी प्रशिक्षण मोडेलहरूमा जान्छौं। र नबिर्सनुहोस् कि DeepPavlov छ फोरम - पुस्तकालय र मोडेल बारे आफ्नो प्रश्न सोध्नुहोस्। तपाईको ध्यानाकर्सनको लागि धन्यवाद!

स्रोत: www.habr.com