डेव्हलपरसाठी दीपपाव्हलोव्ह: #1 NLP टूल्स आणि चॅटबॉट निर्मिती

सर्वांना नमस्कार! आम्ही नैसर्गिक भाषा प्रक्रियेशी संबंधित व्यावहारिक समस्यांचे निराकरण करण्यासाठी समर्पित लेखांची मालिका उघडत आहोत (नॅचरल लँग्वेज प्रोसेसिंग किंवा फक्त NLP) आणि ओपन-सोर्स लायब्ररी वापरून डायलॉग एजंट (चॅटबॉट्स) तयार करणे. दीपपाव्हलोव्ह, जे आमच्या टीमद्वारे न्यूरल सिस्टम्स आणि डीप लर्निंगच्या एमआयपीटी प्रयोगशाळेत विकसित केले जात आहे. दीपपाव्हलोव्हची विस्तृत श्रेणीतील विकासकांशी ओळख करून देणे आणि मशीन लर्निंग आणि गणितातील पीएचडी या विषयात सखोल ज्ञान नसताना तुम्ही लागू केलेल्या NLP समस्या कशा सोडवू शकता हे दाखवून देणे हे या मालिकेचे मुख्य ध्येय आहे.

NLP कार्यांमध्ये मजकूराची भावना निश्चित करणे, नामित घटकांचे विश्लेषण करणे, इंटरलोक्यूटरला तुमच्या बॉटकडून काय हवे आहे हे निर्धारित करणे समाविष्ट आहे: पिझ्झा ऑर्डर करा किंवा पार्श्वभूमी माहिती मिळवा आणि बरेच काही. तुम्ही NLP कार्ये आणि पद्धतींबद्दल अधिक वाचू शकता येथे.

या लेखात, आम्ही तुम्हाला पूर्व-प्रशिक्षित NLP मॉडेल्ससह REST सर्व्हर कसा चालवायचा ते दाखवू, कोणत्याही अतिरिक्त कॉन्फिगरेशन किंवा प्रशिक्षणाशिवाय वापरण्यासाठी तयार.

दीपपाव्हलोव्हची स्थापना

येथे आणि खाली, लिनक्ससाठी सूचना दिल्या जातील. विंडोजसाठी, आमचे पहा दस्तऐवजीकरण

• Python च्या वर्तमान समर्थित आवृत्तीसह आभासी वातावरण तयार करा आणि सक्रिय करा:

  virtualelnv env -p python3.7
  source env/bin/activate

• व्हर्च्युअल वातावरणात DeepPavlov स्थापित करा:

  pip install deeppavlov
  

DeepPavlov मॉडेलसह REST सर्व्हर लाँच करत आहे

आम्ही प्रथमच डीपपाव्हलोव्ह मॉडेलसह सर्व्हर लॉन्च करण्यापूर्वी, लायब्ररीच्या आर्किटेक्चरच्या काही वैशिष्ट्यांबद्दल बोलणे उपयुक्त ठरेल.

DP मधील कोणत्याही मॉडेलमध्ये हे समाविष्ट असते:

• पायथन कोड;
• डाउनलोड करण्यायोग्य घटक - विशिष्ट डेटावर अनुक्रमित प्रशिक्षण परिणाम (एम्बेडिंग, न्यूरल नेटवर्कचे वजन इ.);
• कॉन्फिगरेशन फाइल (यापुढे कॉन्फिगरेशन म्हणून संदर्भित), ज्यामध्ये मॉडेलद्वारे वापरल्या जाणार्‍या वर्गांची माहिती, डाउनलोड केलेल्या घटकांचे URL, पायथन अवलंबित्व इ.

पुढील लेखांमध्ये दीपपाव्हलोव्हच्या हुडखाली काय आहे याबद्दल आम्ही तुम्हाला अधिक सांगू, आत्ता आमच्यासाठी हे जाणून घेणे पुरेसे आहे:

• DeepPavlov मधील कोणतेही मॉडेल त्याच्या कॉन्फिगरेशनच्या नावाने ओळखले जाते;
• मॉडेल चालविण्यासाठी, आपल्याला डीपपाव्हलोव्ह सर्व्हरवरून त्याचे घटक डाउनलोड करणे आवश्यक आहे;
• तसेच, मॉडेल चालविण्यासाठी, तुम्हाला ते वापरत असलेल्या पायथन लायब्ररी स्थापित करणे आवश्यक आहे.

पहिले मॉडेल आम्ही लॉन्च करणार आहोत ते बहुभाषिक नेम्ड एंटिटी रिकग्निशन (NER) असेल. मॉडेल मजकूर शब्दांचे वर्गीकरण करते ज्या नावाच्या संस्थांशी ते संबंधित आहेत (योग्य नावे, भौगोलिक नावे, चलनांची नावे आणि इतर). NER च्या सध्याच्या सर्वात अलीकडील आवृत्तीसाठी कॉन्फिगचे नाव:

ner_ontonotes_bert_mult

आम्ही मॉडेलसह REST सर्व्हर लाँच करतो:

1. आम्ही त्याच्या कॉन्फिगरेशनमध्ये निर्दिष्ट केलेले मॉडेल अवलंबन सक्रिय आभासी वातावरणात स्थापित करतो:

   python -m deeppavlov install ner_ontonotes_bert_mult
   

2. DeepPavlov सर्व्हरवरून अनुक्रमित मॉडेल घटक डाउनलोड करा:

   python -m deeppavlov download ner_ontonotes_bert_mult
   

   सीरियलाइज्ड घटक डीफॉल्टनुसार स्थित असलेल्या DeepPavlov होम डिरेक्टरीमध्ये डाउनलोड केले जातील.

   ~/.deeppavlov

   डाउनलोड करताना, आधीपासून डाउनलोड केलेल्या घटकांचा हॅश सर्व्हरवर असलेल्या घटकांच्या हॅशच्या विरूद्ध तपासला जातो. जुळत असल्यास, डाउनलोड वगळले जाते आणि विद्यमान फायली वापरल्या जातात. डाउनलोड केलेल्या घटकांचे आकार सरासरी 0.5 ते 8 Gb पर्यंत बदलू शकतात, काही प्रकरणांमध्ये अनझिप केल्यानंतर 20 Gb पर्यंत पोहोचतात.

3. आम्ही मॉडेलसह REST सर्व्हर लाँच करतो:

   python -m deeppavlov riseapi ner_ontonotes_bert_mult -p 5005
   

हा आदेश कार्यान्वित केल्यामुळे, होस्ट मशीनच्या पोर्ट 5005 वर मॉडेलसह REST सर्व्हर लॉन्च केला जाईल (डीफॉल्ट पोर्ट 5000 आहे).

मॉडेल सुरू केल्यानंतर, API दस्तऐवजीकरणासह स्वॅगर आणि चाचणी करण्याची क्षमता URL वर आढळू शकते http://127.0.0.1:5005. अंतिम बिंदूवर पाठवून मॉडेलची चाचणी करूया http://127.0.0.1:5005/model खालील JSON सामग्रीसह विनंती पोस्ट करा:

{
  "x": [
    "В МФТИ можно добраться на электричке с Савёловского Вокзала.",
    "В юго-западной Руси стог жита оценен в 15 гривен"
  ]
}

प्रतिसादात आम्हाला खालील JSON प्राप्त झाले पाहिजे:

[
  [
    ["В", "МФТИ", "можно", "добраться", "на", "электричке", "с", "Савёловского", "Вокзала", "."],
    ["O", "B-FAC", "O", "O", "O", "O", "O", "B-FAC", "I-FAC", "O"]
  ],
  [
    ["В", "юго", "-", "западной", "Руси", "стог", "жита", "оценен", "в", "15", "гривен"],
    ["O", "B-LOC", "I-LOC", "I-LOC", "I-LOC", "O", "O", "O", "O", "B-MONEY", "I-MONEY"]
  ]
]

ही उदाहरणे वापरून, आम्ही DeepPavlov REST API चे विश्लेषण करू.

API DeepPavlov

प्रत्येक दीपपाव्हलोव्ह मॉडेलमध्ये किमान एक इनपुट युक्तिवाद असतो. REST API मध्ये, वितर्कांना नाव दिले जाते, त्यांची नावे इनकमिंग डिक्शनरीची की असतात. बहुतेक प्रकरणांमध्ये, युक्तिवाद हा मजकूर असतो ज्यावर प्रक्रिया करणे आवश्यक आहे. मॉडेल्सद्वारे परत केलेले युक्तिवाद आणि मूल्यांबद्दल अधिक माहिती दस्तऐवजीकरणाच्या MODELS विभागात आढळू शकते दीपपाव्हलोव्ह

उदाहरणामध्ये, दोन स्ट्रिंग्सची सूची वितर्क x मध्ये पास केली गेली होती, ज्यापैकी प्रत्येकाला स्वतंत्र मार्कअप देण्यात आला होता. DeepPavlov मध्ये, सर्व मॉडेल स्वतंत्रपणे प्रक्रिया केलेल्या मूल्यांची यादी (बॅच) इनपुट म्हणून घेतात.

"बॅच" हा शब्द मशीन लर्निंगच्या क्षेत्रास सूचित करतो आणि एकाच वेळी अल्गोरिदम किंवा न्यूरल नेटवर्कद्वारे प्रक्रिया केलेल्या स्वतंत्र इनपुट मूल्यांच्या बॅचचा संदर्भ देतो. हा दृष्टिकोन तुम्हाला इनपुटला दिलेल्या समान मूल्याच्या तुलनेत मॉडेलने बॅचच्या एका घटकावर प्रक्रिया करण्याचा वेळ (बहुतेकदा लक्षणीय) कमी करण्यास अनुमती देतो. परंतु सर्व घटकांवर प्रक्रिया केल्यानंतरच प्रक्रिया परिणाम जारी केला जातो. म्हणून, इनकमिंग बॅच तयार करताना, मॉडेलची गती आणि त्याच्या प्रत्येक घटकासाठी आवश्यक प्रक्रिया वेळ विचारात घेणे आवश्यक आहे.

दीपपाव्हलोव्ह मॉडेलमध्ये अनेक युक्तिवाद असल्यास, त्यापैकी प्रत्येकाला स्वतःचे मूल्य प्राप्त होते आणि आउटपुटवर मॉडेल नेहमी उत्तरांची एक बॅच तयार करते. आउटगोइंग बॅचचे घटक समान निर्देशांकासह येणार्‍या बॅचच्या घटकांवर प्रक्रिया करण्याचे परिणाम आहेत.

वरील उदाहरणामध्ये, मॉडेलचा परिणाम म्हणजे प्रत्येक स्ट्रिंग टोकन्समध्ये (शब्द आणि विरामचिन्हे) तोडणे आणि टोकनचे ते प्रतिनिधित्व करत असलेल्या नामित घटकाशी संबंधित (संस्थेचे नाव, चलन) वर्गीकरण करणे. सध्या मॉडेल ner_ontonotes_bert_mult 18 प्रकारच्या नामांकित संस्था ओळखण्यास सक्षम, तपशीलवार वर्णन आढळू शकते येथे.

DeepPavlov चे इतर आउट-ऑफ-द-बॉक्स मॉडेल

NER व्यतिरिक्त, खालील आउट-ऑफ-द-बॉक्स मॉडेल्स लिहिण्याच्या वेळी DeepPavlov मध्ये उपलब्ध आहेत:

मजकूर प्रश्नाचे उत्तर

या मजकुराच्या एका तुकड्यासह मजकूराच्या प्रश्नाचे उत्तर द्या. मॉडेल कॉन्फिगरेशन: squad_ru_bert_infer

उदाहरण विनंती:

{
  "context_raw": [
    "DeepPavlov разрабатывается лабораторией МФТИ.",
    "В юго-западной Руси стог жита оценен в 15 гривен."
  ],
  "question_raw": [
    "Кем разрабатывается DeepPavlov?",
    "Сколько стоил стог жита на Руси?"
  ]
}

निकाल:

[
  ["лабораторией МФТИ", 27, 31042.484375],
  ["15 гривен", 39, 1049.598876953125]
]

अपमान शोध

ज्या व्यक्तीला मजकूर संबोधित केला आहे त्याच्या अपमानाची उपस्थिती ओळखणे (लेखनाच्या वेळी - फक्त इंग्रजीसाठी). मॉडेल कॉन्फिगरेशन: insults_kaggle_conv_bert

उदाहरण विनंती:

{
  "x": [
    "Money talks, bullshit walks.",
    "You are not the brightest one."
  ]
}

निकाल:

[
  ["Not Insult"],
  ["Insult"]
]

संवेदना विश्लेषण

मजकूर भावनांचे वर्गीकरण (सकारात्मक, तटस्थ, नकारात्मक). मॉडेल कॉन्फिगरेशन: rusentiment_elmo_twitter_cnn

उदाहरण विनंती:

{
  "x": [
    "Мне нравится библиотека DeepPavlov.",
    "Я слышал о библиотеке DeepPavlov.",
    "Меня бесят тролли и анонимусы."
  ]
}

निकाल:

[
  ["positive"],
  ["neutral"],
  ["negative"]
]

पॅराफ्रेज डिटेक्शन

दोन भिन्न ग्रंथांचा एकच अर्थ आहे की नाही हे निर्धारित करणे. मॉडेल कॉन्फिगरेशन: stand_paraphraser_en

विनंती:

{
  "text_a": [
    "Город погружается в сон, просыпается Мафия.",
    "Президент США пригрозил расторжением договора с Германией."
  ],
  "text_b": [
    "Наступает ночь, все жители города пошли спать, а преступники проснулись.",
    "Германия не собирается поддаваться угрозам со стороны США."
  ]
}

निकाल:

[
  [1],
  [0]
]

सर्व आउट-ऑफ-द-बॉक्स DeepPavlov मॉडेल्सची वर्तमान यादी नेहमी आढळू शकते येथे.

निष्कर्ष

या लेखात, आम्ही DeepPavlov API आणि लायब्ररीच्या काही मजकूर प्रक्रिया क्षमतांशी परिचित झालो. हे लक्षात घेतले पाहिजे की कोणत्याही NLP कार्यासाठी, कार्याच्या विषय क्षेत्राशी (डोमेन) संबंधित डेटा सेटवर मॉडेलला प्रशिक्षण देताना सर्वोत्तम परिणाम प्राप्त केला जाईल. याव्यतिरिक्त, आणखी मॉडेल, तत्त्वतः, सर्व परिस्थितींसाठी प्रशिक्षित केले जाऊ शकत नाहीत.

पुढील लेखांमध्ये आपण लायब्ररीच्या अतिरिक्त सेटिंग्ज पाहू, डॉकरमधून दीपपाव्हलोव्ह लाँच करू आणि त्यानंतर आपण प्रशिक्षण मॉडेल्सकडे जाऊ. आणि दीपपाव्हलोव्हकडे आहे हे विसरू नका मंच - लायब्ररी आणि मॉडेल्सबद्दल तुमचे प्रश्न विचारा. आपण लक्ष दिल्याबद्दल धन्यवाद!

स्त्रोत: www.habr.com