વિકાસકર્તાઓ માટે ડીપપાવલોવ: #1 NLP ટૂલ્સ અને ચેટબોટ બનાવટ

કેમ છો બધા! અમે નેચરલ લેંગ્વેજ પ્રોસેસિંગ (નેચરલ લેંગ્વેજ પ્રોસેસિંગ અથવા ફક્ત NLP) અને ઓપન-સોર્સ લાઇબ્રેરીનો ઉપયોગ કરીને ડાયલોગ એજન્ટ્સ (ચેટબોટ્સ) બનાવવા માટે સમર્પિત લેખોની શ્રેણી ખોલી રહ્યા છીએ. દીપપાવલોવ, જે ન્યુરલ સિસ્ટમ્સ અને ડીપ લર્નિંગની MIPT લેબોરેટરીમાં અમારી ટીમ દ્વારા વિકસાવવામાં આવી રહી છે. શ્રેણીનો મુખ્ય ધ્યેય દીપપાવલોવનો વિકાસકર્તાઓની વિશાળ શ્રેણી સાથે પરિચય કરાવવાનો છે અને તમે મશીન લર્નિંગ અને ગણિતમાં પીએચડીમાં ઊંડી જાણકારી વિના લાગુ NLP સમસ્યાઓને કેવી રીતે હલ કરી શકો છો તે બતાવવાનું છે.

NLP કાર્યોમાં ટેક્સ્ટની ભાવના નક્કી કરવી, નામવાળી સંસ્થાઓનું પદચ્છેદન કરવું, તમારા બૉટમાંથી ઇન્ટરલોક્યુટર શું ઇચ્છે છે તે નક્કી કરવું: પિઝા ઓર્ડર કરો અથવા પૃષ્ઠભૂમિ માહિતી મેળવો અને ઘણું બધું. તમે NLP કાર્યો અને પદ્ધતિઓ વિશે વધુ વાંચી શકો છો અહીં.

આ લેખમાં, અમે તમને બતાવીશું કે પૂર્વ-પ્રશિક્ષિત NLP મોડલ્સ સાથે REST સર્વર કેવી રીતે ચલાવવું, કોઈપણ વધારાના રૂપરેખાંકન અથવા તાલીમ વિના ઉપયોગ કરવા માટે તૈયાર છે.

ડીપપાવલોવની સ્થાપના

અહીં અને નીચે, Linux માટેની સૂચનાઓ આપવામાં આવશે. વિન્ડોઝ માટે, અમારી જુઓ દસ્તાવેજીકરણ

• Python ના વર્તમાન સમર્થિત સંસ્કરણ સાથે વર્ચ્યુઅલ પર્યાવરણ બનાવો અને સક્રિય કરો:

  virtualelnv env -p python3.7
  source env/bin/activate

• ડીપપાવલોવને વર્ચ્યુઅલ વાતાવરણમાં ઇન્સ્ટોલ કરો:

  pip install deeppavlov
  

DeepPavlov મોડલ સાથે REST સર્વર લોંચ કરી રહ્યા છીએ

આપણે સૌપ્રથમ વખત ડીપપાવલોવ મોડેલ સાથે સર્વર લોંચ કરીએ તે પહેલાં, પુસ્તકાલયના આર્કિટેક્ચરની કેટલીક વિશેષતાઓ વિશે વાત કરવી ઉપયોગી થશે.

DP માં કોઈપણ મોડેલમાં નીચેનાનો સમાવેશ થાય છે:

• પાયથોન કોડ;
• ડાઉનલોડ કરી શકાય તેવા ઘટકો - ચોક્કસ ડેટા પર શ્રેણીબદ્ધ તાલીમ પરિણામો (એમ્બેડિંગ્સ, ન્યુરલ નેટવર્કનું વજન, વગેરે);
• રૂપરેખાંકન ફાઇલ (ત્યારબાદ રૂપરેખા તરીકે ઓળખવામાં આવે છે), જેમાં મોડેલ દ્વારા ઉપયોગમાં લેવાતા વર્ગો, ડાઉનલોડ કરેલ ઘટકોના URL, પાયથોન અવલંબન વગેરે વિશેની માહિતી હોય છે.

અમે તમને નીચેના લેખોમાં દીપપાવલોવના હૂડ હેઠળ શું છે તે વિશે વધુ જણાવીશું, હવે અમારા માટે તે જાણવું પૂરતું છે:

• ડીપપાવલોવમાં કોઈપણ મોડેલ તેની રૂપરેખાના નામથી ઓળખાય છે;
• મોડેલ ચલાવવા માટે, તમારે ડીપપાવલોવ સર્વર્સમાંથી તેના ઘટકો ડાઉનલોડ કરવાની જરૂર છે;
• ઉપરાંત, મોડેલ ચલાવવા માટે, તમારે પાયથોન લાઇબ્રેરીઓ ઇન્સ્ટોલ કરવાની જરૂર છે જેનો તે ઉપયોગ કરે છે.

અમે જે પ્રથમ મોડલ લોન્ચ કરીશું તે બહુભાષી નેમ્ડ એન્ટિટી રેકગ્નિશન (NER) હશે. મૉડલ લખાણ શબ્દોનું વર્ગીકરણ કરે છે તે નામવાળી સંસ્થાઓના પ્રકાર અનુસાર તેઓ જેની સાથે સંબંધ ધરાવે છે (યોગ્ય નામો, ભૌગોલિક નામો, ચલણના નામો અને અન્ય). NER ના વર્તમાન સૌથી તાજેતરના સંસ્કરણ માટે રૂપરેખા નામ:

ner_ontonotes_bert_mult

અમે મોડેલ સાથે REST સર્વર લોન્ચ કરીએ છીએ:

1. અમે તેની રૂપરેખામાં ઉલ્લેખિત મોડેલ નિર્ભરતાને સક્રિય વર્ચ્યુઅલ પર્યાવરણમાં ઇન્સ્ટોલ કરીએ છીએ:

   python -m deeppavlov install ner_ontonotes_bert_mult
   

2. ડીપપાવલોવ સર્વર્સમાંથી શ્રેણીબદ્ધ મોડેલ ઘટકો ડાઉનલોડ કરો:

   python -m deeppavlov download ner_ontonotes_bert_mult
   

   સીરીયલાઇઝ્ડ ઘટકો ડીપપાવલોવ હોમ ડિરેક્ટરીમાં ડાઉનલોડ કરવામાં આવશે, જે મૂળભૂત રીતે સ્થિત છે.

   ~/.deeppavlov

   ડાઉનલોડ કરતી વખતે, પહેલાથી ડાઉનલોડ કરેલ ઘટકોની હેશ સર્વર પર સ્થિત ઘટકોની હેશ સામે તપાસવામાં આવે છે. જો કોઈ મેચ હોય, તો ડાઉનલોડ છોડવામાં આવે છે અને હાલની ફાઇલોનો ઉપયોગ કરવામાં આવે છે. ડાઉનલોડ કરેલ ઘટકોના કદ સરેરાશ 0.5 થી 8 Gb સુધી બદલાઈ શકે છે, કેટલાક કિસ્સાઓમાં અનઝિપ કર્યા પછી 20 Gb સુધી પહોંચે છે.

3. અમે મોડેલ સાથે REST સર્વર લોન્ચ કરીએ છીએ:

   python -m deeppavlov riseapi ner_ontonotes_bert_mult -p 5005
   

આ આદેશનો અમલ કરવાના પરિણામે, હોસ્ટ મશીનના પોર્ટ 5005 પર મોડલ સાથેનું REST સર્વર લોન્ચ કરવામાં આવશે (ડિફોલ્ટ પોર્ટ 5000 છે).

મોડલ શરૂ કર્યા પછી, API દસ્તાવેજીકરણ સાથે સ્વેગર અને પરીક્ષણ કરવાની ક્ષમતા URL પર મળી શકે છે http://127.0.0.1:5005. ચાલો મોડેલને અંતિમ બિંદુ પર મોકલીને તેનું પરીક્ષણ કરીએ http://127.0.0.1:5005/model નીચેની JSON સામગ્રી સાથે પોસ્ટ વિનંતી:

{
  "x": [
    "В МФТИ можно добраться на электричке с Савёловского Вокзала.",
    "В юго-западной Руси стог жита оценен в 15 гривен"
  ]
}

જવાબમાં અમને નીચેનો JSON પ્રાપ્ત થવો જોઈએ:

[
  [
    ["В", "МФТИ", "можно", "добраться", "на", "электричке", "с", "Савёловского", "Вокзала", "."],
    ["O", "B-FAC", "O", "O", "O", "O", "O", "B-FAC", "I-FAC", "O"]
  ],
  [
    ["В", "юго", "-", "западной", "Руси", "стог", "жита", "оценен", "в", "15", "гривен"],
    ["O", "B-LOC", "I-LOC", "I-LOC", "I-LOC", "O", "O", "O", "O", "B-MONEY", "I-MONEY"]
  ]
]

આ ઉદાહરણોનો ઉપયોગ કરીને, અમે DeepPavlov REST API નું વિશ્લેષણ કરીશું.

API DeepPavlov

દરેક ડીપપાવલોવ મોડેલમાં ઓછામાં ઓછી એક ઇનપુટ દલીલ હોય છે. REST API માં, દલીલોને નામ આપવામાં આવ્યું છે, તેમના નામ આવનારા શબ્દકોશની ચાવીઓ છે. મોટા ભાગના કિસ્સાઓમાં, દલીલ એ ટેક્સ્ટ છે જેની પ્રક્રિયા કરવાની જરૂર છે. મોડેલો દ્વારા પરત કરાયેલ દલીલો અને મૂલ્યો વિશે વધુ માહિતી દસ્તાવેજીકરણના MODELS વિભાગમાં મળી શકે છે. દીપપાવલોવ

ઉદાહરણમાં, દલીલ x માટે બે સ્ટ્રિંગ્સની સૂચિ પસાર કરવામાં આવી હતી, જેમાંથી દરેકને અલગ માર્કઅપ આપવામાં આવ્યું હતું. ડીપપાવલોવમાં, તમામ મોડેલો સ્વતંત્ર રીતે પ્રક્રિયા કરાયેલ મૂલ્યોની સૂચિ (બેચ) ઇનપુટ તરીકે લે છે.

શબ્દ "બેચ" એ મશીન લર્નિંગના ક્ષેત્રનો સંદર્ભ આપે છે અને એક સાથે અલ્ગોરિધમ અથવા ન્યુરલ નેટવર્ક દ્વારા પ્રક્રિયા કરાયેલ સ્વતંત્ર ઇનપુટ મૂલ્યોના બેચનો સંદર્ભ આપે છે. આ અભિગમ તમને ઇનપુટને અલગથી પસાર કરેલ સમાન મૂલ્યની તુલનામાં મોડેલ બેચના એક ઘટક પર પ્રક્રિયા કરે છે તે સમય (ઘણી વખત નોંધપાત્ર રીતે) ઘટાડવાની મંજૂરી આપે છે. પરંતુ તમામ ઘટકો પર પ્રક્રિયા કર્યા પછી જ પ્રક્રિયા પરિણામ જારી કરવામાં આવે છે. તેથી, ઇનકમિંગ બેચ જનરેટ કરતી વખતે, મોડેલની ગતિ અને તેના દરેક વ્યક્તિગત ઘટકો માટે જરૂરી પ્રક્રિયા સમય ધ્યાનમાં લેવો જરૂરી રહેશે.

જો ડીપપાવલોવ મોડેલ માટે ઘણી દલીલો હોય, તો તેમાંથી દરેકને તેના પોતાના મૂલ્યોની બેચ પ્રાપ્ત થાય છે, અને આઉટપુટ પર મોડેલ હંમેશા જવાબોની એક બેચ ઉત્પન્ન કરે છે. આઉટગોઇંગ બેચના તત્વો એ સમાન ઇન્ડેક્સ સાથે આવનારા બેચના તત્વોની પ્રક્રિયાના પરિણામો છે.

ઉપરોક્ત ઉદાહરણમાં, મોડેલનું પરિણામ દરેક સ્ટ્રિંગને ટોકન્સ (શબ્દો અને વિરામચિહ્નો) માં વિભાજીત કરવાનું હતું અને તે રજૂ કરે છે તે નામવાળી એન્ટિટી (સંસ્થાનું નામ, ચલણ) સંબંધિત ટોકનનું વર્ગીકરણ કરવાનું હતું. હાલમાં મોડેલ ner_ontonotes_bert_mult 18 પ્રકારની નામાંકિત સંસ્થાઓને ઓળખવામાં સક્ષમ, વિગતવાર વર્ણન મળી શકે છે અહીં.

દીપપાવલોવ દ્વારા અન્ય આઉટ-ઓફ-ધ-બોક્સ મોડલ્સ

NER ઉપરાંત, નીચેના આઉટ-ઓફ-ધ-બોક્સ મોડેલો લખવાના સમયે ડીપપાવલોવમાં ઉપલબ્ધ છે:

ટેક્સ્ટ પ્રશ્નનો જવાબ

આ ટેક્સ્ટના ટુકડા સાથે ટેક્સ્ટના પ્રશ્નનો જવાબ આપો. મોડલ રૂપરેખા: squad_ru_bert_infer

ઉદાહરણ વિનંતી:

{
  "context_raw": [
    "DeepPavlov разрабатывается лабораторией МФТИ.",
    "В юго-западной Руси стог жита оценен в 15 гривен."
  ],
  "question_raw": [
    "Кем разрабатывается DeepPavlov?",
    "Сколько стоил стог жита на Руси?"
  ]
}

પરિણામ:

[
  ["лабораторией МФТИ", 27, 31042.484375],
  ["15 гривен", 39, 1049.598876953125]
]

અપમાન શોધ

જે વ્યક્તિને ટેક્સ્ટ સંબોધવામાં આવે છે તેના અપમાનની હાજરીની તપાસ (લેખતી વખતે - ફક્ત અંગ્રેજી માટે). મોડલ રૂપરેખા: insults_kaggle_conv_bert

ઉદાહરણ વિનંતી:

{
  "x": [
    "Money talks, bullshit walks.",
    "You are not the brightest one."
  ]
}

પરિણામ:

[
  ["Not Insult"],
  ["Insult"]
]

સેન્ટિમેન્ટ એનાલિસિસ

ટેક્સ્ટ સેન્ટિમેન્ટનું વર્ગીકરણ (સકારાત્મક, તટસ્થ, નકારાત્મક). મોડલ રૂપરેખા: rusentiment_elmo_twitter_cnn

ઉદાહરણ વિનંતી:

{
  "x": [
    "Мне нравится библиотека DeepPavlov.",
    "Я слышал о библиотеке DeepPavlov.",
    "Меня бесят тролли и анонимусы."
  ]
}

પરિણામ:

[
  ["positive"],
  ["neutral"],
  ["negative"]
]

પેરાફ્રેઝ ડિટેક્શન

બે અલગ અલગ ગ્રંથોનો સમાન અર્થ છે કે કેમ તે નક્કી કરવું. મોડલ રૂપરેખા: stand_paraphraser_en

વિનંતી:

{
  "text_a": [
    "Город погружается в сон, просыпается Мафия.",
    "Президент США пригрозил расторжением договора с Германией."
  ],
  "text_b": [
    "Наступает ночь, все жители города пошли спать, а преступники проснулись.",
    "Германия не собирается поддаваться угрозам со стороны США."
  ]
}

પરિણામ:

[
  [1],
  [0]
]

તમામ આઉટ-ઓફ-ધ-બોક્સ ડીપપાવલોવ મોડલ્સની વર્તમાન સૂચિ હંમેશા મળી શકે છે અહીં.

નિષ્કર્ષ

આ લેખમાં, અમે ડીપપાવલોવ API અને લાઇબ્રેરીની કેટલીક ટેક્સ્ટ પ્રોસેસિંગ ક્ષમતાઓથી પરિચિત થયા છીએ જે બૉક્સની બહાર પ્રદાન કરવામાં આવી છે. તે ધ્યાનમાં રાખવું જોઈએ કે કોઈપણ NLP કાર્ય માટે, કાર્યના વિષય વિસ્તાર (ડોમેન) ને અનુરૂપ ડેટા સેટ પર મોડેલને તાલીમ આપતી વખતે શ્રેષ્ઠ પરિણામ પ્રાપ્ત થશે. વધુમાં, વધુ મોડેલો, સૈદ્ધાંતિક રીતે, બધી પરિસ્થિતિઓ માટે પ્રશિક્ષિત થઈ શકતા નથી.

નીચેના લેખોમાં આપણે લાઇબ્રેરીની વધારાની સેટિંગ્સ જોઈશું, ડોકરથી ડીપપાવલોવ લોન્ચ કરીશું, અને પછી અમે પ્રશિક્ષણ મોડલ્સ પર આગળ વધીશું. અને ભૂલશો નહીં કે દીપપાવલોવ પાસે છે ફોરમ - લાઇબ્રેરી અને મોડલ સંબંધિત તમારા પ્રશ્નો પૂછો. તમારા ધ્યાન બદલ આભાર!

સોર્સ: www.habr.com