ProHoster > Блог > administratio > DeepPavlov pro developers: # I NLP instrumenta et chatbotus creationis

DeepPavlov pro developers: # I NLP instrumenta et chatbotus creationis

Hi omnes! Articulorum seriem aperimus quae ad problemata practica solvenda pertinentia ad processui linguae naturalis (Processus seu simpliciter NLP Lingua Naturalis) et agentibus alternis agentibus (chatbots) aperimus utentes bibliothecam fontalem apertam. DeepPavlov, quae a biga nostra ad MIPT Laboratorium Neural Systematum et Doctrinae Profundae augetur. Praecipuum seriei propositum est DeepPavlov in amplis tinctionibus introducere et ostendere quomodo problemata NLP applicata solvere possis sine alta scientia in Machina Learning et PhD in Mathematica.

NLP munera includunt sentientem textus, parsing entia nominata, quid interlocutor velit ex autocineto tuo: ordinem Etruscum vel curriculi informationem accipere, et multo magis. Plura de NLP operibus ac modis legere potes hic.

In hoc articulo, ostendemus tibi quomodo ad requiescam servientem concurrendum sit NLP exemplaribus praeordinatis, parata ad utendum sine ulla addita conformatione vel disciplina.

DeepPavlov pro developers: # I NLP instrumenta et chatbotus creationis

Institutionem DeepPavlov

Hic et infra, pro Linux dabuntur instructiones. Pro Fenestra, vide nostrum Litterarum

  • Facere et movere virtualis environment cum hodiernam sustinetur versionem Pythonis: 
    virtualelnv env -p python3.7
source env/bin/activate
  • Instrue DeepPavlov in ambitu virtuali: 
    pip install deeppavlov

Requiem immisso servo cum exemplar DeepPavlov

Antequam primum servo cum DeepPavlov deducimus, de nonnullis notis architecturae bibliothecae loqui utile erit.

Exemplar aliquod in DP constat:

  • Python codicem;
  • Partes downloadabiles - proventus ad certas notitias formandas serialized (embedings, pondera reticulorum neuralis, etc.);
  • Configurationis fasciculi (infra postea ad config referuntur), quae informationes continet de generibus adhibitorum exemplarium, inscriptionum partium receptarum, Pythonis clientium, etc.

De DeepPavlov in sequentibus articulis plura narrabimus, quae nunc nobis satis est scire.

  • Quodlibet exemplar in DeepPavlov nomine config notatur;
  • Exemplar currere, membra eius a DeepPavlov ministrantibus prehendere debes;
  • Etiam, ut exemplar curras, Python bibliothecas quibus utitur instituere debes.

Primum exemplar quod immittemus erit Entis Recognitio Multilinguale Nominata (NER). Exemplar verba textui indicat secundum rationem entium nominatarum ad quas pertinent (nomina propria, nomina geographica, nomina currencies et alia). Mando nomen pro recentissima versione NER hodiernae: 

ner_ontonotes_bert_mult

CETERA servo cum exemplari deprimimus:

  1. Exemplar clientelas definitas instituimus in config in ambitu virtuali activo: 
    python -m deeppavlov install ner_ontonotes_bert_mult
  2. Exemplar Download serialized components ab DeepPavlov servientibus: 
    python -m deeppavlov download ner_ontonotes_bert_mult

    Components serialized ad DeepPavlov in directorium domus, quod per defaltam sita est, inspicietur 

    ~/.deeppavlov

    Cum deprimendo, Nullam partium receptarum iam reprimitur contra reticulas componentium in calculonis positas. Si compositus est, imaginatio exstinguitur et imagini usus est. Magnitudines partium receptarum in mediocris variari possunt ab 0.5 ad 8 Gb, in quibusdam casibus 20 Gb post unzipping attingentes.

  3. CETERA servo cum exemplari deprimimus: 
    python -m deeppavlov riseapi ner_ontonotes_bert_mult -p 5005

Propter hoc mandatum exequendi, server QUIESCIUM cum exemplari in portum 5005 apparatus exercitus immittetur (defaltus portus est 5000).

Post exemplar initializing, Swagger cum API documentis et facultate probationis in URL inveniri potest http://127.0.0.1:5005. Experiamur exemplum mittendo ad endpoint http://127.0.0.1:5005/model Post petitionem JSON contento sequenti:

{
  "x": [
    "В МФТИ можно добраться на электричке с Савёловского Вокзала.",
    "В юго-западной Руси стог жита оценен в 15 гривен"
  ]
}

In responsione sequente JSON accipiamus:

[
  [
    ["В", "МФТИ", "можно", "добраться", "на", "электричке", "с", "Савёловского", "Вокзала", "."],
    ["O", "B-FAC", "O", "O", "O", "O", "O", "B-FAC", "I-FAC", "O"]
  ],
  [
    ["В", "юго", "-", "западной", "Руси", "стог", "жита", "оценен", "в", "15", "гривен"],
    ["O", "B-LOC", "I-LOC", "I-LOC", "I-LOC", "O", "O", "O", "O", "B-MONEY", "I-MONEY"]
  ]
]

His exemplis utentes, DeepPavlov REST API resolvemus.

API DeepPavlov

Exemplar DeepPavlov unumquodque habet saltem unum argumentum initus. IN CETERA API, argumenta nominata, eorum nomina sunt claves Dictionarii advenientis. Pleraque argumentatio est textus quod debet esse procedendum. Plura de argumentis et bonis per exempla redditis inveniri possunt in sectione documentorum MODELS DeepPavlov

In exemplo, index duarum chordarum ad argumentum x latae, quarum singulae singulis notae datae sunt. In DeepPavlov omnia exempla pro inputatione accipiunt valorum (batch) qui independenter processit.

Nomen "batch" ad campum discendi apparatus spectat et refert ad massam valorum independentium inputationis processus per algorithmum vel retis neuralis simul. Haec accessus permittit ut tempus (saepe signanter) exemplar processuum unum elementum massae comparatae ad idem valorem ad input separatim transmissum redigere. Sed effectus processus editur solum postquam omnia elementa sunt procedendum. Cum ergo massam advenientem generare oportebit considerare velocitatem exemplaris et temporis processui requisiti pro singulis elementis singulis.

Si plures rationes ad exemplar DeepPavlov sunt, unaquaeque earum massam valorum suam recipit, et in archetypo semper unam massam responsionum producit. Elementa in batch exitu sunt eventus processus elementorum batchiarum advenientis cum eodem indice.

In exemplo superiore, effectus exemplaris erat ut singulas chordas in signa (verba et notas interpunctionis destruas) et signum relativum ad entitatem nominatam (nomen organizationis, monetæ) indicaret quod repraesentans. Exemplar Currently ner_ontonotes_bert_mult idoneus ad cognoscendum 18 genera entium nominatorum, explicatio inveniatur hic.

Alia exempla e-of-thecam auctore DeepPavlov

Praeter NER, exempla sequentia ex-theca in DeepPavlov tempore scribendi praesto sunt:

Interrogatio Textus Respondens

Responde quaestionem ad textum cum fragmento huius textus. Exemplar config: squad_ru_bert_infer

Exemplum petitio:

{
  "context_raw": [
    "DeepPavlov разрабатывается лабораторией МФТИ.",
    "В юго-западной Руси стог жита оценен в 15 гривен."
  ],
  "question_raw": [
    "Кем разрабатывается DeepPavlov?",
    "Сколько стоил стог жита на Руси?"
  ]
}

effectus:

[
  ["лабораторией МФТИ", 27, 31042.484375],
  ["15 гривен", 39, 1049.598876953125]
]

Contumeliam Detection

Deprehensio praesentiae contumeliae ei cui textus dirigitur (tempore scribendi - modo Anglice). Exemplar config: insults_kaggle_conv_bert

Exemplum petitio:


{
  "x": [
    "Money talks, bullshit walks.",
    "You are not the brightest one."
  ]
}

effectus:

[
  ["Not Insult"],
  ["Insult"]
]

sensus Analysis

Classificatio textus sensus (positivi, neutri, negativi). Exemplar config: rusentiment_elmo_twitter_cnn

Exemplum petitio:

{
  "x": [
    "Мне нравится библиотека DeepPavlov.",
    "Я слышал о библиотеке DeepPavlov.",
    "Меня бесят тролли и анонимусы."
  ]
}

effectus:

[
  ["positive"],
  ["neutral"],
  ["negative"]
]

Paraphrasis Deprehensio

Utrum duo diversa idem significent. Exemplar config: stand_paraphraser_ru

Rogatio:

{
  "text_a": [
    "Город погружается в сон, просыпается Мафия.",
    "Президент США пригрозил расторжением договора с Германией."
  ],
  "text_b": [
    "Наступает ночь, все жители города пошли спать, а преступники проснулись.",
    "Германия не собирается поддаваться угрозам со стороны США."
  ]
}

effectus:

[
  [1],
  [0]
]

Index currentium omnium exemplorum foris-the-DeepPavlov semper inveniri potest hic.

conclusio,

In hoc articulo cognovimus DeepPavlov API et nonnullas textus processus facultates bibliothecae e archa provisas. Animadvertendum est in omni negotio NLP, optimum effectum futurum esse, cum formare exemplar in notitia statuto respondenti regio (domain) negotii. Praeterea plura exempla in principio ad omnes casus exerceri non possunt.

In sequentibus articulis videbimus additamenta bibliothecae, DeepPavlov ex Docker deductis, et deinde ad exempla formanda proficiscemur. Et noli oblivisci quod DeepPavlov habet forum – Quaere quaestiones tuas de bibliotheca et exemplaribus. Gratias tibi ago pro attente!

Source: www.habr.com

Add a comment