개발자를 위한 DeepPavlov: #1 NLP 도구 및 챗봇 생성

안녕하세요 여러분! 우리는 자연어 처리(자연어 처리 또는 단순히 NLP)와 관련된 실제 문제를 해결하고 오픈 소스 라이브러리를 사용하여 대화 에이전트(챗봇)를 만드는 데 전념하는 일련의 기사를 열고 있습니다. 딥파블로프, 이는 MIPT 신경 시스템 및 딥 러닝 연구소의 우리 팀에서 개발 중입니다. 이 시리즈의 주요 목표는 DeepPavlov를 광범위한 개발자에게 소개하고 기계 학습 및 수학 박사 학위에 대한 깊은 지식 없이도 응용 NLP 문제를 해결할 수 있는 방법을 보여주는 것입니다.

NLP 작업에는 텍스트의 감정 결정, 명명된 엔터티 구문 분석, 대화 상대가 봇에서 원하는 것 결정(피자 주문, 배경 정보 얻기 등)이 포함됩니다. NLP 작업 및 방법에 대해 자세히 알아볼 수 있습니다. 여기에.

이 기사에서는 사전 훈련된 NLP 모델을 사용하여 추가 구성이나 훈련 없이 바로 사용할 수 있는 REST 서버를 실행하는 방법을 보여줍니다.

DeepPavlov 설치

여기와 아래에는 Linux에 대한 지침이 제공됩니다. Windows의 경우 다음을 참조하세요. 문서

• 현재 지원되는 Python 버전으로 가상 환경을 만들고 활성화합니다.

  virtualelnv env -p python3.7
  source env/bin/activate

• 가상 환경에 DeepPavlov를 설치합니다.

  pip install deeppavlov
  

DeepPavlov 모델을 사용하여 REST 서버 시작

처음으로 DeepPavlov 모델을 사용하여 서버를 시작하기 전에 라이브러리 아키텍처의 일부 기능에 대해 이야기하는 것이 유용할 것입니다.

DP의 모든 모델은 다음으로 구성됩니다.

• 파이썬 코드;
• 다운로드 가능한 구성 요소 - 특정 데이터(임베딩, 신경망 가중치 등)에 대한 직렬화된 훈련 결과입니다.
• 모델에서 사용하는 클래스, 다운로드한 구성 요소의 URL, Python 종속성 등에 대한 정보가 포함된 구성 파일(이하 config)입니다.

다음 기사에서 DeepPavlov의 내부 내용에 대해 자세히 설명하겠습니다. 지금은 이것만 알면 충분합니다.

• DeepPavlov의 모든 모델은 구성 이름으로 식별됩니다.
• 모델을 실행하려면 DeepPavlov 서버에서 해당 구성 요소를 다운로드해야 합니다.
• 또한 모델을 실행하려면 모델에 사용되는 Python 라이브러리를 설치해야 합니다.

우리가 출시할 첫 번째 모델은 다국어 NER(Named Entity Recognition)입니다. 이 모델은 텍스트 단어가 속한 개체의 유형(고유명, 지명, 통화 이름 등)에 따라 분류합니다. 현재 최신 버전의 NER에 대한 구성 이름:

ner_ontonotes_bert_mult

모델을 사용하여 REST 서버를 시작합니다.

1. 구성에 지정된 모델 종속성을 활성 가상 환경에 설치합니다.

   python -m deeppavlov install ner_ontonotes_bert_mult
   

2. DeepPavlov 서버에서 직렬화된 모델 구성 요소를 다운로드합니다.

   python -m deeppavlov download ner_ontonotes_bert_mult
   

   직렬화된 구성 요소는 기본적으로 위치한 DeepPavlov 홈 디렉터리에 다운로드됩니다.

   ~/.deeppavlov

   다운로드할 때 이미 다운로드한 구성 요소의 해시를 서버에 있는 구성 요소의 해시와 비교하여 확인합니다. 일치하는 항목이 있으면 다운로드를 건너뛰고 기존 파일이 사용됩니다. 다운로드된 구성 요소의 크기는 평균 0.5~8Gb까지 다양하며 경우에 따라 압축을 풀면 20Gb에 도달합니다.

3. 모델을 사용하여 REST 서버를 시작합니다.

   python -m deeppavlov riseapi ner_ontonotes_bert_mult -p 5005
   

이 명령을 실행하면 모델이 포함된 REST 서버가 호스트 시스템의 포트 5005(기본 포트는 5000)에서 시작됩니다.

모델을 초기화한 후 API 문서와 테스트 기능이 포함된 Swagger를 URL에서 찾을 수 있습니다. http://127.0.0.1:5005. 모델을 엔드포인트로 전송하여 테스트해 보겠습니다. http://127.0.0.1:5005/model 다음 JSON 콘텐츠가 포함된 POST 요청:

{
  "x": [
    "В МФТИ можно добраться на электричке с Савёловского Вокзала.",
    "В юго-западной Руси стог жита оценен в 15 гривен"
  ]
}

이에 대한 응답으로 다음 JSON을 받아야 합니다.

[
  [
    ["В", "МФТИ", "можно", "добраться", "на", "электричке", "с", "Савёловского", "Вокзала", "."],
    ["O", "B-FAC", "O", "O", "O", "O", "O", "B-FAC", "I-FAC", "O"]
  ],
  [
    ["В", "юго", "-", "западной", "Руси", "стог", "жита", "оценен", "в", "15", "гривен"],
    ["O", "B-LOC", "I-LOC", "I-LOC", "I-LOC", "O", "O", "O", "O", "B-MONEY", "I-MONEY"]
  ]
]

이러한 예제를 사용하여 DeepPavlov REST API를 분석합니다.

API 딥파블로프

각 DeepPavlov 모델에는 하나 이상의 입력 인수가 있습니다. REST API에서는 인수의 이름이 지정되고 해당 이름은 수신 사전의 키입니다. 대부분의 경우 인수는 처리해야 하는 텍스트입니다. 모델이 반환하는 인수와 값에 대한 자세한 내용은 문서의 MODELS 섹션에서 확인할 수 있습니다. 딥파블로프

예제에서는 두 문자열의 목록이 인수 x에 전달되었으며 각 문자열에는 별도의 마크업이 제공되었습니다. DeepPavlov에서 모든 모델은 독립적으로 처리되는 값 목록(배치)을 입력으로 사용합니다.

배치(Batch)라는 용어는 머신러닝 분야를 말하며, 알고리즘이나 신경망에서 동시에 처리되는 독립적인 입력값의 배치를 의미한다. 이 접근 방식을 사용하면 입력에 별도로 전달된 동일한 값에 비해 모델이 배치의 한 요소를 처리하는 시간을 (종종 크게) 줄일 수 있습니다. 그러나 처리 결과는 모든 요소가 처리된 후에만 발행됩니다. 따라서 들어오는 배치를 생성할 때 모델의 속도와 각 개별 요소에 필요한 처리 시간을 고려해야 합니다.

DeepPavlov 모델에 여러 개의 인수가 있는 경우 각 인수는 자체 값 배치를 받고 출력에서 ​​모델은 항상 하나의 답변 배치를 생성합니다. 나가는 배치의 요소는 동일한 인덱스를 사용하여 들어오는 배치의 요소를 처리한 결과입니다.

위 예에서 모델의 결과는 각 문자열을 토큰(단어 및 문장 부호)으로 분류하고 해당 문자열이 나타내는 명명된 엔터티(조직 이름, 통화)와 관련하여 토큰을 분류하는 것이었습니다. 현재 모델은 ner_ontonotes_bert_mult 18가지 유형의 개체명을 인식할 수 있으며 자세한 설명을 확인할 수 있습니다. 여기에.

DeepPavlov의 기타 기본 모델

NER 외에도 이 글을 쓰는 시점에 DeepPavlov에서 다음과 같은 기본 모델을 사용할 수 있습니다.

문자 질문 답변

이 텍스트의 일부를 사용하여 텍스트에 대한 질문에 답하십시오. 모델 구성: squad_ru_bert_infer

요청 예시:

{
  "context_raw": [
    "DeepPavlov разрабатывается лабораторией МФТИ.",
    "В юго-западной Руси стог жита оценен в 15 гривен."
  ],
  "question_raw": [
    "Кем разрабатывается DeepPavlov?",
    "Сколько стоил стог жита на Руси?"
  ]
}

결과 :

[
  ["лабораторией МФТИ", 27, 31042.484375],
  ["15 гривен", 39, 1049.598876953125]
]

모욕감지

텍스트가 전달되는 사람에 대한 모욕의 존재 감지(작성 당시 - 영어에만 해당). 모델 구성: 모욕_kaggle_conv_bert

요청 예시:

{
  "x": [
    "Money talks, bullshit walks.",
    "You are not the brightest one."
  ]
}

결과 :

[
  ["Not Insult"],
  ["Insult"]
]

감정 분석

텍스트 감정 분류(긍정적, 중립적, 부정적) 모델 구성: rusentiment_elmo_twitter_cnn

요청 예시:

{
  "x": [
    "Мне нравится библиотека DeepPavlov.",
    "Я слышал о библиотеке DeepPavlov.",
    "Меня бесят тролли и анонимусы."
  ]
}

결과 :

[
  ["positive"],
  ["neutral"],
  ["negative"]
]

의역 감지

두 개의 서로 다른 텍스트가 동일한 의미를 갖는지 확인합니다. 모델 구성: 스탠드_의역_루

문의:

{
  "text_a": [
    "Город погружается в сон, просыпается Мафия.",
    "Президент США пригрозил расторжением договора с Германией."
  ],
  "text_b": [
    "Наступает ночь, все жители города пошли спать, а преступники проснулись.",
    "Германия не собирается поддаваться угрозам со стороны США."
  ]
}

결과 :

[
  [1],
  [0]
]

즉시 사용 가능한 모든 DeepPavlov 모델의 현재 목록은 언제든지 찾을 수 있습니다. 여기에.

결론

이 기사에서 우리는 DeepPavlov API와 기본적으로 제공되는 라이브러리의 일부 텍스트 처리 기능에 대해 알아봤습니다. 모든 NLP 작업의 경우 작업의 주제 영역(도메인)에 해당하는 데이터 세트에서 모델을 훈련할 때 최상의 결과를 얻을 수 있다는 점을 명심해야 합니다. 또한 원칙적으로 더 많은 모델을 모든 상황에 대해 학습시킬 수는 없습니다.

다음 기사에서는 Docker에서 DeepPavlov를 시작하는 라이브러리의 추가 설정을 살펴본 다음 모델 학습으로 넘어갑니다. 그리고 DeepPavlov가 форум – 라이브러리와 모델에 관해 궁금한 점을 물어보세요. 관심을 가져주셔서 감사합니다!

출처 : habr.com