Elasticsearch는 Lucene을 사용하고 Java로 작성된 JSON REST API를 갖춘 검색 엔진입니다. 이 엔진의 모든 장점에 대한 설명은 다음에서 확인할 수 있습니다. 공식 웹 사이트이제부터 Elasticsearch를 ES라고 부르겠습니다.

이러한 엔진은 문서 데이터베이스에서 복잡한 검색에 사용됩니다. 예를 들어, 언어 형태를 고려한 검색이나 지리 좌표를 이용한 검색이 있습니다.

이 글에서는 블로그 게시물 인덱싱 사례를 통해 ES의 기본 사항을 살펴보겠습니다. 문서를 필터링, 정렬, 검색하는 방법도 보여드리겠습니다.

운영 체제에 의존하지 않기 위해 모든 요청은 CURL을 사용하여 ES에 전달하겠습니다. Google Chrome용 플러그인도 있습니다. 감각.

본문 전체에 걸쳐 문서 및 기타 출처에 대한 링크가 제공됩니다. 마지막에는 문서에 빠르게 접근할 수 있는 링크가 있습니다. 익숙하지 않은 용어의 정의는 다음에서 확인할 수 있습니다. 용어집.

ES 설치

이를 위해서는 먼저 Java가 필요합니다. 개발자 추천하다 Java 8 업데이트 20 또는 Java 7 업데이트 55보다 최신 Java 버전을 설치하세요.

ES 배포는 다음에서 가능합니다. 개발자 사이트. 아카이브를 압축 해제한 후 다음을 실행해야 합니다. bin/elasticsearch. 또한 사용 가능 apt 및 yum용 패키지. 있다 도커 공식 이미지. 설치에 대한 자세한 내용.

설치 및 실행 후 기능을 확인해 보겠습니다.

# для удобства запомним адрес в переменную
#export ES_URL=$(docker-machine ip dev):9200
export ES_URL=localhost:9200

curl -X GET $ES_URL

다음과 같은 답변을 받게 됩니다.

{
  "name" : "Heimdall",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.2.1",
    "build_hash" : "d045fc29d1932bce18b2e65ab8b297fbf6cd41a1",
    "build_timestamp" : "2016-03-09T09:38:54Z",
    "build_snapshot" : false,
    "lucene_version" : "5.4.1"
  },
  "tagline" : "You Know, for Search"
}

인덱싱

ES에 게시물을 추가해 보겠습니다.

# Добавим документ c id 1 типа post в индекс blog.
# ?pretty указывает, что вывод должен быть человеко-читаемым.

curl -XPUT "$ES_URL/blog/post/1?pretty" -d'
{
  "title": "Веселые котята",
  "content": "<p>Смешная история про котят<p>",
  "tags": [
    "котята",
    "смешная история"
  ],
  "published_at": "2014-09-12T20:44:42+00:00"
}'

서버 응답:

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "created" : false
}

ES가 자동으로 생성됨 색인 블로그와 тип 게시물입니다. 조건부 비유를 들 수 있습니다. 인덱스는 데이터베이스이고, 타입은 이 DB의 테이블입니다. 각 타입은 고유한 스키마를 갖습니다. 매핑관계형 테이블과 마찬가지입니다. 문서가 인덱싱되면 매핑이 자동으로 생성됩니다.

# Получим mapping всех типов индекса blog
curl -XGET "$ES_URL/blog/_mapping?pretty"

서버 응답에서 주석에 인덱싱된 문서 필드 값을 추가했습니다.

{
  "blog" : {
    "mappings" : {
      "post" : {
        "properties" : {
          /* "content": "<p>Смешная история про котят<p>", */ 
          "content" : {
            "type" : "string"
          },
          /* "published_at": "2014-09-12T20:44:42+00:00" */
          "published_at" : {
            "type" : "date",
            "format" : "strict_date_optional_time||epoch_millis"
          },
          /* "tags": ["котята", "смешная история"] */
          "tags" : {
            "type" : "string"
          },
          /*  "title": "Веселые котята" */
          "title" : {
            "type" : "string"
          }
        }
      }
    }
  }
}

ES는 단일 값과 값 배열을 구분하지 않는다는 점에 유의해야 합니다. 예를 들어, title 필드에는 제목만 포함되고, tags 필드에는 문자열 배열이 포함되지만, 매핑에서는 동일한 방식으로 표현됩니다.
매핑에 대해서는 나중에 더 자세히 설명하겠습니다.

요청

ID로 문서 추출:

# извлечем документ с id 1 типа post из индекса blog
curl -XGET "$ES_URL/blog/post/1?pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята",
    "content" : "<p>Смешная история про котят<p>",
    "tags" : [ "котята", "смешная история" ],
    "published_at" : "2014-09-12T20:44:42+00:00"
  }
}

답변에 새로운 키가 나타났습니다: _version и _source일반적으로 .로 시작하는 모든 키 _ 서비스 품목으로 분류됩니다.

열쇠 _version 문서 버전을 보여줍니다. 낙관적 잠금 메커니즘이 작동하는 데 필요합니다. 예를 들어, 버전 1의 문서를 변경하려고 합니다. 변경된 문서를 전송하고 버전 1의 문서에 대한 편집임을 표시합니다. 다른 사람이 버전 1의 문서를 편집하고 변경 사항을 전송한 경우, ES는 해당 문서를 버전 2로 저장하기 때문에 변경 사항을 수락하지 않습니다.

열쇠 _source 인덱싱한 문서가 포함되어 있습니다. ES는 검색 작업에 이 값을 사용하지 않습니다. 인덱스는 검색에 사용되기 때문입니다. ES는 공간 절약을 위해 압축된 소스 문서를 저장합니다. 전체 소스 문서가 아닌 ID만 필요한 경우 소스 저장을 비활성화할 수 있습니다.

추가 정보가 필요하지 않으면 _source의 내용만 가져올 수 있습니다.

curl -XGET "$ES_URL/blog/post/1/_source?pretty"

{
  "title" : "Веселые котята",
  "content" : "<p>Смешная история про котят<p>",
  "tags" : [ "котята", "смешная история" ],
  "published_at" : "2014-09-12T20:44:42+00:00"
}

특정 필드만 선택할 수도 있습니다.

# извлечем только поле title
curl -XGET "$ES_URL/blog/post/1?_source=title&pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята"
  }
}

몇 개의 게시물을 더 인덱싱하고 더 복잡한 쿼리를 실행해 보겠습니다.

curl -XPUT "$ES_URL/blog/post/2" -d'
{
  "title": "Веселые щенки",
  "content": "<p>Смешная история про щенков<p>",
  "tags": [
    "щенки",
    "смешная история"
  ],
  "published_at": "2014-08-12T20:44:42+00:00"
}'

curl -XPUT "$ES_URL/blog/post/3" -d'
{
  "title": "Как у меня появился котенок",
  "content": "<p>Душераздирающая история про бедного котенка с улицы<p>",
  "tags": [
    "котята"
  ],
  "published_at": "2014-07-21T20:44:42+00:00"
}'

정렬

# найдем последний пост по дате публикации и извлечем поля title и published_at
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "size": 1,
  "_source": ["title", "published_at"],
  "sort": [{"published_at": "desc"}]
}'

{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : null,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : null,
      "_source" : {
        "title" : "Веселые котята",
        "published_at" : "2014-09-12T20:44:42+00:00"
      },
      "sort" : [ 1410554682000 ]
    } ]
  }
}

우리는 마지막 게시물을 선택했습니다. size 발급되는 문서의 수를 제한합니다. total 쿼리와 일치하는 문서의 총 개수를 보여줍니다. sort 출력에는 정렬에 사용되는 정수 배열이 포함되어 있습니다. 즉, 날짜가 정수로 변환되었습니다. 정렬에 대한 자세한 내용은 다음에서 확인할 수 있습니다. 선적 서류 비치.

필터 및 쿼리

ES 버전 2부터는 필터와 쿼리를 구분하지 않습니다. 컨텍스트의 개념이 도입되었습니다.
쿼리 컨텍스트는 필터 컨텍스트와 다릅니다. 쿼리가 _score를 생성하고 캐시되지 않습니다. _score가 무엇인지는 나중에 설명하겠습니다.

날짜별로 필터링

우리는 쿼리를 사용합니다 범위 필터의 맥락에서:

# получим посты, опубликованные 1ого сентября или позже
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "filter": {
    "range": {
      "published_at": { "gte": "2014-09-01" }
    }
  }
}'

태그로 필터링

우리는 사용 용어 쿼리 주어진 단어가 포함된 문서 ID를 검색하려면:

# найдем все документы, в поле tags которых есть элемент 'котята'
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": [
    "title",
    "tags"
  ],
  "filter": {
    "term": {
      "tags": "котята"
    }
  }
}'

{
  "took" : 9,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 1.0,
      "_source" : {
        "title" : "Веселые котята",
        "tags" : [ "котята", "смешная история" ]
      }
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 1.0,
      "_source" : {
        "title" : "Как у меня появился котенок",
        "tags" : [ "котята" ]
      }
    } ]
  }
}

전체 텍스트 검색

세 개의 문서에는 콘텐츠 필드에 다음 내용이 포함되어 있습니다.

• <p>Смешная история про котят<p>
• <p>Смешная история про щенков<p>
• <p>Душераздирающая история про бедного котенка с улицы<p>

우리는 사용 매치 쿼리 주어진 단어가 포함된 문서 ID를 검색하려면:

# source: false означает, что не нужно извлекать _source найденных документов
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": false,
  "query": {
    "match": {
      "content": "история"
    }
  }
}'

{
  "took" : 13,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.11506981,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "2",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 0.095891505
    } ]
  }
}

하지만 콘텐츠 필드에서 "stories"를 검색해도 아무것도 찾을 수 없습니다. 색인에는 어근이 아닌 원어만 포함되어 있기 때문입니다. 양질의 검색을 위해서는 분석기를 설정해야 합니다.

분야 _score 쇼 관련성쿼리가 필터 컨텍스트에서 실행되는 경우 _score 값은 항상 1이 되며, 이는 필터를 완벽하게 준수함을 의미합니다.

분석기

분석기 소스 텍스트를 토큰 집합으로 변환하는 데 필요합니다.
분석기는 하나로 구성됩니다 토크 나이저 그리고 몇 가지 선택 사항 토큰필터. 토크나이저는 여러 개로 시작될 수 있습니다. 문자필터토크나이저는 공백이나 구두점 기호 등을 사용하여 원본 문자열을 토큰으로 분할합니다. 토큰필터는 토큰을 변경하거나, 토큰을 삭제하거나 추가할 수 있습니다. 예를 들어, 단어 어간만 남기거나, 전치사를 제거하거나, 동의어를 추가할 수 있습니다. 문자필터는 원본 문자열을 완전히 변경합니다. 예를 들어, HTML 태그를 제거합니다.

ES에는 여러 가지가 있습니다 표준 분석기예를 들어, 분석기 러시아인.

사용하자 API를 이제 표준 및 러시아어 분석기가 "고양이에 관한 재미있는 이야기" 문자열을 어떻게 변환하는지 살펴보겠습니다.

# используем анализатор standard       
# обязательно нужно перекодировать не ASCII символы
curl -XGET "$ES_URL/_analyze?pretty&analyzer=standard&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "веселые",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истории",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "про",
    "start_offset" : 16,
    "end_offset" : 19,
    "type" : "<ALPHANUM>",
    "position" : 2
  }, {
    "token" : "котят",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

# используем анализатор russian
curl -XGET "$ES_URL/_analyze?pretty&analyzer=russian&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "весел",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истор",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "кот",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

표준 분석기는 공백으로 줄을 나누고 모든 단어를 소문자로 변환했지만, 러시아어 분석기는 중요하지 않은 단어를 제거하고 소문자로 변환하고 단어의 어간을 그대로 두었습니다.

러시아 분석기가 사용하는 Tokenizer, TokenFilters, CharFilters를 살펴보겠습니다.

{
  "filter": {
    "russian_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "russian_keywords": {
      "type":       "keyword_marker",
      "keywords":   []
    },
    "russian_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "russian": {
      "tokenizer":  "standard",
      /* TokenFilters */
      "filter": [
        "lowercase",
        "russian_stop",
        "russian_keywords",
        "russian_stemmer"
      ]
      /* CharFilters отсутствуют */
    }
  }
}

HTML 태그를 제거하는 러시아어 기반 분석기를 설명해 보겠습니다. 이 분석기를 '기본값'이라고 부르겠습니다. 이 이름의 분석기가 기본적으로 사용되기 때문입니다.

{
  "filter": {
    "ru_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "ru_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "default": {
      /* добавляем удаление html тегов */
      "char_filter": ["html_strip"],
      "tokenizer":  "standard",
      "filter": [
        "lowercase",
        "ru_stop",
        "ru_stemmer"
      ]
    }
  }
}

먼저, 원래 문자열에서 모든 HTML 태그를 제거한 다음 토크나이저 표준을 사용하여 토큰으로 분할하고, 분할된 토큰은 소문자로 변환하고, 중요하지 않은 단어는 제거하고, 남은 토큰은 단어의 어간이 됩니다.

인덱스 생성

위에서 기본 분석기를 설명했습니다. 이 분석기는 모든 문자열 필드에 적용됩니다. 게시물에는 태그 배열이 포함되어 있으므로 태그도 분석기에 의해 처리됩니다. 태그와 정확히 일치하는 게시물을 찾고 있으므로 태그 필드에 대한 분석을 비활성화해야 합니다.

태그 필드 분석이 비활성화된 분석기와 매핑을 사용하여 blog2 인덱스를 만들어 보겠습니다.

curl -XPOST "$ES_URL/blog2" -d'
{
  "settings": {
    "analysis": {
      "filter": {
        "ru_stop": {
          "type": "stop",
          "stopwords": "_russian_"
        },
        "ru_stemmer": {
          "type": "stemmer",
          "language": "russian"
        }
      },
      "analyzer": {
        "default": {
          "char_filter": [
            "html_strip"
          ],
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "ru_stop",
            "ru_stemmer"
          ]
        }
      }
    }
  },
  "mappings": {
    "post": {
      "properties": {
        "content": {
          "type": "string"
        },
        "published_at": {
          "type": "date"
        },
        "tags": {
          "type": "string",
          "index": "not_analyzed"
        },
        "title": {
          "type": "string"
        }
      }
    }
  }
}'

이 인덱스(blog3)에도 같은 게시물 2개를 추가해 보겠습니다. 블로그 인덱스에 문서를 추가하는 것과 비슷하므로 이 과정은 건너뛰겠습니다.

표현식 지원을 통한 전체 텍스트 검색

다른 유형의 요청에 대해 알아보겠습니다.

# найдем документы, в которых встречается слово 'истории'
# query -> simple_query_string -> query содержит поисковый запрос
# поле title имеет приоритет 3
# поле tags имеет приоритет 2
# поле content имеет приоритет 1
# приоритет используется при ранжировании результатов
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "истории",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

러시아어 어간 분석기를 사용하고 있으므로 이 쿼리는 'history'라는 단어만 포함되어 있어도 모든 문서를 반환합니다.

요청에는 다음과 같은 특수 문자가 포함될 수 있습니다.

""fried eggs" +(eggplant | potato) -frittata"

쿼리 구문:

+ signifies AND operation
| signifies OR operation
- negates a single token
" wraps a number of tokens to signify a phrase for searching
* at the end of a term signifies a prefix query
( and ) signify precedence
~N after a word signifies edit distance (fuzziness)
~N after a phrase signifies slop amount

# найдем документы без слова 'щенки'
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "-щенки",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

# получим 2 поста про котиков

참조

• 엘라스틱닷코
• 참조
• 안내서
• 어휘
• 설치
• 문서 조작
• 인덱스를 사용한 작업
• 요청 목록

PS

이러한 기사 수업에 관심이 있거나, 새로운 기사에 대한 아이디어가 있거나, 협력 제안이 있으시면 개인 메시지나 m.kuzmin+habr@darkleaf.ru로 메일을 보내주시면 기쁠 것입니다.

출처 : habr.com