Elasticsearch — търсачна система с json rest api, използваща Lucene и написана на Java. Описание на всички предимства на тази система е налично на официалния сайт. В текста нататък ще наричаме Elasticsearch ES.

Подобни системи се използват при сложен търсене в бази от документи. Например, търсене с оглед на морфологията на езика или търсене по гео координати.

В тази статия ще разгледам основите на ES на примера на индексирането на публикации в блог. Ще ви покажа как да филтрирате, сортирате и търсите документи.

За да не завися от операционната система, всички заявки към ES ще правя с помощта на CURL. Има и плъгин за Google Chrome, наречен sense.

В текста са поставени връзки към документацията и други източници. В края са разположени връзки за бърз достъп до документацията. Определения на непознати термини можете да прочетете в глосария.

Инсталация на ES

За това първо ще ни е необходим Java. Разработчиците препоръчват трябва да инсталирате версии на Java по-нови от Java 8 update 20 или Java 7 update 55.

Дистрибуцията на ES е налична на сайта на разработчика. След разархивиране на архива, трябва да стартирате bin/elasticsearch. Също така са налични пакети за apt и yum. Има официален имидж за docker. Повече за инсталацията.

След инсталацията и стартирането, проверяваме работоспособността:

# для удобства запомним адрес в переменную
#export ES_URL=$(docker-machine ip dev):9200
export ES_URL=localhost:9200

curl -X GET $ES_URL

Ще получим приблизително такъв отговор:

{
  "name" : "Heimdall",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.2.1",
    "build_hash" : "d045fc29d1932bce18b2e65ab8b297fbf6cd41a1",
    "build_timestamp" : "2016-03-09T09:38:54Z",
    "build_snapshot" : false,
    "lucene_version" : "5.4.1"
  },
  "tagline" : "You Know, for Search"
}

Индексиране

Добавяме публикация в ES:

# Добавим документ c id 1 типа post в индекс blog.
# ?pretty указывает, что вывод должен быть человеко-читаемым.

curl -XPUT "$ES_URL/blog/post/1?pretty" -d'
{
  "title": "Веселые котята",
  "content": "<p>Смешна история за котенца<p>",
  "tags": [
    "котенца",
    "смешна история"
  ],
  "published_at": "2014-09-12T20:44:42+00:00"
}'

отговор от сървъра:

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "created" : false
}

ES автоматично е създал индекс blog и тип post. Можем да направим условна аналогия: индексът е база данни, а типът е таблица в тази база. Всеки тип има своя схема — съответствие, както и релационна таблица. Mapping се генерира автоматично при индексирането на документа:

# Получим mapping всех типов индекса blog
curl -XGET "$ES_URL/blog/_mapping?pretty"

В отговора на сървъра добавих в коментарите стойностите на полетата на индексирания документ:

{
  "blog" : {
    "mappings" : {
      "post" : {
        "properties" : {
          /* "content": "<p>Смешна история за котенца<p>", /*
          "content" : {
            "type" : "string"
          },
          /* "published_at": "2014-09-12T20:44:42+00:00" */
          "published_at" : {
            "type" : "date",
            "format" : "strict_date_optional_time||epoch_millis"
          },
          /* "tags": ["котята", "смешная история"] */
          "tags" : {
            "type" : "string"
          },
          /*  "title": "Веселые котята" */
          "title" : {
            "type" : "string"
          }
        }
      }
    }
  }
}

Струва си да се отбележи, че ES не прави разлики между единична стойност и масив от стойности. Например, полето title съдържа само заглавие, а полето tags — масив от низове, въпреки че те са представени в мапинга по един и същи начин.
По-късно ще говорим за мапинга по-подробно.

Заявки

Извличане на документа по неговия id:

# извлечем документ с id 1 типа post из индекса blog
curl -XGET "$ES_URL/blog/post/1?pretty"

{
    "_index": "blog",
    "_type": "post",
    "_id": "1",
    "_version": 1,
    "found": true,
    "_source": {
        "title": "\u0412\u0435\u0441\u0435\u043b\u044b\u0435 \u043a\u043e\u0442\u044f\u0442\u0430",
        "content": "<p>\u0421\u043c\u0435\u0448\u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0437\u0430 \u043a\u043e\u0442\u0435\u043d\u0446\u0430<p>",
        "tags": [
            "\u043a\u043e\u0442\u044f\u0442\u0430",
            "\u0441\u043c\u0435\u0448\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f"
        ],
        "published_at": "2014-09-12T20:44:42+00:00"
    }
}

В отговора се появиха нови ключове: _version и _source. Всъщност, всички ключове, започващи с _ се отнасят до служебни.

Ключ _version показва версията на документа. Тя е необходима за функционирането на механизма за оптимистични блокировки. Например, искаме да променим документ с версия 1. Изпращаме променения документ и посочваме, че това е корекция на документа с версия 1. Ако някой друг също е редактирал документа с версия 1 и е изпратил промените преди нас, ES няма да приеме нашите промени, тъй като той съхранява документа с версия 2.

Ключ _source съдържа документа, който сме индексирали. ES не използва тази стойност за търсене, тъй като за търсене се използват индексите. С цел спестяване на място, ES съхранява компресирания оригинален документ. Ако ни е нужен само id, а не целия оригинален документ, можем да деактивираме съхранението на оригинала.

Ако не ни е нужна допълнителна информация, можем да получим само съдържанието _source:

curl -XGET "$ES_URL/blog/post/1/_source?pretty"

{
    "title": "\u0412\u0435\u0441\u0435\u043b\u044b\u0435 \u043a\u043e\u0442\u044f\u0442\u0430",
    "content": "<p>\u0421\u043c\u0435\u0448\u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0437\u0430 \u043a\u043e\u0442\u0435\u043d\u0446\u0430<p>",
    "tags": [
        "\u043a\u043e\u0442\u044f\u0442\u0430",
        "\u0441\u043c\u0435\u0448\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f"
    ],
    "published_at": "2014-09-12T20:44:42+00:00"
}

Можем да изберем и само определени полета:

# извлечем только поле title
curl -XGET "$ES_URL/blog/post/1?_source=title&pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Весели котенца"
  }
}

Нека индексираме още няколко публикации и да изпълним по-сложни заявки.

curl -XPUT "$ES_URL/blog/post/2" -d'
{
  "title": "Весели кученца",
  "content": "<p>Смешна история за кученцата<p>",
  "tags": [
    "кученца",
    "смешна история"
  ],
  "published_at": "2014-08-12T20:44:42+00:00"
}'

curl -XPUT "$ES_URL/blog/post/3" -d'
{
  "title": "Как се появи моят котенце",
  "content": "<p>Тъжна история за бедното котенце от улицата<p>",
  "tags": [
    "котенца"
  ],
  "published_at": "2014-07-21T20:44:42+00:00"
}'

Сортиране

# найдем последний пост по дате публикации и извлечем поля title и published_at
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "size": 1,
  "_source": ["title", "published_at"],
  "sort": [{"published_at": "desc"}]
}'

{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : null,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : null,
      "_source" : {
        "title" : "Весели котенца",
        "published_at" : "2014-09-12T20:44:42+00:00"
      },
      "sort" : [ 1410554682000 ]
    } ]
  }
}

Избрали сме последната публикация. size ограничава броя на документите в резултатите. общо показва общия брой документи, отговарящи на заявката. sort в резултатите съдържа масив от цели числа, по които се извършва сортирането. Т.е. датата е преобразувана в цяло число. Повече за сортирането можете да прочетете в документацията.

Филтри и заявки

ES от версия 2 не различава филтри и заявки, вместо това въведено е понятието контексти.
Контекстът на заявката се различава от контекста на филтъра с това, че заявката генерира _score и не се кешира. Какво е _score ще покажа по-късно.

Филтриране по дата

Използваме заявка range в контекста на filter:

# получим посты, опубликованные 1ого сентября или позже
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "filter": {
    "range": {
      "published_at": { "gte": "2014-09-01" }
    }
  }
}'

Филтриране по тагове

Използваме terмово запитване за търсене на id на документи, съдържащи зададената дума:

# найдем все документы, в поле tags которых есть элемент 'котята'
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": [
    "title",
    "tags"
  ],
  "filter": {
    "term": {
      "tags": "котята"
    }
  }
}'

{
  "took" : 9,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 1.0,
      "_source" : {
        "title" : "Смешни котета",
        "tags" : [ "котета", "смешна история" ]
      }
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 1.0,
      "_source" : {
        "title" : "Как получих коте",
        "tags" : [ "котета" ]
      }
    } ]
  }
}

Пълнотекстово търсене

Трите ни документа съдържат следното в полето content:

• <p>Смешна история за котенца<p>
• <p>Смешна история за кученцата<p>
• <p>Тъжна история за бедното котенце от улицата<p>

Използваме match query за търсене на id на документи, съдържащи зададената дума:

# source: false означает, что не нужно извлекать _source найденных документов
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": false,
  "query": {
    "match": {
      "content": "история"
    }
  }
}'

{
  "took" : 13,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.11506981,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "2",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 0.095891505
    } ]
  }
}

Въпреки това, ако търсим "истории" в полето content, няма да намерим нищо, тъй като в индекса са записани само оригиналните думи, а не техните основи. За да направим качествено търсене, трябва да настроим анализатора.

Поле _score показва релевантност. Ако заявката се изпълнява в контекста на filter, стойността на _score винаги ще бъде равна на 1, което означава пълно съответствие с филтъра.

Анализатори

Анализатори са необходими за преобразуване на изходния текст в набор от токени.
Анализаторите се състоят от един Tokenizer и няколко незадължителни TokenFilters. Tokenizer може да предшества няколко CharFilters. Tokenizer разделя изходния низ на токени, например, по интервали и пунктуационни знаци. TokenFilter може да променя токени, да изтрива или добавя нови, например, да остави само основата на думата, да премахне предлозите, да добави синоними. CharFilter променя целия изходен низ, например, изрязва html тагове.

В ES има няколко стандартни анализатори.Например, анализаторът russian.

Нека изпробваме api и да видим как анализаторите standard и russian преобразуват низа "Смешни истории за котета":

# используем анализатор standard       
# обязательно нужно перекодировать не ASCII символы
curl -XGET "$ES_URL/_analyze?pretty&analyzer=standard&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "смешни",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "",
    "position" : 0
  }, {
    "token" : "истории",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "",
    "position" : 1
  }, {
    "token" : "за",
    "start_offset" : 16,
    "end_offset" : 19,
    "type" : "",
    "position" : 2
  }, {
    "token" : "котета",
    "start_offset" : 20,
    "end_offset" : 26,
    "type" : "",
    "position" : 3
  } ]
}

# используем анализатор russian
curl -XGET "$ES_URL/_analyze?pretty&analyzer=russian&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "весел",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "",
    "position" : 0
  }, {
    "token" : "истор",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "",
    "position" : 1
  }, {
    "token" : "кот",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "",
    "position" : 3
  } ]
}

Стандартният анализатор разделя низовете по интервали и преобразува всички знаци в малки, анализаторът на руски — премахва незначителните думи, превръща в малки букви и оставя основата на думите.

Нека видим, какви Tokenizer, TokenFilters, CharFilters използва анализаторът на руски:

{
  "filter": {
    "russian_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "russian_keywords": {
      "type":       "keyword_marker",
      "keywords":   []
    },
    "russian_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "russian": {
      "tokenizer":  "standard",
      
      "filter": [
        "lowercase",
        "russian_stop",
        "russian_keywords",
        "russian_stemmer"
      ]
      
    }
  }
}

Опишем своя анализатор на основата на руския, който ще премахне HTML таговете. Нека го наречем default, тъй като анализатор с това име ще бъде използван по подразбиране.

{
  "filter": {
    "ru_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "ru_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "default": {
      "char_filter": ["html_strip"],
      "tokenizer":  "standard",
      "filter": [
        "lowercase",
        "ru_stop",
        "ru_stemmer"
      ]
    }
  }
}

Първо, от изходния низ ще бъдат премахнати всички HTML тагове, след това той ще бъде разделен на токени с tokenizer standard, получените токени ще бъдат преобразувани в малки букви, ще бъдат премахнати незначителните думи и от оставащите токени ще остане основата на думата.

Създаване на индекс

По-горе описахме default анализатор. Той ще бъде приложен към всички текстови полета. Нашият пост съдържа масив от тагове, съответно, таговете също ще бъдат обработени от анализатора. Тъй като търсим постове по точно съответствие на тага, необходимо е да деактивираме анализа за полето tags.

Ще създадем индекс blog2 с анализатор и мапинг, при който анализът на полето tags е деактивиран:

curl -XPOST "$ES_URL/blog2" -d'
{
  "settings": {
    "analysis": {
      "filter": {
        "ru_stop": {
          "type": "stop",
          "stopwords": "_russian_"
        },
        "ru_stemmer": {
          "type": "stemmer",
          "language": "russian"
        }
      },
      "analyzer": {
        "default": {
          "char_filter": [
            "html_strip"
          ],
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "ru_stop",
            "ru_stemmer"
          ]
        }
      }
    }
  },
  "mappings": {
    "post": {
      "properties": {
        "content": {
          "type": "string"
        },
        "published_at": {
          "type": "date"
        },
        "tags": {
          "type": "string",
          "index": "not_analyzed"
        },
        "title": {
          "type": "string"
        }
      }
    }
  }
}'

Нека добавим същите 3 поста към този индекс (blog2). Ще пропусна този процес, тъй като той е аналогичен на добавянето на документи в индекс blog.

Пълнотекстово търсене с поддръжка на изрази

Нека се запознаем с още един тип заявки:

# найдем документы, в которых встречается слово 'истории'
# query -> simple_query_string -> query содержит поисковый запрос
# поле title имеет приоритет 3
# поле tags имеет приоритет 2
# поле content имеет приоритет 1
# приоритет используется при ранжировании результатов
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "истории",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

Тъй като използваме анализатор с руски стеминг, тази заявка ще върне всички документи, въпреки че те съдържат само думата 'история'.

Заявката може да съдържа специални символи, например:

""fried eggs" +(eggplant | potato) -frittata"

Синтаксис на заявката:

+ обозначава операция AND
| обозначава операция OR
- отрича единствен токен
" обгръща редица токени, за да обозначи фраза за търсене
* в края на термин означава заявка по префикс
( и ) обозначават приоритет
~N след дума обозначава разстояние на редактиране (приближението)
~N след фраза обозначава количество слоп

# найдем документы без слова 'щенки'
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "-щенки",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

# получим 2 поста про котиков

Връзки

• Elasctic.co
• Справка
• Ръководство
• Глосар
• Инсталиране на
• Манипулации с документи
• Операции с индекси
• Списък на заявките

PS

Ако ви интересуват подобни статии-уроци, имате идеи за нови статии или предложения за сътрудничество, ще се радвам на съобщение в личка или на имейл m.kuzmin+habr@darkleaf.ru.

Източник: habr.com