Elasticsearch — търсачна система с json rest api, използваща Lucene и написана на Java. Описание на всички предимства на тази система е налично на официалния сайт. В текста ще наричаме Elasticsearch като ES.

Подобни системи се използват при сложен „търсене“ на база документи. Например, търсене с отчитане на морфологията на езика или търсене по гео координати.

В тази статия ще разгледам основите на ES на примера на индексиране на публикации в блог. Ще покажа как да филтрираме, сортираме и търсим документи.

За да не зависим от операционната система, всички заявки към ES ще правя с помощта на CURL. Има и разширение за Google Chrome, наречено sense.

В текста са поставени връзки към документацията и други източници. В края са добавени връзки за бърз достъп до документацията. Определения на непознати термини могат да бъдат прочетени в глоссария.

Инсталиране на ES

Първо, ще ни е необходима Java. Разработчиците препоръчват съветват да инсталирате версията на Java по-нова от Java 8 update 20 или Java 7 update 55.

Дистрибутивът на ES е наличен на сайта на разработчика. След разархивирането на архива, е необходимо да стартирате bin/elasticsearch. Налични са и пакетите за apt и yum. Има официалният образ за docker. Повече информация за инсталирането.

След инсталирането и стартирането, ще проверим работоспособността:

# для удобства запомним адрес в переменную
#export ES_URL=$(docker-machine ip dev):9200
export ES_URL=localhost:9200

curl -X GET $ES_URL

Ще получим приблизително такъв отговор:

{
  "name" : "Heimdall",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.2.1",
    "build_hash" : "d045fc29d1932bce18b2e65ab8b297fbf6cd41a1",
    "build_timestamp" : "2016-03-09T09:38:54Z",
    "build_snapshot" : false,
    "lucene_version" : "5.4.1"
  },
  "tagline" : "You Know, for Search"
}

Индексиране

Добавяме публикация в ES:

# Добавим документ c id 1 типа post в индекс blog.
# ?pretty указывает, что вывод должен быть человеко-читаемым.

curl -XPUT "$ES_URL/blog/post/1?pretty" -d'
{
  "title": "Веселые котята",
  "content": "<p>Смешна история за котенца<p>",
  "tags": [
    "котенца",
    "смешна история"
  ],
  "published_at": "2014-09-12T20:44:42+00:00"
}'

отговор от сървъра:

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "created" : false
}

ES автоматично създаде индекс blog и тип post. Може да се направи условна аналогия: индекс — това е база данни, а тип — таблица в тази база данни. Всеки тип има своя схема — сопоставяне, подобно на релационната таблица. Mapping се генерира автоматично при индексиране на документа:

# Получим mapping всех типов индекса blog
curl -XGET "$ES_URL/blog/_mapping?pretty"

В отговора от сървъра добавих в коментарите стойностите на полетата на индексирания документ:

{
  "blog" : {
    "mappings" : {
      "post" : {
        "properties" : {
          /* "content": "<p>Смешна история за котенца<p>", * / 
          "content" : {
            "type" : "string"
          },
          /* "published_at": "2014-09-12T20:44:42+00:00" * /
          "published_at" : {
            "type" : "date",
            "format" : "strict_date_optional_time||epoch_millis"
          },
          /* "tags": ["котята", "смешная история"] * /
          "tags" : {
            "type" : "string"
          },
          /*  "title": "Веселые котята" * /
          "title" : {
            "type" : "string"
          }
        }
      }
    }
  }
}

Трябва да се отбележи, че ES не прави разликa между единична стойност и масив от стойности. Например, полето title съдържа просто заглавие, а полето tags — масив от низове, въпреки че те са представени в mapping по еднакъв начин.
По-късно ще говорим за маппинга по-подробно.

Запитвания

Извличане на документа по неговото id:

# извлечем документ с id 1 типа post из индекса blog
curl -XGET "$ES_URL/blog/post/1?pretty"

{
    "_index": "blog",
    "_type": "post",
    "_id": "1",
    "_version": 1,
    "found": true,
    "_source": {
        "title": "\u0412\u0435\u0441\u0435\u043b\u044b\u0435 \u043a\u043e\u0442\u044f\u0442\u0430",
        "content": "<p>\u0421\u043c\u0435\u0448\u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0437\u0430 \u043a\u043e\u0442\u0435\u043d\u0446\u0430<p>",
        "tags": [
            "\u043a\u043e\u0442\u044f\u0442\u0430",
            "\u0441\u043c\u0435\u0448\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f"
        ],
        "published_at": "2014-09-12T20:44:42+00:00"
    }
}

В отговора се появиха нови ключове: _version и _source. Всъщност, всички ключове, започващи с _ , се отнасят до служебни.

Ключ _version показва версията на документа. Тя е необходима за работата на механизма за оптимистично блокиране. Например, искаме да променим документ с версия 1. Изпращаме променения документ и посочваме, че това е редакция на документа с версия 1. Ако някой друг също е редактирал документа с версия 1 и е изпратил измененията преди нас, то ES няма да приеме нашите промени, тъй като съхранява документа с версия 2.

Ключ _source съдържа документа, който сме индексирали. ES не използва това значение за търсене, тъй като за търсенето се използват индекси. За економия на място, ES съхранява компресирания оригинален документ. Ако ни трябва само id, а не целият оригинален документ, можем да изключим съхраняването на оригинала.

Ако не ни е необходима допълнителна информация, можем да получим само съдържанието на _source:

curl -XGET "$ES_URL/blog/post/1/_source?pretty"

{
    "title": "\u0412\u0435\u0441\u0435\u043b\u044b\u0435 \u043a\u043e\u0442\u044f\u0442\u0430",
    "content": "<p>\u0421\u043c\u0435\u0448\u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0437\u0430 \u043a\u043e\u0442\u0435\u043d\u0446\u0430<p>",
    "tags": [
        "\u043a\u043e\u0442\u044f\u0442\u0430",
        "\u0441\u043c\u0435\u0448\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f"
    ],
    "published_at": "2014-09-12T20:44:42+00:00"
}

Също можем да изберем само определени полета:

# извлечем только поле title
curl -XGET "$ES_URL/blog/post/1?_source=title&pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Весели котенца"
  }
}

Нека индексираме още няколко поста и да изпълним по-сложни заявки.

curl -XPUT "$ES_URL/blog/post/2" -d'
{
  "title": "Весели кученца",
  "content": "<p>Смешна история за кученцата<p>",
  "tags": [
    "кученца",
    "смешна история"
  ],
  "published_at": "2014-08-12T20:44:42+00:00"
}'

curl -XPUT "$ES_URL/blog/post/3" -d'
{
  "title": "Как се появи моето коте",
  "content": "<p>Тъжна история за бедно коте от улицата<p>"
  "tags": [
    "котенца"
  ],
  "published_at": "2014-07-21T20:44:42+00:00"
}'

Сортиране

# найдем последний пост по дате публикации и извлечем поля title и published_at
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "size": 1,
  "_source": ["title", "published_at"],
  "sort": [{"published_at": "desc"}]
}'

{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : null,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : null,
      "_source" : {
        "title" : "Весели котенца",
        "published_at" : "2014-09-12T20:44:42+00:00"
      },
      "sort" : [ 1410554682000 ]
    } ]
  }
}

Избрахме последния пост. размер ограничава броя на документите в резултатите. total показва общия брой на документите, които отговарят на заявката. sort в резултатите съдържа масив от цели числа, по които се извършва сортиране. Т.е. датата е преобразувана в цяло число. Повече информация за сортиране можете да прочетете в документацията.

Филтри и заявки

ES от версия 2 не различава филтри и заявки, вместо това въвежда понятието контексти..
Контекстът на заявката се различава от контекста на филтъра по това, че заявката генерира _score и не се кешира. Какво е _score ще покажа по-късно.

Филтриране по дата

Използваме заявка range в контекста на filter:

# получим посты, опубликованные 1ого сентября или позже
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "filter": {
    "range": {
      "published_at": { "gte": "2014-09-01" }
    }
  }
}'

Филтриране по тагове

Използваме term query за търсене на id на документи, съдържащи зададена дума:

# найдем все документы, в поле tags которых есть элемент 'котята'
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": [
    "title",
    "tags"
  ],
  "filter": {
    "term": {
      "tags": "котята"
    }
  }
}'

{
  "took" : 9,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 1.0,
      "_source" : {
        "title" : "Смешни котета",
        "tags" : [ "котета", "смешна история" ]
      }
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 1.0,
      "_source" : {
        "title" : "Как си взех коте",
        "tags" : [ "котета" ]
      }
    } ]
  }
}

Пълен текстов търсене

Трите ни документа съдържат в полето content следното:

• <p>Смешна история за котенца<p>
• <p>Смешна история за кученцата<p>
• <p>Тъжна история за бедно коте от улицата<p>

Използваме match query за търсене на id на документи, съдържащи зададена дума:

# source: false означает, что не нужно извлекать _source найденных документов
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": false,
  "query": {
    "match": {
      "content": "история"
    }
  }
}'

{
  "took" : 13,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.11506981,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "2",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 0.095891505
    } ]
  }
}

Въпреки това, ако търсите "истории" в полето content, няма да намерим нищо, тъй като в индекса са включени само оригиналните думи, а не техните основи. За да направим качествено търсене, трябва да конфигурираме анализатора.

Поле _score показва релевантност. Ако заявката се изпълнява в контекста на filter, стойността на _score винаги ще бъде равна на 1, което означава пълно съответствие с филтъра.

Анализаторите

Анализаторите са необходими, за да преобразуват оригиналния текст в набор от токени.
Анализаторите се състоят от един Tokenizer и няколко незадължителни TokenFilters. Tokenizer може да предхожда няколко CharFilters. Tokenizer разбиват оригиналния низ на токени, например, по интервали и пунктуационни знаци. TokenFilter може да променя токени, да изтрива или добавя нови, например, да остави само основата на думата, да отстрани предлози, да добави синоним. CharFilter променя целия оригинален низ, например, изрязва HTML тагове.

В ES има няколко стандартни анализатора. Например, анализаторът russian.

Ще се възползваме от api и нека видим как анализаторите standard и russian преобразуват низа "Смешни истории за котета":

# используем анализатор standard       
# обязательно нужно перекодировать не ASCII символы
curl -XGET "$ES_URL/_analyze?pretty&analyzer=standard&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "смешни",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "",
    "position" : 0
  }, {
    "token" : "истории",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "",
    "position" : 1
  }, {
    "token" : "за",
    "start_offset" : 16,
    "end_offset" : 18,
    "type" : "",
    "position" : 2
  }, {
    "token" : "котета",
    "start_offset" : 19,
    "end_offset" : 25,
    "type" : "",
    "position" : 3
  } ]
}

# используем анализатор russian
curl -XGET "$ES_URL/_analyze?pretty&analyzer=russian&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "весел",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "",
    "position" : 0
  }, {
    "token" : "истор",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "",
    "position" : 1
  }, {
    "token" : "кот",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "",
    "position" : 3
  } ]
}

Стандартният анализатор разделя текста на основата на интервали и преобразува всичко в малки букви, анализаторът russian премахва несъществени думи, превръща в малки букви и оставя основата на думите.

Нека видим какви Tokenizer, TokenFilters, CharFilters използва анализаторът russian:

{
  "filter": {
    "russian_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "russian_keywords": {
      "type":       "keyword_marker",
      "keywords":   []
    },
    "russian_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "russian": {
      "tokenizer":  "standard",
      /* TokenFilters */
      "filter": [
        "lowercase",
        "russian_stop",
        "russian_keywords",
        "russian_stemmer"
      ]
      /* CharFilters липсват */
    }
  }
}

Нека опишем своя анализатор, базиран на russian, който ще премахва html таговете. Нека го наречем default, тъй като анализатор с това име ще се използва по подразбиране.

{
  "filter": {
    "ru_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "ru_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "default": {
      /* добавяме премахването на html тагове */
      "char_filter": ["html_strip"],
      "tokenizer":  "standard",
      "filter": [
        "lowercase",
        "ru_stop",
        "ru_stemmer"
      ]
    }
  }
}

Първо от изходната строка ще бъдат премахнати всички html тагове, след това тя ще бъде разделена на токени от tokenizer standard, получените токени ще преминат в малки букви, ще бъдат премахнати несъществени думи и от останалите токени ще остане основата на думата.

Създаване на индекс

По-горе описахме анализатора default. Той ще бъде приложен към всички текстови полета. Нашият пост съдържа масив от тагове, следователно, таговете също ще бъдат обработени от анализатора. Тъй като търсим постове по точно съвпадение на тага, е необходимо да се деактивира анализът за полето tags.

Да създадем индекс blog2 с анализатор и мапинг, в който анализът на полето tags е деактивиран:

curl -XPOST "$ES_URL/blog2" -d'
{
  "settings": {
    "analysis": {
      "filter": {
        "ru_stop": {
          "type": "stop",
          "stopwords": "_russian_"
        },
        "ru_stemmer": {
          "type": "stemmer",
          "language": "russian"
        }
      },
      "analyzer": {
        "default": {
          "char_filter": [
            "html_strip"
          ],
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "ru_stop",
            "ru_stemmer"
          ]
        }
      }
    }
  },
  "mappings": {
    "post": {
      "properties": {
        "content": {
          "type": "string"
        },
        "published_at": {
          "type": "date"
        },
        "tags": {
          "type": "string",
          "index": "not_analyzed"
        },
        "title": {
          "type": "string"
        }
      }
    }
  }
}'

Добавим същите 3 поста в този индекс (blog2). Пропускам този процес, тъй като е аналогичен добавянето на документи в индекс blog.

Пълнотекстово търсене с поддръжка на изрази

Нека се запознаем с още един тип заявки:

# найдем документы, в которых встречается слово 'истории'
# query -> simple_query_string -> query содержит поисковый запрос
# поле title имеет приоритет 3
# поле tags имеет приоритет 2
# поле content имеет приоритет 1
# приоритет используется при ранжировании результатов
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "истории",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

Тъй като използваме анализатор с руски стеминг, тази заявка ще върне всички документи, въпреки че в тях се среща само думата „история“.

Заявката може да съдържа специални символи, например:

""fried eggs" +(eggplant | potato) -frittata"

Синтаксис на заявката:

+ означава логическо И операнция
| означава логическо ИЛИ операнция
- отменя единичен токен
" огражда множество токени, за да означава фраза за търсене
* в края на термин означава запитване по префикс
( и ) означават приоритет
~N след дума означава разстояние на редактиране (недостатък)
~N след фраза означава количество слоп

# найдем документы без слова 'щенки'
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "-щенки",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

# получим 2 поста про котиков

Връзки

• Elasctic.co
• Справка
• Наръчник
• Глосарий
• Инсталиране
• Манипулации с документи
• Операции с индекси
• Списък със заявки

PS

Ако ви интересуват подобни статии-уроци, имате идеи за нови статии или предложения за сътрудничество, ще се радвам да получа съобщение в личка или на имейл m.kuzmin+habr@darkleaf.ru.

Източник: habr.com