Еластицсеарцх је претраживач са јсон рест апи, који користи Луцене и написан на Јави. Опис свих предности овог мотора доступан је на званични сајт. У даљем тексту ћемо Еластицсеарцх називати ЕС.

Слични мотори се користе за сложена претраживања у бази докумената. На пример, претраживање узимајући у обзир морфологију језика или претрагу по географским координатама.

У овом чланку ћу говорити о основама ЕС-а на примеру индексирања блог постова. Показаћу вам како да филтрирате, сортирате и претражујете документе.

Да не бих зависио од оперативног система, све захтеве ћу упутити ЕС-у користећи ЦУРЛ. Постоји и додатак за Гоогле Цхроме тзв смисао.

Текст садржи везе ка документацији и другим изворима. На крају се налазе линкови за брзи приступ документацији. Дефиниције непознатих појмова могу се наћи у појмовници.

Инсталирање ЕС

Да бисмо то урадили, прво нам је потребна Јава. Девелоперс препоручити инсталирајте Јава верзије новије од Јава 8 ажурирања 20 или Јава 7 ажурирања 55.

ЕС дистрибуција је доступна на веб-сајт програмера. Након распакивања архиве морате покренути bin/elasticsearch. Такође доступно пакети за апт и иум... постоји званична слика за доцкер. Више о инсталацији.

Након инсталације и покретања, хајде да проверимо функционалност:

# для удобства запомним адрес в переменную
#export ES_URL=$(docker-machine ip dev):9200
export ES_URL=localhost:9200

curl -X GET $ES_URL

Добићемо нешто овако:

{
  "name" : "Heimdall",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.2.1",
    "build_hash" : "d045fc29d1932bce18b2e65ab8b297fbf6cd41a1",
    "build_timestamp" : "2016-03-09T09:38:54Z",
    "build_snapshot" : false,
    "lucene_version" : "5.4.1"
  },
  "tagline" : "You Know, for Search"
}

Индексирање

Хајде да додамо пост у ЕС:

# Добавим документ c id 1 типа post в индекс blog.
# ?pretty указывает, что вывод должен быть человеко-читаемым.

curl -XPUT "$ES_URL/blog/post/1?pretty" -d'
{
  "title": "Веселые котята",
  "content": "<p>Смешная история про котят<p>",
  "tags": [
    "котята",
    "смешная история"
  ],
  "published_at": "2014-09-12T20:44:42+00:00"
}'

одговор сервера:

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "created" : false
}

ЕС аутоматски креиран indeks блог и Тип пошта. Можемо повући условну аналогију: индекс је база података, а тип је табела у овој бази података. Сваки тип има своју шему − картографија, баш као релациона табела. Мапирање се генерише аутоматски када се документ индексира:

# Получим mapping всех типов индекса blog
curl -XGET "$ES_URL/blog/_mapping?pretty"

У одговору сервера, додао сам вредности поља индексираног документа у коментарима:

{
  "blog" : {
    "mappings" : {
      "post" : {
        "properties" : {
          /* "content": "<p>Смешная история про котят<p>", */ 
          "content" : {
            "type" : "string"
          },
          /* "published_at": "2014-09-12T20:44:42+00:00" */
          "published_at" : {
            "type" : "date",
            "format" : "strict_date_optional_time||epoch_millis"
          },
          /* "tags": ["котята", "смешная история"] */
          "tags" : {
            "type" : "string"
          },
          /*  "title": "Веселые котята" */
          "title" : {
            "type" : "string"
          }
        }
      }
    }
  }
}

Вреди напоменути да ЕС не прави разлику између једне вредности и низа вредности. На пример, поље наслова једноставно садржи наслов, а поље ознака садржи низ стрингова, иако су они представљени на исти начин у мапирању.
Касније ћемо више причати о мапирању.

zahtevi

Преузимање документа по његовом ИД-у:

# извлечем документ с id 1 типа post из индекса blog
curl -XGET "$ES_URL/blog/post/1?pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята",
    "content" : "<p>Смешная история про котят<p>",
    "tags" : [ "котята", "смешная история" ],
    "published_at" : "2014-09-12T20:44:42+00:00"
  }
}

У одговору су се појавили нови кључеви: _version и _source. Генерално, сви кључеви почев од _ класификовани су као службени.

Кључ _version приказује верзију документа. То је потребно да би оптимистични механизам закључавања радио. На пример, желимо да променимо документ који има верзију 1. Предајемо измењени документ и означавамо да је ово измена документа са верзијом 1. Ако је неко други такође уређивао документ са верзијом 1 и поднео измене пре нас, онда ЕС неће прихватити наше измене, јер он чува документ са верзијом 2.

Кључ _source садржи документ који смо индексирали. ЕС не користи ову вредност за операције претраживања јер За претраживање се користе индекси. Да уштеди простор, ЕС складишти компримовани изворни документ. Ако нам је потребан само ид, а не цео изворни документ, онда можемо да онемогућимо изворно складиште.

Ако нам нису потребне додатне информације, можемо добити само садржај _соурце:

curl -XGET "$ES_URL/blog/post/1/_source?pretty"

{
  "title" : "Веселые котята",
  "content" : "<p>Смешная история про котят<p>",
  "tags" : [ "котята", "смешная история" ],
  "published_at" : "2014-09-12T20:44:42+00:00"
}

Такође можете да изаберете само одређена поља:

# извлечем только поле title
curl -XGET "$ES_URL/blog/post/1?_source=title&pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята"
  }
}

Хајде да индексирамо још неколико постова и покренемо сложеније упите.

curl -XPUT "$ES_URL/blog/post/2" -d'
{
  "title": "Веселые щенки",
  "content": "<p>Смешная история про щенков<p>",
  "tags": [
    "щенки",
    "смешная история"
  ],
  "published_at": "2014-08-12T20:44:42+00:00"
}'

curl -XPUT "$ES_URL/blog/post/3" -d'
{
  "title": "Как у меня появился котенок",
  "content": "<p>Душераздирающая история про бедного котенка с улицы<p>",
  "tags": [
    "котята"
  ],
  "published_at": "2014-07-21T20:44:42+00:00"
}'

Сортировка

# найдем последний пост по дате публикации и извлечем поля title и published_at
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "size": 1,
  "_source": ["title", "published_at"],
  "sort": [{"published_at": "desc"}]
}'

{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : null,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : null,
      "_source" : {
        "title" : "Веселые котята",
        "published_at" : "2014-09-12T20:44:42+00:00"
      },
      "sort" : [ 1410554682000 ]
    } ]
  }
}

Изабрали смо последњи пост. size ограничава број докумената који се издају. total приказује укупан број докумената који одговарају захтеву. sort у излазу садржи низ целих бројева по којима се врши сортирање. Оне. датум је претворен у цео број. Више информација о сортирању можете пронаћи у документација.

Филтери и упити

ЕС од верзије 2 не прави разлику између филтера и упита уводи се појам контекста.
Контекст упита се разликује од контекста филтера по томе што упит генерише _сцоре и није кеширан. Касније ћу вам показати шта је _сцоре.

Филтрирајте по датуму

Користимо захтев домет у контексту филтера:

# получим посты, опубликованные 1ого сентября или позже
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "filter": {
    "range": {
      "published_at": { "gte": "2014-09-01" }
    }
  }
}'

Филтрирајте по ознакама

Користимо термин упит за тражење ИД-ова докумената који садрже дату реч:

# найдем все документы, в поле tags которых есть элемент 'котята'
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": [
    "title",
    "tags"
  ],
  "filter": {
    "term": {
      "tags": "котята"
    }
  }
}'

{
  "took" : 9,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 1.0,
      "_source" : {
        "title" : "Веселые котята",
        "tags" : [ "котята", "смешная история" ]
      }
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 1.0,
      "_source" : {
        "title" : "Как у меня появился котенок",
        "tags" : [ "котята" ]
      }
    } ]
  }
}

Претраживање целог текста

Три наша документа садрже следеће у пољу садржаја:

• <p>Смешная история про котят<p>
• <p>Смешная история про щенков<p>
• <p>Душераздирающая история про бедного котенка с улицы<p>

Користимо упит за подударање за тражење ИД-ова докумената који садрже дату реч:

# source: false означает, что не нужно извлекать _source найденных документов
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": false,
  "query": {
    "match": {
      "content": "история"
    }
  }
}'

{
  "took" : 13,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.11506981,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "2",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 0.095891505
    } ]
  }
}

Међутим, ако тражимо „приче“ у пољу садржаја, нећемо ништа пронаћи, јер Индекс садржи само оригиналне речи, не и њихове основе. Да бисте извршили квалитетну претрагу, потребно је да конфигуришете анализатор.

Поље _score емисије релевантност. Ако се захтев извршава у контексту филтера, онда ће вредност _сцоре увек бити једнака 1, што значи потпуно подударање са филтером.

Анализатори

Анализатори потребни су за претварање изворног текста у скуп токена.
Анализатори се састоје од једног Токенизер и неколико опционих ТокенФилтерс. Токенизер-у може претходити неколико ЦхарФилтерс. Токенизатори разбијају изворни низ на токене, као што су размаци и знакови интерпункције. ТокенФилтер може променити токене, избрисати или додати нове, на пример, оставити само корен речи, уклонити предлоге, додати синониме. ЦхарФилтер - мења цео изворни стринг, на пример, исече хтмл ознаке.

ЕС има неколико стандардни анализатори. На пример, анализатор руски.

Хајде да искористимо предност АПИ и да видимо како стандардни и руски анализатори трансформишу низ „Смешне приче о мачићима“:

# используем анализатор standard       
# обязательно нужно перекодировать не ASCII символы
curl -XGET "$ES_URL/_analyze?pretty&analyzer=standard&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "веселые",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истории",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "про",
    "start_offset" : 16,
    "end_offset" : 19,
    "type" : "<ALPHANUM>",
    "position" : 2
  }, {
    "token" : "котят",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

# используем анализатор russian
curl -XGET "$ES_URL/_analyze?pretty&analyzer=russian&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "весел",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истор",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "кот",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

Стандардни анализатор је поделио стринг по размацима и конвертовао све у мала слова, руски анализатор је уклонио неважне речи, конвертовао га у мала слова и оставио корен речи.

Хајде да видимо које Токенизер, ТокенФилтерс, ЦхарФилтерс користи руски анализатор:

{
  "filter": {
    "russian_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "russian_keywords": {
      "type":       "keyword_marker",
      "keywords":   []
    },
    "russian_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "russian": {
      "tokenizer":  "standard",
      /* TokenFilters */
      "filter": [
        "lowercase",
        "russian_stop",
        "russian_keywords",
        "russian_stemmer"
      ]
      /* CharFilters отсутствуют */
    }
  }
}

Хајде да опишемо наш анализатор заснован на руском, који ће изрезати хтмл ознаке. Назовимо то подразумеваним, јер анализатор са овим именом ће се подразумевано користити.

{
  "filter": {
    "ru_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "ru_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "default": {
      /* добавляем удаление html тегов */
      "char_filter": ["html_strip"],
      "tokenizer":  "standard",
      "filter": [
        "lowercase",
        "ru_stop",
        "ru_stemmer"
      ]
    }
  }
}

Прво, све ХТМЛ ознаке ће бити уклоњене из изворног низа, затим ће га стандард за токенизер поделити на токене, резултујући токени ће се преместити на мала слова, безначајне речи ће бити уклоњене, а преостали токени ће остати основа речи.

Креирање индекса

Изнад смо описали подразумевани анализатор. Примењиваће се на сва поља стрингова. Наш пост садржи низ ознака, тако да ће и тагови бити обрађени од стране анализатора. Јер Тражимо постове по тачном подударању са ознаком, а затим морамо да онемогућимо анализу за поље за ознаке.

Хајде да направимо индексни блог2 са анализатором и мапирањем, у којем је онемогућена анализа поља ознака:

curl -XPOST "$ES_URL/blog2" -d'
{
  "settings": {
    "analysis": {
      "filter": {
        "ru_stop": {
          "type": "stop",
          "stopwords": "_russian_"
        },
        "ru_stemmer": {
          "type": "stemmer",
          "language": "russian"
        }
      },
      "analyzer": {
        "default": {
          "char_filter": [
            "html_strip"
          ],
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "ru_stop",
            "ru_stemmer"
          ]
        }
      }
    }
  },
  "mappings": {
    "post": {
      "properties": {
        "content": {
          "type": "string"
        },
        "published_at": {
          "type": "date"
        },
        "tags": {
          "type": "string",
          "index": "not_analyzed"
        },
        "title": {
          "type": "string"
        }
      }
    }
  }
}'

Хајде да додамо иста 3 поста у овај индекс (блог2). Изоставићу овај процес јер... слично је додавању докумената у индекс блога.

Претраживање целог текста са подршком за изразе

Хајде да погледамо другу врсту захтева:

# найдем документы, в которых встречается слово 'истории'
# query -> simple_query_string -> query содержит поисковый запрос
# поле title имеет приоритет 3
# поле tags имеет приоритет 2
# поле content имеет приоритет 1
# приоритет используется при ранжировании результатов
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "истории",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

Јер Користимо анализатор са руским пореклом, онда ће овај захтев вратити све документе, иако садрже само реч „историја“.

Захтев може да садржи посебне знакове, на пример:

""fried eggs" +(eggplant | potato) -frittata"

Синтакса захтева:

+ signifies AND operation
| signifies OR operation
- negates a single token
" wraps a number of tokens to signify a phrase for searching
* at the end of a term signifies a prefix query
( and ) signify precedence
~N after a word signifies edit distance (fuzziness)
~N after a phrase signifies slop amount

# найдем документы без слова 'щенки'
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "-щенки",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

# получим 2 поста про котиков

референце

• Еласцтиц.цо
• Препорука
• Uputstva
• Глосар
• Инсталација
• Манипулација документима
• Индек Оператионс
• Списак захтева

PS

Ако сте заинтересовани за такве лекције чланака, имате идеје за нове чланке или имате предлоге за сарадњу, биће ми драго да добијем поруку у личној поруци или на маил м.кузмин+хабр@дарклеаф.ру.

Извор: ввв.хабр.цом