Elasticsearch е пребарувач со json rest api, кој користи Lucene и е напишан на Java. Опис на сите предности на овој мотор е достапен на официјална веб-страница. Во она што следи ќе се однесуваме на Elasticsearch како ES.

Слични мотори се користат за сложени пребарувања во базата на податоци на документи. На пример, пребарување земајќи ја предвид морфологијата на јазикот или пребарување по геокоординати.

Во оваа статија ќе зборувам за основите на ES користејќи го примерот за индексирање на објави на блогови. Ќе ви покажам како да филтрирате, подредувате и пребарувате документи.

За да не зависам од оперативниот систем, ќе ги поднесам сите барања до ES користејќи CURL. Има и додаток за google chrome наречен смисла.

Низ текстот има линкови до документација и други извори. На крајот има линкови за брз пристап до документацијата. Дефиниции за непознати термини може да се најдат во речници.

Инсталирање ES

За да го направите ова, прво ни треба Java. Програмери препорача инсталирајте верзии на Java понови од Java 8 ажурирање 20 или Java 7 ажурирање 55.

Дистрибуцијата ES е достапна на веб-страница за програмери. Откако ќе ја отпакувате архивата, треба да ја извршите bin/elasticsearch. Исто така достапни пакети за стан и yum. Има официјална слика за докер. Повеќе за инсталацијата.

По инсталацијата и стартувањето, ајде да ја провериме функционалноста:

# для удобства запомним адрес в переменную
#export ES_URL=$(docker-machine ip dev):9200
export ES_URL=localhost:9200

curl -X GET $ES_URL

Ќе добиеме вакво нешто:

{
  "name" : "Heimdall",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.2.1",
    "build_hash" : "d045fc29d1932bce18b2e65ab8b297fbf6cd41a1",
    "build_timestamp" : "2016-03-09T09:38:54Z",
    "build_snapshot" : false,
    "lucene_version" : "5.4.1"
  },
  "tagline" : "You Know, for Search"
}

Индексирање

Ајде да додадеме објава во ES:

# Добавим документ c id 1 типа post в индекс blog.
# ?pretty указывает, что вывод должен быть человеко-читаемым.

curl -XPUT "$ES_URL/blog/post/1?pretty" -d'
{
  "title": "Веселые котята",
  "content": "<p>Смешная история про котят<p>",
  "tags": [
    "котята",
    "смешная история"
  ],
  "published_at": "2014-09-12T20:44:42+00:00"
}'

одговор на серверот:

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "created" : false
}

ES е создаден автоматски индекс блог и Тип пост. Можеме да нацртаме условна аналогија: индексот е база на податоци, а типот е табела во оваа база на податоци. Секој тип има своја шема − мапирање, исто како релациона табела. Мапирањето се генерира автоматски кога документот е индексиран:

# Получим mapping всех типов индекса blog
curl -XGET "$ES_URL/blog/_mapping?pretty"

Во одговорот на серверот, ги додадов вредностите на полињата на индексираниот документ во коментарите:

{
  "blog" : {
    "mappings" : {
      "post" : {
        "properties" : {
          /* "content": "<p>Смешная история про котят<p>", */ 
          "content" : {
            "type" : "string"
          },
          /* "published_at": "2014-09-12T20:44:42+00:00" */
          "published_at" : {
            "type" : "date",
            "format" : "strict_date_optional_time||epoch_millis"
          },
          /* "tags": ["котята", "смешная история"] */
          "tags" : {
            "type" : "string"
          },
          /*  "title": "Веселые котята" */
          "title" : {
            "type" : "string"
          }
        }
      }
    }
  }
}

Вреди да се напомене дека ES не прави разлика помеѓу една вредност и низа вредности. На пример, полето за наслов едноставно содржи наслов, а полето ознаки содржи низа низи, иако тие се претставени на ист начин при мапирањето.
Подоцна ќе зборуваме повеќе за мапирање.

Барања

Враќање документ според неговиот ид:

# извлечем документ с id 1 типа post из индекса blog
curl -XGET "$ES_URL/blog/post/1?pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята",
    "content" : "<p>Смешная история про котят<p>",
    "tags" : [ "котята", "смешная история" ],
    "published_at" : "2014-09-12T20:44:42+00:00"
  }
}

Во одговорот се појавија нови клучеви: _version и _source. Во принцип, сите клучеви почнувајќи со _ се класифицирани како официјални.

Клучни _version ја прикажува верзијата на документот. Потребно е за да функционира оптимистичкиот механизам за заклучување. На пример, сакаме да промениме документ што има верзија 1. Го поднесуваме променетиот документ и укажуваме дека ова е уредување на документ со верзија 1. Ако некој друг, исто така, уредил документ со верзија 1 и поднел промени пред нас, тогаш ЕС нема да ги прифати нашите промени, бидејќи го зачувува документот со верзија 2.

Клучни _source го содржи документот што го индексиравме. ES не ја користи оваа вредност за операции за пребарување затоа што Индексите се користат за пребарување. За да заштеди простор, ES складира компримиран изворен документ. Ако ни треба само ID, а не целиот изворен документ, тогаш можеме да го оневозможиме складирањето на изворот.

Доколку не ни требаат дополнителни информации, можеме да ја добиеме само содржината на _source:

curl -XGET "$ES_URL/blog/post/1/_source?pretty"

{
  "title" : "Веселые котята",
  "content" : "<p>Смешная история про котят<p>",
  "tags" : [ "котята", "смешная история" ],
  "published_at" : "2014-09-12T20:44:42+00:00"
}

Можете исто така да изберете само одредени полиња:

# извлечем только поле title
curl -XGET "$ES_URL/blog/post/1?_source=title&pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята"
  }
}

Ајде да индексираме уште неколку објави и да извршиме посложени прашања.

curl -XPUT "$ES_URL/blog/post/2" -d'
{
  "title": "Веселые щенки",
  "content": "<p>Смешная история про щенков<p>",
  "tags": [
    "щенки",
    "смешная история"
  ],
  "published_at": "2014-08-12T20:44:42+00:00"
}'

curl -XPUT "$ES_URL/blog/post/3" -d'
{
  "title": "Как у меня появился котенок",
  "content": "<p>Душераздирающая история про бедного котенка с улицы<p>",
  "tags": [
    "котята"
  ],
  "published_at": "2014-07-21T20:44:42+00:00"
}'

Сортирај

# найдем последний пост по дате публикации и извлечем поля title и published_at
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "size": 1,
  "_source": ["title", "published_at"],
  "sort": [{"published_at": "desc"}]
}'

{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : null,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : null,
      "_source" : {
        "title" : "Веселые котята",
        "published_at" : "2014-09-12T20:44:42+00:00"
      },
      "sort" : [ 1410554682000 ]
    } ]
  }
}

Го избравме последниот пост. size го ограничува бројот на документи што треба да се издаваат. total го прикажува вкупниот број на документи што одговараат на барањето. sort во излезот содржи низа од цели броеви со кои се врши сортирање. Оние. датумот беше претворен во цел број. Повеќе информации за сортирањето може да најдете во документација.

Филтри и прашања

ES бидејќи верзијата 2 не прави разлика помеѓу филтри и прашања, наместо тоа се воведува концептот на контексти.
Контекстот на барањето се разликува од контекстот на филтерот по тоа што барањето генерира _score и не е кеширано. Што е _score ќе ви покажам подоцна.

Филтрирајте по датум

Ние го користиме барањето опсег во контекст на филтерот:

# получим посты, опубликованные 1ого сентября или позже
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "filter": {
    "range": {
      "published_at": { "gte": "2014-09-01" }
    }
  }
}'

Филтрирајте по ознаки

Ние користиме термин барање да пребарувате за идентификатори на документи што содржат даден збор:

# найдем все документы, в поле tags которых есть элемент 'котята'
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": [
    "title",
    "tags"
  ],
  "filter": {
    "term": {
      "tags": "котята"
    }
  }
}'

{
  "took" : 9,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 1.0,
      "_source" : {
        "title" : "Веселые котята",
        "tags" : [ "котята", "смешная история" ]
      }
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 1.0,
      "_source" : {
        "title" : "Как у меня появился котенок",
        "tags" : [ "котята" ]
      }
    } ]
  }
}

Пребарување на целосен текст

Три од нашите документи го содржат следново во полето за содржина:

• <p>Смешная история про котят<p>
• <p>Смешная история про щенков<p>
• <p>Душераздирающая история про бедного котенка с улицы<p>

Ние користиме барање за совпаѓање да пребарувате за идентификатори на документи што содржат даден збор:

# source: false означает, что не нужно извлекать _source найденных документов
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": false,
  "query": {
    "match": {
      "content": "история"
    }
  }
}'

{
  "took" : 13,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.11506981,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "2",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 0.095891505
    } ]
  }
}

Меѓутоа, ако бараме „приказни“ во полето за содржина, нема да најдеме ништо, бидејќи Индексот ги содржи само оригиналните зборови, а не нивните стебла. За да направите висококвалитетно пребарување, треба да го конфигурирате анализаторот.

столб _score емисии Релевантност. Ако барањето се изврши во контекст на филтер, тогаш вредноста _score секогаш ќе биде еднаква на 1, што значи целосно совпаѓање со филтерот.

Анализатори

Анализатори се потребни за конвертирање на изворниот текст во збир на токени.
Анализаторите се состојат од еден Токенизатор и неколку опционални TokenFilters. На токенизаторот може да му претходат неколку CharFilters. Токенизаторите ја раскинуваат изворната низа во токени, како што се празни места и интерпункциски знаци. TokenFilter може да менува токени, да брише или да додава нови, на пример, да го остави само стеблото на зборот, да отстранува предлози, да додава синоними. CharFilter - ја менува целата изворна низа, на пример, ги отсекува HTML таговите.

ЕС има неколку стандардни анализатори. На пример, анализатор руски.

Ајде да ги искористиме API и да видиме како стандардните и руските анализатори ја трансформираат низата „Смешни приказни за мачиња“:

# используем анализатор standard       
# обязательно нужно перекодировать не ASCII символы
curl -XGET "$ES_URL/_analyze?pretty&analyzer=standard&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "веселые",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истории",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "про",
    "start_offset" : 16,
    "end_offset" : 19,
    "type" : "<ALPHANUM>",
    "position" : 2
  }, {
    "token" : "котят",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

# используем анализатор russian
curl -XGET "$ES_URL/_analyze?pretty&analyzer=russian&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "весел",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истор",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "кот",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

Стандардниот анализатор ја подели низата по празни места и сè претвори во мала буква, рускиот анализатор отстрани неважни зборови, ја претвори во мала буква и го остави стеблото на зборовите.

Ајде да видиме кои Tokenizer, TokenFilters, CharFilters ги користи рускиот анализатор:

{
  "filter": {
    "russian_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "russian_keywords": {
      "type":       "keyword_marker",
      "keywords":   []
    },
    "russian_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "russian": {
      "tokenizer":  "standard",
      /* TokenFilters */
      "filter": [
        "lowercase",
        "russian_stop",
        "russian_keywords",
        "russian_stemmer"
      ]
      /* CharFilters отсутствуют */
    }
  }
}

Ајде да го опишеме нашиот анализатор заснован на руски, кој ќе ги отсече HTML ознаките. Да го наречеме стандардно, бидејќи стандардно ќе се користи анализатор со ова име.

{
  "filter": {
    "ru_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "ru_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "default": {
      /* добавляем удаление html тегов */
      "char_filter": ["html_strip"],
      "tokenizer":  "standard",
      "filter": [
        "lowercase",
        "ru_stop",
        "ru_stemmer"
      ]
    }
  }
}

Прво, сите HTML ознаки ќе се отстранат од изворната низа, потоа стандардот за токенизатор ќе го подели на токени, добиените токени ќе се префрлат на мали букви, незначителни зборови ќе се отстранат, а останатите токени ќе останат стебло на зборот.

Креирање на индекс

Погоре го опишавме стандардниот анализатор. Ќе се применува на сите полиња со низа. Нашиот пост содржи низа ознаки, така што ознаките исто така ќе бидат обработени од анализаторот. Бидејќи Бараме објави по точно совпаѓање со ознака, тогаш треба да ја оневозможиме анализата за полето ознаки.

Ајде да создадеме индексен блог2 со анализатор и мапирање, во кој анализата на полето ознаки е оневозможена:

curl -XPOST "$ES_URL/blog2" -d'
{
  "settings": {
    "analysis": {
      "filter": {
        "ru_stop": {
          "type": "stop",
          "stopwords": "_russian_"
        },
        "ru_stemmer": {
          "type": "stemmer",
          "language": "russian"
        }
      },
      "analyzer": {
        "default": {
          "char_filter": [
            "html_strip"
          ],
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "ru_stop",
            "ru_stemmer"
          ]
        }
      }
    }
  },
  "mappings": {
    "post": {
      "properties": {
        "content": {
          "type": "string"
        },
        "published_at": {
          "type": "date"
        },
        "tags": {
          "type": "string",
          "index": "not_analyzed"
        },
        "title": {
          "type": "string"
        }
      }
    }
  }
}'

Ајде да ги додадеме истите 3 објави на овој индекс (блог2). Ќе го испуштам овој процес бидејќи ... тоа е слично на додавање документи во индексот на блогот.

Пребарување целосен текст со поддршка за изразување

Ајде да погледнеме друг тип на барање:

# найдем документы, в которых встречается слово 'истории'
# query -> simple_query_string -> query содержит поисковый запрос
# поле title имеет приоритет 3
# поле tags имеет приоритет 2
# поле content имеет приоритет 1
# приоритет используется при ранжировании результатов
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "истории",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

Бидејќи Користиме анализатор со руско потекло, тогаш ова барање ќе ги врати сите документи, иако тие го содржат само зборот „историја“.

Барањето може да содржи специјални знаци, на пример:

""fried eggs" +(eggplant | potato) -frittata"

Побарајте синтакса:

+ signifies AND operation
| signifies OR operation
- negates a single token
" wraps a number of tokens to signify a phrase for searching
* at the end of a term signifies a prefix query
( and ) signify precedence
~N after a word signifies edit distance (fuzziness)
~N after a phrase signifies slop amount

# найдем документы без слова 'щенки'
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "-щенки",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

# получим 2 поста про котиков

референци

• Elasctic.co
• Суд
• водич
• Речник
• Инсталација
• Манипулација со документи
• Индекси операции
• Список на барања

PS

Доколку сте заинтересирани за слични написи-лекции, имате идеи за нови написи или имате предлози за соработка, тогаш ќе ми биде драго да добијам порака во лична порака или на е-пошта [заштитена по е-пошта].

Извор: www.habr.com