Elasticsearch json rest api duen bilatzailea da, Lucene erabiltzen duena eta Javan idatzia. Motor honen abantaila guztien deskribapena hemen dago eskuragarri webgune ofiziala. Jarraian, Elasticsearch ES bezala aipatuko dugu.

Dokumentu datu-base batean bilaketa konplexuetarako antzeko motorrak erabiltzen dira. Adibidez, bilatu hizkuntzaren morfologia kontuan hartuta edo geokoordenatuen bidez bilatu.

Artikulu honetan ES-en oinarriei buruz hitz egingo dut blogeko argitalpenak indexatzeko adibidea erabiliz. Dokumentuak nola iragazi, ordenatu eta bilatzen erakutsiko dizut.

Sistema eragilearen menpe ez egoteko, eskaera guztiak ES-i egingo dizkiot CURL erabiliz. Google Chrome-rako plugin bat ere badago Zentzu.

Testuak dokumentaziorako eta beste iturri batzuetarako estekak ditu. Bukaeran dokumentazioa azkar sartzeko estekak daude. Termino ezezagunen definizioak hemen aurki daitezke glosarioak.

ES instalatzen

Horretarako, lehenik eta behin Java behar dugu. Garatzaileak gomendatu instalatu Java 8 eguneraketa 20 edo Java 7 eguneraketa 55 baino berriagoak diren Java bertsioak.

ES banaketa helbidean dago eskuragarri garatzaileen gunea. Artxiboa deskonprimitu ondoren exekutatu behar duzu bin/elasticsearch. Eskuragarri ere apt eta yum-entzako paketeak. Badago Docker-erako irudi ofiziala. Instalazioari buruz gehiago.

Instalatu eta abiarazi ondoren, egiaztatu dezagun funtzionaltasuna:

# для удобства запомним адрес в переменную
#export ES_URL=$(docker-machine ip dev):9200
export ES_URL=localhost:9200

curl -X GET $ES_URL

Horrelako zerbait jasoko dugu:

{
  "name" : "Heimdall",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.2.1",
    "build_hash" : "d045fc29d1932bce18b2e65ab8b297fbf6cd41a1",
    "build_timestamp" : "2016-03-09T09:38:54Z",
    "build_snapshot" : false,
    "lucene_version" : "5.4.1"
  },
  "tagline" : "You Know, for Search"
}

Indexatzea

Gehi dezagun mezu bat ES-en:

# Добавим документ c id 1 типа post в индекс blog.
# ?pretty указывает, что вывод должен быть человеко-читаемым.

curl -XPUT "$ES_URL/blog/post/1?pretty" -d'
{
  "title": "Веселые котята",
  "content": "<p>Смешная история про котят<p>",
  "tags": [
    "котята",
    "смешная история"
  ],
  "published_at": "2014-09-12T20:44:42+00:00"
}'

zerbitzariaren erantzuna:

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "created" : false
}

ES automatikoki sortu da aurkibidea bloga eta mota mezua. Baldintzazko analogia bat marraz dezakegu: indize bat datu-base bat da, eta mota bat datu-base honetako taula bat. Mota bakoitzak bere eskema du - mapping, mahai erlazional bat bezala. Mapeatzea automatikoki sortzen da dokumentua indexatzen denean:

# Получим mapping всех типов индекса blog
curl -XGET "$ES_URL/blog/_mapping?pretty"

Zerbitzariaren erantzunean, indexatutako dokumentuaren eremuen balioak gehitu ditut iruzkinetan:

{
  "blog" : {
    "mappings" : {
      "post" : {
        "properties" : {
          /* "content": "<p>Смешная история про котят<p>", */ 
          "content" : {
            "type" : "string"
          },
          /* "published_at": "2014-09-12T20:44:42+00:00" */
          "published_at" : {
            "type" : "date",
            "format" : "strict_date_optional_time||epoch_millis"
          },
          /* "tags": ["котята", "смешная история"] */
          "tags" : {
            "type" : "string"
          },
          /*  "title": "Веселые котята" */
          "title" : {
            "type" : "string"
          }
        }
      }
    }
  }
}

Aipatzekoa da ES-ek ez duela balio bakar bat eta balio-maiz bat bereizten. Adibidez, izenburu-eremuak izenburu bat besterik ez du dauka, eta etiketa-eremuak kate-matrize bat dauka, mapean modu berean irudikatzen diren arren.
Kartografiari buruz gehiago hitz egingo dugu gero.

Eskaerak

Dokumentu bat bere IDaren arabera berreskuratzen:

# извлечем документ с id 1 типа post из индекса blog
curl -XGET "$ES_URL/blog/post/1?pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята",
    "content" : "<p>Смешная история про котят<p>",
    "tags" : [ "котята", "смешная история" ],
    "published_at" : "2014-09-12T20:44:42+00:00"
  }
}

Erantzunean gako berriak agertu dira: _version и _source. Oro har, hasten diren gako guztiak _ ofizial gisa sailkatuta daude.

gakoa _version dokumentuaren bertsioa erakusten du. Beharrezkoa da blokeo-mekanismo baikorrak funtziona dezan. Adibidez, 1. bertsioa duen dokumentu bat aldatu nahi dugu. Aldatutako dokumentua bidaltzen dugu eta 1. bertsioa duen dokumentu baten edizioa dela adierazten dugu. Beste norbaitek 1. bertsioa duen dokumentu bat ere editatu badu eta gure aurretik aldaketak aurkeztu baditu, orduan ES ez ditu gure aldaketak onartuko, zeren dokumentua 2. bertsioarekin gordetzen du.

gakoa _source indexatu dugun dokumentua dauka. ES-k ez du balio hau erabiltzen bilaketa-eragiketetarako Bilatzeko indizeak erabiltzen dira. Espazioa aurrezteko, ES-ek iturburu-dokumentu konprimitu bat gordetzen du. Id-a soilik behar badugu, eta ez iturburu-dokumentu osoa, orduan iturburu-biltegia desgaitu dezakegu.

Informazio gehigarririk behar ez badugu, _source-ren edukia soilik lor dezakegu:

curl -XGET "$ES_URL/blog/post/1/_source?pretty"

{
  "title" : "Веселые котята",
  "content" : "<p>Смешная история про котят<p>",
  "tags" : [ "котята", "смешная история" ],
  "published_at" : "2014-09-12T20:44:42+00:00"
}

Eremu jakin batzuk soilik hauta ditzakezu:

# извлечем только поле title
curl -XGET "$ES_URL/blog/post/1?_source=title&pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята"
  }
}

Ikus ditzagun mezu gehiago indexatu eta egin ditzagun kontsulta konplexuagoak.

curl -XPUT "$ES_URL/blog/post/2" -d'
{
  "title": "Веселые щенки",
  "content": "<p>Смешная история про щенков<p>",
  "tags": [
    "щенки",
    "смешная история"
  ],
  "published_at": "2014-08-12T20:44:42+00:00"
}'

curl -XPUT "$ES_URL/blog/post/3" -d'
{
  "title": "Как у меня появился котенок",
  "content": "<p>Душераздирающая история про бедного котенка с улицы<p>",
  "tags": [
    "котята"
  ],
  "published_at": "2014-07-21T20:44:42+00:00"
}'

ordenatzeko

# найдем последний пост по дате публикации и извлечем поля title и published_at
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "size": 1,
  "_source": ["title", "published_at"],
  "sort": [{"published_at": "desc"}]
}'

{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : null,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : null,
      "_source" : {
        "title" : "Веселые котята",
        "published_at" : "2014-09-12T20:44:42+00:00"
      },
      "sort" : [ 1410554682000 ]
    } ]
  }
}

Azken mezua aukeratu dugu. size igorri beharreko dokumentu kopurua mugatzen du. total eskaerarekin bat datozen dokumentu kopuru osoa erakusten du. sort irteeran zenbaki osoen matrize bat dauka zeinen bidez ordenatzen den. Horiek. data zenbaki oso bihurtu zen. Sailkapenari buruzko informazio gehiago hemen aurki daiteke dokumentazioa.

Iragazkiak eta kontsultak

ES 2. bertsioak ez ditu iragazkiak eta kontsultak bereizten testuinguruen kontzeptua sartzen da.
Kontsulta-testuinguru bat iragazki-testuingurutik desberdina da, kontsultak _score bat sortzen duelako eta ez baita cachean gordetzen. Geroago erakutsiko dizut zer den _score.

Iragazi dataren arabera

Eskaera erabiltzen dugu sorta iragazkien testuinguruan:

# получим посты, опубликованные 1ого сентября или позже
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "filter": {
    "range": {
      "published_at": { "gte": "2014-09-01" }
    }
  }
}'

Iragazi etiketen arabera

Erabiltzen dugu terminoen kontsulta hitz jakin bat duten dokumentu IDak bilatzeko:

# найдем все документы, в поле tags которых есть элемент 'котята'
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": [
    "title",
    "tags"
  ],
  "filter": {
    "term": {
      "tags": "котята"
    }
  }
}'

{
  "took" : 9,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 1.0,
      "_source" : {
        "title" : "Веселые котята",
        "tags" : [ "котята", "смешная история" ]
      }
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 1.0,
      "_source" : {
        "title" : "Как у меня появился котенок",
        "tags" : [ "котята" ]
      }
    } ]
  }
}

Testu osoko bilaketa

Gure dokumentuetako hiruk honako hauek dituzte edukiaren eremuan:

Смешная история про котят
Смешная история про щенков
Душераздирающая история про бедного котенка с улицы

Erabiltzen dugu bat etortzeko kontsulta hitz jakin bat duten dokumentu IDak bilatzeko:

# source: false означает, что не нужно извлекать _source найденных документов
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": false,
  "query": {
    "match": {
      "content": "история"
    }
  }
}'

{
  "took" : 13,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.11506981,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "2",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 0.095891505
    } ]
  }
}

Hala ere, edukien eremuan “ipuinak” bilatzen baditugu, ez dugu ezer aurkituko, zeren Aurkibideak jatorrizko hitzak baino ez ditu, ez haien zurtoinak. Kalitate handiko bilaketa bat egiteko, analizatzailea konfiguratu behar duzu.

Field _score ikuskizunak garrantzia. Eskaera iragazki-testuinguru batean exekutatzen bada, orduan _score balioa 1-aren berdina izango da beti, hau da, iragazkiarekin bat etortzea esan nahi du.

Analizatzaileak

Analizatzaileak sorburu-testua token multzo batean bihurtzeko behar dira.
Analizatzaileak batek osatzen dute Tokenizatzailea eta hainbat aukerakoak TokenFilters. Tokenizer aurretik hainbat izan daitezke CharFilters. Tokenizatzaileek iturburu-katea tokenetan zatitzen dute, hala nola, zuriuneak eta puntuazio-karaktereak. TokenFilter-ek tokenak alda ditzake, berriak ezabatu edo gehi ditzake, adibidez, hitzaren zurtoina bakarrik utzi, preposizioak kendu, sinonimoak gehitu. CharFilter - iturburu-kate osoa aldatzen du, adibidez, html etiketak mozten ditu.

ESk hainbat ditu analizatzaile estandarrak. Adibidez, analizatzaile bat errusierazko.

Aprobetxa dezagun api eta ikus dezagun nola eraldatzen duten analizatzaile estandarrak eta errusiarrak "Katituei buruzko istorio dibertigarriak" katea:

# используем анализатор standard       
# обязательно нужно перекодировать не ASCII символы
curl -XGET "$ES_URL/_analyze?pretty&analyzer=standard&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "веселые",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истории",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "про",
    "start_offset" : 16,
    "end_offset" : 19,
    "type" : "<ALPHANUM>",
    "position" : 2
  }, {
    "token" : "котят",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

# используем анализатор russian
curl -XGET "$ES_URL/_analyze?pretty&analyzer=russian&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "весел",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истор",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "кот",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

Analizatzaile estandarrak katea espazioetan zatitu zuen eta dena minuskula bihurtu zuen, analizatzaile errusiarrak garrantzirik gabeko hitzak kendu, minuskula bihurtu eta hitzen ardatza utzi zuen.

Ikus dezagun zer Tokenizer, TokenFilters, CharFilters erabiltzen duen analizatzaile errusiarrak:

{
  "filter": {
    "russian_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "russian_keywords": {
      "type":       "keyword_marker",
      "keywords":   []
    },
    "russian_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "russian": {
      "tokenizer":  "standard",
      /* TokenFilters */
      "filter": [
        "lowercase",
        "russian_stop",
        "russian_keywords",
        "russian_stemmer"
      ]
      /* CharFilters отсутствуют */
    }
  }
}

Deskriba dezagun errusieran oinarritutako gure analizatzailea, html etiketak moztuko dituena. Dei diezaiogun lehenetsia, zeren izen hori duen analizatzaile bat erabiliko da lehenespenez.

{
  "filter": {
    "ru_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "ru_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "default": {
      /* добавляем удаление html тегов */
      "char_filter": ["html_strip"],
      "tokenizer":  "standard",
      "filter": [
        "lowercase",
        "ru_stop",
        "ru_stemmer"
      ]
    }
  }
}

Lehenik eta behin, HTML etiketa guztiak iturburu-katetik kenduko dira, gero tokenizer estandarrak tokenetan banatuko du, sortzen diren tokenak minuskulara eramango dira, hitz hutsalak kenduko dira eta gainerako tokenak hitzaren mamia izaten jarraituko dute.

Indize bat sortzea

Goian analizatzaile lehenetsia deskribatu dugu. Kate-eremu guztietan aplikatuko da. Gure argitalpenak etiketa sorta bat dauka, beraz, etiketak ere analizatzaileak prozesatuko ditu. Zeren Etiketa batekin bat etortze zehatzaren araberako argitalpenak bilatzen ari gara, gero etiketen eremurako analisia desgaitu behar dugu.

Sortu dezagun indize blog2 analizatzaile eta maparekin, non etiketen eremuaren analisia desgaituta dagoen:

curl -XPOST "$ES_URL/blog2" -d'
{
  "settings": {
    "analysis": {
      "filter": {
        "ru_stop": {
          "type": "stop",
          "stopwords": "_russian_"
        },
        "ru_stemmer": {
          "type": "stemmer",
          "language": "russian"
        }
      },
      "analyzer": {
        "default": {
          "char_filter": [
            "html_strip"
          ],
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "ru_stop",
            "ru_stemmer"
          ]
        }
      }
    }
  },
  "mappings": {
    "post": {
      "properties": {
        "content": {
          "type": "string"
        },
        "published_at": {
          "type": "date"
        },
        "tags": {
          "type": "string",
          "index": "not_analyzed"
        },
        "title": {
          "type": "string"
        }
      }
    }
  }
}'

Gehi ditzagun 3 mezu berdinak aurkibide honi (blog2). Prozesu hau baztertuko dut, zeren... blogaren aurkibideari dokumentuak gehitzearen antzekoa da.

Testu osoko bilaketa adierazpen-laguntzarekin

Ikus dezagun beste eskaera mota bati:

# найдем документы, в которых встречается слово 'истории'
# query -> simple_query_string -> query содержит поисковый запрос
# поле title имеет приоритет 3
# поле tags имеет приоритет 2
# поле content имеет приоритет 1
# приоритет используется при ранжировании результатов
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "истории",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

Zeren Errusiako jatorria duen analizatzaile bat erabiltzen ari gara, orduan eskaera honek dokumentu guztiak itzuliko ditu, nahiz eta "historia" hitza bakarrik eduki.

Eskaerak karaktere bereziak izan ditzake, adibidez:

""fried eggs" +(eggplant | potato) -frittata"

Eskaeraren sintaxia:

+ signifies AND operation
| signifies OR operation
- negates a single token
" wraps a number of tokens to signify a phrase for searching
* at the end of a term signifies a prefix query
( and ) signify precedence
~N after a word signifies edit distance (fuzziness)
~N after a phrase signifies slop amount

# найдем документы без слова 'щенки'
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "-щенки",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

# получим 2 поста про котиков

Erreferentziak

PS

Antzeko artikulu-ikasgaietan interesatzen bazaizu, artikulu berrietarako ideiak badituzu edo lankidetzarako proposamenak badituzu, pozik jasoko dut mezu bat mezu pertsonal batean edo posta elektronikoz. [posta elektroniko bidez babestua].

Iturria: www.habr.com

Elasticsearch oinarriak