Elasticsearch dia motera fikarohana misy json rest api, mampiasa Lucene ary voasoratra amin'ny Java. Ny famaritana ny tombony rehetra amin'ity motera ity dia hita ao amin'ny tranonkala ofisialy. Amin'ity manaraka ity dia hiantso ny Elasticsearch ho ES isika.

Ny maotera mitovy amin'izany dia ampiasaina amin'ny fikarohana sarotra amin'ny angon-drakitra antontan-taratasy. Ohatra, mikaroka amin'ny alàlan'ny morphologie ny fiteny na mikaroka amin'ny alàlan'ny koordinate geo.

Amin'ity lahatsoratra ity dia hiresaka momba ny fototry ny ES aho amin'ny fampiasana ny ohatra amin'ny fanondroana lahatsoratra bilaogy. Hasehoko anao ny fomba fanivanana, fanasokajiana ary fitadiavana antontan-taratasy.

Mba tsy hiankin-doha amin'ny rafitra miasa dia hanao ny fangatahana rehetra amin'ny ES aho amin'ny fampiasana CURL. Misy ihany koa ny plugin ho an'ny google chrome antsoina hevitra.

Ny lahatsoratra dia misy rohy mankany amin'ny antontan-taratasy sy loharano hafa. Amin'ny farany dia misy rohy ahafahana miditra haingana amin'ny antontan-taratasy. Famaritana ny teny tsy mahazatra dia hita ao amin'ny glossaries.

Fametrahana ES

Mba hanaovana izany dia mila Java aloha isika. mpandraharaha Recommend mametraka dikan-teny Java vaovao kokoa noho ny Java 8 update 20 na Java 7 update 55.

Ny fizarana ES dia hita ao amin'ny tranonkala developer. Aorian'ny famoahana ny rakitra dia mila mihazakazaka ianao bin/elasticsearch. Misy ihany koa fonosana ho an'ny apt sy yum. Misy sary ofisialy ho an'ny docker. Bebe kokoa momba ny fametrahana.

Aorian'ny fametrahana sy fandefasana, andeha hojerentsika ny fiasa:

# для удобства запомним адрес в переменную
#export ES_URL=$(docker-machine ip dev):9200
export ES_URL=localhost:9200

curl -X GET $ES_URL

Hahazo zavatra toy izao isika:

{
  "name" : "Heimdall",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.2.1",
    "build_hash" : "d045fc29d1932bce18b2e65ab8b297fbf6cd41a1",
    "build_timestamp" : "2016-03-09T09:38:54Z",
    "build_snapshot" : false,
    "lucene_version" : "5.4.1"
  },
  "tagline" : "You Know, for Search"
}

nirakitra anarana

Andeha isika hanampy lahatsoratra amin'ny ES:

# Добавим документ c id 1 типа post в индекс blog.
# ?pretty указывает, что вывод должен быть человеко-читаемым.

curl -XPUT "$ES_URL/blog/post/1?pretty" -d'
{
  "title": "Веселые котята",
  "content": "<p>Смешная история про котят<p>",
  "tags": [
    "котята",
    "смешная история"
  ],
  "published_at": "2014-09-12T20:44:42+00:00"
}'

valintenin'ny mpizara:

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "created" : false
}

ES noforonina ho azy Fanondroana blog ary karazana lahatsoratra. Afaka manao fanoharana misy fepetra isika: ny index dia angon-drakitra, ary ny karazany dia ny latabatra ao amin'ity tahiry ity. Samy manana ny drafiny − ny karazana tsirairay sarintany, toy ny tabilao fifandraisana. Ny sari-tany dia miforona ho azy rehefa misy indexed ny antontan-taratasy:

# Получим mapping всех типов индекса blog
curl -XGET "$ES_URL/blog/_mapping?pretty"

Ao amin'ny valintenin'ny mpizara dia nampiako ny sandan'ny sahan'ny antontan-taratasy voarakitra ao amin'ny fanehoan-kevitra:

{
  "blog" : {
    "mappings" : {
      "post" : {
        "properties" : {
          /* "content": "<p>Смешная история про котят<p>", */ 
          "content" : {
            "type" : "string"
          },
          /* "published_at": "2014-09-12T20:44:42+00:00" */
          "published_at" : {
            "type" : "date",
            "format" : "strict_date_optional_time||epoch_millis"
          },
          /* "tags": ["котята", "смешная история"] */
          "tags" : {
            "type" : "string"
          },
          /*  "title": "Веселые котята" */
          "title" : {
            "type" : "string"
          }
        }
      }
    }
  }
}

Tsara ny manamarika fa ny ES dia tsy manavaka ny sanda tokana sy ny sanda maromaro. Ohatra, misy lohateny tsotra fotsiny ny saha lohateny, ary misy tady maromaro ny saha misy marika, na dia aseho amin'ny fomba mitovy amin'ny fanaovana sari-tany aza izy ireo.
Hiresaka bebe kokoa momba ny sarintany isika aoriana.

fangatahana

Maka antontan-taratasy amin'ny id:

# извлечем документ с id 1 типа post из индекса blog
curl -XGET "$ES_URL/blog/post/1?pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята",
    "content" : "<p>Смешная история про котят<p>",
    "tags" : [ "котята", "смешная история" ],
    "published_at" : "2014-09-12T20:44:42+00:00"
  }
}

Fanalahidy vaovao no niseho tao amin'ny valiny: _version и _source. Amin'ny ankapobeny, ny fanalahidy rehetra manomboka amin'ny _ dia sokajiana ho ofisialy.

manan-danja _version mampiseho ny dikan-drakitra. Ilaina izany mba hiasa ny mekanika fanidy optimistika. Ohatra, te-hanova antontan-taratasy manana dikan-teny 1 izahay. Atolotray ny antontan-taratasy novana ary asehoy fa fanitsiana ny antontan-taratasy misy dikan-teny 1. Raha misy olon-kafa nanova antontan-taratasy misy dikan-teny 1 koa ary nandefa fanovana teo anoloanay, dia Tsy hanaiky ny fiovanay ny ES, satria mitahiry ny antontan-taratasy miaraka amin'ny version 2.

manan-danja _source misy ny antontan-taratasy notondroinay. Tsy mampiasa io sanda io amin'ny asa fikarohana ny ES satria Ny fanondroana dia ampiasaina amin'ny fikarohana. Mba hitsitsiana toerana, ES dia mitahiry antontan-taratasy loharano voaporitra. Raha ny id ihany no ilainay, fa tsy ny antontan-taratasy loharano iray manontolo, dia afaka manafoana ny fitahirizana loharano.

Raha tsy mila fampahalalana fanampiny isika dia ny votoatin'ny _source ihany:

curl -XGET "$ES_URL/blog/post/1/_source?pretty"

{
  "title" : "Веселые котята",
  "content" : "<p>Смешная история про котят<p>",
  "tags" : [ "котята", "смешная история" ],
  "published_at" : "2014-09-12T20:44:42+00:00"
}

Tsy afaka misafidy afa-tsy saha sasany ihany koa ianao:

# извлечем только поле title
curl -XGET "$ES_URL/blog/post/1?_source=title&pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята"
  }
}

Andao hanondro lahatsoratra vitsivitsy hafa ary hanao fanontaniana sarotra kokoa.

curl -XPUT "$ES_URL/blog/post/2" -d'
{
  "title": "Веселые щенки",
  "content": "<p>Смешная история про щенков<p>",
  "tags": [
    "щенки",
    "смешная история"
  ],
  "published_at": "2014-08-12T20:44:42+00:00"
}'

curl -XPUT "$ES_URL/blog/post/3" -d'
{
  "title": "Как у меня появился котенок",
  "content": "<p>Душераздирающая история про бедного котенка с улицы<p>",
  "tags": [
    "котята"
  ],
  "published_at": "2014-07-21T20:44:42+00:00"
}'

manavaka

# найдем последний пост по дате публикации и извлечем поля title и published_at
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "size": 1,
  "_source": ["title", "published_at"],
  "sort": [{"published_at": "desc"}]
}'

{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : null,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : null,
      "_source" : {
        "title" : "Веселые котята",
        "published_at" : "2014-09-12T20:44:42+00:00"
      },
      "sort" : [ 1410554682000 ]
    } ]
  }
}

Nifidy ny lahatsoratra farany izahay. size mametra ny isan'ny antontan-taratasy havoaka. total mampiseho ny fitambaran'ny antontan-taratasy mifanaraka amin'ny fangatahana. sort ao amin'ny vokatra dia misy integer maromaro izay anaovana fanasokajiana. Ireo. niova ho isa ny daty. Ny fampahalalana bebe kokoa momba ny fanasokajiana dia azo jerena ao tahirin-kevitra.

Sivana sy fanontaniana

ES hatramin'ny dikan-teny 2 dia tsy manavaka ny sivana sy ny fanontaniana ampidirina ny foto-kevitry ny contexte.
Ny contexte query dia tsy mitovy amin'ny contexte sivana satria ny query dia miteraka _score ary tsy voatahiry. Hasehoko anao hoe inona ny _score any aoriana.

Sivanina araka ny daty

Mampiasa ny fangatahana izahay isan-karazany ao anatin'ny tontolon'ny sivana:

# получим посты, опубликованные 1ого сентября или позже
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "filter": {
    "range": {
      "published_at": { "gte": "2014-09-01" }
    }
  }
}'

Sivanina amin'ny marika

Ampiasainay fanontaniana teny hikaroka ny ID antontan-taratasy misy teny nomena:

# найдем все документы, в поле tags которых есть элемент 'котята'
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": [
    "title",
    "tags"
  ],
  "filter": {
    "term": {
      "tags": "котята"
    }
  }
}'

{
  "took" : 9,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 1.0,
      "_source" : {
        "title" : "Веселые котята",
        "tags" : [ "котята", "смешная история" ]
      }
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 1.0,
      "_source" : {
        "title" : "Как у меня появился котенок",
        "tags" : [ "котята" ]
      }
    } ]
  }
}

Fikarohana lahatsoratra feno

Ny telo amin'ireo antontan-taratasinay dia ahitana ireto manaraka ireto ao amin'ny sehatry ny atiny:

Смешная история про котят
Смешная история про щенков
Душераздирающая история про бедного котенка с улицы

Ampiasainay fanontaniana mifanandrify hikaroka ny ID antontan-taratasy misy teny nomena:

# source: false означает, что не нужно извлекать _source найденных документов
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": false,
  "query": {
    "match": {
      "content": "история"
    }
  }
}'

{
  "took" : 13,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.11506981,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "2",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 0.095891505
    } ]
  }
}

Na izany aza, raha mitady "tantara" ao amin'ny sehatry ny votoaty isika, dia tsy hahita na inona na inona, satria Ny teny tany am-boalohany ihany no ao amin'ilay fanondroana, fa tsy ny tahony. Mba hanaovana fikarohana avo lenta dia mila manamboatra ny mpandinika ianao.

saha _score mampiseho HAJANY. Raha tanterahana amin'ny contexte sivana ny fangatahana, dia hitovy amin'ny 1 foana ny sanda _score, izay midika fa mifanaraka tanteraka amin'ny sivana.

analyzers

analyzers ilaina ny mamadika ny lahatsoratra loharano ho andiana famantarana.
Ny mpandinika dia misy iray Tokenizer ary safidy maromaro TokenFilters. Tokenizer dia mety hialohavan'ny maromaro CharFilters. Ny tokenizer dia manapaka ny tady loharano ho famantarana, toy ny habaka sy ny mari-piatoana. Ny TokenFilter dia afaka manova famantarana, mamafa na manampy vaovao, ohatra, mamela afa-tsy ny fototry ny teny, manala prepositions, manampy synonymes. CharFilter - manova ny tady loharano manontolo, ohatra, manapaka ny tag html.

Misy maromaro ny ES mpanadihady mahazatra. Ohatra, mpandinika Rosiana.

Andao hanararaotra API ary andao hojerentsika ny fomba nanovan'ireo mpanadihady mahazatra sy rosiana ny andian-dahatsoratra "Tantara mampihomehy momba ny saka":

# используем анализатор standard       
# обязательно нужно перекодировать не ASCII символы
curl -XGET "$ES_URL/_analyze?pretty&analyzer=standard&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "веселые",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истории",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "про",
    "start_offset" : 16,
    "end_offset" : 19,
    "type" : "<ALPHANUM>",
    "position" : 2
  }, {
    "token" : "котят",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

# используем анализатор russian
curl -XGET "$ES_URL/_analyze?pretty&analyzer=russian&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "весел",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истор",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "кот",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

Nozarain'ny mpanadihady manara-penitra tamin'ny habaka ny kofehy ary nanova ny zava-drehetra ho litera kely, nesorin'ny mpanadihady Rosiana ny teny tsy manan-danja, nanova azy ho litera kely ary namela ny fototry ny teny.

Andeha hojerentsika izay Tokenizer, TokenFilters, CharFilters ampiasain'ny mpanadihady Rosiana:

{
  "filter": {
    "russian_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "russian_keywords": {
      "type":       "keyword_marker",
      "keywords":   []
    },
    "russian_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "russian": {
      "tokenizer":  "standard",
      /* TokenFilters */
      "filter": [
        "lowercase",
        "russian_stop",
        "russian_keywords",
        "russian_stemmer"
      ]
      /* CharFilters отсутствуют */
    }
  }
}

Andeha hofaritana ny mpandinika anay mifototra amin'ny teny Rosiana, izay hanapaka ny marika html. Aleo atao hoe default, satria mpandinika manana an'io anarana io no hampiasaina amin'ny alàlan'ny default.

{
  "filter": {
    "ru_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "ru_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "default": {
      /* добавляем удаление html тегов */
      "char_filter": ["html_strip"],
      "tokenizer":  "standard",
      "filter": [
        "lowercase",
        "ru_stop",
        "ru_stemmer"
      ]
    }
  }
}

Voalohany, esorina ao amin'ny tady loharano ny marika HTML rehetra, avy eo ny fenitry ny tokenizer dia hizara izany ho marika, ny marika aterak'izany dia hifindra amin'ny litera kely, ny teny tsy misy dikany dia esorina, ary ny sisa tavela dia hijanona ho fototry ny teny.

Mamorona tondro

Etsy ambony dia nofaritanay ny analyzer default. Hihatra amin'ny saha tady rehetra izany. Misy marika maromaro ny lahatsoratray, noho izany dia hokarakarain'ny mpandinika ihany koa ny marika. SATRIA Mitady lahatsoratra mifanandrify tsara amin'ny tag iray izahay, avy eo dia mila esorina ny famakafakana ho an'ny saha tags.

Andao hamorona bilaogy index2 miaraka amin'ny mpanadihady sy sarintany, izay tsy misy ny famakafakana ny saha tags:

curl -XPOST "$ES_URL/blog2" -d'
{
  "settings": {
    "analysis": {
      "filter": {
        "ru_stop": {
          "type": "stop",
          "stopwords": "_russian_"
        },
        "ru_stemmer": {
          "type": "stemmer",
          "language": "russian"
        }
      },
      "analyzer": {
        "default": {
          "char_filter": [
            "html_strip"
          ],
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "ru_stop",
            "ru_stemmer"
          ]
        }
      }
    }
  },
  "mappings": {
    "post": {
      "properties": {
        "content": {
          "type": "string"
        },
        "published_at": {
          "type": "date"
        },
        "tags": {
          "type": "string",
          "index": "not_analyzed"
        },
        "title": {
          "type": "string"
        }
      }
    }
  }
}'

Andao ampiana lahatsoratra 3 mitovy amin'ity tondro ity (blog2). Hafoiko ity dingana ity satria... mitovy amin'ny fampidirana antontan-taratasy amin'ny tondro bilaogy izany.

Fikarohana lahatsoratra feno miaraka amin'ny fanohanan'ny fiteny

Andeha hojerentsika karazana fangatahana hafa:

# найдем документы, в которых встречается слово 'истории'
# query -> simple_query_string -> query содержит поисковый запрос
# поле title имеет приоритет 3
# поле tags имеет приоритет 2
# поле content имеет приоритет 1
# приоритет используется при ранжировании результатов
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "истории",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

SATRIA Mampiasa mpandinika miaraka amin'ny teny rosiana izahay, dia hamerina ny antontan-taratasy rehetra io fangatahana io, na dia misy ny teny hoe 'tantara' fotsiny aza.

Mety misy tarehintsoratra manokana ny fangatahana, ohatra:

""fried eggs" +(eggplant | potato) -frittata"

Fangatahana syntax:

+ signifies AND operation
| signifies OR operation
- negates a single token
" wraps a number of tokens to signify a phrase for searching
* at the end of a term signifies a prefix query
( and ) signify precedence
~N after a word signifies edit distance (fuzziness)
~N after a phrase signifies slop amount

# найдем документы без слова 'щенки'
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "-щенки",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

# получим 2 поста про котиков

soratra masina

PS

Raha liana amin'ny lesona lahatsoratra toy izany ianao, manana hevitra momba ny lahatsoratra vaovao na manana soso-kevitra momba ny fiaraha-miasa, dia ho faly aho handray hafatra amin'ny hafatra manokana na amin'ny mailaka m.kuzmin+habr@darkleaf.ru.

Source: www.habr.com