Elasticsearch minangka mesin telusur kanthi json rest api, nggunakake Lucene lan ditulis ing Jawa. A gambaran kabeh kaluwihan saka engine iki kasedhiya ing situs resmi. Ing ngisor iki kita bakal ngrujuk menyang Elasticsearch minangka ES.

Mesin sing padha digunakake kanggo nggoleki kompleks ing basis data dokumen. Contone, telusuran kanthi njupuk morfologi basa utawa telusuran kanthi koordinat geo.

Ing artikel iki aku bakal ngomong babagan dhasar ES nggunakake conto ngindeks postingan blog. Aku bakal nuduhake sampeyan carane nyaring, ngurutake lan nggoleki dokumen.

Supaya ora gumantung ing sistem operasi, aku bakal nggawe kabeh panjalukan kanggo ES nggunakake CURL. Ana uga plugin kanggo google chrome disebut pangertèn.

Teks kasebut ngemot pranala menyang dokumentasi lan sumber liyane. Ing pungkasan ana pranala kanggo akses cepet menyang dokumentasi. Definisi istilah sing ora pati ngerti bisa ditemokake ing glosari.

Nginstal ES

Kanggo nindakake iki, kita kudu Java. Pangembang nyaranake nginstal versi Java sing luwih anyar tinimbang Java 8 nganyari 20 utawa Java 7 nganyari 55.

Distribusi ES kasedhiya ing situs pangembang. Sawise unpacking arsip sampeyan kudu mbukak bin/elasticsearch. Uga kasedhiya paket kanggo apt lan yum. Ana gambar resmi kanggo docker. Luwih lengkap babagan instalasi.

Sawise instalasi lan diluncurake, ayo mriksa fungsi kasebut:

# для удобства запомним адрес в переменную
#export ES_URL=$(docker-machine ip dev):9200
export ES_URL=localhost:9200

curl -X GET $ES_URL

Kita bakal nampa kaya iki:

{
  "name" : "Heimdall",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.2.1",
    "build_hash" : "d045fc29d1932bce18b2e65ab8b297fbf6cd41a1",
    "build_timestamp" : "2016-03-09T09:38:54Z",
    "build_snapshot" : false,
    "lucene_version" : "5.4.1"
  },
  "tagline" : "You Know, for Search"
}

Pengindeksan

Ayo nambah kirim menyang ES:

# Добавим документ c id 1 типа post в индекс blog.
# ?pretty указывает, что вывод должен быть человеко-читаемым.

curl -XPUT "$ES_URL/blog/post/1?pretty" -d'
{
  "title": "Веселые котята",
  "content": "<p>Смешная история про котят<p>",
  "tags": [
    "котята",
    "смешная история"
  ],
  "published_at": "2014-09-12T20:44:42+00:00"
}'

respon server:

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "created" : false
}

ES digawe kanthi otomatis indeks blog lan ketik kirim. Kita bisa nggambar analogi kondisional: indeks minangka basis data, lan jinis minangka tabel ing basis data iki. Saben jinis duwe skema dhewe - pemetaan, kaya tabel relasional. Pemetaan digawe kanthi otomatis nalika dokumen diindeks:

# Получим mapping всех типов индекса blog
curl -XGET "$ES_URL/blog/_mapping?pretty"

Ing respon server, aku nambahake nilai kolom dokumen sing diindeks ing komentar:

{
  "blog" : {
    "mappings" : {
      "post" : {
        "properties" : {
          /* "content": "<p>Смешная история про котят<p>", */ 
          "content" : {
            "type" : "string"
          },
          /* "published_at": "2014-09-12T20:44:42+00:00" */
          "published_at" : {
            "type" : "date",
            "format" : "strict_date_optional_time||epoch_millis"
          },
          /* "tags": ["котята", "смешная история"] */
          "tags" : {
            "type" : "string"
          },
          /*  "title": "Веселые котята" */
          "title" : {
            "type" : "string"
          }
        }
      }
    }
  }
}

Wigati dicathet yen ES ora mbedakake antarane nilai siji lan sawetara nilai. Contone, kolom judhul mung ngemot judhul, lan kolom tag ngemot macem-macem senar, sanajan padha diwakili kanthi cara sing padha ing pemetaan.
Kita bakal ngomong luwih akeh babagan pemetaan mengko.

Njaluk

Njupuk dokumen kanthi id:

# извлечем документ с id 1 типа post из индекса blog
curl -XGET "$ES_URL/blog/post/1?pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята",
    "content" : "<p>Смешная история про котят<p>",
    "tags" : [ "котята", "смешная история" ],
    "published_at" : "2014-09-12T20:44:42+00:00"
  }
}

Tombol anyar katon ing respon: _version и _source. Umumé, kabeh tombol diwiwiti karo _ diklasifikasikaké minangka resmi.

Kunci _version nuduhake versi dokumen. Perlu supaya mekanisme ngunci optimis bisa digunakake. Contone, kita pengin ngganti dokumen sing duwe versi 1. Kita ngirim dokumen sing diganti lan nuduhake yen iki minangka suntingan dokumen karo versi 1. Yen wong liya uga nyunting dokumen karo versi 1 lan ngirim owah-owahan sadurunge kita, banjur ES ora bakal nampa owah-owahan kita, amarga iku nyimpen dokumen karo versi 2.

Kunci _source ngemot dokumen sing diindeks. ES ora nggunakake nilai iki kanggo operasi panelusuran amarga Indeks digunakake kanggo nggoleki. Kanggo ngirit ruang, ES nyimpen dokumen sumber sing dikompres. Yen kita mung butuh id, lan ora kabeh dokumen sumber, mula kita bisa mateni panyimpenan sumber.

Yen kita ora mbutuhake informasi tambahan, kita mung bisa entuk isi _source:

curl -XGET "$ES_URL/blog/post/1/_source?pretty"

{
  "title" : "Веселые котята",
  "content" : "<p>Смешная история про котят<p>",
  "tags" : [ "котята", "смешная история" ],
  "published_at" : "2014-09-12T20:44:42+00:00"
}

Sampeyan uga bisa milih mung kolom tartamtu:

# извлечем только поле title
curl -XGET "$ES_URL/blog/post/1?_source=title&pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята"
  }
}

Ayo indeks sawetara kiriman liyane lan mbukak pitakon sing luwih rumit.

curl -XPUT "$ES_URL/blog/post/2" -d'
{
  "title": "Веселые щенки",
  "content": "<p>Смешная история про щенков<p>",
  "tags": [
    "щенки",
    "смешная история"
  ],
  "published_at": "2014-08-12T20:44:42+00:00"
}'

curl -XPUT "$ES_URL/blog/post/3" -d'
{
  "title": "Как у меня появился котенок",
  "content": "<p>Душераздирающая история про бедного котенка с улицы<p>",
  "tags": [
    "котята"
  ],
  "published_at": "2014-07-21T20:44:42+00:00"
}'

Ngurutake

# найдем последний пост по дате публикации и извлечем поля title и published_at
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "size": 1,
  "_source": ["title", "published_at"],
  "sort": [{"published_at": "desc"}]
}'

{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : null,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : null,
      "_source" : {
        "title" : "Веселые котята",
        "published_at" : "2014-09-12T20:44:42+00:00"
      },
      "sort" : [ 1410554682000 ]
    } ]
  }
}

Kita milih kirim pungkasan. size mbatesi jumlah dokumen sing bakal diterbitake. total nuduhake jumlah total dokumen sing cocog karo panyuwunan. sort ing output ngemot Uploaded saka wilangan bulat kang ngurutake wis dileksanakake. Sing. tanggal diowahi dadi integer. Informasi liyane babagan ngurutake bisa ditemokake ing dokumentasi.

Filter lan pitakon

ES wiwit versi 2 ora mbedakake antarane saringan lan pitakon konsep konteks dikenalaké.
Konteks pitakon beda karo konteks panyaring amarga pitakon kasebut ngasilake _skor lan ora di-cache. Aku bakal nuduhake sampeyan apa _skor mengko.

Filter miturut tanggal

Kita nggunakake panjalukan sawetara ing konteks filter:

# получим посты, опубликованные 1ого сентября или позже
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "filter": {
    "range": {
      "published_at": { "gte": "2014-09-01" }
    }
  }
}'

Filter miturut tag

Kita nggunakake pitakon istilah kanggo nggoleki id dokumen sing ngemot tembung tartamtu:

# найдем все документы, в поле tags которых есть элемент 'котята'
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": [
    "title",
    "tags"
  ],
  "filter": {
    "term": {
      "tags": "котята"
    }
  }
}'

{
  "took" : 9,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 1.0,
      "_source" : {
        "title" : "Веселые котята",
        "tags" : [ "котята", "смешная история" ]
      }
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 1.0,
      "_source" : {
        "title" : "Как у меня появился котенок",
        "tags" : [ "котята" ]
      }
    } ]
  }
}

Panelusuran teks lengkap

Telung dokumen kita ngemot ing ngisor iki ing kolom isi:

Смешная история про котят
Смешная история про щенков
Душераздирающая история про бедного котенка с улицы

Kita nggunakake pitakon cocog kanggo nggoleki id dokumen sing ngemot tembung tartamtu:

# source: false означает, что не нужно извлекать _source найденных документов
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": false,
  "query": {
    "match": {
      "content": "история"
    }
  }
}'

{
  "took" : 13,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.11506981,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "2",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 0.095891505
    } ]
  }
}

Nanging, yen kita nggoleki "crita" ing kolom isi, kita ora bakal nemokake apa-apa, amarga Indeks kasebut mung ngemot tembung asli, dudu asale. Kanggo nggawe telusuran sing berkualitas, sampeyan kudu ngatur analisa.

lapangan _score nuduhake relevansi. Yen panyuwunan dileksanakake ing konteks filter, nilai _score mesthi padha karo 1, sing tegese cocog karo filter.

Penganalisis

Penganalisis dibutuhake kanggo ngowahi teks sumber dadi sakumpulan token.
Analyzers kalebu siji Tokenizer lan sawetara opsional TokenFilters. Tokenizer bisa didhisiki sawetara CharFilters. Tokenizer ngilangi string sumber dadi token, kayata spasi lan karakter tanda baca. TokenFilter bisa ngganti token, mbusak utawa nambah anyar, contone, ninggalake mung gagang tembung, mbusak prepositions, nambah sinonim. CharFilter - ngganti kabeh senar sumber, contone, ngethok tag html.

ES duwe sawetara penganalisa standar. Contone, analyzer russian.

Ayo padha njupuk kauntungan api lan ayo ndeleng kepiye penganalisa standar lan Rusia ngowahi senar "Crita lucu babagan kucing":

# используем анализатор standard       
# обязательно нужно перекодировать не ASCII символы
curl -XGET "$ES_URL/_analyze?pretty&analyzer=standard&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "веселые",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истории",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "про",
    "start_offset" : 16,
    "end_offset" : 19,
    "type" : "<ALPHANUM>",
    "position" : 2
  }, {
    "token" : "котят",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

# используем анализатор russian
curl -XGET "$ES_URL/_analyze?pretty&analyzer=russian&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "весел",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истор",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "кот",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

Analisa standar misahake string kanthi spasi lan ngowahi kabeh dadi huruf cilik, analisa Rusia mbusak tembung sing ora penting, diowahi dadi huruf cilik lan ninggalake batang tembung kasebut.

Ayo ndeleng Tokenizer, TokenFilters, CharFilters sing digunakake analisa Rusia:

{
  "filter": {
    "russian_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "russian_keywords": {
      "type":       "keyword_marker",
      "keywords":   []
    },
    "russian_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "russian": {
      "tokenizer":  "standard",
      /* TokenFilters */
      "filter": [
        "lowercase",
        "russian_stop",
        "russian_keywords",
        "russian_stemmer"
      ]
      /* CharFilters отсутствуют */
    }
  }
}

Ayo njlèntrèhaké analisa kita adhedhasar basa Rusia, sing bakal ngilangi tag html. Ayo diarani standar, amarga penganalisa kanthi jeneng iki bakal digunakake kanthi gawan.

{
  "filter": {
    "ru_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "ru_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "default": {
      /* добавляем удаление html тегов */
      "char_filter": ["html_strip"],
      "tokenizer":  "standard",
      "filter": [
        "lowercase",
        "ru_stop",
        "ru_stemmer"
      ]
    }
  }
}

Kaping pisanan, kabeh tag HTML bakal dibusak saka senar sumber, banjur standar tokenizer bakal dipérang dadi token, token sing diasilake bakal pindhah menyang huruf cilik, tembung sing ora penting bakal dibusak, lan token sing isih ana bakal tetep dadi batang tembung.

Nggawe Indeks

Ndhuwur kita diterangake analyzer standar. Bakal ditrapake kanggo kabeh kolom string. Kiriman kita ngemot macem-macem tag, saengga tag kasebut uga bakal diproses dening analisa. Amarga Kita nggoleki kiriman kanthi cocog karo tag, banjur kita kudu mateni analisis kanggo kolom tag.

Ayo nggawe blog2 indeks kanthi analisa lan pemetaan, ing ngendi analisis kolom tag dipateni:

curl -XPOST "$ES_URL/blog2" -d'
{
  "settings": {
    "analysis": {
      "filter": {
        "ru_stop": {
          "type": "stop",
          "stopwords": "_russian_"
        },
        "ru_stemmer": {
          "type": "stemmer",
          "language": "russian"
        }
      },
      "analyzer": {
        "default": {
          "char_filter": [
            "html_strip"
          ],
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "ru_stop",
            "ru_stemmer"
          ]
        }
      }
    }
  },
  "mappings": {
    "post": {
      "properties": {
        "content": {
          "type": "string"
        },
        "published_at": {
          "type": "date"
        },
        "tags": {
          "type": "string",
          "index": "not_analyzed"
        },
        "title": {
          "type": "string"
        }
      }
    }
  }
}'

Ayo ditambahake 3 postingan sing padha ing indeks iki (blog2). Aku bakal ngilangi proses iki amarga ... iku padha karo nambah dokumen kanggo indeks blog.

Panelusuran teks lengkap kanthi dhukungan ekspresi

Ayo goleki jinis panjaluk liyane:

# найдем документы, в которых встречается слово 'истории'
# query -> simple_query_string -> query содержит поисковый запрос
# поле title имеет приоритет 3
# поле tags имеет приоритет 2
# поле content имеет приоритет 1
# приоритет используется при ранжировании результатов
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "истории",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

Amarga Kita nggunakake analisa nganggo stemming Rusia, banjur panjaluk iki bakal ngasilake kabeh dokumen, sanajan mung ngemot tembung 'sejarah'.

Panjaluk kasebut bisa ngemot karakter khusus, contone:

""fried eggs" +(eggplant | potato) -frittata"

Panjaluk sintaks:

+ signifies AND operation
| signifies OR operation
- negates a single token
" wraps a number of tokens to signify a phrase for searching
* at the end of a term signifies a prefix query
( and ) signify precedence
~N after a word signifies edit distance (fuzziness)
~N after a phrase signifies slop amount

# найдем документы без слова 'щенки'
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "-щенки",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

# получим 2 поста про котиков

referensi

PS

Yen sampeyan kasengsem ing artikel-pelajaran sing padha, duwe gagasan kanggo artikel anyar, utawa duwe proposal kerjasama, aku bakal seneng nampa pesen ing pesen pribadi utawa liwat email. [email dilindhungi].

Source: www.habr.com

Dhasar Elasticsearch