Elasticsearch ialah enjin carian dengan json rest api, menggunakan Lucene dan ditulis dalam Java. Penerangan tentang semua kelebihan enjin ini boleh didapati di laman web rasmi. Dalam perkara berikut kami akan merujuk kepada Elasticsearch sebagai ES.

Enjin serupa digunakan untuk carian kompleks dalam pangkalan data dokumen. Sebagai contoh, carian dengan mengambil kira morfologi bahasa atau carian mengikut koordinat geo.

Dalam artikel ini saya akan bercakap tentang asas-asas ES menggunakan contoh pengindeksan catatan blog. Saya akan menunjukkan kepada anda cara menapis, mengisih dan mencari dokumen.

Untuk tidak bergantung pada sistem pengendalian, saya akan membuat semua permintaan kepada ES menggunakan CURL. Terdapat juga pemalam untuk google chrome dipanggil rasa.

Teks mengandungi pautan ke dokumentasi dan sumber lain. Pada akhirnya terdapat pautan untuk akses pantas kepada dokumentasi. Takrif istilah yang tidak dikenali boleh didapati di glosari.

Memasang ES

Untuk melakukan ini, kita memerlukan Java terlebih dahulu. pemaju Mengesyorkan pasang versi Java yang lebih baharu daripada kemas kini Java 8 20 atau kemas kini Java 7 55.

Pengedaran ES boleh didapati di laman web pembangun. Selepas membongkar arkib anda perlu jalankan bin/elasticsearch. Juga tersedia pakej untuk apt dan yum... terdapat imej rasmi untuk buruh pelabuhan. Lebih lanjut mengenai pemasangan.

Selepas pemasangan dan pelancaran, mari semak fungsi:

# для удобства запомним адрес в переменную
#export ES_URL=$(docker-machine ip dev):9200
export ES_URL=localhost:9200

curl -X GET $ES_URL

Kami akan menerima sesuatu seperti ini:

{
  "name" : "Heimdall",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.2.1",
    "build_hash" : "d045fc29d1932bce18b2e65ab8b297fbf6cd41a1",
    "build_timestamp" : "2016-03-09T09:38:54Z",
    "build_snapshot" : false,
    "lucene_version" : "5.4.1"
  },
  "tagline" : "You Know, for Search"
}

Pengindeksan

Mari tambahkan siaran pada ES:

# Добавим документ c id 1 типа post в индекс blog.
# ?pretty указывает, что вывод должен быть человеко-читаемым.

curl -XPUT "$ES_URL/blog/post/1?pretty" -d'
{
  "title": "Веселые котята",
  "content": "<p>Смешная история про котят<p>",
  "tags": [
    "котята",
    "смешная история"
  ],
  "published_at": "2014-09-12T20:44:42+00:00"
}'

respons pelayan:

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "created" : false
}

ES dibuat secara automatik indeks blog dan Taipkan jawatan. Kita boleh melukis analogi bersyarat: indeks ialah pangkalan data, dan jenis ialah jadual dalam pangkalan data ini. Setiap jenis mempunyai skema sendiri − pemetaan, sama seperti jadual hubungan. Pemetaan dijana secara automatik apabila dokumen diindeks:

# Получим mapping всех типов индекса blog
curl -XGET "$ES_URL/blog/_mapping?pretty"

Dalam respons pelayan, saya menambah nilai medan dokumen yang diindeks dalam ulasan:

{
  "blog" : {
    "mappings" : {
      "post" : {
        "properties" : {
          /* "content": "<p>Смешная история про котят<p>", */ 
          "content" : {
            "type" : "string"
          },
          /* "published_at": "2014-09-12T20:44:42+00:00" */
          "published_at" : {
            "type" : "date",
            "format" : "strict_date_optional_time||epoch_millis"
          },
          /* "tags": ["котята", "смешная история"] */
          "tags" : {
            "type" : "string"
          },
          /*  "title": "Веселые котята" */
          "title" : {
            "type" : "string"
          }
        }
      }
    }
  }
}

Perlu diingat bahawa ES tidak membezakan antara nilai tunggal dan tatasusunan nilai. Sebagai contoh, medan tajuk hanya mengandungi tajuk dan medan tag mengandungi tatasusunan rentetan, walaupun ia diwakili dengan cara yang sama dalam pemetaan.
Kami akan bercakap lebih lanjut mengenai pemetaan kemudian.

permintaan

Mendapatkan semula dokumen dengan idnya:

# извлечем документ с id 1 типа post из индекса blog
curl -XGET "$ES_URL/blog/post/1?pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята",
    "content" : "<p>Смешная история про котят<p>",
    "tags" : [ "котята", "смешная история" ],
    "published_at" : "2014-09-12T20:44:42+00:00"
  }
}

Kekunci baharu muncul dalam jawapan: _version и _source. Secara umum, semua kunci bermula dengan _ diklasifikasikan sebagai rasmi.

Kunci _version menunjukkan versi dokumen. Ia diperlukan untuk mekanisme penguncian optimistik berfungsi. Sebagai contoh, kami ingin menukar dokumen yang mempunyai versi 1. Kami menyerahkan dokumen yang telah diubah dan menunjukkan bahawa ini adalah pengeditan dokumen dengan versi 1. Jika orang lain turut mengedit dokumen dengan versi 1 dan menyerahkan perubahan sebelum kami, maka ES tidak akan menerima perubahan kami, kerana ia menyimpan dokumen dengan versi 2.

Kunci _source mengandungi dokumen yang kami indeks. ES tidak menggunakan nilai ini untuk operasi carian kerana Indeks digunakan untuk mencari. Untuk menjimatkan ruang, ES menyimpan dokumen sumber termampat. Jika kami hanya memerlukan id, dan bukan keseluruhan dokumen sumber, maka kami boleh melumpuhkan storan sumber.

Jika kami tidak memerlukan maklumat tambahan, kami hanya boleh mendapatkan kandungan _source:

curl -XGET "$ES_URL/blog/post/1/_source?pretty"

{
  "title" : "Веселые котята",
  "content" : "<p>Смешная история про котят<p>",
  "tags" : [ "котята", "смешная история" ],
  "published_at" : "2014-09-12T20:44:42+00:00"
}

Anda juga boleh memilih medan tertentu sahaja:

# извлечем только поле title
curl -XGET "$ES_URL/blog/post/1?_source=title&pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята"
  }
}

Mari kita indeks beberapa lagi siaran dan jalankan pertanyaan yang lebih kompleks.

curl -XPUT "$ES_URL/blog/post/2" -d'
{
  "title": "Веселые щенки",
  "content": "<p>Смешная история про щенков<p>",
  "tags": [
    "щенки",
    "смешная история"
  ],
  "published_at": "2014-08-12T20:44:42+00:00"
}'

curl -XPUT "$ES_URL/blog/post/3" -d'
{
  "title": "Как у меня появился котенок",
  "content": "<p>Душераздирающая история про бедного котенка с улицы<p>",
  "tags": [
    "котята"
  ],
  "published_at": "2014-07-21T20:44:42+00:00"
}'

Сортировка

# найдем последний пост по дате публикации и извлечем поля title и published_at
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "size": 1,
  "_source": ["title", "published_at"],
  "sort": [{"published_at": "desc"}]
}'

{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : null,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : null,
      "_source" : {
        "title" : "Веселые котята",
        "published_at" : "2014-09-12T20:44:42+00:00"
      },
      "sort" : [ 1410554682000 ]
    } ]
  }
}

Kami memilih jawatan terakhir. size mengehadkan bilangan dokumen yang akan dikeluarkan. total menunjukkan jumlah bilangan dokumen yang sepadan dengan permintaan. sort dalam output mengandungi tatasusunan integer yang mana pengisihan dilakukan. Itu. tarikh telah ditukar kepada integer. Maklumat lanjut tentang pengisihan boleh didapati dalam dokumentasi.

Penapis dan pertanyaan

ES sejak versi 2 tidak membezakan antara penapis dan pertanyaan, sebaliknya konsep konteks diperkenalkan.
Konteks pertanyaan berbeza daripada konteks penapis kerana pertanyaan menjana _skor dan tidak dicache. Saya akan tunjukkan kepada anda apakah _skor itu nanti.

Tapis mengikut tarikh

Kami menggunakan permintaan pelbagai dalam konteks penapis:

# получим посты, опубликованные 1ого сентября или позже
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "filter": {
    "range": {
      "published_at": { "gte": "2014-09-01" }
    }
  }
}'

Tapis mengikut tag

Kami guna pertanyaan istilah untuk mencari id dokumen yang mengandungi perkataan tertentu:

# найдем все документы, в поле tags которых есть элемент 'котята'
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": [
    "title",
    "tags"
  ],
  "filter": {
    "term": {
      "tags": "котята"
    }
  }
}'

{
  "took" : 9,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 1.0,
      "_source" : {
        "title" : "Веселые котята",
        "tags" : [ "котята", "смешная история" ]
      }
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 1.0,
      "_source" : {
        "title" : "Как у меня появился котенок",
        "tags" : [ "котята" ]
      }
    } ]
  }
}

Carian teks penuh

Tiga daripada dokumen kami mengandungi perkara berikut dalam medan kandungan:

Смешная история про котят
Смешная история про щенков
Душераздирающая история про бедного котенка с улицы

Kami guna pertanyaan padanan untuk mencari id dokumen yang mengandungi perkataan tertentu:

# source: false означает, что не нужно извлекать _source найденных документов
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": false,
  "query": {
    "match": {
      "content": "история"
    }
  }
}'

{
  "took" : 13,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.11506981,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "2",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 0.095891505
    } ]
  }
}

Walau bagaimanapun, jika kita mencari "cerita" dalam medan kandungan, kita tidak akan menemui apa-apa, kerana Indeks hanya mengandungi perkataan asal, bukan batangnya. Untuk membuat carian berkualiti tinggi, anda perlu mengkonfigurasi penganalisis.

Bidang _score menunjukkan perkaitan. Jika permintaan dilaksanakan dalam konteks penapis, maka nilai _score akan sentiasa sama dengan 1, yang bermaksud padanan lengkap dengan penapis.

Analyzers

Analyzers diperlukan untuk menukar teks sumber kepada satu set token.
Penganalisis terdiri daripada satu Tokenizer dan beberapa pilihan TokenFilters. Tokenizer mungkin didahului oleh beberapa CharFilters. Tokenizer memecahkan rentetan sumber kepada token, seperti ruang dan aksara tanda baca. TokenFilter boleh menukar token, memadam atau menambah yang baharu, contohnya, tinggalkan batang perkataan sahaja, alih keluar preposisi, tambah sinonim. CharFilter - menukar keseluruhan rentetan sumber, contohnya, memotong tag html.

ES mempunyai beberapa penganalisis standard. Sebagai contoh, penganalisis russian.

Jom guna api dan mari lihat bagaimana penganalisis standard dan Rusia mengubah rentetan "Kisah lucu tentang anak kucing":

# используем анализатор standard       
# обязательно нужно перекодировать не ASCII символы
curl -XGET "$ES_URL/_analyze?pretty&analyzer=standard&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "веселые",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истории",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "про",
    "start_offset" : 16,
    "end_offset" : 19,
    "type" : "<ALPHANUM>",
    "position" : 2
  }, {
    "token" : "котят",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

# используем анализатор russian
curl -XGET "$ES_URL/_analyze?pretty&analyzer=russian&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "весел",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истор",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "кот",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

Penganalisis standard membahagikan rentetan dengan ruang dan menukar semuanya kepada huruf kecil, penganalisis russian mengeluarkan perkataan yang tidak penting, menukarnya kepada huruf kecil dan meninggalkan batang perkataan.

Mari lihat Tokenizer, TokenFilters, CharFilters yang digunakan oleh penganalisis russian:

{
  "filter": {
    "russian_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "russian_keywords": {
      "type":       "keyword_marker",
      "keywords":   []
    },
    "russian_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "russian": {
      "tokenizer":  "standard",
      /* TokenFilters */
      "filter": [
        "lowercase",
        "russian_stop",
        "russian_keywords",
        "russian_stemmer"
      ]
      /* CharFilters отсутствуют */
    }
  }
}

Mari kita terangkan penganalisis kami berdasarkan bahasa Rusia, yang akan memotong tag html. Mari kita panggil ia lalai, kerana penganalisis dengan nama ini akan digunakan secara lalai.

{
  "filter": {
    "ru_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "ru_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "default": {
      /* добавляем удаление html тегов */
      "char_filter": ["html_strip"],
      "tokenizer":  "standard",
      "filter": [
        "lowercase",
        "ru_stop",
        "ru_stemmer"
      ]
    }
  }
}

Mula-mula, semua teg HTML akan dialih keluar daripada rentetan sumber, kemudian standard tokenizer akan membahagikannya kepada token, token yang terhasil akan beralih ke huruf kecil, perkataan yang tidak penting akan dialih keluar, dan token yang tinggal akan kekal sebagai batang perkataan.

Mencipta Indeks

Di atas kami menerangkan penganalisis lalai. Ia akan digunakan untuk semua medan rentetan. Siaran kami mengandungi pelbagai teg, jadi teg juga akan diproses oleh penganalisis. Kerana Kami sedang mencari siaran mengikut padanan tepat pada teg, maka kami perlu melumpuhkan analisis untuk medan teg.

Mari buat blog2 indeks dengan penganalisis dan pemetaan, di mana analisis medan teg dinyahdayakan:

curl -XPOST "$ES_URL/blog2" -d'
{
  "settings": {
    "analysis": {
      "filter": {
        "ru_stop": {
          "type": "stop",
          "stopwords": "_russian_"
        },
        "ru_stemmer": {
          "type": "stemmer",
          "language": "russian"
        }
      },
      "analyzer": {
        "default": {
          "char_filter": [
            "html_strip"
          ],
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "ru_stop",
            "ru_stemmer"
          ]
        }
      }
    }
  },
  "mappings": {
    "post": {
      "properties": {
        "content": {
          "type": "string"
        },
        "published_at": {
          "type": "date"
        },
        "tags": {
          "type": "string",
          "index": "not_analyzed"
        },
        "title": {
          "type": "string"
        }
      }
    }
  }
}'

Jom tambah 3 post yang sama pada indeks ini (blog2). Saya akan meninggalkan proses ini kerana... ia sama seperti menambah dokumen pada indeks blog.

Carian teks penuh dengan sokongan ekspresi

Mari kita lihat satu lagi jenis permintaan:

# найдем документы, в которых встречается слово 'истории'
# query -> simple_query_string -> query содержит поисковый запрос
# поле title имеет приоритет 3
# поле tags имеет приоритет 2
# поле content имеет приоритет 1
# приоритет используется при ранжировании результатов
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "истории",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

Kerana Kami menggunakan penganalisis dengan berpunca bahasa Rusia, maka permintaan ini akan mengembalikan semua dokumen, walaupun ia hanya mengandungi perkataan 'sejarah'.

Permintaan mungkin mengandungi aksara khas, contohnya:

""fried eggs" +(eggplant | potato) -frittata"

Sintaks permintaan:

+ signifies AND operation
| signifies OR operation
- negates a single token
" wraps a number of tokens to signify a phrase for searching
* at the end of a term signifies a prefix query
( and ) signify precedence
~N after a word signifies edit distance (fuzziness)
~N after a phrase signifies slop amount

# найдем документы без слова 'щенки'
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "-щенки",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

# получим 2 поста про котиков

rujukan

PS

Jika anda berminat dengan artikel-pelajaran yang serupa, mempunyai idea untuk artikel baru, atau mempunyai cadangan untuk kerjasama, maka saya akan gembira menerima mesej dalam mesej peribadi atau melalui e-mel [e-mel dilindungi].

Sumber: www.habr.com

Asas Elasticsearch