Elasticsearch json rest api ਦੇ ਨਾਲ ਇੱਕ ਖੋਜ ਇੰਜਣ ਹੈ, Lucene ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਅਤੇ Java ਵਿੱਚ ਲਿਖਿਆ ਗਿਆ ਹੈ। ਇਸ ਇੰਜਣ ਦੇ ਸਾਰੇ ਫਾਇਦਿਆਂ ਦਾ ਵੇਰਵਾ 'ਤੇ ਉਪਲਬਧ ਹੈ ਸਰਕਾਰੀ ਵੈਬਸਾਈਟ. ਇਸ ਤੋਂ ਬਾਅਦ ਅਸੀਂ Elasticsearch ਨੂੰ ES ਵਜੋਂ ਸੰਦਰਭ ਕਰਾਂਗੇ।

ਇੱਕ ਦਸਤਾਵੇਜ਼ ਡੇਟਾਬੇਸ ਵਿੱਚ ਗੁੰਝਲਦਾਰ ਖੋਜਾਂ ਲਈ ਸਮਾਨ ਇੰਜਣਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਭਾਸ਼ਾ ਦੇ ਰੂਪ ਵਿਗਿਆਨ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹੋਏ ਖੋਜ ਕਰੋ ਜਾਂ ਜੀਓ ਕੋਆਰਡੀਨੇਟਸ ਦੁਆਰਾ ਖੋਜ ਕਰੋ।

ਇਸ ਲੇਖ ਵਿਚ ਮੈਂ ਬਲੌਗ ਪੋਸਟਾਂ ਨੂੰ ਇੰਡੈਕਸ ਕਰਨ ਦੀ ਉਦਾਹਰਨ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ES ਦੀਆਂ ਮੂਲ ਗੱਲਾਂ ਬਾਰੇ ਗੱਲ ਕਰਾਂਗਾ. ਮੈਂ ਤੁਹਾਨੂੰ ਦਿਖਾਵਾਂਗਾ ਕਿ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਕਿਵੇਂ ਫਿਲਟਰ ਕਰਨਾ, ਛਾਂਟਣਾ ਅਤੇ ਖੋਜਣਾ ਹੈ।

ਓਪਰੇਟਿੰਗ ਸਿਸਟਮ 'ਤੇ ਨਿਰਭਰ ਨਾ ਹੋਣ ਲਈ, ਮੈਂ CURL ਦੀ ਵਰਤੋਂ ਕਰਕੇ ES ਨੂੰ ਸਾਰੀਆਂ ਬੇਨਤੀਆਂ ਕਰਾਂਗਾ। ਗੂਗਲ ਕਰੋਮ ਲਈ ਇੱਕ ਪਲੱਗਇਨ ਵੀ ਹੈ ਜਿਸਨੂੰ ਕਿਹਾ ਜਾਂਦਾ ਹੈ ਭਾਵਨਾ.

ਟੈਕਸਟ ਵਿੱਚ ਦਸਤਾਵੇਜ਼ਾਂ ਅਤੇ ਹੋਰ ਸਰੋਤਾਂ ਦੇ ਲਿੰਕ ਸ਼ਾਮਲ ਹਨ। ਅੰਤ ਵਿੱਚ ਦਸਤਾਵੇਜ਼ਾਂ ਤੱਕ ਤੁਰੰਤ ਪਹੁੰਚ ਲਈ ਲਿੰਕ ਹਨ। ਵਿੱਚ ਅਣਜਾਣ ਸ਼ਬਦਾਂ ਦੀਆਂ ਪਰਿਭਾਸ਼ਾਵਾਂ ਲੱਭੀਆਂ ਜਾ ਸਕਦੀਆਂ ਹਨ ਸ਼ਬਦਾਵਲੀ.

ES ਇੰਸਟਾਲ ਕਰਨਾ

ਅਜਿਹਾ ਕਰਨ ਲਈ, ਸਾਨੂੰ ਪਹਿਲਾਂ Java ਦੀ ਲੋੜ ਹੈ। ਵਿਕਾਸਕਾਰ ਸਿਫਾਰਸ਼ Java 8 ਅੱਪਡੇਟ 20 ਜਾਂ Java 7 ਅੱਪਡੇਟ 55 ਤੋਂ ਨਵੇਂ ਜਾਵਾ ਸੰਸਕਰਣ ਸਥਾਪਤ ਕਰੋ।

ES ਵੰਡ ਇੱਥੇ ਉਪਲਬਧ ਹੈ ਡਿਵੈਲਪਰ ਵੈੱਬਸਾਈਟ. ਆਰਕਾਈਵ ਨੂੰ ਅਨਪੈਕ ਕਰਨ ਤੋਂ ਬਾਅਦ ਤੁਹਾਨੂੰ ਚਲਾਉਣ ਦੀ ਲੋੜ ਹੈ bin/elasticsearch. ਵੀ ਉਪਲਬਧ ਹੈ apt ਅਤੇ yum ਲਈ ਪੈਕੇਜ. ਉਥੇ ਹੈ ਡੌਕਰ ਲਈ ਅਧਿਕਾਰਤ ਚਿੱਤਰ. ਇੰਸਟਾਲੇਸ਼ਨ ਬਾਰੇ ਹੋਰ.

ਇੰਸਟਾਲੇਸ਼ਨ ਅਤੇ ਲਾਂਚ ਤੋਂ ਬਾਅਦ, ਆਓ ਕਾਰਜਕੁਸ਼ਲਤਾ ਦੀ ਜਾਂਚ ਕਰੀਏ:

# для удобства запомним адрес в переменную
#export ES_URL=$(docker-machine ip dev):9200
export ES_URL=localhost:9200

curl -X GET $ES_URL

ਅਸੀਂ ਇਸ ਤਰ੍ਹਾਂ ਕੁਝ ਪ੍ਰਾਪਤ ਕਰਾਂਗੇ:

{
  "name" : "Heimdall",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.2.1",
    "build_hash" : "d045fc29d1932bce18b2e65ab8b297fbf6cd41a1",
    "build_timestamp" : "2016-03-09T09:38:54Z",
    "build_snapshot" : false,
    "lucene_version" : "5.4.1"
  },
  "tagline" : "You Know, for Search"
}

ਇੰਡੈਕਸਿੰਗ

ਆਓ ES ਵਿੱਚ ਇੱਕ ਪੋਸਟ ਜੋੜੀਏ:

# Добавим документ c id 1 типа post в индекс blog.
# ?pretty указывает, что вывод должен быть человеко-читаемым.

curl -XPUT "$ES_URL/blog/post/1?pretty" -d'
{
  "title": "Веселые котята",
  "content": "<p>Смешная история про котят<p>",
  "tags": [
    "котята",
    "смешная история"
  ],
  "published_at": "2014-09-12T20:44:42+00:00"
}'

ਸਰਵਰ ਜਵਾਬ:

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "created" : false
}

ES ਸਵੈਚਲਿਤ ਤੌਰ 'ਤੇ ਬਣਾਇਆ ਗਿਆ ਇੰਡੈਕਸ ਬਲੌਗ ਅਤੇ ਦੀ ਕਿਸਮ ਪੋਸਟ. ਅਸੀਂ ਇੱਕ ਕੰਡੀਸ਼ਨਲ ਸਮਾਨਤਾ ਬਣਾ ਸਕਦੇ ਹਾਂ: ਇੱਕ ਸੂਚਕਾਂਕ ਇੱਕ ਡੇਟਾਬੇਸ ਹੈ, ਅਤੇ ਇੱਕ ਕਿਸਮ ਇਸ ਡੇਟਾਬੇਸ ਵਿੱਚ ਇੱਕ ਸਾਰਣੀ ਹੈ। ਹਰ ਕਿਸਮ ਦੀ ਆਪਣੀ ਸਕੀਮ ਹੁੰਦੀ ਹੈ - ਮੈਪਿੰਗ, ਬਿਲਕੁਲ ਇੱਕ ਰਿਲੇਸ਼ਨਲ ਟੇਬਲ ਵਾਂਗ। ਜਦੋਂ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਸੂਚੀਬੱਧ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਤਾਂ ਮੈਪਿੰਗ ਆਪਣੇ ਆਪ ਤਿਆਰ ਕੀਤੀ ਜਾਂਦੀ ਹੈ:

# Получим mapping всех типов индекса blog
curl -XGET "$ES_URL/blog/_mapping?pretty"

ਸਰਵਰ ਜਵਾਬ ਵਿੱਚ, ਮੈਂ ਟਿੱਪਣੀਆਂ ਵਿੱਚ ਇੰਡੈਕਸਡ ਦਸਤਾਵੇਜ਼ ਦੇ ਖੇਤਰਾਂ ਦੇ ਮੁੱਲ ਸ਼ਾਮਲ ਕੀਤੇ:

{
  "blog" : {
    "mappings" : {
      "post" : {
        "properties" : {
          /* "content": "<p>Смешная история про котят<p>", */ 
          "content" : {
            "type" : "string"
          },
          /* "published_at": "2014-09-12T20:44:42+00:00" */
          "published_at" : {
            "type" : "date",
            "format" : "strict_date_optional_time||epoch_millis"
          },
          /* "tags": ["котята", "смешная история"] */
          "tags" : {
            "type" : "string"
          },
          /*  "title": "Веселые котята" */
          "title" : {
            "type" : "string"
          }
        }
      }
    }
  }
}

ਇਹ ਧਿਆਨ ਦੇਣ ਯੋਗ ਹੈ ਕਿ ES ਇੱਕ ਇੱਕਲੇ ਮੁੱਲ ਅਤੇ ਮੁੱਲਾਂ ਦੀ ਇੱਕ ਲੜੀ ਵਿੱਚ ਫਰਕ ਨਹੀਂ ਕਰਦਾ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਸਿਰਲੇਖ ਖੇਤਰ ਵਿੱਚ ਸਿਰਫ਼ ਇੱਕ ਸਿਰਲੇਖ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ, ਅਤੇ ਟੈਗ ਖੇਤਰ ਵਿੱਚ ਸਤਰਾਂ ਦੀ ਇੱਕ ਲੜੀ ਹੁੰਦੀ ਹੈ, ਹਾਲਾਂਕਿ ਉਹਨਾਂ ਨੂੰ ਮੈਪਿੰਗ ਵਿੱਚ ਉਸੇ ਤਰੀਕੇ ਨਾਲ ਦਰਸਾਇਆ ਜਾਂਦਾ ਹੈ।
ਅਸੀਂ ਬਾਅਦ ਵਿੱਚ ਮੈਪਿੰਗ ਬਾਰੇ ਹੋਰ ਗੱਲ ਕਰਾਂਗੇ।

ਬੇਨਤੀਆਂ

ਇੱਕ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਇਸਦੀ ਆਈਡੀ ਦੁਆਰਾ ਪ੍ਰਾਪਤ ਕਰਨਾ:

# извлечем документ с id 1 типа post из индекса blog
curl -XGET "$ES_URL/blog/post/1?pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята",
    "content" : "<p>Смешная история про котят<p>",
    "tags" : [ "котята", "смешная история" ],
    "published_at" : "2014-09-12T20:44:42+00:00"
  }
}

ਜਵਾਬ ਵਿੱਚ ਨਵੀਆਂ ਕੁੰਜੀਆਂ ਦਿਖਾਈ ਦਿੱਤੀਆਂ: _version и _source. ਆਮ ਤੌਰ 'ਤੇ, ਨਾਲ ਸ਼ੁਰੂ ਹੋਣ ਵਾਲੀਆਂ ਸਾਰੀਆਂ ਕੁੰਜੀਆਂ _ ਅਧਿਕਾਰੀ ਵਜੋਂ ਸ਼੍ਰੇਣੀਬੱਧ ਕੀਤੇ ਗਏ ਹਨ।

ਕੁੰਜੀ _version ਦਸਤਾਵੇਜ਼ ਸੰਸਕਰਣ ਦਿਖਾਉਂਦਾ ਹੈ. ਆਸ਼ਾਵਾਦੀ ਲਾਕਿੰਗ ਵਿਧੀ ਨੂੰ ਕੰਮ ਕਰਨ ਲਈ ਇਸਦੀ ਲੋੜ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਅਸੀਂ ਇੱਕ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਬਦਲਣਾ ਚਾਹੁੰਦੇ ਹਾਂ ਜਿਸਦਾ ਸੰਸਕਰਣ 1 ਹੈ। ਅਸੀਂ ਬਦਲਿਆ ਹੋਇਆ ਦਸਤਾਵੇਜ਼ ਜਮ੍ਹਾ ਕਰਦੇ ਹਾਂ ਅਤੇ ਸੰਕੇਤ ਦਿੰਦੇ ਹਾਂ ਕਿ ਇਹ ਸੰਸਕਰਣ 1 ਵਾਲੇ ਦਸਤਾਵੇਜ਼ ਦਾ ਸੰਪਾਦਨ ਹੈ। ਜੇਕਰ ਕਿਸੇ ਹੋਰ ਵਿਅਕਤੀ ਨੇ ਵੀ ਸੰਸਕਰਣ 1 ਵਾਲੇ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਸੰਪਾਦਿਤ ਕੀਤਾ ਹੈ ਅਤੇ ਸਾਡੇ ਸਾਹਮਣੇ ਤਬਦੀਲੀਆਂ ਦਰਜ ਕੀਤੀਆਂ ਹਨ, ਤਾਂ ES ਸਾਡੀਆਂ ਤਬਦੀਲੀਆਂ ਨੂੰ ਸਵੀਕਾਰ ਨਹੀਂ ਕਰੇਗਾ, ਕਿਉਂਕਿ ਇਹ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਵਰਜਨ 2 ਨਾਲ ਸਟੋਰ ਕਰਦਾ ਹੈ।

ਕੁੰਜੀ _source ਇਸ ਵਿੱਚ ਉਹ ਦਸਤਾਵੇਜ਼ ਸ਼ਾਮਲ ਹੈ ਜੋ ਅਸੀਂ ਸੂਚੀਬੱਧ ਕੀਤਾ ਹੈ। ES ਖੋਜ ਕਾਰਜਾਂ ਲਈ ਇਸ ਮੁੱਲ ਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕਰਦਾ ਕਿਉਂਕਿ ਸੂਚਕਾਂਕ ਖੋਜ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਹਨ। ਸਪੇਸ ਬਚਾਉਣ ਲਈ, ES ਇੱਕ ਸੰਕੁਚਿਤ ਸਰੋਤ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਸਟੋਰ ਕਰਦਾ ਹੈ। ਜੇਕਰ ਸਾਨੂੰ ਸਿਰਫ਼ ਆਈਡੀ ਦੀ ਲੋੜ ਹੈ, ਨਾ ਕਿ ਪੂਰੇ ਸਰੋਤ ਦਸਤਾਵੇਜ਼ ਦੀ, ਤਾਂ ਅਸੀਂ ਸਰੋਤ ਸਟੋਰੇਜ ਨੂੰ ਅਯੋਗ ਕਰ ਸਕਦੇ ਹਾਂ।

ਜੇਕਰ ਸਾਨੂੰ ਵਾਧੂ ਜਾਣਕਾਰੀ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ, ਤਾਂ ਅਸੀਂ ਸਿਰਫ਼ ਸਰੋਤ ਦੀ ਸਮੱਗਰੀ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹਾਂ:

curl -XGET "$ES_URL/blog/post/1/_source?pretty"

{
  "title" : "Веселые котята",
  "content" : "<p>Смешная история про котят<p>",
  "tags" : [ "котята", "смешная история" ],
  "published_at" : "2014-09-12T20:44:42+00:00"
}

ਤੁਸੀਂ ਸਿਰਫ਼ ਕੁਝ ਖੇਤਰਾਂ ਦੀ ਚੋਣ ਵੀ ਕਰ ਸਕਦੇ ਹੋ:

# извлечем только поле title
curl -XGET "$ES_URL/blog/post/1?_source=title&pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята"
  }
}

ਚਲੋ ਕੁਝ ਹੋਰ ਪੋਸਟਾਂ ਨੂੰ ਸੂਚਕਾਂਕ ਕਰੀਏ ਅਤੇ ਹੋਰ ਗੁੰਝਲਦਾਰ ਸਵਾਲਾਂ ਨੂੰ ਚਲਾਓ।

curl -XPUT "$ES_URL/blog/post/2" -d'
{
  "title": "Веселые щенки",
  "content": "<p>Смешная история про щенков<p>",
  "tags": [
    "щенки",
    "смешная история"
  ],
  "published_at": "2014-08-12T20:44:42+00:00"
}'

curl -XPUT "$ES_URL/blog/post/3" -d'
{
  "title": "Как у меня появился котенок",
  "content": "<p>Душераздирающая история про бедного котенка с улицы<p>",
  "tags": [
    "котята"
  ],
  "published_at": "2014-07-21T20:44:42+00:00"
}'

ਛਾਂਟਣਾ

# найдем последний пост по дате публикации и извлечем поля title и published_at
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "size": 1,
  "_source": ["title", "published_at"],
  "sort": [{"published_at": "desc"}]
}'

{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : null,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : null,
      "_source" : {
        "title" : "Веселые котята",
        "published_at" : "2014-09-12T20:44:42+00:00"
      },
      "sort" : [ 1410554682000 ]
    } ]
  }
}

ਅਸੀਂ ਆਖਰੀ ਪੋਸਟ ਨੂੰ ਚੁਣਿਆ. size ਜਾਰੀ ਕੀਤੇ ਜਾਣ ਵਾਲੇ ਦਸਤਾਵੇਜ਼ਾਂ ਦੀ ਸੰਖਿਆ ਨੂੰ ਸੀਮਿਤ ਕਰਦਾ ਹੈ। total ਬੇਨਤੀ ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਦਸਤਾਵੇਜ਼ਾਂ ਦੀ ਕੁੱਲ ਸੰਖਿਆ ਦਿਖਾਉਂਦਾ ਹੈ। sort ਆਉਟਪੁੱਟ ਵਿੱਚ ਪੂਰਨ ਅੰਕਾਂ ਦੀ ਇੱਕ ਲੜੀ ਹੁੰਦੀ ਹੈ ਜਿਸ ਦੁਆਰਾ ਛਾਂਟੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਉਹ. ਮਿਤੀ ਨੂੰ ਪੂਰਨ ਅੰਕ ਵਿੱਚ ਬਦਲਿਆ ਗਿਆ ਸੀ। ਵਿੱਚ ਛਾਂਟੀ ਬਾਰੇ ਵਧੇਰੇ ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ ਦਸਤਾਵੇਜ਼.

ਫਿਲਟਰ ਅਤੇ ਸਵਾਲ

ES ਕਿਉਂਕਿ ਸੰਸਕਰਣ 2 ਫਿਲਟਰਾਂ ਅਤੇ ਪੁੱਛਗਿੱਛਾਂ ਵਿੱਚ ਫਰਕ ਨਹੀਂ ਕਰਦਾ, ਇਸਦੀ ਬਜਾਏ ਪ੍ਰਸੰਗਾਂ ਦੀ ਧਾਰਨਾ ਪੇਸ਼ ਕੀਤੀ ਗਈ ਹੈ.
ਇੱਕ ਪੁੱਛਗਿੱਛ ਸੰਦਰਭ ਇੱਕ ਫਿਲਟਰ ਸੰਦਰਭ ਤੋਂ ਵੱਖਰਾ ਹੁੰਦਾ ਹੈ ਕਿਉਂਕਿ ਪੁੱਛਗਿੱਛ ਇੱਕ _score ਤਿਆਰ ਕਰਦੀ ਹੈ ਅਤੇ ਕੈਸ਼ ਨਹੀਂ ਹੁੰਦੀ ਹੈ। ਮੈਂ ਤੁਹਾਨੂੰ ਦਿਖਾਵਾਂਗਾ ਕਿ ਬਾਅਦ ਵਿੱਚ _score ਕੀ ਹੈ।

ਮਿਤੀ ਅਨੁਸਾਰ ਫਿਲਟਰ ਕਰੋ

ਅਸੀਂ ਬੇਨਤੀ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਾਂ ਸੀਮਾ ਫਿਲਟਰ ਦੇ ਸੰਦਰਭ ਵਿੱਚ:

# получим посты, опубликованные 1ого сентября или позже
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "filter": {
    "range": {
      "published_at": { "gte": "2014-09-01" }
    }
  }
}'

ਟੈਗਾਂ ਦੁਆਰਾ ਫਿਲਟਰ ਕਰੋ

ਅਸੀਂ ਵਰਤਦੇ ਹਾਂ ਮਿਆਦ ਪੁੱਛਗਿੱਛ ਦਿੱਤੇ ਗਏ ਸ਼ਬਦ ਵਾਲੇ ਦਸਤਾਵੇਜ਼ ਆਈਡੀ ਦੀ ਖੋਜ ਕਰਨ ਲਈ:

# найдем все документы, в поле tags которых есть элемент 'котята'
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": [
    "title",
    "tags"
  ],
  "filter": {
    "term": {
      "tags": "котята"
    }
  }
}'

{
  "took" : 9,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 1.0,
      "_source" : {
        "title" : "Веселые котята",
        "tags" : [ "котята", "смешная история" ]
      }
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 1.0,
      "_source" : {
        "title" : "Как у меня появился котенок",
        "tags" : [ "котята" ]
      }
    } ]
  }
}

ਪੂਰੀ ਲਿਖਤ ਖੋਜ

ਸਾਡੇ ਤਿੰਨ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਸਮੱਗਰੀ ਖੇਤਰ ਵਿੱਚ ਹੇਠ ਲਿਖੇ ਸ਼ਾਮਲ ਹਨ:

• <p>Смешная история про котят<p>
• <p>Смешная история про щенков<p>
• <p>Душераздирающая история про бедного котенка с улицы<p>

ਅਸੀਂ ਵਰਤਦੇ ਹਾਂ ਮੇਲ ਪੁੱਛਗਿੱਛ ਦਿੱਤੇ ਗਏ ਸ਼ਬਦ ਵਾਲੇ ਦਸਤਾਵੇਜ਼ ਆਈਡੀ ਦੀ ਖੋਜ ਕਰਨ ਲਈ:

# source: false означает, что не нужно извлекать _source найденных документов
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": false,
  "query": {
    "match": {
      "content": "история"
    }
  }
}'

{
  "took" : 13,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.11506981,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "2",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 0.095891505
    } ]
  }
}

ਹਾਲਾਂਕਿ, ਜੇਕਰ ਅਸੀਂ ਸਮੱਗਰੀ ਖੇਤਰ ਵਿੱਚ "ਕਹਾਣੀਆਂ" ਦੀ ਖੋਜ ਕਰਦੇ ਹਾਂ, ਤਾਂ ਸਾਨੂੰ ਕੁਝ ਵੀ ਨਹੀਂ ਮਿਲੇਗਾ, ਕਿਉਂਕਿ ਸੂਚਕਾਂਕ ਵਿੱਚ ਸਿਰਫ਼ ਮੂਲ ਸ਼ਬਦ ਹਨ, ਉਨ੍ਹਾਂ ਦੇ ਤਣੇ ਨਹੀਂ। ਉੱਚ-ਗੁਣਵੱਤਾ ਦੀ ਖੋਜ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਵਿਸ਼ਲੇਸ਼ਕ ਨੂੰ ਕੌਂਫਿਗਰ ਕਰਨ ਦੀ ਲੋੜ ਹੈ।

ਖੇਤਰ _score ਸ਼ੋਅ ਸਾਰਥਕ. ਜੇਕਰ ਬੇਨਤੀ ਨੂੰ ਇੱਕ ਫਿਲਟਰ ਸੰਦਰਭ ਵਿੱਚ ਚਲਾਇਆ ਜਾਂਦਾ ਹੈ, ਤਾਂ _score ਮੁੱਲ ਹਮੇਸ਼ਾਂ 1 ਦੇ ਬਰਾਬਰ ਹੋਵੇਗਾ, ਜਿਸਦਾ ਅਰਥ ਹੈ ਫਿਲਟਰ ਨਾਲ ਪੂਰਾ ਮੇਲ।

ਵਿਸ਼ਲੇਸ਼ਕ

ਵਿਸ਼ਲੇਸ਼ਕ ਸਰੋਤ ਟੈਕਸਟ ਨੂੰ ਟੋਕਨਾਂ ਦੇ ਸਮੂਹ ਵਿੱਚ ਬਦਲਣ ਲਈ ਲੋੜੀਂਦਾ ਹੈ।
ਵਿਸ਼ਲੇਸ਼ਕ ਵਿੱਚ ਇੱਕ ਹੁੰਦਾ ਹੈ ਟੋਕਨਾਈਜ਼ਰ ਅਤੇ ਕਈ ਵਿਕਲਪਿਕ ਟੋਕਨ ਫਿਲਟਰ. ਟੋਕਨਾਈਜ਼ਰ ਤੋਂ ਪਹਿਲਾਂ ਕਈ ਹੋ ਸਕਦੇ ਹਨ ਚਾਰਫਿਲਟਰ. ਟੋਕਨਾਈਜ਼ਰ ਸਰੋਤ ਸਤਰ ਨੂੰ ਟੋਕਨਾਂ ਵਿੱਚ ਵੰਡਦੇ ਹਨ, ਜਿਵੇਂ ਕਿ ਸਪੇਸ ਅਤੇ ਵਿਰਾਮ ਚਿੰਨ੍ਹ। ਟੋਕਨਫਿਲਟਰ ਟੋਕਨਾਂ ਨੂੰ ਬਦਲ ਸਕਦਾ ਹੈ, ਮਿਟਾ ਸਕਦਾ ਹੈ ਜਾਂ ਨਵਾਂ ਜੋੜ ਸਕਦਾ ਹੈ, ਉਦਾਹਰਣ ਲਈ, ਸ਼ਬਦ ਦਾ ਸਿਰਫ ਸਟੈਮ ਛੱਡੋ, ਅਗੇਤਰ ਹਟਾਓ, ਸਮਾਨਾਰਥੀ ਜੋੜੋ। ਚਾਰਫਿਲਟਰ - ਪੂਰੀ ਸਰੋਤ ਸਤਰ ਨੂੰ ਬਦਲਦਾ ਹੈ, ਉਦਾਹਰਨ ਲਈ, html ਟੈਗਸ ਨੂੰ ਕੱਟਦਾ ਹੈ।

ES ਕੋਲ ਕਈ ਹਨ ਮਿਆਰੀ ਵਿਸ਼ਲੇਸ਼ਕ. ਉਦਾਹਰਨ ਲਈ, ਇੱਕ ਵਿਸ਼ਲੇਸ਼ਕ ਰੂਸੀ.

ਆਓ ਲਾਭ ਉਠਾਈਏ ਏਪੀਆਈ ਅਤੇ ਆਓ ਦੇਖੀਏ ਕਿ ਸਟੈਂਡਰਡ ਅਤੇ ਰੂਸੀ ਵਿਸ਼ਲੇਸ਼ਕ "ਬਿੱਲੀ ਦੇ ਬੱਚਿਆਂ ਬਾਰੇ ਮਜ਼ਾਕੀਆ ਕਹਾਣੀਆਂ" ਸਤਰ ਨੂੰ ਕਿਵੇਂ ਬਦਲਦੇ ਹਨ:

# используем анализатор standard       
# обязательно нужно перекодировать не ASCII символы
curl -XGET "$ES_URL/_analyze?pretty&analyzer=standard&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "веселые",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истории",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "про",
    "start_offset" : 16,
    "end_offset" : 19,
    "type" : "<ALPHANUM>",
    "position" : 2
  }, {
    "token" : "котят",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

# используем анализатор russian
curl -XGET "$ES_URL/_analyze?pretty&analyzer=russian&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "весел",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истор",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "кот",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

ਸਟੈਂਡਰਡ ਐਨਾਲਾਈਜ਼ਰ ਨੇ ਸਤਰ ਨੂੰ ਸਪੇਸ ਦੁਆਰਾ ਵੰਡਿਆ ਅਤੇ ਹਰ ਚੀਜ਼ ਨੂੰ ਛੋਟੇ ਅੱਖਰਾਂ ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ, ਰੂਸੀ ਵਿਸ਼ਲੇਸ਼ਕ ਨੇ ਗੈਰ-ਮਹੱਤਵਪੂਰਨ ਸ਼ਬਦਾਂ ਨੂੰ ਹਟਾ ਦਿੱਤਾ, ਇਸਨੂੰ ਛੋਟੇ ਅੱਖਰਾਂ ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ ਅਤੇ ਸ਼ਬਦਾਂ ਦੇ ਸਟੈਮ ਨੂੰ ਛੱਡ ਦਿੱਤਾ।

ਆਓ ਦੇਖੀਏ ਕਿ ਰੂਸੀ ਵਿਸ਼ਲੇਸ਼ਕ ਕਿਹੜੇ ਟੋਕਨਾਈਜ਼ਰ, ਟੋਕਨਫਿਲਟਰ, ਚਾਰਫਿਲਟਰ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ:

{
  "filter": {
    "russian_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "russian_keywords": {
      "type":       "keyword_marker",
      "keywords":   []
    },
    "russian_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "russian": {
      "tokenizer":  "standard",
      /* TokenFilters */
      "filter": [
        "lowercase",
        "russian_stop",
        "russian_keywords",
        "russian_stemmer"
      ]
      /* CharFilters отсутствуют */
    }
  }
}

ਆਉ ਰੂਸੀ ਦੇ ਅਧਾਰ ਤੇ ਸਾਡੇ ਵਿਸ਼ਲੇਸ਼ਕ ਦਾ ਵਰਣਨ ਕਰੀਏ, ਜੋ ਕਿ html ਟੈਗਸ ਨੂੰ ਕੱਟ ਦੇਵੇਗਾ. ਆਓ ਇਸਨੂੰ ਡਿਫੌਲਟ ਕਹਿੰਦੇ ਹਾਂ, ਕਿਉਂਕਿ ਇਸ ਨਾਮ ਨਾਲ ਇੱਕ ਵਿਸ਼ਲੇਸ਼ਕ ਮੂਲ ਰੂਪ ਵਿੱਚ ਵਰਤਿਆ ਜਾਵੇਗਾ।

{
  "filter": {
    "ru_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "ru_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "default": {
      /* добавляем удаление html тегов */
      "char_filter": ["html_strip"],
      "tokenizer":  "standard",
      "filter": [
        "lowercase",
        "ru_stop",
        "ru_stemmer"
      ]
    }
  }
}

ਪਹਿਲਾਂ, ਸਾਰੇ HTML ਟੈਗਸ ਨੂੰ ਸਰੋਤ ਸਤਰ ਤੋਂ ਹਟਾ ਦਿੱਤਾ ਜਾਵੇਗਾ, ਫਿਰ ਟੋਕਨਾਈਜ਼ਰ ਸਟੈਂਡਰਡ ਇਸਨੂੰ ਟੋਕਨਾਂ ਵਿੱਚ ਵੰਡ ਦੇਵੇਗਾ, ਨਤੀਜੇ ਵਜੋਂ ਟੋਕਨ ਛੋਟੇ ਅੱਖਰਾਂ ਵਿੱਚ ਚਲੇ ਜਾਣਗੇ, ਮਾਮੂਲੀ ਸ਼ਬਦਾਂ ਨੂੰ ਹਟਾ ਦਿੱਤਾ ਜਾਵੇਗਾ, ਅਤੇ ਬਾਕੀ ਬਚੇ ਟੋਕਨ ਸ਼ਬਦ ਦੇ ਸਟੈਮ ਰਹਿਣਗੇ।

ਇੱਕ ਸੂਚਕਾਂਕ ਬਣਾਉਣਾ

ਉੱਪਰ ਅਸੀਂ ਡਿਫਾਲਟ ਐਨਾਲਾਈਜ਼ਰ ਦਾ ਵਰਣਨ ਕੀਤਾ ਹੈ। ਇਹ ਸਾਰੇ ਸਤਰ ਖੇਤਰਾਂ 'ਤੇ ਲਾਗੂ ਹੋਵੇਗਾ। ਸਾਡੀ ਪੋਸਟ ਵਿੱਚ ਟੈਗਸ ਦੀ ਇੱਕ ਲੜੀ ਸ਼ਾਮਲ ਹੈ, ਇਸਲਈ ਟੈਗਸ ਨੂੰ ਵੀ ਵਿਸ਼ਲੇਸ਼ਕ ਦੁਆਰਾ ਸੰਸਾਧਿਤ ਕੀਤਾ ਜਾਵੇਗਾ। ਕਿਉਂਕਿ ਅਸੀਂ ਇੱਕ ਟੈਗ ਨਾਲ ਸਟੀਕ ਮੇਲ ਕਰਕੇ ਪੋਸਟਾਂ ਦੀ ਭਾਲ ਕਰ ਰਹੇ ਹਾਂ, ਫਿਰ ਸਾਨੂੰ ਟੈਗ ਖੇਤਰ ਲਈ ਵਿਸ਼ਲੇਸ਼ਣ ਨੂੰ ਅਸਮਰੱਥ ਬਣਾਉਣ ਦੀ ਲੋੜ ਹੈ।

ਆਉ ਇੱਕ ਵਿਸ਼ਲੇਸ਼ਕ ਅਤੇ ਮੈਪਿੰਗ ਦੇ ਨਾਲ ਇੱਕ ਇੰਡੈਕਸ ਬਲੌਗ 2 ਬਣਾਈਏ, ਜਿਸ ਵਿੱਚ ਟੈਗਸ ਫੀਲਡ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਅਸਮਰੱਥ ਹੈ:

curl -XPOST "$ES_URL/blog2" -d'
{
  "settings": {
    "analysis": {
      "filter": {
        "ru_stop": {
          "type": "stop",
          "stopwords": "_russian_"
        },
        "ru_stemmer": {
          "type": "stemmer",
          "language": "russian"
        }
      },
      "analyzer": {
        "default": {
          "char_filter": [
            "html_strip"
          ],
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "ru_stop",
            "ru_stemmer"
          ]
        }
      }
    }
  },
  "mappings": {
    "post": {
      "properties": {
        "content": {
          "type": "string"
        },
        "published_at": {
          "type": "date"
        },
        "tags": {
          "type": "string",
          "index": "not_analyzed"
        },
        "title": {
          "type": "string"
        }
      }
    }
  }
}'

ਚਲੋ ਉਹੀ 3 ਪੋਸਟਾਂ ਨੂੰ ਇਸ ਸੂਚਕਾਂਕ (ਬਲੌਗ2) ਵਿੱਚ ਸ਼ਾਮਲ ਕਰੀਏ। ਮੈਂ ਇਸ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਛੱਡ ਦੇਵਾਂਗਾ ਕਿਉਂਕਿ ... ਇਹ ਬਲੌਗ ਸੂਚਕਾਂਕ ਵਿੱਚ ਦਸਤਾਵੇਜ਼ ਜੋੜਨ ਦੇ ਸਮਾਨ ਹੈ।

ਸਮੀਕਰਨ ਸਮਰਥਨ ਦੇ ਨਾਲ ਪੂਰੀ ਟੈਕਸਟ ਖੋਜ

ਆਉ ਇੱਕ ਹੋਰ ਕਿਸਮ ਦੀ ਬੇਨਤੀ 'ਤੇ ਇੱਕ ਨਜ਼ਰ ਮਾਰੀਏ:

# найдем документы, в которых встречается слово 'истории'
# query -> simple_query_string -> query содержит поисковый запрос
# поле title имеет приоритет 3
# поле tags имеет приоритет 2
# поле content имеет приоритет 1
# приоритет используется при ранжировании результатов
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "истории",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

ਕਿਉਂਕਿ ਅਸੀਂ ਰੂਸੀ ਸਟੈਮਿੰਗ ਦੇ ਨਾਲ ਇੱਕ ਵਿਸ਼ਲੇਸ਼ਕ ਦੀ ਵਰਤੋਂ ਕਰ ਰਹੇ ਹਾਂ, ਫਿਰ ਇਹ ਬੇਨਤੀ ਸਾਰੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਵਾਪਸ ਕਰ ਦੇਵੇਗੀ, ਹਾਲਾਂਕਿ ਉਹਨਾਂ ਵਿੱਚ ਸਿਰਫ 'ਇਤਿਹਾਸ' ਸ਼ਬਦ ਸ਼ਾਮਲ ਹੈ।

ਬੇਨਤੀ ਵਿੱਚ ਵਿਸ਼ੇਸ਼ ਅੱਖਰ ਸ਼ਾਮਲ ਹੋ ਸਕਦੇ ਹਨ, ਉਦਾਹਰਨ ਲਈ:

""fried eggs" +(eggplant | potato) -frittata"

ਬੇਨਤੀ ਸੰਟੈਕਸ:

+ signifies AND operation
| signifies OR operation
- negates a single token
" wraps a number of tokens to signify a phrase for searching
* at the end of a term signifies a prefix query
( and ) signify precedence
~N after a word signifies edit distance (fuzziness)
~N after a phrase signifies slop amount

# найдем документы без слова 'щенки'
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "-щенки",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

# получим 2 поста про котиков

ਹਵਾਲੇ

• Elastic.co
• ਹਵਾਲਾ
• ਗਾਈਡ
• ਸ਼ਬਦਾਵਲੀ
• ਸੈਟਿੰਗ
• ਦਸਤਾਵੇਜ਼ ਹੇਰਾਫੇਰੀ
• ਸੂਚਕਾਂਕ ਸੰਚਾਲਨ
• ਬੇਨਤੀਆਂ ਦੀ ਸੂਚੀ

PS

ਜੇ ਤੁਸੀਂ ਸਮਾਨ ਲੇਖਾਂ-ਪਾਠਾਂ ਵਿੱਚ ਦਿਲਚਸਪੀ ਰੱਖਦੇ ਹੋ, ਨਵੇਂ ਲੇਖਾਂ ਲਈ ਵਿਚਾਰ ਰੱਖਦੇ ਹੋ, ਜਾਂ ਸਹਿਯੋਗ ਲਈ ਪ੍ਰਸਤਾਵ ਰੱਖਦੇ ਹੋ, ਤਾਂ ਮੈਨੂੰ ਨਿੱਜੀ ਸੰਦੇਸ਼ ਜਾਂ ਈਮੇਲ ਦੁਆਰਾ ਸੁਨੇਹਾ ਪ੍ਰਾਪਤ ਕਰਕੇ ਖੁਸ਼ੀ ਹੋਵੇਗੀ [ਈਮੇਲ ਸੁਰੱਖਿਅਤ].

ਸਰੋਤ: www.habr.com