Elasticsearch არის საძიებო სისტემა json rest api-ით, Lucene-ის გამოყენებით და დაწერილი ჯავაში. ამ ძრავის ყველა უპირატესობის აღწერა ხელმისაწვდომია აქ ოფიციალურ საიტზე. შემდეგში ჩვენ მივმართავთ Elasticsearch როგორც ES.

მსგავსი ძრავები გამოიყენება დოკუმენტების მონაცემთა ბაზაში რთული ძიებისთვის. მაგალითად, ძიება ენის მორფოლოგიის გათვალისწინებით ან გეოკოორდინატებით ძიება.

ამ სტატიაში მე ვისაუბრებ ES-ის საფუძვლებზე ბლოგის პოსტების ინდექსირების მაგალითის გამოყენებით. მე გაჩვენებთ როგორ გაფილტროთ, დაალაგოთ და მოძებნოთ დოკუმენტები.

იმისათვის, რომ არ ვიყო დამოკიდებული ოპერაციულ სისტემაზე, მე ყველა მოთხოვნას მივმართავ ES-ს CURL-ის გამოყენებით. ასევე არის გუგლის ქრომის დანამატი, რომელსაც ე.წ გრძნობა.

ტექსტი შეიცავს დოკუმენტაციისა და სხვა წყაროების ბმულებს. დასასრულს არის ბმულები დოკუმენტაციაზე სწრაფი წვდომისთვის. უცნობი ტერმინების განმარტებები შეგიძლიათ იხილოთ აქ ლექსიკონები.

ინსტალაცია

ამისათვის ჩვენ ჯერ ჯავა გვჭირდება. დეველოპერები რეკომენდაცია დააინსტალირეთ Java ვერსიები უფრო ახალი ვიდრე Java 8 განახლება 20 ან Java 7 განახლება 55.

ES დისტრიბუცია ხელმისაწვდომია მისამართზე დეველოპერის საიტი. არქივის ამოხსნის შემდეგ თქვენ უნდა გაუშვათ bin/elasticsearch. ასევე ხელმისაწვდომია პაკეტები apt და yum-ისთვის. არსებობს ოფიციალური სურათი დოკერისთვის. მეტი ინსტალაციის შესახებ.

ინსტალაციისა და გაშვების შემდეგ, მოდით შევამოწმოთ ფუნქციონირება:

# для удобства запомним адрес в переменную
#export ES_URL=$(docker-machine ip dev):9200
export ES_URL=localhost:9200

curl -X GET $ES_URL

ჩვენ მივიღებთ ასეთ რამეს:

{
  "name" : "Heimdall",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.2.1",
    "build_hash" : "d045fc29d1932bce18b2e65ab8b297fbf6cd41a1",
    "build_timestamp" : "2016-03-09T09:38:54Z",
    "build_snapshot" : false,
    "lucene_version" : "5.4.1"
  },
  "tagline" : "You Know, for Search"
}

ინდექსირება

მოდით დავამატოთ პოსტი ES-ს:

# Добавим документ c id 1 типа post в индекс blog.
# ?pretty указывает, что вывод должен быть человеко-читаемым.

curl -XPUT "$ES_URL/blog/post/1?pretty" -d'
{
  "title": "Веселые котята",
  "content": "<p>Смешная история про котят<p>",
  "tags": [
    "котята",
    "смешная история"
  ],
  "published_at": "2014-09-12T20:44:42+00:00"
}'

სერვერის პასუხი:

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "created" : false
}

ES ავტომატურად შეიქმნა ინდექსი ბლოგი და тип პოსტი. ჩვენ შეგვიძლია დავხატოთ პირობითი ანალოგი: ინდექსი არის მონაცემთა ბაზა, ტიპი კი არის ცხრილი ამ მონაცემთა ბაზაში. თითოეულ ტიპს აქვს თავისი სქემა − რუკების, ისევე როგორც ურთიერთობის ცხრილი. რუკების გენერირება ხდება ავტომატურად, როდესაც დოკუმენტი ინდექსირებულია:

# Получим mapping всех типов индекса blog
curl -XGET "$ES_URL/blog/_mapping?pretty"

სერვერის პასუხში მე დავამატე კომენტარებში ინდექსირებული დოკუმენტის ველების მნიშვნელობები:

{
  "blog" : {
    "mappings" : {
      "post" : {
        "properties" : {
          /* "content": "<p>Смешная история про котят<p>", */ 
          "content" : {
            "type" : "string"
          },
          /* "published_at": "2014-09-12T20:44:42+00:00" */
          "published_at" : {
            "type" : "date",
            "format" : "strict_date_optional_time||epoch_millis"
          },
          /* "tags": ["котята", "смешная история"] */
          "tags" : {
            "type" : "string"
          },
          /*  "title": "Веселые котята" */
          "title" : {
            "type" : "string"
          }
        }
      }
    }
  }
}

აღსანიშნავია, რომ ES არ განასხვავებს ერთ მნიშვნელობას და მნიშვნელობათა მასივს შორის. მაგალითად, სათაურის ველი უბრალოდ შეიცავს სათაურს, ხოლო ტეგების ველი შეიცავს სტრიქონების მასივს, თუმცა ისინი ერთნაირად არის წარმოდგენილი რუკების დროს.
რუკების შესახებ მოგვიანებით ვისაუბრებთ.

ითხოვს

დოკუმენტის მოძიება მისი ID-ით:

# извлечем документ с id 1 типа post из индекса blog
curl -XGET "$ES_URL/blog/post/1?pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята",
    "content" : "<p>Смешная история про котят<p>",
    "tags" : [ "котята", "смешная история" ],
    "published_at" : "2014-09-12T20:44:42+00:00"
  }
}

პასუხში გამოჩნდა ახალი გასაღებები: _version и _source. ზოგადად, ყველა გასაღები იწყება _ კლასიფიცირდება როგორც ოფიციალური.

ყვითელი _version აჩვენებს დოკუმენტის ვერსიას. საჭიროა ოპტიმისტური საკეტის მექანიზმის მუშაობისთვის. მაგალითად, ჩვენ გვინდა შევცვალოთ დოკუმენტი, რომელსაც აქვს ვერსია 1. ჩვენ ვაგზავნით შეცვლილ დოკუმენტს და ვნიშნავთ, რომ ეს არის დოკუმენტის რედაქტირება 1 ვერსიით. თუ ვინმემ ასევე დაარედაქტირა დოკუმენტი 1 ვერსიით და წარადგინა ცვლილებები ჩვენამდე, მაშინ ES არ მიიღებს ჩვენს ცვლილებებს, რადგან ის ინახავს დოკუმენტს 2 ვერსიით.

ყვითელი _source შეიცავს დოკუმენტს, რომელიც ჩვენ ინდექსირებულია. ES არ იყენებს ამ მნიშვნელობას საძიებო ოპერაციებისთვის, რადგან საძიებლად გამოიყენება ინდექსები. სივრცის დაზოგვის მიზნით, ES ინახავს შეკუმშულ წყაროს დოკუმენტს. თუ ჩვენ გვჭირდება მხოლოდ ID და არა მთელი საწყისი დოკუმენტი, მაშინ შეგვიძლია გამორთოთ წყაროს შენახვა.

თუ არ გვჭირდება დამატებითი ინფორმაცია, ჩვენ შეგვიძლია მივიღოთ მხოლოდ _source-ის შინაარსი:

curl -XGET "$ES_URL/blog/post/1/_source?pretty"

{
  "title" : "Веселые котята",
  "content" : "<p>Смешная история про котят<p>",
  "tags" : [ "котята", "смешная история" ],
  "published_at" : "2014-09-12T20:44:42+00:00"
}

თქვენ ასევე შეგიძლიათ აირჩიოთ მხოლოდ გარკვეული ველები:

# извлечем только поле title
curl -XGET "$ES_URL/blog/post/1?_source=title&pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята"
  }
}

მოდი კიდევ რამდენიმე პოსტის ინდექსირება და უფრო რთული მოთხოვნების გაშვება.

curl -XPUT "$ES_URL/blog/post/2" -d'
{
  "title": "Веселые щенки",
  "content": "<p>Смешная история про щенков<p>",
  "tags": [
    "щенки",
    "смешная история"
  ],
  "published_at": "2014-08-12T20:44:42+00:00"
}'

curl -XPUT "$ES_URL/blog/post/3" -d'
{
  "title": "Как у меня появился котенок",
  "content": "<p>Душераздирающая история про бедного котенка с улицы<p>",
  "tags": [
    "котята"
  ],
  "published_at": "2014-07-21T20:44:42+00:00"
}'

დახარისხება

# найдем последний пост по дате публикации и извлечем поля title и published_at
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "size": 1,
  "_source": ["title", "published_at"],
  "sort": [{"published_at": "desc"}]
}'

{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : null,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : null,
      "_source" : {
        "title" : "Веселые котята",
        "published_at" : "2014-09-12T20:44:42+00:00"
      },
      "sort" : [ 1410554682000 ]
    } ]
  }
}

ჩვენ ავირჩიეთ ბოლო პოსტი. size ზღუდავს გასაცემი დოკუმენტების რაოდენობას. total აჩვენებს მოთხოვნის შესაბამისი დოკუმენტების საერთო რაოდენობას. sort გამოსავალში შეიცავს მთელი რიცხვების მასივს, რომლითაც ხდება დახარისხება. იმათ. თარიღი გადაკეთდა მთელ რიცხვად. დახარისხების შესახებ მეტი ინფორმაცია შეგიძლიათ იხილოთ აქ დოკუმენტაცია.

ფილტრები და მოთხოვნები

ES, რადგან ვერსია 2 არ განასხვავებს ფილტრებსა და მოთხოვნებს შორის შემოღებულია კონტექსტების ცნება.
შეკითხვის კონტექსტი განსხვავდება ფილტრის კონტექსტისგან იმით, რომ მოთხოვნა წარმოქმნის _ქულას და არ არის ქეშირებული. მოგვიანებით გაჩვენებთ რა _ ქულაა.

გაფილტვრა თარიღის მიხედვით

ჩვენ ვიყენებთ მოთხოვნას სპექტრი ფილტრის კონტექსტში:

# получим посты, опубликованные 1ого сентября или позже
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "filter": {
    "range": {
      "published_at": { "gte": "2014-09-01" }
    }
  }
}'

გაფილტვრა ტეგების მიხედვით

Ჩვენ ვიყენებთ ტერმინის მოთხოვნა მოცემული სიტყვის შემცველი დოკუმენტის იდენტიფიკატორის მოსაძებნად:

# найдем все документы, в поле tags которых есть элемент 'котята'
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": [
    "title",
    "tags"
  ],
  "filter": {
    "term": {
      "tags": "котята"
    }
  }
}'

{
  "took" : 9,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 1.0,
      "_source" : {
        "title" : "Веселые котята",
        "tags" : [ "котята", "смешная история" ]
      }
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 1.0,
      "_source" : {
        "title" : "Как у меня появился котенок",
        "tags" : [ "котята" ]
      }
    } ]
  }
}

სრული ტექსტის ძიება

ჩვენი სამი დოკუმენტი შეიცავს შემდეგს შინაარსის ველში:

• <p>Смешная история про котят<p>
• <p>Смешная история про щенков<p>
• <p>Душераздирающая история про бедного котенка с улицы<p>

Ჩვენ ვიყენებთ შესატყვისი მოთხოვნა მოცემული სიტყვის შემცველი დოკუმენტის იდენტიფიკატორის მოსაძებნად:

# source: false означает, что не нужно извлекать _source найденных документов
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": false,
  "query": {
    "match": {
      "content": "история"
    }
  }
}'

{
  "took" : 13,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.11506981,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "2",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 0.095891505
    } ]
  }
}

თუმცა, თუ შინაარსობრივ ველში „ისტორიებს“ მოვძებნით, ვერაფერს ვიპოვით, რადგან ინდექსი შეიცავს მხოლოდ თავდაპირველ სიტყვებს და არა მათ ფუძეებს. მაღალი ხარისხის ძიების განსახორციელებლად, თქვენ უნდა დააკონფიგურიროთ ანალიზატორი.

საველე _score გვიჩვენებს შესაბამისობა. თუ მოთხოვნა შესრულებულია ფილტრის კონტექსტში, მაშინ _score მნიშვნელობა ყოველთვის იქნება 1-ის ტოლი, რაც ნიშნავს ფილტრთან სრულ შესაბამისობას.

ანალიზატორები

ანალიზატორები საჭიროა საწყისი ტექსტის ტოკენების ნაკრებად გადასაყვანად.
ანალიზატორები შედგება ერთი ტოკნიზატორი და რამდენიმე სურვილისამებრ Tokenfilters. ტოკენიზერს შეიძლება უძღოდეს რამდენიმე ჩარფილტები. ტოკენიზატორები არღვევენ წყაროს სტრიქონს ნიშნებად, როგორიცაა სივრცეები და პუნქტუაციის სიმბოლოები. TokenFilter-ს შეუძლია შეცვალოს ტოკენები, წაშალოს ან დაამატოთ ახალი, მაგალითად, დატოვოს მხოლოდ სიტყვის ფუძე, წაშალოს წინადადებები, დაამატოთ სინონიმები. CharFilter - ცვლის წყაროს მთელ სტრიქონს, მაგალითად, წყვეტს html ტეგებს.

ES-ს აქვს რამდენიმე სტანდარტული ანალიზატორები. მაგალითად, ანალიზატორი რუსეთის.

ვისარგებლოთ api და ვნახოთ, როგორ გარდაქმნის სტანდარტული და რუსული ანალიზატორები სტრიქონს "მხიარული ისტორიები კნუტებზე":

# используем анализатор standard       
# обязательно нужно перекодировать не ASCII символы
curl -XGET "$ES_URL/_analyze?pretty&analyzer=standard&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "веселые",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истории",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "про",
    "start_offset" : 16,
    "end_offset" : 19,
    "type" : "<ALPHANUM>",
    "position" : 2
  }, {
    "token" : "котят",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

# используем анализатор russian
curl -XGET "$ES_URL/_analyze?pretty&analyzer=russian&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "весел",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истор",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "кот",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

სტანდარტულმა ანალიზატორმა დაყო სტრიქონი ინტერვალით და გადააქცია ყველაფერი მცირე რეგისტრში, რუსულმა ანალიზატორმა ამოიღო უმნიშვნელო სიტყვები, გადააქცია პატარა რეზერვში და დატოვა სიტყვების ფუძე.

ვნახოთ, რომელ Tokenizer, TokenFilters, CharFilters იყენებს რუსული ანალიზატორი:

{
  "filter": {
    "russian_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "russian_keywords": {
      "type":       "keyword_marker",
      "keywords":   []
    },
    "russian_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "russian": {
      "tokenizer":  "standard",
      /* TokenFilters */
      "filter": [
        "lowercase",
        "russian_stop",
        "russian_keywords",
        "russian_stemmer"
      ]
      /* CharFilters отсутствуют */
    }
  }
}

მოდით აღვწეროთ ჩვენი ანალიზატორი რუსულზე დაფუძნებული, რომელიც ამოიღებს html ტეგებს. დავარქვათ ნაგულისხმევი, რადგან სტანდარტულად გამოყენებული იქნება ამ სახელის ანალიზატორი.

{
  "filter": {
    "ru_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "ru_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "default": {
      /* добавляем удаление html тегов */
      "char_filter": ["html_strip"],
      "tokenizer":  "standard",
      "filter": [
        "lowercase",
        "ru_stop",
        "ru_stemmer"
      ]
    }
  }
}

პირველ რიგში, ყველა HTML ტეგი წაიშლება წყაროს სტრიქონიდან, შემდეგ ტოკენიზატორის სტანდარტი დაყოფს მას ტოკენებად, შედეგად მიღებული ნიშნები გადავა მცირე ასოზე, უმნიშვნელო სიტყვები წაიშლება, ხოლო დარჩენილი ნიშნები დარჩება სიტყვის ფუძედ.

ინდექსის შექმნა

ზემოთ ჩვენ აღვწერეთ ნაგულისხმევი ანალიზატორი. ის ვრცელდება ყველა სტრიქონის ველზე. ჩვენი პოსტი შეიცავს ტეგების მასივს, ამიტომ ტეგები ასევე დამუშავდება ანალიზატორის მიერ. იმიტომ რომ ჩვენ ვეძებთ შეტყობინებებს ტეგთან ზუსტი თანხვედრის მიხედვით, შემდეგ უნდა გამორთოთ ანალიზი ტეგების ველისთვის.

მოდით შევქმნათ ინდექსი ბლოგი2 ანალიზატორით და რუკებით, რომელშიც ტეგების ველის ანალიზი გამორთულია:

curl -XPOST "$ES_URL/blog2" -d'
{
  "settings": {
    "analysis": {
      "filter": {
        "ru_stop": {
          "type": "stop",
          "stopwords": "_russian_"
        },
        "ru_stemmer": {
          "type": "stemmer",
          "language": "russian"
        }
      },
      "analyzer": {
        "default": {
          "char_filter": [
            "html_strip"
          ],
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "ru_stop",
            "ru_stemmer"
          ]
        }
      }
    }
  },
  "mappings": {
    "post": {
      "properties": {
        "content": {
          "type": "string"
        },
        "published_at": {
          "type": "date"
        },
        "tags": {
          "type": "string",
          "index": "not_analyzed"
        },
        "title": {
          "type": "string"
        }
      }
    }
  }
}'

მოდით დავამატოთ იგივე 3 პოსტი ამ ინდექსში (blog2). მე გამოვტოვებ ამ პროცესს, რადგან ... ეს ბლოგის ინდექსში დოკუმენტების დამატების მსგავსია.

სრული ტექსტის ძიება გამოხატვის მხარდაჭერით

მოდით შევხედოთ სხვა ტიპის მოთხოვნას:

# найдем документы, в которых встречается слово 'истории'
# query -> simple_query_string -> query содержит поисковый запрос
# поле title имеет приоритет 3
# поле tags имеет приоритет 2
# поле content имеет приоритет 1
# приоритет используется при ранжировании результатов
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "истории",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

იმიტომ რომ ჩვენ ვიყენებთ რუსული წარმოშობის ანალიზატორს, შემდეგ ეს მოთხოვნა დააბრუნებს ყველა დოკუმენტს, თუმცა ისინი შეიცავს მხოლოდ სიტყვას "ისტორია".

მოთხოვნა შეიძლება შეიცავდეს სპეციალურ სიმბოლოებს, მაგალითად:

""fried eggs" +(eggplant | potato) -frittata"

მოითხოვეთ სინტაქსი:

+ signifies AND operation
| signifies OR operation
- negates a single token
" wraps a number of tokens to signify a phrase for searching
* at the end of a term signifies a prefix query
( and ) signify precedence
~N after a word signifies edit distance (fuzziness)
~N after a phrase signifies slop amount

# найдем документы без слова 'щенки'
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "-щенки",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

# получим 2 поста про котиков

ლიტერატურა

• Elasctic.co
• Reference
• ცხენის ინსტრუქტორი
• ტერმინები
• დაყენების
• დოკუმენტის მანიპულირება
• ინდექსის ოპერაციები
• მოთხოვნების სია

PS

თუ გაინტერესებთ მსგავსი სტატიები-გაკვეთილები, გაქვთ ახალი სტატიების იდეები, ან გაქვთ წინადადებები თანამშრომლობისთვის, მაშინ მოხარული ვიქნები, რომ მივიღო შეტყობინება პირად მესიჯში ან ელექტრონული ფოსტით. [ელ.ფოსტით დაცულია].

წყარო: www.habr.com