Osnove Elasticsearch

Elasticsearch — pretraživački motor sa JSON REST API, koji koristi Lucene i napisan je u Javi. Opis svih prednosti ovog motora dostupan je na službenoj veb stranici. Dalje u tekstu ćemo Elasticsearch nazivati ES.

Slični motori se koriste za složeno pretraživanje u bazi dokumenata. Na primer, pretraga uzimajući u obzir morfologiju jezika ili pretraga po geo koordinatama.

U ovom članku ću govoriti o osnovama ES na primeru indeksiranja postova bloga. Pokazaću kako filtrirati, sortirati i pretraživati dokumente.

Da ne bih zavisio od operativnog sistema, sve zahteve prema ES-u ću praviti pomoću CURL-a. Takođe postoji dodatak za Google Chrome pod nazivom sense.

U tekstu su postavljene veze na dokumentaciju i druge izvore. Na kraju su postavljene veze za brz pristup dokumentaciji. Definicije nepoznatih termina možete pročitati u glosaru.

Instalacija ES

Za to će nam najpre biti potrebna Java. Razvijači preporučuju trebalo bi da instaliraju verzije Jave novije od Java 8 update 20 ili Java 7 update 55.

Distribucija ES dostupna je na sajtu razvijača. Nakon raspakivanja arhive treba pokrenuti bin/elasticsearch. Takođe su dostupni paketi za apt i yum. Ima službeni slika za docker. Više o instalaciji.

Nakon instalacije i pokretanja proverićemo rad:

# для удобства запомним адрес в переменную
#export ES_URL=$(docker-machine ip dev):9200
export ES_URL=localhost:9200

curl -X GET $ES_URL

Dobijamo približno ovakav odgovor:

{
  "name" : "Heimdall",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.2.1",
    "build_hash" : "d045fc29d1932bce18b2e65ab8b297fbf6cd41a1",
    "build_timestamp" : "2016-03-09T09:38:54Z",
    "build_snapshot" : false,
    "lucene_version" : "5.4.1"
  },
  "tagline" : "You Know, for Search"
}

Indeksiranje

Dodajemo post u ES:

# Добавим документ c id 1 типа post в индекс blog.
# ?pretty указывает, что вывод должен быть человеко-читаемым.

curl -XPUT "$ES_URL/blog/post/1?pretty" -d'
{
  "title": "Веселые котята",
  "content": "<p>Smiješna priča o mačićima<p>",
  "tags": [
    "mačići",
    "smiješna priča"
  ],
  "published_at": "2014-09-12T20:44:42+00:00"
}'

odgovor servera:

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "created" : false
}

ES je automatski kreirao indeks blog i tip post. Može se napraviti uslovna analogija: indeks — to je baza podataka, a tip — tabela u toj Bazi. Svaki tip ima svoju šemu — mapping, kao i relacijska tabela. Mapa se generiše automatski prilikom indeksiranja dokumenta:

# Получим mapping всех типов индекса blog
curl -XGET "$ES_URL/blog/_mapping?pretty"

U odgovoru servera dodao sam u komentarima vrednosti polja indeksiranog dokumenta:

{
  "blog" : {
    "mappings" : {
      "post" : {
        "properties" : {
          /* "content": "<p>Smiješna priča o mačićima<p>", */
          "content" : {
            "type" : "string"
          },
          /* "published_at": "2014-09-12T20:44:42+00:00" */
          "published_at" : {
            "type" : "date",
            "format" : "strict_date_optional_time||epoch_millis"
          },
          /* "tags": ["котята", "смешная история"] */
          "tags" : {
            "type" : "string"
          },
          /*  "title": "Веселые котята" */
          "title" : {
            "type" : "string"
          }
        }
      }
    }
  }
}

Vredi napomenuti da ES ne pravi razlike između pojedinačne vrednosti i niza vrednosti. Na primer, polje title sadrži samo naslov, a polje tags — niz stringova, iako su predstavljeni u mapi na isti način.
Kasnije ćemo govoriti o mapi detaljnije.

Upiti

Izvlačenje dokumenta po njegovom id:

# извлечем документ с id 1 типа post из индекса blog
curl -XGET "$ES_URL/blog/post/1?pretty"
{
    "_index": "blog",
    "_type": "post",
    "_id": "1",
    "_version": 1,
    "found": true,
    "_source": {
        "title": "\u0412\u0435\u0441\u0435\u043b\u044b\u0435 \u043a\u043e\u0442\u044f\u0442\u0430",
        "content": "<p>Smije\u0161na pri\u010da o ma\u010di\u0107ima<p>",
        "tags": [
            "\u043a\u043e\u0442\u044f\u0442\u0430",
            "\u0441\u043c\u0435\u0448\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f"
        ],
        "published_at": "2014-09-12T20:44:42+00:00"
    }
}

U odgovoru su se pojavili novi ključevi: _version i _source. U suštini, svi ključevi koji počinju sa _ su sistemski.

Ključ _version prikazuje verziju dokumenta. Potreban je za rad mehanizma optimističkih zaključavanja. Na primjer, želimo promijeniti dokument koji ima verziju 1. Šaljemo izmijenjeni dokument i naznačujemo da je to ispravka dokumenta s verzijom 1. Ako je netko drugi također uređivao dokument s verzijom 1 i ranije poslao izmjene, ES neće prihvatiti naše izmjene, jer čuva dokument s verzijom 2.

Ključ _source sadrži onaj dokument koji smo indeksirali. ES ne koristi ovu vrijednost za pretraživačke operacije, jer se za pretraživanje koriste indeksi. Radi uštede prostora, ES čuva komprimirani izvorni dokument. Ako nam je potreban samo id, a ne cijeli izvorni dokument, možemo isključiti čuvanje izvora.

Ako nam nije potrebna dodatna informacija, možemo dobiti samo sadržaj _source:

curl -XGET "$ES_URL/blog/post/1/_source?pretty"
{
    "title": "\u0412\u0435\u0441\u0435\u043b\u044b\u0435 \u043a\u043e\u0442\u044f\u0442\u0430",
    "content": "<p>Smije\u0161na pri\u010da o ma\u010di\u0107ima<p>",
    "tags": [
        "\u043a\u043e\u0442\u044f\u0442\u0430",
        "\u0441\u043c\u0435\u0448\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f"
    ],
    "published_at": "2014-09-12T20:44:42+00:00"
}

Također možemo odabrati samo određena polja:

# извлечем только поле title
curl -XGET "$ES_URL/blog/post/1?_source=title&pretty"
{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Veseli mačići"
  }
}

Hajde da indeksiramo još nekoliko postova i izvršimo složenije upite.

curl -XPUT "$ES_URL/blog/post/2" -d'
{
  "title": "Veseli štenad",
  "content": "<p>Smiješna priča o štenadima<p>",
  "tags": [
    "štenad",
    "smiješna priča"
  ],
  "published_at": "2014-08-12T20:44:42+00:00"
}'
curl -XPUT "$ES_URL/blog/post/3" -d'
{
  "title": "Kako sam dobio mačića",
  "content": "<p>Dirljiva priča o jadnom mačiću s ulice<p>"
  "tags": [
    "mačići"
  ],
  "published_at": "2014-07-21T20:44:42+00:00"
}'

Sortiranje

# найдем последний пост по дате публикации и извлечем поля title и published_at
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "size": 1,
  "_source": ["title", "published_at"],
  "sort": [{"published_at": "desc"}]
}'
{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : null,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : null,
      "_source" : {
        "title" : "Veseli mačići",
        "published_at" : "2014-09-12T20:44:42+00:00"
      },
      "sort" : [ 1410554682000 ]
    } ]
  }
}

Odabrali smo posljednji post. veličina ograničava broj dokumenata u isporuci. total prikazuje ukupan broj dokumenata koji odgovaraju pretrazi. sort u isporuci sadrži niz cijelih brojeva, prema kojima se vrši sortiranje. Odnosno, datum je pretvoren u cijeli broj. Više o sortiranju možete pročitati u dokumentaciji.

Filtar i upiti

ES od verzije 2 ne razlikuje filtre i upite, umjesto toga uvodi se pojam konteksta.
Kontekst upita se razlikuje od konteksta filtra po tome što upit generira _score i ne kešira se. Šta je _score ću pokazati kasnije.

Filtriranje prema datumu

Koristimo upit range u kontekstu filter:

# получим посты, опубликованные 1ого сентября или позже
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "filter": {
    "range": {
      "published_at": { "gte": "2014-09-01" }
    }
  }
}'

Filtriranje prema tagovima

Koristimo term query za pretraživanje id dokumenata koji sadrže zadan riječ:

# найдем все документы, в поле tags которых есть элемент 'котята'
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": [
    "title",
    "tags"
  ],
  "filter": {
    "term": {
      "tags": "котята"
    }
  }
}'
{
  "took" : 9,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 1.0,
      "_source" : {
        "title" : "Vesele mačke",
        "tags" : [ "mačke", "smešna priča" ]
      }
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 1.0,
      "_source" : {
        "title" : "Kako sam dobio mačića",
        "tags" : [ "mačići" ]
      }
    } ]
  }
}

Potpuno tekstualno pretraživanje

Tri naša dokumenta sadrže u polju content sledeće:

  • <p>Smiješna priča o mačićima<p>
  • <p>Smiješna priča o štenadima<p>
  • <p>Dirljiva priča o jadnom mačiću s ulice<p>

Koristimo match query za pretraživanje id dokumenata koji sadrže zadan riječ:

# source: false означает, что не нужно извлекать _source найденных документов
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": false,
  "query": {
    "match": {
      "content": "история"
    }
  }
}'
{
  "took" : 13,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.11506981,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "2",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 0.095891505
    } ]
  }
}

Međutim, ako tražimo "priče" u polju content, nećemo ništa pronaći, jer indeks sadrži samo originalne reči, a ne njihove osnove. Da bismo omogućili kvalitetno pretraživanje, potrebno je konfigurisati analizer.

Polje _score prikazuje relevancija. Ako se upit izvršava u filter kontekstu, vrednost _score će uvek biti 1, što znači potpuno usaglašenost sa filterom.

Analizeri

Analizeri su potrebni da bi se izvorni tekst pretvorio u skup tokena.
Analizeri se sastoje od jednog Tokenizer i nekoliko opcionalnih TokenFilters. Tokenizer može prethoditi nekoliko CharFilters. Tokenizer deli izvorni string na tokene, na primer, prema razmacima i interpunkcijskim znakovima. TokenFilter može menjati tokene, brisati ili dodavati nove, na primer, zadržati samo osnovu reči, ukloniti predloge, dodati sinonime. CharFilter menja ceo izvorni string, na primer, uklanja html oznake.

U ES postoji nekoliko standardnih analitera. Na primer, analizer russian.

Upotrebićemo api i pogledajmo kako analizeri standard i russian pretvaraju string "Vesele priče o mačkama":

# используем анализатор standard       
# обязательно нужно перекодировать не ASCII символы
curl -XGET "$ES_URL/_analyze?pretty&analyzer=standard&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"
{
  "tokens" : [ {
    "token" : "vesele",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "",
    "position" : 0
  }, {
    "token" : "priče",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "",
    "position" : 1
  }, {
    "token" : "o",
    "start_offset" : 16,
    "end_offset" : 18,
    "type" : "",
    "position" : 2
  }, {
    "token" : "mačkama",
    "start_offset" : 19,
    "end_offset" : 26,
    "type" : "",
    "position" : 3
  } ]
}
# используем анализатор russian
curl -XGET "$ES_URL/_analyze?pretty&analyzer=russian&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"
{
  "tokens" : [ {
    "token" : "vesel",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "",
    "position" : 0
  }, {
    "token" : "istor",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "",
    "position" : 1
  }, {
    "token" : "kot",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "",
    "position" : 3
  } ]
}

Standardni analizator razbija stringove na osnovu razmaka i pretvara sve u mala slova, analizator russian — uklanja beznačajne reči, pretvara u mala slova i ostavlja osnovu reči.

Pogledajmo koji Tokenizer, TokenFilters, CharFilters koristi analizator russian:

{
  "filter": {
    "russian_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "russian_keywords": {
      "type":       "keyword_marker",
      "keywords":   []
    },
    "russian_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "russian": {
      "tokenizer":  "standard",
      
      "filter": [
        "lowercase",
        "russian_stop",
        "russian_keywords",
        "russian_stemmer"
      ]
      
    }
  }
}

Opisujemo svoj analizator zasnovan na russian, koji će ukloniti html tagove. Nazvaćemo ga default, jer će se analizator s tim imenom koristiti podrazumevano.

{
  "filter": {
    "ru_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "ru_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "default": {
      "char_filter": ["html_strip"],
      "tokenizer":  "standard",
      "filter": [
        "lowercase",
        "ru_stop",
        "ru_stemmer"
      ]
    }
  }
}

Prvo će se svi html tagovi ukloniti iz izvorne string, zatim će ga tokenizer standard razbiti na tokene, dobijeni tokeni će preći u mala slova, beznačajne reči će se ukloniti i od preostalih tokena ostati će osnova reči.

Kreiranje indeksa

Gore smo opisali default analizator. On će se primenjivati na svim string poljima. Naš post sadrži niz tagova, stoga će se tagovi takođe obraditi analizatorom. Budući da tražimo postove po tačnom podudaranju taga, potrebno je onemogućiti analizu za polje tags.

Kreirajmo indeks blog2 sa analizatorom i mapiranjem, u kojem je onemogućena analiza polja tags:

curl -XPOST "$ES_URL/blog2" -d'
{
  "settings": {
    "analysis": {
      "filter": {
        "ru_stop": {
          "type": "stop",
          "stopwords": "_russian_"
        },
        "ru_stemmer": {
          "type": "stemmer",
          "language": "russian"
        }
      },
      "analyzer": {
        "default": {
          "char_filter": [
            "html_strip"
          ],
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "ru_stop",
            "ru_stemmer"
          ]
        }
      }
    }
  },
  "mappings": {
    "post": {
      "properties": {
        "content": {
          "type": "string"
        },
        "published_at": {
          "type": "date"
        },
        "tags": {
          "type": "string",
          "index": "not_analyzed"
        },
        "title": {
          "type": "string"
        }
      }
    }
  }
}'

Dodajmo ista 3 posta u ovaj indeks (blog2). Preskočit ću ovaj proces jer je sličan dodavanju dokumenata u indeks blog.

Potpuno tekstualno pretraživanje sa podrškom za izraze

Upoznajmo se s još jednim tipom upita:

# найдем документы, в которых встречается слово 'истории'
# query -> simple_query_string -> query содержит поисковый запрос
# поле title имеет приоритет 3
# поле tags имеет приоритет 2
# поле content имеет приоритет 1
# приоритет используется при ранжировании результатов
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "истории",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

Budući da koristimo analizator s ruskim stemenjem, ovaj upit će vratiti sve dokumente, iako se u njima pojavljuje samo reč 'istorija'.

Upit može sadržavati specijalne simbole, na primer:

""pržena jaja" +(patlidžan | krompir) -frittata"

Svačiji upit:

+ označava AND operaciju
| označava OR operaciju
- negira jedan token
" obavija više tokena kako bi označio frazu za pretragu
* na kraju termina označava prefix upit
( i ) označavaju precedencu
~N nakon reči označava razmak za uređivanje (nepreciznost)
~N nakon fraze označava količinu slopa
# найдем документы без слова 'щенки'
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "-щенки",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

# получим 2 поста про котиков

Linkovi

PS

Ako vas zanimaju slični članci-učionici, imate ideje za nove članke ili imate predloge za saradnju, rado ću primiti poruku u ličnoj poruci ili na e-mail m.kuzmin+habr@darkleaf.ru.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster