Elasticsearch is 'n soekenjin met json rest api, wat Lucene gebruik en in Java geskryf is. 'n Beskrywing van al die voordele van hierdie enjin is beskikbaar by amptelike webwerf. In wat volg sal ons na Elasticsearch verwys as ES.

Soortgelyke enjins word gebruik vir komplekse soektogte in 'n dokumentdatabasis. Soek byvoorbeeld met inagneming van die morfologie van die taal of soek volgens geo-koördinate.

In hierdie artikel sal ek praat oor die basiese beginsels van ES deur die voorbeeld van indeksering van blogplasings te gebruik. Ek sal jou wys hoe om dokumente te filter, sorteer en deursoek.

Om nie van die bedryfstelsel afhanklik te wees nie, sal ek alle versoeke aan ES rig deur CURL te gebruik. Daar is ook 'n inprop vir Google Chrome genoem sin.

Dwarsdeur die teks is daar skakels na dokumentasie en ander bronne. Aan die einde is daar skakels vir vinnige toegang tot dokumentasie. Definisies van onbekende terme kan gevind word in woordelyste.

Installasie

Om dit te doen, het ons eers Java nodig. Ontwikkelaars aanbeveel installeer Java-weergawes nuwer as Java 8-opdatering 20 of Java 7-opdatering 55.

Die ES-verspreiding is beskikbaar by ontwikkelaar webwerf. Nadat u die argief uitgepak het, moet u hardloop bin/elasticsearch. Ook beskikbaar pakkette vir apt en yum... daar is amptelike beeld vir docker. Meer oor installasie.

Na die installasie en bekendstelling, kom ons kyk na die funksionaliteit:

# для удобства запомним адрес в переменную
#export ES_URL=$(docker-machine ip dev):9200
export ES_URL=localhost:9200

curl -X GET $ES_URL

Ons sal so iets ontvang:

{
  "name" : "Heimdall",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.2.1",
    "build_hash" : "d045fc29d1932bce18b2e65ab8b297fbf6cd41a1",
    "build_timestamp" : "2016-03-09T09:38:54Z",
    "build_snapshot" : false,
    "lucene_version" : "5.4.1"
  },
  "tagline" : "You Know, for Search"
}

Indeksering

Kom ons voeg 'n plasing by ES:

# Добавим документ c id 1 типа post в индекс blog.
# ?pretty указывает, что вывод должен быть человеко-читаемым.

curl -XPUT "$ES_URL/blog/post/1?pretty" -d'
{
  "title": "Веселые котята",
  "content": "<p>Смешная история про котят<p>",
  "tags": [
    "котята",
    "смешная история"
  ],
  "published_at": "2014-09-12T20:44:42+00:00"
}'

bediener reaksie:

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "created" : false
}

ES outomaties geskep indeks blog en tipe Post. Ons kan 'n voorwaardelike analogie trek: 'n indeks is 'n databasis, en 'n tipe is 'n tabel in hierdie databasis. Elke tipe het sy eie skema − karteer, net soos 'n relasionele tabel. Kartering word outomaties gegenereer wanneer die dokument geïndekseer word:

# Получим mapping всех типов индекса blog
curl -XGET "$ES_URL/blog/_mapping?pretty"

In die bedienerantwoord het ek die waardes van die velde van die geïndekseer dokument in die opmerkings bygevoeg:

{
  "blog" : {
    "mappings" : {
      "post" : {
        "properties" : {
          /* "content": "<p>Смешная история про котят<p>", */ 
          "content" : {
            "type" : "string"
          },
          /* "published_at": "2014-09-12T20:44:42+00:00" */
          "published_at" : {
            "type" : "date",
            "format" : "strict_date_optional_time||epoch_millis"
          },
          /* "tags": ["котята", "смешная история"] */
          "tags" : {
            "type" : "string"
          },
          /*  "title": "Веселые котята" */
          "title" : {
            "type" : "string"
          }
        }
      }
    }
  }
}

Dit is opmerklik dat ES nie tussen 'n enkele waarde en 'n verskeidenheid waardes onderskei nie. Byvoorbeeld, die titelveld bevat bloot 'n titel, en die etikette-veld bevat 'n verskeidenheid stringe, alhoewel hulle op dieselfde manier in kartering voorgestel word.
Ons sal later meer oor kartering praat.

Versoeke

Herwinning van 'n dokument volgens sy ID:

# извлечем документ с id 1 типа post из индекса blog
curl -XGET "$ES_URL/blog/post/1?pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята",
    "content" : "<p>Смешная история про котят<p>",
    "tags" : [ "котята", "смешная история" ],
    "published_at" : "2014-09-12T20:44:42+00:00"
  }
}

Nuwe sleutels het in die antwoord verskyn: _version и _source. In die algemeen, alle sleutels wat begin met _ word as amptelik geklassifiseer.

sleutel _version wys die dokumentweergawe. Dit is nodig vir die optimistiese sluitmeganisme om te werk. Ons wil byvoorbeeld 'n dokument verander wat weergawe 1 het. Ons dien die veranderde dokument in en dui aan dat dit 'n wysiging van 'n dokument met weergawe 1 is. As iemand anders ook 'n dokument met weergawe 1 geredigeer het en veranderinge voor ons ingedien het, dan ES sal nie ons veranderinge aanvaar nie, want dit stoor die dokument met weergawe 2.

sleutel _source bevat die dokument wat ons geïndekseer het. ES gebruik nie hierdie waarde vir soekbewerkings nie, want Indekse word gebruik om te soek. Om spasie te bespaar, stoor ES 'n saamgeperste brondokument. As ons net die id nodig het, en nie die hele brondokument nie, dan kan ons bronberging deaktiveer.

As ons nie bykomende inligting benodig nie, kan ons slegs die inhoud van _source kry:

curl -XGET "$ES_URL/blog/post/1/_source?pretty"

{
  "title" : "Веселые котята",
  "content" : "<p>Смешная история про котят<p>",
  "tags" : [ "котята", "смешная история" ],
  "published_at" : "2014-09-12T20:44:42+00:00"
}

Jy kan ook net sekere velde kies:

# извлечем только поле title
curl -XGET "$ES_URL/blog/post/1?_source=title&pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята"
  }
}

Kom ons indekseer nog 'n paar plasings en voer meer komplekse navrae uit.

curl -XPUT "$ES_URL/blog/post/2" -d'
{
  "title": "Веселые щенки",
  "content": "<p>Смешная история про щенков<p>",
  "tags": [
    "щенки",
    "смешная история"
  ],
  "published_at": "2014-08-12T20:44:42+00:00"
}'

curl -XPUT "$ES_URL/blog/post/3" -d'
{
  "title": "Как у меня появился котенок",
  "content": "<p>Душераздирающая история про бедного котенка с улицы<p>",
  "tags": [
    "котята"
  ],
  "published_at": "2014-07-21T20:44:42+00:00"
}'

sorteer

# найдем последний пост по дате публикации и извлечем поля title и published_at
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "size": 1,
  "_source": ["title", "published_at"],
  "sort": [{"published_at": "desc"}]
}'

{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : null,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : null,
      "_source" : {
        "title" : "Веселые котята",
        "published_at" : "2014-09-12T20:44:42+00:00"
      },
      "sort" : [ 1410554682000 ]
    } ]
  }
}

Ons het die laaste pos gekies. size beperk die aantal dokumente wat uitgereik moet word. total toon die totale aantal dokumente wat by die versoek pas. sort in die afvoer bevat 'n verskeidenheid heelgetalle waarmee sortering uitgevoer word. Dié. die datum is omgeskakel na 'n heelgetal. Meer inligting oor sortering kan gevind word in dokumentasie.

Filters en navrae

ES aangesien weergawe 2 nie eerder tussen filters en navrae onderskei nie die konsep van kontekste word bekendgestel.
'n Navraagkonteks verskil van 'n filterkonteks deurdat die navraag 'n _telling genereer en nie gekas word nie. Ek sal jou later wys wat _telling is.

Filtreer volgens datum

Ons gebruik die versoek reeks in die konteks van filter:

# получим посты, опубликованные 1ого сентября или позже
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "filter": {
    "range": {
      "published_at": { "gte": "2014-09-01" }
    }
  }
}'

Filtreer volgens etikette

Ons gebruik term navraag om te soek na dokument-ID's wat 'n gegewe woord bevat:

# найдем все документы, в поле tags которых есть элемент 'котята'
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": [
    "title",
    "tags"
  ],
  "filter": {
    "term": {
      "tags": "котята"
    }
  }
}'

{
  "took" : 9,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 1.0,
      "_source" : {
        "title" : "Веселые котята",
        "tags" : [ "котята", "смешная история" ]
      }
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 1.0,
      "_source" : {
        "title" : "Как у меня появился котенок",
        "tags" : [ "котята" ]
      }
    } ]
  }
}

Volteks soektog

Drie van ons dokumente bevat die volgende in die inhoudsveld:

• <p>Смешная история про котят<p>
• <p>Смешная история про щенков<p>
• <p>Душераздирающая история про бедного котенка с улицы<p>

Ons gebruik pas navraag om te soek na dokument-ID's wat 'n gegewe woord bevat:

# source: false означает, что не нужно извлекать _source найденных документов
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": false,
  "query": {
    "match": {
      "content": "история"
    }
  }
}'

{
  "took" : 13,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.11506981,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "2",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 0.095891505
    } ]
  }
}

As ons egter vir “stories” in die inhoudsveld soek, sal ons niks kry nie, want Die indeks bevat slegs die oorspronklike woorde, nie hul stamme nie. Om 'n soektog van hoë gehalte te maak, moet u die ontleder opstel.

Veld _score vertonings relevansie. As die versoek in 'n filterkonteks uitgevoer word, sal die _score-waarde altyd gelyk wees aan 1, wat 'n volledige ooreenstemming met die filter beteken.

Ontleders

Ontleders is nodig om die bronteks in 'n stel tekens om te skakel.
Ontleders bestaan ​​uit een tokenizer en verskeie opsioneel TokenFilters. Tokenizer kan deur verskeie voorafgegaan word CharFilters. Tokenizers breek die bronstring in tekens, soos spasies en leestekens. TokenFilter kan tekens verander, uitvee of nuwes byvoeg, byvoorbeeld, los net die stam van die woord, verwyder voorsetsels, voeg sinonieme by. CharFilter - verander die hele bronstring, sny byvoorbeeld HTML-etikette uit.

ES het verskeie standaard ontleders. Byvoorbeeld, 'n ontleder Russiese.

Kom ons trek voordeel uit api en kom ons kyk hoe die standaard en Russiese ontleders die string “Snaakse stories oor katjies” transformeer:

# используем анализатор standard       
# обязательно нужно перекодировать не ASCII символы
curl -XGET "$ES_URL/_analyze?pretty&analyzer=standard&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "веселые",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истории",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "про",
    "start_offset" : 16,
    "end_offset" : 19,
    "type" : "<ALPHANUM>",
    "position" : 2
  }, {
    "token" : "котят",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

# используем анализатор russian
curl -XGET "$ES_URL/_analyze?pretty&analyzer=russian&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "весел",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истор",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "кот",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

Die standaard ontleder het die string deur spasies verdeel en alles na kleinletters omgeskakel, die Russiese ontleder het onbelangrike woorde verwyder, dit na kleinletters omgeskakel en die stam van die woorde verlaat.

Kom ons kyk watter Tokenizer, TokenFilters, CharFilters die Russiese ontleder gebruik:

{
  "filter": {
    "russian_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "russian_keywords": {
      "type":       "keyword_marker",
      "keywords":   []
    },
    "russian_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "russian": {
      "tokenizer":  "standard",
      /* TokenFilters */
      "filter": [
        "lowercase",
        "russian_stop",
        "russian_keywords",
        "russian_stemmer"
      ]
      /* CharFilters отсутствуют */
    }
  }
}

Kom ons beskryf ons ontleder gebaseer op Russies, wat html-etikette sal uitsny. Kom ons noem dit standaard, want 'n ontleder met hierdie naam sal by verstek gebruik word.

{
  "filter": {
    "ru_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "ru_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "default": {
      /* добавляем удаление html тегов */
      "char_filter": ["html_strip"],
      "tokenizer":  "standard",
      "filter": [
        "lowercase",
        "ru_stop",
        "ru_stemmer"
      ]
    }
  }
}

Eerstens sal alle HTML-merkers van die bronstring verwyder word, dan sal die tokenizer-standaard dit in tokens verdeel, die gevolglike tokens sal na kleinletters beweeg, onbeduidende woorde sal verwyder word, en die oorblywende tokens sal die stam van die woord bly.

Die skep van 'n indeks

Hierbo het ons die verstek ontleder beskryf. Dit sal op alle stringvelde van toepassing wees. Ons pos bevat 'n verskeidenheid etikette, so die etikette sal ook deur die ontleder verwerk word. Omdat Ons is op soek na plasings wat presies ooreenstem met 'n merker, dan moet ons analise vir die merker-veld deaktiveer.

Kom ons skep 'n indeksblog2 met 'n ontleder en kartering, waarin die ontleding van die etiketteveld gedeaktiveer is:

curl -XPOST "$ES_URL/blog2" -d'
{
  "settings": {
    "analysis": {
      "filter": {
        "ru_stop": {
          "type": "stop",
          "stopwords": "_russian_"
        },
        "ru_stemmer": {
          "type": "stemmer",
          "language": "russian"
        }
      },
      "analyzer": {
        "default": {
          "char_filter": [
            "html_strip"
          ],
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "ru_stop",
            "ru_stemmer"
          ]
        }
      }
    }
  },
  "mappings": {
    "post": {
      "properties": {
        "content": {
          "type": "string"
        },
        "published_at": {
          "type": "date"
        },
        "tags": {
          "type": "string",
          "index": "not_analyzed"
        },
        "title": {
          "type": "string"
        }
      }
    }
  }
}'

Kom ons voeg dieselfde 3 plasings by hierdie indeks (blog2). Ek sal hierdie proses weglaat omdat... dit is soortgelyk aan die byvoeging van dokumente by die blog-indeks.

Voltekssoektog met uitdrukkingsondersteuning

Kom ons kyk na 'n ander soort versoek:

# найдем документы, в которых встречается слово 'истории'
# query -> simple_query_string -> query содержит поисковый запрос
# поле title имеет приоритет 3
# поле tags имеет приоритет 2
# поле content имеет приоритет 1
# приоритет используется при ранжировании результатов
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "истории",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

Omdat Ons gebruik 'n ontleder met Russiese stam, dan sal hierdie versoek alle dokumente terugstuur, alhoewel hulle slegs die woord 'geskiedenis' bevat.

Die versoek kan spesiale karakters bevat, byvoorbeeld:

""fried eggs" +(eggplant | potato) -frittata"

Versoek sintaksis:

+ signifies AND operation
| signifies OR operation
- negates a single token
" wraps a number of tokens to signify a phrase for searching
* at the end of a term signifies a prefix query
( and ) signify precedence
~N after a word signifies edit distance (fuzziness)
~N after a phrase signifies slop amount

# найдем документы без слова 'щенки'
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "-щенки",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

# получим 2 поста про котиков

verwysings

• Elasctic.co
• verwysing
• lei
• Woordelys
• installasie
• Dokument manipulasie
• Indeks Bedrywighede
• Lys van versoeke

PS

Indien u belangstel in sulke artikellesse, idees vir nuwe artikels het of voorstelle vir samewerking het, sal ek graag 'n boodskap in 'n persoonlike boodskap of per e-pos m.kuzmin+habr@darkleaf.ru ontvang.

Bron: will.com