Ang Elasticsearch usa ka search engine nga adunay json rest api, gamit ang Lucene ug gisulat sa Java. Ang usa ka paghulagway sa tanan nga mga bentaha niini nga makina anaa sa opisyal nga website. Sa kung unsa ang mosunod atong ipunting ang Elasticsearch ingon ES.

Ang parehas nga mga makina gigamit alang sa komplikado nga pagpangita sa usa ka database sa dokumento. Pananglitan, pangitaa nga gikonsiderar ang morpolohiya sa pinulongan o pagpangita pinaagi sa geo coordinates.

Niini nga artikulo maghisgot ako bahin sa mga sukaranan sa ES gamit ang panig-ingnan sa pag-index sa mga post sa blog. Ipakita ko kanimo kung unsaon pagsala, paghan-ay ug pagpangita sa mga dokumento.

Aron dili magdepende sa operating system, buhaton nako ang tanan nga mga hangyo sa ES gamit ang CURL. Adunay usab usa ka plugin alang sa google chrome nga gitawag pagbati.

Ang teksto adunay mga link sa dokumentasyon ug uban pang mga gigikanan. Sa katapusan adunay mga link alang sa dali nga pag-access sa dokumentasyon. Ang mga kahulugan sa dili pamilyar nga mga termino makita sa mga glossary.

Pag-instalar sa ES

Aron mahimo kini, kinahanglan una namon ang Java. Mga developer rekomend i-install ang mga bersyon sa Java nga mas bag-o kaysa sa Java 8 update 20 o Java 7 update 55.

Ang ES distribution anaa sa site sa developer. Pagkahuman sa pag-unpack sa archive kinahanglan nimo nga modagan bin/elasticsearch. Anaa usab mga pakete alang sa apt ug yum. Adunay opisyal nga imahe para sa docker. Dugang pa bahin sa pag-instalar.

Human sa pag-instalar ug paglansad, atong susihon ang pagpaandar:

# для удобства запомним адрес в переменную
#export ES_URL=$(docker-machine ip dev):9200
export ES_URL=localhost:9200

curl -X GET $ES_URL

Kita makadawat og usa ka butang nga sama niini:

{
  "name" : "Heimdall",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.2.1",
    "build_hash" : "d045fc29d1932bce18b2e65ab8b297fbf6cd41a1",
    "build_timestamp" : "2016-03-09T09:38:54Z",
    "build_snapshot" : false,
    "lucene_version" : "5.4.1"
  },
  "tagline" : "You Know, for Search"
}

Pag-indeks

Magdugang ta ug post sa ES:

# Добавим документ c id 1 типа post в индекс blog.
# ?pretty указывает, что вывод должен быть человеко-читаемым.

curl -XPUT "$ES_URL/blog/post/1?pretty" -d'
{
  "title": "Веселые котята",
  "content": "<p>Смешная история про котят<p>",
  "tags": [
    "котята",
    "смешная история"
  ],
  "published_at": "2014-09-12T20:44:42+00:00"
}'

tubag sa server:

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "created" : false
}

Awtomatikong gihimo ang ES indeks blog ug type sa post. Mahimo kitang magdrowing og conditional analogy: ang index usa ka database, ug ang type kay table niini nga database. Ang matag tipo adunay kaugalingon nga laraw − mapping, sama sa usa ka relational nga lamesa. Awtomatikong namugna ang pagmapa sa dihang na-indeks ang dokumento:

# Получим mapping всех типов индекса blog
curl -XGET "$ES_URL/blog/_mapping?pretty"

Sa tubag sa server, gidugang nako ang mga kantidad sa mga natad sa na-index nga dokumento sa mga komento:

{
  "blog" : {
    "mappings" : {
      "post" : {
        "properties" : {
          /* "content": "<p>Смешная история про котят<p>", */ 
          "content" : {
            "type" : "string"
          },
          /* "published_at": "2014-09-12T20:44:42+00:00" */
          "published_at" : {
            "type" : "date",
            "format" : "strict_date_optional_time||epoch_millis"
          },
          /* "tags": ["котята", "смешная история"] */
          "tags" : {
            "type" : "string"
          },
          /*  "title": "Веселые котята" */
          "title" : {
            "type" : "string"
          }
        }
      }
    }
  }
}

Angay nga hinumdoman nga ang ES wala maglainlain tali sa usa ka kantidad ug usa ka laray sa mga kantidad. Pananglitan, ang natad sa titulo adunay yano nga titulo, ug ang field sa mga tag adunay usa ka han-ay sa mga kuwerdas, bisan kung kini girepresentahan sa parehas nga paagi sa pagmapa.
Maghisgot pa kita bahin sa pagmapa sa ulahi.

Mga hangyo

Pagkuha sa usa ka dokumento pinaagi sa id niini:

# извлечем документ с id 1 типа post из индекса blog
curl -XGET "$ES_URL/blog/post/1?pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята",
    "content" : "<p>Смешная история про котят<p>",
    "tags" : [ "котята", "смешная история" ],
    "published_at" : "2014-09-12T20:44:42+00:00"
  }
}

Bag-ong mga yawe nagpakita sa tubag: _version и _source. Sa kinatibuk-an, ang tanan nga mga yawe nagsugod sa _ giklasipikar nga opisyal.

Key _version nagpakita sa bersyon sa dokumento. Gikinahanglan kini aron molihok ang malaumon nga mekanismo sa pag-lock. Pananglitan, gusto namong usbon ang usa ka dokumento nga adunay bersyon 1. Gisumite namo ang giusab nga dokumento ug gipakita nga kini usa ka pag-edit sa usa ka dokumento nga adunay bersyon 1. Kung adunay lain nga nag-edit usab sa usa ka dokumento nga adunay bersyon 1 ug nagsumite sa mga pagbag-o sa among atubangan, nan Dili modawat ang ES sa among mga pagbag-o, tungod kay gitipigan niini ang dokumento nga adunay bersyon 2.

Key _source naglangkob sa dokumento nga among gi-index. Wala gigamit sa ES kini nga kantidad alang sa mga operasyon sa pagpangita tungod kay Ang mga indeks gigamit sa pagpangita. Aron makadaginot og luna, ang ES nagtipig og compressed source document. Kung kinahanglan ra namon ang id, ug dili ang tibuuk nga gigikanan nga dokumento, mahimo namon nga ma-disable ang pagtipig sa gigikanan.

Kung wala mi magkinahanglan ug dugang nga impormasyon, makuha ra namo ang sulod sa _source:

curl -XGET "$ES_URL/blog/post/1/_source?pretty"

{
  "title" : "Веселые котята",
  "content" : "<p>Смешная история про котят<p>",
  "tags" : [ "котята", "смешная история" ],
  "published_at" : "2014-09-12T20:44:42+00:00"
}

Makapili ka usab ug pipila ka mga natad:

# извлечем только поле title
curl -XGET "$ES_URL/blog/post/1?_source=title&pretty"

{
  "_index" : "blog",
  "_type" : "post",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "title" : "Веселые котята"
  }
}

Atong i-index ang pipila pa nga mga post ug padaganon ang mas komplikado nga mga pangutana.

curl -XPUT "$ES_URL/blog/post/2" -d'
{
  "title": "Веселые щенки",
  "content": "<p>Смешная история про щенков<p>",
  "tags": [
    "щенки",
    "смешная история"
  ],
  "published_at": "2014-08-12T20:44:42+00:00"
}'

curl -XPUT "$ES_URL/blog/post/3" -d'
{
  "title": "Как у меня появился котенок",
  "content": "<p>Душераздирающая история про бедного котенка с улицы<p>",
  "tags": [
    "котята"
  ],
  "published_at": "2014-07-21T20:44:42+00:00"
}'

Paghan-ay

# найдем последний пост по дате публикации и извлечем поля title и published_at
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "size": 1,
  "_source": ["title", "published_at"],
  "sort": [{"published_at": "desc"}]
}'

{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : null,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : null,
      "_source" : {
        "title" : "Веселые котята",
        "published_at" : "2014-09-12T20:44:42+00:00"
      },
      "sort" : [ 1410554682000 ]
    } ]
  }
}

Gipili namo ang katapusang post. size limitahan ang gidaghanon sa mga dokumento nga i-isyu. total nagpakita sa kinatibuk-ang gidaghanon sa mga dokumento nga katumbas sa hangyo. sort sa output naglangkob sa usa ka han-ay sa mga integer diin ang paghan-ay gihimo. Mga. ang petsa nakabig ngadto sa integer. Dugang nga impormasyon bahin sa paghan-ay makita sa dokumentasyon.

Mga filter ug pangutana

Ang ES sukad nga bersyon 2 wala mag-ila tali sa mga pagsala ug mga pangutana, sa baylo ang konsepto sa konteksto gipaila.
Ang konteksto sa pangutana lahi sa konteksto sa filter tungod kay ang pangutana nagmugna og _score ug wala gi-cache. Ipakita ko kanimo kung unsa ang _score sa ulahi.

Salain pinaagi sa petsa

Gigamit namo ang hangyo laing sa konteksto sa filter:

# получим посты, опубликованные 1ого сентября или позже
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "filter": {
    "range": {
      "published_at": { "gte": "2014-09-01" }
    }
  }
}'

Pagsala pinaagi sa mga tag

Gigamit namo termino nga pangutana sa pagpangita alang sa mga dokumento id nga adunay usa ka gihatag nga pulong:

# найдем все документы, в поле tags которых есть элемент 'котята'
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": [
    "title",
    "tags"
  ],
  "filter": {
    "term": {
      "tags": "котята"
    }
  }
}'

{
  "took" : 9,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 1.0,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 1.0,
      "_source" : {
        "title" : "Веселые котята",
        "tags" : [ "котята", "смешная история" ]
      }
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 1.0,
      "_source" : {
        "title" : "Как у меня появился котенок",
        "tags" : [ "котята" ]
      }
    } ]
  }
}

Pangitag bug-os nga teksto

Tulo sa among mga dokumento naglangkob sa mosunod sa natad sa sulod:

Смешная история про котят
Смешная история про щенков
Душераздирающая история про бедного котенка с улицы

Gigamit namo match nga pangutana sa pagpangita alang sa mga dokumento id nga adunay usa ka gihatag nga pulong:

# source: false означает, что не нужно извлекать _source найденных документов
curl -XGET "$ES_URL/blog/post/_search?pretty" -d'
{
  "_source": false,
  "query": {
    "match": {
      "content": "история"
    }
  }
}'

{
  "took" : 13,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.11506981,
    "hits" : [ {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "2",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "1",
      "_score" : 0.11506981
    }, {
      "_index" : "blog",
      "_type" : "post",
      "_id" : "3",
      "_score" : 0.095891505
    } ]
  }
}

Bisan pa, kung pangitaon namon ang "mga istorya" sa natad sa sulud, wala kami makit-an, tungod kay Ang indeks naglangkob lamang sa orihinal nga mga pulong, dili sa mga punoan niini. Aron makahimo usa ka taas nga kalidad nga pagpangita, kinahanglan nimo nga i-configure ang analisador.

uma _score mga pasundayag kalambigitan. Kung ang hangyo gipatuman sa usa ka konteksto sa filter, nan ang _score nga kantidad kanunay nga katumbas sa 1, nga nagpasabut nga usa ka kompleto nga tugma sa filter.

Mga tigtuki

Mga tigtuki gikinahanglan aron ma-convert ang tinubdan nga teksto ngadto sa usa ka set sa mga token.
Ang mga tig-analisar naglangkob sa usa Tokenizer ug pipila ka opsyonal Mga TokenFilters. Ang Tokenizer mahimong mag-una sa pipila CharFilters. Giputol sa mga tokenizer ang source string ngadto sa mga token, sama sa mga space ug punctuation characters. Mahimong usbon sa TokenFilter ang mga token, pagtangtang o pagdugang mga bag-o, pananglitan, biyaan ra ang punoan sa pulong, tangtangon ang mga preposisyon, idugang ang mga synonyms. CharFilter - nagbag-o sa tibuuk nga gigikanan nga string, pananglitan, giputol ang mga tag sa html.

Daghan ang ES standard analisador. Pananglitan, usa ka analisador Russian nga.

Atong pahimuslan API ug tan-awon nato kung giunsa pagbag-o sa standard ug russian analisador ang hugpong nga "Kataw-anan nga mga istorya bahin sa mga kuting":

# используем анализатор standard       
# обязательно нужно перекодировать не ASCII символы
curl -XGET "$ES_URL/_analyze?pretty&analyzer=standard&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "веселые",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истории",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "про",
    "start_offset" : 16,
    "end_offset" : 19,
    "type" : "<ALPHANUM>",
    "position" : 2
  }, {
    "token" : "котят",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

# используем анализатор russian
curl -XGET "$ES_URL/_analyze?pretty&analyzer=russian&text=%D0%92%D0%B5%D1%81%D0%B5%D0%BB%D1%8B%D0%B5%20%D0%B8%D1%81%D1%82%D0%BE%D1%80%D0%B8%D0%B8%20%D0%BF%D1%80%D0%BE%20%D0%BA%D0%BE%D1%82%D1%8F%D1%82"

{
  "tokens" : [ {
    "token" : "весел",
    "start_offset" : 0,
    "end_offset" : 7,
    "type" : "<ALPHANUM>",
    "position" : 0
  }, {
    "token" : "истор",
    "start_offset" : 8,
    "end_offset" : 15,
    "type" : "<ALPHANUM>",
    "position" : 1
  }, {
    "token" : "кот",
    "start_offset" : 20,
    "end_offset" : 25,
    "type" : "<ALPHANUM>",
    "position" : 3
  } ]
}

Gibahin sa standard analyzer ang string pinaagi sa mga space ug gi-convert ang tanan ngadto sa lower case, gitangtang sa russian analyzer ang dili importante nga mga pulong, gi-convert kini ngadto sa lower case ug gibiyaan ang stem sa mga pulong.

Atong tan-awon kung unsang Tokenizer, TokenFilters, CharFilters ang gigamit sa russian analyzer:

{
  "filter": {
    "russian_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "russian_keywords": {
      "type":       "keyword_marker",
      "keywords":   []
    },
    "russian_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "russian": {
      "tokenizer":  "standard",
      /* TokenFilters */
      "filter": [
        "lowercase",
        "russian_stop",
        "russian_keywords",
        "russian_stemmer"
      ]
      /* CharFilters отсутствуют */
    }
  }
}

Atong ihulagway ang atong analyzer base sa Russian, nga magputol sa mga html tag. Tawgon nato kini nga default, tungod kay usa ka analista nga adunay kini nga ngalan ang gamiton nga default.

{
  "filter": {
    "ru_stop": {
      "type":       "stop",
      "stopwords":  "_russian_"
    },
    "ru_stemmer": {
      "type":       "stemmer",
      "language":   "russian"
    }
  },
  "analyzer": {
    "default": {
      /* добавляем удаление html тегов */
      "char_filter": ["html_strip"],
      "tokenizer":  "standard",
      "filter": [
        "lowercase",
        "ru_stop",
        "ru_stemmer"
      ]
    }
  }
}

Una, ang tanang HTML tags tangtangon gikan sa source string, unya ang tokenizer standard magbahin niini ngadto sa mga token, ang resulta nga mga token mobalhin ngadto sa lower case, ang dili importante nga mga pulong kuhaon, ug ang nahabilin nga mga token magpabilin nga punoan sa pulong.

Paghimo ug Index

Sa ibabaw among gihulagway ang default analyzer. Kini magamit sa tanan nga mga natad sa string. Ang among post adunay daghang mga tag, mao nga ang mga tag iproseso usab sa analista. Kay Nangita kami og mga post pinaagi sa eksaktong tugma sa usa ka tag, unya kinahanglan namong i-disable ang pagtuki alang sa mga tag field.

Maghimo kita og index blog2 nga adunay analyzer ug mapping, diin ang pag-analisa sa mga tag field gi-disable:

curl -XPOST "$ES_URL/blog2" -d'
{
  "settings": {
    "analysis": {
      "filter": {
        "ru_stop": {
          "type": "stop",
          "stopwords": "_russian_"
        },
        "ru_stemmer": {
          "type": "stemmer",
          "language": "russian"
        }
      },
      "analyzer": {
        "default": {
          "char_filter": [
            "html_strip"
          ],
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "ru_stop",
            "ru_stemmer"
          ]
        }
      }
    }
  },
  "mappings": {
    "post": {
      "properties": {
        "content": {
          "type": "string"
        },
        "published_at": {
          "type": "date"
        },
        "tags": {
          "type": "string",
          "index": "not_analyzed"
        },
        "title": {
          "type": "string"
        }
      }
    }
  }
}'

Atong idugang ang parehas nga 3 nga mga post sa kini nga indeks (blog2). Akong laktawan kini nga proseso tungod kay... kini susama sa pagdugang sa mga dokumento sa blog index.

Ang bug-os nga pagpangita sa teksto nga adunay suporta sa ekspresyon

Atong tan-awon ang laing matang sa hangyo:

# найдем документы, в которых встречается слово 'истории'
# query -> simple_query_string -> query содержит поисковый запрос
# поле title имеет приоритет 3
# поле tags имеет приоритет 2
# поле content имеет приоритет 1
# приоритет используется при ранжировании результатов
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "истории",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

Kay Naggamit kami usa ka analista nga adunay Russian nga stemming, unya kini nga hangyo ibalik ang tanan nga mga dokumento, bisan kung kini adunay sulud nga pulong nga 'kasaysayan'.

Ang hangyo mahimong adunay mga espesyal nga karakter, pananglitan:

""fried eggs" +(eggplant | potato) -frittata"

Paghangyo og syntax:

+ signifies AND operation
| signifies OR operation
- negates a single token
" wraps a number of tokens to signify a phrase for searching
* at the end of a term signifies a prefix query
( and ) signify precedence
~N after a word signifies edit distance (fuzziness)
~N after a phrase signifies slop amount

# найдем документы без слова 'щенки'
curl -XPOST "$ES_URL/blog2/post/_search?pretty" -d'
{
  "query": {
    "simple_query_string": {
      "query": "-щенки",
      "fields": [
        "title^3",
        "tags^2",
        "content"
      ]
    }
  }
}'

# получим 2 поста про котиков

mga pakisayran

PS

Kung interesado ka sa parehas nga mga artikulo-mga leksyon, adunay mga ideya alang sa bag-ong mga artikulo, o adunay mga sugyot alang sa kooperasyon, nan malipay ako nga makadawat usa ka mensahe sa usa ka personal nga mensahe o pinaagi sa email [protektado sa email].

Source: www.habr.com

Mga sukaranan sa Elasticsearch