Ang akong ngalan mao si Igor Sidorenko, ako usa ka teknikal nga lider sa grupo sa mga admin nga nagmintinar sa tibuok nga imprastraktura sa Domclick.

Gusto nakong ipaambit ang akong kasinatian sa pag-set up sa distributed data storage sa Elasticsearch. Atong tan-awon kung unsang mga setting sa mga node ang responsable sa pag-apod-apod sa mga shards, kung giunsa ang paglihok ug paglihok sa ILM.

Kadtong nagtrabaho sa mga troso, sa usa ka paagi o sa lain, nag-atubang sa problema sa dugay nga pagtipig alang sa pag-analisar sa ulahi. Sa Elasticsearch, kini labi ka tinuod, tungod kay ang tanan dili maayo sa pag-andar sa curator. Ang Bersyon 6.6 nagpaila sa pagpaandar sa ILM. Kini naglangkob sa 4 ka hugna:

Mainit - Ang indeks aktibo nga gi-update ug gipangutana.
Mainit - ang indeks wala na gi-update, apan gipangutana gihapon.
Bugnaw - Ang indeks wala na gi-update ug panagsa ra nga gipangutana. Ang impormasyon kinahanglang pangitaon gihapon, apan ang mga pangutana mahimong mas hinay.
Pagtangtang - Dili na kinahanglan ang indeks ug mahimo nang luwas nga mapapas.

Gihatag

Mainit nga Data sa Elasticsearch: 24 nga mga processor, 128 GB nga memorya, 1,8 TB SSD RAID 10 (8 nodes).
Elasticsearch Data Warm: 24 processors, 64 GB memory, 8 TB NetApp SSD Policy (4 nodes).
Elasticsearch Data Cold: 8 processors, 32 GB memory, 128 TB HDD RAID 10 (4 nodes).

Tumong

Kini nga mga setting indibidwal, kini tanan nagdepende sa lugar sa mga node, ang gidaghanon sa mga indeks, mga troso, ug uban pa. Kami adunay 2-3 TB nga datos kada adlaw.

5 ka adlaw - Mainit nga hugna (8 main / 1 replika).
20 ka adlaw - Mainit nga yugto (pagkunhod-index 4 main / 1 replika).
90 ka adlaw - Bugnaw nga hugna (freeze-index 4 main / 1 replika).
120 ka adlaw - Pagtangtang nga hugna.

Pag-set up sa Elasticsearch

Aron maapod-apod ang usa ka shard sa mga node, kinahanglan nimo ang usa ra ka parameter:

Hot- mga node:

~]# cat /etc/elasticsearch/elasticsearch.yml | grep attr
# Add custom attributes to the node:
node.attr.box_type: hot

Mainit- mga node:

~]# cat /etc/elasticsearch/elasticsearch.yml | grep attr
# Add custom attributes to the node:
node.attr.box_type: warm

Bugnaw- mga node:

~]# cat /etc/elasticsearch/elasticsearch.yml | grep attr
# Add custom attributes to the node:
node.attr.box_type: cold

Pag-set up sa Logstash

Giunsa kini tanan ug giunsa namon gipatuman kini nga bahin? Magsugod kita pinaagi sa pagkuha sa mga log sa Elasticsearch. Adunay duha ka paagi:

Gikuha sa Logstash ang mga troso gikan sa Kafka. Makakuha ug limpyo o makabig sa imong kilid.
Adunay nagsulat mismo sa Elasticsearch, pananglitan, usa ka APM server.

Hunahunaa ang usa ka pananglitan sa pagdumala sa mga indeks pinaagi sa Logstash. Naghimo kini og indeks ug magamit niini sumbanan sa indeks ug katugbang ILM.

k8s-ingress.conf

input {
    kafka {
        bootstrap_servers => "node01, node02, node03"
        topics => ["ingress-k8s"]
        decorate_events => false
        codec => "json"
    }
}

filter {
    ruby {
        path => "/etc/logstash/conf.d/k8s-normalize.rb"
    }
    if [log] =~ "[warn]" or [log] =~ "[error]" or [log] =~ "[notice]" or [log] =~ "[alert]" {
        grok {
            match => { "log" => "%{DATA:[nginx][error][time]} [%{DATA:[nginx][error][level]}] %{NUMBER:[nginx][error][pid]}#%{NUMBER:[nginx][error][tid]}: *%{NUMBER:[nginx][error][connection_id]} %{DATA:[nginx][error][message]}, client: %{IPORHOST:[nginx][error][remote_ip]}, server: %{DATA:[nginx][error][server]}, request: "%{WORD:[nginx][error][method]} %{DATA:[nginx][error][url]} HTTP/%{NUMBER:[nginx][error][http_version]}", (?:upstream: "%{DATA:[nginx][error][upstream][proto]}://%{DATA:[nginx][error][upstream][host]}:%{DATA:[nginx][error][upstream][port]}/%{DATA:[nginx][error][upstream][url]}", )?host: "%{DATA:[nginx][error][host]}"(?:, referrer: "%{DATA:[nginx][error][referrer]}")?" }
            remove_field => "log"
        }
    }
    else {
        grok {
            match => { "log" => "%{IPORHOST:[nginx][access][host]} - [%{IPORHOST:[nginx][access][remote_ip]}] - %{DATA:[nginx][access][remote_user]} [%{HTTPDATE:[nginx][access][time]}] "%{WORD:[nginx][access][method]} %{DATA:[nginx][access][url]} HTTP/%{NUMBER:[nginx][access][http_version]}" %{NUMBER:[nginx][access][response_code]} %{NUMBER:[nginx][access][bytes_sent]} "%{DATA:[nginx][access][referrer]}" "%{DATA:[nginx][access][agent]}" %{NUMBER:[nginx][access][request_lenght]} %{NUMBER:[nginx][access][request_time]} [%{DATA:[nginx][access][upstream][name]}] (?:-|%{IPORHOST:[nginx][access][upstream][addr]}:%{NUMBER:[nginx][access][upstream][port]}) (?:-|%{NUMBER:[nginx][access][upstream][response_lenght]}) %{DATA:[nginx][access][upstream][response_time]} %{DATA:[nginx][access][upstream][status]} %{DATA:[nginx][access][request_id]}" }
            remove_field => "log"
        }
    }
}
output {
    elasticsearch {
        id => "k8s-ingress"
        hosts => ["node01", "node02", "node03", "node04", "node05", "node06", "node07", "node08"]
        manage_template => true # включаем управление шаблонами
        template_name => "k8s-ingress" # имя применяемого шаблона
        ilm_enabled => true # включаем управление ILM
        ilm_rollover_alias => "k8s-ingress" # alias для записи в индексы, должен быть уникальным
        ilm_pattern => "{now/d}-000001" # шаблон для создания индексов, может быть как "{now/d}-000001" так и "000001"
        ilm_policy => "k8s-ingress" # политика прикрепляемая к индексу
        index => "k8s-ingress-%{+YYYY.MM.dd}" # название создаваемого индекса, может содержать %{+YYYY.MM.dd}, зависит от ilm_pattern
    }
}

Pag-setup sa Kibana

Adunay usa ka sukaranan nga sumbanan nga magamit sa tanan nga bag-ong mga indeks. Gitakda niini ang pag-apod-apod sa mga mainit nga indeks, ang gidaghanon sa mga shards, mga replika, ug uban pa. Ang gibug-aton sa template gitino pinaagi sa kapilian order. Ang mga template nga adunay mas taas nga gibug-aton nag-override sa kasamtangan nga mga parameter sa template o pagdugang og mga bag-o.

GET_template/default

{
  "default" : {
    "order" : -1, # вес шаблона
    "version" : 1,
    "index_patterns" : [
      "*" # применяем ко всем индексам
    ],
    "settings" : {
      "index" : {
        "codec" : "best_compression", # уровень сжатия
        "routing" : {
          "allocation" : {
            "require" : {
              "box_type" : "hot" # распределяем только по горячим нодам
            },
            "total_shards_per_node" : "8" # максимальное количество шардов на ноду от одного индекса
          }
        },
        "refresh_interval" : "5s", # интервал обновления индекса
        "number_of_shards" : "8", # количество шардов
        "auto_expand_replicas" : "0-1", # количество реплик на ноду от одного индекса
        "number_of_replicas" : "1" # количество реплик
      }
    },
    "mappings" : {
      "_meta" : { },
      "_source" : { },
      "properties" : { }
    },
    "aliases" : { }
  }
}

Dayon i-apply ang mapping sa mga index k8s-ingress-* gamit ang usa ka template nga adunay mas taas nga gibug-aton.

GET _template/k8s-ingress

{
  "k8s-ingress" : {
    "order" : 100,
    "index_patterns" : [
      "k8s-ingress-*"
    ],
    "settings" : {
      "index" : {
        "lifecycle" : {
          "name" : "k8s-ingress",
          "rollover_alias" : "k8s-ingress"
        },
        "codec" : "best_compression",
        "routing" : {
          "allocation" : {
            "require" : {
              "box_type" : "hot"
            }
          }
        },
        "number_of_shards" : "8",
        "number_of_replicas" : "1"
      }
    },
    "mappings" : {
      "numeric_detection" : false,
      "_meta" : { },
      "_source" : { },
      "dynamic_templates" : [
        {
          "all_fields" : {
            "mapping" : {
              "index" : false,
              "type" : "text"
            },
            "match" : "*"
          }
        }
      ],
      "date_detection" : false,
      "properties" : {
        "kubernetes" : {
          "type" : "object",
          "properties" : {
            "container_name" : {
              "type" : "keyword"
            },
            "container_hash" : {
              "index" : false,
              "type" : "keyword"
            },
            "host" : {
              "type" : "keyword"
            },
            "annotations" : {
              "type" : "object",
              "properties" : {
                "value" : {
                  "index" : false,
                  "type" : "text"
                },
                "key" : {
                  "index" : false,
                  "type" : "keyword"
                }
              }
            },
            "docker_id" : {
              "index" : false,
              "type" : "keyword"
            },
            "pod_id" : {
              "type" : "keyword"
            },
            "labels" : {
              "type" : "object",
              "properties" : {
                "value" : {
                  "type" : "keyword"
                },
                "key" : {
                  "type" : "keyword"
                }
              }
            },
            "namespace_name" : {
              "type" : "keyword"
            },
            "pod_name" : {
              "type" : "keyword"
            }
          }
        },
        "@timestamp" : {
          "type" : "date"
        },
        "nginx" : {
          "type" : "object",
          "properties" : {
            "access" : {
              "type" : "object",
              "properties" : {
                "agent" : {
                  "type" : "text"
                },
                "response_code" : {
                  "type" : "integer"
                },
                "upstream" : {
                  "type" : "object",
                  "properties" : {
                    "port" : {
                      "type" : "keyword"
                    },
                    "name" : {
                      "type" : "keyword"
                    },
                    "response_lenght" : {
                      "type" : "integer"
                    },
                    "response_time" : {
                      "index" : false,
                      "type" : "text"
                    },
                    "addr" : {
                      "type" : "keyword"
                    },
                    "status" : {
                      "index" : false,
                      "type" : "text"
                    }
                  }
                },
                "method" : {
                  "type" : "keyword"
                },
                "http_version" : {
                  "type" : "keyword"
                },
                "bytes_sent" : {
                  "type" : "integer"
                },
                "request_lenght" : {
                  "type" : "integer"
                },
                "url" : {
                  "type" : "text",
                  "fields" : {
                    "keyword" : {
                      "type" : "keyword"
                    }
                  }
                },
                "remote_user" : {
                  "type" : "text"
                },
                "referrer" : {
                  "type" : "text"
                },
                "remote_ip" : {
                  "type" : "ip"
                },
                "request_time" : {
                  "format" : "yyyy/MM/dd HH:mm:ss||yyyy/MM/dd||epoch_millis||dd/MMM/YYYY:H:m:s Z",
                  "type" : "date"
                },
                "host" : {
                  "type" : "keyword"
                },
                "time" : {
                  "format" : "yyyy/MM/dd HH:mm:ss||yyyy/MM/dd||epoch_millis||dd/MMM/YYYY:H:m:s Z",
                  "type" : "date"
                }
              }
            },
            "error" : {
              "type" : "object",
              "properties" : {
                "server" : {
                  "type" : "keyword"
                },
                "upstream" : {
                  "type" : "object",
                  "properties" : {
                    "port" : {
                      "type" : "keyword"
                    },
                    "proto" : {
                      "type" : "keyword"
                    },
                    "host" : {
                      "type" : "keyword"
                    },
                    "url" : {
                      "type" : "text",
                      "fields" : {
                        "keyword" : {
                          "type" : "keyword"
                        }
                      }
                    }
                  }
                },
                "method" : {
                  "type" : "keyword"
                },
                "level" : {
                  "type" : "keyword"
                },
                "http_version" : {
                  "type" : "keyword"
                },
                "pid" : {
                  "index" : false,
                  "type" : "integer"
                },
                "message" : {
                  "type" : "text"
                },
                "tid" : {
                  "index" : false,
                  "type" : "keyword"
                },
                "url" : {
                  "type" : "text",
                  "fields" : {
                    "keyword" : {
                      "type" : "keyword"
                    }
                  }
                },
                "referrer" : {
                  "type" : "text"
                },
                "remote_ip" : {
                  "type" : "ip"
                },
                "connection_id" : {
                  "index" : false,
                  "type" : "keyword"
                },
                "host" : {
                  "type" : "keyword"
                },
                "time" : {
                  "format" : "yyyy/MM/dd HH:mm:ss||yyyy/MM/dd||epoch_millis||dd/MMM/YYYY:H:m:s Z",
                  "type" : "date"
                }
              }
            }
          }
        },
        "log" : {
          "type" : "text"
        },
        "@version" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "ignore_above" : 256,
              "type" : "keyword"
            }
          }
        },
        "eventtime" : {
          "type" : "float"
        }
      }
    },
    "aliases" : { }
  }
}

Human ma-apply ang tanang templates, atong i-apply ang ILM policy ug sugdan ang pagmonitor sa kinabuhi sa mga index.

GET _ilm/policy/k8s-ingress

{
  "k8s-ingress" : {
    "version" : 14,
    "modified_date" : "2020-06-11T10:27:01.448Z",
    "policy" : {
      "phases" : {
        "warm" : { # теплая фаза
          "min_age" : "5d", # срок жизни индекса после ротации до наступления теплой фазы
          "actions" : {
            "allocate" : {
              "include" : { },
              "exclude" : { },
              "require" : {
                "box_type" : "warm" # куда перемещаем индекс
              }
            },
            "shrink" : {
              "number_of_shards" : 4 # обрезание индексов, т.к. у нас 4 ноды
            }
          }
        },
        "cold" : { # холодная фаза
          "min_age" : "25d", # срок жизни индекса после ротации до наступления холодной фазы
          "actions" : {
            "allocate" : {
              "include" : { },
              "exclude" : { },
              "require" : {
                "box_type" : "cold" # куда перемещаем индекс
              }
            },
            "freeze" : { } # замораживаем для оптимизации
          }
        },
        "hot" : { # горячая фаза
          "min_age" : "0ms",
          "actions" : {
            "rollover" : {
              "max_size" : "50gb", # максимальный размер индекса до ротации (будет х2, т.к. есть 1 реплика)
              "max_age" : "1d" # максимальный срок жизни индекса до ротации
            },
            "set_priority" : {
              "priority" : 100
            }
          }
        },
        "delete" : { # фаза удаления
          "min_age" : "120d", # максимальный срок жизни после ротации перед удалением
          "actions" : {
            "delete" : { }
          }
        }
      }
    }
  }
}

Mga problema

Adunay mga problema sa yugto sa pag-setup ug pag-debug.

Mainit nga yugto

Alang sa husto nga rotation sa mga indeks, ang presensya sa katapusan kritikal index_name-date-000026 format nga mga numero 000001. Adunay mga linya sa code nga nagsusi sa mga indeks gamit ang usa ka regular nga ekspresyon alang sa presensya sa mga numero sa katapusan. Kung dili, adunay usa ka sayup, wala’y mga palisiya nga magamit sa indeks, ug kini kanunay nga naa sa mainit nga yugto.

Mainit nga yugto

Pahulay (cutoff) — pagkunhod sa gidaghanon sa mga shards, tungod kay kita adunay 4 nodes sa mainit ug bugnaw nga mga hugna. Ang dokumentasyon naglangkob sa mosunod nga mga linya:

Ang indeks kinahanglan nga read-only.

Ang usa ka kopya sa matag shard sa indeks kinahanglan magpuyo sa parehas nga node.

Ang kahimtang sa kahimsog sa cluster kinahanglan nga berde.

Aron pagpul-ong sa usa ka indeks, ang Elasticsearch mobalhin sa tanang nag-unang shards ngadto sa usa ka node, mag-duplicate sa naputol nga index uban sa gikinahanglan nga mga parameter, ug dayon tangtangon ang daan. Parameter total_shards_per_node kinahanglan nga katumbas o labaw pa sa gidaghanon sa mga nag-unang shards nga mohaum sa usa ka node. Kung dili, adunay mga pahibalo ug ang mga shards dili molihok sa husto nga mga node.

GET / shrink-k8s-ingress-2020.06.06-000025/_settings

{
  "shrink-k8s-ingress-2020.06.06-000025" : {
    "settings" : {
      "index" : {
        "refresh_interval" : "5s",
        "auto_expand_replicas" : "0-1",
        "blocks" : {
          "write" : "true"
        },
        "provided_name" : "shrink-k8s-ingress-2020.06.06-000025",
        "creation_date" : "1592225525569",
        "priority" : "100",
        "number_of_replicas" : "1",
        "uuid" : "psF4MiFGQRmi8EstYUQS4w",
        "version" : {
          "created" : "7060299",
          "upgraded" : "7060299"
        },
        "lifecycle" : {
          "name" : "k8s-ingress",
          "rollover_alias" : "k8s-ingress",
          "indexing_complete" : "true"
        },
        "codec" : "best_compression",
        "routing" : {
          "allocation" : {
            "initial_recovery" : {
              "_id" : "_Le0Ww96RZ-o76bEPAWWag"
            },
            "require" : {
              "_id" : null,
              "box_type" : "cold"
            },
            "total_shards_per_node" : "8"
          }
        },
        "number_of_shards" : "4",
        "routing_partition_size" : "1",
        "resize" : {
          "source" : {
            "name" : "k8s-ingress-2020.06.06-000025",
            "uuid" : "gNhYixO6Skqi54lBjg5bpQ"
          }
        }
      }
    }
  }
}

Bugnaw nga yugto

freeze (pag-freeze) - Gi-freeze namo ang index para ma-optimize ang mga pangutana sa historical data.

Ang mga pagpangita nga gihimo sa frozen nga mga indeks naggamit sa gamay, gipahinungod, search_throttled threadpool aron makontrol ang gidaghanon sa mga dungan nga pagpangita nga miigo sa mga frozen shards sa matag node. Gilimitahan niini ang gidaghanon sa dugang nga panumduman nga gikinahanglan alang sa lumalabay nga mga istruktura sa datos nga katumbas sa mga frozen shards, nga tungod niini nanalipod sa mga node batok sa sobra nga pagkonsumo sa memorya.
Ang mga frozen nga indeks kay read-only: dili ka maka-index niini.
Ang mga pagpangita sa nagyelo nga mga indeks gilauman nga hinayhinay nga ipatuman. Ang mga frozen nga indeks wala gituyo alang sa taas nga load sa pagpangita. Posible nga ang pagpangita sa usa ka nagyelo nga indeks mahimong mokabat sa mga segundo o minuto aron makompleto, bisan kung ang parehas nga mga pagpangita nahuman sa millisecond kung ang mga indeks wala ma-freeze.

Mga resulta

Kami nakakat-on unsaon pag-andam sa mga node para sa pagtrabaho uban sa ILM, pag-set up og template para sa pag-apod-apod sa mga shards sa mga hot node, ug pag-set up sa ILM para sa index nga adunay tanang hugna sa kinabuhi.

Mapuslanon nga mga link

Source: www.habr.com

Ang dugay nga pagtipig sa datos sa Elasticsearch

Gihatag

Tumong

Pag-set up sa Elasticsearch

Pag-set up sa Logstash

Pag-setup sa Kibana

Mga problema

Mainit nga yugto

Mainit nga yugto

Bugnaw nga yugto

Mga resulta

Mapuslanon nga mga link