Миграција од Нагиос во Ицинга2 во Австралија

Здраво на сите

Јас сум системски администратор на Линукс, се преселив од Русија во Австралија со независна професионална виза во 2015 година, но статијата нема да биде за тоа како да започнете трактор за свиња. Веќе има доволно такви написи (сепак, ако има интерес, ќе пишувам и за ова), па би сакал да зборувам за тоа како, на мојата работа во Австралија како инженер за Linux-ops, иницирав миграција од еден системски мониторинг на друг. Поточно - Nagios => Icinga2.

Статијата е делумно техничка, а делумно за комуникација со луѓе и проблеми поврзани со разликите во културата и методите на работа.

За жал, ознаката „код“ не ги истакнува кодовите за кукли и јамл, па морав да користам „обичен текст“.

Немаше знаци на неволја утрото на 21 декември 2016 година. Како и обично, читав Хабр од нерегистриран анонимен корисник во првиот половина час од работниот ден, додека пиев кафе и наидов овој член,.

Бидејќи мојата компанија користеше Nagios, без размислување двапати, креирав тикет во Redmine и го испратив линкот до генералниот разговор, бидејќи сметав дека е важен. Иницијативата е казнива дури и во Австралија, па главниот инженер ми го закачи проблемот откако го открив.

Слика од екранот од Redmine

Во нашиот оддел, пред да го изразите вашето мислење, вообичаено е да се понуди барем една алтернатива, дури и ако изборот е очигледен, па затоа почнав со гуглање какви системи за следење се моментално релевантни, бидејќи во Русија на последното место на работа јас имаше мој само-напишан систем, многу примитивен, но сепак доста работен и ги извршуваше сите задачи што му беа доделени. Пајтон, Политехниката во Санкт Петербург и правилото на метрото. Не, метрото е смрдливо. Ова е лично (11 години работа) и достојно за посебна статија, но не сега.

Малку за правилата за правење промени во конфигурацијата на инфраструктурата на моето сегашно место. Ние ги користиме Puppet, Gitlab и Infrastructure како принцип на код, така што:

• Нема рачни промени преку SSH со рачно менување на датотеките на виртуелните машини. Во текот на трите години работа, многу пати ме удираа со капа за ова, последен пат беше пред една недела и мислам дека не беше последен пат. Па, навистина - поправете една линија во конфигурацијата, рестартирајте ја услугата и видете дали проблемот е решен - 10 секунди. Направете нова филијала во Gitlab, притиснете ги промените, почекајте r10k да работи на Puppetmaster, стартувајте Puppet -environment=mybranch и почекајте уште неколку минути додека сето тоа не функционира - минимум 5 минути.
• Сите промени се прават со креирање на барање за спојување во Gitlab и мора да бидат одобрени од најмалку еден член на тимот. За големи промени за кои одлучува раководителот на тимот потребни се две или три одобренија.
• Сите промени се текстуални на еден или друг начин (бидејќи Puppet манифестира, скриптите и податоците на Hiera се текст), бинарните датотеки се многу обесхрабрени и треба да има убедлива причина да се одобрат таквите датотеки.

Значи, опциите што ги разгледав:

• Munin - ако има повеќе од 10 сервери во инфраструктурата, администрацијата се претвора во пекол (од Оваа статија. Немав особена желба да го проверам ова, па го прифатив неговиот збор).
• Забикс - Го гледав долго време, назад во Русија, но тогаш беше вишок за моите задачи. Тука - мораше да се отфрли поради употребата на Puppet како менаџер за конфигурација и Gitlab како систем за контрола на верзијата. Во тоа време, колку што разбрав, Zabbix ја складира целата конфигурација во базата на податоци и затоа не беше јасно како да се управува со конфигурацијата во сегашни услови и како да се следат промените.
• Прометеј е она до што ќе дојдеме на крајот, судејќи според расположението во одделот, но во тоа време не го совладав и не можев да покажам навистина работен примерок (Доказ за концепт), па морав да одбијам.
• Имаше и неколку други опции кои или бараа целосна преработка на системот, или беа во повој / напуштени и беа одбиени поради истата причина.

На крајот, се решив на Icinga2 од три причини:

1 - компатибилност со Nrpe (клиентска услуга која извршува командни проверки од Nagios). Ова беше многу важно, бидејќи во тоа време имавме 135 (сега има 2019 во 165 година) виртуелни машини со еден куп наменски напишани услуги/проверки, и повторното правење на сето тоа ќе беше вистинска болка.
2 - сите конфигурациски датотеки се текст, што го олеснува уредувањето на ова прашање, креирањето барања за спојување со можност да се види што е додадено или избришано.
3 е жив и развој на OpenSource проект. Навистина го сакаме OpenSource и го даваме секој можен придонес кон него со креирање на барања за повлекување и прашања за решавање на проблемите.

Значи, ајде да одиме, Icinga2.

Првото нешто со кое морав да се соочам беше инертноста на моите колеги. Сите се навикнати на Nagios/Naggios (иако и овде не можеа да дојдат до компромис за тоа како да го изговорат) и интерфејсот CheckMK. Интерфејсот на icinga изгледа сосема поинаку (ова беше минус), но можно е флексибилно да се прилагоди она што треба да го гледате користејќи филтри за буквално секој параметар (ова беше плус, но се борев многу за тоа).

Филтри

Проценете го соодносот на големината на лентата за лизгање со големината на полето за лизгање.

Второ, сите се навикнати да ја гледаат целата инфраструктура на еден монитор, бидејќи CheckMk ви овозможува да работите со неколку Nagios хостови, но интерфејсот Icinga не можеше да го стори тоа (всушност, можеше, но повеќе за тоа подолу). Алтернативата беше нешто наречено Thruk, но неговиот дизајн ги натера сите во тимот да се замолкнат освен еден - оној што го предложи (не јас).

Во печката Thruk - едногласна одлука на тимот

По неколку дена бреинсторминг, ја предложив идејата за мониторинг на кластери, кога има еден главен хост во производната зона и два робови - еден во dev/тест и еден надворешен хост лоциран кај друг провајдер со цел да се следи нашиот услуги од гледна точка на клиент или надворешен набљудувач. Оваа конфигурација овозможи да се видат сите проблеми во еден веб-интерфејс и работеше доста добро, но Puppet... Проблемот со Puppet беше што главниот хост сега мораше да знае за сите хостови и услуги/проверки во системот и имаше да ги дистрибуирате помеѓу зони (dev-test, staging-prod, ext), но испраќањето промени преку Icinga API трае неколку секунди, но составувањето на директориумот Puppet на сите услуги за сите домаќини трае неколку минути. За ова сè уште ми се обвинува, иако веќе неколку пати објаснив како функционира се и зошто сето тоа трае толку долго.

Трето, има еден куп Снегулки - работи кои се издвојуваат од општиот систем бидејќи имаат нешто посебно, па затоа општите правила не важат за нив. Тоа беше решено со фронтален напад - ако има аларми, но всушност сè е во ред, тогаш треба да копам подлабоко и да дознаам зошто ме предупредува, иако не треба. Или обратно - зошто Нагиос паничи, а Ицинга не.

Четврто, Нагиос работеше тука пред мене три години и на почетокот имаше повеќе доверба во него отколку во мојот новоформиран хипстерски систем, така што секој пат кога Ицинга предизвикуваше паника, никој не правеше ништо додека Нагиос не се возбуди за истото прашање. Но, многу ретко Icinga генерира вистински аларми порано од Nagios и сметам дека ова е сериозен проблем, за кој ќе зборувам во делот „Заклучоци“.

Како резултат на тоа, пуштањето во работа беше одложено повеќе од 5 месеци (планирано за 28 јуни 2018 година, всушност - 3 декември 2018 година), главно поради „проверка на паритет“ - тоа срање кога има неколку услуги во Нагиос што никој не ги знае за не слушнав ништо во последните неколку години, но ТОЧНО СЕГА издадоа критики без причина и морав да објаснам зошто не беа на мојот панел и морав да ги додадам во Icinga за да „проверката на паритет е комплетно“ (Сите услуги/проверки во Нагиос одговараат на услугите/проверките во Ицинга)

Имплементација:
Првата е војната Code vs Data, како што е куклен стил. Сите податоци, апсолутно сè, мора да бидат во Хиера и ништо друго. Целиот код е во датотеките .pp. Променливи, апстракции, функции - сè оди во стр.
Како резултат на тоа, имаме еден куп виртуелни машини (165 во моментот на пишување) и 68 веб-апликации кои треба да се следат за перформансите и валидноста на SSL сертификатите. Но, поради историските хемороиди, информациите за мониторинг апликациите се земени од посебно складиште на gitlab и форматот на податоците не е променет од Puppet 3, што создава дополнителна сложеност во конфигурацијата.

Кукла-код за апликации, заштитете ги очите

define profiles::services::monitoring::docker_apps(
  Hash $app_list,
  Hash $apps_accessible_from,
  Hash $apps_access_list,
  Hash $webhost_defaults,
  Hash $webcheck_defaults,
  Hash $service_overrides,
  Hash $targets,
  Hash $app_checks,
  )
{
#### APPS ####
  $zone = $name
  $app_list.each | String $app_name, Hash $app_data |
  {

    $notify_group = { 'notify_group' => ($webcheck_defaults[$zone]['notify_group'] + pick($app_data['notify_group'], {} )) } # adds notifications for default group (systems) + any group defined in int/pm_docker_apps.eyaml

    $data = merge($webhost_defaults, $apps_accessible_from, $app_data)

    $site_domain = $app_data['site_domain']

    $regexp = pick($app_data['check_regex'], 'html')        # Pick a regex to check

    $check_url = $app_data['check_url'] ? {
      undef   => { 'http_uri' => '/' },
      default => { 'http_uri' => $app_data['check_url'] }
    }

    $check_regex = $regexp ?{
      'absent' => {},
      default  => {'http_expect_body_regex' => $regexp}
    }

    $site_domain.each | String $vhost, Hash $vdata | {        # Split an app by domains if there are two or more
      $vhost_name = {'http_vhost' => $vhost}

      $vars = $data['vars'] + $vhost_name + $check_regex + $check_url

      $web_ipaddress = is_array($vdata['web_ipaddress']) ? {  # Make IP-address an array if it's not, because askizzy has 2 ips and it's an array
        true  => $vdata['web_ipaddress'],
        false => [$vdata['web_ipaddress']],
      }

      $access_from_zones = [$zone] + $apps_access_list[$data['accessible_from']] # Merge default zone (where the app is defined) and extra zones if they exist
      $web_ipaddress.each | String $ip_address | {            # For each IP (if we have multiple)
        $suffix = length($web_ipaddress) ? {                  # If we have more than one - add IP as a suffix to this hostname to avoid duplicating resources
          1       => '',
          default => "_${ip_address}"
        }
        $octets = split($ip_address, '.')
        $ip_tag = "${octets[2]}.${octets[3]}" # Using last octet only causes a collision between nginx-vip 203.15.70.94 and ext. ip 49.255.194.94

        $access_from_zones.each | $zone_prefix |{
          $zone_target = $targets[$zone_prefix]

          $nginx_vip_name = "${zone_prefix}_nginx-vip-${ip_tag}" # If it's a host for ext - prefix becomes 'ext_' (ext_nginx-vip...)
          $nginx_host_vip = {
            $nginx_vip_name => {
              ensure        => present,
              target        => $zone_target,
              address       => $ip_address,
              check_command => 'hostalive',
              groups        => ['nginx_vip',],
            }
          }

          $ssl_vars = $app_checks['ssl']
          $regex_vars = $app_checks['http'] + $vars + $webcheck_defaults[$zone] + $notify_group

          if !defined( Profiles::Services::Monitoring::Host[$nginx_vip_name] ) {
          ensure_resources('profiles::services::monitoring::host', $nginx_host_vip)
          }

          if !defined( Icinga2::Object::Service["${nginx_vip_name}_ssl"] ) {
            icinga2::object::service {"${nginx_vip_name}_ssl":
              ensure         => $data['ensure'],
              assign         => ["host.name == $nginx_vip_name",],
              groups         => ['webchecks',],
              check_command  => 'ssl',
              check_interval => $service_overrides['ssl']['check_interval'],
              target         => $targets['services'],
              apply          => true,
              vars           => $ssl_vars
            }
          }
          if $regexp != 'absent'{
            if !defined(Icinga2::Object::Service["${vhost}${$suffix} regex"]){
              icinga2::object::service {"${vhost}${$suffix} regex":
                ensure          => $data['ensure'],
                assign          => ["match(*_nginx-vip-${ip_tag}, host.name)",],
                groups          => ['webchecks',],
                check_command   => 'http',
                check_interval  => $service_overrides['regex']['check_interval'],
                target          => $targets['services'],
                enable_flapping => true,
                apply           => true,
                vars            => $regex_vars
              }
            }
          }
        }
      }
    }
  }
}

Кодот за конфигурација за домаќините и услугите исто така изгледа страшно:

monitoring/config.pp

class profiles::services::monitoring::config(
  Array $default_config,
  Array $hostgroups,
  Hash $hosts = {},
  Hash $host_defaults,
  Hash $services,
  Hash $service_defaults,
  Hash $service_overrides,
  Hash $webcheck_defaults,
  Hash $servicegroups,
  String $servicegroup_target,
  Hash $user_defaults,
  Hash $users,
  Hash $oncall,
  Hash $usergroup_defaults,
  Hash $usergroups,
  Hash $notifications,
  Hash $notification_defaults,
  Hash $notification_commands,
  Hash $timeperiods,
  Hash $webhost_defaults,
  Hash $apps_access_list,
  Hash $check_commands,
  Hash $hosts_api = {},
  Hash $targets = {},
  Hash $host_api_defaults = {},
)
{

  # Profiles::Services::Monitoring::Hostgroup <<| |>> # will be enabled when we move to icinga completely
#### APPS ####
  case $location {
    'int', 'ext': {
      $apps_by_zone = {}
    }
    'pm': {
      $int_apps         = hiera('int_docker_apps')
      $int_app_defaults = hiera('int_docker_app_common')

      $st_apps          = hiera('staging_docker_apps')
      $srs_apps         = hiera('pm_docker_apps_srs')
      $pm_apps          = hiera('pm_docker_apps') + $st_apps + $srs_apps
      $pm_app_defaults  = hiera('pm_docker_app_common')

      $apps_by_zone = {
        'int' => $int_apps,
        'pm'  => $pm_apps,
      }

      $app_access_by_zone = {
        'int' => {'accessible_from' => $int_app_defaults['accessible_from']},
        'pm'  => {'accessible_from' => $pm_app_defaults['accessible_from']},
      }
    }

    default: {
      fail('Please ensure the node has $location fact set (int, pm, ext)')
    }
  }

  file { '/etc/icinga2/conf.d/':
    ensure  => directory,
    recurse => true,
    purge   => true,
    owner   => 'icinga',
    group   => 'icinga',
    mode    => '0750',
    notify  => Service['icinga2'],
  }

  $default_config.each | String $file_name |{
    file {"/etc/icinga2/conf.d/${file_name}":
      ensure => present,
      source => "puppet:///modules/profiles/services/monitoring/default_config/${file_name}",
      owner  => 'icinga',
      group  => 'icinga',
      mode    => '0640',
    }
  }

  $app_checks = {
    'ssl' => $services['webchecks']['checks']['ssl']['vars'],
    'http' => $services['webchecks']['checks']['http_regexp']['vars']
  }

  $apps_by_zone.each | String $zone, Hash $app_list | {
    profiles::services::monitoring::docker_apps{$zone:
      app_list             => $app_list,
      apps_accessible_from => $app_access_by_zone[$zone],
      apps_access_list     => $apps_access_list,
      webhost_defaults     => $webhost_defaults,
      webcheck_defaults    => $webcheck_defaults,
      service_overrides    => $service_overrides,
      targets              => $targets,
      app_checks           => $app_checks,
    }
  }

####    HOSTS    ####

  # Profiles::Services::Monitoring::Host <<| |>> # This is for spaceship invasion when it's ready.
  $hosts_has_large_disks = query_nodes('mountpoints.*.size_bytes >= 1099511627776')

  $hosts.each | String $hostgroup, Hash $list_of_hosts_with_settings | {           # Splitting site lists by hostgroups - docker_host/gluster_host/etc
    $list_of_hosts_in_group = $list_of_hosts_with_settings['hosts']
    $hostgroup_settings     = $list_of_hosts_with_settings['settings']
    $merged_hostgroup_settings = deep_merge($host_defaults, $list_of_hosts_with_settings['settings'])
    $list_of_hosts_in_group.each | String $host_name, Hash $host_settings |{  # Splitting grouplists by hosts
      # Is this host in the array $hosts_has_large_disks ? If so set host.vars.has_large_disks
      if ( $hosts_has_large_disks.reduce(false) | $found, $value| { ( $value =~ "^${host_name}" ) or $found } ) {
        $vars_has_large_disks = { 'has_large_disks' => true }
      } else {
        $vars_has_large_disks = {}
      }
      $host_data = deep_merge($merged_hostgroup_settings, $host_settings)
      $hostgroup_settings_vars = pick($hostgroup_settings['vars'], {})
      $host_settings_vars = pick($host_settings['vars'], {})
      $host_notify_group = delete_undef_values($host_defaults['vars']['notify_group'] + $hostgroup_settings_vars['notify_group'] + $host_settings_vars['notify_group'])
      $host_data_vars = delete_undef_values(deep_merge($host_data['vars'] , {'notify_group' => $host_notify_group}, $vars_has_large_disks)) # Merging vars separately

      $hostgroups = delete_undef_values([$hostgroup] + $host_data['groups'])

      profiles::services::monitoring::host{$host_name:
        ensure             => $host_data['ensure'],
        display_name       => $host_data['display_name'],
        address            => $host_data['address'],
        groups             => $hostgroups,
        target             => $host_data['target'],
        check_command      => $host_data['check_command'],
        check_interval     => $host_data['check_interval'],
        max_check_attempts => $host_data['max_check_attempts'],
        vars               => $host_data_vars,
        template           => $host_data['template'],
      }
    }
  }
  if !empty($hosts_api){                                                                # All hosts managed by API
    $hosts_api.each | String $zone, Hash $hosts_api_zone | {                            # Split api hosts by zones
      $hosts_api_zone.each | String $hostgroup, Hash $list_of_hosts_with_settings | {   # Splitting site lists by hostgroups - docker_host/gluster_host/etc
        $list_of_hosts_in_group = $list_of_hosts_with_settings['hosts']
        $hostgroup_settings     = $list_of_hosts_with_settings['settings']
        $merged_hostgroup_settings = deep_merge($host_api_defaults, $list_of_hosts_with_settings['settings'])
        $list_of_hosts_in_group.each | String $host_name, Hash $host_settings |{        # Splitting grouplists by hosts
          # Is this host in the array $hosts_has_large_disks ? If so set host.vars.has_large_disks
          if ( $hosts_has_large_disks.reduce(false) | $found, $value| { ( $value =~ "^${host_name}" ) or $found } ) {
            $vars_has_large_disks = { 'has_large_disks' => true }
          } else {
            $vars_has_large_disks = {}
          }
          $host_data = deep_merge($merged_hostgroup_settings, $host_settings)
          $hostgroup_settings_vars = pick($hostgroup_settings['vars'], {})

          $host_settings_vars = pick($host_settings['vars'], {})
          $host_api_notify_group = delete_undef_values($host_defaults['vars']['notify_group'] + $hostgroup_settings_vars['notify_group'] + $host_settings_vars['notify_group'])
          $host_data_vars = delete_undef_values(deep_merge($host_data['vars'] , {'notify_group' => $host_api_notify_group}, $vars_has_large_disks))
          $hostgroups = delete_undef_values([$hostgroup] + $host_data['groups'])

          if defined(Profiles::Services::Monitoring::Host[$host_name]){
            $hostname = "${host_name}_from_${zone}"
          }
          else
          {
            $hostname = $host_name
          }
          profiles::services::monitoring::host{$hostname:
            ensure             => $host_data['ensure'],
            display_name       => $host_data['display_name'],
            address            => $host_data['address'],
            groups             => $hostgroups,
            target             => "${host_data['target_base']}/${zone}/hosts.conf",
            check_command      => $host_data['check_command'],
            check_interval     => $host_data['check_interval'],
            max_check_attempts => $host_data['max_check_attempts'],
            vars               => $host_data_vars,
            template           => $host_data['template'],
          }
        }
      }
    }
  }

#### END OF HOSTS ####

####   SERVICES   ####

  $services.each | String $service_group, Hash $s_list |{             # Service_group and list of services in that group
    $service_list = $s_list['checks']                                 # List of actual checks, separately from SG settings
    $service_list.each | String $service_name, Hash $data |{

      $merged_defaults = merge($service_defaults, $s_list['settings']) # global service defaults + service group defaults
      $merged_data = merge($merged_defaults, $data)

      $settings_vars = pick($s_list['settings']['vars'], {})
      $this_service_vars = pick($data['vars'], {})
      $all_service_vars = delete_undef_values($service_defaults['vars'] + $settings_vars + $this_service_vars)

      # If we override default check_timeout, but not nrpe_timeout, make nrpe_timeout the same as check_timeout
      if ( $merged_data['check_timeout'] and ! $this_service_vars['nrpe_timeout'] ) {
        # NB: Icinga will convert 1m to 60 automatically!
        $nrpe = { 'nrpe_timeout' => $merged_data['check_timeout'] }
      } else {
        $nrpe = {}
      }

      # By default we use nrpe and all commands are run via nrpe. So vars.nrpe_command = $service_name is a default value
      # If it's server-side Icinga command - we don't need 'nrpe_command'
      # but there is no harm to have that var and the code is shorter

      if $merged_data['check_command'] == 'nrpe'{
        $check_command = $merged_data['vars']['nrpe_command'] ? {
          undef   => { 'nrpe_command' => $service_name },
          default => { 'nrpe_command' => $merged_data['vars']['nrpe_command'] }
        }
      }else{
        $check_command = {}
      }

      # Assembling $vars from Global Default service settings, servicegroup settings, this particular check settings and let's not forget nrpe settings.
      if $all_service_vars['graphite_template'] {
        $graphite_template = {'check_command' => $all_service_vars['graphite_template']}
      }else{
        $graphite_template = {'check_command' => $service_name}
      }
      $service_notify = [] + pick($settings_vars['notify_group'], []) + pick($this_service_vars['notify_group'], []) # pick is required everywhere, otherwise becomes "The value '' cannot be converted to Numeric"

      $service_notify_group = $service_notify ? {
        []      => $service_defaults['vars']['notify_group'],
        default => $service_notify
      } # Assing default group (systems) if no other groups are defined

      $vars = $all_service_vars + $nrpe + $check_command + $graphite_template + {'notify_group' => $service_notify_group}

      # This needs to be merged separately, because merging it as part of MERGED_DATA overwrites arrays instead of merging them, so we lose some "assign" and "ignore" values

      $assign = delete_undef_values($service_defaults['assign'] + $s_list['settings']['assign'] + $data['assign'])
      $ignore = delete_undef_values($service_defaults['ignore'] + $s_list['settings']['ignore'] + $data['ignore'])

      icinga2::object::service {$service_name:
        ensure             => $merged_data['ensure'],
        apply              => $merged_data['apply'],
        enable_flapping    => $merged_data['enable_flapping'],
        assign             => $assign,
        ignore             => $ignore,
        groups             => [$service_group],
        check_command      => $merged_data['check_command'],
        check_interval     => $merged_data['check_interval'],
        check_timeout      => $merged_data['check_timeout'],
        check_period       => $merged_data['check_period'],
        display_name       => $merged_data['display_name'],
        event_command      => $merged_data['event_command'],
        retry_interval     => $merged_data['retry_interval'],
        max_check_attempts => $merged_data['max_check_attempts'],
        target             => $merged_data['target'],
        vars               => $vars,
        template           => $merged_data['template'],
      }
    }
  }
#### END OF SERVICES ####

#### OTHER BORING STUFF ####

  $servicegroups.each | $servicegroup, $description |{
    icinga2::object::servicegroup{ $servicegroup:
      target       => $servicegroup_target,
      display_name => $description
    }
  }

  $hostgroups.each| String $hostgroup |{
    profiles::services::monitoring::hostgroup { $hostgroup:}
  }

  $notifications.each | String $name, Hash $settings |{

    $assign = pick($notification_defaults['assign'], []) + $settings['assign']
    $ignore = pick($notification_defaults['ignore'], []) + $settings['ignore']

    $merged_settings = $settings + $notification_defaults

    icinga2::object::notification{$name:
      target       => $merged_settings['target'],
      apply        => $merged_settings['apply'],
      apply_target => $merged_settings['apply_target'],
      command      => $merged_settings['command'],
      interval     => $merged_settings['interval'],
      states       => $merged_settings['states'],
      types        => $merged_settings['types'],
      assign       => delete_undef_values($assign),
      ignore       => delete_undef_values($ignore),
      user_groups  => $merged_settings['user_groups'],
      period       => $merged_settings['period'],
      vars         => $merged_settings['vars'],
    }
  }

  # Merging notification settings for users with other settings
  $users_oncall = deep_merge($users, $oncall)
  # Magic. Do not touch.
  create_resources('icinga2::object::user', $users_oncall, $user_defaults)
  create_resources('icinga2::object::usergroup', $usergroups, $usergroup_defaults)
  create_resources('icinga2::object::timeperiod',$timeperiods)
  create_resources('icinga2::object::checkcommand', $check_commands)
  create_resources('icinga2::object::notificationcommand', $notification_commands)

  profiles::services::sudoers { 'icinga_runs_ping_l2':
    ensure            => present,
    sudoersd_template => 'profiles/os/redhat/centos7/sudoers/icinga.erb',
  }

}

Сè уште работам на овие тестенини и ги подобрувам најдобро што можам. Сепак, токму овој код ни овозможи да користиме едноставна и разбирлива синтакса во Hiera:

Податоци

profiles::services::monitoring::config::services:
  perf_checks:
    settings:
      check_interval: '2m'
      assign:
        - 'host.vars.type == linux'
    checks:
      procs: {}
      load: {}
      memory: {}
      disk:
        check_interval: '5m'
        vars:
          notification_period: '24x7'
      disk_iops:
        vars:
          notifications:
            - 'silent'
      cpu:
        vars:
          notifications:
            - 'silent'
      dns_fqdn:
        check_interval: '15m'
        ignore:
          - 'xenserver in host.groups'
        vars:
          notifications:
            - 'silent'
      iftraffic_nrpe:
        vars:
          notifications:
            - 'silent'
  logging:
    settings:
      assign:
        - 'logserver in host.groups'
    checks:
       rsyslog: {}
      nginx_limit_req_other: {}
      nginx_limit_req_s2s: {}
      nginx_limit_req_s2x: {}
      nginx_limit_req_srs: {}
     logstash: {}
      logstash_api:
        vars:
          notifications:
            - 'silent'

Сите проверки се поделени во групи, секоја група има стандардни поставки како што се каде и колку често да се извршуваат овие проверки, какви известувања да се испраќаат и на кого.

Во секоја проверка, можете да ја отфрлите секоја опција, и сето ова на крајот се собира до стандардните поставки на сите проверки како целина. Затоа таквите глупости се напишани во config.pp - ги спојува сите стандардни поставки со поставките на групата, а потоа со секоја поединечна проверка.

Друга многу важна промена беше можноста за користење функции во поставките, на пример, функцијата за замена на портата, адресата и URL-то за проверка на http_regex.

http_regexp:
  assign:
    - 'host.vars.http_regex'
    - 'static_sites in host.groups'
  check_command: 'http'
  check_interval: '1m'
  retry_interval: '20s'
  max_check_attempts: 6
  http_port: '{{ if(host.vars.http_port) { return host.vars.http_port } else { return 443 } }}'
  vars:
    notification_period: 'host.vars.notification_period'
    http_vhost: '{{ if(host.vars.http_vhost) { return host.vars.http_vhost } else { return host.name } }}'
    http_ssl: '{{ if(host.vars.http_ssl) { return false } else { return true } }}'
    http_expect_body_regex: 'host.vars.http_regex'
    http_uri: '{{ if(host.vars.http_uri) { return host.vars.http_uri } else { return "/" } }}'
    http_onredirect: 'follow'
    http_warn_time: 8
    http_critical_time: 15
    http_timeout: 30
    http_sni: true

Ова значи - ако има променлива во дефиницијата на домаќинот http_port — користете го, инаку 443. На пример, веб-интерфејсот jabber виси на 9090, а Unifi виси на 7443.
http_vhost значи игнорирајте го DNS и земете ја оваа адреса.
Ако ури е наведен во домаќинот, тогаш следете го, инаку земете „/“.

Излезе смешна приказна со http_ssl - оваа инфекција не сакаше да се исклучи на барање. Бев збунет околу оваа линија долго време додека не ми падна на памет дека променливата во дефиницијата на домаќинот е:

http_ssl: false

Заменет во изразување

if(host.vars.http_ssl) { return false } else { return true }

како лажни и на крајот испаѓа

if(false) { return false } else { return true }

односно проверката ssl е секогаш активна. Го решив со замена на синтаксата:

http_ssl: no

Наоди:

Позитивни:

• Сега имаме еден мониторинг систем, а не два, како што имавме последните 7-8 месеци, или еден кој е застарен и ранлив.
• Структурата на податоци за домаќини/услуги (проверки) сега е (според мое мислење) многу почитлива и разбирлива. За други, ова се покажа дека не е толку очигледно, па морав да објавам неколку страници на локалното вики за да објаснам како функционира сето тоа и што да уредувам каде.
• Можно е флексибилно да се конфигурираат проверките користејќи променливи и функции, на пример, да се провери http_regexp, саканиот образец, кодот за враќање, URL-то и портата може да се постават во поставките на домаќинот.
• Постојат неколку контролни табли, за секоја од нив можете да дефинирате своја сопствена листа на прикажани аларми и да управувате со сето тоа преку кукли и барања за спојување.

Конс:

• Инерција на членовите на тимот - Нагиос работеше, работеше и работеше, а оваа твоја Исинга е постојано кабриолет и бавна. Како можете да ја видите историјата овде? О, по ѓаволите, не е ажуриран... (Вистинскиот проблем е што историјата на алармот не се ажурира автоматски, само со F5)
• Инерцијата на системот - кога ќе кликнам на „ажурирај“ (проверете сега) во веб-интерфејсот - резултатот од извршувањето зависи од времето на Марс, особено од сложените услуги за кои се потребни десетици секунди за извршување. Таков резултат е нормален.
• Генерално, според шестмесечната статистика за работата на двата система рамо до рамо, Нагиос секогаш работеше побрзо од Ицинга и тоа навистина ме нервираше. Ми се чини дека збркале нешто со тајмерите и проверката се прави на секои пет минути, всушност тоа се случува на секои 5:30 или нешто слично.
• Ако ја рестартирате услугата во секое време (systemctl рестартирајте icinga2) - сите проверки што беа во тек во тој момент ќе генерираат критичен аларм на екранот и однадвор изгледа како сè да паднало (потврдена грешка).

Но, генерално, тоа функционира.

Извор: www.habr.com