호주 Nagios에서 Icinga2로 마이그레이션

안녕 모두

저는 Linux 시스템 관리자이고 2015년에 독립 전문 비자로 러시아에서 호주로 이주했지만 이 기사에서는 돼지용 트랙터를 시동하는 방법에 대해서는 다루지 않을 것입니다. 그러한 기사는 이미 충분합니다(그럼에도 불구하고 관심이 있다면 이것에 대해서도 쓸 것입니다). 따라서 호주에서 Linux-ops 엔지니어로 일하면서 단일 시스템 모니터링에서 마이그레이션을 시작한 방법에 대해 이야기하고 싶습니다. 다른 사람에게. 구체적으로 - Nagios => Icinga2.

이 기사는 부분적으로 기술적이고 부분적으로 사람들과의 의사소통과 문화 및 작업 방식의 차이와 관련된 문제에 관한 것입니다.

불행히도 "code" 태그는 Puppet 및 yaml 코드를 강조 표시하지 않으므로 "plaintext"를 사용해야 했습니다.

21년 2016월 XNUMX일 오전에는 아무런 문제의 징후가 없었습니다. 늘 그렇듯이 근무일 첫 XNUMX분 동안 커피를 마시며 등록되지 않은 익명의 사용자가 Habr을 읽고 있었는데 우연히 발견했습니다. 이 문서.

우리 회사는 Nagios를 사용했기 때문에 두 번 생각하지 않고 Redmine에서 티켓을 생성하고 중요하다고 생각하여 일반 채팅 링크를 보냈습니다. 이 이니셔티브는 호주에서도 처벌 가능하므로 수석 엔지니어는 제가 문제를 발견한 이후로 저에게 문제를 지적했습니다.

Redmine의 스크린샷

우리 부서에서는 귀하의 의견을 표현하기 전에 선택이 분명하더라도 적어도 하나의 대안을 제공하는 것이 관례입니다. 그래서 저는 마지막 직장인 러시아에서 현재 어떤 종류의 모니터링 시스템이 관련되어 있는지 인터넷 검색으로 시작했습니다. 매우 원시적인 자체 작성 시스템이 있었지만 그럼에도 불구하고 할당된 모든 작업을 꽤 잘 작동하고 수행했습니다. Python, St.Petersburg Polytechnic 및 지하철 규칙. 아니, 지하철은 짜증나. 이것은 개인적인 일이고(11년간의 작업) 별도의 기사를 쓸 가치가 있지만 지금은 아닙니다.

현재 위치에서 인프라 구성을 변경하는 규칙에 대해 조금 설명합니다. 우리는 Puppet, Gitlab 및 인프라를 코드 원칙으로 사용합니다.

• 가상 머신의 파일을 수동으로 변경하여 SSH를 통해 수동으로 변경할 수 없습니다. 10년 동안 일하면서 이렇게 모자를 여러 번 맞았는데, 마지막이 일주일 전이었는데 그게 마지막이 아닌 것 같아요. 음, 실제로 구성에서 한 줄을 수정하고 서비스를 다시 시작한 다음 문제가 해결되었는지 확인하세요. 10초 정도 소요됩니다. Gitlab에서 새 브랜치를 생성하고, 변경 사항을 푸시하고, r5k가 Puppetmaster에서 작동할 때까지 기다립니다. Puppet -environment=mybranch를 실행하고 모든 것이 작동할 때까지 몇 분 더 기다립니다(최소 XNUMX분).
• 모든 변경 사항은 Gitlab에서 병합 요청을 생성하여 이루어지며 최소한 한 명의 팀원의 승인을 받아야 합니다. 팀장이 결정한 주요 변경 사항은 XNUMX~XNUMX회의 승인이 필요합니다.
• 모든 변경 사항은 어떤 방식으로든 텍스트입니다(Puppet 매니페스트, 스크립트 및 Hiera 데이터는 텍스트이므로). 바이너리는 권장되지 않으며 이러한 파일을 승인해야 하는 설득력 있는 이유가 있어야 합니다.

그래서 제가 고려한 옵션은 다음과 같습니다.

• 무닌 - 인프라에 서버가 10개 이상 있으면 관리가 지옥으로 변합니다. 이 기사. 나는 이것을 확인하고 싶은 특별한 욕구가 없었기 때문에 그의 말을 그대로 받아들였습니다.)
• Zabbix - 러시아에 있을 때 오랫동안 살펴봤지만 내 작업에는 필요하지 않았습니다. 여기에서는 Puppet을 구성 관리자로 사용하고 Gitlab을 버전 제어 시스템으로 사용하기 때문에 폐기해야 했습니다. 당시 내가 아는 한 Zabbix는 전체 구성을 데이터베이스에 저장하므로 현재 상황에서 구성을 관리하는 방법과 변경 사항을 추적하는 방법이 명확하지 않았습니다.
• 프로메테우스는 부서 분위기에 따라 최종적으로 나올 것이지만 당시에는 마스터하지 못했고 실제로 작동하는 샘플(개념 증명)을 시연할 수 없었기 때문에 거부할 수밖에 없었습니다.
• 시스템의 완전한 재작업이 필요하거나 초기 단계에 있거나 포기되어 같은 이유로 거부된 몇 가지 다른 옵션도 있었습니다.

결국 저는 세 가지 이유로 Icinga2를 선택하게 되었습니다.

1 - Nrpe(Nagios에서 명령 확인을 실행하는 클라이언트 서비스)와의 호환성. 이는 매우 중요했습니다. 그 당시에는 맞춤 작성된 서비스/검사가 포함된 가상 머신이 135개(현재 2019년에는 165개) 있었고, 이를 모두 다시 실행하는 것은 정말 고통스러웠을 것이기 때문입니다.
2 - 모든 구성 파일은 텍스트이므로 이 사안을 쉽게 편집할 수 있고 추가 또는 삭제된 내용을 볼 수 있는 기능을 갖춘 병합 요청을 생성할 수 있습니다.
3은 살아있고 발전 중인 오픈소스 프로젝트입니다. 우리는 OpenSource를 매우 좋아하며 문제 해결을 위해 Pull Request 및 Issues를 생성하여 OpenSource에 가능한 모든 기여를 하고 있습니다.

그럼 가자, Icinga2.

제가 가장 먼저 직면해야 했던 것은 동료들의 관성이었습니다. 모두가 Nagios/Naggios(발음 방법에 대해서는 타협할 수 없었지만)와 CheckMK 인터페이스에 익숙합니다. icinga 인터페이스는 완전히 달라 보이지만(이것은 마이너스였습니다) 문자 그대로 모든 매개변수에 대해 필터를 사용하여 확인해야 하는 내용을 유연하게 사용자 정의할 수 있습니다(이것은 장점이었지만 많은 노력을 기울였습니다).

필터

스크롤 막대 크기와 스크롤 필드 크기의 비율을 추정합니다.

둘째, CheckMk를 사용하면 여러 Nagios 호스트와 작업할 수 있지만 Icinga 인터페이스에서는 이 작업을 수행할 수 없기 때문에 모든 사람이 하나의 모니터에서 전체 인프라를 보는 데 익숙합니다(실제로는 가능하지만 자세한 내용은 아래에서 설명). 대안은 Thruk라고 불리는 것이었지만 그 디자인은 그것을 제안한 사람(내가 아닌)을 제외하고 팀의 모든 사람들을 개그하게 만들었습니다.

Thruk 용광로 속으로 - 팀의 만장일치 결정

며칠간의 브레인스토밍 끝에 프로덕션 영역에 하나의 마스터 호스트가 있고 두 개의 슬레이브가 있는 클러스터 모니터링 아이디어를 제안했습니다. 하나는 개발/테스트에 있고 다른 하나는 다른 공급자에 위치하여 우리를 모니터링합니다. 고객이나 외부 관찰자의 관점에서 서비스를 제공합니다. 이 구성을 사용하면 하나의 웹 인터페이스에서 모든 문제를 볼 수 있었고 꽤 잘 작동했지만... Puppet의 문제는 이제 마스터 호스트가 시스템의 모든 호스트와 서비스/검사에 대해 알아야 하고 영역(dev-test, staging-prod, ext) 간에 배포하려면 Icinga API를 통해 변경 사항을 전송하는 데 몇 초가 걸리지만 모든 호스트에 대한 모든 서비스의 Puppet 디렉터리를 컴파일하는 데는 몇 분이 걸립니다. 모든 것이 어떻게 작동하고 왜 그렇게 오래 걸리는지 이미 여러 번 설명했지만 이것은 여전히 ​​​​나에게 비난을 받고 있습니다.

세 번째로, SnowFlakes가 많이 있습니다. 즉, 특별한 것이 있기 때문에 일반 시스템에서 눈에 띄는 것들이기 때문에 일반 규칙이 적용되지 않습니다. 정면 공격으로 문제가 해결되었습니다. 경보가 울렸지만 실제로는 모든 것이 정상이라면 더 깊이 파고들어 경보가 울리면 안 되지만 왜 경보가 울리는지 알아내야 합니다. 또는 그 반대의 경우 - 왜 Nagios는 당황하지만 Icinga는 당황하지 않습니까?

넷째, Nagios는 나보다 먼저 여기서 XNUMX년 동안 일했고 처음에는 내가 새로 도입한 힙스터 시스템보다 그에 대한 신뢰가 더 컸습니다. 그래서 Icinga가 패닉을 일으킬 때마다 Nagios가 같은 문제에 대해 흥분할 때까지 아무도 아무것도 하지 않았습니다. 그러나 Icinga가 Nagios 이전에 실제 경보를 생성한 경우는 매우 드물었고 저는 이것이 심각한 문제라고 생각합니다. 이에 대해서는 "결론" 섹션에서 설명하겠습니다.

그 결과 시운전이 5개월 이상 지연되었습니다(28년 2018월 3일 예정, 실제로는 2018년 XNUMX월 XNUMX일). 주로 "패리티 검사"로 인해 Nagios에 아무도 모르는 서비스가 여러 개 있을 때 발생하는 쓰레기입니다. 지난 몇 년간 아무것도 들어본 적이 없는데 지금 당장은 그 놈들이 아무 이유 없이 치명타를 줬고 난 왜 그 놈들이 내 패널에 없는지 설명해야 했고 Icinga에 추가해야 했죠. 완료"(Nagios의 모든 서비스/수표는 Icinga의 서비스/수표에 해당합니다)

구현:
첫 번째는 Puppet Style과 같은 코드 대 데이터 전쟁입니다. 모든 데이터, 절대적으로 모든 것이 Hiera에 있어야 하며 그 외에는 아무것도 없어야 합니다. 모든 코드는 .pp 파일에 있습니다. 변수, 추상화, 함수 - 모든 것이 pp에 들어갑니다.
결과적으로 SSL 인증서의 성능과 유효성을 모니터링해야 하는 가상 머신(작성 당시 165개)과 웹 애플리케이션 68개가 생겼습니다. 그러나 과거의 치질로 인해 애플리케이션 모니터링을 위한 정보는 별도의 gitlab 저장소에서 가져오고 데이터 형식은 Puppet 3 이후로 변경되지 않았으므로 구성이 더욱 복잡해졌습니다.

애플리케이션용 인형 코드, 눈을 보호하세요

define profiles::services::monitoring::docker_apps(
  Hash $app_list,
  Hash $apps_accessible_from,
  Hash $apps_access_list,
  Hash $webhost_defaults,
  Hash $webcheck_defaults,
  Hash $service_overrides,
  Hash $targets,
  Hash $app_checks,
  )
{
#### APPS ####
  $zone = $name
  $app_list.each | String $app_name, Hash $app_data |
  {

    $notify_group = { 'notify_group' => ($webcheck_defaults[$zone]['notify_group'] + pick($app_data['notify_group'], {} )) } # adds notifications for default group (systems) + any group defined in int/pm_docker_apps.eyaml

    $data = merge($webhost_defaults, $apps_accessible_from, $app_data)

    $site_domain = $app_data['site_domain']

    $regexp = pick($app_data['check_regex'], 'html')        # Pick a regex to check

    $check_url = $app_data['check_url'] ? {
      undef   => { 'http_uri' => '/' },
      default => { 'http_uri' => $app_data['check_url'] }
    }

    $check_regex = $regexp ?{
      'absent' => {},
      default  => {'http_expect_body_regex' => $regexp}
    }

    $site_domain.each | String $vhost, Hash $vdata | {        # Split an app by domains if there are two or more
      $vhost_name = {'http_vhost' => $vhost}

      $vars = $data['vars'] + $vhost_name + $check_regex + $check_url

      $web_ipaddress = is_array($vdata['web_ipaddress']) ? {  # Make IP-address an array if it's not, because askizzy has 2 ips and it's an array
        true  => $vdata['web_ipaddress'],
        false => [$vdata['web_ipaddress']],
      }

      $access_from_zones = [$zone] + $apps_access_list[$data['accessible_from']] # Merge default zone (where the app is defined) and extra zones if they exist
      $web_ipaddress.each | String $ip_address | {            # For each IP (if we have multiple)
        $suffix = length($web_ipaddress) ? {                  # If we have more than one - add IP as a suffix to this hostname to avoid duplicating resources
          1       => '',
          default => "_${ip_address}"
        }
        $octets = split($ip_address, '.')
        $ip_tag = "${octets[2]}.${octets[3]}" # Using last octet only causes a collision between nginx-vip 203.15.70.94 and ext. ip 49.255.194.94

        $access_from_zones.each | $zone_prefix |{
          $zone_target = $targets[$zone_prefix]

          $nginx_vip_name = "${zone_prefix}_nginx-vip-${ip_tag}" # If it's a host for ext - prefix becomes 'ext_' (ext_nginx-vip...)
          $nginx_host_vip = {
            $nginx_vip_name => {
              ensure        => present,
              target        => $zone_target,
              address       => $ip_address,
              check_command => 'hostalive',
              groups        => ['nginx_vip',],
            }
          }

          $ssl_vars = $app_checks['ssl']
          $regex_vars = $app_checks['http'] + $vars + $webcheck_defaults[$zone] + $notify_group

          if !defined( Profiles::Services::Monitoring::Host[$nginx_vip_name] ) {
          ensure_resources('profiles::services::monitoring::host', $nginx_host_vip)
          }

          if !defined( Icinga2::Object::Service["${nginx_vip_name}_ssl"] ) {
            icinga2::object::service {"${nginx_vip_name}_ssl":
              ensure         => $data['ensure'],
              assign         => ["host.name == $nginx_vip_name",],
              groups         => ['webchecks',],
              check_command  => 'ssl',
              check_interval => $service_overrides['ssl']['check_interval'],
              target         => $targets['services'],
              apply          => true,
              vars           => $ssl_vars
            }
          }
          if $regexp != 'absent'{
            if !defined(Icinga2::Object::Service["${vhost}${$suffix} regex"]){
              icinga2::object::service {"${vhost}${$suffix} regex":
                ensure          => $data['ensure'],
                assign          => ["match(*_nginx-vip-${ip_tag}, host.name)",],
                groups          => ['webchecks',],
                check_command   => 'http',
                check_interval  => $service_overrides['regex']['check_interval'],
                target          => $targets['services'],
                enable_flapping => true,
                apply           => true,
                vars            => $regex_vars
              }
            }
          }
        }
      }
    }
  }
}

호스트와 서비스의 구성 코드도 형편없어 보입니다.

모니터링/config.pp

class profiles::services::monitoring::config(
  Array $default_config,
  Array $hostgroups,
  Hash $hosts = {},
  Hash $host_defaults,
  Hash $services,
  Hash $service_defaults,
  Hash $service_overrides,
  Hash $webcheck_defaults,
  Hash $servicegroups,
  String $servicegroup_target,
  Hash $user_defaults,
  Hash $users,
  Hash $oncall,
  Hash $usergroup_defaults,
  Hash $usergroups,
  Hash $notifications,
  Hash $notification_defaults,
  Hash $notification_commands,
  Hash $timeperiods,
  Hash $webhost_defaults,
  Hash $apps_access_list,
  Hash $check_commands,
  Hash $hosts_api = {},
  Hash $targets = {},
  Hash $host_api_defaults = {},
)
{

  # Profiles::Services::Monitoring::Hostgroup <<| |>> # will be enabled when we move to icinga completely
#### APPS ####
  case $location {
    'int', 'ext': {
      $apps_by_zone = {}
    }
    'pm': {
      $int_apps         = hiera('int_docker_apps')
      $int_app_defaults = hiera('int_docker_app_common')

      $st_apps          = hiera('staging_docker_apps')
      $srs_apps         = hiera('pm_docker_apps_srs')
      $pm_apps          = hiera('pm_docker_apps') + $st_apps + $srs_apps
      $pm_app_defaults  = hiera('pm_docker_app_common')

      $apps_by_zone = {
        'int' => $int_apps,
        'pm'  => $pm_apps,
      }

      $app_access_by_zone = {
        'int' => {'accessible_from' => $int_app_defaults['accessible_from']},
        'pm'  => {'accessible_from' => $pm_app_defaults['accessible_from']},
      }
    }

    default: {
      fail('Please ensure the node has $location fact set (int, pm, ext)')
    }
  }

  file { '/etc/icinga2/conf.d/':
    ensure  => directory,
    recurse => true,
    purge   => true,
    owner   => 'icinga',
    group   => 'icinga',
    mode    => '0750',
    notify  => Service['icinga2'],
  }

  $default_config.each | String $file_name |{
    file {"/etc/icinga2/conf.d/${file_name}":
      ensure => present,
      source => "puppet:///modules/profiles/services/monitoring/default_config/${file_name}",
      owner  => 'icinga',
      group  => 'icinga',
      mode    => '0640',
    }
  }

  $app_checks = {
    'ssl' => $services['webchecks']['checks']['ssl']['vars'],
    'http' => $services['webchecks']['checks']['http_regexp']['vars']
  }

  $apps_by_zone.each | String $zone, Hash $app_list | {
    profiles::services::monitoring::docker_apps{$zone:
      app_list             => $app_list,
      apps_accessible_from => $app_access_by_zone[$zone],
      apps_access_list     => $apps_access_list,
      webhost_defaults     => $webhost_defaults,
      webcheck_defaults    => $webcheck_defaults,
      service_overrides    => $service_overrides,
      targets              => $targets,
      app_checks           => $app_checks,
    }
  }

####    HOSTS    ####

  # Profiles::Services::Monitoring::Host <<| |>> # This is for spaceship invasion when it's ready.
  $hosts_has_large_disks = query_nodes('mountpoints.*.size_bytes >= 1099511627776')

  $hosts.each | String $hostgroup, Hash $list_of_hosts_with_settings | {           # Splitting site lists by hostgroups - docker_host/gluster_host/etc
    $list_of_hosts_in_group = $list_of_hosts_with_settings['hosts']
    $hostgroup_settings     = $list_of_hosts_with_settings['settings']
    $merged_hostgroup_settings = deep_merge($host_defaults, $list_of_hosts_with_settings['settings'])
    $list_of_hosts_in_group.each | String $host_name, Hash $host_settings |{  # Splitting grouplists by hosts
      # Is this host in the array $hosts_has_large_disks ? If so set host.vars.has_large_disks
      if ( $hosts_has_large_disks.reduce(false) | $found, $value| { ( $value =~ "^${host_name}" ) or $found } ) {
        $vars_has_large_disks = { 'has_large_disks' => true }
      } else {
        $vars_has_large_disks = {}
      }
      $host_data = deep_merge($merged_hostgroup_settings, $host_settings)
      $hostgroup_settings_vars = pick($hostgroup_settings['vars'], {})
      $host_settings_vars = pick($host_settings['vars'], {})
      $host_notify_group = delete_undef_values($host_defaults['vars']['notify_group'] + $hostgroup_settings_vars['notify_group'] + $host_settings_vars['notify_group'])
      $host_data_vars = delete_undef_values(deep_merge($host_data['vars'] , {'notify_group' => $host_notify_group}, $vars_has_large_disks)) # Merging vars separately

      $hostgroups = delete_undef_values([$hostgroup] + $host_data['groups'])

      profiles::services::monitoring::host{$host_name:
        ensure             => $host_data['ensure'],
        display_name       => $host_data['display_name'],
        address            => $host_data['address'],
        groups             => $hostgroups,
        target             => $host_data['target'],
        check_command      => $host_data['check_command'],
        check_interval     => $host_data['check_interval'],
        max_check_attempts => $host_data['max_check_attempts'],
        vars               => $host_data_vars,
        template           => $host_data['template'],
      }
    }
  }
  if !empty($hosts_api){                                                                # All hosts managed by API
    $hosts_api.each | String $zone, Hash $hosts_api_zone | {                            # Split api hosts by zones
      $hosts_api_zone.each | String $hostgroup, Hash $list_of_hosts_with_settings | {   # Splitting site lists by hostgroups - docker_host/gluster_host/etc
        $list_of_hosts_in_group = $list_of_hosts_with_settings['hosts']
        $hostgroup_settings     = $list_of_hosts_with_settings['settings']
        $merged_hostgroup_settings = deep_merge($host_api_defaults, $list_of_hosts_with_settings['settings'])
        $list_of_hosts_in_group.each | String $host_name, Hash $host_settings |{        # Splitting grouplists by hosts
          # Is this host in the array $hosts_has_large_disks ? If so set host.vars.has_large_disks
          if ( $hosts_has_large_disks.reduce(false) | $found, $value| { ( $value =~ "^${host_name}" ) or $found } ) {
            $vars_has_large_disks = { 'has_large_disks' => true }
          } else {
            $vars_has_large_disks = {}
          }
          $host_data = deep_merge($merged_hostgroup_settings, $host_settings)
          $hostgroup_settings_vars = pick($hostgroup_settings['vars'], {})

          $host_settings_vars = pick($host_settings['vars'], {})
          $host_api_notify_group = delete_undef_values($host_defaults['vars']['notify_group'] + $hostgroup_settings_vars['notify_group'] + $host_settings_vars['notify_group'])
          $host_data_vars = delete_undef_values(deep_merge($host_data['vars'] , {'notify_group' => $host_api_notify_group}, $vars_has_large_disks))
          $hostgroups = delete_undef_values([$hostgroup] + $host_data['groups'])

          if defined(Profiles::Services::Monitoring::Host[$host_name]){
            $hostname = "${host_name}_from_${zone}"
          }
          else
          {
            $hostname = $host_name
          }
          profiles::services::monitoring::host{$hostname:
            ensure             => $host_data['ensure'],
            display_name       => $host_data['display_name'],
            address            => $host_data['address'],
            groups             => $hostgroups,
            target             => "${host_data['target_base']}/${zone}/hosts.conf",
            check_command      => $host_data['check_command'],
            check_interval     => $host_data['check_interval'],
            max_check_attempts => $host_data['max_check_attempts'],
            vars               => $host_data_vars,
            template           => $host_data['template'],
          }
        }
      }
    }
  }

#### END OF HOSTS ####

####   SERVICES   ####

  $services.each | String $service_group, Hash $s_list |{             # Service_group and list of services in that group
    $service_list = $s_list['checks']                                 # List of actual checks, separately from SG settings
    $service_list.each | String $service_name, Hash $data |{

      $merged_defaults = merge($service_defaults, $s_list['settings']) # global service defaults + service group defaults
      $merged_data = merge($merged_defaults, $data)

      $settings_vars = pick($s_list['settings']['vars'], {})
      $this_service_vars = pick($data['vars'], {})
      $all_service_vars = delete_undef_values($service_defaults['vars'] + $settings_vars + $this_service_vars)

      # If we override default check_timeout, but not nrpe_timeout, make nrpe_timeout the same as check_timeout
      if ( $merged_data['check_timeout'] and ! $this_service_vars['nrpe_timeout'] ) {
        # NB: Icinga will convert 1m to 60 automatically!
        $nrpe = { 'nrpe_timeout' => $merged_data['check_timeout'] }
      } else {
        $nrpe = {}
      }

      # By default we use nrpe and all commands are run via nrpe. So vars.nrpe_command = $service_name is a default value
      # If it's server-side Icinga command - we don't need 'nrpe_command'
      # but there is no harm to have that var and the code is shorter

      if $merged_data['check_command'] == 'nrpe'{
        $check_command = $merged_data['vars']['nrpe_command'] ? {
          undef   => { 'nrpe_command' => $service_name },
          default => { 'nrpe_command' => $merged_data['vars']['nrpe_command'] }
        }
      }else{
        $check_command = {}
      }

      # Assembling $vars from Global Default service settings, servicegroup settings, this particular check settings and let's not forget nrpe settings.
      if $all_service_vars['graphite_template'] {
        $graphite_template = {'check_command' => $all_service_vars['graphite_template']}
      }else{
        $graphite_template = {'check_command' => $service_name}
      }
      $service_notify = [] + pick($settings_vars['notify_group'], []) + pick($this_service_vars['notify_group'], []) # pick is required everywhere, otherwise becomes "The value '' cannot be converted to Numeric"

      $service_notify_group = $service_notify ? {
        []      => $service_defaults['vars']['notify_group'],
        default => $service_notify
      } # Assing default group (systems) if no other groups are defined

      $vars = $all_service_vars + $nrpe + $check_command + $graphite_template + {'notify_group' => $service_notify_group}

      # This needs to be merged separately, because merging it as part of MERGED_DATA overwrites arrays instead of merging them, so we lose some "assign" and "ignore" values

      $assign = delete_undef_values($service_defaults['assign'] + $s_list['settings']['assign'] + $data['assign'])
      $ignore = delete_undef_values($service_defaults['ignore'] + $s_list['settings']['ignore'] + $data['ignore'])

      icinga2::object::service {$service_name:
        ensure             => $merged_data['ensure'],
        apply              => $merged_data['apply'],
        enable_flapping    => $merged_data['enable_flapping'],
        assign             => $assign,
        ignore             => $ignore,
        groups             => [$service_group],
        check_command      => $merged_data['check_command'],
        check_interval     => $merged_data['check_interval'],
        check_timeout      => $merged_data['check_timeout'],
        check_period       => $merged_data['check_period'],
        display_name       => $merged_data['display_name'],
        event_command      => $merged_data['event_command'],
        retry_interval     => $merged_data['retry_interval'],
        max_check_attempts => $merged_data['max_check_attempts'],
        target             => $merged_data['target'],
        vars               => $vars,
        template           => $merged_data['template'],
      }
    }
  }
#### END OF SERVICES ####

#### OTHER BORING STUFF ####

  $servicegroups.each | $servicegroup, $description |{
    icinga2::object::servicegroup{ $servicegroup:
      target       => $servicegroup_target,
      display_name => $description
    }
  }

  $hostgroups.each| String $hostgroup |{
    profiles::services::monitoring::hostgroup { $hostgroup:}
  }

  $notifications.each | String $name, Hash $settings |{

    $assign = pick($notification_defaults['assign'], []) + $settings['assign']
    $ignore = pick($notification_defaults['ignore'], []) + $settings['ignore']

    $merged_settings = $settings + $notification_defaults

    icinga2::object::notification{$name:
      target       => $merged_settings['target'],
      apply        => $merged_settings['apply'],
      apply_target => $merged_settings['apply_target'],
      command      => $merged_settings['command'],
      interval     => $merged_settings['interval'],
      states       => $merged_settings['states'],
      types        => $merged_settings['types'],
      assign       => delete_undef_values($assign),
      ignore       => delete_undef_values($ignore),
      user_groups  => $merged_settings['user_groups'],
      period       => $merged_settings['period'],
      vars         => $merged_settings['vars'],
    }
  }

  # Merging notification settings for users with other settings
  $users_oncall = deep_merge($users, $oncall)
  # Magic. Do not touch.
  create_resources('icinga2::object::user', $users_oncall, $user_defaults)
  create_resources('icinga2::object::usergroup', $usergroups, $usergroup_defaults)
  create_resources('icinga2::object::timeperiod',$timeperiods)
  create_resources('icinga2::object::checkcommand', $check_commands)
  create_resources('icinga2::object::notificationcommand', $notification_commands)

  profiles::services::sudoers { 'icinga_runs_ping_l2':
    ensure            => present,
    sudoersd_template => 'profiles/os/redhat/centos7/sudoers/icinga.erb',
  }

}

나는 아직도 이 국수를 연구하고 최선을 다해 개선하고 있습니다. 그러나 Hiera에서 간단하고 이해하기 쉬운 구문을 사용할 수 있게 해주는 것은 바로 이 코드였습니다.

데이터

profiles::services::monitoring::config::services:
  perf_checks:
    settings:
      check_interval: '2m'
      assign:
        - 'host.vars.type == linux'
    checks:
      procs: {}
      load: {}
      memory: {}
      disk:
        check_interval: '5m'
        vars:
          notification_period: '24x7'
      disk_iops:
        vars:
          notifications:
            - 'silent'
      cpu:
        vars:
          notifications:
            - 'silent'
      dns_fqdn:
        check_interval: '15m'
        ignore:
          - 'xenserver in host.groups'
        vars:
          notifications:
            - 'silent'
      iftraffic_nrpe:
        vars:
          notifications:
            - 'silent'
  logging:
    settings:
      assign:
        - 'logserver in host.groups'
    checks:
       rsyslog: {}
      nginx_limit_req_other: {}
      nginx_limit_req_s2s: {}
      nginx_limit_req_s2x: {}
      nginx_limit_req_srs: {}
     logstash: {}
      logstash_api:
        vars:
          notifications:
            - 'silent'

모든 검사는 그룹으로 나누어지며, 각 그룹에는 검사를 실행할 위치와 빈도, 보낼 알림 및 대상과 같은 기본 설정이 있습니다.

각 검사에서 모든 옵션을 무시할 수 있으며 이 모든 것이 궁극적으로 모든 검사 전체의 기본 설정에 추가됩니다. 그렇기 때문에 이러한 말도 안되는 내용이 config.pp에 작성되었습니다. 모든 기본 설정을 그룹 설정과 병합한 다음 각 개별 검사와 병합합니다.

또 다른 매우 중요한 변경 사항은 설정에서 기능을 사용할 수 있는 기능이었습니다(예: http_regex를 확인하기 위해 포트, 주소 및 URL을 바꾸는 기능).

http_regexp:
  assign:
    - 'host.vars.http_regex'
    - 'static_sites in host.groups'
  check_command: 'http'
  check_interval: '1m'
  retry_interval: '20s'
  max_check_attempts: 6
  http_port: '{{ if(host.vars.http_port) { return host.vars.http_port } else { return 443 } }}'
  vars:
    notification_period: 'host.vars.notification_period'
    http_vhost: '{{ if(host.vars.http_vhost) { return host.vars.http_vhost } else { return host.name } }}'
    http_ssl: '{{ if(host.vars.http_ssl) { return false } else { return true } }}'
    http_expect_body_regex: 'host.vars.http_regex'
    http_uri: '{{ if(host.vars.http_uri) { return host.vars.http_uri } else { return "/" } }}'
    http_onredirect: 'follow'
    http_warn_time: 8
    http_critical_time: 15
    http_timeout: 30
    http_sni: true

이는 호스트 정의에 변수가 있는 경우를 의미합니다. http_port — 사용하지 않으면 443입니다. 예를 들어 jabber 웹 인터페이스는 9090에서 정지되고 Unifi는 7443에서 정지됩니다.
http_v호스트 DNS를 무시하고 이 주소를 사용한다는 의미입니다.
호스트에 URI가 지정되어 있으면 이를 따르고, 그렇지 않으면 "/"를 사용합니다.

http_ssl에 대한 재미있는 이야기가 나왔습니다. 이 감염은 요청 시 연결을 끊는 것을 원하지 않았습니다. 나는 호스트 정의의 변수가 다음과 같다는 사실을 깨닫기 전까지 오랫동안 이 줄에 대해 혼란스러워했습니다.

http_ssl: false

표현으로 대체

if(host.vars.http_ssl) { return false } else { return true }

как 그릇된 그리고 결국 그것은 밝혀졌습니다

if(false) { return false } else { return true }

즉, SSL 검사는 항상 활성화되어 있습니다. 구문을 바꿔서 문제를 해결했습니다.

http_ssl: no

조사 결과:

장점 :

• 이제 우리는 지난 7~8개월 동안 유지했던 두 개의 모니터링 시스템이나 구식이고 취약한 모니터링 시스템이 아닌 하나의 모니터링 시스템을 보유하게 되었습니다.
• 호스트/서비스(검사) 데이터 구조는 이제 (제 생각에는) 훨씬 더 읽기 쉽고 이해하기 쉽습니다. 다른 사람들에게는 이것이 그다지 명확하지 않은 것으로 판명되었으므로 모든 작동 방식과 편집 위치를 설명하기 위해 로컬 위키에 두 페이지를 게시해야 했습니다.
• 변수와 함수를 사용하여 검사를 유연하게 구성할 수 있습니다. 예를 들어 http_regexp를 확인하기 위해 원하는 패턴, 반환 코드, URL 및 포트를 호스트 설정에서 설정할 수 있습니다.
• 여러 대시보드가 ​​있으며 각 대시보드에 대해 표시되는 알람 목록을 정의하고 Puppet 및 병합 요청을 통해 이 모든 것을 관리할 수 있습니다.

단점 :

• 팀 구성원의 관성 - Nagios는 일하고 또 일하고 일했습니다. 이 Isinga는 끊임없이 버그가 많고 느립니다. 여기서 역사를 어떻게 볼 수 있나요? 아 젠장 ​​업데이트가 안되네요... (실제 문제는 알람 내역이 자동으로 업데이트되지 않고 F5로만 업데이트된다는 점입니다)
• 시스템의 관성 - 웹 인터페이스에서 "업데이트"(지금 확인)를 클릭하면 실행 결과는 화성의 날씨에 따라 달라지며, 특히 실행하는 데 수십 초가 필요한 복잡한 서비스의 경우 더욱 그렇습니다. 그러한 결과는 정상입니다.
• 일반적으로 두 시스템을 나란히 운영한 5개월 간의 통계에 따르면 Nagios는 항상 Icinga보다 더 빠르게 작업했으며 이로 인해 정말 짜증이 났습니다. 내가 보기엔 타이머에 뭔가 문제가 있는 것 같은데 확인은 30분마다 이루어지는데 실제로는 XNUMX시 XNUMX분마다 그런 일이 일어납니다.
• 언제든지 서비스를 다시 시작하면(systemctl restart icinga2) 해당 시점에 진행 중이던 모든 검사에서 심각한 경보가 생성됩니다. 화면에서도, 밖에서도 모든 것이 떨어진 것처럼 보이지만(확인된 버그).

그러나 전반적으로 작동합니다.

출처 : habr.com