🥇프레임워크와 SDK가 없는 Python의 Kubernetes 연산자

Go는 현재 사람들이 Kubernetes용 명령문을 작성하기 위해 선택하는 프로그래밍 언어를 독점하고 있습니다. 이에 대한 객관적인 이유는 다음과 같습니다.

Go에는 연산자 개발을 위한 강력한 프레임워크가 있습니다. 연산자 SDK.
Docker 및 Kubernetes와 같은 판도를 바꾸는 애플리케이션은 Go로 작성되었습니다. Go에서 연산자를 작성한다는 것은 생태계와 동일한 언어를 사용한다는 의미입니다.
즉시 사용 가능한 동시 작업을 위한 고성능 Go 애플리케이션과 간단한 도구입니다.

NB: 그런데 Go에서 자신만의 문장을 작성하는 방법을 알려드리겠습니다. 이미 설명됨 외국 작가들의 번역 중 하나에서.

하지만 시간이 부족하거나 간단히 말해서 동기가 부족하여 바둑을 배우지 못한다면 어떻게 될까요? 이 기사에서는 거의 모든 DevOps 엔지니어가 알고 있는 가장 널리 사용되는 언어 중 하나를 사용하여 좋은 문장을 작성하는 방법에 대한 예를 제공합니다. Python.

만나보세요: 복사기 - 복사기 운영자!

예를 들어, 새 네임스페이스가 나타날 때 또는 두 엔터티(ConfigMap 및 Secret) 중 하나가 변경될 때 ConfigMap을 복사하도록 설계된 간단한 문을 개발하는 것을 고려해 보세요. 실용적인 관점에서 연산자는 애플리케이션 구성을 대량으로 업데이트하거나(ConfigMap 업데이트를 통해) 비밀 데이터(예: Docker 레지스트리 작업을 위한 키(네임스페이스에 비밀을 추가하는 경우))를 업데이트하는 데 유용할 수 있습니다.

따라서, 좋은 운영자는 무엇을 가져야합니까?:

운영자와의 상호 작용은 다음을 사용하여 수행됩니다. 사용자 정의 리소스 정의 (이하 CRD라 칭함)
운영자를 구성할 수 있습니다. 이를 위해 명령줄 플래그와 환경 변수를 사용합니다.
Docker 컨테이너 및 Helm 차트의 빌드는 사용자가 쉽게(말 그대로 하나의 명령을 사용하여) 연산자를 Kubernetes 클러스터에 설치할 수 있도록 설계되었습니다.

CRD

운영자가 어떤 리소스를 찾아야 하는지, 어디를 찾아야 하는지 알기 위해서는 그에 대한 규칙을 설정해야 합니다. 각 규칙은 단일 CRD 개체로 표시됩니다. 이 CRD에는 어떤 필드가 있어야 합니까?

리소스 유형, 우리가 찾을 것입니다 (ConfigMap 또는 Secret).
네임스페이스 목록, 리소스가 위치해야 하는 위치입니다.
선택자, 네임스페이스에서 리소스를 검색합니다.

CRD를 설명해보자:

apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
  name: copyrator.flant.com
spec:
  group: flant.com
  versions:
  - name: v1
    served: true
    storage: true
  scope: Namespaced
  names:
    plural: copyrators
    singular: copyrator
    kind: CopyratorRule
    shortNames:
    - copyr
  validation:
    openAPIV3Schema:
      type: object
      properties:
        ruleType:
          type: string
        namespaces:
          type: array
          items:
            type: string
        selector:
          type: string

그러면 바로 만들어 보겠습니다. 간단한 규칙 — 이름이 있는 네임스페이스에서 검색합니다. default 다음과 같은 라벨이 있는 모든 ConfigMap copyrator: "true":

apiVersion: flant.com/v1
kind: CopyratorRule
metadata:
  name: main-rule
  labels:
    module: copyrator
ruleType: configmap
selector:
  copyrator: "true"
namespace: default

준비가 된! 이제 우리는 규칙에 대한 정보를 어떻게든 얻어야 합니다. 클러스터 API 서버에 직접 요청을 작성하지 않을 것임을 즉시 예약하겠습니다. 이를 위해 이미 만들어진 Python 라이브러리를 사용합니다. 쿠버네티스 클라이언트:

import kubernetes
from contextlib import suppress


CRD_GROUP = 'flant.com'
CRD_VERSION = 'v1'
CRD_PLURAL = 'copyrators'


def load_crd(namespace, name):
    client = kubernetes.client.ApiClient()
    custom_api = kubernetes.client.CustomObjectsApi(client)

    with suppress(kubernetes.client.api_client.ApiException):
        crd = custom_api.get_namespaced_custom_object(
            CRD_GROUP,
            CRD_VERSION,
            namespace,
            CRD_PLURAL,
            name,
        )
    return {x: crd[x] for x in ('ruleType', 'selector', 'namespace')}

이 코드를 실행한 결과 다음과 같은 결과를 얻습니다.

{'ruleType': 'configmap', 'selector': {'copyrator': 'true'}, 'namespace': ['default']}

훌륭합니다. 우리는 운영자에 대한 규칙을 얻었습니다. 그리고 가장 중요한 것은 우리가 Kubernetes 방식이라는 것을 수행했다는 것입니다.

환경 변수 또는 플래그? 우리는 모든 것을 가져갑니다!

주요 운영자 구성으로 넘어 갑시다. 애플리케이션을 구성하는 데는 두 가지 기본 접근 방식이 있습니다.

명령줄 옵션을 사용하십시오.
환경 변수를 사용하십시오.

명령줄 옵션을 사용하면 데이터 유형 지원 및 검증을 통해 설정을 보다 유연하게 읽을 수 있습니다. Python의 표준 라이브러리에는 모듈이 있습니다. argparser, 우리가 사용할 것입니다. 해당 기능에 대한 자세한 내용과 예는 다음에서 확인할 수 있습니다. 공식 문서.

우리의 경우 명령줄 플래그 읽기를 설정하는 예는 다음과 같습니다.

   parser = ArgumentParser(
        description='Copyrator - copy operator.',
        prog='copyrator'
    )
    parser.add_argument(
        '--namespace',
        type=str,
        default=getenv('NAMESPACE', 'default'),
        help='Operator Namespace'
    )
    parser.add_argument(
        '--rule-name',
        type=str,
        default=getenv('RULE_NAME', 'main-rule'),
        help='CRD Name'
    )
    args = parser.parse_args()

반면, 쿠버네티스에서는 환경 변수를 사용하면 포드에 대한 서비스 정보를 컨테이너 내부로 쉽게 전달할 수 있다. 예를 들어, 다음 구성을 사용하여 Pod가 실행 중인 네임스페이스에 대한 정보를 얻을 수 있습니다.

env:
- name: NAMESPACE
  valueFrom:
     fieldRef:
         fieldPath: metadata.namespace

연산자 논리

ConfigMap과 Secret을 사용하는 방법을 분리하는 방법을 이해하기 위해 특수 맵을 사용하겠습니다. 그러면 객체를 추적하고 생성하는 데 필요한 메서드가 무엇인지 이해할 수 있습니다.

LIST_TYPES_MAP = {
    'configmap': 'list_namespaced_config_map',
    'secret': 'list_namespaced_secret',
}

CREATE_TYPES_MAP = {
    'configmap': 'create_namespaced_config_map',
    'secret': 'create_namespaced_secret',
}

다음으로 API 서버로부터 이벤트를 수신해야 합니다. 다음과 같이 구현해보자:

def handle(specs):
    kubernetes.config.load_incluster_config()
    v1 = kubernetes.client.CoreV1Api()

    # Получаем метод для слежения за объектами
    method = getattr(v1, LIST_TYPES_MAP[specs['ruleType']])
    func = partial(method, specs['namespace'])

    w = kubernetes.watch.Watch()
    for event in w.stream(func, _request_timeout=60):
        handle_event(v1, specs, event)

이벤트를 수신한 후 이를 처리하는 기본 논리로 이동합니다.

# Типы событий, на которые будем реагировать
ALLOWED_EVENT_TYPES = {'ADDED', 'UPDATED'}


def handle_event(v1, specs, event):
    if event['type'] not in ALLOWED_EVENT_TYPES:
        return

    object_ = event['object']
    labels = object_['metadata'].get('labels', {})

    # Ищем совпадения по selector'у
    for key, value in specs['selector'].items():
        if labels.get(key) != value:
            return
    # Получаем активные namespace'ы
    namespaces = map(
        lambda x: x.metadata.name,
        filter(
            lambda x: x.status.phase == 'Active',
            v1.list_namespace().items
        )
    )
    for namespace in namespaces:
        # Очищаем метаданные, устанавливаем namespace
        object_['metadata'] = {
            'labels': object_['metadata']['labels'],
            'namespace': namespace,
            'name': object_['metadata']['name'],
        }
        # Вызываем метод создания/обновления объекта
        methodcaller(
            CREATE_TYPES_MAP[specs['ruleType']],
            namespace,
            object_
        )(v1)

주요 논리가 준비되었습니다! 이제 이 모든 것을 하나의 Python 패키지로 패키징해야 합니다. 파일을 준비합니다 setup.py, 거기에 프로젝트에 대한 메타 정보를 작성합니다.

from sys import version_info

from setuptools import find_packages, setup

if version_info[:2] < (3, 5):
    raise RuntimeError(
        'Unsupported python version %s.' % '.'.join(version_info)
    )


_NAME = 'copyrator'
setup(
    name=_NAME,
    version='0.0.1',
    packages=find_packages(),
    classifiers=[
        'Development Status :: 3 - Alpha',
        'Programming Language :: Python',
        'Programming Language :: Python :: 3',
        'Programming Language :: Python :: 3.5',
        'Programming Language :: Python :: 3.6',
        'Programming Language :: Python :: 3.7',
    ],
    author='Flant',
    author_email='[email protected]',
    include_package_data=True,
    install_requires=[
        'kubernetes==9.0.0',
    ],
    entry_points={
        'console_scripts': [
            '{0} = {0}.cli:main'.format(_NAME),
        ]
    }
)

NB: Python용 kubernetes 클라이언트에는 자체 버전이 있습니다. 클라이언트 버전과 Kubernetes 버전 간의 호환성에 대한 자세한 내용은 다음에서 확인할 수 있습니다. 호환성 매트릭스.

이제 우리 프로젝트는 다음과 같습니다:

copyrator
├── copyrator
│   ├── cli.py # Логика работы с командной строкой
│   ├── constant.py # Константы, которые мы приводили выше
│   ├── load_crd.py # Логика загрузки CRD
│   └── operator.py # Основная логика работы оператора
└── setup.py # Оформление пакета

도커와 헬름

Dockerfile은 놀라울 정도로 간단합니다. 기본 python-alpine 이미지를 가져와 패키지를 설치합니다. 더 나은 때까지 최적화를 연기해 보겠습니다.

FROM python:3.7.3-alpine3.9

ADD . /app

RUN pip3 install /app

ENTRYPOINT ["copyrator"]

운영자를 위한 배포도 매우 간단합니다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ .Chart.Name }}
spec:
  selector:
    matchLabels:
      name: {{ .Chart.Name }}
  template:
    metadata:
      labels:
        name: {{ .Chart.Name }}
    spec:
      containers:
      - name: {{ .Chart.Name }}
        image: privaterepo.yourcompany.com/copyrator:latest
        imagePullPolicy: Always
        args: ["--rule-type", "main-rule"]
        env:
        - name: NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
      serviceAccountName: {{ .Chart.Name }}-acc

마지막으로 필요한 권한이 있는 운영자에 대한 적절한 역할을 생성해야 합니다.

apiVersion: v1
kind: ServiceAccount
metadata:
  name: {{ .Chart.Name }}-acc

---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRole
metadata:
  name: {{ .Chart.Name }}
rules:
  - apiGroups: [""]
    resources: ["namespaces"]
    verbs: ["get", "watch", "list"]
  - apiGroups: [""]
    resources: ["secrets", "configmaps"]
    verbs: ["*"]
---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: {{ .Chart.Name }}
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: {{ .Chart.Name }}
subjects:
- kind: ServiceAccount
  name: {{ .Chart.Name }}

합계

그래서 우리는 두려움이나 비난, Go를 배우지 않고도 Python에서 Kubernetes용 연산자를 자체적으로 구축할 수 있었습니다. 물론, 여전히 성장할 여지가 있습니다. 미래에는 여러 규칙을 처리하고, 여러 스레드에서 작업하고, CRD의 변경 사항을 독립적으로 모니터링할 수 있을 것입니다.

코드를 자세히 살펴보기 위해 코드를 다음과 같이 넣었습니다. 공개 저장소. Python을 사용하여 구현된 더 심각한 연산자의 예를 원한다면 mongodb 배포를 위한 두 연산자에 주의를 돌릴 수 있습니다(первый и 초).

추신: Kubernetes 이벤트를 처리하기에는 너무 게으르거나 Bash 사용에 더 익숙해진 경우, 우리 동료들이 다음 형식으로 기성 솔루션을 준비했습니다. 쉘 연산자 (우리 발표 XNUMX월에요).

PPS

블로그에서도 읽어보세요.

출처 : habr.com

프레임워크와 SDK가 없는 Python의 Kubernetes Operator

만나보세요: 복사기 - 복사기 운영자!

CRD

환경 변수 또는 플래그? 우리는 모든 것을 가져갑니다!

연산자 논리

도커와 헬름

합계

PPS

코멘트를 추가 답장을 취소