ফ্রেমওয়ার্ক এবং SDK ছাড়া পাইথনে Kubernetes অপারেটর

Go বর্তমানে প্রোগ্রামিং ভাষার উপর একচেটিয়া অধিকার রয়েছে যা লোকেরা কুবারনেটসের জন্য বিবৃতি লিখতে বেছে নেয়। এর জন্য উদ্দেশ্যমূলক কারণ রয়েছে, যেমন:

1. Go-তে অপারেটরদের বিকাশের জন্য একটি শক্তিশালী কাঠামো রয়েছে - অপারেটর SDK.
2. Docker এবং Kubernetes এর মত গেম পরিবর্তনকারী অ্যাপ্লিকেশনগুলি Go-তে লেখা আছে। Go-তে আপনার অপারেটর লেখা মানে ইকোসিস্টেমের সাথে একই ভাষায় কথা বলা।
3. Go অ্যাপ্লিকেশনের উচ্চ কর্মক্ষমতা এবং বাক্সের বাইরে একযোগে কাজ করার জন্য সহজ টুল।

NB: বাই দ্য ওয়ে, গো-তে আপনার নিজের বক্তব্য কীভাবে লিখবেন, আমরা ইতিমধ্যে বর্ণিত বিদেশী লেখক দ্বারা আমাদের অনুবাদ এক.

কিন্তু সময়ের অভাবে বা সহজভাবে বলতে গেলে, অনুপ্রেরণার কারণে যদি আপনি গো শেখা থেকে বিরত থাকেন? নিবন্ধটি একটি উদাহরণ প্রদান করে যে আপনি কীভাবে সবচেয়ে জনপ্রিয় ভাষাগুলির একটি ব্যবহার করে একটি ভাল বিবৃতি লিখতে পারেন যা প্রায় প্রতিটি DevOps প্রকৌশলী জানেন - পাইথন.

মিট: কপিয়ার - কপি অপারেটর!

একটি উদাহরণ হিসাবে, একটি সাধারণ বিবৃতি তৈরি করার কথা বিবেচনা করুন যা একটি কনফিগম্যাপ অনুলিপি করার জন্য ডিজাইন করা হয়েছে যখন একটি নতুন নামস্থান উপস্থিত হয় বা যখন দুটি সত্তার মধ্যে একটি পরিবর্তন হয়: কনফিগম্যাপ এবং সিক্রেট৷ ব্যবহারিক দৃষ্টিকোণ থেকে, অপারেটর অ্যাপ্লিকেশন কনফিগারেশনের বাল্ক আপডেট করার জন্য (কনফিগম্যাপ আপডেট করে) বা গোপন ডেটা আপডেট করার জন্য দরকারী হতে পারে - উদাহরণস্বরূপ, ডকার রেজিস্ট্রির সাথে কাজ করার জন্য কী (নেমস্পেসে সিক্রেট যোগ করার সময়)।

এবং তাই, একটি ভাল অপারেটর কি থাকা উচিত:

1. অপারেটরের সাথে মিথস্ক্রিয়া ব্যবহার করে বাহিত হয় কাস্টম সম্পদ সংজ্ঞা (এখন থেকে CRD হিসাবে উল্লেখ করা হয়েছে)।
2. অপারেটর কনফিগার করা যেতে পারে. এটি করার জন্য, আমরা কমান্ড লাইন পতাকা এবং পরিবেশ ভেরিয়েবল ব্যবহার করব।
3. ডকার কন্টেইনার এবং হেলম চার্টের বিল্ডটি এমনভাবে ডিজাইন করা হয়েছে যাতে ব্যবহারকারীরা সহজেই (আক্ষরিক অর্থে একটি কমান্ড দিয়ে) অপারেটরটিকে তাদের কুবারনেটস ক্লাস্টারে ইনস্টল করতে পারে।

CRD

অপারেটরের জন্য কোন সংস্থানগুলি সন্ধান করতে হবে এবং কোথায় দেখতে হবে তা জানার জন্য, আমাদের তার জন্য একটি নিয়ম সেট করতে হবে। প্রতিটি নিয়ম একটি একক CRD অবজেক্ট হিসাবে উপস্থাপন করা হবে। এই CRD কি ক্ষেত্র থাকা উচিত?

1. সম্পদের ধরন, যা আমরা খুঁজব (কনফিগম্যাপ বা সিক্রেট)।
2. নামস্থানের তালিকা, যার মধ্যে সম্পদ থাকা উচিত।
3. নির্বাচক, যার দ্বারা আমরা নামস্থানে সংস্থানগুলি অনুসন্ধান করব।

আসুন CRD বর্ণনা করি:

apiVersion: apiextensions.k8s.io/v1beta1
kind: CustomResourceDefinition
metadata:
  name: copyrator.flant.com
spec:
  group: flant.com
  versions:
  - name: v1
    served: true
    storage: true
  scope: Namespaced
  names:
    plural: copyrators
    singular: copyrator
    kind: CopyratorRule
    shortNames:
    - copyr
  validation:
    openAPIV3Schema:
      type: object
      properties:
        ruleType:
          type: string
        namespaces:
          type: array
          items:
            type: string
        selector:
          type: string

এবং আমরা এখনই এটি তৈরি করব সহজ নিয়ম — নাম সহ নামস্থানে অনুসন্ধান করতে default লেবেল সহ সমস্ত কনফিগম্যাপ copyrator: "true":

apiVersion: flant.com/v1
kind: CopyratorRule
metadata:
  name: main-rule
  labels:
    module: copyrator
ruleType: configmap
selector:
  copyrator: "true"
namespace: default

প্রস্তুত! এখন আমাদের কোনভাবে আমাদের নিয়ম সম্পর্কে তথ্য পেতে হবে। আমাকে এখনই একটি রিজার্ভেশন করতে দিন যে আমরা নিজেরাই ক্লাস্টার API সার্ভারে অনুরোধ লিখব না। এটি করার জন্য, আমরা একটি রেডিমেড পাইথন লাইব্রেরি ব্যবহার করব kubernetes-ক্লায়েন্ট:

import kubernetes
from contextlib import suppress


CRD_GROUP = 'flant.com'
CRD_VERSION = 'v1'
CRD_PLURAL = 'copyrators'


def load_crd(namespace, name):
    client = kubernetes.client.ApiClient()
    custom_api = kubernetes.client.CustomObjectsApi(client)

    with suppress(kubernetes.client.api_client.ApiException):
        crd = custom_api.get_namespaced_custom_object(
            CRD_GROUP,
            CRD_VERSION,
            namespace,
            CRD_PLURAL,
            name,
        )
    return {x: crd[x] for x in ('ruleType', 'selector', 'namespace')}

এই কোডটি চালানোর ফলে, আমরা নিম্নলিখিতগুলি পাই:

{'ruleType': 'configmap', 'selector': {'copyrator': 'true'}, 'namespace': ['default']}

দুর্দান্ত: আমরা অপারেটরের জন্য একটি নিয়ম পেতে পেরেছি। এবং সবচেয়ে গুরুত্বপূর্ণ, আমরা কুবারনেটস উপায় বলেছি।

পরিবেশ পরিবর্তনশীল বা পতাকা? আমরা সব নিতে!

মূল অপারেটর কনফিগারেশনে যাওয়া যাক। অ্যাপ্লিকেশন কনফিগার করার জন্য দুটি মৌলিক পদ্ধতি আছে:

1. কমান্ড লাইন বিকল্প ব্যবহার করুন;
2. পরিবেশ ভেরিয়েবল ব্যবহার করুন।

কমান্ড লাইন বিকল্পগুলি আপনাকে ডেটা টাইপ সমর্থন এবং বৈধতা সহ আরও নমনীয়ভাবে সেটিংস পড়তে দেয়। পাইথনের স্ট্যান্ডার্ড লাইব্রেরিতে একটি মডিউল রয়েছে argparser, যা আমরা ব্যবহার করব। এর ক্ষমতার বিবরণ এবং উদাহরণ পাওয়া যায় অফিসিয়াল ডকুমেন্টেশন.

আমাদের ক্ষেত্রে, কমান্ড লাইন পতাকা পড়ার একটি উদাহরণ এটি দেখতে কেমন হবে:

   parser = ArgumentParser(
        description='Copyrator - copy operator.',
        prog='copyrator'
    )
    parser.add_argument(
        '--namespace',
        type=str,
        default=getenv('NAMESPACE', 'default'),
        help='Operator Namespace'
    )
    parser.add_argument(
        '--rule-name',
        type=str,
        default=getenv('RULE_NAME', 'main-rule'),
        help='CRD Name'
    )
    args = parser.parse_args()

অন্যদিকে, Kubernetes-এ এনভায়রনমেন্ট ভেরিয়েবল ব্যবহার করে, আপনি সহজেই কন্টেইনারের ভিতরে পড সম্পর্কে পরিষেবা তথ্য স্থানান্তর করতে পারেন। উদাহরণস্বরূপ, আমরা নিম্নলিখিত নির্মাণের সাথে যে নামস্থানে পড চলছে সে সম্পর্কে তথ্য পেতে পারি:

env:
- name: NAMESPACE
  valueFrom:
     fieldRef:
         fieldPath: metadata.namespace 

অপারেটর যুক্তি

কনফিগম্যাপ এবং সিক্রেটের সাথে কাজ করার পদ্ধতিগুলি কীভাবে আলাদা করা যায় তা বোঝার জন্য, আমরা বিশেষ মানচিত্র ব্যবহার করব। তারপরে আমরা বুঝতে পারি যে বস্তুটি ট্র্যাক করতে এবং তৈরি করতে আমাদের কী কী পদ্ধতি দরকার:

LIST_TYPES_MAP = {
    'configmap': 'list_namespaced_config_map',
    'secret': 'list_namespaced_secret',
}

CREATE_TYPES_MAP = {
    'configmap': 'create_namespaced_config_map',
    'secret': 'create_namespaced_secret',
}

এর পরে, আপনাকে API সার্ভার থেকে ইভেন্টগুলি গ্রহণ করতে হবে। আসুন এটি নিম্নরূপ বাস্তবায়ন করি:

def handle(specs):
    kubernetes.config.load_incluster_config()
    v1 = kubernetes.client.CoreV1Api()

    # Получаем метод для слежения за объектами
    method = getattr(v1, LIST_TYPES_MAP[specs['ruleType']])
    func = partial(method, specs['namespace'])

    w = kubernetes.watch.Watch()
    for event in w.stream(func, _request_timeout=60):
        handle_event(v1, specs, event)

ইভেন্টটি পাওয়ার পরে, আমরা এটি প্রক্রিয়াকরণের মূল যুক্তিতে চলে যাই:

# Типы событий, на которые будем реагировать
ALLOWED_EVENT_TYPES = {'ADDED', 'UPDATED'}


def handle_event(v1, specs, event):
    if event['type'] not in ALLOWED_EVENT_TYPES:
        return

    object_ = event['object']
    labels = object_['metadata'].get('labels', {})

    # Ищем совпадения по selector'у
    for key, value in specs['selector'].items():
        if labels.get(key) != value:
            return
    # Получаем активные namespace'ы
    namespaces = map(
        lambda x: x.metadata.name,
        filter(
            lambda x: x.status.phase == 'Active',
            v1.list_namespace().items
        )
    )
    for namespace in namespaces:
        # Очищаем метаданные, устанавливаем namespace
        object_['metadata'] = {
            'labels': object_['metadata']['labels'],
            'namespace': namespace,
            'name': object_['metadata']['name'],
        }
        # Вызываем метод создания/обновления объекта
        methodcaller(
            CREATE_TYPES_MAP[specs['ruleType']],
            namespace,
            object_
        )(v1)

মূল যুক্তি প্রস্তুত! এখন আমাদের এই সমস্ত একটি পাইথন প্যাকেজে প্যাকেজ করতে হবে। আমরা ফাইল প্রস্তুত করি setup.py, সেখানে প্রকল্প সম্পর্কে মেটা তথ্য লিখুন:

from sys import version_info

from setuptools import find_packages, setup

if version_info[:2] < (3, 5):
    raise RuntimeError(
        'Unsupported python version %s.' % '.'.join(version_info)
    )


_NAME = 'copyrator'
setup(
    name=_NAME,
    version='0.0.1',
    packages=find_packages(),
    classifiers=[
        'Development Status :: 3 - Alpha',
        'Programming Language :: Python',
        'Programming Language :: Python :: 3',
        'Programming Language :: Python :: 3.5',
        'Programming Language :: Python :: 3.6',
        'Programming Language :: Python :: 3.7',
    ],
    author='Flant',
    author_email='[email protected]',
    include_package_data=True,
    install_requires=[
        'kubernetes==9.0.0',
    ],
    entry_points={
        'console_scripts': [
            '{0} = {0}.cli:main'.format(_NAME),
        ]
    }
)

NB: পাইথনের জন্য kubernetes ক্লায়েন্টের নিজস্ব সংস্করণ রয়েছে। ক্লায়েন্ট সংস্করণ এবং Kubernetes সংস্করণগুলির মধ্যে সামঞ্জস্য সম্পর্কে আরও তথ্য পাওয়া যাবে সামঞ্জস্যতা ম্যাট্রিক্স.

এখন আমাদের প্রকল্প এই মত দেখায়:

copyrator
├── copyrator
│   ├── cli.py # Логика работы с командной строкой
│   ├── constant.py # Константы, которые мы приводили выше
│   ├── load_crd.py # Логика загрузки CRD
│   └── operator.py # Основная логика работы оператора
└── setup.py # Оформление пакета

ডকার এবং হেলম

ডকারফাইলটি অবিশ্বাস্যভাবে সহজ হবে: বেস পাইথন-আল্পাইন ইমেজ নিন এবং আমাদের প্যাকেজ ইনস্টল করুন। এর অপ্টিমাইজেশানটি আরও ভাল সময় পর্যন্ত স্থগিত করা যাক:

FROM python:3.7.3-alpine3.9

ADD . /app

RUN pip3 install /app

ENTRYPOINT ["copyrator"]

অপারেটরের জন্য স্থাপনাও খুব সহজ:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: {{ .Chart.Name }}
spec:
  selector:
    matchLabels:
      name: {{ .Chart.Name }}
  template:
    metadata:
      labels:
        name: {{ .Chart.Name }}
    spec:
      containers:
      - name: {{ .Chart.Name }}
        image: privaterepo.yourcompany.com/copyrator:latest
        imagePullPolicy: Always
        args: ["--rule-type", "main-rule"]
        env:
        - name: NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
      serviceAccountName: {{ .Chart.Name }}-acc

অবশেষে, আপনাকে প্রয়োজনীয় অধিকার সহ অপারেটরের জন্য একটি উপযুক্ত ভূমিকা তৈরি করতে হবে:

apiVersion: v1
kind: ServiceAccount
metadata:
  name: {{ .Chart.Name }}-acc

---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRole
metadata:
  name: {{ .Chart.Name }}
rules:
  - apiGroups: [""]
    resources: ["namespaces"]
    verbs: ["get", "watch", "list"]
  - apiGroups: [""]
    resources: ["secrets", "configmaps"]
    verbs: ["*"]
---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: {{ .Chart.Name }}
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: {{ .Chart.Name }}
subjects:
- kind: ServiceAccount
  name: {{ .Chart.Name }}

ফলাফল

এভাবেই, ভয়, তিরস্কার বা Go শেখা ছাড়াই, আমরা পাইথনে Kubernetes-এর জন্য আমাদের নিজস্ব অপারেটর তৈরি করতে সক্ষম হয়েছি। অবশ্যই, এটির এখনও বাড়তে জায়গা রয়েছে: ভবিষ্যতে এটি একাধিক নিয়ম প্রক্রিয়া করতে সক্ষম হবে, একাধিক থ্রেডে কাজ করতে পারবে, স্বাধীনভাবে এর CRD-তে পরিবর্তনগুলি নিরীক্ষণ করতে পারবে...

আপনাকে কোডটি ঘনিষ্ঠভাবে দেখার জন্য, আমরা এটি রেখেছি পাবলিক ভান্ডার. আপনি যদি পাইথন ব্যবহার করে বাস্তবায়িত আরও গুরুতর অপারেটরগুলির উদাহরণ চান, আপনি মঙ্গোডবি স্থাপনের জন্য দুটি অপারেটরের দিকে আপনার মনোযোগ দিতে পারেন (первый и দ্বিতীয়টি).

PS এবং আপনি যদি কুবারনেটস ইভেন্টগুলি মোকাবেলা করতে খুব অলস হন বা আপনি ব্যাশ ব্যবহারে আরও অভ্যস্ত হন, আমাদের সহকর্মীরা ফর্মটিতে একটি প্রস্তুত সমাধান প্রস্তুত করেছেন শেল-অপারেটর (আমরা ঘোষণা এটি এপ্রিলে)।

PPS

আমাদের ব্লগেও পড়ুন:

• «একটি Kubernetes ক্লাস্টার প্রস্তুত করা কি সহজ এবং সুবিধাজনক? অ্যাডঅন-অপারেটর ঘোষণা করা হচ্ছে";
• «শেল-অপারেটর প্রবর্তন করা হচ্ছে: Kubernetes-এর জন্য অপারেটর তৈরি করা আরও সহজ হয়েছে";
• «Kubernetes সম্প্রসারণ এবং পরিপূরক (ওভারভিউ এবং ভিডিও রিপোর্ট)";
• «আমরা গোলং-এ Kubernetes-এর জন্য একটি অপারেটর লিখি";
• «কুবারনেটসের জন্য অপারেটর: রাষ্ট্রীয় অ্যাপ্লিকেশনগুলি কীভাবে চালাতে হয়».

উত্স: www.habr.com