Kubernetes 내부 및 외부의 프로젝트 구성

나는 최근에 썼다 Docker의 프로젝트 수명 및 외부 코드 디버깅에 대한 답변, 그는 서비스가 Kuber에서 잘 작동하고, 비밀을 가져오고, Docker 외부에서도 로컬로 편리하게 실행되도록 자신만의 구성 시스템을 만들 수 있다고 간략하게 언급했습니다. 복잡한 것은 없지만 설명된 "레시피"는 누군가에게 유용할 수 있습니다 :) 코드는 Python으로 되어 있지만 논리는 언어에 묶여 있지 않습니다.

질문의 배경은 다음과 같습니다. 옛날에 하나의 프로젝트가 있었는데 처음에는 유틸리티와 스크립트가 포함된 작은 단일체였지만 시간이 지남에 따라 성장하여 서비스로 나뉘고 다시 마이크로서비스로 나뉘기 시작했습니다. 그런 다음 확장되었습니다. 처음에 이 모든 작업은 Ansible을 사용하여 자동화된 코드 설정 및 배포 프로세스인 베어 VPS에서 수행되었으며, 각 서비스는 필요한 설정과 키가 포함된 YAML 구성으로 컴파일되었으며 유사한 구성 파일이 사용되었습니다. 로컬 실행은 매우 편리했습니다. .k 이 구성은 프로젝트의 어느 곳에서나 액세스할 수 있는 전역 개체에 로드되기 때문입니다.

그러나 마이크로서비스의 수, 연결 및 연결이 증가하고 있습니다. 중앙 집중식 로깅 및 모니터링의 필요성, Kuber로의 이전을 예고했으며 아직 진행 중입니다. 언급된 문제를 해결하기 위한 지원과 함께 Kubernetes는 다음을 포함하여 인프라 관리에 대한 접근 방식을 제공합니다. 소위 비밀 и 그들과 함께 일하는 방법. 이 메커니즘은 표준적이고 신뢰할 수 있으므로 사용하지 않는 것은 문자 그대로 죄악입니다! 그러나 동시에 구성 작업을 위해 현재 형식을 유지하고 싶습니다. 첫째, 프로젝트의 다양한 마이크로서비스에서 균일하게 사용하고, 둘째, 간단한 하나를 사용하여 로컬 컴퓨터에서 코드를 실행할 수 있습니다. 구성 파일.

이와 관련하여 구성 개체를 구성하는 메커니즘은 클래식 구성 파일과 Kuber의 비밀 정보 모두에서 작동할 수 있도록 수정되었습니다. 세 번째 Python의 언어에서는 다음과 같이 보다 엄격한 구성 구조도 지정되었습니다.

사전[str, 사전[str, Union[str, int, float]]]

즉, 최종 cogfig는 명명된 섹션이 있는 사전이며, 각 섹션은 단순 유형의 값이 포함된 사전입니다. 섹션에서는 특정 유형의 리소스에 대한 구성 및 액세스를 설명합니다. 구성의 일부 예:

adminka:
  django_secret: "ExtraLongAndHardCode"

db_main:
  engine: mysql
  host: 256.128.64.32
  user: cool_user
  password: "SuperHardPassword"

redis:
  host: 256.128.64.32
  pw: "SuperHardPassword"
  port: 26379

smtp:
  server: smtp.gmail.com
  port: 465
  email: [email protected]
  pw: "SuperHardPassword"

이와 동시에 해당 분야 engine 데이터베이스는 SQLite에 설치할 수 있으며 redis 로 설정 mock, 저장할 파일 이름도 지정 - 이러한 매개변수는 올바르게 인식되고 처리되므로 디버깅, 단위 테스트 및 기타 요구 사항을 위해 로컬에서 코드를 쉽게 실행할 수 있습니다. 이는 다른 많은 요구 사항이 있기 때문에 우리에게 특히 중요합니다. 우리 코드의 일부는 다양한 분석 계산을 위한 것이며 오케스트레이션이 있는 서버뿐만 아니라 다양한 스크립트와 함께 작업해야 하는 분석가의 컴퓨터에서도 실행됩니다. 백엔드 문제를 걱정하지 않고 복잡한 데이터 처리 파이프라인을 디버깅합니다. 그건 그렇고, 구성 레이아웃 코드를 포함한 주요 도구가 다음을 통해 설치된다는 사실을 공유하는 것이 나쁠 것은 없습니다. setup.py – 이를 통해 플랫폼 및 사용 방법에 관계없이 코드를 단일 생태계로 통합합니다.

Kubernetes 포드에 대한 설명은 다음과 같습니다.

containers:
  - name : enter-api
    image: enter-api:latest
    ports:
      - containerPort: 80
    volumeMounts:
      - name: db-main-secret-volume
        mountPath: /etc/secrets/db-main

volumes:
  - name: db-main-secret-volume
    secret:
      secretName: db-main-secret

즉, 각 비밀은 하나의 섹션을 설명합니다. 비밀 자체는 다음과 같이 생성됩니다.

apiVersion: v1
kind: Secret
metadata:
  name: db-main-secret
type: Opaque
stringData:
  db_main.yaml: |
    engine: sqlite
    filename: main.sqlite3

이로 인해 경로를 따라 YAML 파일이 생성됩니다. /etc/secrets/db-main/section_name.yaml

로컬 실행의 경우 프로젝트의 루트 디렉터리나 환경 변수에 지정된 경로에 있는 구성이 사용됩니다. 이러한 편의를 담당하는 코드는 스포일러에서 확인할 수 있습니다.

config.py

__author__ = 'AivanF'
__copyright__ = 'Copyright 2020, AivanF'

import os
import yaml

__all__ = ['config']
PROJECT_DIR = os.path.abspath(__file__ + 3 * '/..')
SECRETS_DIR = '/etc/secrets'
KEY_LOG = '_config_log'
KEY_DBG = 'debug'

def is_yes(value):
    if isinstance(value, str):
        value = value.lower()
        if value in ('1', 'on', 'yes', 'true'):
            return True
    else:
        if value in (1, True):
            return True
    return False

def update_config_part(config, key, data):
    if key not in config:
        config[key] = data
    else:
        config[key].update(data)

def parse_big_config(config, filename):
    '''
    Parse YAML config with multiple section
    '''
    if not os.path.isfile(filename):
        return False
    with open(filename) as f:
        config_new = yaml.safe_load(f.read())
        for key, data in config_new.items():
            update_config_part(config, key, data)
        config[KEY_LOG].append(filename)
        return True

def parse_tiny_config(config, key, filename):
    '''
    Parse YAML config with a single section
    '''
    with open(filename) as f:
        config_tiny = yaml.safe_load(f.read())
        update_config_part(config, key, config_tiny)
        config[KEY_LOG].append(filename)

def combine_config():
    config = {
        # To debug config load code
        KEY_LOG: [],
        # To debug other code
        KEY_DBG: is_yes(os.environ.get('DEBUG')),
    }
    # For simple local runs
    CONFIG_SIMPLE = os.path.join(PROJECT_DIR, 'config.yaml')
    parse_big_config(config, CONFIG_SIMPLE)
    # For container's tests
    CONFIG_ENVVAR = os.environ.get('CONFIG')
    if CONFIG_ENVVAR is not None:
        if not parse_big_config(config, CONFIG_ENVVAR):
            raise ValueError(
                f'No config file from EnvVar:n'
                f'{CONFIG_ENVVAR}'
            )
    # For K8s secrets
    for path, dirs, files in os.walk(SECRETS_DIR):
        depth = path[len(SECRETS_DIR):].count(os.sep)
        if depth > 1:
            continue
        for file in files:
            if file.endswith('.yaml'):
                filename = os.path.join(path, file)
                key = file.rsplit('.', 1)[0]
                parse_tiny_config(config, key, filename)
    return config

def build_config():
    config = combine_config()
    # Preprocess
    for key, data in config.items():
        if key.startswith('db_'):
            if data['engine'] == 'sqlite':
                data['filename'] = os.path.join(PROJECT_DIR, data['filename'])
    # To verify correctness
    if config[KEY_DBG]:
        print(f'** Loaded config:n{yaml.dump(config)}')
    else:
        print(f'** Loaded config from: {config[KEY_LOG]}')
    return config

config = build_config()

여기서의 논리는 매우 간단합니다. 프로젝트 디렉터리의 대규모 구성과 환경 변수별 경로, Kuber 비밀의 작은 구성 섹션을 결합한 다음 약간 전처리합니다. 게다가 몇 가지 변수도 있습니다. 비밀에서 파일을 검색할 때 K8s는 비밀 자체가 저장되는 각 비밀에 숨겨진 폴더를 생성하고 링크만 더 높은 수준에 위치하기 때문에 깊이 제한이 사용됩니다.

설명된 내용이 누군가에게 유용할 수 있기를 바랍니다. 보안이나 기타 개선 분야에 관한 모든 의견과 권장 사항을 수용합니다. 커뮤니티의 의견도 흥미롭습니다. ConfigMaps에 대한 지원을 추가하고(우리 프로젝트에서는 아직 사용하지 않음) GitHub/PyPI에 코드를 게시하는 것이 가치가 있을까요? 개인적으로 저는 그러한 것들이 프로젝트가 보편적이기에는 너무 개별적이라고 생각하며 여기에 제공된 것과 같은 다른 사람들의 구현을 조금 엿보고 의견에서 보고 싶은 뉘앙스, 팁 및 모범 사례에 대한 토론을 합니다. , 충분해요 😉

등록된 사용자만 설문 조사에 참여할 수 있습니다. 로그인제발

프로젝트/라이브러리로 게시해야 합니까?

• 0,0%예, /contribution0을 사용하겠습니다.

• 33,3%네, 정말 좋은 것 같아요4

• 41,7%아니요, 자신만의 형식과 요구 사항에 맞게 직접 수행해야 하는 사람5

• 25,0%답변을 자제하겠습니다 3

12명의 사용자가 투표했습니다. 3명의 사용자가 기권했습니다.

출처 : habr.com