MLOps - 요리책, 1장

안녕하세요 여러분! 저는 CROC의 CV 개발자입니다. 우리는 현재 3년 동안 CV 분야의 프로젝트를 진행해 왔습니다. 이 기간 동안 우리는 많은 일을 했습니다. 예를 들어, 운전하는 동안 술을 마시지 않고, 담배를 피우지 않고, 전화를 하지 않고, 길을 바라보고, 꿈이나 구름을 보지 않도록 운전자를 모니터링했습니다. ; 우리는 전용 차선에서 운전하고 여러 주차 공간을 차지하는 사람들을 기록했습니다. 근로자가 헬멧, 장갑 등을 착용했는지 확인합니다. 시설에 들어가고 싶어하는 직원을 식별했습니다. 우리는 우리가 할 수 있는 모든 것을 세었습니다.

내가 이 모든 것을 무엇을 위해 하고 있는 걸까요?

프로젝트를 실행하는 과정에서 우리는 부딪히고, 많은 충돌을 겪게 됩니다. 여러분이 이미 알고 있거나 앞으로 알게 될 문제들도 있습니다.

상황 모델링

ML과 관련된 활동을 하는 젊은 회사 N에 취직했다고 가정해 보겠습니다. 우리는 ML(DL, CV) 프로젝트를 진행하다가 어떤 이유로 다른 직업으로 전환하고 일반적으로 휴식을 취한 후 우리 자신이나 다른 사람의 뉴런으로 돌아갑니다.

1. 진실의 순간이 오면, 어디에서 멈췄는지, 어떤 하이퍼파라미터를 시도했는지, 그리고 가장 중요하게는 그 결과가 무엇인지 기억해야 합니다. 헤드, 구성, 메모장, 클라우드의 작업 환경 등 모든 실행에 대한 정보를 저장한 사람에 대한 다양한 옵션이 있을 수 있습니다. 하이퍼파라미터가 코드에 주석 처리된 줄로 저장되어 있을 때 우연히 옵션을 보게 되었는데, 이는 일반적으로 환상적이었습니다. 이제 당신이 자신의 프로젝트가 아닌 회사를 떠난 사람의 프로젝트로 돌아가서 model_1.pb라는 코드와 모델을 상속받았다고 상상해 보십시오. 그림을 완성하고 모든 고통을 전달하기 위해 당신도 초보 전문가라고 상상해 봅시다.
2. 계속하세요. 코드를 실행하려면 우리와 코드를 사용하는 모든 사람이 환경을 만들어야 합니다. 어떤 이유로 그들은 그를 우리의 상속 재산으로 남겨 두지 않는 경우가 종종 있습니다. 이것은 또한 사소한 작업이 될 수 있습니다. 이 단계에서 시간을 낭비하고 싶지 않습니까?
3. 모델(예: 자동차 감지기)을 학습합니다. 결과가 매우 좋아지는 지점에 이르렀습니다. 이제 결과를 저장할 시간입니다. car_Detection_v1.pb라고 부르겠습니다. 그런 다음 car_Detection_v2.pb라는 또 다른 것을 훈련합니다. 얼마 후, 우리 동료나 우리 자신은 다양한 아키텍처를 사용하여 점점 더 많은 것을 가르칩니다. 결과적으로 많은 유물이 형성되고 이에 대한 정보를 힘들게 수집해야 합니다(그러나 지금은 더 중요한 문제가 있으므로 이 작업은 나중에 수행할 것입니다).
4. 좋아 이제 다 끝났어! 우리에겐 모델이 있어요! 다음 모델 학습을 시작하고 새로운 문제를 해결하기 위한 아키텍처를 개발할 수 있나요? 아니면 차를 마시러 갈 수 있나요? 그리고 누가 배치할 것인가?

문제 식별

프로젝트나 제품 작업은 많은 사람들의 작업입니다. 그리고 시간이 지나면서 사람들이 떠나고 들어오고, 프로젝트도 늘어나고, 프로젝트 자체도 더욱 복잡해집니다. 어떤 식으로든 특정 조합에서 위에서 설명한 주기의 상황은 반복마다 발생합니다. 이 모든 것은 시간 낭비, 혼란, 불안, 고객 불만족, 궁극적으로는 돈 손실을 초래합니다. 우리 모두는 일반적으로 똑같은 갈퀴를 따르지만, 누구도 이러한 순간을 반복해서 재현하고 싶어하지 않는다고 믿습니다.

그래서 우리는 하나의 개발 주기를 거쳤고 해결해야 할 문제가 있다는 것을 알게 되었습니다. 이렇게 하려면 다음이 필요합니다.

• 작업 결과를 편리하게 저장합니다.
• 신규 직원 참여 과정을 단순화합니다.
• 개발 환경 배포 프로세스를 단순화합니다.
• 모델 버전 관리 프로세스를 구성합니다.
• 모델을 검증하는 편리한 방법이 있습니다.
• 모델 상태 관리 도구를 찾으세요.
• 모델을 프로덕션 단계로 전달하는 방법을 찾으세요.

이 라이프사이클을 쉽고 편리하게 관리할 수 있는 워크플로우가 필요한 것 같은데요? 이 방식을 MLOps라고 합니다.

MLOps(기계 학습을 위한 DevOps)를 사용하면 데이터 과학 팀과 IT 팀이 협력하여 기계 학습 모델에 대한 모니터링, 검증 및 거버넌스를 통해 모델 개발 및 배포 속도를 높일 수 있습니다.

너는 할 수있다. 명예Google 직원들은 이 모든 것에 대해 어떻게 생각합니까? 기사를 보면 MLOps가 상당히 방대하다는 것이 분명합니다.

내 기사에서는 프로세스의 일부만 설명하겠습니다. 구현을 위해 MLflow 도구를 사용하겠습니다. 왜냐하면... 이것은 오픈 소스 프로젝트이므로 연결하는 데 소량의 코드가 필요하며 널리 사용되는 ml 프레임워크와 통합되어 있습니다. 인터넷에서 Kubeflow, SageMaker, Trains 등과 같은 다른 도구를 검색하여 필요에 더 적합한 도구를 찾을 수 있습니다.

MLFlow 도구 사용 예를 사용하여 MLOps "구축"

MLFlow는 ML 모델의 수명 주기 관리를 위한 오픈 소스 플랫폼입니다(https://mlflow.org/).

MLflow에는 네 가지 구성 요소가 포함됩니다.

• MLflow 추적 - 이 결과를 가져온 매개변수 및 결과 기록 문제를 다룹니다.
• MLflow 프로젝트 - 코드를 패키징하고 모든 플랫폼에서 재현할 수 있습니다.
• MLflow 모델 - 프로덕션에 모델 배포를 담당합니다.
• MLflow Registry - 중앙 저장소에서 모델을 저장하고 해당 상태를 관리할 수 있습니다.

MLflow는 두 엔터티에서 작동합니다.

• 출시는 우리가 등록하려는 교육, 매개변수 및 지표의 전체 주기입니다.
• 실험은 함께 진행되는 '주제'입니다.

예제의 모든 단계는 Ubuntu 18.04 운영 체제에서 구현됩니다.

1. 서버 배포

프로젝트를 쉽게 관리하고 필요한 모든 정보를 받을 수 있도록 서버를 배포하겠습니다. MLflow 추적 서버에는 두 가지 주요 구성 요소가 있습니다.

• 백엔드 저장소 - 등록된 모델에 대한 정보를 저장하는 역할을 담당합니다(4개의 DBMS 지원: mysql, mssql, sqlite 및 postgresql).
• 아티팩트 저장소 - 아티팩트 저장을 담당합니다(7가지 스토리지 옵션 지원: Amazon S3, Azure Blob Storage, Google Cloud Storage, FTP 서버, SFTP 서버, NFS, HDFS).

로 유물 가게 단순화를 위해 SFTP 서버를 사용하겠습니다.

• 그룹 만들기

  $ sudo groupadd sftpg

• 사용자를 추가하고 그 사람의 비밀번호를 설정하세요

  $ sudo useradd -g sftpg mlflowsftp
  $ sudo passwd mlflowsftp 

• 몇 가지 액세스 설정 조정

  $ sudo mkdir -p /data/mlflowsftp/upload
  $ sudo chown -R root.sftpg /data/mlflowsftp
  $ sudo chown -R mlflowsftp.sftpg /data/mlflowsftp/upload

• /etc/ssh/sshd_config에 몇 줄 추가

  Match Group sftpg
   ChrootDirectory /data/%u
   ForceCommand internal-sftp

• 서비스를 다시 시작하세요

  $ sudo systemctl restart sshd

로 백엔드 스토어 postgresql을 사용해보자.

$ sudo apt update
$ sudo apt-get install -y postgresql postgresql-contrib postgresql-server-dev-all
$ sudo apt install gcc
$ pip install psycopg2
$ sudo -u postgres -i
# Create new user: mlflow_user
[postgres@user_name~]$ createuser --interactive -P
Enter name of role to add: mlflow_user
Enter password for new role: mlflow
Enter it again: mlflow
Shall the new role be a superuser? (y/n) n
Shall the new role be allowed to create databases? (y/n) n
Shall the new role be allowed to create more new roles? (y/n) n
# Create database mlflow_bd owned by mlflow_user
$ createdb -O mlflow_user mlflow_db

서버를 시작하려면 다음 Python 패키지를 설치해야 합니다(별도의 가상 환경을 만드는 것이 좋습니다).

pip install mlflow
pip install pysftp

서버를 시작해보자

$ mlflow server  
                 --backend-store-uri postgresql://mlflow_user:mlflow@localhost/mlflow_db 
                 --default-artifact-root sftp://mlflowsftp:mlflow@sftp_host/upload  
                --host server_host 
                --port server_port

2. 추적 추가

훈련 결과가 손실되지 않도록, 미래 세대의 개발자들이 무슨 일이 일어나고 있는지 이해하고, 나이든 동지들과 여러분이 학습 과정을 침착하게 분석할 수 있도록 추적을 추가해야 합니다. 추적이란 매개변수, 지표, 아티팩트 및 교육 시작에 대한 추가 정보를 서버에 저장하는 것을 의미합니다.

예를 들어, 저는 작은 github의 프로젝트 Keras에 있는 모든 것을 분할하기 위해 COCO 데이터 세트. 추적을 추가하기 위해 mlflow_training.py 파일을 만들었습니다.

가장 흥미로운 일이 일어나는 부분은 다음과 같습니다.

def run(self, epochs, lr, experiment_name):
        # getting the id of the experiment, creating an experiment in its absence
        remote_experiment_id = self.remote_server.get_experiment_id(name=experiment_name)
        # creating a "run" and getting its id
        remote_run_id = self.remote_server.get_run_id(remote_experiment_id)

        # indicate that we want to save the results on a remote server
        mlflow.set_tracking_uri(self.tracking_uri)
        mlflow.set_experiment(experiment_name)

        with mlflow.start_run(run_id=remote_run_id, nested=False):
            mlflow.keras.autolog()
            self.train_pipeline.train(lr=lr, epochs=epochs)

        try:
            self.log_tags_and_params(remote_run_id)
        except mlflow.exceptions.RestException as e:
            print(e)

여기서 self.remote_server는 mlflow.tracking 메소드에 대한 작은 래퍼입니다. MlflowClient(편의를 위해 만들었습니다)를 사용하여 실험을 만들고 서버에서 실행합니다. 다음으로, 실행 결과를 병합해야 하는 위치(mlflow.set_tracking_uri(self.tracking_uri))를 지정합니다. 자동 로깅 mlflow.keras.autolog()를 활성화합니다. 현재 MLflow Tracking은 TensorFlow, Keras, Gluon XGBoost, LightGBM, Spark에 대한 자동 로깅을 지원합니다. 프레임워크나 라이브러리를 찾지 못한 경우 언제든지 명시적으로 로깅할 수 있습니다. 우리는 훈련을 시작합니다. 원격 서버에 태그와 입력 매개변수를 등록합니다.

몇 줄만 있으면 다른 모든 사람과 마찬가지로 모든 출시에 대한 정보에 액세스할 수 있습니다. 시원한?

3. 프로젝트를 작성합니다

이제 프로젝트를 쉽게 시작하도록 하겠습니다. 이렇게 하려면 MLproject 및 conda.yaml 파일을 프로젝트 루트에 추가합니다.
ML프로젝트

name: flow_segmentation
conda_env: conda.yaml

entry_points:
  main:
    parameters:
        categories: {help: 'list of categories from coco dataset'}
        epochs: {type: int, help: 'number of epochs in training'}

        lr: {type: float, default: 0.001, help: 'learning rate'}
        batch_size: {type: int, default: 8}
        model_name: {type: str, default: 'Unet', help: 'Unet, PSPNet, Linknet, FPN'}
        backbone_name: {type: str, default: 'resnet18', help: 'exampe resnet18, resnet50, mobilenetv2 ...'}

        tracking_uri: {type: str, help: 'the server address'}
        experiment_name: {type: str, default: 'My_experiment', help: 'remote and local experiment name'}
    command: "python mlflow_training.py 
            --epochs={epochs}
            --categories={categories}
            --lr={lr}
            --tracking_uri={tracking_uri}
            --model_name={model_name}
            --backbone_name={backbone_name}
            --batch_size={batch_size}
            --experiment_name={experiment_name}"

MLflow 프로젝트에는 다음과 같은 몇 가지 속성이 있습니다.

• 이름 - 프로젝트 이름
• 환경 - 내 경우 conda_env는 Anaconda를 사용하여 실행하고 종속성 설명이 conda.yaml 파일에 있음을 나타냅니다.
• 진입점 - 실행할 수 있는 파일과 매개변수를 나타냅니다(훈련을 시작할 때 모든 매개변수가 자동으로 기록됩니다).

conda.yaml

name: flow_segmentation
channels:
  - defaults
  - anaconda
dependencies:
  - python==3.7
  - pip:
    - mlflow==1.8.0
    - pysftp==0.2.9
    - Cython==0.29.19
    - numpy==1.18.4
    - pycocotools==2.0.0
    - requests==2.23.0
    - matplotlib==3.2.1
    - segmentation-models==1.0.1
    - Keras==2.3.1
    - imgaug==0.4.0
    - tqdm==4.46.0
    - tensorflow-gpu==1.14.0

Docker를 런타임 환경으로 사용할 수 있습니다. 자세한 내용은 다음을 참조하세요. 선적 서류 비치.

4. 훈련을 시작하자

프로젝트를 복제하고 프로젝트 디렉터리로 이동합니다.

git clone https://github.com/simbakot/mlflow_example.git
cd mlflow_example/

실행하려면 라이브러리를 설치해야 합니다.

pip install mlflow
pip install pysftp

왜냐하면 conda_env를 사용하는 예에서는 Anaconda가 컴퓨터에 설치되어 있어야 합니다(그러나 필요한 모든 패키지를 직접 설치하고 시작 매개변수를 사용하여 이 문제를 해결할 수 있습니다).

모든 준비 단계가 완료되었으며 교육을 시작할 수 있습니다. 프로젝트 루트에서:

$ mlflow run -P epochs=10 -P categories=cat,dog -P tracking_uri=http://server_host:server_port .

명령어를 입력하면 자동으로 conda 환경이 생성되고 훈련이 시작됩니다.
위의 예에서는 훈련을 위한 시대 수, 즉 분류하려는 범주를 전달했습니다(전체 목록을 볼 수 있습니다). 여기에) 및 원격 서버의 주소입니다.
가능한 매개변수의 전체 목록은 MLproject 파일에서 찾을 수 있습니다.

5. 학습 결과 평가

교육을 마친 후 브라우저에서 서버 주소로 이동할 수 있습니다. http://server_host:server_port

여기에는 모든 실험 목록(왼쪽 상단)과 실행 정보(가운데)가 표시됩니다. 각 출시에 대한 더 자세한 정보(매개변수, 지표, 아티팩트 및 일부 추가 정보)를 볼 수 있습니다.

각 지표에 대해 변경 내역을 관찰할 수 있습니다.

저것들. 현재는 "수동" 모드에서 결과를 분석할 수 있으며 MLflow API를 사용하여 자동 검증을 설정할 수도 있습니다.

6. 모델 등록

모델을 분석하고 전투 준비가 완료되었다고 판단한 후 등록을 진행합니다. 이를 위해 필요한 발사를 선택하고(이전 단락에 표시됨) 내려갑니다.

모델에 이름을 지정하면 버전이 있습니다. 다른 모델을 같은 이름으로 저장하면 버전이 자동으로 업그레이드됩니다.

각 모델에 대해 설명을 추가하고 세 가지 상태(스테이징, 프로덕션, 보관됨) 중 하나를 선택할 수 있으며, 이후에 API를 사용하여 이러한 상태에 액세스할 수 있으며 버전 관리와 함께 추가적인 유연성을 제공합니다.

우리는 또한 모든 모델에 쉽게 접근할 수 있습니다.

그리고 그들의 버전

이전 단락에서와 마찬가지로 모든 작업은 API를 사용하여 수행할 수 있습니다.

7. 모델 배포

이 단계에서는 이미 훈련된(keras) 모델이 있습니다. 사용 방법의 예:

class SegmentationModel:
    def __init__(self, tracking_uri, model_name):

        self.registry = RemoteRegistry(tracking_uri=tracking_uri)
        self.model_name = model_name
        self.model = self.build_model(model_name)

    def get_latest_model(self, model_name):
        registered_models = self.registry.get_registered_model(model_name)
        last_model = self.registry.get_last_model(registered_models)
        local_path = self.registry.download_artifact(last_model.run_id, 'model', './')
        return local_path

    def build_model(self, model_name):
        local_path = self.get_latest_model(model_name)

        return mlflow.keras.load_model(local_path)

    def predict(self, image):
        image = self.preprocess(image)
        result = self.model.predict(image)
        return self.postprocess(result)

    def preprocess(self, image):
        image = cv2.resize(image, (256, 256))
        image = image / 255.
        image = np.expand_dims(image, 0)
        return image

    def postprocess(self, result):
        return result

여기서 self.registry는 편의상 mlflow.tracking.MlflowClient에 대한 작은 래퍼입니다. 요점은 원격 서버에 액세스하여 그곳에서 지정된 이름과 최신 생산 버전을 가진 모델을 찾는 것입니다. 다음으로 아티팩트를 ./model 폴더에 로컬로 다운로드하고 이 디렉터리 mlflow.keras.load_model(local_path)에서 모델을 빌드합니다. 이제 모델을 사용할 수 있습니다. CV(ML) 개발자는 쉽게 모델을 개선하고 새 버전을 게시할 수 있습니다.

결론적으로

나는 다음을 허용하는 시스템을 제시했습니다.

• ML 모델, 학습 진행 상황 및 결과에 대한 정보를 중앙에 저장합니다.
• 개발 환경을 신속하게 배포합니다.
• 모델 작업 진행 상황을 모니터링하고 분석합니다.
• 모델의 상태를 버전화하고 관리하는 것이 편리합니다.
• 결과 모델을 배포하는 것은 쉽습니다.

이 예는 장난감이며 결과 평가 및 모델 등록 자동화(각각 5번 및 6번)를 포함할 수 있는 자체 시스템을 구축하기 위한 출발점 역할을 하거나 데이터 세트의 버전 관리를 추가하거나 다른 것을 추가할 수도 있습니다. 제가 말하려고 했던 요점은 전체적으로 MLOps가 필요하다는 것입니다. MLflow는 목적을 위한 수단일 뿐입니다.

내가 표시하지 않은 어떤 문제가 발생했는지 적어주세요.
귀하의 요구 사항을 충족시키기 위해 시스템에 무엇을 추가하시겠습니까?
문제의 전부 또는 일부를 해결하기 위해 어떤 도구와 접근 방식을 사용합니까?

추신: 몇 가지 링크를 남겨 두겠습니다.
github 프로젝트 - https://github.com/simbakot/mlflow_example
ML플로우 - https://mlflow.org/
질문에 대한 내 업무 이메일 - [이메일 보호]

우리 회사는 정기적으로 IT 전문가를 위한 다양한 이벤트를 개최합니다. 예를 들어 모스크바 시간으로 8월 19일 00:XNUMX에 온라인 형식으로 CV 모임이 있을 예정입니다. 관심이 있는 경우 참가하고 등록할 수 있습니다. 여기에 .

출처 : habr.com