MLOps - Готварска книга, глава 1

Здравейте всички! Разработчик съм на CV в КРОК. Вече 3 години изпълняваме проекти в областта на CV. През това време направихме много неща, например: наблюдавахме шофьорите, така че докато шофират да не пият, да не пушат, да не говорят по телефона, да гледат пътя, а не сънищата или облаците ; Записахме фенове, каращи в специални ленти и заемащи няколко паркоместа; гарантира, че работниците носят каски, ръкавици и т.н.; идентифицира служител, който иска да влезе в обекта; Преброихме всичко, което можахме.

За какво правя всичко това?

В процеса на изпълнение на проекти срещаме неравности, много неуредици, някои от проблемите или са ви познати или ще се запознаете в бъдеще.

Нека симулираме ситуацията

Нека си представим, че сме намерили работа в млада компания „N“, чиято дейност е свързана с ML. Работим по ML (DL, CV) проект, след което по някаква причина преминаваме към друга работа, като цяло си вземаме почивка и се връщаме към нашия собствен или нечий друг неврон.

1. Идва моментът на истината, трябва по някакъв начин да си спомните къде сте спрели, какви хиперпараметри сте опитали и най-важното до какви резултати са довели. Може да има много опции за това кой съхранява информация за всички стартирания: в главата, конфигурации, бележник, в работна среда в облака. Случайно видях опция, когато хиперпараметрите се съхраняват като коментирани редове в кода, като цяло, полет на фантазия. Сега си представете, че сте се върнали не към вашия проект, а към проекта на човек, който е напуснал компанията и сте наследили код и модел, наречен model_1.pb. За да завършим картината и да предадем цялата болка, нека си представим, че и вие сте начинаещ специалист.
2. Продължавай. За да стартираме кода, ние и всички, които ще работят с него, трябва да създадем среда. Често се случва по някаква причина да не са ни го оставили като наследство. Това също може да се превърне в нетривиална задача. Не искате да губите време в тази стъпка, нали?
3. Обучаваме модел (например автомобилен детектор). Стигаме до момента, в който става много добре – време е да запазим резултата. Нека го наречем car_detection_v1.pb. След това обучаваме още един - car_detection_v2.pb. Известно време по-късно нашите колеги или ние самите преподаваме все повече и повече, използвайки различни архитектури. В резултат на това се образуват куп артефакти, информацията за които трябва да бъде старателно събрана (но ще го направим по-късно, защото засега имаме по-приоритетни въпроси).
4. Добре, всичко свърши! Имаме модел! Можем ли да започнем да обучаваме следващия модел, да разработваме архитектура за решаване на нов проблем, или можем да отидем да пием чай? И кой ще разположи?

Идентифициране на проблеми

Работата по проект или продукт е работа на много хора. И с времето хората си тръгват и идват, има повече проекти, а самите проекти стават по-сложни. По един или друг начин, ситуации от цикъла, описан по-горе (и не само) в определени комбинации ще се появят от итерация на итерация. Всичко това води до загуба на време, объркване, нерви, евентуално недоволство на клиента и в крайна сметка загубени пари. Въпреки че всички ние обикновено следваме един и същи стар рейк, вярвам, че никой не иска да изживява тези моменти отново и отново.

И така, ние преминахме през един цикъл на развитие и виждаме, че има проблеми, които трябва да бъдат решени. За да направите това ви трябва:

• удобно съхраняване на резултатите от работата;
• опростете процеса на привличане на нови служители;
• опростете процеса на внедряване на среда за разработка;
• конфигуриране на процеса на версия на модела;
• имат удобен начин за валидиране на модели;
• намерете примерен инструмент за управление на състоянието;
• намерете начин да доставите модели до производство.

Очевидно е необходимо да се измисли работен процес, който да ви позволи лесно и удобно да управлявате този жизнен цикъл? Тази практика се нарича MLOps

MLOps, или DevOps за машинно обучение, позволява на екипите за наука за данни и ИТ да си сътрудничат и да увеличат темпото на разработване и внедряване на модели чрез наблюдение, валидиране и управление за модели за машинно обучение.

Можете да ПрочетиКакво мислят момчетата от Google за всичко това? От статията става ясно, че MLOps е доста обемно нещо.

По-нататък в моята статия ще опиша само част от процеса. За реализация ще използвам инструмента MLflow, защото... Това е проект с отворен код, изисква се малко количество код за свързване и има интеграция с популярни мл рамки. Можете да потърсите в интернет други инструменти, като Kubeflow, SageMaker, Trains и др., и може би ще намерите такъв, който отговаря по-добре на вашите нужди.

„Изграждане“ на MLO с помощта на примера за използване на инструмента MLFlow

MLFlow е платформа с отворен код за управление на жизнения цикъл на ml модели (https://mlflow.org/).

MLflow включва четири компонента:

• MLflow Tracking – обхваща въпросите за записване на резултатите и параметрите, довели до този резултат;
• MLflow Project - позволява ви да пакетирате код и да го възпроизвеждате на всяка платформа;
• MLflow Models - отговорен за внедряването на модели в производство;
• MLflow Registry - позволява ви да съхранявате модели и да управлявате тяхното състояние в централизирано хранилище.

MLflow работи върху две единици:

• стартирането е пълен цикъл на обучение, параметри и метрики, по които искаме да се регистрираме;
• Експериментът е „тема“, която работи заедно.

Всички стъпки от примера са изпълнени в операционната система Ubuntu 18.04.

1. Разположете сървъра

За да можем лесно да управляваме нашия проект и да получаваме цялата необходима информация, ние ще разположим сървър. Сървърът за проследяване на MLflow има два основни компонента:

• backend store - отговаря за съхраняването на информация за регистрирани модели (поддържа 4 СУБД: mysql, mssql, sqlite и postgresql);
• магазин за артефакти - отговаря за съхраняването на артефакти (поддържа 7 опции за съхранение: Amazon S3, Azure Blob Storage, Google Cloud Storage, FTP сървър, SFTP сървър, NFS, HDFS).

Тъй като магазин за артефакти За по-лесно нека вземем sftp сървър.

• създайте група

  $ sudo groupadd sftpg

• добавете потребител и задайте парола за него

  $ sudo useradd -g sftpg mlflowsftp
  $ sudo passwd mlflowsftp 

• коригиране на няколко настройки за достъп

  $ sudo mkdir -p /data/mlflowsftp/upload
  $ sudo chown -R root.sftpg /data/mlflowsftp
  $ sudo chown -R mlflowsftp.sftpg /data/mlflowsftp/upload

• добавете няколко реда към /etc/ssh/sshd_config

  Match Group sftpg
   ChrootDirectory /data/%u
   ForceCommand internal-sftp

• рестартирайте услугата

  $ sudo systemctl restart sshd

Тъй като резервен магазин Да вземем postgresql.

$ sudo apt update
$ sudo apt-get install -y postgresql postgresql-contrib postgresql-server-dev-all
$ sudo apt install gcc
$ pip install psycopg2
$ sudo -u postgres -i
# Create new user: mlflow_user
[postgres@user_name~]$ createuser --interactive -P
Enter name of role to add: mlflow_user
Enter password for new role: mlflow
Enter it again: mlflow
Shall the new role be a superuser? (y/n) n
Shall the new role be allowed to create databases? (y/n) n
Shall the new role be allowed to create more new roles? (y/n) n
# Create database mlflow_bd owned by mlflow_user
$ createdb -O mlflow_user mlflow_db

За да стартирате сървъра, трябва да инсталирате следните python пакети (препоръчвам да създадете отделна виртуална среда):

pip install mlflow
pip install pysftp

Да стартираме нашия сървър

$ mlflow server  
                 --backend-store-uri postgresql://mlflow_user:mlflow@localhost/mlflow_db 
                 --default-artifact-root sftp://mlflowsftp:mlflow@sftp_host/upload  
                --host server_host 
                --port server_port

2. Добавете проследяване

За да не бъдат загубени резултатите от нашето обучение, бъдещите поколения разработчици да разберат какво се случва, а по-възрастните другари и вие да можете спокойно да анализирате учебния процес, трябва да добавим проследяване. Проследяването означава запазване на параметри, метрики, артефакти и всякаква допълнителна информация за началото на обучението, в нашия случай, на сървъра.

Например създадох малък проект в github на Keras за сегментиране на всичко, което е вътре COCO набор от данни. За да добавя проследяване, създадох файл mlflow_training.py.

Ето редовете, в които се случват най-интересните неща:

def run(self, epochs, lr, experiment_name):
        # getting the id of the experiment, creating an experiment in its absence
        remote_experiment_id = self.remote_server.get_experiment_id(name=experiment_name)
        # creating a "run" and getting its id
        remote_run_id = self.remote_server.get_run_id(remote_experiment_id)

        # indicate that we want to save the results on a remote server
        mlflow.set_tracking_uri(self.tracking_uri)
        mlflow.set_experiment(experiment_name)

        with mlflow.start_run(run_id=remote_run_id, nested=False):
            mlflow.keras.autolog()
            self.train_pipeline.train(lr=lr, epochs=epochs)

        try:
            self.log_tags_and_params(remote_run_id)
        except mlflow.exceptions.RestException as e:
            print(e)

Тук self.remote_server е малка обвивка на методите mlflow.tracking. MlflowClient (направих го за удобство), с помощта на който правя експеримент и го пускам на сървъра. След това посочвам къде трябва да се обединят резултатите от стартирането (mlflow.set_tracking_uri(self.tracking_uri)). Активирам автоматично регистриране mlflow.keras.autolog(). В момента MLflow Tracking поддържа автоматично регистриране за TensorFlow, Keras, Gluon XGBoost, LightGBM, Spark. Ако не сте намерили своята рамка или библиотека, винаги можете да влезете изрично. Започваме обучение. Регистрирайте етикети и входни параметри на отдалечения сървър.

Няколко реда и вие, като всички останали, имате достъп до информация за всички стартирания. Готино?

3. Изготвяме проекта

Сега нека улесним стартирането на проекта. За да направите това, добавете файла MLproject и conda.yaml към корена на проекта.
MLпроект

name: flow_segmentation
conda_env: conda.yaml

entry_points:
  main:
    parameters:
        categories: {help: 'list of categories from coco dataset'}
        epochs: {type: int, help: 'number of epochs in training'}

        lr: {type: float, default: 0.001, help: 'learning rate'}
        batch_size: {type: int, default: 8}
        model_name: {type: str, default: 'Unet', help: 'Unet, PSPNet, Linknet, FPN'}
        backbone_name: {type: str, default: 'resnet18', help: 'exampe resnet18, resnet50, mobilenetv2 ...'}

        tracking_uri: {type: str, help: 'the server address'}
        experiment_name: {type: str, default: 'My_experiment', help: 'remote and local experiment name'}
    command: "python mlflow_training.py 
            --epochs={epochs}
            --categories={categories}
            --lr={lr}
            --tracking_uri={tracking_uri}
            --model_name={model_name}
            --backbone_name={backbone_name}
            --batch_size={batch_size}
            --experiment_name={experiment_name}"

MLflow Project има няколко свойства:

• Име - името на вашия проект;
• Околна среда - в моя случай conda_env показва, че Anaconda се използва за изпълнение и описанието на зависимостта е във файла conda.yaml;
• Входни точки - показва кои файлове и с кои параметри можем да стартираме (всички параметри се регистрират автоматично при стартиране на обучението)

conda.yaml

name: flow_segmentation
channels:
  - defaults
  - anaconda
dependencies:
  - python==3.7
  - pip:
    - mlflow==1.8.0
    - pysftp==0.2.9
    - Cython==0.29.19
    - numpy==1.18.4
    - pycocotools==2.0.0
    - requests==2.23.0
    - matplotlib==3.2.1
    - segmentation-models==1.0.1
    - Keras==2.3.1
    - imgaug==0.4.0
    - tqdm==4.46.0
    - tensorflow-gpu==1.14.0

Можете да използвате docker като среда за изпълнение, за повече подробности, моля, вижте документация.

4. Да започнем тренировките

Ние клонираме проекта и отиваме в директорията на проекта:

git clone https://github.com/simbakot/mlflow_example.git
cd mlflow_example/

За да стартирате, трябва да инсталирате библиотеки

pip install mlflow
pip install pysftp

защото в примера, който използвам conda_env, Anaconda трябва да бъде инсталирана на вашия компютър (но можете да заобиколите това, като сами инсталирате всички необходими пакети и си поиграете с параметрите за стартиране).

Всички подготвителни стъпки са завършени и можем да започнем обучението. От корена на проекта:

$ mlflow run -P epochs=10 -P categories=cat,dog -P tracking_uri=http://server_host:server_port .

След въвеждане на командата автоматично ще се създаде conda среда и обучението ще започне.
В примера по-горе предадох броя на епохите за обучение, категориите, в които искаме да сегментираме (можете да видите пълния списък тук) и адреса на нашия отдалечен сървър.
Пълен списък с възможни параметри може да бъде намерен във файла MLproject.

5. Оценете резултатите от обучението

След приключване на обучението можем да отидем в браузъра на адреса на нашия сървър http://server_host:server_port

Тук виждаме списък с всички експерименти (горе вляво), както и информация за сериите (в средата). Можем да видим по-подробна информация (параметри, показатели, артефакти и допълнителна информация) за всяко стартиране.

За всеки показател можем да наблюдаваме историята на промените

Тези. В момента можем да анализираме резултатите в „ръчен“ режим и можете също да настроите автоматично валидиране с помощта на MLflow API.

6. Регистрирайте модела

След като анализирахме нашия модел и решихме, че е готов за битка, ние продължаваме да го регистрираме, за това избираме старта, от който се нуждаем (както е показано в предишния параграф) и слизаме.

След като дадем име на нашия модел, той има версия. Ако запишете друг модел със същото име, версията автоматично ще бъде надстроена.

За всеки модел можем да добавим описание и да изберем едно от трите състояния (Staging, Production, Archived); впоследствие, използвайки API, можем да получим достъп до тези състояния, което заедно с версиите осигурява допълнителна гъвкавост.

Освен това имаме лесен достъп до всички модели

и техните версии

Както в предишния параграф, всички операции могат да се извършват с помощта на API.

7. Разположете модела

На този етап вече имаме обучен (keras) модел. Пример за това как можете да го използвате:

class SegmentationModel:
    def __init__(self, tracking_uri, model_name):

        self.registry = RemoteRegistry(tracking_uri=tracking_uri)
        self.model_name = model_name
        self.model = self.build_model(model_name)

    def get_latest_model(self, model_name):
        registered_models = self.registry.get_registered_model(model_name)
        last_model = self.registry.get_last_model(registered_models)
        local_path = self.registry.download_artifact(last_model.run_id, 'model', './')
        return local_path

    def build_model(self, model_name):
        local_path = self.get_latest_model(model_name)

        return mlflow.keras.load_model(local_path)

    def predict(self, image):
        image = self.preprocess(image)
        result = self.model.predict(image)
        return self.postprocess(result)

    def preprocess(self, image):
        image = cv2.resize(image, (256, 256))
        image = image / 255.
        image = np.expand_dims(image, 0)
        return image

    def postprocess(self, result):
        return result

Тук self.registry отново е малка обвивка върху mlflow.tracking.MlflowClient, за удобство. Въпросът е, че влизам в отдалечен сървър и търся там модел с посоченото име и последната производствена версия. След това изтеглям артефакта локално в папката ./model и изграждам модела от тази директория mlflow.keras.load_model(local_path). Сега можем да използваме нашия модел. CV (ML) разработчиците могат лесно да подобрят модела и да публикуват нови версии.

В заключение

Представих система, която позволява:

• централно съхранява информация за ML моделите, напредъка и резултатите от обучението;
• бързо разгръщане на среда за разработка;
• наблюдава и анализира хода на работата по моделите;
• удобно е да се прави версия и да се управлява състоянието на моделите;
• Разгръщането на получените модели е лесно.

Този пример е играчка и служи като отправна точка за изграждане на ваша собствена система, която може да включва автоматизиране на оценката на резултатите и регистриране на модели (точки 5 и 6, съответно) или ще добавите версии на набори от данни, или може би нещо друго? Въпросът, който се опитвах да направя, е, че имате нужда от MLOps като цяло, MLflow е просто средство за постигане на цел.

Напишете какви проблеми сте срещнали, които не съм показал?
Какво бихте добавили към системата, за да отговаря на вашите нужди?
Какви инструменти и подходи използвате за решаване на всички или част от проблемите?

PS Ще оставя няколко връзки:
github проект - https://github.com/simbakot/mlflow_example
MLflow - https://mlflow.org/
Моят служебен имейл за въпроси - [имейл защитен]

Нашата компания периодично е домакин на различни събития за ИТ специалисти, например: на 8 юли от 19:00 московско време ще се проведе CV среща в онлайн формат, ако се интересувате, можете да участвате, регистрация тук .

Източник: www.habr.com