MLOps - Книга за готвење, поглавје 1

Здраво на сите! Јас сум развивач на CV во CROC. Веќе 3 години спроведуваме проекти од областа на CV. За тоа време, направивме многу работи, на пример: ги следевме возачите така што додека возат тие не пиеле, не пушеле, не зборувале на телефон, гледале во патот, а не во соништата или во облаците. ; Снимавме луѓе кои возат по посебни ленти и зафаќаат неколку паркинг места; се погрижи работниците да носат шлемови, ракавици итн.; идентификувал вработен кој сака да влезе во објектот; Изброивме се што можевме.

За што го правам сето ова?

Во процесот на имплементација на проекти удривме нерамнини, многу нерамнини, некои од проблемите со кои или сте запознаени или ќе се запознаете во иднина.

Ајде да ја симулираме ситуацијата

Да замислиме дека се вработивме во една млада компанија „Н“, чии активности се поврзани со МЛ. Работиме на проект ML (DL, CV), потоа поради некоја причина се префрламе на друга работа, генерално правиме пауза и се враќаме во нашиот или туѓ неврон.

1. Доаѓа моментот на вистината, треба некако да се сетите каде сте застанале, со какви хиперпараметри сте пробале и што е најважно, до какви резултати доведоа. Може да има многу опции за тоа кој складирал информации за сите лансирања: во главата, конфигурации, бележник, во работна средина во облакот. Случајно видов опција кога хиперпараметрите беа зачувани како коментирани линии во кодот, генерално, фантазијата. Сега замислете дека не сте се вратиле на вашиот проект, туку на проектот на личност која ја напуштила компанијата и сте наследиле код и модел наречен model_1.pb. За да ја комплетираме сликата и да ја пренесеме целата болка, да замислиме дека сте и почетник специјалист.
2. Само напред. За да го извршиме кодот, ние и секој што ќе работи со него треба да создадеме средина. Често се случува поради некоја причина да не го остават како наследство. Ова исто така може да стане нетривијална задача. Не сакате да губите време на овој чекор, нели?
3. Ние тренираме модел (на пример, детектор за автомобил). Стигнуваме до точка каде што станува многу добро - време е да го зачуваме резултатот. Да го наречеме car_detection_v1.pb. Потоа тренираме уште еден - car_detection_v2.pb. Некое време подоцна, нашите колеги или ние самите предаваме се повеќе и повеќе, користејќи различни архитектури. Како резултат на тоа, се формираат еден куп артефакти, информации за кои мора макотрпно да се соберат (но тоа ќе го направиме подоцна, бидејќи засега имаме повеќе приоритетни работи).
4. ОК сега е готово! Имаме модел! Можеме ли да започнеме да го тренираме следниот модел, да развиваме архитектура за да решиме нов проблем или да одиме да пиеме чај? И кој ќе распореди?

Идентификување на проблеми

Работата на проект или производ е работа на многу луѓе. И со тек на време луѓето си заминуваат и доаѓаат, има повеќе проекти, а самите проекти стануваат посложени. Вака или онака, ситуациите од циклусот опишан погоре (и не само) во одредени комбинации ќе се појават од повторување до повторување. Сето ова резултира со потрошено време, конфузија, нерви, веројатно незадоволство на клиентите и на крајот, изгубени пари. Иако сите ние обично го следиме истото старо гребло, верувам дека никој не сака да ги преживува овие моменти одново и одново.

Значи, поминавме еден циклус на развој и гледаме дека има проблеми што треба да се решат. За да го направите ова ви треба:

• погодно складирајте ги резултатите од работата;
• направете го процесот на вклучување на новите вработени едноставен;
• поедноставување на процесот на распоредување развојна средина;
• конфигурирајте го процесот на верзија на моделот;
• имаат пригоден начин за потврдување на моделите;
• најдете модел алатка за управување со државата;
• најдете начин да ги доставите моделите до производство.

Очигледно е неопходно да се смисли работен тек кој ќе ви овозможи лесно и удобно да управувате со овој животен циклус? Оваа практика се нарекува MLOps

MLOps, или DevOps за машинско учење, им овозможува на тимовите за наука за податоци и ИТ да соработуваат и да го зголемат темпото на развој и распоредување на модели преку следење, валидација и управување со моделите за машинско учење.

Можеш прочитајШто мислат момците од Google за сето ова? Од написот е јасно дека MLOps е доста обемна работа.

Понатаму во мојата статија ќе опишам само дел од процесот. За имплементација ќе ја користам алатката MLflow, бидејќи ... Ова е проект со отворен код, потребна е мала количина на код за поврзување и има интеграција со популарните мл рамки. Можете да пребарувате на Интернет за други алатки, како што се Kubeflow, SageMaker, Trains итн., а можеби и да најдете некоја што подобро одговара на вашите потреби.

„Градење“ MLOps користејќи го примерот за користење на алатката MLFlow

MLFlow е платформа со отворен код за управување со животниот циклус на моделите ml (https://mlflow.org/).

MLflow вклучува четири компоненти:

• MLflow Tracking - ги опфаќа прашањата за евидентирање на резултатите и параметрите кои доведоа до овој резултат;
• MLflow Project - ви овозможува да пакувате код и да го репродуцирате на која било платформа;
• MLflow Models - одговорни за распоредување на модели во производство;
• MLflow Registry - ви овозможува да складирате модели и да управувате со нивната состојба во централизирано складиште.

MLflow работи на два ентитета:

• лансирањето е целосен циклус на обука, параметри и метрика со кои сакаме да се регистрираме;
• Експериментот е „тема“ што работи заедно.

Сите чекори од примерот се имплементирани на оперативниот систем Ubuntu 18.04.

1. Распоредете го серверот

За да можеме лесно да управуваме со нашиот проект и да ги добиеме сите потребни информации, ќе распоредиме сервер. Серверот за следење MLflow има две главни компоненти:

• backend продавница - одговорна за складирање информации за регистрирани модели (подржува 4 DBMS: mysql, mssql, sqlite и postgresql);
• продавница за артефакти - одговорна за складирање артефакти (подржува 7 опции за складирање: Amazon S3, Azure Blob Storage, Google Cloud Storage, FTP сервер, SFTP Server, NFS, HDFS).

Како продавница за артефакти За едноставност, да земеме sftp сервер.

• создаде група

  $ sudo groupadd sftpg

• додадете корисник и поставете му лозинка

  $ sudo useradd -g sftpg mlflowsftp
  $ sudo passwd mlflowsftp 

• прилагодување на неколку поставки за пристап

  $ sudo mkdir -p /data/mlflowsftp/upload
  $ sudo chown -R root.sftpg /data/mlflowsftp
  $ sudo chown -R mlflowsftp.sftpg /data/mlflowsftp/upload

• додадете неколку линии во /etc/ssh/sshd_config

  Match Group sftpg
   ChrootDirectory /data/%u
   ForceCommand internal-sftp

• рестартирајте ја услугата

  $ sudo systemctl restart sshd

Како заднинска продавница Да го земеме postgresql.

$ sudo apt update
$ sudo apt-get install -y postgresql postgresql-contrib postgresql-server-dev-all
$ sudo apt install gcc
$ pip install psycopg2
$ sudo -u postgres -i
# Create new user: mlflow_user
[postgres@user_name~]$ createuser --interactive -P
Enter name of role to add: mlflow_user
Enter password for new role: mlflow
Enter it again: mlflow
Shall the new role be a superuser? (y/n) n
Shall the new role be allowed to create databases? (y/n) n
Shall the new role be allowed to create more new roles? (y/n) n
# Create database mlflow_bd owned by mlflow_user
$ createdb -O mlflow_user mlflow_db

За да го стартувате серверот, треба да ги инсталирате следните python пакети (препорачувам да креирате посебна виртуелна средина):

pip install mlflow
pip install pysftp

Ајде да го стартуваме нашиот сервер

$ mlflow server  
                 --backend-store-uri postgresql://mlflow_user:mlflow@localhost/mlflow_db 
                 --default-artifact-root sftp://mlflowsftp:mlflow@sftp_host/upload  
                --host server_host 
                --port server_port

2. Додајте следење

За да не се изгубат резултатите од нашата обука, идните генерации на програмери да разберат што се случува, а постарите другари и вие да можете мирно да го анализирате процесот на учење, треба да додадеме следење. Следењето значи зачувување на параметри, метрика, артефакти и какви било дополнителни информации за почетокот на обуката, во нашиот случај, на серверот.

На пример, создадов мала проект на github на Керас за сегментирање на се што е во база на податоци за COCO. За да додадам следење, создадов датотека mlflow_training.py.

Еве ги редовите каде што се случуваат најинтересните работи:

def run(self, epochs, lr, experiment_name):
        # getting the id of the experiment, creating an experiment in its absence
        remote_experiment_id = self.remote_server.get_experiment_id(name=experiment_name)
        # creating a "run" and getting its id
        remote_run_id = self.remote_server.get_run_id(remote_experiment_id)

        # indicate that we want to save the results on a remote server
        mlflow.set_tracking_uri(self.tracking_uri)
        mlflow.set_experiment(experiment_name)

        with mlflow.start_run(run_id=remote_run_id, nested=False):
            mlflow.keras.autolog()
            self.train_pipeline.train(lr=lr, epochs=epochs)

        try:
            self.log_tags_and_params(remote_run_id)
        except mlflow.exceptions.RestException as e:
            print(e)

Тука self.remote_server е мала обвивка над методите за следење mlflow. MlflowClient (го направив за погодност), со чија помош креирам експеримент и го стартувам на серверот. Следно, укажувам каде треба да се спојат резултатите од лансирањето (mlflow.set_tracking_uri(self.tracking_uri)). Овозможувам автоматско евидентирање mlflow.keras.autolog(). Во моментов, MLflow Tracking поддржува автоматско најавување за TensorFlow, Keras, Gluon XGBoost, LightGBM, Spark. Ако не сте ја пронашле вашата рамка или библиотека, тогаш секогаш можете експлицитно да се најавите. Почнуваме со тренинзи. Регистрирајте ознаки и параметри за внесување на оддалечениот сервер.

Неколку линии и вие, како и сите други, имате пристап до информации за сите лансирања. Кул?

3. Го подготвуваме проектот

Сега да го олесниме започнувањето на проектот. За да го направите ова, додајте ја датотеката MLproject и conda.yaml во коренот на проектот.
МЛпроект

name: flow_segmentation
conda_env: conda.yaml

entry_points:
  main:
    parameters:
        categories: {help: 'list of categories from coco dataset'}
        epochs: {type: int, help: 'number of epochs in training'}

        lr: {type: float, default: 0.001, help: 'learning rate'}
        batch_size: {type: int, default: 8}
        model_name: {type: str, default: 'Unet', help: 'Unet, PSPNet, Linknet, FPN'}
        backbone_name: {type: str, default: 'resnet18', help: 'exampe resnet18, resnet50, mobilenetv2 ...'}

        tracking_uri: {type: str, help: 'the server address'}
        experiment_name: {type: str, default: 'My_experiment', help: 'remote and local experiment name'}
    command: "python mlflow_training.py 
            --epochs={epochs}
            --categories={categories}
            --lr={lr}
            --tracking_uri={tracking_uri}
            --model_name={model_name}
            --backbone_name={backbone_name}
            --batch_size={batch_size}
            --experiment_name={experiment_name}"

Проектот MLflow има неколку својства:

• Име - името на вашиот проект;
• Животна средина - во мојот случај, conda_env покажува дека Anaconda се користи за извршување и описот на зависност е во датотеката conda.yaml;
• Влезни точки - означува кои датотеки и со кои параметри можеме да работиме (сите параметри автоматски се евидентираат при започнување на обуката)

конда.јамл

name: flow_segmentation
channels:
  - defaults
  - anaconda
dependencies:
  - python==3.7
  - pip:
    - mlflow==1.8.0
    - pysftp==0.2.9
    - Cython==0.29.19
    - numpy==1.18.4
    - pycocotools==2.0.0
    - requests==2.23.0
    - matplotlib==3.2.1
    - segmentation-models==1.0.1
    - Keras==2.3.1
    - imgaug==0.4.0
    - tqdm==4.46.0
    - tensorflow-gpu==1.14.0

Можете да го користите docker како опкружување за време на траење, за повеќе детали ве молиме погледнете го документација.

4. Да почнеме да тренираме

Го клонираме проектот и одиме во директориумот на проектот:

git clone https://github.com/simbakot/mlflow_example.git
cd mlflow_example/

За да стартувате, треба да инсталирате библиотеки

pip install mlflow
pip install pysftp

Бидејќи во примерот што го користам conda_env, Anaconda мора да биде инсталирана на вашиот компјутер (но можете да го заобиколите ова со инсталирање на сите потребни пакети сами и играње со параметрите за лансирање).

Сите подготвителни чекори се завршени и можеме да започнеме со започнување на обуката. Од коренот на проектот:

$ mlflow run -P epochs=10 -P categories=cat,dog -P tracking_uri=http://server_host:server_port .

Откако ќе ја внесете командата, автоматски ќе се создаде средина на conda и ќе започне обуката.
Во примерот погоре, го поминав бројот на епохи за обука, категориите во кои сакаме да се сегментираме (можете да ја видите целосната листа тука) и адресата на нашиот далечински сервер.
Комплетна листа на можни параметри може да се најде во датотеката MLproject.

5. Оценете ги резултатите од учењето

По завршувањето на обуката, можеме да одиме во прелистувачот на адресата на нашиот сервер http://server_host:server_port

Овде гледаме список на сите експерименти (горе лево), како и информации за бегствата (средина). Можеме да гледаме подетални информации (параметри, метрика, артефакти и некои дополнителни информации) за секое лансирање.

За секоја метрика можеме да ја набљудуваме историјата на промените

Оние. Во моментов, можеме да ги анализираме резултатите во „рачен“ режим, а исто така можете да поставите автоматска валидација со помош на MLflow API.

6. Регистрирајте го моделот

Откако го анализиравме нашиот модел и одлучивме дека е подготвен за битка, продолжуваме да го регистрираме, за ова го избираме лансирањето што ни треба (како што е прикажано во претходниот пасус) и слеземе.

Откако ќе му дадеме име на нашиот модел, тој има верзија. Ако зачувате друг модел со исто име, верзијата автоматски ќе се надгради.

За секој модел, можеме да додадеме опис и да избереме една од трите состојби (Staging, Production, Archived); последователно, користејќи го API, можеме да пристапиме до овие состојби, што, заедно со верзиирањето, обезбедува дополнителна флексибилност.

Имаме и лесен пристап до сите модели

и нивните верзии

Како и во претходниот пасус, сите операции може да се направат со помош на API.

7. Распоредете го моделот

Во оваа фаза веќе имаме обучен (керас) модел. Пример за тоа како можете да го користите:

class SegmentationModel:
    def __init__(self, tracking_uri, model_name):

        self.registry = RemoteRegistry(tracking_uri=tracking_uri)
        self.model_name = model_name
        self.model = self.build_model(model_name)

    def get_latest_model(self, model_name):
        registered_models = self.registry.get_registered_model(model_name)
        last_model = self.registry.get_last_model(registered_models)
        local_path = self.registry.download_artifact(last_model.run_id, 'model', './')
        return local_path

    def build_model(self, model_name):
        local_path = self.get_latest_model(model_name)

        return mlflow.keras.load_model(local_path)

    def predict(self, image):
        image = self.preprocess(image)
        result = self.model.predict(image)
        return self.postprocess(result)

    def preprocess(self, image):
        image = cv2.resize(image, (256, 256))
        image = image / 255.
        image = np.expand_dims(image, 0)
        return image

    def postprocess(self, result):
        return result

Тука self.registry е повторно мала обвивка над mlflow.tracking.MlflowClient, за погодност. Поентата е што пристапувам до далечински сервер и барам модел таму со наведеното име, и најновата продукциска верзија. Следно, го преземам артефактот локално во папката ./model и го градам моделот од овој директориум mlflow.keras.load_model(local_path). Сега можеме да го користиме нашиот модел. Програмерите на CV (ML) лесно можат да го подобрат моделот и да објавуваат нови верзии.

Во заклучок

Презентирав систем кој овозможува:

• централно складирање на информации за ML моделите, напредокот во обуката и резултатите;
• брзо распоредување на развојна средина;
• го следи и анализира напредокот на работата на моделите;
• погодно е да се верзија и да се управува со состојбата на моделите;
• Лесно е да се распоредат добиените модели.

Овој пример е играчка и служи како почетна точка за градење сопствен систем, кој може да вклучува автоматизација на евалуација на резултатите и регистрација на модели (точки 5 и 6, соодветно) или ќе додадете верзии на сетови на податоци, или можеби нешто друго? Поентата што се обидов да ја кажам е дека ви требаат MLOps како целина, MLflow е само средство за постигнување цел.

Напиши со какви проблеми наидовте што не ги прикажав?
Што би додале во системот за да ги задоволи вашите потреби?
Кои алатки и пристапи ги користите за да ги решите сите или дел од проблемите?

П.С ќе оставам неколку линкови:
проект github - https://github.com/simbakot/mlflow_example
MLflow - https://mlflow.org/
Мојата работна е-пошта за прашања - [заштитена по е-пошта]

Нашата компанија периодично е домаќин на разни настани за ИТ специјалисти, на пример: на 8 јули во 19:00 часот по московско време ќе има состанок за CV во онлајн формат, доколку сте заинтересирани, можете да учествувате, регистрација тука .

Извор: www.habr.com