
Bok svima! Ja sam CV developer u KROK-u. Već 3 godine realiziramo projekte u području CV-a. Tijekom tog vremena radili smo razne stvari, kao što su: nadgledanje vozača kako bi tijekom vožnje ne pili, ne pušili, ne razgovarali na telefonu, gledali na cestu, a ne u snove ili oblake; bilježili ljubitelje vožnje po odvojenim trakama i zauzimanje nekoliko parkirnih mjesta; pazili da radnici nose kacige, rukavice itd.; identificirali zaposlenike koji žele ući u objekt; i brojili sve što se može brojiti.
Zašto to sve spominjem?
Tijekom realizacije projekata imali smo puno iskustava, puno problema, s nekima od njih ste možda već upoznati ili ćete se upoznati u budućnosti.
Modeliramo situaciju
Zamislimo da smo zaposleni u mladoj tvrtki “N”, čija je djelatnost vezana uz ML. Radimo na ML (DL, CV) projektu, a zatim se iz raznih razloga prebacujemo na drugi posao, uzimamo pauzu i vraćamo se na svoj ili tuđi neuronski model.
- Dolazi trenutak istine, trebamo se nečega prisjetiti, kojih smo hiperparametara probali i, što je najvažnije, koji su rezultati proizašli iz njih. Postoji mnogo načina na koje su ljudi čuvali informacije o svim pokretanjima: u glavi, u konfiguracijama, u bilježnici, u radnom okruženju u oblaku. Imao sam priliku vidjeti varijantu gdje su hiperparametri bili pohranjeni u obliku komentiranih linija u kodu, uistinu puno mašte. A sada zamislite da se ne vraćate svom projektu, već projektu osobe koja je napustila tvrtku i u nasljeđe ste dobili kod i model pod nazivom model_1.pb. Za potpunu sliku i prenošenje cijele boli, zamislite da ste još i početnik.
- Idemo dalje. Za pokretanje koda, nama i svima koji će s njim raditi potrebno je stvoriti okruženje. Često se događa da nam ga također iz nekog razloga nisu ostavili. To također može postati složen zadatak. Ne želimo gubiti vrijeme na ovaj korak, zar ne?
- Treniramo model (na primjer, detektor automobila). Dolazimo do trenutka kada postaje vrlo dobar — pravo je vrijeme za spremanje rezultata. Nazovimo ga car_detection_v1.pb. Nakon toga treniramo još jedan — car_detection_v2.pb. Neko vrijeme kasnije naši kolege ili mi sami nastavljamo obučavati još i još, koristeći različite arhitekture. Na kraju se stvara gomila artefakata, čije informacije treba pažljivo prikupiti (no, time ćemo se baviti kasnije, jer imamo hitnije poslove).
- I to je to! Imamo model! Možemo preći na obuku sljedećeg modela, razvijanje arhitekture za rješavanje nove zadaće ili možemo otići popiti čaj? A tko će ga implementirati?
Identificiranje problema
Rad na projektu ili proizvodu je trud mnogih ljudi. S vremenom ljudi odlaze i dolaze, projekata postaje više, a sami projekti postaju složeniji. Tako ili onako, situacije iz opisanog ciklusa (i ne samo to) u raznim kombinacijama će se javljati od iteracije do iteracije. Sve to rezultira gubitkom vremena, zbrkom, nervozom, mogućim nezadovoljstvom klijenata i na kraju — propuštenim novcem. Iako obično hodamo po starim gredicama, mislim da nitko ne želi iznova prolaziti kroz te trenutke.

Dakle, prošli smo kroz jedan ciklus razvoja i vidimo da postoje problemi koje treba riješiti. Za to je potrebno:
- prikladno pohraniti rezultate rada;
- olakšati proces uključivanja novih zaposlenika;
- pojednostaviti proces postavljanja razvojnog okruženja;
- postaviti proces verzioniranja modela;
- imati prikladan način validacije modela;
- pronaći alat za upravljanje stanjem modela;
- pronaći način dostave modela u produkciju.
Izgleda da je potrebno osmisliti workflow koji bi omogućio lako i praktično upravljanje ovim životnim ciklusom? Ova praksa ima naziv MLOps.
MLOps, ili DevOps za strojno učenje, omogućuje timovima stručnjaka za obradu i analizu podataka i IT stručnjacima suradnju, a također povećava brzinu razvoja i implementacije modela kroz praćenje, provjeru i sustave upravljanja za modele strojnog učenja.
Možete , što misle o svemu ovome momci iz Googlea. Iz članka je jasno da je MLOps prilično obimna tema.

U nastavku svog članka opisat ću samo dio procesa. Za realizaciju ću koristiti alat MLflow, budući da je to open-source projekt, za povezivanje je potrebno malo koda i postoji integracija s popularnim ml okvirima. Možete potražiti na internetu i druge alate, primjerice Kubeflow, SageMaker, Trains itd., te možda odabrati onaj koji najbolje odgovara vašim potrebama.
"Gradimo" MLOps na primjeru korištenja alata MLFlow
MLFlow je platforma s otvorenim izvorom za upravljanje životnim ciklusom ml modela ().
MLflow uključuje četiri komponenta:
- MLflow Tracking – rješava pitanja bilježenja rezultata i parametara koji su doveli do tog rezultata;
- MLflow Project – omogućava pakiranje koda i njegovo reproduciranje na bilo kojoj platformi;
- MLflow Models – odgovara za deploy modela u produkciju;
- MLflow Registry – omogućava pohranu modela i upravljanje njihovim stanjem u centraliziranom skladištu.
MLflow upravlja dvjema entitetama:
- pokretanje – to je cijeli ciklus obuke, parametri i metri koji želimo registrirati;
- eksperiment – to je "tema" kojom su spojeni naši pokreti.
Svi koraci primjera provedeni su na operativnom sustavu Ubuntu 18.04.
1. Postavljamo server
Kako bismo lako upravljali našim projektom i dobili sve potrebne informacije, postavit ćemo server. MLflow tracking server ima dva osnovna komponenta:
- backend store – odgovara za pohranu informacija o registriranim modelima (podržava 4 DBMS: mysql, mssql, sqlite i postgresql);
- artifact store – odgovara za pohranu artefakata (podržava 7 varijanti pohrane: Amazon S3, Azure Blob Storage, Google Cloud Storage, FTP server, SFTP server, NFS, HDFS).
Kao artifact store za jednostavnost uzimamo sftp server.
- stvaramo grupu
$ sudo groupadd sftpg - dodajemo korisnika i postavljamo mu lozinku
$ sudo useradd -g sftpg mlflowsftp $ sudo passwd mlflowsftp - prilagođavamo nekoliko postavki pristupa
$ sudo mkdir -p /data/mlflowsftp/upload $ sudo chown -R root.sftpg /data/mlflowsftp $ sudo chown -R mlflowsftp.sftpg /data/mlflowsftp/upload - dodajemo nekoliko redaka u /etc/ssh/sshd_config
Match Group sftpg ChrootDirectory /data/%u ForceCommand internal-sftp - ponovo pokrećemo službu
$ sudo systemctl restart sshd
Kao backend store uzimamo postgresql.
$ sudo apt update
$ sudo apt-get install -y postgresql postgresql-contrib postgresql-server-dev-all
$ sudo apt install gcc
$ pip install psycopg2
$ sudo -u postgres -i
# Kreirajte novog korisnika: mlflow_user
[postgres@user_name~]$ createuser --interactive -P
Unesite ime uloge koju želite dodati: mlflow_user
Unesite lozinku za novu ulogu: mlflow
Ponovno unesite: mlflow
Da li nova uloga treba biti superuser? (y/n) n
Da li nova uloga smije kreirati baze podataka? (y/n) n
Da li nova uloga smije kreirati nove uloge? (y/n) n
# Kreirajte bazu podataka mlflow_bd u vlasništvu mlflow_user
$ createdb -O mlflow_user mlflow_dbZa pokretanje poslužitelja potrebno je instalirati sljedeće python pakete (preporučujem da stvorite posebno virtualno okruženje):
pip install mlflow
pip install pysftpPokrećemo naš poslužitelj
$ mlflow server
--backend-store-uri postgresql://mlflow_user:mlflow@localhost/mlflow_db
--default-artifact-root sftp://mlflowsftp:mlflow@sftp_host/upload
--host server_host
--port server_port2. Dodajemo praćenje
Kako bi rezultati naših treninga ostali sačuvani, buduće generacije programera razumjele što se dogodilo, a stariji kolege i vi mogli mirno analizirati proces učenja, potrebno je dodati praćenje. Pod praćenjem se podrazumijeva pohrana parametara, metrika, artefakata i bilo kojih dodatnih informacija o izvođenju učenja, u našem slučaju, na poslužitelju.
Kao primjer, stvorio sam mali na Kerasu za segmentaciju svega što se nalazi u . Za dodavanje praćenja, kreirao sam datoteku mlflow_training.py.
Evo redaka u kojima se događa najzanimljivije:
def run(self, epochs, lr, experiment_name):
# dobivanje id-a eksperimenta, kreiranje eksperimenta ukoliko ne postoji
remote_experiment_id = self.remote_server.get_experiment_id(name=experiment_name)
# kreiranje "pokretanja" i dobivanje njegovog id-a
remote_run_id = self.remote_server.get_run_id(remote_experiment_id)
# označavanje da želimo pohraniti rezultate na udaljenom poslužitelju
mlflow.set_tracking_uri(self.tracking_uri)
mlflow.set_experiment(experiment_name)
with mlflow.start_run(run_id=remote_run_id, nested=False):
mlflow.keras.autolog()
self.train_pipeline.train(lr=lr, epochs=epochs)
try:
self.log_tags_and_params(remote_run_id)
except mlflow.exceptions.RestException as e:
print(e)Ovdje self.remote_server predstavlja malu oblogu nad metodama mlflow.tracking. MlflowClient (napravio sam ga radi jednostavnosti), pomoću kojih kreiram eksperiment i pokretanje na serveru. Zatim naznačujem gdje bi rezultati pokretanja trebali biti usmjereni (mlflow.set_tracking_uri(self.tracking_uri)). Aktiviram automatsko logiranje mlflow.keras.autolog(). Trenutno MLflow Tracking podržava automatsko logiranje za TensorFlow, Keras, Gluon XGBoost, LightGBM, Spark. Ako niste pronašli svoj okvir ili biblioteku, uvijek možete logirati eksplicitno. Pokrećemo obuku. Registriramo oznake i ulazne parametre na udaljenom serveru.
Par redaka i vi, poput svih drugih željnih, imate pristup informacijama o svim pokretanjima. Cool?
3. Postavljamo projekt
Sada ćemo učiniti da pokretanje projekta bude jednostavno. Za to ćemo dodati datoteku MLproject i conda.yaml u korijen projekta.
MLproject
name: flow_segmentation
conda_env: conda.yaml
entry_points:
main:
parameters:
categories: {help: 'popis kategorija iz coco skupa podataka'}
epochs: {type: int, help: 'broj epoha u obuci'}
lr: {type: float, default: 0.001, help: 'stope učenja'}
batch_size: {type: int, default: 8}
model_name: {type: str, default: 'Unet', help: 'Unet, PSPNet, Linknet, FPN'}
backbone_name: {type: str, default: 'resnet18', help: 'primjer resnet18, resnet50, mobilenetv2 ...'}
tracking_uri: {type: str, help: 'adresa servera'}
experiment_name: {type: str, default: 'My_experiment', help: 'ime eksperimenta na udaljenom i lokalnom serveru'}
command: "python mlflow_training.py
--epochs={epochs}
--categories={categories}
--lr={lr}
--tracking_uri={tracking_uri}
--model_name={model_name}
--backbone_name={backbone_name}
--batch_size={batch_size}
--experiment_name={experiment_name}"MLflow Projekt ima nekoliko svojstava:
- Name — ime vašeg projekta;
- Environment — u mom slučaju conda_env ukazuje na to da se koristi Anaconda za pokretanje i opis ovisnosti se nalazi u datoteci conda.yaml;
- Entry Points — navodi koje datoteke i s kojim parametrima možemo pokrenuti (svi parametri tijekom inicijalizacije obuke se automatski logiraju)
conda.yaml
name: flow_segmentation
channels:
- defaults
- anaconda
dependencies:
- python==3.7
- pip:
- mlflow==1.8.0
- pysftp==0.2.9
- Cython==0.29.19
- numpy==1.18.4
- pycocotools==2.0.0
- requests==2.23.0
- matplotlib==3.2.1
- segmentation-models==1.0.1
- Keras==2.3.1
- imgaug==0.4.0
- tqdm==4.46.0
- tensorflow-gpu==1.14.0Kao runtime okruženje možete koristiti docker, za više detalja obratite se .
4. Pokrećemo obuku
Kloniramo projekt i odlazimo u direktorij projekta:
git clone https://github.com/simbakot/mlflow_example.git
cd mlflow_example/Za pokretanje trebate instalirati biblioteke
pip install mlflow
pip install pysftpBudući da u primjeru koristim conda_env, na vašem računaru treba biti instaliran Anaconda (ali to se može zaobići instaliranjem svih potrebnih paketa ručno i podešavanjem parametara pokretanja).
Svi pripremni koraci su završeni i možemo započeti sa pokretanjem obuke. Iz korijena projekta:
$ mlflow run -P epochs=10 -P categories=cat,dog -P tracking_uri=http://server_host:server_port .Nakon unosa komande, automatski će se stvoriti conda okruženje i započet će obuka.
U gornjem primjeru, proslijedio sam broj epoha za obuku, kategorije koje želimo segmentirati (cijeli popis možete pogledati ) i adresu našeg udaljenog servera.
Cijeli popis mogućih parametara možete pogledati u datoteci MLproject.
5. Ocjenjujemo rezultate obuke
Nakon završetka obuke, možemo otići u preglednik na adresu našeg servera

Ovdje vidimo popis svih eksperimenata (lijevo gore), kao i informacije o pokretanjima (u sredini). Možemo pogledati detaljnije informacije (parametre, metrike, artefakte i dodatne informacije) za svako pokretanje.

Za svaku metriku možemo pratiti povijest promjena.

Dakle, trenutno možemo analizirati rezultate u "ručnom" režimu, također možete postaviti automatsku validaciju pomoću MLflow API-a.
6. Registriramo model
Nakon što smo analizirali naš model i odlučili da je spreman za proizvodnju, prelazimo na njegovu registraciju. Za to biramo odgovarajuće pokretanje (kako je prikazano u prethodnoj točki) i idemo prema dolje.

Nakon što smo dali ime našem modelu, dobiva verziju. Kada se drugi model sa istim imenom sačuva, verzija će se automatski povećati.

Za svaki model možemo dodati opis i odabrati jedno od tri stanja (Staging, Production, Archived), a kasnije se putem API-a možemo obraćati tim stanjima, što uz verzioniranje pruža dodatnu fleksibilnost.

Također imamo jednostavan pristup svim modelima

i njihovim verzijama.

Kao i u prethodnoj točki, sve operacije mogu se izvršiti putem API-a.
7. Deployamo model
U ovoj fazi već imamo istrenirani (keras) model. Evo primjera kako ga možete koristiti:
class SegmentationModel:
def __init__(self, tracking_uri, model_name):
self.registry = RemoteRegistry(tracking_uri=tracking_uri)
self.model_name = model_name
self.model = self.build_model(model_name)
def get_latest_model(self, model_name):
registered_models = self.registry.get_registered_model(model_name)
last_model = self.registry.get_last_model(registered_models)
local_path = self.registry.download_artifact(last_model.run_id, 'model', '.\/')
return local_path
def build_model(self, model_name):
local_path = self.get_latest_model(model_name)
return mlflow.keras.load_model(local_path)
def predict(self, image):
image = self.preprocess(image)
result = self.model.predict(image)
return self.postprocess(result)
def preprocess(self, image):
image = cv2.resize(image, (256, 256))
image = image / 255.
image = np.expand_dims(image, 0)
return image
def postprocess(self, result):
return resultOvdje self.registry je ponovo mala omotnica oko mlflow.tracking.MlflowClient, radi lakše upotrebe. Bit je u tome da se obraćam udaljenom serveru i tražim model s navedenim imenom, a pritom, najnoviju produkcijsku verziju. Zatim preuzimam artefakt lokalno u mapu .\/model i sastavljam model iz te direktorije mlflow.keras.load_model(local_path). Sve, sada možemo koristiti naš model. CV (ML) programeri mogu se stalno baviti poboljšanjem modela i objavljivati nove verzije.
Za kraj
Predstavio sam sustav koji omogućava:
- centralizirano pohranjivanje informacija o ML modelima, napretku i rezultatima obuke;
- brzo postavljanje razvojne okoline;
- praćenje i analizu napretka rada na modelima;
- udobno upravljanje verzijama i stanjem modela;
- lako uvođenje dobivenih modela.
Ovaj primjer je samo demonstrativan i služi kao polazna točka za izgradnju vlastitog sustava, koji možda uključuje automatizaciju procjene rezultata i registraciju modela (točke 5 i 6) ili dodavanje verzioniranja skupova podataka, ili možda nešto drugo? Pokušao sam prenijeti misao da vam je potreban MLOps u globalu, MLflow je samo sredstvo za postizanje cilja.
Napišite koje probleme s kojima ste se sreli, a da nisam obradio?
Što biste dodali u sustav kako bi zadovoljio vaše potrebe?
Koje alate i pristupe koristite da biste riješili sve ili dio problema?
P.S. Ostavit ću nekoliko linkova:
github projekt —
MLflow —
Moja radna adresa e-pošte za pitanja — ikryakin@croc.ru
U našoj tvrtki povremeno se održavaju razna događanja za IT stručnjake, na primjer: 8. srpnja u 19:00 po MSK održat će se online meet-up o CV-u, ako vas zanima, možete sudjelovati, registracija. .
Izvor: habr.com
