🥇MLOps - कुक बुक, अध्याय 1

नमस्ते सबै! म CROC मा CV विकासकर्ता हुँ। हामीले CV को क्षेत्रमा 3 वर्षदेखि परियोजनाहरू कार्यान्वयन गर्दै आएका छौं। यस अवधिमा, हामीले धेरै कुराहरू गर्यौं, उदाहरणका लागि: हामीले ड्राइभरहरूलाई निगरानी गर्यौं ताकि ड्राइभिङ गर्दा उनीहरूले पिउने, धुम्रपान नगर्ने, फोनमा कुरा नगर्ने, सडकमा हेरे, र सपना वा बादलमा होइन। ; हामीले समर्पित लेनहरूमा ड्राइभ गर्ने र धेरै पार्किङ ठाउँहरू लिने व्यक्तिहरूलाई रेकर्ड गर्यौं। कामदारहरूले हेलमेट, पन्जा आदि लगाएका छन् भन्ने सुनिश्चित; सुविधामा प्रवेश गर्न चाहने कर्मचारीलाई पहिचान गरियो; हामीले सक्ने सबै कुरा गणना गर्यौं।

म यो सब के को लागी गर्दैछु?

परियोजनाहरू कार्यान्वयन गर्ने प्रक्रियामा, हामीले बम्पहरू, धेरै बम्पहरू, केही समस्याहरू जुन तपाईं परिचित हुनुहुन्छ वा भविष्यमा परिचित हुनुहुनेछ।

परिस्थितिको अनुकरण गरौं

कल्पना गरौं कि हामीले एउटा युवा कम्पनी "N" मा जागिर पायौं, जसका गतिविधिहरू ML सँग सम्बन्धित छन्। हामी ML (DL, CV) प्रोजेक्टमा काम गर्छौं, त्यसपछि कुनै कारणले हामी अर्को काममा जान्छौं, सामान्यतया विश्राम लिन्छौं, र आफ्नै वा अरू कसैको न्यूरोनमा फर्कन्छौं।

सत्यको क्षण आउँछ, तपाईंले कुनै न कुनै रूपमा सम्झनु पर्छ कि तपाईं कहाँ रोकिनुभयो, कुन हाइपरपेरामिटरहरू तपाईंले प्रयास गर्नुभयो र, सबैभन्दा महत्त्वपूर्ण कुरा, तिनीहरूले के परिणामहरू ल्याए। त्यहाँ सबै प्रक्षेपणहरूमा जानकारी भण्डारण गर्ने धेरै विकल्पहरू हुन सक्छन्: हेडमा, कन्फिगहरू, नोटप्याड, क्लाउडमा काम गर्ने वातावरणमा। मैले एउटा विकल्प देखेँ जब हाइपरपेरामिटरहरू कोडमा टिप्पणी गरिएका रेखाहरूको रूपमा भण्डारण गरिएको थियो, सामान्यतया, कल्पनाको उडान। अब कल्पना गर्नुहोस् कि तपाईं आफ्नो प्रोजेक्टमा होइन, तर कम्पनी छोड्ने व्यक्तिको प्रोजेक्टमा फर्कनुभयो र तपाईंले model_1.pb नामक कोड र मोडेल इनहेरिट गर्नुभयो। तस्विर पूरा गर्न र सबै पीडा व्यक्त गर्न, कल्पना गरौं कि तपाईं एक शुरुआती विशेषज्ञ पनि हुनुहुन्छ।
अघि बढ। कोड चलाउनको लागि, हामी र यसको साथ काम गर्ने सबैले वातावरण सिर्जना गर्न आवश्यक छ। यो अक्सर हुन्छ कि कुनै कारणले उहाँलाई हाम्रो उत्तराधिकारको रूपमा छोडेनन्। यो एक गैर-तुच्छ कार्य पनि हुन सक्छ। तपाइँ यस चरणमा समय बर्बाद गर्न चाहनुहुन्न, के तपाइँ?
हामी मोडेललाई तालिम दिन्छौं (उदाहरणका लागि, कार डिटेक्टर)। हामी बिन्दुमा पुग्छौं जहाँ यो धेरै राम्रो हुन्छ - यो परिणाम बचत गर्ने समय हो। यसलाई car_detection_v1.pb भनौं। त्यसपछि हामी अर्कोलाई तालिम दिन्छौं - car_detection_v2.pb। केही समय पछि, हाम्रा सहकर्मीहरू वा हामी आफैंले विभिन्न वास्तुकलाहरू प्रयोग गरेर धेरै र धेरै सिकाउँछौं। नतिजाको रूपमा, कलाकृतिहरूको गुच्छा बनाइन्छ, जसको बारेमा जानकारी धेरै मेहनतका साथ सङ्कलन गर्नुपर्छ (तर हामी यो पछि गर्नेछौं, किनभने अहिलेको लागि हामीसँग थप प्राथमिकताका विषयहरू छन्)।
ठिक छ अब सबै सकियो! हामीसँग एउटा मोडेल छ! के हामी अर्को मोडेलको प्रशिक्षण सुरु गर्न सक्छौं, नयाँ समस्या समाधान गर्न वास्तुकलाको विकास गर्न सक्छौं, वा चिया पिउन जान सक्छौं? अनि कसले खटाउने ?

समस्याहरूको पहिचान

परियोजना वा उत्पादनमा काम गर्नु धेरै मानिसहरूको काम हो। र समयको साथ, मानिसहरू छोडेर आउँछन्, त्यहाँ धेरै परियोजनाहरू छन्, र परियोजनाहरू आफैं थप जटिल हुन्छन्। एक तरिका वा अर्को, माथि वर्णन गरिएको चक्रबाट परिस्थितिहरू (र मात्र होइन) निश्चित संयोजनहरूमा पुनरावृत्ति देखि पुनरावृत्तिमा देखा पर्नेछ। यी सबै परिणामहरू बर्बाद समय, भ्रम, तंत्रिका, सम्भवतः ग्राहक असन्तुष्टि, र अन्ततः, पैसा गुमाउँछ। यद्यपि हामी सबै सामान्यतया उही पुरानो रेक पछ्याउँछौं, मलाई विश्वास छ कि कोही पनि यी पलहरूलाई बारम्बार पुन: प्राप्त गर्न चाहँदैनन्।

त्यसोभए, हामी एक विकास चक्रबाट गुज्र्यौं र हामी देख्छौं कि त्यहाँ समस्याहरू छन् जुन समाधान गर्न आवश्यक छ। यो गर्न को लागी तपाईलाई आवश्यक छ:

सजिलै संग काम परिणाम भण्डारण;
नयाँ कर्मचारीहरू समावेश गर्ने प्रक्रिया सरल बनाउनुहोस्;
एक विकास वातावरण तैनाती को प्रक्रिया सरल;
मोडेल संस्करण प्रक्रिया कन्फिगर;
मोडेल मान्य गर्न एक सुविधाजनक तरीका छ;
मोडेल राज्य व्यवस्थापन उपकरण फेला पार्नुहोस्;
उत्पादनमा मोडेलहरू डेलिभर गर्ने तरिका खोज्नुहोस्।

स्पष्ट रूपमा यो एक कार्यप्रवाहको साथ आउन आवश्यक छ जसले तपाईंलाई सजिलै र सुविधाजनक रूपमा यो जीवन चक्र व्यवस्थापन गर्न अनुमति दिन्छ? यो अभ्यास MLOps भनिन्छ

MLOps, वा मेसिन लर्निङका लागि DevOps ले डेटा विज्ञान र IT टोलीहरूलाई मेसिन लर्निङ मोडेलहरूको अनुगमन, प्रमाणीकरण, र शासनको माध्यमबाट मोडेल विकास र परिनियोजनको गतिलाई सहयोग गर्न र बढाउन अनुमति दिन्छ।

तिमी सक्छौ पढ्नगुगल साथीहरू यो सबैको बारेमा के सोच्छन्? लेखबाट यो स्पष्ट छ कि MLOps एकदम ठूलो कुरा हो।

मेरो लेखमा म प्रक्रियाको मात्र अंश वर्णन गर्नेछु। कार्यान्वयनको लागि, म MLflow उपकरण प्रयोग गर्नेछु, किनभने... यो एक खुला स्रोत परियोजना हो, जडान गर्न कोड को एक सानो मात्रा आवश्यक छ र लोकप्रिय एमएल फ्रेमवर्क संग एकीकरण छ। तपाईंले अन्य उपकरणहरू जस्तै कुबेफ्लो, सेजमेकर, ट्रेनहरू, इत्यादिका लागि इन्टरनेट खोज्न सक्नुहुन्छ, र सायद तपाईंको आवश्यकताहरू मिल्ने एउटा फेला पार्न सक्नुहुन्छ।

MLFlow उपकरण प्रयोग गर्ने उदाहरण प्रयोग गरेर "निर्माण" MLOps

एमएलफ्लो एमएल मोडेलहरूको जीवनचक्र व्यवस्थापनको लागि खुला स्रोत प्लेटफर्म हो (https://mlflow.org/).

MLflow मा चार घटकहरू समावेश छन्:

MLflow ट्र्याकिङ - रेकर्डिङ नतिजा र मापदण्डहरूको मुद्दाहरू समावेश गर्दछ जसले यो परिणामलाई निम्त्यायो;
MLflow परियोजना - तपाईंलाई कोड प्याकेज गर्न र यसलाई कुनै पनि प्लेटफर्ममा पुन: उत्पादन गर्न अनुमति दिन्छ;
MLflow मोडेलहरू - उत्पादनमा मोडेलहरू प्रयोग गर्न जिम्मेवार;
MLflow रजिस्ट्री - तपाईंलाई मोडेलहरू भण्डारण गर्न र केन्द्रीकृत भण्डारमा तिनीहरूको राज्य व्यवस्थापन गर्न अनुमति दिन्छ।

MLflow दुई संस्थाहरूमा सञ्चालन हुन्छ:

प्रक्षेपण तालिम, प्यारामिटर र मेट्रिक्सको पूर्ण चक्र हो जसद्वारा हामी दर्ता गर्न चाहन्छौं;
एक प्रयोग एक "विषय" हो जुन सँगै चल्छ।

उदाहरणका सबै चरणहरू Ubuntu 18.04 अपरेटिङ सिस्टममा लागू गरिएको छ।

1. सर्भर डिप्लोय गर्नुहोस्

हाम्रो परियोजनालाई सजिलै व्यवस्थापन गर्न र सबै आवश्यक जानकारी प्राप्त गर्नको लागि, हामी सर्भर तैनाथ गर्नेछौं। MLflow ट्र्याकिङ सर्भरमा दुई मुख्य कम्पोनेन्टहरू छन्:

ब्याकएन्ड स्टोर - दर्ता गरिएको मोडेलहरूको बारेमा जानकारी भण्डारण गर्न जिम्मेवार (4 DBMSs समर्थन गर्दछ: mysql, mssql, sqlite, र postgresql);
आर्टिफ्याक्ट स्टोर - कलाकृतिहरू भण्डारण गर्न जिम्मेवार (७ भण्डारण विकल्पहरूलाई समर्थन गर्दछ: Amazon S7, Azure Blob Storage, Google Cloud Storage, FTP सर्भर, SFTP सर्भर, NFS, HDFS)।

गुणस्तरमा कलाकृति स्टोर सरलताको लागि, एसएफटीपी सर्भर लिनुहोस्।

एउटा समूह सिर्जना गर्नुहोस्
```
$ sudo groupadd sftpg
```
प्रयोगकर्ता थप्नुहोस् र उनको लागि पासवर्ड सेट गर्नुहोस्
```
$ sudo useradd -g sftpg mlflowsftp
$ sudo passwd mlflowsftp 
```

पहुँच सेटिङहरूको एक जोडी समायोजन

$ sudo mkdir -p /data/mlflowsftp/upload
$ sudo chown -R root.sftpg /data/mlflowsftp
$ sudo chown -R mlflowsftp.sftpg /data/mlflowsftp/upload

/etc/ssh/sshd_config मा केहि लाइनहरू थप्नुहोस्
```
Match Group sftpg
 ChrootDirectory /data/%u
 ForceCommand internal-sftp
```
सेवा पुन: सुरु गर्नुहोस्
```
$ sudo systemctl restart sshd
```

गुणस्तरमा ब्याकइन्ड स्टोर postgresql लिऔं।

$ sudo apt update
$ sudo apt-get install -y postgresql postgresql-contrib postgresql-server-dev-all
$ sudo apt install gcc
$ pip install psycopg2
$ sudo -u postgres -i
# Create new user: mlflow_user
[postgres@user_name~]$ createuser --interactive -P
Enter name of role to add: mlflow_user
Enter password for new role: mlflow
Enter it again: mlflow
Shall the new role be a superuser? (y/n) n
Shall the new role be allowed to create databases? (y/n) n
Shall the new role be allowed to create more new roles? (y/n) n
# Create database mlflow_bd owned by mlflow_user
$ createdb -O mlflow_user mlflow_db

सर्भर सुरु गर्न, तपाईंले निम्न पाइथन प्याकेजहरू स्थापना गर्न आवश्यक छ (म एउटा छुट्टै भर्चुअल वातावरण सिर्जना गर्न सिफारिस गर्दछु):

pip install mlflow
pip install pysftp

हाम्रो सर्भर सुरु गरौं

$ mlflow server  
                 --backend-store-uri postgresql://mlflow_user:mlflow@localhost/mlflow_db 
                 --default-artifact-root sftp://mlflowsftp:mlflow@sftp_host/upload  
                --host server_host 
                --port server_port

2. ट्र्याकिङ थप्नुहोस्

हाम्रो तालिमको नतिजा हराउन नदिनको लागि, विकासकर्ताहरूको भावी पुस्ताले के भइरहेको थियो भनेर बुझ्नको लागि, र पुराना साथीहरू र तपाईंहरू शान्त रूपमा सिकाइ प्रक्रियाको विश्लेषण गर्न सक्षम हुनको लागि, हामीले ट्र्याकिङ थप्नु आवश्यक छ। ट्र्याकिङ भनेको प्यारामिटरहरू, मेट्रिक्स, कलाकृतिहरू र प्रशिक्षण सुरु गर्ने बारे कुनै पनि अतिरिक्त जानकारीहरू, हाम्रो अवस्थामा, सर्भरमा बचत गर्नु हो।

उदाहरणका लागि, मैले एउटा सानो सिर्जना गरें github मा परियोजना केरामा भएका सबै चीजहरू विभाजन गर्नका लागि COCO डाटासेट। ट्र्याकिङ थप्नको लागि, मैले mlflow_training.py फाइल सिर्जना गरें।

यहाँ रेखाहरू छन् जहाँ सबैभन्दा रोचक चीजहरू हुन्छन्:

def run(self, epochs, lr, experiment_name):
        # getting the id of the experiment, creating an experiment in its absence
        remote_experiment_id = self.remote_server.get_experiment_id(name=experiment_name)
        # creating a "run" and getting its id
        remote_run_id = self.remote_server.get_run_id(remote_experiment_id)

        # indicate that we want to save the results on a remote server
        mlflow.set_tracking_uri(self.tracking_uri)
        mlflow.set_experiment(experiment_name)

        with mlflow.start_run(run_id=remote_run_id, nested=False):
            mlflow.keras.autolog()
            self.train_pipeline.train(lr=lr, epochs=epochs)

        try:
            self.log_tags_and_params(remote_run_id)
        except mlflow.exceptions.RestException as e:
            print(e)

यहाँ self.remote_server mlflow.tracking विधिहरूमा एउटा सानो र्यापर हो। MlflowClient (मैले यसलाई सुविधाको लागि बनाएको छु), जसको मद्दतले मैले एउटा प्रयोग सिर्जना गर्छु र यसलाई सर्भरमा चलाउँछु। अर्को, म प्रक्षेपण परिणामहरू कहाँ मर्ज गरिनुपर्छ भन्ने संकेत गर्छु (mlflow.set_tracking_uri(self.tracking_uri))। म स्वचालित लगिङ mlflow.keras.autolog() सक्षम गर्छु। हाल MLflow ट्र्याकिङले TensorFlow, Keras, Gluon XGBoost, LightGBM, Spark को लागि स्वचालित लगिङलाई समर्थन गर्दछ। यदि तपाईंले आफ्नो ढाँचा वा पुस्तकालय फेला पार्नुभएन भने, तपाईं सधैं स्पष्ट रूपमा लग गर्न सक्नुहुन्छ। तालिम सुरु गर्दैछौं । रिमोट सर्भरमा ट्याग र इनपुट प्यारामिटरहरू दर्ता गर्नुहोस्।

केही लाइनहरू र तपाईं, अरू सबैजस्तै, सबै लन्चहरूको बारेमा जानकारीमा पहुँच छ। राम्रो?

3. हामी परियोजना कोर्छौं

अब परियोजना सुरु गर्न सजिलो बनाउनुहोस्। यो गर्नको लागि, परियोजना रूटमा MLproject र conda.yaml फाइल थप्नुहोस्।
ML परियोजना

name: flow_segmentation
conda_env: conda.yaml

entry_points:
  main:
    parameters:
        categories: {help: 'list of categories from coco dataset'}
        epochs: {type: int, help: 'number of epochs in training'}

        lr: {type: float, default: 0.001, help: 'learning rate'}
        batch_size: {type: int, default: 8}
        model_name: {type: str, default: 'Unet', help: 'Unet, PSPNet, Linknet, FPN'}
        backbone_name: {type: str, default: 'resnet18', help: 'exampe resnet18, resnet50, mobilenetv2 ...'}

        tracking_uri: {type: str, help: 'the server address'}
        experiment_name: {type: str, default: 'My_experiment', help: 'remote and local experiment name'}
    command: "python mlflow_training.py 
            --epochs={epochs}
            --categories={categories}
            --lr={lr}
            --tracking_uri={tracking_uri}
            --model_name={model_name}
            --backbone_name={backbone_name}
            --batch_size={batch_size}
            --experiment_name={experiment_name}"

MLflow परियोजना धेरै गुणहरू छन्:

नाम - आफ्नो परियोजना को नाम;
वातावरण - मेरो केसमा, conda_env ले एनाकोन्डा चलाउन प्रयोग गरिन्छ र निर्भरता विवरण conda.yaml फाइलमा रहेको संकेत गर्छ;
प्रविष्टि बिन्दुहरू - कुन फाइलहरू र कुन प्यारामिटरहरूसँग हामीले चलाउन सक्छौं भनेर संकेत गर्दछ (प्रशिक्षण सुरु गर्दा सबै प्यारामिटरहरू स्वचालित रूपमा लग हुन्छन्)

conda.yaml

name: flow_segmentation
channels:
  - defaults
  - anaconda
dependencies:
  - python==3.7
  - pip:
    - mlflow==1.8.0
    - pysftp==0.2.9
    - Cython==0.29.19
    - numpy==1.18.4
    - pycocotools==2.0.0
    - requests==2.23.0
    - matplotlib==3.2.1
    - segmentation-models==1.0.1
    - Keras==2.3.1
    - imgaug==0.4.0
    - tqdm==4.46.0
    - tensorflow-gpu==1.14.0

तपाईं आफ्नो रनटाइम वातावरणको रूपमा डकर प्रयोग गर्न सक्नुहुन्छ, थप विवरणहरूको लागि कृपया सन्दर्भ गर्नुहोस् कागजात.

४. तालिम सुरु गरौं

हामी प्रोजेक्ट क्लोन गर्छौं र प्रोजेक्ट डाइरेक्टरीमा जान्छौं:

git clone https://github.com/simbakot/mlflow_example.git
cd mlflow_example/

चलाउनको लागि तपाईंले पुस्तकालयहरू स्थापना गर्न आवश्यक छ

pip install mlflow
pip install pysftp

किनभने उदाहरणमा म conda_env प्रयोग गर्छु, Anaconda तपाइँको कम्प्युटरमा स्थापित हुनुपर्छ (तर तपाइँ सबै आवश्यक प्याकेजहरू आफैं स्थापना गरेर र लन्च प्यारामिटरहरूसँग खेलेर यसको वरिपरि प्राप्त गर्न सक्नुहुन्छ)।

सबै तयारी चरणहरू पूरा भएका छन् र हामी प्रशिक्षण सुरु गर्न सुरु गर्न सक्छौं। परियोजनाको मूलबाट:

$ mlflow run -P epochs=10 -P categories=cat,dog -P tracking_uri=http://server_host:server_port .

आदेश प्रविष्ट गरेपछि, कन्डा वातावरण स्वचालित रूपमा सिर्जना हुनेछ र प्रशिक्षण सुरु हुनेछ।
माथिको उदाहरणमा, मैले प्रशिक्षणको लागि युगहरूको संख्या पार गरें, जुन कोटिहरूमा हामी खण्ड गर्न चाहन्छौं (तपाईंले पूरा सूची हेर्न सक्नुहुन्छ। यहाँ) र हाम्रो रिमोट सर्भरको ठेगाना।
सम्भावित प्यारामिटरहरूको पूर्ण सूची MLproject फाइलमा फेला पार्न सकिन्छ।

5. सिकाइ परिणामहरूको मूल्याङ्कन गर्नुहोस्

प्रशिक्षण पूरा गरेपछि, हामी ब्राउजरमा हाम्रो सर्भरको ठेगानामा जान सक्छौं http://server_host:server_port

यहाँ हामी सबै प्रयोगहरूको सूची (शीर्ष बायाँ), साथै रन (मध्य) मा जानकारी देख्छौं। हामी प्रत्येक प्रक्षेपणको लागि थप विस्तृत जानकारी (प्यारामिटरहरू, मेट्रिक्स, कलाकृतिहरू र केही थप जानकारी) हेर्न सक्छौं।

प्रत्येक मेट्रिकको लागि हामी परिवर्तनहरूको इतिहास अवलोकन गर्न सक्छौं

ती। यस समयमा, हामी "म्यानुअल" मोडमा परिणामहरू विश्लेषण गर्न सक्छौं, र तपाईंले MLflow API प्रयोग गरेर स्वचालित प्रमाणीकरण पनि सेट अप गर्न सक्नुहुन्छ।

6. मोडेल दर्ता गर्नुहोस्

हामीले हाम्रो मोडेलको विश्लेषण गरिसकेपछि र यो युद्धको लागि तयार छ भनेर निर्णय गरेपछि, हामी यसलाई दर्ता गर्न अगाडि बढ्छौं, यसका लागि हामी हामीलाई आवश्यक प्रक्षेपण चयन गर्छौं (जस्तै अघिल्लो अनुच्छेदमा देखाइएको छ) र तल जान्छौं।

हामीले हाम्रो मोडेललाई नाम दिएपछि, यसको एउटा संस्करण हुन्छ। यदि तपाईंले उही नामको अर्को मोडेल बचत गर्नुभयो भने, संस्करण स्वतः अपग्रेड हुनेछ।

प्रत्येक मोडेलको लागि, हामी विवरण थप्न सक्छौं र तीन राज्यहरू मध्ये एउटा चयन गर्न सक्छौं (स्टेजिङ, उत्पादन, अभिलेख); पछि, एपीआई प्रयोग गरेर, हामी यी राज्यहरूमा पहुँच गर्न सक्छौं, जुन संस्करणको साथमा, थप लचिलोपन प्रदान गर्दछ।

हामीसँग सबै मोडेलहरूमा सजिलो पहुँच पनि छ

र तिनीहरूका संस्करणहरू

अघिल्लो अनुच्छेदमा जस्तै, सबै कार्यहरू API प्रयोग गरेर गर्न सकिन्छ।

7. मोडेल प्रयोग गर्नुहोस्

यस चरणमा, हामीसँग पहिले नै प्रशिक्षित (केरा) मोडेल छ। तपाइँ यसलाई कसरी प्रयोग गर्न सक्नुहुन्छ भन्ने उदाहरण:

class SegmentationModel:
    def __init__(self, tracking_uri, model_name):

        self.registry = RemoteRegistry(tracking_uri=tracking_uri)
        self.model_name = model_name
        self.model = self.build_model(model_name)

    def get_latest_model(self, model_name):
        registered_models = self.registry.get_registered_model(model_name)
        last_model = self.registry.get_last_model(registered_models)
        local_path = self.registry.download_artifact(last_model.run_id, 'model', './')
        return local_path

    def build_model(self, model_name):
        local_path = self.get_latest_model(model_name)

        return mlflow.keras.load_model(local_path)

    def predict(self, image):
        image = self.preprocess(image)
        result = self.model.predict(image)
        return self.postprocess(result)

    def preprocess(self, image):
        image = cv2.resize(image, (256, 256))
        image = image / 255.
        image = np.expand_dims(image, 0)
        return image

    def postprocess(self, result):
        return result

यहाँ self.registry सुविधाको लागि mlflow.tracking.MlflowClient मा फेरि एउटा सानो र्यापर हो। बिन्दु यो हो कि म रिमोट सर्भर पहुँच गर्छु र निर्दिष्ट नाम र नवीनतम उत्पादन संस्करणको साथ त्यहाँ मोडेल खोज्छु। अर्को, म कलाकृतिलाई स्थानीय रूपमा ./model फोल्डरमा डाउनलोड गर्छु र यस डाइरेक्टरी mlflow.keras.load_model(local_path) बाट मोडेल बनाउँछु। अब हामी हाम्रो मोडेल प्रयोग गर्न सक्छौं। CV (ML) विकासकर्ताहरूले सजिलै मोडेल सुधार गर्न र नयाँ संस्करणहरू प्रकाशित गर्न सक्छन्।

निष्कर्षमा

मैले एउटा प्रणाली प्रस्तुत गरे जसले अनुमति दिन्छ:

केन्द्रीय रूपमा ML मोडेल, प्रशिक्षण प्रगति र परिणाम बारे जानकारी भण्डारण;
चाँडै एक विकास वातावरण तैनात;
अनुगमन र मोडेल मा काम को प्रगति विश्लेषण;
यो मोडेल को स्थिति संस्करण र व्यवस्थापन गर्न सुविधाजनक छ;
नतिजा मोडेलहरू प्रयोग गर्न सजिलो छ।

यो उदाहरण एउटा खेलौना हो र तपाइँको आफ्नै प्रणाली निर्माणको लागि सुरूवात बिन्दुको रूपमा कार्य गर्दछ, जसमा परिणामहरूको मूल्याङ्कन र मोडेलहरूको दर्ता (क्रमशः अंक 5 र 6) को स्वचालन समावेश हुन सक्छ वा तपाइँ डेटासेटहरूको संस्करण थप्नुहुनेछ, वा हुनसक्छ अरू केहि? मैले बनाउन खोजेको बिन्दु यो हो कि तपाईलाई समग्र रूपमा MLOps चाहिन्छ, MLflow केवल अन्त्यको माध्यम हो।

मैले देखाउन नपाएको समस्या के कस्ता समस्याहरू लेख्नुहोस्?
तपाइँको आवश्यकताहरू पूरा गर्न प्रणालीमा के थप्नुहुन्छ?
सबै वा आंशिक समस्याहरू समाधान गर्न तपाईं कुन उपकरण र दृष्टिकोणहरू प्रयोग गर्नुहुन्छ?

PS म केहि लिङ्कहरू छोड्नेछु:
github परियोजना - https://github.com/simbakot/mlflow_example
MLflow - https://mlflow.org/
प्रश्नहरूको लागि मेरो काम इमेल - [ईमेल सुरक्षित]

हाम्रो कम्पनीले आवधिक रूपमा IT विशेषज्ञहरूका लागि विभिन्न कार्यक्रमहरू आयोजना गर्दछ, उदाहरणका लागि: जुलाई 8 मा 19:00 मस्को समय एक अनलाइन ढाँचामा CV भेट हुनेछ, यदि तपाइँ इच्छुक हुनुहुन्छ भने, तपाइँ भाग लिन सक्नुहुन्छ, दर्ता। यहाँ .

स्रोत: www.habr.com

MLOps - कुक पुस्तक, अध्याय 1