🥇MLOps - कुक बुक, धडा 1 | प्रोहोस्टर

सर्वांना नमस्कार! मी CROC मध्ये CV डेव्हलपर आहे. आम्ही आता 3 वर्षांपासून सीव्ही क्षेत्रात प्रकल्प राबवत आहोत. या काळात, आम्ही बर्‍याच गोष्टी केल्या, उदाहरणार्थ: आम्ही ड्रायव्हर्सचे निरीक्षण केले जेणेकरून वाहन चालवताना त्यांनी मद्यपान केले नाही, धुम्रपान केले नाही, फोनवर बोलले नाही, रस्त्याकडे पाहिले आणि स्वप्ने किंवा ढगांकडे नाही. ; आम्ही अशा लोकांची नोंद केली जे समर्पित लेनमध्ये वाहन चालवतात आणि अनेक पार्किंग जागा घेतात; कामगारांनी हेल्मेट, हातमोजे इत्यादी परिधान केले आहेत याची खात्री केली; सुविधेत प्रवेश करू इच्छिणारा कर्मचारी ओळखला; आम्ही जे काही करू शकतो ते मोजले.

मी हे सर्व कशासाठी करत आहे?

प्रकल्पांच्या अंमलबजावणीच्या प्रक्रियेत, आम्हाला अडथळे येतात, बरेच अडथळे येतात, काही समस्या ज्या तुम्हाला एकतर परिचित आहेत किंवा भविष्यात परिचित होतील.

चला परिस्थितीचे अनुकरण करूया

चला कल्पना करूया की आम्हाला एका तरुण कंपनी "N" मध्ये नोकरी मिळाली आहे, जिच्या क्रियाकलाप ML शी संबंधित आहेत. आम्ही ML (DL, CV) प्रकल्पावर काम करतो, नंतर काही कारणास्तव आम्ही दुसर्‍या नोकरीवर स्विच करतो, सामान्यतः विश्रांती घेतो आणि आमच्या स्वतःच्या किंवा इतर कोणाच्या न्यूरॉनकडे परत जातो.

सत्याचा क्षण येतो, आपण कुठे थांबलात, आपण कोणत्या हायपरपॅरामीटर्सचा प्रयत्न केला आणि सर्वात महत्त्वाचे म्हणजे त्यांचे परिणाम काय झाले हे आपल्याला कसे तरी लक्षात ठेवणे आवश्यक आहे. सर्व लॉन्चवर माहिती कोणी संग्रहित केली यासाठी बरेच पर्याय असू शकतात: हेडमध्ये, कॉन्फिगरेशन्स, नोटपॅड, क्लाउडमध्ये कार्यरत वातावरणात. मला एक पर्याय दिसला जेव्हा हायपरपॅरामीटर कोडमध्ये टिप्पणी केलेल्या ओळी म्हणून संग्रहित केले जातात, सर्वसाधारणपणे, फॅन्सी फ्लाइट. आता कल्पना करा की तुम्ही तुमच्या प्रोजेक्टवर नाही तर कंपनी सोडलेल्या व्यक्तीच्या प्रोजेक्टवर परत आला आहात आणि तुम्हाला model_1.pb नावाचा कोड आणि मॉडेल वारसा मिळाला आहे. चित्र पूर्ण करण्यासाठी आणि सर्व वेदना सांगण्यासाठी, आपण एक नवशिक्या तज्ञ देखील आहात याची कल्पना करूया.
पुढे जा. कोड चालवण्‍यासाठी, आम्‍ही आणि त्‍यासोबत काम करणार्‍या प्रत्येकाला वातावरण तयार करण्‍याची आवश्‍यकता आहे. असे अनेकदा घडते की काही कारणास्तव त्यांनी त्याला आमचा वारसा म्हणून सोडले नाही. हे एक क्षुल्लक कार्य देखील होऊ शकते. तुम्हाला या पायरीवर वेळ वाया घालवायचा नाही, नाही का?
आम्ही मॉडेल प्रशिक्षित करतो (उदाहरणार्थ, कार डिटेक्टर). आम्ही त्या बिंदूवर पोहोचतो जिथे ते खूप चांगले होते - निकाल जतन करण्याची वेळ आली आहे. चला याला car_detection_v1.pb म्हणू या. मग आम्ही आणखी एक प्रशिक्षण देतो - car_detection_v2.pb. काही काळानंतर, आमचे सहकारी किंवा आम्ही स्वतः विविध वास्तुकला वापरून अधिकाधिक शिकवतो. परिणामी, कलाकृतींचा एक समूह तयार होतो, ज्याची माहिती परिश्रमपूर्वक संकलित केली जाणे आवश्यक आहे (परंतु आम्ही हे नंतर करू, कारण सध्या आमच्याकडे अधिक प्राधान्य बाबी आहेत).
ठीक आहे आता सर्व संपले आहे! आमच्याकडे एक मॉडेल आहे! आपण पुढील मॉडेलचे प्रशिक्षण सुरू करू शकतो, नवीन समस्या सोडवण्यासाठी आर्किटेक्चर विकसित करू शकतो किंवा आपण चहा घेऊ शकतो? आणि कोण तैनात करणार?

समस्या ओळखणे

एखाद्या प्रकल्पावर किंवा उत्पादनावर काम करणे हे अनेक लोकांचे काम असते. आणि कालांतराने, लोक निघून जातात आणि येतात, तेथे अधिक प्रकल्प आहेत आणि प्रकल्प स्वतःच अधिक जटिल बनतात. एक किंवा दुसर्या प्रकारे, वर वर्णन केलेल्या चक्रातील परिस्थिती (आणि केवळ नाही) विशिष्ट संयोजनांमध्ये पुनरावृत्तीपासून पुनरावृत्तीपर्यंत उद्भवतील. या सर्वांचा परिणाम वेळ वाया जातो, गोंधळ होतो, मज्जातंतू, शक्यतो ग्राहक असंतोष आणि शेवटी, पैसे गमावतात. जरी आपण सर्व सामान्यतः त्याच जुन्या रेकचे अनुसरण करत असलो तरी, माझा विश्वास आहे की हे क्षण पुन्हा पुन्हा जगू इच्छित नाहीत.

तर, आम्ही एका विकासाच्या चक्रातून गेलो आहोत आणि आम्ही पाहतो की काही समस्या आहेत ज्या सोडवणे आवश्यक आहे. हे करण्यासाठी आपल्याला आवश्यक आहे:

कामाचे परिणाम सोयीस्करपणे संग्रहित करा;
नवीन कर्मचार्‍यांचा समावेश करण्याची प्रक्रिया सोपी करा;
विकास वातावरण तैनात करण्याची प्रक्रिया सुलभ करा;
मॉडेल आवृत्ती प्रक्रिया कॉन्फिगर करा;
मॉडेल सत्यापित करण्यासाठी एक सोयीस्कर मार्ग आहे;
मॉडेल राज्य व्यवस्थापन साधन शोधा;
उत्पादनासाठी मॉडेल वितरीत करण्याचा मार्ग शोधा.

वरवर पाहता कार्यप्रवाहासह येणे आवश्यक आहे जे आपल्याला हे जीवन चक्र सहज आणि सोयीस्करपणे व्यवस्थापित करण्यास अनुमती देईल? या प्रथेला MLOps म्हणतात

मशीन लर्निंगसाठी MLOps, किंवा DevOps, डेटा सायन्स आणि IT टीमना मशिन लर्निंग मॉडेल्ससाठी मॉनिटरिंग, व्हॅलिडेशन आणि गव्हर्नन्सद्वारे मॉडेल डेव्हलपमेंट आणि डिप्लॉयमेंटची गती वाढवण्याची परवानगी देते.

आपण हे करू शकता वाचाया सगळ्याबद्दल गुगलवाल्यांना काय वाटतं? लेखावरून हे स्पष्ट होते की MLOps ही एक मोठी गोष्ट आहे.

पुढे माझ्या लेखात मी प्रक्रियेचा फक्त एक भाग वर्णन करेन. अंमलबजावणीसाठी, मी MLflow टूल वापरेन, कारण... हा एक मुक्त-स्रोत प्रकल्प आहे, कनेक्ट करण्यासाठी थोड्या प्रमाणात कोड आवश्यक आहे आणि लोकप्रिय एमएल फ्रेमवर्कसह एकत्रीकरण आहे. तुम्ही कुबेफ्लो, सेजमेकर, ट्रेन्स इत्यादी सारख्या इतर साधनांसाठी इंटरनेटवर शोधू शकता आणि कदाचित तुमच्या गरजा पूर्ण करणारे एखादे शोधू शकता.

MLFlow टूल वापरण्याचे उदाहरण वापरून "बिल्डिंग" MLOps

एमएलफ्लो हे एमएल मॉडेल्स (https://mlflow.org/).

MLflow मध्ये चार घटक समाविष्ट आहेत:

MLflow ट्रॅकिंग - रेकॉर्डिंग परिणाम आणि पॅरामीटर्सच्या समस्यांचा समावेश करते ज्यामुळे हा परिणाम झाला;
एमएलफ्लो प्रोजेक्ट - तुम्हाला कोड पॅकेज करण्याची आणि कोणत्याही प्लॅटफॉर्मवर त्याचे पुनरुत्पादन करण्याची परवानगी देते;
एमएलफ्लो मॉडेल्स - उत्पादनासाठी मॉडेल्स तैनात करण्यासाठी जबाबदार;
MLflow Registry - तुम्हाला मॉडेल्स स्टोअर करण्याची आणि त्यांची स्थिती केंद्रीकृत रेपॉजिटरीमध्ये व्यवस्थापित करण्याची परवानगी देते.

MLflow दोन संस्थांवर कार्य करते:

प्रक्षेपण हे प्रशिक्षण, पॅरामीटर्स आणि मेट्रिक्सचे संपूर्ण चक्र आहे ज्याद्वारे आम्ही नोंदणी करू इच्छितो;
प्रयोग हा एक "विषय" आहे जो एकत्र चालतो.

उदाहरणाच्या सर्व पायऱ्या उबंटू 18.04 ऑपरेटिंग सिस्टमवर लागू केल्या आहेत.

1. सर्व्हर उपयोजित करा

आम्हाला आमचा प्रकल्प सहजपणे व्यवस्थापित करण्यासाठी आणि सर्व आवश्यक माहिती प्राप्त करण्यासाठी, आम्ही एक सर्व्हर तैनात करू. MLflow ट्रॅकिंग सर्व्हरमध्ये दोन मुख्य घटक आहेत:

बॅकएंड स्टोअर - नोंदणीकृत मॉडेल्सबद्दल माहिती संचयित करण्यासाठी जबाबदार (4 DBMS चे समर्थन करते: mysql, mssql, sqlite, आणि postgresql);
आर्टिफॅक्ट स्टोअर - आर्टिफॅक्ट्स स्टोअर करण्यासाठी जबाबदार (7 स्टोरेज पर्यायांना समर्थन देते: Amazon S3, Azure Blob Storage, Google Cloud Storage, FTP सर्व्हर, SFTP सर्व्हर, NFS, HDFS).

म्हणून आर्टिफॅक्ट स्टोअर साधेपणासाठी, एक sftp सर्व्हर घेऊ.

एक गट तयार करा
```
$ sudo groupadd sftpg
```
वापरकर्ता जोडा आणि त्याच्यासाठी पासवर्ड सेट करा
```
$ sudo useradd -g sftpg mlflowsftp
$ sudo passwd mlflowsftp 
```

दोन प्रवेश सेटिंग्ज समायोजित करत आहे

$ sudo mkdir -p /data/mlflowsftp/upload
$ sudo chown -R root.sftpg /data/mlflowsftp
$ sudo chown -R mlflowsftp.sftpg /data/mlflowsftp/upload

/etc/ssh/sshd_config मध्ये काही ओळी जोडा
```
Match Group sftpg
 ChrootDirectory /data/%u
 ForceCommand internal-sftp
```
सेवा पुन्हा सुरू करा
```
$ sudo systemctl restart sshd
```

म्हणून बॅकएंड स्टोअर चला postgresql घेऊ.

$ sudo apt update
$ sudo apt-get install -y postgresql postgresql-contrib postgresql-server-dev-all
$ sudo apt install gcc
$ pip install psycopg2
$ sudo -u postgres -i
# Create new user: mlflow_user
[postgres@user_name~]$ createuser --interactive -P
Enter name of role to add: mlflow_user
Enter password for new role: mlflow
Enter it again: mlflow
Shall the new role be a superuser? (y/n) n
Shall the new role be allowed to create databases? (y/n) n
Shall the new role be allowed to create more new roles? (y/n) n
# Create database mlflow_bd owned by mlflow_user
$ createdb -O mlflow_user mlflow_db

सर्व्हर सुरू करण्यासाठी, तुम्हाला खालील पायथन पॅकेजेस स्थापित करणे आवश्यक आहे (मी एक वेगळे आभासी वातावरण तयार करण्याची शिफारस करतो):

pip install mlflow
pip install pysftp

चला आमचा सर्व्हर सुरू करूया

$ mlflow server  
                 --backend-store-uri postgresql://mlflow_user:mlflow@localhost/mlflow_db 
                 --default-artifact-root sftp://mlflowsftp:mlflow@sftp_host/upload  
                --host server_host 
                --port server_port

2. ट्रॅकिंग जोडा

आमच्या प्रशिक्षणाचे परिणाम गमावले जाऊ नयेत, विकासकांच्या भावी पिढ्यांना काय घडत आहे हे समजण्यासाठी आणि वृद्ध कॉम्रेड आणि तुम्ही शांतपणे शिकण्याच्या प्रक्रियेचे विश्लेषण करण्यास सक्षम होण्यासाठी, आम्हाला ट्रॅकिंग जोडणे आवश्यक आहे. ट्रॅकिंग म्हणजे पॅरामीटर्स, मेट्रिक्स, कलाकृती आणि प्रशिक्षण सुरू झाल्याबद्दल कोणतीही अतिरिक्त माहिती, आमच्या बाबतीत, सर्व्हरवर सेव्ह करणे.

उदाहरणार्थ, मी एक लहान तयार केले github वर प्रकल्प जे काही आहे ते विभागण्यासाठी Keras वर COCO डेटासेट. ट्रॅकिंग जोडण्यासाठी, मी mlflow_training.py फाइल तयार केली आहे.

येथे अशा ओळी आहेत जिथे सर्वात मनोरंजक गोष्टी घडतात:

def run(self, epochs, lr, experiment_name):
        # getting the id of the experiment, creating an experiment in its absence
        remote_experiment_id = self.remote_server.get_experiment_id(name=experiment_name)
        # creating a "run" and getting its id
        remote_run_id = self.remote_server.get_run_id(remote_experiment_id)

        # indicate that we want to save the results on a remote server
        mlflow.set_tracking_uri(self.tracking_uri)
        mlflow.set_experiment(experiment_name)

        with mlflow.start_run(run_id=remote_run_id, nested=False):
            mlflow.keras.autolog()
            self.train_pipeline.train(lr=lr, epochs=epochs)

        try:
            self.log_tags_and_params(remote_run_id)
        except mlflow.exceptions.RestException as e:
            print(e)

येथे self.remote_server हे mlflow.tracking पद्धतींवर एक लहान आवरण आहे. MlflowClient (मी ते सोयीसाठी बनवले आहे), ज्याच्या मदतीने मी एक प्रयोग तयार करतो आणि सर्व्हरवर चालवतो. पुढे, मी सूचित करतो की लाँच परिणाम कुठे विलीन केले जावेत (mlflow.set_tracking_uri(self.tracking_uri)). मी स्वयंचलित लॉगिंग mlflow.keras.autolog() सक्षम करतो. सध्या MLflow ट्रॅकिंग TensorFlow, Keras, Gluon XGBoost, LightGBM, Spark साठी स्वयंचलित लॉगिंगला समर्थन देते. जर तुम्हाला तुमची फ्रेमवर्क किंवा लायब्ररी सापडली नसेल, तर तुम्ही नेहमी स्पष्टपणे लॉग इन करू शकता. आम्ही प्रशिक्षण सुरू करत आहोत. रिमोट सर्व्हरवर टॅग आणि इनपुट पॅरामीटर्सची नोंदणी करा.

काही ओळी आणि तुम्हाला, इतर सर्वांप्रमाणेच, सर्व लाँचच्या माहितीमध्ये प्रवेश आहे. मस्त?

3. आम्ही प्रकल्प काढतो

आता प्रकल्प सुरू करणे सोपे करूया. हे करण्यासाठी, प्रोजेक्ट रूटमध्ये MLproject आणि conda.yaml फाईल जोडा.
एमएलप्रोजेक्ट

name: flow_segmentation
conda_env: conda.yaml

entry_points:
  main:
    parameters:
        categories: {help: 'list of categories from coco dataset'}
        epochs: {type: int, help: 'number of epochs in training'}

        lr: {type: float, default: 0.001, help: 'learning rate'}
        batch_size: {type: int, default: 8}
        model_name: {type: str, default: 'Unet', help: 'Unet, PSPNet, Linknet, FPN'}
        backbone_name: {type: str, default: 'resnet18', help: 'exampe resnet18, resnet50, mobilenetv2 ...'}

        tracking_uri: {type: str, help: 'the server address'}
        experiment_name: {type: str, default: 'My_experiment', help: 'remote and local experiment name'}
    command: "python mlflow_training.py 
            --epochs={epochs}
            --categories={categories}
            --lr={lr}
            --tracking_uri={tracking_uri}
            --model_name={model_name}
            --backbone_name={backbone_name}
            --batch_size={batch_size}
            --experiment_name={experiment_name}"

एमएलफ्लो प्रोजेक्टमध्ये अनेक गुणधर्म आहेत:

नाव - आपल्या प्रकल्पाचे नाव;
पर्यावरण - माझ्या बाबतीत, conda_env सूचित करते की अॅनाकोंडा चालवण्यासाठी वापरला जातो आणि अवलंबित्व वर्णन conda.yaml फाइलमध्ये आहे;
एंट्री पॉइंट्स - कोणत्या फाइल्स आणि कोणत्या पॅरामीटर्ससह आम्ही चालवू शकतो हे सूचित करते (प्रशिक्षण सुरू करताना सर्व पॅरामीटर्स स्वयंचलितपणे लॉग केले जातात)

conda.yaml

name: flow_segmentation
channels:
  - defaults
  - anaconda
dependencies:
  - python==3.7
  - pip:
    - mlflow==1.8.0
    - pysftp==0.2.9
    - Cython==0.29.19
    - numpy==1.18.4
    - pycocotools==2.0.0
    - requests==2.23.0
    - matplotlib==3.2.1
    - segmentation-models==1.0.1
    - Keras==2.3.1
    - imgaug==0.4.0
    - tqdm==4.46.0
    - tensorflow-gpu==1.14.0

तुम्ही तुमचे रनटाइम वातावरण म्हणून डॉकर वापरू शकता, अधिक तपशीलांसाठी कृपया पहा दस्तऐवजीकरण.

4. चला प्रशिक्षण सुरू करूया

आम्ही प्रकल्प क्लोन करतो आणि प्रकल्प निर्देशिकेवर जातो:

git clone https://github.com/simbakot/mlflow_example.git
cd mlflow_example/

चालवण्यासाठी तुम्हाला लायब्ररी स्थापित करणे आवश्यक आहे

pip install mlflow
pip install pysftp

कारण मी conda_env वापरत असलेल्या उदाहरणात, तुमच्या संगणकावर अॅनाकोंडा स्थापित करणे आवश्यक आहे (परंतु तुम्ही सर्व आवश्यक पॅकेजेस स्वतः स्थापित करून आणि लॉन्च पॅरामीटर्ससह खेळून हे मिळवू शकता).

सर्व तयारीचे टप्पे पूर्ण झाले आहेत आणि आम्ही प्रशिक्षण सुरू करू शकतो. प्रकल्प रूट पासून:

$ mlflow run -P epochs=10 -P categories=cat,dog -P tracking_uri=http://server_host:server_port .

कमांड प्रविष्ट केल्यानंतर, एक कॉन्डा वातावरण आपोआप तयार होईल आणि प्रशिक्षण सुरू होईल.
वरील उदाहरणात, मी प्रशिक्षणासाठी युगांची संख्या उत्तीर्ण केली आहे, ज्या श्रेणींमध्ये आम्हाला विभागायचे आहे (आपण संपूर्ण यादी पाहू शकता येथे) आणि आमच्या रिमोट सर्व्हरचा पत्ता.
संभाव्य पॅरामीटर्सची संपूर्ण यादी MLproject फाइलमध्ये आढळू शकते.

5. शिकण्याच्या परिणामांचे मूल्यांकन करा

प्रशिक्षण पूर्ण केल्यानंतर, आम्ही ब्राउझरमध्ये आमच्या सर्व्हरच्या पत्त्यावर जाऊ शकतो http://server_host:server_port

येथे आपण सर्व प्रयोगांची सूची (वर डावीकडे), तसेच धावांची माहिती (मध्यभागी) पाहतो. आम्ही प्रत्येक प्रक्षेपणासाठी अधिक तपशीलवार माहिती (मापदंड, मेट्रिक्स, कलाकृती आणि काही अतिरिक्त माहिती) पाहू शकतो.

प्रत्येक मेट्रिकसाठी आपण बदलांचा इतिहास पाहू शकतो

त्या. याक्षणी, आम्ही "मॅन्युअल" मोडमध्ये परिणामांचे विश्लेषण करू शकतो आणि तुम्ही MLflow API वापरून स्वयंचलित प्रमाणीकरण देखील सेट करू शकता.

6. मॉडेलची नोंदणी करा

आम्ही आमच्या मॉडेलचे विश्लेषण केल्यानंतर आणि ते युद्धासाठी तयार असल्याचे ठरवल्यानंतर, आम्ही ते नोंदणी करण्यास पुढे जाऊ, यासाठी आम्ही आम्हाला आवश्यक असलेले प्रक्षेपण निवडतो (मागील परिच्छेदात दर्शविल्याप्रमाणे) आणि खाली जातो.

आम्ही आमच्या मॉडेलला नाव दिल्यानंतर, त्याची एक आवृत्ती असते. तुम्ही त्याच नावाचे दुसरे मॉडेल सेव्ह केल्यास, आवृत्ती आपोआप अपग्रेड केली जाईल.

प्रत्येक मॉडेलसाठी, आम्ही वर्णन जोडू शकतो आणि तीन अवस्थांपैकी एक निवडू शकतो (स्टेजिंग, उत्पादन, संग्रहित); त्यानंतर, API वापरून, आम्ही या स्थितींमध्ये प्रवेश करू शकतो, जे आवृत्तीसह, अतिरिक्त लवचिकता प्रदान करते.

आमच्याकडे सर्व मॉडेल्समध्ये सहज प्रवेश आहे

आणि त्यांच्या आवृत्त्या

मागील परिच्छेदाप्रमाणे, सर्व ऑपरेशन API वापरून केले जाऊ शकतात.

7. मॉडेल तैनात करा

या टप्प्यावर, आमच्याकडे आधीपासूनच प्रशिक्षित (केरा) मॉडेल आहे. आपण ते कसे वापरू शकता याचे उदाहरणः

class SegmentationModel:
    def __init__(self, tracking_uri, model_name):

        self.registry = RemoteRegistry(tracking_uri=tracking_uri)
        self.model_name = model_name
        self.model = self.build_model(model_name)

    def get_latest_model(self, model_name):
        registered_models = self.registry.get_registered_model(model_name)
        last_model = self.registry.get_last_model(registered_models)
        local_path = self.registry.download_artifact(last_model.run_id, 'model', './')
        return local_path

    def build_model(self, model_name):
        local_path = self.get_latest_model(model_name)

        return mlflow.keras.load_model(local_path)

    def predict(self, image):
        image = self.preprocess(image)
        result = self.model.predict(image)
        return self.postprocess(result)

    def preprocess(self, image):
        image = cv2.resize(image, (256, 256))
        image = image / 255.
        image = np.expand_dims(image, 0)
        return image

    def postprocess(self, result):
        return result

येथे self.registry पुन्हा सोयीसाठी mlflow.tracking.MlflowClient वर एक लहान आवरण आहे. मुद्दा असा आहे की मी रिमोट सर्व्हरवर प्रवेश करतो आणि तेथे निर्दिष्ट नाव आणि नवीनतम उत्पादन आवृत्ती असलेले मॉडेल शोधतो. पुढे, मी आर्टिफॅक्ट स्थानिकरित्या ./model फोल्डरमध्ये डाउनलोड करतो आणि mlflow.keras.load_model(local_path) या निर्देशिकेतून मॉडेल तयार करतो. आता आम्ही आमचे मॉडेल वापरू शकतो. CV (ML) डेव्हलपर सहजपणे मॉडेल सुधारू शकतात आणि नवीन आवृत्त्या प्रकाशित करू शकतात.

शेवटी

मी एक प्रणाली सादर केली जी अनुमती देते:

एमएल मॉडेल्स, प्रशिक्षण प्रगती आणि परिणामांबद्दल माहिती केंद्रीत संग्रहित करा;
त्वरीत विकास वातावरण तैनात करा;
मॉडेलवरील कामाच्या प्रगतीचे निरीक्षण आणि विश्लेषण करा;
मॉडेलची स्थिती आवृत्ती आणि व्यवस्थापित करणे सोयीस्कर आहे;
परिणामी मॉडेल तैनात करणे सोपे आहे.

हे उदाहरण एक खेळणी आहे आणि तुमची स्वतःची सिस्टीम तयार करण्यासाठी प्रारंभिक बिंदू म्हणून काम करते, ज्यामध्ये परिणामांच्या मूल्यांकनाचे ऑटोमेशन आणि मॉडेलची नोंदणी समाविष्ट असू शकते (अनुक्रमे 5 आणि 6 गुण) किंवा तुम्ही डेटासेटची आवृत्ती जोडू शकता, किंवा कदाचित काहीतरी? मी सांगण्याचा प्रयत्न करत होतो तो मुद्दा असा आहे की तुम्हाला संपूर्णपणे MLOps ची गरज आहे, MLflow हे फक्त समाप्तीचे साधन आहे.

मी प्रदर्शित न केलेल्या तुम्हाला कोणत्या समस्या आल्या ते लिहा?
तुमच्या गरजा पूर्ण करण्यासाठी तुम्ही सिस्टममध्ये काय जोडाल?
सर्व किंवा काही समस्यांचे निराकरण करण्यासाठी तुम्ही कोणती साधने आणि दृष्टिकोन वापरता?

PS मी काही दुवे सोडेन:
github प्रकल्प - https://github.com/simbakot/mlflow_example
MLflow - https://mlflow.org/
प्रश्नांसाठी माझे कार्य ईमेल - [ईमेल संरक्षित]

आमची कंपनी वेळोवेळी आयटी तज्ञांसाठी विविध कार्यक्रम आयोजित करते, उदाहरणार्थ: 8 जुलै रोजी मॉस्को वेळेनुसार 19:00 वाजता ऑनलाइन स्वरूपात सीव्ही भेट होईल, तुम्हाला स्वारस्य असल्यास, तुम्ही भाग घेऊ शकता, नोंदणी येथे .

स्त्रोत: www.habr.com

MLOps - कुक बुक, धडा 1