🥇MLOps - রান্নার বই, অধ্যায় 1

হাই সব! আমি CROC এ একজন CV বিকাশকারী। আমরা এখন 3 বছর ধরে সিভির ক্ষেত্রে প্রকল্পগুলি বাস্তবায়ন করছি। এই সময়ের মধ্যে, আমরা অনেক কিছু করেছি, উদাহরণস্বরূপ: আমরা চালকদের পর্যবেক্ষণ করেছি যাতে গাড়ি চালানোর সময় তারা মদ্যপান করে না, ধূমপান করে না, ফোনে কথা বলে না, রাস্তার দিকে তাকায় এবং স্বপ্নে বা মেঘের দিকে না। ; আমরা এমন লোকদের রেকর্ড করেছি যারা ডেডিকেটেড লেনে গাড়ি চালায় এবং বেশ কয়েকটি পার্কিং স্পেস নেয়; শ্রমিকরা হেলমেট, গ্লাভস ইত্যাদি পরতেন তা নিশ্চিত করা; সুবিধায় প্রবেশ করতে চান এমন একজন কর্মচারীকে চিহ্নিত করেছেন; আমরা যা করতে পারি সব গণনা করেছি।

আমি কি জন্য এই সব করছি?

প্রকল্পগুলি বাস্তবায়নের প্রক্রিয়ায়, আমরা ধাক্কা খেয়েছি, প্রচুর বাধা, কিছু সমস্যা যার সাথে আপনি হয় পরিচিত বা ভবিষ্যতে পরিচিত হবেন।

এর পরিস্থিতি অনুকরণ করা যাক

আসুন কল্পনা করি যে আমরা একটি তরুণ কোম্পানি "N" এ চাকরি পেয়েছি, যার কার্যক্রম ML এর সাথে সম্পর্কিত। আমরা একটি ML (DL, CV) প্রজেক্টে কাজ করি, তারপর কোনো কারণে আমরা অন্য চাকরিতে স্যুইচ করি, সাধারণত বিরতি নিই এবং আমাদের নিজের বা অন্য কারো নিউরনে ফিরে যাই।

সত্যের মুহূর্তটি আসে, আপনাকে একরকম মনে রাখতে হবে আপনি কোথায় থামলেন, আপনি কী হাইপারপ্যারামিটার চেষ্টা করেছিলেন এবং সবচেয়ে গুরুত্বপূর্ণভাবে, তারা কী ফলাফল নিয়েছিল। সমস্ত লঞ্চের তথ্য কে সংরক্ষণ করেছে তার জন্য অনেকগুলি বিকল্প থাকতে পারে: মাথায়, কনফিগারেশন, নোটপ্যাড, ক্লাউডে কাজের পরিবেশে। আমি একটি বিকল্প দেখতে পেয়েছি যখন হাইপারপ্যারামিটারগুলি কোডে মন্তব্য করা লাইন হিসাবে সংরক্ষণ করা হয়েছিল, সাধারণভাবে, অভিনব ফ্লাইট। এখন কল্পনা করুন যে আপনি আপনার প্রকল্পে ফিরে আসেননি, কিন্তু এমন একজন ব্যক্তির প্রকল্পে ফিরে এসেছেন যিনি কোম্পানি ছেড়েছেন এবং আপনি একটি কোড এবং মডেল_1.pb নামক একটি মডেল উত্তরাধিকার সূত্রে পেয়েছেন। ছবিটি সম্পূর্ণ করতে এবং সমস্ত ব্যথা বোঝাতে, আসুন কল্পনা করি যে আপনিও একজন শিক্ষানবিশ বিশেষজ্ঞ।
এগিয়ে যান. কোডটি চালানোর জন্য, আমাদের এবং যারা এটির সাথে কাজ করবে তাদের সবাইকে একটি পরিবেশ তৈরি করতে হবে। এটি প্রায়শই ঘটে যে কোনও কারণে তারা তাকে আমাদের উত্তরাধিকার হিসাবে ছেড়ে যায়নি। এটি একটি অ-তুচ্ছ কাজ হয়ে উঠতে পারে। আপনি এই পদক্ষেপে সময় নষ্ট করতে চান না, তাই না?
আমরা একটি মডেল প্রশিক্ষণ (উদাহরণস্বরূপ, একটি গাড়ী আবিষ্কারক)। আমরা এমন জায়গায় পৌঁছেছি যেখানে এটি খুব ভাল হয়ে উঠেছে - এটি ফলাফল সংরক্ষণ করার সময়। আসুন এটিকে car_detection_v1.pb বলি। তারপরে আমরা আরেকটি প্রশিক্ষণ দিই - car_detection_v2.pb। কিছু সময় পরে, আমাদের সহকর্মীরা বা আমরা নিজেরাই বিভিন্ন স্থাপত্য ব্যবহার করে আরও বেশি করে শেখাই। ফলস্বরূপ, একগুচ্ছ নিদর্শন তৈরি হয়, যার সম্পর্কে তথ্য অবশ্যই পরিশ্রমের সাথে সংগ্রহ করতে হবে (তবে আমরা এটি পরে করব, কারণ আপাতত আমাদের আরও অগ্রাধিকার বিষয় রয়েছে)।
ঠিক আছে এখন সব শেষ! আমরা একটি মডেল আছে! আমরা কি পরবর্তী মডেলের প্রশিক্ষণ শুরু করতে পারি, একটি নতুন সমস্যা সমাধানের জন্য একটি স্থাপত্য তৈরি করতে পারি, বা আমরা কিছু চা খেতে যেতে পারি? আর মোতায়েন করবে কে?

সমস্যা চিহ্নিত করা

একটি প্রকল্প বা পণ্যে কাজ করা অনেক মানুষের কাজ। এবং সময়ের সাথে সাথে, লোকেরা চলে যায় এবং আসে, আরও প্রকল্প রয়েছে এবং প্রকল্পগুলি নিজেই আরও জটিল হয়ে ওঠে। একভাবে বা অন্যভাবে, নির্দিষ্ট সংমিশ্রণে উপরে বর্ণিত চক্রের পরিস্থিতি (এবং কেবল নয়) পুনরাবৃত্তি থেকে পুনরাবৃত্তিতে ঘটবে। এই সবের ফলে সময় নষ্ট হয়, বিভ্রান্তি, স্নায়ু, সম্ভবত গ্রাহকের অসন্তোষ এবং শেষ পর্যন্ত অর্থ নষ্ট হয়। যদিও আমরা সবাই সাধারণত একই পুরানো রেক অনুসরণ করি, আমি বিশ্বাস করি যে কেউই এই মুহূর্তগুলি বারবার পুনরুদ্ধার করতে চায় না।

সুতরাং, আমরা একটি উন্নয়ন চক্রের মধ্য দিয়ে চলেছি এবং আমরা দেখতে পাচ্ছি যে এমন সমস্যা রয়েছে যা সমাধান করা দরকার। এটি করার জন্য আপনার প্রয়োজন:

কাজের ফলাফল সুবিধাজনকভাবে সংরক্ষণ করুন;
নতুন কর্মীদের জড়িত করার প্রক্রিয়া সহজ করুন;
একটি উন্নয়ন পরিবেশ স্থাপনের প্রক্রিয়া সহজতর করা;
মডেল সংস্করণ প্রক্রিয়া কনফিগার করুন;
মডেল যাচাই করার একটি সুবিধাজনক উপায় আছে;
একটি মডেল রাষ্ট্র ব্যবস্থাপনা টুল খুঁজুন;
উত্পাদনে মডেল সরবরাহ করার একটি উপায় খুঁজুন।

দৃশ্যত এটি একটি কর্মপ্রবাহ সঙ্গে আসা প্রয়োজন যে আপনি সহজে এবং সুবিধাজনকভাবে এই জীবন চক্র পরিচালনা করার অনুমতি দেবে? এই অনুশীলনকে MLOps বলা হয়

মেশিন লার্নিং এর জন্য MLOps, বা DevOps, ডেটা সায়েন্স এবং IT টিমগুলিকে মেশিন লার্নিং মডেলগুলির জন্য মনিটরিং, বৈধতা এবং পরিচালনার মাধ্যমে মডেল ডেভেলপমেন্ট এবং স্থাপনার গতি বাড়ানোর অনুমতি দেয়।

আপনি করতে পারেন পড়তেএই সব সম্পর্কে গুগল বলছি কি মনে করেন? নিবন্ধ থেকে এটা স্পষ্ট যে MLOps একটি বিশাল জিনিস.

আমার নিবন্ধে আরও আমি প্রক্রিয়াটির শুধুমাত্র অংশ বর্ণনা করব। বাস্তবায়নের জন্য, আমি MLflow টুল ব্যবহার করব, কারণ... এটি একটি ওপেন সোর্স প্রজেক্ট, সংযোগের জন্য অল্প পরিমাণ কোড প্রয়োজন এবং জনপ্রিয় এমএল ফ্রেমওয়ার্কের সাথে ইন্টিগ্রেশন রয়েছে। আপনি কুবেফ্লো, সেজমেকার, ট্রেন ইত্যাদির মতো অন্যান্য সরঞ্জামগুলির জন্য ইন্টারনেটে অনুসন্ধান করতে পারেন এবং সম্ভবত আপনার প্রয়োজনের সাথে আরও উপযুক্ত একটি খুঁজে পেতে পারেন।

MLFlow টুল ব্যবহার করার উদাহরণ ব্যবহার করে MLOps "বিল্ডিং"

MLFlow হল ML মডেলের জীবনচক্র ব্যবস্থাপনার জন্য একটি ওপেন সোর্স প্ল্যাটফর্ম (https://mlflow.org/).

MLflow চারটি উপাদান অন্তর্ভুক্ত করে:

MLflow ট্র্যাকিং - রেকর্ডিং ফলাফল এবং পরামিতিগুলির সমস্যাগুলি কভার করে যা এই ফলাফলের দিকে পরিচালিত করে;
MLflow প্রকল্প - আপনাকে কোড প্যাকেজ করতে এবং যেকোনো প্ল্যাটফর্মে এটি পুনরুত্পাদন করতে দেয়;
MLflow মডেল - উৎপাদনে মডেল স্থাপনের জন্য দায়ী;
MLflow রেজিস্ট্রি - আপনাকে একটি কেন্দ্রীভূত সংগ্রহস্থলে মডেল সংরক্ষণ করতে এবং তাদের অবস্থা পরিচালনা করতে দেয়।

MLflow দুটি সত্তার উপর কাজ করে:

লঞ্চ হল প্রশিক্ষণ, পরামিতি এবং মেট্রিক্সের একটি সম্পূর্ণ চক্র যার দ্বারা আমরা নিবন্ধন করতে চাই;
একটি পরীক্ষা হল একটি "বিষয়" যা একসাথে চলে।

উদাহরণের সমস্ত ধাপ উবুন্টু 18.04 অপারেটিং সিস্টেমে প্রয়োগ করা হয়েছে।

1. সার্ভার স্থাপন করুন

যাতে আমরা সহজেই আমাদের প্রকল্প পরিচালনা করতে পারি এবং সমস্ত প্রয়োজনীয় তথ্য পেতে পারি, আমরা একটি সার্ভার স্থাপন করব। MLflow ট্র্যাকিং সার্ভারের দুটি প্রধান উপাদান রয়েছে:

ব্যাকএন্ড স্টোর - নিবন্ধিত মডেল সম্পর্কে তথ্য সংরক্ষণের জন্য দায়ী (4টি DBMS সমর্থন করে: mysql, mssql, sqlite, এবং postgresql);
আর্টিফ্যাক্ট স্টোর - আর্টিফ্যাক্ট সংরক্ষণের জন্য দায়ী (7টি স্টোরেজ বিকল্প সমর্থন করে: Amazon S3, Azure Blob Storage, Google Cloud Storage, FTP সার্ভার, SFTP সার্ভার, NFS, HDFS)।

যেমন শিল্পকর্মের দোকান সরলতার জন্য, আসুন একটি এসএফটিপি সার্ভার নেওয়া যাক।

একটি দল গঠণ কর
```
$ sudo groupadd sftpg
```
একজন ব্যবহারকারী যোগ করুন এবং তার জন্য একটি পাসওয়ার্ড সেট করুন
```
$ sudo useradd -g sftpg mlflowsftp
$ sudo passwd mlflowsftp 
```

কয়েকটি অ্যাক্সেস সেটিংস সামঞ্জস্য করা

$ sudo mkdir -p /data/mlflowsftp/upload
$ sudo chown -R root.sftpg /data/mlflowsftp
$ sudo chown -R mlflowsftp.sftpg /data/mlflowsftp/upload

/etc/ssh/sshd_config এ কয়েকটি লাইন যোগ করুন
```
Match Group sftpg
 ChrootDirectory /data/%u
 ForceCommand internal-sftp
```
পরিষেবা পুনরায় চালু করুন
```
$ sudo systemctl restart sshd
```

যেমন ব্যাকএন্ড দোকান চলুন postgresql নেওয়া যাক।

$ sudo apt update
$ sudo apt-get install -y postgresql postgresql-contrib postgresql-server-dev-all
$ sudo apt install gcc
$ pip install psycopg2
$ sudo -u postgres -i
# Create new user: mlflow_user
[postgres@user_name~]$ createuser --interactive -P
Enter name of role to add: mlflow_user
Enter password for new role: mlflow
Enter it again: mlflow
Shall the new role be a superuser? (y/n) n
Shall the new role be allowed to create databases? (y/n) n
Shall the new role be allowed to create more new roles? (y/n) n
# Create database mlflow_bd owned by mlflow_user
$ createdb -O mlflow_user mlflow_db

সার্ভার শুরু করতে, আপনাকে নিম্নলিখিত পাইথন প্যাকেজগুলি ইনস্টল করতে হবে (আমি একটি পৃথক ভার্চুয়াল পরিবেশ তৈরি করার পরামর্শ দিচ্ছি):

pip install mlflow
pip install pysftp

আমাদের সার্ভার শুরু করা যাক

$ mlflow server  
                 --backend-store-uri postgresql://mlflow_user:mlflow@localhost/mlflow_db 
                 --default-artifact-root sftp://mlflowsftp:mlflow@sftp_host/upload  
                --host server_host 
                --port server_port

2. ট্র্যাকিং যোগ করুন

আমাদের প্রশিক্ষণের ফলাফল যাতে হারিয়ে না যায়, ভবিষ্যতের প্রজন্মের বিকাশকারীরা বুঝতে পারে কী ঘটছে, এবং বয়স্ক কমরেড এবং আপনি শান্তভাবে শেখার প্রক্রিয়াটি বিশ্লেষণ করতে সক্ষম হওয়ার জন্য, আমাদের ট্র্যাকিং যোগ করতে হবে। ট্র্যাকিং মানে আমাদের ক্ষেত্রে সার্ভারে প্যারামিটার, মেট্রিক্স, আর্টিফ্যাক্ট এবং প্রশিক্ষণ শুরুর বিষয়ে যেকোন অতিরিক্ত তথ্য সংরক্ষণ করা।

উদাহরণস্বরূপ, আমি একটি ছোট তৈরি করেছি গিথুবে প্রকল্প কেরাসে যা আছে সব কিছু ভাগ করার জন্য COCO ডেটাসেট. ট্র্যাকিং যোগ করতে, আমি mlflow_training.py একটি ফাইল তৈরি করেছি।

এখানে সেই লাইনগুলি রয়েছে যেখানে সবচেয়ে আকর্ষণীয় জিনিসগুলি ঘটে:

def run(self, epochs, lr, experiment_name):
        # getting the id of the experiment, creating an experiment in its absence
        remote_experiment_id = self.remote_server.get_experiment_id(name=experiment_name)
        # creating a "run" and getting its id
        remote_run_id = self.remote_server.get_run_id(remote_experiment_id)

        # indicate that we want to save the results on a remote server
        mlflow.set_tracking_uri(self.tracking_uri)
        mlflow.set_experiment(experiment_name)

        with mlflow.start_run(run_id=remote_run_id, nested=False):
            mlflow.keras.autolog()
            self.train_pipeline.train(lr=lr, epochs=epochs)

        try:
            self.log_tags_and_params(remote_run_id)
        except mlflow.exceptions.RestException as e:
            print(e)

এখানে self.remote_server হল mlflow.tracking পদ্ধতির উপর একটি ছোট মোড়ক। MlflowClient (আমি এটি সুবিধার জন্য তৈরি করেছি), যার সাহায্যে আমি একটি পরীক্ষা তৈরি করি এবং এটি সার্ভারে চালাই। এর পরে, আমি নির্দেশ করি যে লঞ্চের ফলাফলগুলি কোথায় একত্রিত করা উচিত (mlflow.set_tracking_uri(self.tracking_uri))। আমি স্বয়ংক্রিয় লগিং mlflow.keras.autolog() সক্ষম করি। বর্তমানে MLflow ট্র্যাকিং TensorFlow, Keras, Gluon XGBoost, LightGBM, Spark এর জন্য স্বয়ংক্রিয় লগিং সমর্থন করে। আপনি যদি আপনার ফ্রেমওয়ার্ক বা লাইব্রেরি খুঁজে না পান, তাহলে আপনি সর্বদা স্পষ্টভাবে লগ করতে পারেন। আমরা প্রশিক্ষণ শুরু করছি। রিমোট সার্ভারে ট্যাগ এবং ইনপুট পরামিতি নিবন্ধন করুন।

কয়েকটি লাইন এবং আপনি, অন্য সবার মতো, সমস্ত লঞ্চ সম্পর্কে তথ্য অ্যাক্সেস করতে পারেন৷ কুল?

3. আমরা প্রকল্প আঁকা

এখন প্রকল্প চালু করা সহজ করা যাক. এটি করার জন্য, প্রজেক্ট রুটে MLproject এবং conda.yaml ফাইল যোগ করুন।
এমএলপ্রজেক্ট

name: flow_segmentation
conda_env: conda.yaml

entry_points:
  main:
    parameters:
        categories: {help: 'list of categories from coco dataset'}
        epochs: {type: int, help: 'number of epochs in training'}

        lr: {type: float, default: 0.001, help: 'learning rate'}
        batch_size: {type: int, default: 8}
        model_name: {type: str, default: 'Unet', help: 'Unet, PSPNet, Linknet, FPN'}
        backbone_name: {type: str, default: 'resnet18', help: 'exampe resnet18, resnet50, mobilenetv2 ...'}

        tracking_uri: {type: str, help: 'the server address'}
        experiment_name: {type: str, default: 'My_experiment', help: 'remote and local experiment name'}
    command: "python mlflow_training.py 
            --epochs={epochs}
            --categories={categories}
            --lr={lr}
            --tracking_uri={tracking_uri}
            --model_name={model_name}
            --backbone_name={backbone_name}
            --batch_size={batch_size}
            --experiment_name={experiment_name}"

MLflow প্রকল্পের বেশ কয়েকটি বৈশিষ্ট্য রয়েছে:

নাম - আপনার প্রকল্পের নাম;
পরিবেশ - আমার ক্ষেত্রে, conda_env নির্দেশ করে যে Anaconda চালানোর জন্য ব্যবহৃত হয় এবং নির্ভরতার বিবরণ conda.yaml ফাইলে রয়েছে;
এন্ট্রি পয়েন্ট - নির্দেশ করে কোন ফাইল এবং কোন প্যারামিটার দিয়ে আমরা চালাতে পারি (প্রশিক্ষণ শুরু করার সময় সমস্ত প্যারামিটার স্বয়ংক্রিয়ভাবে লগ হয়ে যায়)

conda.yaml

name: flow_segmentation
channels:
  - defaults
  - anaconda
dependencies:
  - python==3.7
  - pip:
    - mlflow==1.8.0
    - pysftp==0.2.9
    - Cython==0.29.19
    - numpy==1.18.4
    - pycocotools==2.0.0
    - requests==2.23.0
    - matplotlib==3.2.1
    - segmentation-models==1.0.1
    - Keras==2.3.1
    - imgaug==0.4.0
    - tqdm==4.46.0
    - tensorflow-gpu==1.14.0

আপনি আপনার রানটাইম পরিবেশ হিসাবে ডকার ব্যবহার করতে পারেন, আরো বিস্তারিত জানার জন্য অনুগ্রহ করে দেখুন ডকুমেন্টেশন.

4. এর প্রশিক্ষণ শুরু করা যাক

আমরা প্রকল্পটি ক্লোন করি এবং প্রকল্প ডিরেক্টরিতে যাই:

git clone https://github.com/simbakot/mlflow_example.git
cd mlflow_example/

চালানোর জন্য আপনাকে লাইব্রেরি ইনস্টল করতে হবে

pip install mlflow
pip install pysftp

কারণ উদাহরণে আমি conda_env ব্যবহার করি, Anaconda অবশ্যই আপনার কম্পিউটারে ইন্সটল করতে হবে (কিন্তু আপনি নিজেই সমস্ত প্রয়োজনীয় প্যাকেজ ইন্সটল করে এবং লঞ্চ প্যারামিটারের সাথে খেলতে পারেন)।

সমস্ত প্রস্তুতিমূলক পদক্ষেপ সম্পন্ন হয়েছে এবং আমরা প্রশিক্ষণ শুরু করতে পারি। প্রকল্পের মূল থেকে:

$ mlflow run -P epochs=10 -P categories=cat,dog -P tracking_uri=http://server_host:server_port .

কমান্ডটি প্রবেশ করার পরে, একটি কনডা পরিবেশ স্বয়ংক্রিয়ভাবে তৈরি হবে এবং প্রশিক্ষণ শুরু হবে।
উপরের উদাহরণে, আমি প্রশিক্ষণের জন্য যুগের সংখ্যা পাস করেছি, যে বিভাগে আমরা ভাগ করতে চাই (আপনি সম্পূর্ণ তালিকা দেখতে পারেন এখানে) এবং আমাদের রিমোট সার্ভারের ঠিকানা।
সম্ভাব্য প্যারামিটারের একটি সম্পূর্ণ তালিকা MLproject ফাইলে পাওয়া যাবে।

5. শেখার ফলাফল মূল্যায়ন

প্রশিক্ষণ শেষ করার পর, আমরা ব্রাউজারে আমাদের সার্ভারের ঠিকানায় যেতে পারি http://server_host:server_port

এখানে আমরা সমস্ত পরীক্ষা-নিরীক্ষার একটি তালিকা দেখতে পাই (উপরে বাম), সেইসাথে রানের তথ্য (মাঝখানে)। আমরা প্রতিটি লঞ্চের জন্য আরও বিস্তারিত তথ্য (প্যারামিটার, মেট্রিক্স, আর্টিফ্যাক্ট এবং কিছু অতিরিক্ত তথ্য) দেখতে পারি।

প্রতিটি মেট্রিকের জন্য আমরা পরিবর্তনের ইতিহাস পর্যবেক্ষণ করতে পারি

সেগুলো. এই মুহুর্তে আমরা একটি "ম্যানুয়াল" মোডে ফলাফলগুলি বিশ্লেষণ করতে পারি এবং আপনি MLflow API ব্যবহার করে স্বয়ংক্রিয় বৈধতা সেট আপ করতে পারেন৷

6. মডেল নিবন্ধন

আমরা আমাদের মডেল বিশ্লেষণ করার পরে এবং সিদ্ধান্ত নেওয়ার পরে যে এটি যুদ্ধের জন্য প্রস্তুত, আমরা এটি নিবন্ধন করতে এগিয়ে যাই, এর জন্য আমরা আমাদের প্রয়োজনীয় লঞ্চটি নির্বাচন করি (আগের অনুচ্ছেদে দেখানো হয়েছে) এবং নিচে চলে যাই।

আমরা আমাদের মডেলকে একটি নাম দেওয়ার পরে, এটির একটি সংস্করণ রয়েছে৷ আপনি একই নামের অন্য মডেল সংরক্ষণ করলে, সংস্করণটি স্বয়ংক্রিয়ভাবে আপগ্রেড হবে।

প্রতিটি মডেলের জন্য, আমরা একটি বিবরণ যোগ করতে পারি এবং তিনটি অবস্থার মধ্যে একটি নির্বাচন করতে পারি (মঞ্চায়ন, উৎপাদন, সংরক্ষণাগার); পরবর্তীকালে, API ব্যবহার করে, আমরা এই রাজ্যগুলি অ্যাক্সেস করতে পারি, যা সংস্করণের সাথে অতিরিক্ত নমনীয়তা প্রদান করে।

আমরা সব মডেলের সহজ অ্যাক্সেস আছে

এবং তাদের সংস্করণ

পূর্ববর্তী অনুচ্ছেদের মতো, সমস্ত ক্রিয়াকলাপ API ব্যবহার করে করা যেতে পারে।

7. মডেল স্থাপন

এই পর্যায়ে, আমরা ইতিমধ্যে একটি প্রশিক্ষিত (কেরা) মডেল আছে. আপনি কিভাবে এটি ব্যবহার করতে পারেন তার একটি উদাহরণ:

class SegmentationModel:
    def __init__(self, tracking_uri, model_name):

        self.registry = RemoteRegistry(tracking_uri=tracking_uri)
        self.model_name = model_name
        self.model = self.build_model(model_name)

    def get_latest_model(self, model_name):
        registered_models = self.registry.get_registered_model(model_name)
        last_model = self.registry.get_last_model(registered_models)
        local_path = self.registry.download_artifact(last_model.run_id, 'model', './')
        return local_path

    def build_model(self, model_name):
        local_path = self.get_latest_model(model_name)

        return mlflow.keras.load_model(local_path)

    def predict(self, image):
        image = self.preprocess(image)
        result = self.model.predict(image)
        return self.postprocess(result)

    def preprocess(self, image):
        image = cv2.resize(image, (256, 256))
        image = image / 255.
        image = np.expand_dims(image, 0)
        return image

    def postprocess(self, result):
        return result

এখানে self.registry আবার সুবিধার জন্য mlflow.tracking.MlflowClient এর উপর একটি ছোট মোড়ক। বিন্দু হল যে আমি একটি দূরবর্তী সার্ভার অ্যাক্সেস করি এবং সেখানে নির্দিষ্ট নাম এবং সর্বশেষ উত্পাদন সংস্করণ সহ একটি মডেল সন্ধান করি। এরপর, আমি ./model ফোল্ডারে স্থানীয়ভাবে আর্টিফ্যাক্টটি ডাউনলোড করি এবং এই ডিরেক্টরি থেকে মডেলটি তৈরি করি mlflow.keras.load_model(local_path)। এখন আমরা আমাদের মডেল ব্যবহার করতে পারেন. সিভি (এমএল) বিকাশকারীরা সহজেই মডেলটি উন্নত করতে এবং নতুন সংস্করণ প্রকাশ করতে পারে।

উপসংহার ইন

আমি একটি সিস্টেম উপস্থাপন করেছি যা অনুমতি দেয়:

কেন্দ্রীয়ভাবে এমএল মডেল, প্রশিক্ষণের অগ্রগতি এবং ফলাফল সম্পর্কে তথ্য সংরক্ষণ করুন;
দ্রুত একটি উন্নয়ন পরিবেশ স্থাপন;
মডেলের কাজের অগ্রগতি নিরীক্ষণ এবং বিশ্লেষণ;
মডেলের অবস্থা সংস্করণ এবং পরিচালনা করা সুবিধাজনক;
ফলস্বরূপ মডেল স্থাপন করা সহজ।

এই উদাহরণটি একটি খেলনা এবং আপনার নিজস্ব সিস্টেম তৈরির জন্য একটি সূচনা পয়েন্ট হিসাবে কাজ করে, যার মধ্যে ফলাফলের মূল্যায়নের স্বয়ংক্রিয়তা এবং মডেলগুলির নিবন্ধন অন্তর্ভুক্ত থাকতে পারে (যথাক্রমে পয়েন্ট 5 এবং 6) অথবা আপনি ডেটাসেটের সংস্করণ যোগ করবেন, বা অন্য কিছু? আমি যে বিন্দুটি তৈরি করার চেষ্টা করছিলাম তা হল আপনার সামগ্রিকভাবে MLOps দরকার, MLflow হল শেষ করার একটি উপায়।

আমি প্রদর্শন না করে আপনি সম্মুখীন কি সমস্যা লিখুন?
আপনার চাহিদা পূরণ করতে আপনি সিস্টেমে কী যোগ করবেন?
সমস্ত বা আংশিক সমস্যার সমাধান করার জন্য আপনি কোন টুল এবং পন্থা ব্যবহার করেন?

PS আমি কয়েকটি লিঙ্ক ছেড়ে দেব:
github প্রকল্প - https://github.com/simbakot/mlflow_example
MLflow - https://mlflow.org/
প্রশ্নের জন্য আমার কাজের ইমেল - [ইমেল সুরক্ষিত]

আমাদের কোম্পানি পর্যায়ক্রমে আইটি বিশেষজ্ঞদের জন্য বিভিন্ন ইভেন্ট হোস্ট করে, উদাহরণস্বরূপ: 8 জুলাই মস্কোর সময় 19:00 এ একটি অনলাইন ফর্ম্যাটে একটি সিভি মিটআপ হবে, যদি আপনি আগ্রহী হন, আপনি অংশ নিতে পারেন, নিবন্ধন এখানে .

উত্স: www.habr.com

MLOps - রান্নার বই, অধ্যায় 1