MLflow সহ স্পার্ক প্রসারিত করা

হ্যালো, খাব্রোভস্কের বাসিন্দারা। আমরা ইতিমধ্যেই লিখেছি, এই মাসে OTUS দুটি মেশিন লার্নিং কোর্স চালু করছে, যথা বেস и উন্নত. এই বিষয়ে, আমরা দরকারী উপাদান শেয়ার করা অবিরত.

এই নিবন্ধটির উদ্দেশ্য হল আমাদের প্রথম ব্যবহারের অভিজ্ঞতা সম্পর্কে কথা বলা এমএলফ্লো.

আমরা পর্যালোচনা শুরু করব এমএলফ্লো এর ট্র্যাকিং সার্ভার থেকে এবং অধ্যয়নের সমস্ত পুনরাবৃত্তি লগ করুন। তারপর আমরা UDF ব্যবহার করে MLflow-এর সাথে Spark সংযোগ করার অভিজ্ঞতা শেয়ার করব।

প্রসঙ্গ

আমারা আছি আলফা স্বাস্থ্য আমরা মেশিন লার্নিং এবং কৃত্রিম বুদ্ধিমত্তা ব্যবহার করে লোকেদের তাদের স্বাস্থ্য এবং সুস্থতার দায়িত্ব নিতে সক্ষম করি। এই কারণেই মেশিন লার্নিং মডেলগুলি আমাদের ডেভেলপ করা ডেটা সায়েন্স প্রোডাক্টগুলির কেন্দ্রবিন্দুতে রয়েছে এবং সেই কারণেই আমরা MLflow-এ আকৃষ্ট হয়েছি, একটি ওপেন সোর্স প্ল্যাটফর্ম যা মেশিন লার্নিং লাইফসাইকেলের সমস্ত দিক কভার করে৷

এমএলফ্লো

MLflow এর মূল লক্ষ্য হল মেশিন লার্নিং এর উপরে একটি অতিরিক্ত স্তর প্রদান করা যা ডেটা বিজ্ঞানীদের প্রায় যেকোনো মেশিন লার্নিং লাইব্রেরির সাথে কাজ করতে দেয় (h2o, keras, mleap, পাইটার্চ, sklearn и tensorflow), তার কাজকে পরবর্তী স্তরে নিয়ে যাচ্ছে।

MLflow তিনটি উপাদান প্রদান করে:

• অনুসরণকরণ - রেকর্ডিং এবং পরীক্ষার জন্য অনুরোধ: কোড, ডেটা, কনফিগারেশন এবং ফলাফল। একটি মডেল তৈরির প্রক্রিয়া পর্যবেক্ষণ করা খুবই গুরুত্বপূর্ণ।
• প্রকল্প - যে কোনো প্ল্যাটফর্মে চালানোর জন্য প্যাকেজিং বিন্যাস (যেমন SageMaker)
• মডেল - বিভিন্ন স্থাপনার সরঞ্জামগুলিতে মডেল জমা দেওয়ার জন্য একটি সাধারণ বিন্যাস।

এমএলফ্লো (লেখার সময় আলফাতে) একটি ওপেন সোর্স প্ল্যাটফর্ম যা আপনাকে পরীক্ষা, পুনঃব্যবহার এবং স্থাপনা সহ মেশিন লার্নিং জীবনচক্র পরিচালনা করতে দেয়।

MLflow সেট আপ করা হচ্ছে

MLflow ব্যবহার করার জন্য আপনাকে প্রথমে আপনার সম্পূর্ণ Python পরিবেশ সেট আপ করতে হবে, এর জন্য আমরা ব্যবহার করব PyEnv (ম্যাকে পাইথন ইনস্টল করতে, চেক আউট করুন এখানে) এইভাবে আমরা একটি ভার্চুয়াল পরিবেশ তৈরি করতে পারি যেখানে আমরা এটি চালানোর জন্য প্রয়োজনীয় সমস্ত লাইব্রেরি ইনস্টল করব।

```
pyenv install 3.7.0
pyenv global 3.7.0 # Use Python 3.7
mkvirtualenv mlflow # Create a Virtual Env with Python 3.7
workon mlflow
```

এর প্রয়োজনীয় লাইব্রেরি ইনস্টল করা যাক.

```
pip install mlflow==0.7.0 
            Cython==0.29  
            numpy==1.14.5 
            pandas==0.23.4 
            pyarrow==0.11.0
```

দ্রষ্টব্য: UDF-এর মতো মডেল চালানোর জন্য আমরা PyArrow ব্যবহার করি। PyArrow এবং Numpy-এর সংস্করণগুলিকে ঠিক করা দরকার কারণ পরবর্তী সংস্করণগুলি একে অপরের সাথে বিরোধপূর্ণ।

ট্র্যাকিং UI চালু করুন

MLflow ট্র্যাকিং আমাদের পাইথন এবং ব্যবহার করে পরীক্ষাগুলি লগ এবং অনুসন্ধান করতে দেয় বিশ্রাম API উপরন্তু, আপনি নির্ধারণ করতে পারেন কোথায় মডেল আর্টিফ্যাক্ট সংরক্ষণ করতে হবে (স্থানীয় হোস্ট, আমাজন S3, আজুর ব্লব স্টোরেজ, Google ক্লাউড সঞ্চয়স্থান বা SFTP সার্ভার) যেহেতু আমরা আলফা হেলথ এ AWS ব্যবহার করি, তাই আমাদের আর্টিফ্যাক্ট স্টোরেজ হবে S3।

# Running a Tracking Server
mlflow server 
    --file-store /tmp/mlflow/fileStore 
    --default-artifact-root s3://<bucket>/mlflow/artifacts/ 
    --host localhost
    --port 5000

MLflow ক্রমাগত ফাইল স্টোরেজ ব্যবহার করার পরামর্শ দেয়। ফাইল স্টোরেজ যেখানে সার্ভার রান এবং পরীক্ষা মেটাডেটা সংরক্ষণ করবে। সার্ভার শুরু করার সময়, নিশ্চিত করুন যে এটি স্থায়ী ফাইল স্টোরের দিকে নির্দেশ করে। এখানে পরীক্ষার জন্য আমরা সহজভাবে ব্যবহার করব /tmp.

মনে রাখবেন যে আমরা যদি পুরানো পরীক্ষাগুলি চালানোর জন্য mlflow সার্ভার ব্যবহার করতে চাই তবে সেগুলি অবশ্যই ফাইল স্টোরেজে উপস্থিত থাকতে হবে। যাইহোক, এমনকি এটি ছাড়া আমরা সেগুলিকে UDF-এ ব্যবহার করতে পারি, যেহেতু আমাদের শুধুমাত্র মডেলের পথের প্রয়োজন।

দ্রষ্টব্য: মনে রাখবেন যে ট্র্যাকিং UI এবং মডেল ক্লায়েন্টের অবশ্যই আর্টিফ্যাক্ট অবস্থানে অ্যাক্সেস থাকতে হবে। অর্থাৎ, ট্র্যাকিং UI একটি EC2 দৃষ্টান্তে থাকা নির্বিশেষে, স্থানীয়ভাবে MLflow চালানোর সময়, আর্টিফ্যাক্ট মডেল লেখার জন্য মেশিনের অবশ্যই S3-এ সরাসরি অ্যাক্সেস থাকতে হবে।

ট্র্যাকিং UI একটি S3 বালতিতে শিল্পকর্ম সঞ্চয় করে

চলমান মডেল

ট্র্যাকিং সার্ভার চালু হওয়ার সাথে সাথে আপনি মডেলদের প্রশিক্ষণ শুরু করতে পারেন।

একটি উদাহরণ হিসাবে, আমরা MLflow উদাহরণ থেকে ওয়াইন পরিবর্তন ব্যবহার করব স্কলার্ন.

MLFLOW_TRACKING_URI=http://localhost:5000 python wine_quality.py 
  --alpha 0.9
  --l1_ration 0.5
  --wine_file ./data/winequality-red.csv

যেমনটি আমরা ইতিমধ্যে আলোচনা করেছি, MLflow আপনাকে মডেল প্যারামিটার, মেট্রিক্স এবং আর্টিফ্যাক্টগুলি লগ করার অনুমতি দেয় যাতে আপনি ট্র্যাক করতে পারেন কিভাবে তারা পুনরাবৃত্তির মাধ্যমে বিবর্তিত হয়। এই বৈশিষ্ট্যটি অত্যন্ত কার্যকর কারণ এইভাবে আমরা ট্র্যাকিং সার্ভারের সাথে যোগাযোগ করে বা কমিটের গিট হ্যাশ লগ ব্যবহার করে কোন কোডটি প্রয়োজনীয় পুনরাবৃত্তি সম্পাদন করেছে তা বোঝার মাধ্যমে আমরা সেরা মডেলটি পুনরুত্পাদন করতে পারি।

with mlflow.start_run():

    ... model ...

    mlflow.log_param("source", wine_path)
    mlflow.log_param("alpha", alpha)
    mlflow.log_param("l1_ratio", l1_ratio)

    mlflow.log_metric("rmse", rmse)
    mlflow.log_metric("r2", r2)
    mlflow.log_metric("mae", mae)

    mlflow.set_tag('domain', 'wine')
    mlflow.set_tag('predict', 'quality')
    mlflow.sklearn.log_model(lr, "model")

ওয়াইন পুনরাবৃত্তি

মডেলের জন্য সার্ভার অংশ

MLflow ট্র্যাকিং সার্ভার, "mlflow সার্ভার" কমান্ড ব্যবহার করে চালু হয়েছে, স্থানীয় ফাইল সিস্টেমে রান ট্র্যাকিং এবং ডেটা লেখার জন্য একটি REST API রয়েছে। আপনি এনভায়রনমেন্ট ভেরিয়েবল "MLFLOW_TRACKING_URI" ব্যবহার করে ট্র্যাকিং সার্ভারের ঠিকানা নির্দিষ্ট করতে পারেন এবং MLflow ট্র্যাকিং API স্বয়ংক্রিয়ভাবে লঞ্চের তথ্য, লগ মেট্রিক্স ইত্যাদি তৈরি/প্রাপ্ত করতে এই ঠিকানায় ট্র্যাকিং সার্ভারের সাথে যোগাযোগ করবে।

উত্স: ডক্স// একটি ট্র্যাকিং সার্ভার চালানো

একটি সার্ভারের সাথে মডেল প্রদান করতে, আমাদের একটি চলমান ট্র্যাকিং সার্ভার (লঞ্চ ইন্টারফেস দেখুন) এবং মডেলটির রান আইডি প্রয়োজন৷

আইডি চালান

# Serve a sklearn model through 127.0.0.0:5005
MLFLOW_TRACKING_URI=http://0.0.0.0:5000 mlflow sklearn serve 
  --port 5005  
  --run_id 0f8691808e914d1087cf097a08730f17 
  --model-path model

এমএলফ্লো সার্ভ কার্যকারিতা ব্যবহার করে মডেলগুলি পরিবেশন করতে, মডেল সম্পর্কে তথ্য পাওয়ার জন্য আমাদের ট্র্যাকিং UI-তে অ্যাক্সেসের প্রয়োজন হবে শুধুমাত্র নির্দিষ্ট করে --run_id.

মডেলটি একবার ট্র্যাকিং সার্ভারের সাথে যোগাযোগ করলে, আমরা একটি নতুন মডেলের শেষ পয়েন্ট পেতে পারি।

# Query Tracking Server Endpoint
curl -X POST 
  http://127.0.0.1:5005/invocations 
  -H 'Content-Type: application/json' 
  -d '[
	{
		"fixed acidity": 3.42, 
		"volatile acidity": 1.66, 
		"citric acid": 0.48, 
		"residual sugar": 4.2, 
		"chloridessssss": 0.229, 
		"free sulfur dsioxide": 19, 
		"total sulfur dioxide": 25, 
		"density": 1.98, 
		"pH": 5.33, 
		"sulphates": 4.39, 
		"alcohol": 10.8
	}
]'

> {"predictions": [5.825055635303461]}

স্পার্ক থেকে মডেল চলমান

ট্র্যাকিং সার্ভারটি বাস্তব সময়ে মডেল পরিবেশন করার জন্য যথেষ্ট শক্তিশালী, তাদের প্রশিক্ষণ এবং সার্ভার কার্যকারিতা ব্যবহার করার জন্য যথেষ্ট শক্তিশালী হওয়া সত্ত্বেও (সূত্র: mlflow // ডক্স // মডেল # স্থানীয়), স্পার্ক ব্যবহার (ব্যাচ বা স্ট্রিমিং) বিতরণের কারণে আরও শক্তিশালী সমাধান।

কল্পনা করুন যে আপনি কেবল অফলাইনে প্রশিক্ষণটি করেছেন এবং তারপর আপনার সমস্ত ডেটাতে আউটপুট মডেল প্রয়োগ করেছেন। এখানেই স্পার্ক এবং এমএলফ্লো জ্বলজ্বল করে।

PySpark + Jupyter + Spark ইনস্টল করুন

উত্স: শুরু করুন PySpark - জুপিটার

আমরা কীভাবে স্পার্ক ডেটাফ্রেমে MLflow মডেল প্রয়োগ করি তা দেখানোর জন্য, PySpark-এর সাথে একসাথে কাজ করার জন্য আমাদের জুপিটার নোটবুক সেট আপ করতে হবে।

সর্বশেষ স্থিতিশীল সংস্করণ ইনস্টল করে শুরু করুন আপা স্পার্ক:

cd ~/Downloads/
tar -xzf spark-2.4.3-bin-hadoop2.7.tgz
mv ~/Downloads/spark-2.4.3-bin-hadoop2.7 ~/
ln -s ~/spark-2.4.3-bin-hadoop2.7 ~/spark̀

ভার্চুয়াল পরিবেশে PySpark এবং Jupyter ইনস্টল করুন:

pip install pyspark jupyter

পরিবেশ ভেরিয়েবল সেট আপ করুন:

export SPARK_HOME=~/spark
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --notebook-dir=${HOME}/Projects/notebooks"

স্থির করে notebook-dir, আমরা আমাদের নোটবুক পছন্দসই ফোল্ডারে সংরক্ষণ করতে পারেন.

PySpark থেকে Jupyter লঞ্চ হচ্ছে

যেহেতু আমরা জুপিটারকে পাইস্পার্ক ড্রাইভার হিসাবে কনফিগার করতে সক্ষম হয়েছি, তাই আমরা এখন পাইস্পার্কের প্রসঙ্গে জুপিটার নোটবুক চালাতে পারি।

(mlflow) afranzi:~$ pyspark
[I 19:05:01.572 NotebookApp] sparkmagic extension enabled!
[I 19:05:01.573 NotebookApp] Serving notebooks from local directory: /Users/afranzi/Projects/notebooks
[I 19:05:01.573 NotebookApp] The Jupyter Notebook is running at:
[I 19:05:01.573 NotebookApp] http://localhost:8888/?token=c06252daa6a12cfdd33c1d2e96c8d3b19d90e9f6fc171745
[I 19:05:01.573 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[C 19:05:01.574 NotebookApp]

    Copy/paste this URL into your browser when you connect for the first time,
    to login with a token:
        http://localhost:8888/?token=c06252daa6a12cfdd33c1d2e96c8d3b19d90e9f6fc171745

উপরে উল্লিখিত হিসাবে, MLflow S3 এ মডেল আর্টিফ্যাক্ট লগ করার জন্য একটি বৈশিষ্ট্য প্রদান করে। আমাদের হাতে নির্বাচিত মডেলটি পাওয়ার সাথে সাথে আমাদের কাছে মডিউলটি ব্যবহার করে UDF হিসাবে এটি আমদানি করার সুযোগ রয়েছে। mlflow.pyfunc.

import mlflow.pyfunc

model_path = 's3://<bucket>/mlflow/artifacts/1/0f8691808e914d1087cf097a08730f17/artifacts/model'
wine_path = '/Users/afranzi/Projects/data/winequality-red.csv'
wine_udf = mlflow.pyfunc.spark_udf(spark, model_path)

df = spark.read.format("csv").option("header", "true").option('delimiter', ';').load(wine_path)
columns = [ "fixed acidity", "volatile acidity", "citric acid",
            "residual sugar", "chlorides", "free sulfur dioxide",
            "total sulfur dioxide", "density", "pH",
            "sulphates", "alcohol"
          ]
          
df.withColumn('prediction', wine_udf(*columns)).show(100, False)

PySpark - আউটপুটিং ওয়াইন মানের পূর্বাভাস

এই মুহুর্তে, আমরা MLflow এর সাথে PySpark কিভাবে ব্যবহার করতে হয় সে সম্পর্কে কথা বলেছি, পুরো ওয়াইন ডেটাসেটে ওয়াইন মানের পূর্বাভাস চলছে। কিন্তু যদি আপনাকে স্কালা স্পার্ক থেকে পাইথন এমএলফ্লো মডিউল ব্যবহার করতে হয়?

স্কালা এবং পাইথনের মধ্যে স্পার্ক প্রসঙ্গ বিভক্ত করে আমরা এটিও পরীক্ষা করেছি। অর্থাৎ, আমরা পাইথনে এমএলফ্লো ইউডিএফ নিবন্ধিত করেছি এবং এটি স্কালা থেকে ব্যবহার করেছি (হ্যাঁ, সম্ভবত সেরা সমাধান নয়, তবে আমাদের কাছে যা আছে)।

স্কালা স্পার্ক + এমএলফ্লো

এই উদাহরণের জন্য আমরা যোগ করব তোরি কার্নেল বিদ্যমান বৃহস্পতিতে

স্পার্ক + টরি + জুপিটার ইনস্টল করুন

pip install toree
jupyter toree install --spark_home=${SPARK_HOME} --sys-prefix
jupyter kernelspec list
```
```
Available kernels:
  apache_toree_scala    /Users/afranzi/.virtualenvs/mlflow/share/jupyter/kernels/apache_toree_scala
  python3               /Users/afranzi/.virtualenvs/mlflow/share/jupyter/kernels/python3
```

আপনি সংযুক্ত নোটবুক থেকে দেখতে পাচ্ছেন, ইউডিএফ স্পার্ক এবং পাইস্পার্কের মধ্যে ভাগ করা হয়েছে। আমরা আশা করি এই অংশটি তাদের জন্য উপযোগী হবে যারা স্কালা পছন্দ করেন এবং উৎপাদনে মেশিন লার্নিং মডেল স্থাপন করতে চান।

import org.apache.spark.sql.functions.col
import org.apache.spark.sql.types.StructType
import org.apache.spark.sql.{Column, DataFrame}
import scala.util.matching.Regex

val FirstAtRe: Regex = "^_".r
val AliasRe: Regex = "[\s_.:@]+".r

def getFieldAlias(field_name: String): String = {
    FirstAtRe.replaceAllIn(AliasRe.replaceAllIn(field_name, "_"), "")
}

def selectFieldsNormalized(columns: List[String])(df: DataFrame): DataFrame = {
    val fieldsToSelect: List[Column] = columns.map(field =>
        col(field).as(getFieldAlias(field))
    )
    df.select(fieldsToSelect: _*)
}

def normalizeSchema(df: DataFrame): DataFrame = {
    val schema = df.columns.toList
    df.transform(selectFieldsNormalized(schema))
}

FirstAtRe = ^_
AliasRe = [s_.:@]+

getFieldAlias: (field_name: String)String
selectFieldsNormalized: (columns: List[String])(df: org.apache.spark.sql.DataFrame)org.apache.spark.sql.DataFrame
normalizeSchema: (df: org.apache.spark.sql.DataFrame)org.apache.spark.sql.DataFrame
Out[1]:
[s_.:@]+
In [2]:
val winePath = "~/Research/mlflow-workshop/examples/wine_quality/data/winequality-red.csv"
val modelPath = "/tmp/mlflow/artifactStore/0/96cba14c6e4b452e937eb5072467bf79/artifacts/model"

winePath = ~/Research/mlflow-workshop/examples/wine_quality/data/winequality-red.csv
modelPath = /tmp/mlflow/artifactStore/0/96cba14c6e4b452e937eb5072467bf79/artifacts/model
Out[2]:
/tmp/mlflow/artifactStore/0/96cba14c6e4b452e937eb5072467bf79/artifacts/model
In [3]:
val df = spark.read
              .format("csv")
              .option("header", "true")
              .option("delimiter", ";")
              .load(winePath)
              .transform(normalizeSchema)

df = [fixed_acidity: string, volatile_acidity: string ... 10 more fields]
Out[3]:
[fixed_acidity: string, volatile_acidity: string ... 10 more fields]
In [4]:
%%PySpark
import mlflow
from mlflow import pyfunc

model_path = "/tmp/mlflow/artifactStore/0/96cba14c6e4b452e937eb5072467bf79/artifacts/model"
wine_quality_udf = mlflow.pyfunc.spark_udf(spark, model_path)

spark.udf.register("wineQuality", wine_quality_udf)
Out[4]:
<function spark_udf.<locals>.predict at 0x1116a98c8>
In [6]:
df.createOrReplaceTempView("wines")
In [10]:
%%SQL
SELECT 
    quality,
    wineQuality(
        fixed_acidity,
        volatile_acidity,
        citric_acid,
        residual_sugar,
        chlorides,
        free_sulfur_dioxide,
        total_sulfur_dioxide,
        density,
        pH,
        sulphates,
        alcohol
    ) AS prediction
FROM wines
LIMIT 10
Out[10]:
+-------+------------------+
|quality|        prediction|
+-------+------------------+
|      5| 5.576883967129615|
|      5|  5.50664776916154|
|      5| 5.525504822954496|
|      6| 5.504311247097457|
|      5| 5.576883967129615|
|      5|5.5556903912725755|
|      5| 5.467882654744997|
|      7| 5.710602976324739|
|      7| 5.657319539336507|
|      5| 5.345098606538708|
+-------+------------------+

In [17]:
spark.catalog.listFunctions.filter('name like "%wineQuality%").show(20, false)

+-----------+--------+-----------+---------+-----------+
|name       |database|description|className|isTemporary|
+-----------+--------+-----------+---------+-----------+
|wineQuality|null    |null       |null     |true       |
+-----------+--------+-----------+---------+-----------+

পরবর্তী পদক্ষেপ

যদিও এমএলফ্লো লেখার সময় আলফা সংস্করণে রয়েছে, এটি বেশ আশাব্যঞ্জক দেখাচ্ছে। শুধুমাত্র একাধিক মেশিন লার্নিং ফ্রেমওয়ার্ক চালানো এবং একটি একক এন্ডপয়েন্ট থেকে সেগুলি গ্রহণ করার ক্ষমতা সুপারিশকারী সিস্টেমগুলিকে পরবর্তী স্তরে নিয়ে যায়।

এছাড়াও, MLflow ডেটা ইঞ্জিনিয়ার এবং ডেটা সায়েন্স বিশেষজ্ঞদের কাছাকাছি নিয়ে আসে, তাদের মধ্যে একটি সাধারণ স্তর স্থাপন করে।

MLflow-এর এই অন্বেষণের পরে, আমরা আত্মবিশ্বাসী যে আমরা এগিয়ে যাব এবং আমাদের স্পার্ক পাইপলাইন এবং সুপারিশকারী সিস্টেমের জন্য এটি ব্যবহার করব।

ফাইল সিস্টেমের পরিবর্তে ডাটাবেসের সাথে ফাইল স্টোরেজ সিঙ্ক্রোনাইজ করা ভাল হবে। এটি আমাদের একাধিক শেষ পয়েন্ট দিতে হবে যা একই ফাইল স্টোরেজ ব্যবহার করতে পারে। উদাহরণস্বরূপ, একাধিক উদাহরণ ব্যবহার করুন প্রবঁচনাময় и গ্রীক পুরাণের দেবী একই আঠালো মেটাস্টোর দিয়ে।

সংক্ষেপে বলতে চাই, ডেটা নিয়ে আমাদের কাজকে আরও আকর্ষণীয় করে তোলার জন্য আমি MLFlow সম্প্রদায়কে ধন্যবাদ জানাতে চাই।

আপনি যদি MLflow নিয়ে খেলতে থাকেন, তাহলে আমাদের কাছে লিখতে দ্বিধা করবেন না এবং আপনি কীভাবে এটি ব্যবহার করেন তা আমাদের জানান, এবং আরও বেশি করে যদি আপনি এটি উৎপাদনে ব্যবহার করেন।

কোর্স সম্পর্কে আরও জানুন:
মেশিন লার্নিং। বেসিক কোর্স
মেশিন লার্নিং। উচ্চতর কোর্স

আরও পড়ুন:

• তত্ত্বাবধানে শেখার সমস্যাগুলিতে প্রধান উপাদান বিশ্লেষণ প্রয়োগের ঝুঁকি এবং সতর্কতা
• ডকারের সাথে একটি মেশিন লার্নিং মডেল স্থাপন করা - পার্ট 1
• ডকারের সাথে একটি মেশিন লার্নিং মডেল স্থাপন করা - পার্ট 2

উত্স: www.habr.com