MLflow ဖြင့် Spark ကို တိုးချဲ့ခြင်း။

မင်္ဂလာပါ Khabrovsk နေထိုင်သူများ။ ကျွန်တော်ရေးပြီးသားအတိုင်း၊ ယခုလတွင် OTUS သည် စက်ပိုင်းဆိုင်ရာ သင်ယူမှုသင်တန်းနှစ်ခုကို တစ်ပြိုင်နက် စတင်ဖွင့်လှစ်နေပြီဖြစ်သည်။ အခြေခံ и အဆင့်မြင့်. ယင်းနှင့်ပတ်သက်၍ ကျွန်ုပ်တို့သည် အသုံးဝင်သောပစ္စည်းများကို ဆက်လက်မျှဝေပါသည်။

ဤဆောင်းပါး၏ ရည်ရွယ်ချက်မှာ ကျွန်ုပ်တို့၏ ပထမဆုံး အတွေ့အကြုံကို အသုံးပြုခြင်းအကြောင်း ဆွေးနွေးရန်ဖြစ်ပါသည်။ MLflow.

သုံးသပ်ချက်ကို စတင်ပါမည်။ MLflow ၎င်း၏ ခြေရာခံဆာဗာမှ လေ့လာမှု၏ ထပ်တလဲလဲလုပ်ဆောင်မှုများအားလုံးကို မှတ်တမ်းတင်ပါ။ ထို့နောက် UDF ကို အသုံးပြု၍ Spark နှင့် MLflow ချိတ်ဆက်ခြင်းဆိုင်ရာ ကျွန်ုပ်တို့၏အတွေ့အကြုံကို မျှဝေပါမည်။

စကားစပ်

ကျွန်ုပ်တို့၌ရှိသည် အယ်လ်ဖာကျန်းမာရေး ကျွန်ုပ်တို့သည် လူများကို ၎င်းတို့၏ ကျန်းမာရေးနှင့် ကျန်းမာရေးကို တာဝန်ယူရန် ခွန်အားပေးရန်အတွက် စက်သင်ယူမှုနှင့် ဉာဏ်ရည်တုကို အသုံးပြုပါသည်။ ထို့ကြောင့် စက်သင်ယူမှုပုံစံများသည် ကျွန်ုပ်တို့ထုတ်လုပ်သည့် ဒေတာသိပ္ပံထုတ်ကုန်များ၏ အဓိကအချက်တစ်ချက်ဖြစ်ပြီး၊ ထို့ကြောင့် စက်သင်ယူမှုဘဝစက်ဝန်း၏ ကဏ္ဍပေါင်းစုံကို လွှမ်းခြုံထားသည့် MLflow သို့ ဆွဲဆောင်ခံရခြင်းဖြစ်သည်။

MLflow

MLflow ၏ အဓိကရည်မှန်းချက်မှာ ဒေတာသိပ္ပံပညာရှင်များအား စက်သင်ယူမှုစာကြည့်တိုက်တိုင်းနီးပါးတွင် ဒေတာသိပ္ပံပညာရှင်များ အလုပ်လုပ်နိုင်စေမည့် စက်သင်ယူမှုအပေါ်ထပ်ထပ်အလွှာတစ်ခု ပံ့ပိုးပေးရန်ဖြစ်သည် (h2o, ကရား, mleap, မင်းသမီး, sklearn и tensorflow) သူ့အလုပ်ကို နောက်တစ်ဆင့်တက်စေတယ်။

MLflow သည် အစိတ်အပိုင်းသုံးခုကို ပံ့ပိုးပေးသည်-

• ခြေရာကောက် - စမ်းသပ်မှုများအတွက် မှတ်တမ်းတင်ခြင်းနှင့် တောင်းဆိုချက်များ- ကုဒ်၊ ဒေတာ၊ ဖွဲ့စည်းမှုပုံစံနှင့် ရလဒ်များ။ မော်ဒယ်ဖန်တီးမှု လုပ်ငန်းစဉ်ကို စောင့်ကြည့်လေ့လာရန် အလွန်အရေးကြီးပါသည်။
• စီမံကိန်းများ - မည်သည့်ပလက်ဖောင်းပေါ်တွင်မဆိုလုပ်ဆောင်ရန် ထုပ်ပိုးမှုပုံစံ (ဥပမာ။ SageMaker)
• မော်ဒယ် - အမျိုးမျိုးသော အသုံးချကိရိယာများသို့ မော်ဒယ်များ တင်သွင်းခြင်းအတွက် ဘုံဖော်မတ်တစ်ခု။

MLflow (ရေးနေချိန်တွင် အယ်လ်ဖာဖြင့်) သည် စမ်းသပ်ခြင်း၊ ပြန်လည်အသုံးပြုခြင်းနှင့် အသုံးချခြင်းအပါအဝင် စက်သင်ယူမှုဘဝသံသရာကို စီမံခန့်ခွဲရန် ခွင့်ပြုသည့် open source platform တစ်ခုဖြစ်သည်။

MLflow ကို စနစ်ထည့်သွင်းခြင်း။

MLflow ကိုအသုံးပြုရန် သင်သည် သင်၏ Python ပတ်ဝန်းကျင်တစ်ခုလုံးကို ဦးစွာ စတင်သတ်မှတ်ရန် လိုအပ်သည်၊ ၎င်းကို ကျွန်ုပ်တို့အသုံးပြုပါမည်။ PyEnv (Mac တွင် Python ကိုထည့်သွင်းရန်၊ ထွက်ကြည့်ပါ။ ဒီမှာ) ဤနည်းဖြင့် ကျွန်ုပ်တို့သည် ၎င်းကိုလည်ပတ်ရန် လိုအပ်သော စာကြည့်တိုက်များအားလုံးကို ထည့်သွင်းမည့် virtual ပတ်ဝန်းကျင်ကို ဖန်တီးနိုင်သည်။

```
pyenv install 3.7.0
pyenv global 3.7.0 # Use Python 3.7
mkvirtualenv mlflow # Create a Virtual Env with Python 3.7
workon mlflow
```

လိုအပ်သော စာကြည့်တိုက်များကို ထည့်သွင်းကြပါစို့။

```
pip install mlflow==0.7.0 
            Cython==0.29  
            numpy==1.14.5 
            pandas==0.23.4 
            pyarrow==0.11.0
```

မှတ်ချက်- UDF ကဲ့သို့သော မော်ဒယ်များကို လုပ်ဆောင်ရန် ကျွန်ုပ်တို့သည် PyArrow ကို အသုံးပြုသည်။ PyArrow နှင့် Numpy ဗားရှင်းများသည် နောက်ထွက်ဗားရှင်းများ တစ်ခုနှင့်တစ်ခု ကွဲလွဲနေသောကြောင့် ပြုပြင်ရန်လိုအပ်ပါသည်။

ခြေရာခံခြင်း UI ကိုဖွင့်ပါ။

MLflow ခြေရာခံခြင်းသည် ကျွန်ုပ်တို့အား Python နှင့် အသုံးပြု၍ စမ်းသပ်မှုများကို မှတ်တမ်းနှင့် မေးမြန်းနိုင်စေပါသည်။ REST API ထို့အပြင်၊ မော်ဒယ်ရှေးဟောင်းပစ္စည်းများကို သိမ်းဆည်းရမည့်နေရာကို သင်ဆုံးဖြတ်နိုင်သည် (ဒေသခံ၊ အမေဇုံ S3, Azure Blob သိုလှောင်မှု, Google Cloud သိုလှောင်ခန်း သို့မဟုတ် SFTP ဆာဗာ) ကျွန်ုပ်တို့သည် Alpha Health တွင် AWS ကိုအသုံးပြုသောကြောင့်၊ ကျွန်ုပ်တို့၏ ရှေးဟောင်းပစ္စည်းသိုလှောင်မှုသည် S3 ဖြစ်ပါမည်။

# Running a Tracking Server
mlflow server 
    --file-store /tmp/mlflow/fileStore 
    --default-artifact-root s3://<bucket>/mlflow/artifacts/ 
    --host localhost
    --port 5000

MLflow သည် အမြဲတမ်း ဖိုင်သိုလှောင်မှုကို အသုံးပြုရန် အကြံပြုထားသည်။ ဖိုင်သိုလှောင်မှုမှာ ဆာဗာသည် အလုပ်လုပ်ပြီး စမ်းသပ်မက်တာဒေတာကို သိမ်းဆည်းမည့်နေရာဖြစ်သည်။ ဆာဗာကို စတင်သောအခါ၊ ၎င်းသည် မြဲမြံသော ဖိုင်သိမ်းဆည်းမှုဆီသို့ ညွှန်ပြကြောင်း သေချာပါစေ။ ဤနေရာတွင် ကျွန်ုပ်တို့သည် လက်တွေ့စမ်းသပ်မှုအတွက် ရိုးရိုးရှင်းရှင်း အသုံးပြုပါမည်။ /tmp.

စမ်းသပ်မှုဟောင်းများကို လုပ်ဆောင်ရန် mlflow ဆာဗာကို အသုံးပြုလိုပါက ၎င်းတို့သည် ဖိုင်သိုလှောင်မှုတွင် ရှိနေရမည်ကို သတိရပါ။ သို့သော်၊ ကျွန်ုပ်တို့သည် မော်ဒယ်သို့သွားရန်အတွက်သာ လိုအပ်သောကြောင့် ၎င်းတို့ကို UDF တွင် အသုံးပြုနိုင်သည်။

မှတ်ချက်- ခြေရာခံ UI နှင့် မော်ဒယ်ဖောက်သည်သည် ရှေးဟောင်းပစ္စည်းတည်နေရာသို့ ဝင်ရောက်ခွင့်ရှိရမည်ကို မှတ်သားထားပါ။ ဆိုလိုသည်မှာ၊ ခြေရာခံ UI သည် EC2 စံနမူနာတွင် ရှိနေသည်ဖြစ်စေ MLflow ကို စက်တွင်းတွင် အသုံးပြုသည့်အခါ၊ စက်သည် ရှေးဟောင်းပစ္စည်းမော်ဒယ်များရေးရန် S3 သို့ တိုက်ရိုက်ဝင်ရောက်ခွင့်ရှိရပါမည်။

UI ကိုခြေရာခံခြင်းသည် S3 ပုံးထဲတွင် ရှေးဟောင်းပစ္စည်းများကို သိမ်းဆည်းထားသည်။

အပြေးမော်ဒယ်များ

ခြေရာခံခြင်းဆာဗာသည် အလုပ်လုပ်သည်နှင့်တပြိုင်နက်၊ သင်သည် မော်ဒယ်များကို စတင်လေ့ကျင့်နိုင်သည်။

ဥပမာအနေဖြင့်၊ ကျွန်ုပ်တို့သည် MLflow နမူနာတွင် ဝိုင်မွမ်းမံမှုကို အသုံးပြုပါမည်။ Sklearn ပါ။.

MLFLOW_TRACKING_URI=http://localhost:5000 python wine_quality.py 
  --alpha 0.9
  --l1_ration 0.5
  --wine_file ./data/winequality-red.csv

ကျွန်ုပ်တို့ ဆွေးနွေးထားပြီးဖြစ်သည့်အတိုင်း၊ MLflow သည် သင့်အား မော်ဒယ်ကန့်သတ်ချက်များ၊ မက်ထရစ်များနှင့် အနုပညာပစ္စည်းများကို မှတ်တမ်းတင်ရန် ခွင့်ပြုထားသောကြောင့် ၎င်းတို့သည် ထပ်တလဲလဲ လုပ်ဆောင်မှုများအပေါ် သင်ခြေရာခံနိုင်မည်ဖြစ်သည်။ ဤနည်းဖြင့် ကျွန်ုပ်တို့သည် ခြေရာခံဆာဗာကို ဆက်သွယ်ခြင်း သို့မဟုတ် ကွန်မင့်များ၏ git hash မှတ်တမ်းများကို အသုံးပြု၍ လိုအပ်သော ထပ်တလဲလဲလုပ်ဆောင်သည့်ကုဒ်ကို နားလည်ခြင်းဖြင့် ဤလုပ်ဆောင်ချက်သည် အလွန်အသုံးဝင်သောကြောင့်ဖြစ်သည်။

with mlflow.start_run():

    ... model ...

    mlflow.log_param("source", wine_path)
    mlflow.log_param("alpha", alpha)
    mlflow.log_param("l1_ratio", l1_ratio)

    mlflow.log_metric("rmse", rmse)
    mlflow.log_metric("r2", r2)
    mlflow.log_metric("mae", mae)

    mlflow.set_tag('domain', 'wine')
    mlflow.set_tag('predict', 'quality')
    mlflow.sklearn.log_model(lr, "model")

ဝိုင်ပါတယ်လို့

မော်ဒယ်အတွက် ဆာဗာအပိုင်း

“mlflow ဆာဗာ” ညွှန်ကြားချက်ကို အသုံးပြု၍ စတင်သည့် MLflow ခြေရာခံဆာဗာတွင် လုပ်ဆောင်ချက်များကို ခြေရာခံခြင်းနှင့် ဒေသတွင်း ဖိုင်စနစ်သို့ ဒေတာများရေးသားခြင်းအတွက် REST API ရှိသည်။ "MLFLOW_TRACKING_URI" ကို အသုံးပြု၍ ပတ်၀န်းကျင်ပြောင်းလဲနိုင်သော ခြေရာခံဆာဗာလိပ်စာကို သင်သတ်မှတ်နိုင်ပြီး MLflow ခြေရာခံခြင်း API သည် လွှင့်တင်မှုအချက်အလက်၊ မှတ်တမ်းတိုင်းတာမှုများ ပြုလုပ်ရန်/လက်ခံရန် ဤလိပ်စာရှိ ခြေရာခံဆာဗာကို အလိုအလျောက်ဆက်သွယ်ပေးမည်ဖြစ်ပါသည်။

source: Docs// ခြေရာခံဆာဗာကို လုပ်ဆောင်နေသည်။

မော်ဒယ်ကို ဆာဗာတစ်ခု ပံ့ပိုးပေးရန်၊ ကျွန်ုပ်တို့သည် လည်ပတ်နေသည့် ခြေရာခံဆာဗာ (စတင်သည့် မျက်နှာပြင်ကို ကြည့်ပါ) နှင့် မော်ဒယ်၏ Run ID လိုအပ်ပါသည်။

ID ကိုဖွင့်ပါ။

# Serve a sklearn model through 127.0.0.0:5005
MLFLOW_TRACKING_URI=http://0.0.0.0:5000 mlflow sklearn serve 
  --port 5005  
  --run_id 0f8691808e914d1087cf097a08730f17 
  --model-path model

MLflow ဝန်ဆောင်မှုကို အသုံးပြု၍ မော်ဒယ်များကို ဝန်ဆောင်မှုပေးရန်အတွက်၊ ကျွန်ုပ်တို့သည် မော်ဒယ်နှင့်ပတ်သက်သည့် အချက်အလက်များကို ရိုးရှင်းစွာသတ်မှတ်ခြင်းဖြင့် ရရှိရန်အတွက် ခြေရာခံ UI သို့ ဝင်ရောက်ခွင့် လိုအပ်မည်ဖြစ်ပါသည်။ --run_id.

မော်ဒယ်သည် ခြေရာခံဆာဗာကို ဆက်သွယ်ပြီးသည်နှင့်၊ ကျွန်ုပ်တို့သည် မော်ဒယ် အဆုံးမှတ်အသစ်ကို ရရှိနိုင်ပါသည်။

# Query Tracking Server Endpoint
curl -X POST 
  http://127.0.0.1:5005/invocations 
  -H 'Content-Type: application/json' 
  -d '[
	{
		"fixed acidity": 3.42, 
		"volatile acidity": 1.66, 
		"citric acid": 0.48, 
		"residual sugar": 4.2, 
		"chloridessssss": 0.229, 
		"free sulfur dsioxide": 19, 
		"total sulfur dioxide": 25, 
		"density": 1.98, 
		"pH": 5.33, 
		"sulphates": 4.39, 
		"alcohol": 10.8
	}
]'

> {"predictions": [5.825055635303461]}

Spark မှ အပြေးမော်ဒယ်များ

ခြေရာခံဆာဗာသည် မော်ဒယ်များကို အချိန်နှင့်တပြေးညီ ဝန်ဆောင်မှုပေးနိုင်လောက်အောင် အစွမ်းထက်သော်လည်း ၎င်းတို့ကို လေ့ကျင့်ပေးပြီး ဆာဗာလုပ်ဆောင်နိုင်စွမ်းကို အသုံးပြုပါ (အရင်းအမြစ်- mlflow // docs // မော်ဒယ်များ # ပြည်တွင်းSpark (batch သို့မဟုတ် streaming) ကိုအသုံးပြုခြင်းသည် ၎င်း၏ဖြန့်ဖြူးမှုကြောင့် ပိုမိုအားကောင်းသည့်ဖြေရှင်းချက်တစ်ခုဖြစ်သည်။

သင်သည် လေ့ကျင့်ရေးကို အော့ဖ်လိုင်းတွင် ရိုးရိုးရှင်းရှင်း ပြုလုပ်ပြီး သင်၏ဒေတာအားလုံးတွင် အထွက်မော်ဒယ်ကို အသုံးပြုသည်ဟု မြင်ယောင်ကြည့်ပါ။ ဤနေရာတွင် Spark နှင့် MLflow တောက်ပနေသည်။

PySpark + Jupyter + Spark ကို ထည့်သွင်းပါ။

source: PySpark - Jupyter စတင်လိုက်ပါ။

Spark dataframes တွင် MLflow မော်ဒယ်များကို မည်သို့အသုံးပြုကြောင်းပြသရန်၊ PySpark နှင့် အတူတကွလုပ်ဆောင်ရန် Jupyter မှတ်စုစာအုပ်များကို စနစ်ထည့်သွင်းရန် လိုအပ်ပါသည်။

နောက်ဆုံးထွက်တည်ငြိမ်သောဗားရှင်းကို ထည့်သွင်းခြင်းဖြင့် စတင်ပါ။ Apache ကို Spark:

cd ~/Downloads/
tar -xzf spark-2.4.3-bin-hadoop2.7.tgz
mv ~/Downloads/spark-2.4.3-bin-hadoop2.7 ~/
ln -s ~/spark-2.4.3-bin-hadoop2.7 ~/spark̀

ပကတိပတ်ဝန်းကျင်တွင် PySpark နှင့် Jupyter ကို ထည့်သွင်းပါ-

pip install pyspark jupyter

ပတ်၀န်းကျင်ပြောင်းလွဲချက်များကို သတ်မှတ်ပါ-

export SPARK_HOME=~/spark
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --notebook-dir=${HOME}/Projects/notebooks"

ဆုံးဖြတ်ပြီးမှ notebook-dirကျွန်ုပ်တို့သည် ကျွန်ုပ်တို့၏မှတ်စုစာအုပ်များကို အလိုရှိသောဖိုင်တွဲတွင် သိမ်းဆည်းနိုင်ပါသည်။

PySpark မှ Jupyter ကိုဖွင့်ခြင်း။

ကျွန်ုပ်တို့သည် Jupiter ကို PySpark ဒရိုက်ဘာအဖြစ် သတ်မှတ်နိုင်သောကြောင့် ယခု PySpark ၏အခြေအနေတွင် Jupyter မှတ်စုစာအုပ်ကို သုံးနိုင်ပါပြီ။

(mlflow) afranzi:~$ pyspark
[I 19:05:01.572 NotebookApp] sparkmagic extension enabled!
[I 19:05:01.573 NotebookApp] Serving notebooks from local directory: /Users/afranzi/Projects/notebooks
[I 19:05:01.573 NotebookApp] The Jupyter Notebook is running at:
[I 19:05:01.573 NotebookApp] http://localhost:8888/?token=c06252daa6a12cfdd33c1d2e96c8d3b19d90e9f6fc171745
[I 19:05:01.573 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[C 19:05:01.574 NotebookApp]

    Copy/paste this URL into your browser when you connect for the first time,
    to login with a token:
        http://localhost:8888/?token=c06252daa6a12cfdd33c1d2e96c8d3b19d90e9f6fc171745

အထက်တွင်ဖော်ပြခဲ့သည့်အတိုင်း၊ MLflow သည် S3 ရှိ မော်ဒယ်လ်ပစ္စည်းများကို မှတ်တမ်းတင်ရန်အတွက် အင်္ဂါရပ်တစ်ခု ပံ့ပိုးပေးပါသည်။ ကျွန်ုပ်တို့၏လက်ထဲတွင် ရွေးချယ်ထားသော မော်ဒယ်ကို ရရှိသည်နှင့်တပြိုင်နက် ၎င်းကို မော်ဂျူးကို အသုံးပြု၍ UDF အဖြစ် တင်သွင်းရန် အခွင့်အရေးရှိသည်။ mlflow.pyfunc.

import mlflow.pyfunc

model_path = 's3://<bucket>/mlflow/artifacts/1/0f8691808e914d1087cf097a08730f17/artifacts/model'
wine_path = '/Users/afranzi/Projects/data/winequality-red.csv'
wine_udf = mlflow.pyfunc.spark_udf(spark, model_path)

df = spark.read.format("csv").option("header", "true").option('delimiter', ';').load(wine_path)
columns = [ "fixed acidity", "volatile acidity", "citric acid",
            "residual sugar", "chlorides", "free sulfur dioxide",
            "total sulfur dioxide", "density", "pH",
            "sulphates", "alcohol"
          ]
          
df.withColumn('prediction', wine_udf(*columns)).show(100, False)

PySpark - ဝိုင်အရည်အသွေး ခန့်မှန်းချက်များကို ထုတ်ပြန်ခြင်း။

ဤအချက်အထိ၊ ကျွန်ုပ်တို့သည် ဝိုင်ဒေတာအတွဲတစ်ခုလုံးတွင် ဝိုင်အရည်အသွေးခန့်မှန်းချက်များကို လုပ်ဆောင်ပြီး PySpark ကို MLflow ဖြင့် မည်သို့အသုံးပြုရမည်ကို ပြောဆိုထားပါသည်။ သို့သော် သင်သည် Scala Spark မှ Python MLflow modules ကိုအသုံးပြုရန် လိုအပ်ပါက အဘယ်နည်း။

Scala နှင့် Python အကြား Spark ဆက်စပ်မှုကို ပိုင်းခြားခြင်းဖြင့်လည်း ၎င်းကို စမ်းသပ်ခဲ့သည်။ ဆိုလိုသည်မှာ၊ ကျွန်ုပ်တို့သည် MLflow UDF ကို Python တွင်မှတ်ပုံတင်ပြီး Scala မှအသုံးပြုခဲ့သည် (ဟုတ်တယ်၊ အကောင်းဆုံးဖြေရှင်းချက်မဟုတ်ပေမယ့် ကျွန်ုပ်တို့မှာရှိသည်)။

Scala Spark + MLflow

ဤဥပမာအတွက်ကျွန်ုပ်တို့ထည့်ပါမည်။ Toree Kernel ရှိပြီးသား ဂျူပီတာထဲကို။

Spark + Toree + Jupyter ကို ထည့်သွင်းပါ။

pip install toree
jupyter toree install --spark_home=${SPARK_HOME} --sys-prefix
jupyter kernelspec list
```
```
Available kernels:
  apache_toree_scala    /Users/afranzi/.virtualenvs/mlflow/share/jupyter/kernels/apache_toree_scala
  python3               /Users/afranzi/.virtualenvs/mlflow/share/jupyter/kernels/python3
```

ပူးတွဲပါမှတ်စုစာအုပ်မှ သင်တွေ့မြင်ရသည့်အတိုင်း UDF ကို Spark နှင့် PySpark အကြား မျှဝေထားသည်။ ဤအပိုင်းသည် Scala ကိုနှစ်သက်ပြီး ထုတ်လုပ်မှုတွင် စက်သင်ယူမှုမော်ဒယ်များကို အသုံးချလိုသူများအတွက် အသုံးဝင်လိမ့်မည်ဟု မျှော်လင့်ပါသည်။

import org.apache.spark.sql.functions.col
import org.apache.spark.sql.types.StructType
import org.apache.spark.sql.{Column, DataFrame}
import scala.util.matching.Regex

val FirstAtRe: Regex = "^_".r
val AliasRe: Regex = "[\s_.:@]+".r

def getFieldAlias(field_name: String): String = {
    FirstAtRe.replaceAllIn(AliasRe.replaceAllIn(field_name, "_"), "")
}

def selectFieldsNormalized(columns: List[String])(df: DataFrame): DataFrame = {
    val fieldsToSelect: List[Column] = columns.map(field =>
        col(field).as(getFieldAlias(field))
    )
    df.select(fieldsToSelect: _*)
}

def normalizeSchema(df: DataFrame): DataFrame = {
    val schema = df.columns.toList
    df.transform(selectFieldsNormalized(schema))
}

FirstAtRe = ^_
AliasRe = [s_.:@]+

getFieldAlias: (field_name: String)String
selectFieldsNormalized: (columns: List[String])(df: org.apache.spark.sql.DataFrame)org.apache.spark.sql.DataFrame
normalizeSchema: (df: org.apache.spark.sql.DataFrame)org.apache.spark.sql.DataFrame
Out[1]:
[s_.:@]+
In [2]:
val winePath = "~/Research/mlflow-workshop/examples/wine_quality/data/winequality-red.csv"
val modelPath = "/tmp/mlflow/artifactStore/0/96cba14c6e4b452e937eb5072467bf79/artifacts/model"

winePath = ~/Research/mlflow-workshop/examples/wine_quality/data/winequality-red.csv
modelPath = /tmp/mlflow/artifactStore/0/96cba14c6e4b452e937eb5072467bf79/artifacts/model
Out[2]:
/tmp/mlflow/artifactStore/0/96cba14c6e4b452e937eb5072467bf79/artifacts/model
In [3]:
val df = spark.read
              .format("csv")
              .option("header", "true")
              .option("delimiter", ";")
              .load(winePath)
              .transform(normalizeSchema)

df = [fixed_acidity: string, volatile_acidity: string ... 10 more fields]
Out[3]:
[fixed_acidity: string, volatile_acidity: string ... 10 more fields]
In [4]:
%%PySpark
import mlflow
from mlflow import pyfunc

model_path = "/tmp/mlflow/artifactStore/0/96cba14c6e4b452e937eb5072467bf79/artifacts/model"
wine_quality_udf = mlflow.pyfunc.spark_udf(spark, model_path)

spark.udf.register("wineQuality", wine_quality_udf)
Out[4]:
<function spark_udf.<locals>.predict at 0x1116a98c8>
In [6]:
df.createOrReplaceTempView("wines")
In [10]:
%%SQL
SELECT 
    quality,
    wineQuality(
        fixed_acidity,
        volatile_acidity,
        citric_acid,
        residual_sugar,
        chlorides,
        free_sulfur_dioxide,
        total_sulfur_dioxide,
        density,
        pH,
        sulphates,
        alcohol
    ) AS prediction
FROM wines
LIMIT 10
Out[10]:
+-------+------------------+
|quality|        prediction|
+-------+------------------+
|      5| 5.576883967129615|
|      5|  5.50664776916154|
|      5| 5.525504822954496|
|      6| 5.504311247097457|
|      5| 5.576883967129615|
|      5|5.5556903912725755|
|      5| 5.467882654744997|
|      7| 5.710602976324739|
|      7| 5.657319539336507|
|      5| 5.345098606538708|
+-------+------------------+

In [17]:
spark.catalog.listFunctions.filter('name like "%wineQuality%").show(20, false)

+-----------+--------+-----------+---------+-----------+
|name       |database|description|className|isTemporary|
+-----------+--------+-----------+---------+-----------+
|wineQuality|null    |null       |null     |true       |
+-----------+--------+-----------+---------+-----------+

နောက်အဆင့်များ

စာရေးချိန်တွင် MLflow သည် Alpha ဗားရှင်းတွင်ရှိသော်လည်း၊ ၎င်းသည် အလွန်အလားအလာရှိပုံရသည်။ စက်သင်ယူမှုဘောင်များစွာကို လုပ်ဆောင်နိုင်ပြီး အဆုံးမှတ်တစ်ခုတည်းမှ ၎င်းတို့ကို စားသုံးနိုင်ရုံမျှဖြင့် အကြံပြုသူစနစ်များကို နောက်တစ်ဆင့်သို့ ယူဆောင်သွားမည်ဖြစ်သည်။

ထို့အပြင်၊ MLflow သည် Data Engineers နှင့် Data Science ကျွမ်းကျင်သူများအား ၎င်းတို့ကြားတွင် ဘုံအလွှာတစ်ခုစီထားကာ ပိုမိုနီးကပ်စေပါသည်။

ဤ MLflow ကို စူးစမ်းလေ့လာပြီးနောက်၊ ကျွန်ုပ်တို့သည် ၎င်းကို ကျွန်ုပ်တို့၏ Spark ပိုက်လိုင်းများနှင့် အကြံပြုပေးစနစ်များအတွက် ရှေ့သို့ ဆက်လက်ချီတက်မည်ဟု ယုံကြည်ပါသည်။

ဖိုင်သိုလှောင်မှုကို ဖိုင်စနစ်အစား ဒေတာဘေ့စ်နှင့် ထပ်တူပြုခြင်းသည် ကောင်းမွန်ပါသည်။ ၎င်းသည် ကျွန်ုပ်တို့အား တူညီသောဖိုင်သိုလှောင်မှုကို အသုံးပြုနိုင်သည့် အဆုံးမှတ်များစွာကို ပေးသင့်သည်။ ဥပမာအားဖြင့်၊ များစွာသောဥပမာများကိုသုံးပါ။ Presto и အသီနာ တူညီသော Glue metastore နှင့်။

အနှစ်ချုပ်ရလျှင် ကျွန်ုပ်တို့၏လုပ်ငန်းကို ဒေတာပိုမိုစိတ်ဝင်စားဖွယ်ဖြစ်အောင် ပြုလုပ်ပေးသည့်အတွက် MLFlow အသိုင်းအဝိုင်းကို ကျေးဇူးတင်ကြောင်း ပြောကြားလိုပါသည်။

အကယ်၍ သင်သည် MLflow နှင့် ကစားနေပါက၊ ကျွန်ုပ်တို့ထံ စာရေးပြီး သင်အသုံးပြုပုံကို ပြောပြရန် မတွန့်ဆုတ်ပါနှင့်၊ ၎င်းကို ထုတ်လုပ်ရေးတွင် သင်အသုံးပြုပါက ပို၍ပင်။

သင်တန်းများအကြောင်းပိုမိုလေ့လာပါ
စက်သင်ယူမှု။ အခြေခံသင်တန်း
စက်သင်ယူမှု။ အဆင့်မြင့်သင်တန်း

ပိုပြီးဖတ်ပါ:

• ကြီးကြပ်သင်ယူမှုပြဿနာများတွင် အဓိကအစိတ်အပိုင်းခွဲခြမ်းစိတ်ဖြာခြင်းကို အသုံးချခြင်း၏အန္တရာယ်နှင့်သတိထားချက်များ
• Docker ဖြင့် စက်သင်ယူမှုပုံစံကို အသုံးချခြင်း – အပိုင်း ၁
• Docker ဖြင့် စက်သင်ယူမှုပုံစံကို အသုံးချခြင်း – အပိုင်း ၁

source: www.habr.com