두려움을 극복하고 Azure 기계 학습을 시작하는 방법

저는 Jupyter Notebook 또는 일종의 Python 개발 환경을 통해 클라우드에 있는 로컬 또는 가상의 GPU 머신에서 작업하는 많은 데이터 과학자를 알고 있으며 아마도 저 자신도 그들 중 한 명일 것입니다. 2년 동안 전문 AI/ML 개발자로 일하면서 일반 서버 또는 워크스테이션에서 데이터를 준비하고 Azure의 GPU가 있는 가상 머신에서 교육을 실행하면서 정확히 이 작업을 수행했습니다.

물론 우리 모두는 Azure 기계 학습 — 기계 학습을 위한 특별한 클라우드 플랫폼. 하지만, 첫눈에 반한 후 소개 기사, Azure ML이 해결하는 것보다 더 많은 문제를 생성하는 것 같습니다. 예를 들어 위에서 언급한 자습서에서 Azure ML에 대한 교육은 Jupyter Notebook에서 시작되는 반면 교육 스크립트 자체는 자동 완성, 구문을 사용하지 않고 셀 중 하나에서 텍스트 파일로 생성 및 편집하도록 제안됩니다. 강조 표시 및 일반 개발 환경의 기타 이점. 이러한 이유로 우리는 오랫동안 작업에 Azure ML을 심각하게 사용하지 않았습니다.

그러나 최근 작업에서 Azure ML을 효과적으로 사용하는 방법을 발견했습니다! 세부 사항에 관심이 있으십니까?

주요 비밀은 Azure ML용 Visual Studio Code 확장. 이를 통해 VS Code에서 바로 교육 스크립트를 개발하여 환경을 최대한 활용할 수 있으며 스크립트를 로컬로 실행한 다음 몇 번의 클릭만으로 Azure ML 클러스터의 교육으로 보낼 수도 있습니다. 편리하지 않습니까?

이렇게 하면 Azure ML을 사용하여 다음과 같은 이점을 얻을 수 있습니다.

• 대부분의 시간을 편리한 IDE를 통해 컴퓨터에서 로컬로 작업할 수 있습니다. 모델 훈련에만 GPU 사용. 동시에 교육 리소스 풀은 필요한 로드에 맞게 자동으로 조정될 수 있으며 최소 노드 수를 0으로 설정하여 교육 작업이 있는 경우 "요청 시" 가상 머신을 자동으로 시작할 수 있습니다.
• 당신은 할 수 모든 학습 결과를 한 곳에 저장, 달성된 메트릭 및 결과 모델을 포함하여 모든 결과를 저장하기 위해 어떤 종류의 시스템이나 순서를 제시할 필요가 없습니다.
• 이 경우, 여러 사람이 동일한 프로젝트에서 작업할 수 있습니다. - 동일한 컴퓨팅 클러스터를 사용할 수 있고 모든 실험이 대기열에 추가되며 서로의 실험 결과도 볼 수 있습니다. 그러한 시나리오 중 하나는 딥 러닝 교육에 Azure ML 사용각 학생에게 GPU가 있는 가상 머신을 제공하는 대신 모든 사람이 중앙에서 사용할 하나의 클러스터를 만들 수 있습니다. 또한 모델 정확도가 있는 일반 결과표는 좋은 경쟁 요소가 될 수 있습니다.
• Azure ML을 사용하면 다음과 같은 일련의 실험을 쉽게 수행할 수 있습니다. 하이퍼파라미터 최적화 - 이것은 몇 줄의 코드로 수행할 수 있으며 일련의 실험을 수동으로 수행할 필요가 없습니다.

Azure ML을 사용해 보도록 설득했으면 좋겠습니다! 시작하는 방법은 다음과 같습니다.

• 설치했는지 확인하십시오 Visual Studio 코드, 뿐만 아니라 확장 Azure 로그인 и 푸른 ML
• 저장소 복제 https://github.com/CloudAdvocacy/AzureMLStarter - MNIST 데이터 세트에서 필기 숫자 인식 모델을 교육하기 위한 데모 코드가 포함되어 있습니다.
• Visual Studio Code에서 복제된 리포지토리를 엽니다.
• 읽어!

Azure ML 작업 영역 및 Azure ML 포털

Azure ML은 개념을 중심으로 구성됩니다. 업무 공간 — 작업 공간. 작업 공간에 데이터를 저장할 수 있고, 훈련을 위해 실험을 작업 공간으로 보내고, 훈련 결과(결과 메트릭 및 모델)도 거기에 저장합니다. 다음을 통해 작업 공간 내부에 무엇이 있는지 확인할 수 있습니다. Azure ML 포털 - 여기에서 데이터 로드에서 실험 모니터링 및 모델 배포에 이르기까지 다양한 작업을 수행할 수 있습니다.

웹 인터페이스를 통해 작업 공간을 만들 수 있습니다. Azure 포털 (참조하십시오. 단계별 지침), 또는 Azure CLI 명령줄(명령):

az extension add -n azure-cli-ml
az group create -n myazml -l northeurope
az ml workspace create -w myworkspace -g myazml

또한 작업 공간과 관련된 일부 컴퓨팅 리소스 (계산). 모델을 훈련시키는 스크립트를 생성한 후에는 다음을 수행할 수 있습니다. 실행을 위해 실험 보내기 작업 공간에 지정하고 컴퓨팅 대상 - 이 경우 스크립트를 패키징하여 원하는 컴퓨팅 환경에서 실행한 다음 모든 실험 결과를 추가 분석 및 사용을 위해 작업 공간에 저장합니다.

MNIST 학습 스크립트

고전적인 문제를 고려하십시오 필기 숫자 인식 MNIST 데이터 세트를 사용합니다. 마찬가지로 앞으로는 모든 학습 스크립트를 실행할 수 있습니다.

저장소에 스크립트가 있습니다. train_local.py, SkLearn 라이브러리를 사용하여 가장 간단한 선형 회귀 모델을 교육합니다. 물론 이것이 문제를 해결하는 가장 좋은 방법이 아니라는 것을 이해합니다. 가장 간단한 예로 사용합니다.

스크립트는 먼저 OpenML에서 MNIST 데이터를 다운로드한 다음 클래스를 사용합니다. LogisticRegression 모델을 훈련한 다음 결과 정확도를 인쇄합니다.

mnist = fetch_openml('mnist_784')
mnist['target'] = np.array([int(x) for x in mnist['target']])

shuffle_index = np.random.permutation(len(mist['data']))
X, y = mnist['data'][shuffle_index], mnist['target'][shuffle_index]

X_train, X_test, y_train, y_test = 
  train_test_split(X, y, test_size = 0.3, random_state = 42)

lr = LogisticRegression()
lr.fit(X_train, y_train)
y_hat = lr.predict(X_test)
acc = np.average(np.int32(y_hat == y_test))

print('Overall accuracy:', acc)

컴퓨터에서 스크립트를 실행하고 몇 초 안에 결과를 얻을 수 있습니다.

Azure ML에서 스크립트 실행

Azure ML을 통해 교육 스크립트를 실행하면 두 가지 주요 이점이 있습니다.

• 일반적으로 로컬 컴퓨터보다 생산적인 임의의 컴퓨팅 리소스에서 교육을 실행합니다. 동시에 Azure ML 자체는 현재 디렉터리의 모든 파일이 포함된 스크립트를 docker 컨테이너로 압축하고, 필요한 종속성을 설치하고, 실행을 위해 전송합니다.
• Azure ML 작업 영역 내의 단일 레지스트리에 결과를 씁니다. 이 기능을 활용하려면 스크립트에 몇 줄의 코드를 추가하여 결과 정확도를 기록해야 합니다.

from azureml.core.run import Run
...
try:    
    run = Run.get_submitted_run()
    run.log('accuracy', acc)
except:
    pass

스크립트의 해당 버전은 다음과 같습니다. train_universal.py (위에 쓴 것보다 조금 더 교활하지만 많지는 않습니다). 이 스크립트는 로컬 및 원격 컴퓨팅 리소스에서 모두 실행할 수 있습니다.

VS Code의 Azure ML에서 실행하려면 다음을 수행해야 합니다.

1. Azure 확장이 구독에 연결되어 있는지 확인합니다. 왼쪽 메뉴에서 Azure 아이콘을 선택합니다. 연결되지 않은 경우 오른쪽 하단에 알림이 표시됩니다(이와 같이), 브라우저를 통해 입력할 수 있는 클릭. 클릭할 수도 있습니다. Ctrl-Shift-P VS Code 명령줄을 호출하고 다음을 입력합니다. Azure 로그인.

2. 그런 다음 Azure 섹션(왼쪽 아이콘)에서 섹션을 찾습니다. 기계 학습:

여기에서 작업 공간 내에서 컴퓨팅 리소스, 실험 등 다양한 개체 그룹을 볼 수 있습니다.

1. 파일 목록으로 이동하여 스크립트를 마우스 오른쪽 버튼으로 클릭하십시오. train_universal.py 그리고 선택 Azure ML: Azure에서 실험으로 실행.

1. 그러면 VS Code의 명령줄 영역에 일련의 대화 상자가 표시됩니다. 사용 중인 구독 및 Azure ML 작업 영역을 확인하고 선택합니다. 새 실험 만들기:

1. 새 컴퓨팅 리소스를 생성하도록 선택 새 컴퓨팅 생성:

   • 계산 교육이 진행될 컴퓨팅 리소스를 결정합니다. 로컬 컴퓨터 또는 AmlCompute 클라우드 클러스터를 선택할 수 있습니다. 확장 가능한 머신 클러스터를 만드는 것이 좋습니다. STANDARD_DS3_v2, 최소 머신 수는 0입니다(식량에 따라 최대 1대 이상). 이는 VS Code 인터페이스를 통해 또는 이전에 다음을 통해 수행할 수 있습니다. ML 포털.

   

2. 다음으로 구성을 선택해야 합니다. 컴퓨팅 구성, 훈련을 위해 생성된 컨테이너의 매개변수, 특히 필요한 모든 라이브러리를 정의합니다. 우리의 경우 Scikit Learn을 사용하고 있으므로 SkLearn을 누른 다음 Enter 키를 눌러 제안된 라이브러리 목록을 확인합니다. 추가 라이브러리를 사용하는 경우 여기에 지정해야 합니다.

   
   

3. 그러면 실험을 설명하는 JSON 파일이 있는 창이 열립니다. 여기에서 실험 이름과 같은 일부 매개 변수를 수정할 수 있습니다. 그 후 링크 클릭 실험 제출 이 파일 바로 내부:

1. VS Code를 통해 실험을 성공적으로 제출하면 알림 영역 오른쪽에 다음 링크가 표시됩니다. Azure ML 포털, 여기에서 실험의 상태와 결과를 추적할 수 있습니다.

이후 섹션에서 항상 찾을 수 있습니다. 실험 Azure ML 포털또는 섹션에서 Azure 기계 학습 실험 목록에서:

1. 그 후에 코드를 수정하거나 매개변수를 변경하면 실험을 다시 시작하는 것이 훨씬 빠르고 쉬워집니다. 파일을 마우스 오른쪽 버튼으로 클릭하면 새 메뉴 항목이 표시됩니다. 마지막 실행 반복 - 선택하기만 하면 실험이 즉시 시작됩니다.

Azure ML Portal에서 모든 시작의 메트릭 결과를 항상 찾을 수 있으며 기록해 둘 필요가 없습니다.

이제 Azure ML을 사용하여 실험을 실행하는 것이 간단하고 고통스럽지 않으며 그렇게 함으로써 많은 이점을 얻을 수 있다는 것을 알고 있습니다.

그러나 단점도 볼 수 있습니다. 예를 들어 스크립트를 실행하는 데 훨씬 더 오래 걸렸습니다. 물론 컨테이너에 스크립트를 패키징하고 서버에 배포하는 데는 시간이 걸립니다. 동시에 클러스터가 0노드 크기로 축소되면 가상 머신을 시작하는 데 훨씬 더 많은 시간이 걸리며 이 모든 것은 몇 초 안에 해결되는 MNIST와 같은 간단한 작업을 실험할 때 매우 눈에 띕니다. . 그러나 실생활에서 교육이 몇 시간 또는 심지어 며칠 또는 몇 주 동안 지속되는 경우 이러한 추가 시간은 특히 컴퓨팅 클러스터가 제공할 수 있는 훨씬 더 높은 성능의 배경에 비해 중요하지 않습니다.

다음은 뭐지?

이 기사를 읽은 후 작업에서 Azure ML을 사용하여 스크립트를 실행하고, 컴퓨팅 리소스를 관리하고, 결과를 중앙에서 저장할 수 있기를 바랍니다. 그러나 Azure ML은 훨씬 더 많은 이점을 제공할 수 있습니다!

작업 공간 내에서 데이터를 저장할 수 있으므로 액세스하기 쉬운 모든 작업에 대한 중앙 저장소를 만들 수 있습니다. 또한 Visual Studio Code가 아닌 API를 사용하여 실험을 실행할 수 있습니다. 이는 하이퍼 매개변수 최적화를 수행해야 하고 다른 매개변수로 스크립트를 여러 번 실행해야 하는 경우에 특히 유용할 수 있습니다. 또한 Azure ML에는 특별한 기술이 내장되어 있습니다. 하이퍼 드라이브, 하이퍼파라미터의 더 까다로운 검색 및 최적화를 수행할 수 있습니다. 다음 게시물에서 이러한 가능성에 대해 이야기하겠습니다.

유용한 자료

Azure ML에 대해 자세히 알아보려면 다음 Microsoft Learn 과정이 도움이 될 수 있습니다.

• Azure ML 서비스 소개
• Azure ML 서비스로 AI 솔루션 구축
• Azure ML 서비스로 로컬 모델 학습

출처 : habr.com