MLOps: 기계 학습 세계의 DevOps

2018년 전문 분야와 AI 전용 주제별 컨퍼런스에서 MLOps의 개념이 등장하여 업계에서 빠르게 발판을 마련했으며 현재는 독립적인 방향으로 발전하고 있습니다. 앞으로 MLOps는 IT에서 가장 요구되는 영역 중 하나가 될 수 있습니다. 그것이 무엇이며 무엇과 함께 먹는지, 우리는 절단 아래에서 이해합니다.

MLOps란?

MLOps(기계 학습의 기술과 프로세스의 병합 및 비즈니스 프로세스에서 개발된 모델 구현에 대한 접근 방식)은 인공 지능 시스템 생성에 있어 비즈니스 대표, 과학자, 수학자, 기계 학습 전문가 및 IT 엔지니어 간의 새로운 협력 방식입니다.

즉, 기계 학습 방법과 기술을 비즈니스 문제를 해결하는 데 유용한 도구로 전환하는 방법입니다. 

생산성 사슬은 모델이 개발되기 오래 전에 시작된다는 점을 이해해야 합니다. 첫 번째 단계는 비즈니스 목표, 데이터에서 추출할 수 있는 가치에 대한 가설 및 이를 적용할 비즈니스 아이디어를 정의하는 것입니다. 

MLOps라는 개념은 모델 및 기계 학습 기술과 관련하여 DevOps 개념과 유사하게 발생했습니다. DevOps는 소프트웨어 개발 접근 방식으로, 지속적인 개발, 기능을 여러 독립 마이크로 서비스로 분리, 개별 변경 사항의 자동화된 테스트 및 배포, 글로벌 상태 모니터링, 감지된 장애에 대한 신속한 대응 시스템 등 

DevOps는 소프트웨어 수명 주기를 정의했으며 소프트웨어 커뮤니티에서 동일한 기술을 빅 데이터에 적용하려는 아이디어가 떠 올랐습니다. DataOps는 다양한 상호 작용 플랫폼에서 대량의 데이터를 저장, 전송 및 처리하는 특성을 고려하여 방법론을 채택하고 확장하려는 시도입니다.
  
기업의 비즈니스 프로세스에 내장된 특정 임계량의 머신 러닝 모델이 등장하면서 머신 러닝의 수학적 모델 수명 주기와 소프트웨어 수명 주기 간에 강한 유사성이 발견되었습니다. 유일한 차이점은 모델 알고리즘이 기계 학습 도구 및 방법을 사용하여 생성된다는 것입니다. 따라서 기계 학습 모델을 위한 소프트웨어 개발에 이미 알려진 접근 방식을 적용하고 조정하려는 아이디어가 자연스럽게 떠 올랐습니다. 따라서 기계 학습 모델의 수명 주기에서 다음과 같은 주요 단계를 구분할 수 있습니다.

• 사업 아이디어 정의;
• 모델 훈련;
• 비즈니스 프로세스에서 모델의 테스트 및 구현
• 모델 작업.

운영 중에 새 데이터에 대해 모델을 변경하거나 재훈련해야 하는 경우 주기가 새로 시작됩니다. 모델이 완성되고 테스트되며 새 버전이 배포됩니다.

후퇴. 재교육을 하고 재교육을 하지 않는 이유는 무엇입니까? "모델 재훈련"이라는 용어는 두 가지 해석이 있습니다. 전문가들 사이에서는 모델이 잘 예측할 때 모델의 결함을 의미하며 실제로 훈련 세트에서 예측된 매개변수를 반복하지만 외부 데이터 세트에서는 훨씬 더 잘 작동하지 않습니다. 당연히 그러한 모델은 결함입니다. 이 결함은 적용을 허용하지 않기 때문입니다.

이 수명 주기에서는 자동화된 테스트, 배포 및 모니터링, 별도의 마이크로 서비스로 모델 계산 등록과 같은 DevOps 도구를 사용하는 것이 논리적으로 보입니다. 그러나 추가 ML 연결 없이 이러한 도구를 직접 사용하지 못하게 하는 여러 기능이 있습니다.

모델을 작동시키고 수익을 창출하는 방법

예를 들어 MLOps 접근 방식의 적용을 시연할 때 은행(또는 기타) 제품에 대한 지원 채팅을 로봇화하는 고전적인 작업을 수행합니다. 일반적인 채팅 지원 비즈니스 프로세스는 다음과 같습니다. 고객이 채팅에 질문을 입력하고 미리 정의된 대화 트리 내에서 전문가로부터 응답을 받습니다. 이러한 채팅을 자동화하는 작업은 일반적으로 개발 및 유지 관리가 매우 힘든 전문적으로 정의된 규칙 세트를 사용하여 해결됩니다. 작업의 복잡성 수준에 따라 이러한 자동화의 효율성은 20-30%가 될 수 있습니다. 당연히 다음과 같은 기계 학습을 사용하여 개발된 모델인 인공 지능 모듈을 구현하는 것이 더 유익하다는 생각이 떠오릅니다.

• 운영자의 참여 없이 더 많은 요청을 처리할 수 있습니다(주제에 따라 경우에 따라 효율성이 70-80%에 도달할 수 있음).
• 대화에서 비표준 문구에 더 잘 적응합니다. 불분명하게 공식화 된 요청에 대한 사용자의 의도, 실제 욕구를 결정할 수 있습니다.
• 모델의 대답이 적절한 때와 이 대답의 "의식"에 대한 의심이 있고 추가적인 명확한 질문을 하거나 교환원에게 전환해야 할 때를 결정할 수 있습니다.
• 자동으로 재교육할 수 있습니다(개발자 그룹이 응답 시나리오를 지속적으로 조정하고 수정하는 대신 데이터 과학자가 적절한 기계 학습 라이브러리를 사용하여 모델을 재교육함). 

이러한 고급 모델을 작동시키는 방법은 무엇입니까? 

다른 작업을 해결하는 것과 마찬가지로 그러한 모듈을 개발하기 전에 비즈니스 프로세스를 정의하고 기계 학습 방법을 사용하여 해결할 특정 작업을 공식적으로 설명해야 합니다. 이 시점에서 약어 Ops로 표시되는 운영화 프로세스가 시작됩니다. 

다음 단계는 데이터 과학자가 데이터 엔지니어와 협력하여 데이터의 가용성과 충분성, 비즈니스 아이디어의 실행 가능성에 대한 비즈니스 가설을 확인하고 모델의 프로토타입을 개발하고 실제 효과를 확인하는 것입니다. 비즈니스의 확인을 받은 후에만 모델 개발에서 특정 비즈니스 프로세스를 수행하는 시스템에 모델을 내장하는 전환이 시작될 수 있습니다. 종단 간 구현 계획, 모델 사용 방법 및 모델이 가져올 경제적 효과에 대한 각 단계의 깊은 이해는 MLOps 접근 방식을 회사의 기술 환경에 도입하는 프로세스의 근본적인 순간입니다.

AI 기술의 발달로 머신러닝으로 해결할 수 있는 과제의 수와 종류가 눈사태처럼 늘어나고 있다. 이러한 각 비즈니스 프로세스는 대량 직책 (콜센터, 문서 확인 및 분류 등) 직원의 작업을 자동화하여 회사를 구하고, 매력적이고 편리한 새로운 기능을 추가하여 고객 기반을 확장하고 최적의 비용 절감으로 인해 비용을 절감합니다. 자원의 사용 및 재분배 등. 궁극적으로 모든 프로세스는 가치 창출에 중점을 두고 있으며 결과적으로 특정 경제적 효과를 가져와야 합니다. 여기에서 비즈니스 아이디어를 명확하게 표현하고 회사 가치 창출의 전체 구조에서 모델 구현으로 인한 예상 이익을 계산하는 것이 매우 중요합니다. 모델 구현 자체가 정당화되지 않는 상황이 있으며 기계 학습 전문가가 이 작업을 수행하는 작업자의 작업장보다 훨씬 더 많은 시간이 소요됩니다. 그렇기 때문에 AI 시스템을 만드는 초기 단계에서 이러한 사례를 식별하려는 노력이 필요합니다.

결과적으로 MLOps 프로세스에서 비즈니스 작업이 올바르게 공식화되고 우선 순위가 설정되고 모델을 시스템에 도입하는 프로세스가 개발 초기 단계에서 공식화되었을 때만 모델이 수익을 내기 시작합니다.

새로운 프로세스 - 새로운 도전

ML 모델이 문제 해결에 얼마나 적용 가능한가에 대한 기본적인 비즈니스 질문에 대한 철저한 대답인 AI에 대한 신뢰에 대한 일반적인 질문은 MLOps 접근 방식의 개발 및 구현에서 주요 과제 중 하나입니다. 처음에 기업은 기계 학습을 프로세스에 도입하는 것에 대해 회의적이었습니다. 과거에 사람들이 일반적으로 일했던 장소에서 모델에 의존하기가 어렵습니다. 비즈니스의 경우 프로그램은 "블랙 박스"로 나타나며 답변의 관련성은 여전히 ​​입증되어야 합니다. 또한 은행, 통신 사업자 등의 비즈니스에는 주 규제 기관의 엄격한 요구 사항이 있습니다. 뱅킹 프로세스에서 구현되는 모든 시스템과 알고리즘은 감사 대상입니다. 이 문제를 해결하기 위해 기업과 규제 기관에 인공 지능 답변의 타당성과 정확성을 입증하기 위해 모델과 함께 모니터링 도구가 도입되고 있습니다. 또한 중앙 은행의 요구 사항을 충족하는 규제 모델에 필수적인 독립적인 검증 절차가 있습니다. 독립적인 전문가 그룹이 입력 데이터를 고려하여 모델에서 얻은 결과를 감사합니다.

두 번째 과제는 기계 학습 모델을 구현할 때 모델 위험을 평가하고 고려하는 것입니다. 사람이 그 드레스가 흰색인지 파란색인지 절대적인 확신을 갖고 대답할 수 없더라도 인공 지능도 실수할 권리가 있습니다. 또한 데이터는 시간이 지남에 따라 변경될 수 있으며 충분히 정확한 결과를 생성하려면 모델을 재교육해야 한다는 점도 고려해야 합니다. 비즈니스 프로세스에 문제가 발생하지 않도록 하려면 모델 위험을 관리하고 모델의 성능을 모니터링하여 정기적으로 새 데이터에 대해 재교육해야 합니다.

그러나 불신의 XNUMX단계 이후에는 반대의 효과가 나타나기 시작한다. 더 많은 모델이 프로세스에 성공적으로 도입될수록 비즈니스에서 인공 지능 사용에 대한 욕구가 커집니다. 기계 학습 방법을 사용하여 해결할 수 있는 새롭고 새로운 작업이 있습니다. 각 작업은 특정 역량이 필요한 전체 프로세스를 시작합니다.

• 데이터 엔지니어는 데이터를 준비하고 처리합니다.
• 데이터 과학자는 기계 학습 도구를 적용하고 모델을 개발합니다.
• IT는 모델을 시스템에 구현합니다.
• ML 엔지니어는 이 모델을 프로세스에 올바르게 통합하는 방법, 요청 흐름, 응답 시간 등을 고려하여 모델 적용 모드에 대한 요구 사항에 따라 사용할 IT 도구를 결정합니다. 
• ML 설계자는 산업 시스템에서 소프트웨어 제품을 물리적으로 구현할 수 있는 방법을 설계합니다.

전체 주기에는 많은 자격을 갖춘 전문가가 필요합니다. 개발의 특정 시점과 ML 모델이 비즈니스 프로세스에 침투하는 정도에서 작업 수의 증가에 비례하여 전문가 수를 선형적으로 확장하는 것은 비용이 많이 들고 비효율적이라는 것이 밝혀졌습니다. 따라서 MLOps 프로세스 자동화(기계 학습 문제의 여러 표준 클래스 정의, 일반적인 데이터 처리 파이프라인 개발 및 모델 재교육)에 대한 문제가 발생합니다. 이상적으로는 이러한 문제를 해결하기 위해 BigData, Data Science, DevOps 및 IT의 접점에서 동등하게 역량을 갖춘 전문가가 필요합니다. 따라서 데이터 과학 산업의 가장 큰 문제이자 MLOps 프로세스 구성의 가장 큰 과제는 기존 교육 시장에서 이러한 역량이 부족하다는 것입니다. 이러한 요구 사항을 충족하는 전문가는 현재 노동 시장에서 드물고 금의 가치가 있습니다.

역량 질문에

이론적으로 모든 MLOps 작업은 특수 역할 모델 확장에 의존하지 않고 클래식 DevOps 도구로 해결할 수 있습니다. 그런 다음 위에서 언급했듯이 데이터 과학자는 수학자 및 데이터 분석가일 뿐만 아니라 아키텍처 개발, 아키텍처에 따라 여러 언어로 모델 프로그래밍, 데이터 마트 준비 및 배포와 같은 전체 파이프라인의 전문가여야 합니다. 그의 어깨에 떨어집니다 응용 프로그램 자체. 그러나 End-to-End MLOps 프로세스에서 구현되는 기술적 구속력의 생성은 인건비의 최대 80%를 차지합니다. 즉, 고급 데이터 과학자인 자격을 갖춘 수학자는 그의 전문 분야에 시간. 따라서 기계 학습 모델을 구현하는 프로세스를 구현하는 전문가의 역할 차별화가 중요해집니다. 

역할을 얼마나 상세하게 기술해야 하는지는 기업의 규모에 따라 다릅니다. 스타트업에 전력 엔지니어, 엔지니어, 설계자, DevOps 등 한 명의 전문가가 있는 경우 문제가 발생합니다. 대기업에서 모든 모델 개발 프로세스가 소수의 고급 데이터 과학자에게 집중되는 반면, 노동 시장에서 보다 일반적이고 저렴한 역량인 프로그래머 또는 데이터베이스 전문가가 대신할 수 있다면 완전히 다른 문제입니다. 대부분의 일상적인 작업.

따라서 MLOps 프로세스를 보장하기 위한 전문가의 선택과 개발된 모델의 운영 프로세스가 구성되는 방식에 경계가 있는 경우 개발된 모델의 속도와 품질, 팀의 생산성 및 미기후에 직접적인 영향을 미칩니다.

우리 팀에서 이미 수행한 작업

우리는 최근 역량 프레임워크와 MLOps 프로세스를 구축하기 시작했습니다. 하지만 이미 모델의 수명 주기를 관리하고 모델을 서비스로 사용하는 프로젝트는 MVP 테스트 단계에 있습니다.

또한 대기업의 최적 역량 구조와 프로세스의 모든 참가자 간의 상호 작용 조직 구조를 결정했습니다. 애자일 팀은 건설 중인 MLOps 빌딩의 기반이 되는 플랫폼과 인프라를 만들기 위해 프로젝트 팀과 상호 작용하는 프로세스뿐만 아니라 비즈니스 고객의 전체 스펙트럼에 대한 문제를 해결하기 위해 구성되었습니다.

미래에 대한 질문

MLOps는 역량 부족을 경험하고 있으며 향후 탄력을 받을 성장 분야입니다. 그동안 DevOps의 개발 및 사례를 기반으로 구축하는 것이 가장 좋습니다. MLOps의 주요 목표는 ML 모델을 보다 효과적으로 사용하여 비즈니스 문제를 해결하는 것입니다. 그러나 이것은 많은 질문을 제기합니다.

• 프로덕션에서 모델 출시 시간을 단축하는 방법은 무엇입니까?
• 역량이 다른 팀 간의 관료적 마찰을 줄이고 협력에 대한 초점을 높이는 방법은 무엇입니까?
• 모델을 추적하고 버전을 관리하며 효과적인 모니터링을 구성하는 방법은 무엇입니까?
• 최신 ML 모델을 위한 진정한 순환 수명 주기를 생성하는 방법은 무엇입니까?
• 기계 학습 프로세스를 표준화하는 방법은 무엇입니까?

이러한 질문에 대한 답변에 따라 MLOps가 얼마나 빨리 잠재력을 최대한 발휘할지 결정됩니다.

출처 : habr.com