Gartner MQ 2020 리뷰: 기계 학습 및 인공 지능 플랫폼

내가 이 글을 읽는 이유를 설명하는 것은 불가능하다. 나는 시간이 있었고 시장이 어떻게 작동하는지에 관심이 있었습니다. Gartner에 따르면 이는 2018년부터 이미 본격적인 시장이 되었습니다. 2014년부터 2016년까지는 고급 분석(BI의 뿌리)으로 불렸고, 2017년에는 데이터 과학(러시아어로 번역하는 방법을 모르겠습니다)이라고 했습니다. 광장 주변의 상인들의 움직임에 관심이 있는 사람들은 다음을 수행할 수 있습니다. 여기에 바라보다. 특히 2020년 이후 변화가 미미했기 때문에 2019년 광장에 대해 이야기하겠습니다. SAP가 이전하고 Altair가 Datawatch를 인수했습니다.

이것은 체계적인 분석이나 표가 아닙니다. 지구물리학자의 관점에서 본 개인의 견해입니다. 하지만 저는 항상 Gartner MQ를 읽고 싶습니다. Gartner MQ는 몇 가지 요점을 완벽하게 설명합니다. 그래서 제가 기술적으로, 시장적으로, 철학적으로 주의를 기울인 사항은 다음과 같습니다.

ML이라는 주제에 깊이 빠져 있는 사람들을 위한 것이 아니라 시장에서 일반적으로 무슨 일이 일어나고 있는지에 관심이 있는 사람들을 위한 것입니다.

DSML 시장 자체는 논리적으로 BI와 Cloud AI 개발자 서비스 사이에 위치합니다.

좋아하는 인용문과 용어 먼저:

• "리더는 최선의 선택이 아닐 수도 있다" — 시장 리더가 반드시 필요한 것은 아닙니다. 매우 긴급한! 기능적인 고객이 부족하기 때문에 그들은 항상 "적합한" 솔루션보다는 "최상의" 솔루션을 찾고 있습니다.
• "모델 운용화" - 줄여서 MOP라고 합니다. 그리고 다들 퍼그 때문에 힘들어요! – (멋진 퍼그 테마가 모델을 작동하게 만듭니다).
• "노트북 환경" 코드, 주석, 데이터, 결과가 하나로 합쳐지는 중요한 개념입니다. 이는 매우 명확하고 유망하며 UI 코드의 양을 크게 줄일 수 있습니다.
• "오픈소스에 뿌리를 두고 있다" - 글쎄요 - 오픈 소스에 뿌리를 두고 있습니다.
• "시민 데이터 과학자" -시각적 환경과 모든 종류의 보조 장치가 필요한 전문가가 아닌 쉬운 친구들. 그들은 코딩하지 않을 것입니다.
• "민주주의" — 종종 "더 넓은 범위의 사람들이 사용할 수 있게 하다"라는 의미로 사용됩니다. 우리가 사용하던 위험한 “데이터 공개” 대신 “데이터 민주화”라고 말할 수 있습니다. "민주화"는 항상 롱테일이며 모든 공급업체는 이를 따라갑니다. 지식 강도가 낮아지고 접근성이 향상됩니다!
• "탐색적 데이터 분석 - EDA" - 이용 가능한 수단을 고려한다. 일부 통계. 약간의 시각화. 모두가 어느 정도 하는 일입니다. 이런 이름이 있는지 몰랐어요
• "재현성" — 일단 수행된 실험을 반복할 수 있도록 모든 환경 매개변수, 입력 및 출력을 최대한 보존합니다. 실험적 테스트 환경을 표현하는 가장 중요한 용어!

그래서 :

알래스카

장난감처럼 멋진 인터페이스. 물론 확장성은 좀 어렵습니다. 따라서 시민 엔지니어 커뮤니티는 tchotchkes와 동일하게 플레이합니다. 분석은 한 병에 담긴 모든 것입니다. 복잡한 스펙트럼 상관 데이터 분석이 생각났습니다. 코스캐드, 90년대에 프로그래밍된 것입니다.

아나콘다

Python 및 R 전문가를 중심으로 한 커뮤니티입니다. 그에 따라 오픈소스의 규모도 크다. 내 동료들이 항상 그것을 사용한다는 것이 밝혀졌습니다. 하지만 나는 몰랐습니다.

데이터브릭

세 가지 오픈소스 프로젝트로 구성되어 있습니다. Spark 개발자들은 2013년부터 엄청난 돈을 모금했습니다. 위키를 꼭 인용해야겠습니다.

“2013년 13.9월 Databricks는 Andreessen Horowitz로부터 33만 달러를 모금했다고 발표했습니다. 회사는 2014년 60만 달러, 2016년 140만 달러, 2017년 250억 2019만 달러, 400년(2019월) XNUMX억 XNUMX만 달러, XNUMX년(XNUMX월) XNUMX억 달러를 추가로 조달했습니다.”!!!

몇몇 훌륭한 사람들이 Spark를 중단했습니다. 모르겠어요, 미안해요!

프로젝트는 다음과 같습니다.

• 델타 레이크 - Spark의 ACID가 최근 출시되었습니다(Elasticsearch로 꿈꿔왔던 것). 이를 데이터베이스로 전환합니다: 엄격한 스키마, ACID, 감사, 버전...
• ML 흐름 — 모델의 추적, 패키징, 관리 및 저장.
• 코알라 - Spark의 Pandas DataFrame API - Pandas - 일반적으로 테이블 및 데이터 작업을 위한 Python API입니다.

모르거나 잊어버린 사람들을 위해 Spark를 살펴볼 수 있습니다. 링크. 약간 지루하지만 상세한 컨설팅 딱따구리의 예가 포함된 비디오를 시청했습니다. 데이터 과학을 위한 DataBricks(링크) 및 데이터 엔지니어링(링크).

즉, Databricks는 Spark를 제거합니다. 클라우드에서 Spark를 정상적으로 사용하고 싶은 사람이라면 누구나 망설임 없이 DataBricks를 사용하게 됩니다. 🙂 여기에서 Spark가 가장 큰 차별점입니다.
나는 Spark Streaming이 진짜 가짜 실시간이나 마이크로배칭이 아니라는 것을 배웠습니다. 실제 실시간이 필요한 경우 Apache STORM에 있습니다. 모두가 Spark가 MapReduce보다 낫다고 말하고 씁니다. 이것이 슬로건이다.

다테이쿠

끝까지 멋진 일입니다. 광고가 많이 있습니다. Alteryx와 어떻게 다른지 모르겠습니다.

데이터로봇

데이터 준비를 위한 팍사타(Paxata)는 2019년 20월 데이터로봇이 인수한 별도 회사이다. 우리는 7 MUSD를 모금하고 판매했습니다. 모두 XNUMX년 만에 말이죠.

Excel이 아닌 Paxata에서 데이터 준비 - 여기를 참조하세요. 링크.
두 데이터 세트 간의 조인에 대한 자동 조회 및 제안이 있습니다. 좋은 점은 데이터를 이해하기 위해 텍스트 정보가 훨씬 더 강조된다는 것입니다(링크).
Data Catalog는 쓸모 없는 '라이브' 데이터세트의 훌륭한 카탈로그입니다.
Paxata에서 디렉토리가 어떻게 구성되는지도 흥미롭습니다.링크).

“분석 회사에 따르면 난자, 소프트웨어의 발전을 통해 가능해졌습니다. 예측 분석, 기계 학습 그리고 NoSQL 데이터 캐싱 방법론.[15] 소프트웨어 사용 시맨틱 데이터 테이블 열의 의미를 이해하는 알고리즘과 데이터 세트에서 잠재적인 중복 항목을 찾는 패턴 인식 알고리즘.[15][7] 또한 인덱싱, 텍스트 패턴 인식 및 전통적으로 소셜 미디어와 검색 소프트웨어에서 볼 수 있는 기타 기술도 사용합니다.”

데이터로봇의 주요 제품은 여기에. 그들의 슬로건은 Model to Enterprise Application입니다! 나는 위기와 관련하여 석유 산업에 대한 컨설팅을 찾았지만 그것은 매우 진부하고 흥미롭지 않았습니다. 링크. Mops나 MLops에서 그들의 동영상을 시청했습니다(링크). 이것은 다양한 제품을 6~7번 획득하여 조립한 프랑켄슈타인입니다.

물론 대규모 데이터 과학자 팀은 모델 작업을 위한 그러한 환경을 갖추고 있어야 한다는 것이 분명해졌습니다. 그렇지 않으면 모델을 많이 생성하고 아무것도 배포하지 않을 것입니다. 그리고 석유 및 가스 상류 현실에서 하나의 성공적인 모델을 만들 수만 있다면 그것은 큰 진전이 될 것입니다!

프로세스 자체는 예를 들어 지질학-지구물리학의 설계 시스템 작업과 매우 유사했습니다. 바다 제비과의 작은 새. 너무 게으르지 않은 사람은 누구나 모델을 만들고 수정합니다. 모델에 데이터를 수집합니다. 그런 다음 참조 모델을 만들어 생산에 보냈습니다! 예를 들어 지질학적 모델과 ML 모델 사이에는 공통점이 많이 있습니다.

도미노

개방형 플랫폼과 협업에 중점을 둡니다. 비즈니스 사용자는 무료로 입장 가능합니다. 그들의 데이터 랩은 셰어포인트와 매우 유사합니다. (그리고 그 이름은 IBM의 느낌을 강하게 풍깁니다). 모든 실험은 원본 데이터 세트에 연결됩니다. 얼마나 친숙한지요 :) 우리의 실습에서와 마찬가지로 일부 데이터를 모델로 끌어온 다음 정리하여 모델에 정리했습니다. 이 모든 것이 이미 모델에 존재하며 끝은 소스 데이터에서 찾을 수 없습니다. .

Domino는 멋진 인프라 가상화를 갖추고 있습니다. 나는 XNUMX초 만에 필요한 만큼의 코어를 기계에 조립하고 계산에 들어갔습니다. 그것이 어떻게 이루어졌는지는 즉시 명확하지 않습니다. 도커는 어디에나 있습니다. 많은 자유! 최신 버전의 모든 작업 공간을 연결할 수 있습니다. 실험을 동시에 시작합니다. 성공한 항목을 추적하고 선택합니다.

DataRobot과 동일합니다. 결과는 애플리케이션 형태로 비즈니스 사용자에게 게시됩니다. 특히 재능 있는 “이해관계자”를 위한 것입니다. 그리고 모델의 실제 사용도 모니터링됩니다. 퍼그를 위한 모든 것!

저는 생산 과정에서 모델이 얼마나 복잡한지 완전히 이해하지 못합니다. 데이터를 제공하고 결과를 얻기 위해 일종의 API가 제공됩니다.

H2O

Driveless AI는 Supervised ML을 위한 매우 작고 직관적인 시스템입니다. 하나의 상자에 모든 것이 들어 있습니다. 백엔드에 대해서는 완전히 명확하지 않습니다.

모델은 REST 서버 또는 Java 앱에 자동으로 패키징됩니다. 이것은 좋은 생각입니다. 해석 가능성과 설명 가능성을 위해 많은 작업이 이루어졌습니다. 모델 결과에 대한 해석 및 설명(본질적으로 설명할 수 없는 것은 무엇입니까? 그렇지 않으면 사람이 동일한 것을 계산할 수 있습니까?)
비정형 데이터에 대한 사례 연구를 처음으로 NLP. 고품질 건축 사진입니다. 그리고 일반적으로 나는 그림을 좋아했습니다.

완전히 명확하지 않은 대규모 오픈 소스 H2O 프레임워크(알고리즘/라이브러리 세트?)가 있습니다. Jupiter처럼 프로그래밍이 필요 없는 나만의 비주얼 노트북(링크). 또한 Pojo 및 Mojo - Java로 래핑된 H2O 모델에 대해서도 읽었습니다. 첫 번째는 간단하고 두 번째는 최적화입니다. H20은 Gartner가 설명 가능성에 대한 노력뿐만 아니라 텍스트 분석과 NLP를 강점으로 꼽은 유일한 기업입니다(!). 매우 중요합니다!

같은 장소에서: 하드웨어 및 클라우드 통합 분야의 고성능, 최적화 및 산업 표준입니다.

그리고 약점은 논리적입니다. Driverles AI는 오픈 소스에 비해 약하고 좁습니다. 팍사타에 비해 데이터 준비가 형편없어요! 그리고 그들은 산업 데이터(스트림, 그래프, 지리 정보)를 무시합니다. 글쎄요, 모든 일이 마냥 좋을 수만은 없습니다.

KNIME

나는 메인 페이지에 있는 매우 구체적이고 흥미로운 6가지 비즈니스 사례를 좋아했습니다. 강력한 오픈소스.

Gartner는 그들을 리더에서 비전가로 강등시켰습니다. 리더가 항상 최선의 선택은 아니라는 점을 고려하면 돈을 제대로 벌지 못한다는 것은 사용자에게 좋은 징조입니다.

H2O에서와 같이 핵심 단어는 Augmented입니다. 이는 가난한 시민 데이터 과학자를 돕는 것을 의미합니다. 누군가가 리뷰에서 성능에 대해 비판을 받은 것은 이번이 처음입니다! 흥미로운? 즉, 컴퓨팅 파워가 너무 많아서 성능이 시스템적으로 전혀 문제가 될 수 없다는 것인가요? Gartner에서는 "Augmented(증강)"라는 단어를 사용했습니다. 별도의 기사, 도달할 수 없습니다.
그리고 KNIME은 리뷰에서 미국인이 아닌 최초의 인물인 것 같습니다! (그리고 우리 디자이너들은 랜딩 페이지를 정말 좋아했습니다. 이상한 사람들.

매스 웍스

MatLab은 모두에게 알려진 오랜 명예 동지입니다! 삶과 상황의 모든 영역을 위한 도구 상자입니다. 매우 다른 것. 사실, 인생의 모든 것에 대한 수많은 수학이 있습니다!

시스템 설계를 위한 Simulink 애드온 제품입니다. Digital Twins의 도구 상자를 파헤쳤습니다. 아무것도 이해하지 못하지만 여기에 많이 쓰여졌습니다. 을 위한 석유 산업. 일반적으로 이것은 수학과 공학의 깊이와 근본적으로 다른 제품입니다. 특정 수학 툴킷을 선택합니다. Gartner에 따르면 이들의 문제는 스마트 엔지니어의 문제와 동일합니다. 공동 작업도 없고 모두가 자신의 모델을 뒤지고 있으며 민주주의도 없고 설명도 없습니다.

래피드 마이너

저는 이전에 좋은 오픈 소스라는 맥락에서 (Matlab과 함께) 많은 것을 접하고 들었습니다. 평소처럼 TurboPrep을 조금 파헤쳤습니다. 더티 데이터에서 깨끗한 데이터를 얻는 방법에 관심이 있습니다.

2018년 마케팅 자료를 보면 사람들이 좋은지, 기능 데모에서는 영어를 구사하는 사람들이 형편없다는 것을 다시 한 번 알 수 있습니다.

그리고 2001년부터 독일 배경이 강한 도르트문트 출신의 사람들)

오픈 소스에서 정확히 무엇을 사용할 수 있는지 사이트에서 아직 이해하지 못합니다. 더 자세히 살펴봐야 합니다. 배포 및 AutoML 개념에 대한 좋은 동영상입니다.

RapidMiner Server 백엔드에도 특별한 것이 없습니다. 아마도 컴팩트하고 기본적으로 프리미엄으로 잘 작동할 것입니다. Docker에 패키지되어 있습니다. RapidMiner 서버에서만 공유되는 환경입니다. 그리고 Hadoop의 데이터인 Radoop이 있고 Studio 워크플로에서 Spark의 운율을 계산합니다.

예상대로 젊은 인기 상인 "줄무늬 막대기 판매자"가 그들을 아래로 옮겼습니다. 그러나 Gartner는 엔터프라이즈 분야에서의 향후 성공을 예측합니다. 거기에서 돈을 모을 수 있습니다. 독일인들은 이것을 하는 방법을 알고 있습니다. :) SAP는 언급하지 마세요!!!

그들은 시민을 위해 많은 일을 합니다! 그러나 페이지에서 Gartner가 영업 혁신에 어려움을 겪고 있으며 적용 범위의 폭이 아니라 수익성을 위해 싸우고 있다고 말하는 것을 볼 수 있습니다.

남아 SAS и 티브코 제게는 전형적인 BI 공급업체입니다... 그리고 둘 다 맨 위에 있습니다. 이는 일반적인 DataScience가 논리적으로 성장하고 있다는 저의 확신을 확증해 줍니다.
클라우드와 Hadoop 인프라가 아닌 BI에서. IT가 아닌 비즈니스에서. 예를 들어 Gazpromneft에서처럼: 링크,성숙한 DSML 환경은 강력한 BI 관행을 통해 성장합니다. 하지만 어쩌면 그것은 MDM과 다른 것들에 대해 해롭고 편견이 있을 수도 있습니다.

SAS

할 말이 많지 않습니다. 명백한 것들만.

TIBCO

전략은 페이지 길이의 Wiki 페이지에 있는 쇼핑 목록에서 읽혀집니다. 예, 이야기가 길지만 28!!! 찰스. 나는 테크노 청소년 시절에 BI Spotfire(2007)를 구입했습니다. 또한 Jaspersoft(2014), 이후 2008개의 예측 분석 공급업체 Insightful(S-plus)(2017), Statistica(2017) 및 Alpine Data(2013), 이벤트 처리 및 스트리밍 Streambase System(2018), MDM Orchestra의 보고도 포함됩니다. Networks(2019) 및 Snappy Data(XNUMX) 인메모리 플랫폼.

안녕 프랭키!

출처 : habr.com