머신러닝 거품이 꺼진 걸까요, 아니면 새로운 새벽이 시작된 걸까요?

최근 출시됨 기사, 이는 최근 몇 년간 머신러닝의 좋은 추세를 보여줍니다. 간단히 말해서, 머신러닝 스타트업의 수가 지난 XNUMX년 동안 급감했습니다.

잘. “거품이 터졌는지”, “계속 살아갈 수 있는 방법”을 살펴보고, 애초에 이 물결무늬가 어디서 나온 것인지 이야기해보자.

먼저, 이 곡선의 부스터가 무엇인지 이야기해 봅시다. 그녀는 어디서 왔나요? 그 사람들은 아마 다 기억할 거야 승리 2012년 ImageNet 대회에서 머신러닝을 선보였습니다. 결국, 이것은 첫 번째 글로벌 이벤트입니다! 그러나 실제로는 그렇지 않습니다. 그리고 곡선의 성장은 조금 더 일찍 시작됩니다. 나는 그것을 여러 가지 점으로 나누겠습니다.

1. 2008년에는 '빅데이터'라는 용어가 등장했습니다. 실제 제품이 시작되었습니다 나타나다 2010년부터. 빅데이터는 머신러닝과 직접적인 관련이 있습니다. 빅데이터가 없으면 당시 존재했던 알고리즘의 안정적인 운영은 불가능하다. 그리고 이것들은 신경망이 아닙니다. 2012년까지 신경망은 소수의 전유물이었습니다. 그러나 수년, 심지어 수십 년 동안 존재했던 완전히 다른 알고리즘이 작동하기 시작했습니다. SVM.(1963,1993), 랜덤 포레스트 (1995) 에이다부스트 (2003),... 그해의 스타트업은 주로 금전 등록기, 사용자, 광고 등 구조화된 데이터의 자동 처리와 관련이 있습니다.

   이 첫 번째 물결의 파생물은 XGBoost, CatBoost, LightGBM 등과 같은 프레임워크 세트입니다.

2. 2011~2012년 컨벌루션 신경망 다수의 이미지 인식 대회에서 우승했습니다. 실제 사용이 다소 지연되었습니다. 2014년부터 엄청나게 의미 있는 스타트업과 솔루션이 등장하기 시작했다고 말하고 싶습니다. 뉴런이 여전히 작동한다는 사실을 이해하고, 합리적인 시간에 설치 및 실행될 수 있는 편리한 프레임워크를 만들고, 수렴 시간을 안정화하고 가속화하는 방법을 개발하는 데 XNUMX년이 걸렸습니다.

   컨벌루션 네트워크를 사용하면 이미지와 이미지 속 객체 분류, 객체 감지, 객체와 사람 인식, 이미지 개선 등 컴퓨터 비전 문제를 해결할 수 있습니다.

3. 2015-2017. 순환 네트워크 또는 그 유사체(LSTM, GRU, TransformerNet 등)를 기반으로 하는 알고리즘 및 프로젝트의 붐. 잘 작동하는 음성-텍스트 알고리즘과 기계 번역 시스템이 등장했습니다. 부분적으로는 기본 기능을 추출하기 위해 컨볼루셔널 네트워크를 기반으로 합니다. 부분적으로는 우리가 정말 크고 좋은 데이터 세트를 수집하는 방법을 배웠다는 사실 때문입니다.

“거품이 터졌나요? 과대광고가 과열됐나요? 블록체인으로서 죽었나요?”
그렇지 않으면! 내일 Siri는 귀하의 휴대폰 작업을 중단할 것이며, 모레 Tesla는 회전과 캥거루의 차이를 알지 못할 것입니다.

신경망은 이미 작동하고 있습니다. 수십 개의 장치에 있습니다. 이를 통해 실제로 돈을 벌고 시장과 주변 세계를 바꿀 수 있습니다. 과대 광고는 약간 다르게 보입니다.

신경망은 더 이상 새로운 것이 아닙니다. 네, 많은 사람들이 기대치가 높습니다. 그러나 많은 기업이 뉴런을 사용하고 이를 기반으로 제품을 만드는 방법을 배웠습니다. 뉴런은 새로운 기능을 제공하여 일자리를 줄이고 서비스 가격을 낮출 수 있게 해줍니다.

• 제조회사들은 생산라인 결함을 분석하기 위해 알고리즘을 통합하고 있다.
• 축산 농장에서는 소를 통제하기 위한 시스템을 구입합니다.
• 자동 결합.
• 자동 콜센터.
• SnapChat의 필터. (글쎄, 적어도 뭔가 유용한 것!)

그러나 가장 분명하지는 않지만 가장 중요한 것은 "더 이상 새로운 아이디어가 없거나 즉각적인 자본을 가져 오지 않을 것입니다."입니다. 신경망은 수십 가지 문제를 해결했습니다. 그리고 그들은 더 많은 것을 결정할 것입니다. 존재했던 모든 명백한 아이디어는 많은 스타트업을 탄생시켰습니다. 그러나 표면에 있던 모든 것은 이미 수집되었습니다. 지난 XNUMX년 동안 나는 신경망 사용에 대한 단 하나의 새로운 아이디어도 발견하지 못했습니다. 단 하나의 새로운 접근 방식은 아닙니다(글쎄, GAN에는 몇 가지 문제가 있습니다).

그리고 이후의 각 시작은 점점 더 복잡해집니다. 더 이상 공개 데이터를 사용하여 뉴런을 훈련시키는 두 사람이 필요하지 않습니다. 프로그래머, 서버, 마커 팀, 복잡한 지원 등이 필요합니다.

그러다 보니 스타트업도 줄어들고 있다. 그러나 생산량이 더 많습니다. 번호판 인식을 추가해야 합니까? 시장에는 관련 경험을 가진 수백 명의 전문가가 있습니다. 누군가를 고용하면 몇 달 안에 직원이 시스템을 만들 것입니다. 아니면 기성품을 구입하세요. 그런데 새로운 스타트업을 한다고?.. 미쳤다!

방문자 추적 시스템을 만들어야 합니다. 3~4개월 안에 직접 만들고 비즈니스에 맞게 강화할 수 있는데 왜 많은 라이센스 비용을 지불해야 합니까?

이제 신경망은 수십 가지 다른 기술이 거쳐온 것과 동일한 경로를 거치고 있습니다.

1995년 이후 '웹사이트 개발자'라는 개념이 어떻게 바뀌었는지 기억하시나요? 시장은 아직 전문가들로 가득 차 있지 않습니다. 전문가는 거의 없습니다. 하지만 5~10년 후에는 Java 프로그래머와 신경망 개발자 사이에 큰 차이가 없을 것이라고 확신합니다. 시장에는 두 전문가 모두 충분할 것입니다.

뉴런으로 해결할 수 있는 문제 종류가 있을 것입니다. 작업이 발생했습니다. 전문가를 고용하세요.

"무엇 향후 계획? 약속된 인공지능은 어디에 있나요?”

하지만 여기에는 작지만 흥미로운 오해가 있습니다 :)

오늘날 존재하는 기술 스택은 분명히 우리를 인공 지능으로 이끌지 않을 것입니다. 아이디어와 그 참신함은 대부분 지쳤습니다. 현재 개발 수준이 무엇인지 이야기 해 봅시다.

제한

자율주행차부터 시작해 보겠습니다. 오늘날의 기술로 완전 자율주행 자동차를 만드는 것이 가능하다는 것은 분명해 보입니다. 그러나 이것이 몇 년 안에 일어날지는 확실하지 않습니다. Tesla는 이것이 몇 년 안에 일어날 것이라고 믿습니다.

다른 많은 것들이 있습니다 전문가, 그들은 5~10년 정도 걸릴 것으로 추정합니다.

제 생각에는 15년 안에 도시의 인프라 자체가 자율주행 자동차의 출현이 불가피해지고 계속되는 방식으로 변화할 것입니다. 그러나 이것을 지능이라고 볼 수는 없다. 최신 Tesla는 데이터 필터링, 검색 및 재교육을 위한 매우 복잡한 파이프라인입니다. 이는 규칙-규칙-규칙, 데이터 수집 및 이에 대한 필터입니다(여기 여기에 나는 이것에 대해 조금 더 썼거나 이 점수).

첫 번째 문제

그리고 이것이 우리가 보는 곳입니다 첫 번째 근본적인 문제. 빅 데이터. 이것이 바로 현재의 신경망과 기계 학습의 물결을 탄생시킨 것입니다. 요즘에는 복잡하고 자동화된 작업을 수행하려면 많은 데이터가 필요합니다. 단지 많이가 아니라 아주 아주 많이요. 수집, 표시 및 사용을 위해서는 자동화된 알고리즘이 필요합니다. 우리는 자동차가 태양을 바라보는 트럭을 볼 수 있도록 하고 싶습니다. 먼저 충분한 수의 트럭을 수집해야 합니다. 우리는 자전거가 트렁크에 볼트로 고정되어 차가 미쳐버리지 않기를 원합니다. 더 많은 샘플이 필요합니다.

게다가 한 가지 예만으로는 충분하지 않습니다. 수백? 수천?

두 번째 문제

두 번째 문제 — 신경망이 이해한 내용을 시각화합니다. 이것은 매우 사소한 작업입니다. 지금까지 이것을 시각화하는 방법을 이해하는 사람은 거의 없습니다. 이 기사는 매우 최근의 기사입니다. 멀리 떨어져 있더라도 몇 가지 예일 뿐입니다.
눈에 보이게 함 질감에 대한 집착. 이는 뉴런이 무엇에 집착하는 경향이 있는지 + 시작 정보로 인식하는 것이 무엇인지 잘 보여줍니다.

눈에 보이게 함 주의 번역. 실제로 매력은 그러한 네트워크 반응의 원인을 보여주기 위해 종종 정확하게 사용될 수 있습니다. 나는 디버깅과 제품 솔루션 모두에서 그런 것들을 보았습니다. 이 주제에 관한 많은 기사가 있습니다. 그러나 데이터가 복잡할수록 강력한 시각화를 달성하는 방법을 이해하기가 더 어렵습니다.

네, "메시 안에 무엇이 있는지 보세요"라는 오래된 세트가 있습니다. 필터" 이 사진들은 3~4년 전에 유행했는데, 다들 사진이 예쁘다는 걸 금방 알아차렸지만 큰 의미는 없었어요.

나는 수십 가지 다른 장치, 방법, 해킹, 네트워크 내부를 표시하는 방법에 대한 연구에 대해서는 언급하지 않았습니다. 이 도구가 작동합니까? 문제가 무엇인지 빠르게 이해하고 네트워크를 디버깅하는 데 도움이 됩니까?.. 마지막 퍼센트를 얻으십니까? 글쎄요, 거의 같습니다.

Kaggle에서는 모든 대회를 시청할 수 있습니다. 그리고 사람들이 최종 결정을 내리는 방법에 대한 설명입니다. 우리는 100-500-800개의 모델 유닛을 쌓아두었고 효과가 있었습니다!

물론 나는 과장하고 있다. 그러나 이러한 접근 방식은 빠르고 직접적인 답변을 제공하지 않습니다.

충분한 경험을 갖고 다양한 옵션을 살펴본 후 시스템이 왜 그러한 결정을 내렸는지에 대한 평결을 내릴 수 있습니다. 그러나 시스템의 동작을 수정하는 것은 어려울 것입니다. 목발을 설치하고, 임계값을 이동하고, 데이터세트를 추가하고, 다른 백엔드 네트워크를 사용하세요.

세 번째 문제

세 번째 근본적인 문제 — 그리드는 논리가 아닌 통계를 가르칩니다. 통계적으로 이 얼굴:

논리적으로는 별로 비슷하지 않습니다. 신경망은 강제로 하지 않는 한 복잡한 어떤 것도 학습하지 않습니다. 그들은 항상 가능한 가장 간단한 신호를 가르칩니다. 눈, 코, 머리가 있나요? 그럼 이게 바로 얼굴이에요! 아니면 눈이 얼굴을 의미하지 않는 예를 들어보세요. 그리고 다시 - 수백만 개의 예가 있습니다.

바닥에 충분한 공간이 있습니다

현재 신경망과 기계 학습의 발전을 제한하는 것은 바로 이 세 가지 글로벌 문제라고 말하고 싶습니다. 그리고 이러한 문제로 인해 제한되지 않은 곳에서는 이미 적극적으로 사용되고 있습니다.

이 것이 마지막이다? 신경망이 작동하고 있나요?

알려지지 않은. 그러나 물론 모두가 그렇지 않기를 바랍니다.

위에서 강조한 근본적인 문제를 해결하기 위한 접근 방식과 방향은 다양합니다. 그러나 지금까지 이러한 접근 방식 중 어느 것도 근본적으로 새로운 것을 수행하고 아직 해결되지 않은 문제를 해결하는 것을 가능하게 하지 못했습니다. 현재까지 모든 기본 프로젝트는 안정적인 접근방식(Tesla)을 기반으로 진행되거나, 기관이나 기업의 테스트 프로젝트(Google Brain, OpenAI)로 남아있습니다.

대략적으로 말하면, 주요 방향은 입력 데이터에 대한 상위 수준 표현을 만드는 것입니다. 어떤 의미에서는 '기억'이다. 메모리의 가장 간단한 예는 다양한 "임베딩"(이미지 표현)입니다. 예를 들어 모든 얼굴 인식 시스템이 있습니다. 네트워크는 회전, 조명 또는 해상도에 의존하지 않는 안정적인 표현을 얼굴에서 얻는 방법을 학습합니다. 본질적으로 네트워크는 "다른 얼굴이 멀다"와 "동일한 얼굴이 가깝다"라는 측정 기준을 최소화합니다.

그러한 훈련을 위해서는 수만, 수십만 개의 사례가 필요합니다. 그러나 그 결과는 "원샷 학습(One-shot Learning)"의 일부 기초를 담고 있습니다. 이제 사람을 기억하는 데 수백 개의 얼굴이 필요하지 않습니다. 얼굴은 하나뿐이고 그게 우리의 전부야 알아 보자!
문제가 하나 있습니다. 그리드는 매우 간단한 객체만 학습할 수 있습니다. 얼굴이 아니라 예를 들어 "옷으로 사람"을 구별하려고 할 때(작업 재식별) - 품질이 몇 배나 떨어집니다. 그리고 네트워크는 더 이상 각도의 명백한 변화를 학습할 수 없습니다.

그리고 수백만 개의 사례를 통해 배우는 것도 일종의 재미입니다.

선거를 대폭 줄이는 작업이 진행되고 있습니다. 예를 들어, 첫 번째 작품 중 하나를 즉시 기억할 수 있습니다. 원샷 학습 구글에서:

예를 들어 그런 작품이 많이 있습니다. 1 또는 2 또는 3.

한 가지 단점이 있습니다. 일반적으로 훈련은 간단한 "MNIST" 예제에서 잘 작동합니다. 그리고 복잡한 작업으로 넘어갈 때는 대규모 데이터베이스, 객체 모델 또는 일종의 마법이 필요합니다.
일반적으로 One-Shot 교육 작업은 매우 흥미로운 주제입니다. 많은 아이디어를 발견하게 됩니다. 그러나 대부분 내가 나열한 두 가지 문제(거대한 데이터 세트에 대한 사전 훈련/복잡한 데이터에 대한 불안정성)는 학습을 크게 방해합니다.

반면 생성적 적대 네트워크인 GAN은 임베딩이라는 주제에 접근합니다. 아마도 이 주제에 관한 Habré 관련 기사를 많이 읽어보셨을 것입니다. (1, 2,3)
GAN의 특징은 내부 상태 공간(본질적으로 동일한 임베딩)을 형성하여 이미지를 그릴 수 있다는 것입니다. 그것은 될 수 있습니다 얼굴들, 될 수 있습니다 활동.

GAN의 문제점은 생성된 객체가 복잡할수록 이를 "생성기-판별기" 논리로 설명하기가 더 어렵다는 것입니다. 결과적으로, 알려진 GAN의 유일한 실제 응용 프로그램은 DeepFake이며, 이는 다시 얼굴 표현을 조작합니다(거대한 기반이 있음).

나는 다른 유용한 용도를 거의 본 적이 없습니다. 일반적으로 그림 그리기를 마무리하는 것과 관련된 일종의 속임수입니다.

그리고 다시. 이것이 어떻게 우리를 더 밝은 미래로 나아갈 수 있게 해줄지 아무도 모릅니다. 신경망에서 논리/공간을 표현하는 것이 좋습니다. 하지만 우리에게는 엄청난 수의 예가 필요합니다. 우리는 뉴런이 이것을 자체적으로 어떻게 표현하는지 이해하지 못하고, 뉴런이 정말 복잡한 아이디어를 기억하게 만드는 방법을 이해하지 못합니다.

강화 학습 -완전히 다른 방향의 접근 방식입니다. Google이 Go에서 어떻게 모든 사람을 이겼는지 기억하실 것입니다. 최근 스타크래프트와 도타에서 승리했습니다. 그러나 여기서 모든 것이 그렇게 장밋빛이고 유망한 것과는 거리가 멀습니다. 그는 RL과 그 복잡성에 대해 가장 잘 이야기합니다. 이 기사.

저자가 쓴 내용을 간략하게 요약하면 다음과 같습니다.

• 기본적으로 제공되는 모델은 대부분의 경우 적합하지 않거나 제대로 작동하지 않습니다.
• 실제 문제는 다른 방법으로 해결하기가 더 쉽습니다. Boston Dynamics는 복잡성/예측 불가능성/계산 복잡성으로 인해 RL을 사용하지 않습니다.
• RL이 작동하려면 복잡한 기능이 필요합니다. 만들기/쓰기가 어려운 경우가 많습니다.
• 모델을 훈련시키기가 어렵습니다. 펌핑하고 로컬 최적 상태에서 벗어나려면 많은 시간을 소비해야 합니다.
• 결과적으로 모델을 반복하기 어렵고, 약간의 변화에도 모델이 불안정하다.
• 종종 임의의 패턴, 심지어 난수 생성기에도 과적합됩니다.

중요한 점은 RL이 아직 프로덕션 환경에서 작동하지 않는다는 것입니다. Google은 몇 가지 실험을 진행하고 있습니다( 1, 2 ). 하지만 단일 제품 시스템을 본 적이 없습니다.

메모리. 위에서 설명한 모든 것의 단점은 구조가 부족하다는 것입니다. 이 모든 것을 정리하기 위한 접근 방식 중 하나는 신경망에 별도의 메모리에 대한 액세스를 제공하는 것입니다. 그녀가 그곳에서 행한 결과를 기록하고 다시 쓸 수 있도록 말이죠. 그러면 신경망은 현재 메모리 상태에 따라 결정될 수 있습니다. 이는 기존 프로세서 및 컴퓨터와 매우 유사합니다.

가장 유명하고 대중적인 기사 — DeepMind에서:

이것이 지능을 이해하는 열쇠인 것 같은데요? 하지만 아마도 그렇지 않을 것입니다. 시스템에는 훈련을 위해 여전히 엄청난 양의 데이터가 필요합니다. 그리고 주로 구조화된 표 형식 데이터를 사용하여 작동합니다. 게다가 페이스북을 하면 결정했다 유사한 문제가 발생하면 그들은 "메모리를 망쳐 놓고 뉴런을 더 복잡하게 만들고 더 많은 예를 가지면 스스로 학습할 것"이라는 길을 택했습니다.

풀리는 것. 의미 있는 메모리를 생성하는 또 다른 방법은 동일한 임베딩을 사용하되 훈련 중에 해당 임베딩에 포함된 "의미"를 강조할 수 있는 추가 기준을 도입하는 것입니다. 예를 들어, 우리는 매장에서 인간의 행동을 구별하기 위해 신경망을 훈련시키고 싶습니다. 표준 경로를 따르면 XNUMX개의 네트워크를 만들어야 합니다. 하나는 사람을 찾고 있고, 두 번째는 그가 무엇을 하는지 결정하는 것, 세 번째는 나이, 네 번째는 성별입니다. 별도의 로직은 이를 수행하거나 훈련받은 저장소 부분을 살펴봅니다. 세 번째는 궤적 등을 결정합니다.

또는 무한한 양의 데이터가 있는 경우 가능한 모든 결과에 대해 하나의 네트워크를 훈련하는 것이 가능할 것입니다(분명히 이러한 데이터 배열은 수집할 수 없습니다).

분리 접근 방식은 네트워크 자체가 개념을 구별할 수 있도록 네트워크를 훈련시키자고 알려줍니다. 비디오를 기반으로 임베딩을 형성하기 위해 한 영역은 행동을 결정하고, 한 영역은 시간에 따른 바닥 위치를 결정하고, 다른 영역은 사람의 키를 결정하고, 다른 영역은 사람의 성별을 결정합니다. 동시에 훈련할 때 이러한 핵심 개념을 네트워크에 거의 알리지 않고 영역을 강조하고 그룹화하고 싶습니다. 그런 기사가 꽤 많이 있습니다 (그 중 일부는 1, 2, 3) 일반적으로 그들은 매우 이론적입니다.

그러나 이 방향은 적어도 이론적으로는 처음에 나열된 문제를 다루어야 합니다.

“벽 색상/바닥 색상/객체 형태/객체 색상 등” 매개변수에 따른 이미지 분해.

'크기, 눈썹, 방향, 피부색 등' 매개변수에 따라 얼굴을 분해합니다.

기타

데이터베이스를 줄이고, 더 다양한 데이터로 작업할 수 있는, 그다지 전역적이지는 않은 다른 영역이 많이 있습니다.

주의. 이것을 별도의 방법으로 분리하는 것은 아마도 의미가 없을 것입니다. 다른 사람을 향상시키는 접근 방식입니다. 많은 기사가 그에게 헌정되었습니다 (1,2,3). 주의점은 훈련 중에 특히 중요한 객체에 대한 네트워크의 반응을 향상시키는 것입니다. 종종 일종의 외부 대상 지정이나 소규모 외부 네트워크를 통해 발생합니다.

3D 시뮬레이션. 좋은 3D 엔진을 만들면 훈련 데이터의 90%를 처리할 수 있는 경우가 많습니다(좋은 엔진이 데이터의 거의 99%를 처리하는 사례도 본 적이 있습니다). 실제 데이터(미세 조정, 스타일 전송 등)를 사용하여 3D 엔진에서 훈련된 네트워크를 작동시키는 방법에 대한 많은 아이디어와 해킹이 있습니다. 그러나 종종 좋은 엔진을 만드는 것은 데이터를 수집하는 것보다 몇 배나 더 어렵습니다. 엔진이 만들어진 예:
로봇훈련(구글, 브레인가든)
훈련 인식 (그러나 우리가 했던 두 프로젝트에서는 그것 없이도 쉽게 할 수 있었습니다).
Tesla에서의 교육 (다시 위의 비디오).

조사 결과

전체 기사는 어떤 의미에서는 결론입니다. 아마도 제가 전하고 싶었던 주요 메시지는 "공짜는 끝났습니다. 뉴런은 더 이상 간단한 솔루션을 제공하지 않습니다."였습니다. 이제 우리는 복잡한 결정을 내리기 위해 열심히 노력해야 합니다. 아니면 복잡한 과학 연구를 열심히 하세요.

일반적으로 주제는 논쟁의 여지가 있습니다. 어쩌면 독자들에게 더 흥미로운 예가 있을까요?

출처 : habr.com