강화 학습 또는 진화 전략? - 둘 다

헤이 하브르!

우리는 XNUMX년이 지난 코드도 없고 학문적 성격이 분명한 텍스트의 번역을 여기에 게시하기로 결정하지 않는 경우가 많습니다. 하지만 오늘은 예외를 두겠습니다. 우리는 기사 제목에 제기된 딜레마가 많은 독자들에게 걱정이 되기를 바랍니다. 그리고 여러분은 이미 이 게시물이 원본에서 주장하는 진화 전략에 대한 기본 작업을 읽었거나 지금 읽을 것입니다. 고양이에 오신 것을 환영합니다!

2017년 XNUMX월 OpenAI는 “강화 학습에 대한 확장 가능한 대안으로서의 진화 전략.” 이 연구에서는 강화 학습(RL)이 쐐기가 되지 않았으며 복잡한 신경망을 훈련할 때 다른 방법을 시도하는 것이 좋습니다. 그런 다음 강화 학습의 중요성과 문제 해결 교육을 위한 "필수" 기술로서의 지위에 대한 논쟁이 일어났습니다. 여기서 나는 이 두 가지 기술이 서로 경쟁하는 것으로 간주되어서는 안 된다고 말하고 싶습니다. 둘 중 하나가 다른 것보다 분명히 더 낫습니다. 반대로 그들은 궁극적으로 서로를 보완합니다. 실제로, 창조하는 데 필요한 것이 무엇인지 조금 생각해 보면 일반 AI 그리고 존재 전반에 걸쳐 학습, 판단 및 계획이 가능한 시스템이 있다면 우리는 이것 또는 저 결합 솔루션이 필요할 것이라는 결론에 거의 확실히 도달하게 될 것입니다. 그건 그렇고, 진화 과정에서 포유류와 기타 고등 동물에게 복잡한 지능을 부여한 것은 바로 자연이 찾아낸 결합된 솔루션이었습니다.

진화 전략

OpenAI 논문의 주요 주제는 전통적인 역전파와 결합된 강화 학습을 사용하는 대신 "진화 전략"(ES)이라고 부르는 것을 사용하여 복잡한 문제를 해결하기 위해 신경망을 성공적으로 훈련했다는 것입니다. 이 ES 접근 방식은 여러 에이전트가 병렬로 작동하고 이 분포에서 선택된 매개변수를 사용하여 네트워크 전체의 가중치 분포를 유지하는 것으로 구성됩니다. 각 에이전트는 자체 환경에서 작동하며 지정된 수의 에피소드 또는 에피소드 단계가 완료되면 알고리즘은 누적 보상을 피트니스 점수로 표시하여 반환합니다. 이 값을 고려하면 매개변수 분포가 더 성공적인 에이전트 쪽으로 이동되고 덜 성공적인 에이전트는 박탈될 수 있습니다. 수백 명의 에이전트가 참여하여 이러한 작업을 수백만 번 반복함으로써 에이전트가 자신에게 할당된 작업을 해결하기 위한 고품질 정책을 공식화할 수 있는 공간으로 가중치 분포를 이동할 수 있습니다. 실제로 기사에 제시된 결과는 인상적입니다. 수천 개의 에이전트를 병렬로 실행하면 XNUMX분 이내에 두 다리의 의인화된 이동을 학습할 수 있는 것으로 나타났습니다(가장 진보된 RL 방법이라도 더 많은 비용을 들여야 함). XNUMX시간 이상). 더 자세한 정보를 보려면 훌륭한 내용을 읽어 보시기 바랍니다. 게시 실험의 저자뿐만 아니라 과학 기사.

OpenAI의 ES 방법을 사용하여 연구된 의인화 직립보행 교육을 위한 다양한 전략.

블랙 박스

이 방법의 가장 큰 장점은 쉽게 병렬화할 수 있다는 것입니다. A3C와 같은 RL 방법은 작업자 스레드와 매개변수 서버 간에 정보를 교환해야 하지만 ES는 적합도 추정 및 일반화된 매개변수 분포 정보만 필요합니다. 이 방법이 확장 기능 측면에서 최신 RL 방법보다 훨씬 앞서 있는 것은 이러한 단순성 때문입니다. 그러나 이 모든 것이 헛되지는 않습니다. 블랙박스 원칙에 따라 네트워크를 최적화해야 합니다. 이 경우, "블랙박스"는 학습 중에 네트워크의 내부 구조를 완전히 무시하고 전체 결과(에피소드에 대한 보상)만 사용되며 이에 따라 특정 네트워크의 가중치가 달라질 수 있음을 의미합니다. 다음 세대에 물려받게 됩니다. 환경으로부터 많은 피드백을 받지 못하는 상황에서(그리고 많은 전통적인 RL 문제에서 보상의 흐름이 매우 희박함) 문제는 "부분적으로 블랙 박스"에서 "완전히 블랙 박스"로 변합니다. 이 경우 생산성을 크게 높일 수 있으므로 물론 그러한 타협이 정당합니다. "어쨌든 절망적으로 시끄럽다면 누가 그라데이션이 필요합니까?" - 이것이 일반적인 의견입니다.

그러나 피드백이 더 활발한 상황에서는 ES에 문제가 발생하기 시작합니다. OpenAI 팀은 ES를 사용하여 간단한 MNIST 분류 네트워크를 훈련한 방법을 설명하며, 이번에는 훈련 속도가 1000배 느렸습니다. 사실 이미지 분류의 기울기 신호는 네트워크에 더 나은 분류를 가르치는 방법에 대해 매우 유익합니다. 따라서 RL 기술에서는 문제가 적고 잡음이 많은 그라데이션을 생성하는 환경에서는 보상이 희박할 때 문제가 더 많습니다.

자연의 솔루션

자연의 사례에서 배우고 AI를 개발할 방법을 생각한다면 어떤 경우에는 AI를 다음과 같이 생각할 수 있습니다. 문제지향적 접근. 결국, 자연은 컴퓨터 과학자들이 갖고 있지 않은 제약 내에서 작동합니다. 특정 문제를 해결하기 위한 순전히 이론적 접근 방식이 경험적 대안보다 더 효과적인 솔루션을 제공할 수 있다는 의견이 있습니다. 그러나 나는 특정 제약 조건(지구) 하에서 작동하는 동적 시스템이 어떻게 유연하고 복잡한 행동이 가능한 에이전트(동물, 특히 포유류)를 생성했는지 테스트하는 것이 가치가 있다고 생각합니다. 이러한 제약 조건 중 일부는 시뮬레이션된 데이터 과학 세계에 적용되지 않지만 다른 제약 조건은 괜찮습니다.

포유류의 지적 행동을 조사한 결과, 우리는 그것이 밀접하게 상호 연관된 두 가지 프로세스의 복잡한 상호 영향의 결과로 형성된다는 것을 알 수 있습니다. 다른 사람의 경험으로부터 배우기 и 하면서 배우다. 전자는 종종 자연 선택에 의한 진화와 동일시되지만 여기서는 유전적으로 관련이 없는 유기체 간의 경험 공유를 가능하게 하는 후생유전학, 미생물군집 및 기타 메커니즘을 고려하기 위해 더 넓은 용어를 사용합니다. 두 번째 과정인 경험을 통한 학습은 동물이 일생 동안 학습하는 모든 정보이며, 이 정보는 이 동물과 외부 세계의 상호 작용에 의해 직접적으로 결정됩니다. 이 범주에는 사물을 인식하는 학습부터 학습 과정에 내재된 의사소통을 숙달하는 것까지 모든 것이 포함됩니다.

대략적으로 말하면 자연에서 발생하는 이 두 가지 프로세스는 신경망을 최적화하는 두 가지 옵션과 비교할 수 있습니다. 기울기에 대한 정보를 사용하여 유기체에 대한 정보를 업데이트하는 진화 전략은 다른 사람의 경험을 통해 배우는 것과 비슷합니다. 마찬가지로, 하나 또는 다른 경험을 얻으면 에이전트 행동의 하나 또는 다른 변화로 이어지는 경사 방법은 자신의 경험을 통해 학습하는 것과 비슷합니다. 이 두 가지 접근법이 동물에서 발달하는 지능적인 행동이나 능력의 유형을 생각해 보면 비교가 더욱 뚜렷해집니다. 두 경우 모두 "진화적 방법"은 특정 체력(살아남기에 충분한)을 개발할 수 있는 반응 행동에 대한 연구를 촉진합니다. 걷는 법을 배우거나 감금 상태에서 탈출하는 것은 많은 경우 유전적 수준에서 많은 동물에게 "내재된" 보다 "본능적인" 행동과 동일합니다. 또한, 이 예는 보상 신호가 극히 드문 경우(예: 성공적인 아기 양육 사실)에도 진화 방법이 적용 가능함을 확인시켜 줍니다. 그러한 경우, 이 사실이 발생하기 수년 전에 수행되었을 수 있는 특정 작업 집합과 보상을 연관시키는 것은 불가능합니다. 반면에 ES가 실패하는 경우, 즉 이미지 분류를 고려하면 그 결과는 100년 이상 진행된 수많은 행동 심리 실험에서 얻은 동물 학습 결과와 놀랄 만큼 비슷합니다.

동물로부터 배우기

강화 학습에 사용되는 방법은 많은 경우 심리학 문헌에서 직접 가져온 것입니다. 조작적 조건화, 그리고 동물 심리학을 사용하여 조작적 조건화를 연구했습니다. 그런데 강화 학습의 두 창시자 중 한 명인 Richard Sutton은 심리학 학사 학위를 가지고 있습니다. 조작적 조건화의 맥락에서 동물은 보상이나 처벌을 특정 행동 패턴과 연관시키는 방법을 배웁니다. 조련사와 연구자는 이러한 보상 연관성을 어떤 방식으로든 조작하여 동물이 지능이나 특정 행동을 보이도록 자극할 수 있습니다. 그러나 동물 연구에 사용되는 조작적 조건화는 동물이 평생 동안 학습하는 기반이 되는 동일한 조건화의 보다 뚜렷한 형태에 지나지 않습니다. 우리는 환경으로부터 지속적으로 긍정적인 강화 신호를 받고 그에 따라 행동을 조정합니다. 실제로 많은 신경과학자 및 인지과학자들은 인간과 기타 동물이 실제로 훨씬 더 높은 수준에서 작동하며 잠재적인 보상을 기반으로 미래 상황에서 자신의 행동 결과를 예측하는 방법을 지속적으로 학습한다고 믿습니다.

경험을 통한 학습에서 예측의 중심 역할은 위에서 설명한 역학을 중요한 방식으로 변화시킵니다. 이전에는 매우 희박한(일시적 보상) 것으로 간주되었던 신호가 매우 조밀한 것으로 나타났습니다. 이론적으로 상황은 다음과 같습니다. 언제든지 포유류의 뇌는 감각 자극과 행동의 복잡한 흐름을 기반으로 결과를 계산하는 반면, 동물은 단순히 이 흐름에 잠겨 있습니다. 이 경우, 동물의 최종 행동은 예측 조정과 행동 발달을 안내하는 데 사용해야 하는 강력한 신호를 제공합니다. 뇌는 미래에 대한 예측(및 이에 따라 취해진 조치의 품질)을 최적화하기 위해 이러한 모든 신호를 사용합니다. 이 접근 방식에 대한 개요는 훌륭한 책 "서핑 불확실성” 인지과학자이자 철학자 앤디 클라크. 이러한 추론을 인공 에이전트 훈련에 적용하면 강화 학습의 근본적인 결함이 드러납니다. 이 패러다임에서 사용되는 신호는 될 수 있는(또는 그래야 하는) 신호에 비해 절망적으로 약합니다. 신호 포화를 높이는 것이 불가능한 경우(아마도 신호 포화가 본질적으로 약하거나 낮은 수준의 반응성과 관련되어 있기 때문에), ES와 같이 잘 병렬화된 훈련 방법을 선호하는 것이 더 나을 것입니다.

신경망에 대한 더욱 풍부한 훈련

끊임없이 예측에 바쁜 포유류의 뇌에 내재된 더 높은 신경 활동의 원리를 기반으로 최근 강화 학습이 발전하여 이러한 예측의 중요성을 고려하고 있습니다. 나는 즉시 당신에게 두 가지 유사한 작품을 추천할 수 있습니다.

• 미래를 예측하여 행동하는 법 배우기
• 비지도 보조 작업을 통한 강화 학습

이 두 논문 모두에서 저자는 미래 환경 상태에 대한 예측 결과를 사용하여 신경망의 일반적인 기본 정책을 보완합니다. 첫 번째 글에서는 다양한 측정 변수에 예측을 적용하고, 두 번째 글에서는 환경 변화와 에이전트의 행동 자체에 예측을 적용합니다. 두 경우 모두 긍정적인 강화와 관련된 희박한 신호는 훨씬 더 풍부하고 유익해져서 더 빠른 학습과 더 복잡한 행동의 획득이 가능해집니다. 이러한 개선 사항은 기울기 신호를 사용하는 방법에서만 사용할 수 있으며 ES와 같은 "블랙 박스" 원리로 작동하는 방법에서는 사용할 수 없습니다.

또한, 경험과 그라데이션 방법을 통해 학습하는 것이 훨씬 더 효과적입니다. 강화학습을 사용하는 것보다 ES 방법을 사용하여 특정 문제를 더 빠르게 연구할 수 있는 경우에도 ES 전략이 RL보다 몇 배 더 많은 데이터를 포함한다는 사실로 인해 이득이 달성되었습니다. 이 경우 동물의 학습 원리를 살펴보면 다른 사람의 예를 통해 학습한 결과가 여러 세대 후에 나타나는 반면, 때로는 자체적으로 경험한 단일 사건만으로도 동물이 영원히 교훈을 배우기에 충분하다는 점에 주목합니다. 좋아하는 동안 예제가 없는 훈련 전통적인 그래디언트 방법에는 적합하지 않지만 ES보다 훨씬 더 이해하기 쉽습니다. 예를 들어 다음과 같은 접근법이 있습니다. 신경 에피소드 제어, 훈련 중에 Q 값이 저장되고 그 후 프로그램이 조치를 취하기 전에 이를 확인합니다. 그 결과 이전보다 훨씬 빠르게 문제 해결 방법을 배울 수 있는 그래디언트 방법이 탄생했습니다. 신경 에피소드 제어에 관한 기사에서 저자는 인간의 해마에 대해 언급했습니다. 해마는 한 번의 경험 후에도 사건에 대한 정보를 유지할 수 있으므로 다음과 같은 활동을 할 수 있습니다. 중요한 역할 기억하는 과정에서. 이러한 메커니즘에는 에이전트의 내부 조직에 대한 액세스가 필요하며 이는 정의상 ES 패러다임에서는 불가능합니다.

그렇다면 그것들을 결합해 보는 것은 어떨까요?

이 기사의 대부분은 내가 RL 방법을 옹호한다는 인상을 남길 가능성이 높습니다. 그러나 실제로 장기적으로 가장 좋은 해결책은 두 가지 방법을 결합하여 각 방법이 가장 적합한 상황에서 사용되는 것이라고 생각합니다. 분명히 많은 반응적 정책의 경우나 긍정적인 강화 신호가 매우 희박한 상황에서는 ES가 승리합니다. 특히 대량 병렬 훈련을 실행할 수 있는 컴퓨팅 성능을 마음대로 사용할 수 있는 경우에는 더욱 그렇습니다. 반면, 강화 학습이나 지도 학습을 사용하는 경사 방법은 광범위한 피드백에 접근할 수 있고 더 적은 데이터로 문제를 신속하게 해결하는 방법을 배워야 할 때 유용합니다.

자연으로 돌아가서 우리는 본질적으로 첫 번째 방법이 두 번째 방법의 기초를 마련한다는 것을 알게 됩니다. 이것이 바로 진화 과정에서 포유류가 환경에서 오는 복잡한 신호로부터 매우 효과적으로 학습할 수 있는 두뇌를 개발한 이유입니다. 따라서 질문은 여전히 ​​열려 있습니다. 아마도 진화 전략은 경사 학습 방법에도 유용할 효과적인 학습 아키텍처를 발명하는 데 도움이 될 것입니다. 결국, 자연에서 찾은 해결책은 실제로 매우 성공적이었습니다.

출처 : habr.com