OpenAI는 숨바꼭질 게임에서 AI 팀워크를 가르칩니다.

좋은 구식 숨바꼭질 게임은 인공 지능(AI) 봇이 어떻게 결정을 내리고 서로 및 주변의 다양한 개체와 상호 작용하는지 보여주는 훌륭한 테스트가 될 수 있습니다.

그의 새 기사유명해진 비영리 인공지능 연구기관 OpenAI 소속 연구진이 출간한 , 세계 챔피언에 대한 승리 컴퓨터 게임인 Dota 2에서 과학자들은 인공 지능에 의해 제어되는 에이전트가 가상 환경에서 서로 검색하고 숨는 데 더욱 정교하도록 훈련된 방법을 설명합니다. 연구 결과에 따르면 두 명의 봇으로 구성된 팀이 동맹이 없는 단일 에이전트보다 더 효과적이고 빠르게 학습하는 것으로 나타났습니다.

과학자들은 오랫동안 명성을 얻은 방법을 사용해 왔습니다. 강화를 통한 머신러닝, 인공 지능이 자신에게 알려지지 않은 환경에 배치되면서 특정 상호 작용 방법과 그 행동의 하나 또는 다른 결과에 대한 보상 및 벌금 시스템을 갖습니다. 이 방법은 사람이 상상할 수 있는 것보다 수백만 배 빠른 속도로 가상 환경에서 다양한 작업을 수행하는 AI의 능력 때문에 매우 효과적입니다. 이를 통해 시행착오를 통해 주어진 문제를 해결하기 위한 가장 효과적인 전략을 찾을 수 있습니다. 그러나 이 접근 방식에는 몇 가지 제한 사항도 있습니다. 예를 들어 환경을 만들고 수많은 훈련 주기를 수행하려면 엄청난 컴퓨팅 리소스가 필요하며, 프로세스 자체에는 AI 작업의 결과를 목표와 비교하기 위한 정확한 시스템이 필요합니다. 또한, 이런 방식으로 에이전트가 획득한 기술은 설명된 작업으로 제한되며, AI가 이에 대처하는 방법을 학습하면 더 이상 개선되지 않습니다.

숨바꼭질을 하도록 AI를 훈련시키기 위해 과학자들은 에이전트가 게임 세계에 대한 이해를 발전시키고 승리 전략을 개발할 수 있는 완전한 자유를 갖는 "무지향 탐색"이라는 접근 방식을 사용했습니다. 이는 DeepMind 연구원들이 여러 인공 지능 시스템을 사용할 때 사용한 다중 에이전트 학습 접근 방식과 유사합니다. Quake III Arena에서 깃발 탈취 모드를 플레이하도록 훈련받았습니다.. 이 경우와 마찬가지로 AI 에이전트는 이전에는 게임 규칙에 대한 교육을 받지 않았지만 시간이 지남에 따라 기본 전략을 배웠고 심지어 사소하지 않은 솔루션으로 연구원을 놀라게 할 수도 있었습니다.

숨바꼭질 게임에서는 숨는 것이 임무인 여러 요원이 수색 요원 팀이 움직이지 못하는 동안 약간 앞서서 출발한 후 상대방의 시선을 피해야 했습니다. 더욱이, 이 맥락에서 "가시선"은 개별 봇 앞에서 135도 원뿔입니다. 에이전트는 플레이 영역 밖으로 너무 멀리 나갈 수 없었고, 엄폐물을 만들고 침투하는 데 사용할 수 있는 외부 개체(상자, 이동식 벽, 특수 경사로)가 흩어져 있는 기능을 사용하여 무작위로 생성된 방을 탐색해야 했습니다. .

오랜 학습 과정을 통해 AI 에이전트는 25가지 고유한 전략을 학습했으며 각 전략은 게임의 다음 단계로 진행하는 데 도움이 되었습니다. 처음에는 시커팀과 하이더팀이 서로 쫓아다니며 그냥 도망쳤지만, 약 75만 번의 매치가 끝난 후, 하이드더팀은 상자로 통로를 막고 그 안에서 대피소를 만드는 방법을 배웠습니다. 10만 번의 추가 매치 후에 팀은 경사로를 사용하여 이러한 은신처에 들어갈 수 있는 방법을 발견했습니다. 또 다른 XNUMX천만 라운드 후에 숨는 사람들은 경사로를 경기장 가장자리로 끌어서 상대방이 사용하지 못하도록 제자리에 잠그는 방법을 배웠습니다.

388억 458만 번의 매치 이후, 시커들은 막힌 경사로를 사용하여 가져온 상자 위로 올라가는 방법을 배웠고, 그 상자 위로 직접 이동하여 휴대용 벽에 만들어진 적의 은신처를 관통했습니다. 그리고 마침내 XNUMX억 XNUMX만 번의 경기 끝에 숨어 있던 팀은 모든 물체를 막고 대피소를 건설해야 한다는 결론을 내렸고, 이것이 최종 승리로 이어진 것으로 보인다.

특히 인상적인 점은 22만 번의 일치 후에 에이전트가 자신의 행동을 조정하는 방법을 배웠고 협업의 효율성이 미래에만 증가했다는 것입니다. 예를 들어 각자 자신의 상자나 벽을 가져와 대피소를 만들고 자신의 물건을 선택하여 블록, 상대에게 난이도 게임을 복잡하게 만듭니다.

과학자들은 또한 훈련 객체의 수(신경망을 통과하는 데이터의 양 - "배치 크기")가 학습 속도에 미치는 영향과 관련된 중요한 점에 주목했습니다. 기본 모델에서는 숨어 있는 팀이 경사로를 차단하는 방법을 학습한 지점에 도달하기 위해 132,3시간 동안 34억 0,5만 번의 훈련이 필요했으며, 더 많은 데이터로 인해 훈련 ​​시간이 눈에 띄게 단축되었습니다. 예를 들어, 매개변수(전체 훈련 과정에서 얻은 데이터의 일부)의 수를 5,8만개에서 2,2만개로 늘리면 샘플링 효율이 64배 증가하고, 입력 데이터의 크기를 128KB에서 XNUMXKB로 늘리면 훈련이 줄어듭니다. 시간은 거의 XNUMX배.

작업이 끝나면 연구원들은 에이전트가 게임 외부의 유사한 작업에 대처하는 데 얼마나 많은 게임 내 훈련이 도움이 될 수 있는지 테스트하기로 결정했습니다. 총 4가지 테스트가 있었습니다: 물체의 수에 대한 인식(물체가 눈에 띄지 않고 사용되지 않더라도 계속 존재한다는 것을 이해); "잠금 및 복귀" - 자신의 원래 위치를 기억하고 일부 추가 작업을 완료한 후 원래 위치로 돌아갈 수 있는 능력입니다. "순차 차단" - 문이 없는 XNUMX개의 방에 XNUMX개의 상자가 무작위로 배치되어 있었지만, 안으로 들어가려면 경사로가 있어서 요원이 상자를 모두 찾아서 차단해야 했습니다. 미리 결정된 장소에 상자 배치; 원통 형태로 물체 주위에 쉼터를 만듭니다.

그 결과 XNUMX개 과제 중 XNUMX개 항목에서 게임 내 사전 훈련을 받은 봇이 처음부터 문제를 해결하도록 훈련한 AI보다 더 빨리 학습하고 더 좋은 결과를 보였다. 작업을 완료하고 시작 위치로 돌아가는 작업, 닫힌 방의 상자를 순차적으로 차단하고 지정된 영역에 상자를 배치하는 작업에서는 약간 더 나은 성능을 보였지만 개체 수를 인식하고 다른 개체 주위에 엄폐물을 만드는 작업에서는 성능이 약간 약했습니다.

연구자들은 AI가 특정 기술을 학습하고 기억하는 방식에 따라 결과가 엇갈린다고 생각합니다. “우리는 게임 내 사전 훈련이 가장 잘 수행된 작업은 이전에 배운 기술을 익숙한 방식으로 재사용하는 것과 관련된 반면, 처음부터 훈련된 AI보다 나머지 작업을 더 잘 수행하려면 이를 다른 방식으로 사용해야 한다고 생각합니다. 더 어렵습니다.”라고 공동 저자는 썼습니다. "이 결과는 훈련을 통해 습득한 기술을 한 환경에서 다른 환경으로 이전할 때 효과적으로 재사용하는 방법을 개발할 필요성을 강조합니다."

수행된 작업은 정말 인상적입니다. 이 교육 방법을 사용할 가능성은 모든 게임의 한계를 훨씬 뛰어넘기 때문입니다. 연구원들은 그들의 연구가 질병을 진단하고 복잡한 단백질 분자의 구조를 예측하며 CT 스캔을 분석할 수 있는 "물리 기반" 및 "인간과 같은" 행동을 갖춘 AI를 만드는 데 중요한 단계라고 말합니다.

아래 영상을 보면 전체 학습 과정이 어떻게 진행됐는지, AI가 어떻게 팀워크를 학습했는지, AI의 전략이 점점 더 교활하고 복잡해졌는지 명확하게 확인할 수 있다.

출처 : 3dnews.ru