Учене с подсилване или еволюционни стратегии? - И двете

Хей Хабр!

Не решаваме често да публикуваме тук преводи на текстове, които са били преди две години, без код и очевидно с академичен характер - но днес ще направим изключение. Надяваме се, че дилемата, поставена в заглавието на статията, тревожи много от нашите читатели и вие вече сте прочели фундаменталния труд върху еволюционните стратегии, с който тази публикация спори в оригинал или ще го прочетете сега. Добре дошли при котката!

През март 2017 г. OpenAI предизвика вълни в общността за задълбочено обучение с статията „Стратегиите за еволюция като мащабируема алтернатива на обучението с подсилване" Тази работа описва впечатляващи резултати в полза на факта, че обучението с подсилване (RL) не се е превърнало в клин и при обучение на сложни невронни мрежи е препоръчително да опитате други методи. След това избухна дебат относно важността на обучението за засилване и доколко заслужава статута му на „задължителна“ технология за преподаване на решаване на проблеми. Тук искам да кажа, че тези две технологии не трябва да се разглеждат като конкуриращи се, едната от които е очевидно по-добра от другата; напротив, те в крайна сметка взаимно се допълват. Наистина, ако се замислите малко какво е необходимо за създаването общ AI и такива системи, които през цялото си съществуване биха били способни да учат, преценяват и планират, тогава почти сигурно ще стигнем до заключението, че ще е необходимо това или онова комбинирано решение. Между другото, именно до това комбинирано решение стигна природата, която в хода на еволюцията надари бозайниците и другите висши животни със сложен интелект.

Еволюционни стратегии

Основната теза на доклада на OpenAI беше, че вместо да използват обучение с подсилване, комбинирано с традиционно обратно разпространение, те успешно обучиха невронна мрежа да решава сложни проблеми, използвайки това, което те нарекоха „еволюционна стратегия“ (ES). Този ES подход се състои в поддържане на разпределение на теглата в цялата мрежа, включващо множество агенти, работещи паралелно и използващи параметри, избрани от това разпределение. Всеки агент работи в своя собствена среда и след завършване на определен брой епизоди или етапи от епизод, алгоритъмът връща кумулативна награда, изразена като фитнес резултат. Като се вземе предвид тази стойност, разпределението на параметрите може да бъде изместено към по-успешни агенти, лишавайки по-малко успешните. Чрез повтаряне на такава операция милиони пъти с участието на стотици агенти е възможно да се премести разпределението на теглата в пространство, което ще позволи на агентите да формулират висококачествена политика за решаване на възложената им задача. Наистина, резултатите, представени в статията, са впечатляващи: показано е, че ако управлявате хиляда агенти паралелно, тогава антропоморфното придвижване на два крака може да се научи за по-малко от половин час (докато дори най-напредналите RL методи изискват харчене на повече повече от един час за това). За по-подробна информация препоръчвам да прочетете отличното пост от авторите на експеримента, както и научна статия.

Различни стратегии за преподаване на антропоморфно изправено ходене, изучавани с помощта на метода ES от OpenAI.

Черна кутия

Голямото предимство на този метод е, че може лесно да се паралелизира. Докато RL методите, като A3C, изискват обмен на информация между работни нишки и сървър на параметри, ES се нуждае само от оценки на годността и обобщена информация за разпределение на параметри. Именно поради тази простота този метод е далеч пред съвременните RL методи по отношение на възможностите за мащабиране. Всичко това обаче не идва напразно: трябва да оптимизирате мрежата според принципа на черната кутия. В този случай „черната кутия“ означава, че по време на обучението вътрешната структура на мрежата се игнорира напълно и се използва само общият резултат (награда за епизода), от който зависи дали теглата на дадена мрежа ще да бъдат наследени от следващите поколения. В ситуации, в които не получаваме много обратна връзка от околната среда – и при много традиционни RL проблеми потокът от награди е много оскъден – проблемът преминава от „частично черна кутия“ в „напълно черна кутия“. В този случай можете значително да увеличите производителността, така че, разбира се, такъв компромис е оправдан. „Кой има нужда от градиенти, ако така или иначе са безнадеждно шумни?“ - това е всеобщото мнение.

Въпреки това, в ситуации, когато обратната връзка е по-активна, нещата започват да се объркват за ES. Екипът на OpenAI описва как проста мрежа за класификация на MNIST е била обучена с помощта на ES и този път обучението е било 1000 пъти по-бавно. Факт е, че градиентният сигнал в класификацията на изображения е изключително информативен по отношение на това как да се научи мрежата на по-добра класификация. По този начин проблемът е по-малко с техниката RL и повече с оскъдни награди в среди, които произвеждат шумни градиенти.

Решението на природата

Ако се опитаме да се поучим от примера на природата, мислейки за начини за разработване на AI, тогава в някои случаи AI може да се разглежда като проблемно-ориентиран подход. В крайна сметка природата работи в рамките на ограничения, които компютърните учени просто нямат. Има мнение, че чисто теоретичен подход към решаването на конкретен проблем може да осигури по-ефективни решения от емпиричните алтернативи. Все пак смятам, че би било полезно да се тества как динамична система, работеща при определени ограничения (Земята), е генерирала агенти (животни, особено бозайници), способни на гъвкаво и сложно поведение. Докато някои от тези ограничения не се прилагат в симулирани светове на науката за данни, други са добре.

След като разгледахме интелектуалното поведение на бозайниците, виждаме, че то се формира в резултат на сложното взаимно влияние на два тясно свързани процеса: учене от опита на другите и учене чрез правене. Първото често се приравнява на еволюцията, движена от естествения подбор, но тук използвам по-широк термин, за да взема предвид епигенетиката, микробиомите и други механизми, които позволяват споделянето на опит между генетично несвързани организми. Вторият процес, обучение от опит, е цялата информация, която животното успява да научи през целия си живот и тази информация се определя пряко от взаимодействието на това животно с външния свят. Тази категория включва всичко - от обучение за разпознаване на обекти до овладяване на комуникацията, присъща на учебния процес.

Грубо казано, тези два процеса, протичащи в природата, могат да бъдат сравнени с два варианта за оптимизиране на невронните мрежи. Еволюционните стратегии, при които информацията за градиентите се използва за актуализиране на информация за организма, се доближават до ученето от опита на другите. По същия начин градиентните методи, при които получаването на един или друг опит води до една или друга промяна в поведението на агента, са сравними с ученето от собствения опит. Ако помислим за видовете интелигентно поведение или способности, които всеки от тези два подхода развива при животните, сравнението става по-ясно изразено. И в двата случая „еволюционните методи“ насърчават изучаването на реактивни поведения, които позволяват на човек да развие определена годност (достатъчна, за да остане жив). Да се ​​научиш да ходиш или да избягаш от плен в много случаи е еквивалентно на по-„инстинктивно“ поведение, което е „заложено“ в много животни на генетично ниво. В допълнение, този пример потвърждава, че еволюционните методи са приложими в случаите, когато сигналът за награда е изключително рядък (например фактът на успешно отглеждане на бебе). В такъв случай е невъзможно наградата да се свърже с определен набор от действия, които може да са били извършени много години преди настъпването на този факт. От друга страна, ако разгледаме случай, в който ES се проваля, а именно класификацията на изображението, резултатите са забележително сравними с резултатите от животинското обучение, постигнато в безброй поведенчески психологически експерименти, проведени в продължение на повече от 100 години.

Учене от животните

Методите, използвани в обучението за засилване, в много случаи са взети директно от психологическата литература оперантно кондициониране, а оперантното кондициониране е изследвано с помощта на психологията на животните. Между другото, Ричард Сътън, един от двамата основатели на обучението с подсилване, има бакалавърска степен по психология. В контекста на оперантното кондициониране животните се научават да свързват наградата или наказанието със специфични поведенчески модели. Треньорите и изследователите могат да манипулират тази асоциация за възнаграждение по един или друг начин, провокирайки животните да демонстрират интелигентност или определено поведение. Оперантното обуславяне обаче, както се използва в изследванията върху животни, не е нищо повече от по-ясно изразена форма на същото обуславяне, въз основа на което животните учат през целия си живот. Постоянно получаваме сигнали за положително подкрепление от околната среда и коригираме поведението си съответно. Всъщност много невролози и когнитивни учени вярват, че хората и другите животни действително работят на още по-високо ниво и непрекъснато се учат да предсказват резултата от поведението си в бъдещи ситуации въз основа на потенциални награди.

Централната роля на прогнозирането в ученето от опита променя описаната по-горе динамика по значителни начини. Сигналът, който преди се смяташе за много рядък (епизодична награда), се оказва много плътен. Теоретично ситуацията е нещо подобно: във всеки един момент мозъкът на бозайника изчислява резултатите въз основа на сложен поток от сетивни стимули и действия, докато животното просто е потопено в този поток. В този случай окончателното поведение на животното дава силен сигнал, който трябва да се използва за насочване на коригирането на прогнозите и развитието на поведението. Мозъкът използва всички тези сигнали, за да оптимизира прогнозите (и съответно качеството на предприетите действия) в бъдеще. Преглед на този подход е даден в отличната книга „Несигурност при сърфиране” когнитивен учен и философ Анди Кларк. Ако екстраполираме подобно разсъждение към обучението на изкуствени агенти, тогава се разкрива фундаментален недостатък в обучението с подсилване: сигналът, използван в тази парадигма, е безнадеждно слаб в сравнение с това, което би могъл да бъде (или трябва да бъде). В случаите, когато е невъзможно да се увеличи насищането на сигнала (може би защото е присъщо слаб или свързан с ниско ниво на реактивност), вероятно е по-добре да се предпочете метод на обучение, който е добре паралелен, например ES.

По-богато обучение на невронни мрежи

Въз основа на принципите на по-висока невронна активност, присъща на мозъка на бозайниците, който е постоянно зает да прави прогнози, напоследък беше постигнат напредък в обучението с подсилване, което сега отчита важността на такива прогнози. Веднага мога да ви препоръчам две подобни произведения:

• Да се ​​научим да действаме, като предсказваме бъдещето
• Учене с подсилване с неконтролирани помощни задачи

И в двата документа авторите допълват типичната политика по подразбиране на своите невронни мрежи с прогнозни резултати за състоянието на околната среда в бъдеще. В първата статия прогнозирането се прилага към различни измервателни променливи, а във втората прогнозата се прилага към промените в околната среда и поведението на агента като такъв. И в двата случая оскъдният сигнал, свързан с положителното подсилване, става много по-богат и по-информативен, което позволява както по-бързо учене, така и придобиване на по-сложно поведение. Такива подобрения са налични само с методи, които използват градиентен сигнал, а не с методи, които работят на принципа на „черна кутия“, като ES.

Освен това ученето от опита и градиентните методи са много по-ефективни. Дори в случаите, когато беше възможно да се проучи конкретен проблем с помощта на метода ES по-бързо, отколкото с помощта на обучение с подсилване, печалбата беше постигната поради факта, че стратегията на ES включваше много пъти повече данни, отколкото с RL. Разсъждавайки в този случай върху принципите на учене при животните, ние отбелязваме, че резултатът от ученето от примера на някой друг се проявява след много поколения, докато понякога едно-единствено преживяно събитие е достатъчно, за да може животното да научи урока завинаги. Докато като обучение без примери Въпреки че не се вписва напълно в традиционните градиентни методи, той е много по-разбираем от ES. Има например подходи като нервен епизодичен контрол, където Q-стойностите се съхраняват по време на процеса на обучение, след което програмата ги проверява, преди да предприеме действия. Резултатът е градиентен метод, който ви позволява да се научите как да решавате проблеми много по-бързо от преди. В статия за невронния епизодичен контрол авторите споменават човешкия хипокампус, който е способен да запази информация за събитие дори след еднократно преживяване и следователно играе критична роля в процеса на запомняне. Такива механизми изискват достъп до вътрешната организация на агента, което също по дефиниция е невъзможно в ES парадигмата.

Така че, защо не ги комбинирате?

Вероятно голяма част от тази статия може да остави впечатлението, че защитавам методите на RL. Но всъщност смятам, че в дългосрочен план най-доброто решение е да се комбинират и двата метода, така че всеки да се използва в ситуациите, в които е най-подходящ. Очевидно е, че в случай на много реактивни политики или в ситуации с много оскъдни сигнали за положително подсилване, ES печели, особено ако разполагате с изчислителната мощ, на която можете да провеждате масово паралелно обучение. От друга страна, градиентните методи, използващи обучение с подсилване или контролирано обучение, ще бъдат полезни, когато имаме достъп до обширна обратна връзка и трябва да се научим как да решаваме проблем бързо и с по-малко данни.

Обръщайки се към природата, откриваме, че първият метод по същество поставя основата на втория. Ето защо в хода на еволюцията бозайниците са развили мозъци, които им позволяват да учат изключително ефективно от сложни сигнали, идващи от околната среда. Така че въпросът остава отворен. Може би еволюционните стратегии ще ни помогнат да измислим ефективни учебни архитектури, които също ще бъдат полезни за градиентни методи на обучение. В крайна сметка решението, намерено от природата, наистина е много успешно.

Източник: www.habr.com