Мы не можем доверять ИИ-системам, построенным на одном лишь глубоком обучении

Этот текст — не результат научного исследования, а одно из многих мнений относительно нашего ближайшего технологического развития. И заодно приглашение к дискуссии.

Гари Маркус, профессор Нью-Йоркского университета, уверен, что глубокое обучение играет важную роль в развитии ИИ. Но он также считает, что избыточное увлечение этой методикой может привести к её дискредитации.

В своей книге Rebooting AI: Building artificial intelligence we can trust Маркус, по образованию невролог, который построил карьеру на передовых исследованиях в сфере ИИ, обращается к техническим и этическим аспектам. С точки зрения технологий, глубокое обучение может успешно подражать решению задач на восприятие, которые выполняет наш мозг: например, распознавание изображений или речи. Но для решения иных задач, вроде понимания разговоров или определения причинно-следственных связей, глубокое обучение не годится. Чтобы создать более продвинутые интеллектуальные машины, способные решать более широкий круг задач — их часто называют общим искусственным интеллектом — глубокое обучение необходимо комбинировать с другими методиками.

Если ИИ-система на самом деле не понимает свои задачи или окружающий мир, это может привести к опасным последствиям. Даже малейшие неожиданные изменения в окружении системы могут привести к её ошибочному поведению. Таких примеров уже было множество: определители неподобающих выражений, которые легко обмануть; системы для поиска работы, которые постоянно дискриминируют; беспилотные автомобили, которые попадают в аварии и иногда убивают водителя или пешехода. Создание общего искусственного интеллекта — это не просто интересная исследовательская проблема, у неё есть множество совершенно практических применений.

В своей книге Маркус и его соавтор Эрнест Дэвис выдвигают выступают за другой путь. Они считают, что мы ещё далеки от создания общего ИИ, но уверены, что рано или поздно его удастся создать.

Для чего нам нужен общий ИИ? Специализированные версии уже созданы и приносят немало пользы.

Верно, и пользы будет ещё больше. Но есть много задач, которые специализированный ИИ просто не в состоянии решить. Например, понимание обычной речи, или общая помощь в виртуальном мире, или робот, помогающий в уборке и приготовлении пищи. Такие задачи вне возможностей специализированного ИИ. Ещё один интересный практический вопрос: можно ли с помощью специализированного ИИ создать безопасный автомобиль-беспилотник? Опыт показывает, что у такого ИИ до сих пор много проблем с поведением в аномальных ситуациях, даже при вождении, что весьма осложняет ситуацию.

Думаю, все мы хотели бы получить ИИ, который способен помочь нам сделать новые масштабные открытия в медицине. Неясно, подойдут ли для этого текущие технологии, ведь биология — сфера сложная. Нужно быть готовым прочитать немало книг. Учёные понимают причинно-следственные связи во взаимодействии сетей и молекул, могут разрабатывать теории о планетах и так далее. Однако со специализированным ИИ мы не можем создать машины, способные к таким открытиям. А с общим ИИ мы смогли бы совершить революцию в науке, технологиях и медицине. На мой взгляд, очень важно продолжать работу над созданием общего ИИ.

Похоже, под «общим» вы понимаете сильный ИИ?

Говоря «общий» я подразумеваю, что ИИ сможет на лету обдумывать и самостоятельно решать новые задачи. В отличие от, скажем, Го, в котором проблема не менялась последние 2000 лет.

Общий ИИ должен уметь принимать решения как в политике, так и в медицине. Это аналог человеческой способности; любой здравомыслящий человек может делать очень многое. Берёте неопытных студентов и через несколько дней заставляете их работать практически над чем угодно, начиная с юридической задачи и заканчивая медицинской. Это благодаря тому, что они имеют общее понимание мира и умеют читать, и поэтому могут внести свой вклад в очень широкий спектр занятий.

Взаимосвязь между таким интеллектом и сильным заключается в том, что не сильный интеллект, вероятно, не сможет решать общие задачи. Чтобы создать нечто достаточно надёжное, способное работать с постоянно изменяющимся миром, вам, возможно, потребует как минимум приблизиться к общему интеллекту.

Но сейчас мы от этого очень далеки. AlphaGo может прекрасно играть на доске 19×19, но его нужно переобучать для игры на прямоугольной доске. Или возьмите среднестатистическую систему глубокого обучения: она способна распознать слона, если он хорошо освещён и видна текстура его кожи. А если виден лишь силуэт слона, система наверняка не сможет его распознать.

В своей книге вы упоминаете, что глубокое обучение не способно достичь возможностей общего ИИ, поскольку оно не способно на глубокое понимание.

В когнитивистике говорят о формировании различных когнитивных моделей. Я сижу в номере отеля и понимаю, что вон там шкаф, там кровать, там телевизор, который необычно подвешен. Я знаю все эти предметы, я не просто идентифицирую их. Также я понимаю, как они взаимосвязаны друг с другом. У меня есть идеи о функционировании окружающего мира. Они не идеальны. Они могут быть ошибочны, но они весьма хороши. И на их основе я делаю немало умозаключений, которые становятся руководством для моих повседневных действий.

Другая крайность — что-то вроде игровой системы Atari, созданной DeepMind, в которой он запоминал, что ему нужно делать, когда видел пиксели в определенных местах на экране. Если вы получите достаточно данных, то может показаться, что у вас есть понимание, но на деле оно очень поверхностное. Доказательством тому является то, что если сдвинуть объекты на три пиксела, то ИИ играет гораздо хуже. Перемены ставят его в тупик. Это противоположно глубокому пониманию.

Для решения этой проблемы вы предлагаете вернуться к классическому ИИ. Какие его преимущества нам нужно постараться использовать?

Преимуществ несколько.

Во-первых, классический ИИ на самом деле является фреймворком для создания когнитивных моделей мира, на основе которых можно потом делать выводы.

Во-вторых, классический ИИ идеально совместим с правилами. Сейчас в сфере глубокого обучения наблюдается странная тенденция, когда специалисты стараются избегать правил. Они хотят всё делать на нейросетях и не делать ничего такого, что выглядит как классическое программирование. Но есть задачи, которые были спокойно решены подобным образом, и на это никто не обращал внимание. Например, построение маршрутов в Google Maps.

На самом деле нам нужны оба подхода. Машинное обучение позволяет хорошо учиться на данных, но очень плохо помогает в отображении абстракции, которую представляет собой компьютерная программа. Классический ИИ хорошо работает с абстракциями, но его целиком нужно программировать вручную, а в мире накоплено слишком много знаний, чтобы всех их запрограммировать. Очевидно, что нам нужно объединить оба подхода.

Это связано с главой, в которой вы рассказываете о том, чему мы можем научиться у человеческого разума. И в первую очередь о концепции, базирующейся на упомянутой выше идее, что наше сознание состоит из множества различных систем, которые работают по-разному.

Думаю, есть другой способ объяснить это: каждая когнитивная система, которая у нас есть, действительно решает разные задачи. Аналогичные части ИИ должны быть спроектированы для решения различных задач, которые имеют различные характеристики.

Сейчас мы пытаемся использовать некие всё-в-одном технологии для решения задач, которые кардинально отличаются друг от друга. Понять предложение — вовсе не то же самое, что распознать объект. Но люди пытаются в обоих случаях использовать глубокое обучение. С когнитивной точки зрения это качественно разные задачи. Я просто поражен тем, как мало в сообществе специалистов по глубокому обучению ценят классический ИИ. Зачем ждать появления серебряной пули? Она недостижима, и бесплодные поиски не позволяют постичь всю сложность задачи создания ИИ.

Также вы упоминаете, что ИИ-системы необходимы для понимания причинно-следственных связей. Вы считаете, что в этом нам поможет глубокое обучение, классический ИИ или что-нибудь совершенно новое?

Это ещё одна сфера, для которой глубокое обучение не слишком подходит. Оно не объясняет причины каких-то событий, а вычисляет вероятность события в заданных условиях.

О чём мы говорим? Вы смотрите некие сценарии, и вы понимаете, почему это происходит и что может произойти, если какие-то обстоятельства изменятся. Я могу посмотреть на подставку, на которой стоит телевизор, и представить, что если я отрежу ей одну ногу, то подставка перевернётся и телевизор упадёт. Это причинно-следственная связь.

Классический ИИ даёт нам для этого некие инструменты. Он может представить, к примеру, что такое поддержка и что такое падение. Но не стану перехваливать. Проблема в том, что классический ИИ по большей части зависит от полноты информации о происходящем, а я сделал вывод, всего лишь посмотрев на подставку. Я каким-то образом могу обобщать, представлять части подставки, которые мне не видны. У нас пока нет инструментов для реализации этого свойства.

Ещё вы говорите о том, что у людей есть врождённое знание. Каким образом это можно реализовать в ИИ?

В момент рождения наш мозг уже представляет собой очень тщательно продуманную систему. Она не фиксирована, природа создала первый, грубый черновик. А затем обучение помогает нам пересматривать этот черновик в течение всей нашей жизни.

Грубый черновик мозга уже обладает определёнными возможностями. Новорождённый горный козёл уже через несколько часов способен безошибочно спускаться по склону горы. Очевидно, что у него уже есть понимание трёхмерного пространства, своего тела и взаимосвязи между ними. Весьма сложная система.

Отчасти поэтому я считаю, что нам нужны гибриды. Трудно представить, как можно создать робота, хорошо функционирующего в мире без аналогичных знаний, с чего ему начинать, вместо того, чтобы начинать с чистого листа и учиться на длительном, огромном опыте.

Что касается людей, то наше врождённое знание происходит из нашего генома, который эволюционировал долгое время. А с ИИ-системами нам придётся пойти другим путём. Частично это могут быть правила построения наших алгоритмов. Частично это могут быть правила создания структур данных, которыми манипулируют эти алгоритмы. И частично это могут быть знания, которые мы напрямую будем вкладывать в машины.

Интересно, что в книге вы подводите к идее доверия и создания доверительных систем. Почему вы выбрали именно этот критерий?

Я считаю, что сегодня всё это представляет собой игру игру в мяч. Мне кажется, мы проживаем странный момент истории, во многом доверяя ПО, которое не заслуживает доверия. Думаю, свойственные нам сегодня беспокойства не будут вечными. Через сто лет ИИ оправдает наше доверие, а может быть и раньше.

Но сегодня ИИ опасен. Не в том смысле, как опасается Илон Маск, а в том, что системы собеседования при приёме на работу дискриминируют женщин, причём вне зависимости от того, что делают программисты, потому что их инструменты слишком просты.

Я хотел бы, чтобы у нас был более качественный ИИ. Не хочу, чтобы началась «зима искусственного интеллекта», когда люди осознают, что ИИ не работает и просто опасен, и не захотят это исправлять.

В некотором смысле ваша книга действительно кажется очень оптимистичной. Вы предполагаете, что можно построить заслуживающий доверия ИИ. Просто нам нужно посмотреть в другом направлении.

Верно, книга очень пессимистична в краткосрочной перспективе и очень оптимистична в долгосрочной. Мы считаем, что все описанные нами проблемы могут быть решены, если шире посмотреть на то, какими должны быть правильные ответы. И мы думаем, что если это произойдёт, мир станет лучше.

Источник: habr.com