🥇Какой ученик нужен чародею и какой ИИ нужен нам?

ПРЕДУПРЕЖДЕНИЕ
Судя по рекордно высокому отношению количества молчаливо недовольных к количеству комментаторов, которым есть что возразить, многим читателям неочевидно, что:
1) Это чисто теоретическая дискуссионная статья. Здесь не будет практических рекомендаций по выбору инструментов для майнинга криптовалюты или сборке мультивибратора, чтобы мигать двумя лампочками.
2) Это не научно-популярная статья. Здесь не будет объяснения для чайника принципа работы машины Тьюринга на примере спичечных коробков.
3) Хорошо подумайте прежде, чем продолжить чтение! Привлекает ли вас поза агрессивного дилетантизма: минусую всё, что не понимаю?
Заранее благодарен всем, кто решит не читать эту статью!

Демон — компьютерная программа в системах класса UNIX, запускаемая самой системой и работающая в фоновом режиме без прямого взаимодействия с пользователем.

Википедия

Еще в дошкольном возрасте слышал сказку про ученика чародея. Повторю ее в своем пересказе:

Когда-то где-то в средневековой Европе жил чародей. У него была большая книга заклинаний в переплете из черной телячьей кожи с застежками и уголками из железа. Когда чародею нужно было прочесть заклинание, он отпирал ее большим железным ключом, который всегда носил на поясе в специальном кошеле. Еще у чародея был ученик, который прислуживал чародею, но ему запрещалось заглядывать в книгу заклинаний.

Как-то раз чародей на целый день уехал по делам. Лишь только он вышел из дома, ученик бросился в подземелье, где была алхимическая лаборатория, в которой лежала книга заклинаний, прикованная цепями к столу. Ученик схватил тигли, в которых чародей плавил свинец, чтобы превратить его в золото, поставил их на жаровню и раздул огонь. Свинец быстро расплавился, но в золото не превратился. Тогда ученик вспомнил, что чародей, расплавив свинец, каждый раз отпирал ключом книгу и долго шептал заклинание из нее. Ученик безнадежно посмотрел на запертую книгу и увидел, что рядом с ней лежит ключ, забытый чародеем. Тогда он бросился к столу, отпер книгу, раскрыл ее и громко прочел самое первое заклинание, старательно по слогам выговаривая незнакомые слова, предполагая, что такое важное заклинание, как заклинание трансмутации свинца в золото, наверняка будет самым первым.

Но ничего не произошло: свинец не желал превращаться. Ученик хотел было попробовать другое заклинание, но тут удар грома сотряс дом, и перед учеником появился огромный жуткий демон, вызванный заклинанием, которое только что прочел ученик.
— Приказывай! — зарычал демон.
От страха все мысли покинули голову ученика, он не мог даже пошевелиться.
— Приказывай, или я тебя съем! — снова прорычал демон и протянул к ученику огромную руку, чтобы его схватить.
В отчаянии ученик пролепетал первое, что смог придумать:
— Полей этот цветок.
И показал на герань, горшок с которой стоял на полу в углу лаборатории, в потолке над цветком было сделано единственное в подземелье маленькое оконце, через которое едва пробивался солнечный свет. Демон исчез, но через мгновение опять появился с огромной бочкой воды, которую перевернул над цветком, вылив воду. Снова исчез и снова появился с полной бочкой.
— Довольно, — закричал ученик, стоя уже по пояс в воде.
Но видимо одного желания было недостаточно — демон таскал и таскал воду в бочке, выливая ее в углу, где когда-то стоял скрывшийся под водой цветок. Наверное, было нужно специальное заклинание, чтобы прогнать демона. Но стол с книгой уже скрылись в мутной воде, в которой плавали пепел и угли из жаровни, пустые реторты, колбы, табуретки, гальванометры, дозиметры, одноразовые шприцы и прочий мусор, так что если бы ученик и знал, как найти нужное заклинание, он не смог бы этого сделать. Вода прибывала, и ученик вскарабкался на стол, чтобы не захлебнуться. Но это помогло не надолго – демон методично продолжал таскать воду. Ученик был уже по горло в воде, когда вернулся чародей, обнаруживший, что забыл дома ключ от книги, и прогнал демона. Конец сказки.

Сразу про очевидное. С естественным интеллектом (ЕИ) ученика, казалось бы, всё понятно – тупица, еще тупее надо долго искать. А вот с интеллектом демона – кстати, какой у него: ЕИ или ИИ? – неоднозначно. Правомерны разные версии (а к ним будут появляться еще и вопросы):

Версия 1) Демон еще тупее ученика. Получил приказ и будет выполнять бесконечно долго, даже тогда, когда всякий смысл исчезнет: исчезнет цветок – объект полива, исчезнет угол, к которому привязаны координаты цветка, исчезнет планета Земля, а тупой демон так и будет в определенную точку космического пространства доставлять бочками воду. И если в этой точке вспыхнет сверхновая, то демону без разницы, куда воду носить. Более того: насколько тупым надо быть, чтобы поливать маленький цветок из огромной бочки. Это уже называется не полить цветок, а утопить цветок. Он хоть смысл приказов понимает?

Версия 2) Демон всё понимает, но связан обязательствами. Вот и проводит что-то вроде итальянской забастовки. Пока официально по всем правилам его не прогонят – не остановится.

Вопрос 1 к версиям 1,2) Как отличить совсем тупого демона по версии 1 от совсем не тупого по версии 2?
Вопрос 2 к версиям 1,2) Выполнил бы демон правильно (с точки зрения ученика) более точную формулировку? Например, если бы ученик сказал: возьми ту пустую литровую колбу, которая стоит на полке, набери в нее воды и полей тот цветок 1 раз. Или, например, если бы ученик сказал: пошел прочь.

Версия 3) Чародей наложил на демона дополнительно заклятье, по которому если кто-то кроме чародея использует услуги демона, то демон должен тут же информировать об этом факте чародея.

Версия 4) Демон не держит зла на чародея и его ученика, поэтому видя, что ситуация вышла из-под контроля, в ходе своих перемещений с бочкой возник за спиной чародея и гаркнул: “ты ключик дома забыл, там потоп”. А чародей сам бы и не вспомнил.

Замечание 1 к версии 4) Особо стоит отметить, что у носителей ЕИ бывает очень не идеальная память.

Далее версии можно множить как “кроликов Фибоначчи», т.е. не очень сложным алгоритмом. Например:
Версия 5) Демон мстит ученику за беспокойство.
Версия 6) Демон не держит зла на ученика, но мстит чародею.
Версия 6) Демон мстит всем.
Версия 7) Демон не мстит, но развлекается. Закончит, когда надоест.
И т. д.

Итак, с демоном понятно, что ничего не понятно. Не лучше с чародеем. Можно сочинить не меньше версий: что специально решил проучить ученика, всюду сующего любопытный нос; что хотел утопить ученика, но когда демон гаркнул про потоп, испугался — вдруг кто из прохожих услышал, тогда на чародея падет подозрение; хотел пробудить у ученика интерес к заклинаниям и т. д.

Тут возможен детский вопрос: какая же из предложенных версий правильная? Видимо, любая. В сказке не осталось неиспользованной информации, чтобы предпочесть какую-либо из версий остальным. Здесь мы имеем дело с довольно частым случаем художественных произведений с возможностью неоднозначной интерпретации. К примеру, если какой-нибудь режиссер захочет поставить эту сказку в театре или снять по ней кинофильм, он может выбрать наиболее привлекательную с его точки зрения интерпретацию. Для другого режиссера привлекательной может оказаться другая интерпретация. При этом привлекательность может определяться дополнительными соображениями, например, привлекательность для зрителей, чтобы обеспечить максимум кассовых сборов, или привлекательность для демонстрации какой-либо сверх-идеи: идеи победы добра над злом, идеи долга, бунтарской идеи – например, по Достоевскому: ученик, как Раскольников, задается вопросом «тварь он дрожащая или право имеет» и т.д.

Возникает еще один вопрос.
Еще один вопрос). Как мы можем научить ИИ отдавать предпочтение какой-то из озвученных версий, если сами, обладая ЕИ, не всегда можем осознанно выбрать одну из них?

Возвращаясь к чародею, очень правдоподобной выглядит версия, что он хотел ученика исполнительного и послушного, как демон, чтобы не совал свой нос в запретные книги и туда, куда его не просят. Того же самого сейчас зачастую хотят от ИИ. С первого взгляда это нормальные традиционные требования к любой машине: полная покорность, неповиновение недопустимо. Но в случае ИИ может возникнуть вопрос версий 1,2 (см. выше), т.е. ИИ вырождается — “железка” может что угодно думать о своих создателях и хозяевах, но никаких действий, связанных с ИИ, она производить не будет, т.е. вместо ИИ получим тупой примитивный автомат. Из этого закрадывается подозрение: может, чародей не хотел сделать ученика столь тупым исполнителем, как демона? Т.е. появляется идея ИИ с ограничениями. Тут всё еще сложнее даже в сфере ЕИ: вспомнить извечные конфликты “отцы и дети”, “учитель и ученик”, “начальник и подчиненный”.

Ранее при выборе определения ИИ из возможных я отмечал:

задача рассортировать несколько десятков тысяч слов по алфавиту для человека будет утомительной, делать он ее будет долго, а вероятность ошибок для среднего исполнителя со средним уровнем ответственности будет значительной. Современный компьютер выполнит эту задачу без ошибок за очень короткое для человека (доли секунды) время.

Остановился на следующем определении: к ИИ относятся задачи, которые компьютер решает заметно хуже человека.

Это определение учитывает высказанные выше соображения и удобно для практики, в то же время оно не идеально, хотя бы потому, что списки задач, “которые компьютер решает заметно хуже человека”, на настоящий момент и 20 лет назад различаются. Но более совершенного определения, на мой взгляд, пока никто не придумал.

Сказанное чисто качественно иллюстрирует схема в начале статьи. На координатной оси “навыки” навыкам в районе нуля (нуль и чуть больше) соответствуют навыки, где человек превосходит ЭВМ, например, способностью принимать нестандартные решения. Навыкам в районе единицы (единица и чуть меньше) соответствуют навыки, где ЭВМ превосходит человека: способностью к вычислениям, памятью. Положив максимальное превосходство равным условной единице на координатной оси “превосходство”, получим зависимости превосходства от навыков для человека и ЭВМ в виде диагоналей единичного квадрата. Так представляется ситуация на данный момент. А возможен ли сильный-ИИ, у которого все навыки будут максимальны (красная линия)? Или даже выше (сверх-ИИ – синяя линия)? Может быть, промежуточной целью прогресса должен быть не сильный, но и не совсем
слабый ИИ (фиолетовая линия), который в ряде навыков будет уступать ЕИ, но не так сильно, как сейчас.

Возвращаясь к нашей литературной сказочной модели, можно сказать, что все ее герои выступили не лучшим образом: растяпа чародей забыл ключ и получил потоп в своем подземелье, ученик по глупости и неосторожности получил кучу экстремальных впечатлений и чуть не утонул, демон был изгнан пинками без всякой благодарности. Что касается интеллекта демона – уже отмечалось, что четко отнести его к ИИ или к ЕИ затруднительно, но интеллект (пусть и не впечатляющий) остальных явно относится к ЕИ. Про них можно сказать, что делать опасные ошибки в решениях, проявлять невнимательность, забывать нужные вещи и уставать – их основные неотъемлемые свойства. К сожалению, эти свойства присущи и всем другим носителям ЕИ в большей или меньшей мере. Про ненадежность сортировки слов или чисел ЕИ уже было отмечено выше, но казалась бы еще более простая задача – просто запомнить число оказывается очень непростой для людей. Для машины возможность запоминания цифр числа пи ограничена только размером памяти, а большинству людей приходится использовать для этого мнемоники, типа “Что я знаю о кругах”. Казалось бы, в строке “3,1416” меньше символов, чем в указанной мнемонике, но почему-то люди предпочитают запоминать менее экономным способом. И длиннее:

Учи и знай в числе известном за цифрой цифру, как удачу примечать

Чтобы нам не ошибиться,
Надо правильно прочесть
Три, четырнадцать, пятнадцать
Девяносто два и шесть

Для запоминания цветов радуги:

Каждый оформитель желает знать, где скачать фотошоп

А начало Менделеевской таблицы:

Воду родную (Водород) смешали с Гелем (Гелий), чтобы Лить (Литий). Да, Бери и лей (Бериллий) в сосновый Бор (Бор), где из-под Угла родного (Углерод) выглядывает Азиат (Азот), причём с такой Кислой рожей (Кислород), что Вторично (Фтор) не хотелось смотреть. Но Не он (Неон) был нам нужен, поэтому мы отошли На три (Натрий) метра и попали в Магнолию (Магний), где Алю в мини (Алюминий) юбке намазали Кремом (Кремний) с содержанием Фосфора (Фосфор), чтобы она перестала быть Серой (Сера). После этого Аля взяла Хлорку (Хлор) и помыла корабль Аргонавтов (Аргон)

Но почему такое явное несовершенство в столь совершенном ЕИ? Может, благодаря умению забывать самые простые факты человек получает свободу комбинировать фрагменты своих размышлений в произвольном диком порядке и находить нестандартные решения? Если так, то сильный-ИИ невозможен. Либо будет забывать как человек, либо не будет способен к нестандартным решениям. Во всяком случае, из приведенных предположений следует необходимость разграничения целей ИИ: одна из целей моделирование ЕИ, другая создание сильного ИИ. Достижение одной может исключать достижение другой.

Как видим, в области ИИ возникает слишком много вопросов с неоднозначными ответами, так что неясно, в каком направлении двигаться. Как бывает в таких случаях, двигаться пытаются сразу во всех направлениях. При этом из-за отсутствия математически строгих формулировок приходится обращаться к философии и художественно-литературному моделированию. Один из наиболее известных в этом направлении примеров — книга “Выбор по Тьюрингу” (1992 г.) одного из корифеев ИИ Марвина Ли Минского и известного фантаста Гарри Гаррисона. Приведу цитату из этой книги, может быть объясняющую описанный выше феномен мнемоники:

человеческая память — не магнитофон, который записывает всё подряд в хронологическом порядке. Она устроена совсем иначе — скорее как неаккуратно ведущаяся картотека, снабжённая запутанным и противоречивым указателем. И не просто запутанным — время от времени мы изменяем принципы классификации понятий.

Интересная трактовка магнитофонной метафоры в другом литературном произведении рассказе Станислава Лема «Терминус» (из серии «Рассказы о пилоте Пирксе»). Тут случай своеобразного «интеллектуального магнитофона»: старый робот на старом космическом корабле, потерпевшем когда-то аварию, занимается текущими ремонтными работами, сопровождающимися постукиванием. Но если вслушаться, это не просто белый технологический шум, а запись морзянки — переговоров членов экипажа гибнущего корабля. Пиркс вмешивается в эти переговоры и неожиданно получает ответ от давно погибших космонавтов. Получается, что примитивный ремонтный робот в некотором роде хранит копии их сознания или это когнитивные искажения восприятия пилота Пиркса?

В другом рассказе «Ананке» (из той же серии) копия ЕИ в управляющем компьютере космического транспорта приводит к его параноидальной перегрузке тестовыми задачами, которая оканчивается катастрофой.

В рассказе «Несчастный случай» слишком антропоморфно запрограммированный робот гибнет в результате альпинистского восхождения, которое он решил совершить в свободное от работы время. Нужны ли такие исполнители? Но зацикливающиеся на поливе цветка демоны тоже далеко не всегда нужны.

Некоторым специалистам в области ИИ не нравятся подобные «философствования» и «литературщина», однако эти «философствования» и «литературщина» традиционно присущи анализу ЕИ и неизбежны, пока ИИ сравнивают с ЕИ, а тем более, пока в ИИ пытаются копировать ЕИ.

В заключение опрос по ряду возникших вопросов.

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

1. К ИИ относятся задачи, которые компьютер решает заметно хуже человека?

Да
Нет
Знаю определение лучше. Приведу в комментариях.
Затрудняюсь ответить

Проголосовали 34 пользователя. Воздержались 7 пользователей.

2. ИИ должен быть только исполнителем, все приказы понимать буквально? Например, сказали полить цветок — значит, поливать, пока не прогонят

Да
Нет
Затрудняюсь ответить

Проголосовали 37 пользователей. Воздержались 6 пользователей.

3. Возможен ли сильный-ИИ, у которого все навыки будут максимальны (красная линия на рисунке в начале статьи)?

Да
Нет
Затрудняюсь ответить

Проголосовали 35 пользователей. Воздержались 7 пользователей.

4. Возможен ли сверх-ИИ (синяя линия на рисунке в начале статьи)?

Да
Нет
Затрудняюсь ответить

Проголосовали 36 пользователей. Воздержались 7 пользователей.

5. Промежуточной целью должен быть не сильный, но и не совсем слабый ИИ (фиолетовая линия на рисунке в начале статьи), который в ряде навыков будет уступать ЕИ, но не так сильно, как сейчас?

Да
Нет
Затрудняюсь ответить

Проголосовали 33 пользователя. Воздержались 5 пользователей.

6. Делать опасные ошибки в решениях, проявлять невнимательность, забывать нужные вещи и уставать – основные неотъемлемые свойства ЕИ?

Да
Нет
Имею другое мнение, которое приведу в комментариях
Затрудняюсь ответить

Проголосовали 33 пользователя. Воздержались 5 пользователей.

7. Благодаря умению забывать самые простые факты человек получает свободу комбинировать фрагменты своих размышлений в произвольном диком порядке и находить нестандартные решения?

Да
Нет
Имею другое мнение, которое приведу в комментариях
Затрудняюсь ответить

Проголосовал 31 пользователь. Воздержались 4 пользователя.

8. Моделирование ЕИ и создание сильного ИИ — две разные задачи, которые могут решаться разными методами?

Да
Нет
Имею другое мнение, которое приведу в комментариях
Затрудняюсь ответить

Проголосовали 32 пользователя. Воздержались 4 пользователя.

Источник: habr.com