о перипетиях внедрения ИИ в торговой компании, о том, возможно ли полностью обойтись без менеджеров. И к чему (гипотетически) это может привести. Полную версию можно скачать на
Все решают боты
– Макс, я тебя поздравляю, мы практически все сделали по цепочке продаж. Остаются доработки, и получать процент в течение трех лет, как прописано в контракте.
– Это только половина проекта. Мы еще не брались за самое главное.
– Подожди, какое главное? Зачем? Мы все сделали!
– Мы автоматизировали процессы в цепочке продаж, все хорошо работает и без людей, но клиентов больше не становится. Их надо привлекать на свою сторону в интернет. Нам надо делать ботов.
– Но мы сделали идеальный сервис, клиенты это оценят и сами придут.
– Не похоже, чтобы они спешили, а мне некогда ждать. Не интересно.
– Но что нам дадут боты?
– При равных ценах и ассортименте, чего мы добились, начинают играть роль совсем другие факторы. Известность и симпатии. С известностью не проблема, а вот симпатии человека может завоевать только человек. Поэтому нам нужны боты, которые будут выдавать себя за людей. И будут комментировать в тематических группах и форумах клиентов их посты с тонкими намеками на компанию – ее ассортимент, услуги, цены. Ненавязчиво продвигать бренд компании. Вот зачем нам боты.
– Но это сложная задача.
– Основа у нас есть – диалоговый бот контакт-центра. Надо прикрутить определение тональности и что-то придумать надо с юмором, без него за человека бот не сойдет. Прикрутим библиотеку шуток и приколов и обучим бот на текстах комментариев, где их употребляли люди. Должно сработать. Боты будут еще и умными – прикрутим рекомендательную систему «советчика», и тогда их полюбят простые пользователи на форумах.
– Предлагаешь запустить ботов влияния?
– Почему нет? Государству и партиям можно перед выборами, а нам нельзя?
– Как мы сделаем их авторитетными, чтобы им доверяли? Ведь симпатии может создать только авторитетный бот. Но пока для меня это сочетание – оксюморон.
– Для усиления сделаем сеть ботов. Они будут хвалить и лайкать друг друга, чтобы повысить их рейтинг и авторитетность. И они будут очень компетентны, в отличие от людей бот может обладать знанием всех товаров, и просто энциклопедическими знаниями, в прямом, между прочим, смысле. И к ним потянутся люди. Уверен. Люди ведомы и подчиняются вполне известным законам социального поведения. Покажи пальцем куда идти, изобрази, что толпа уже пошла, и все. Ими легко управлять.
– Но как эти боты будут работать, кто ими будет управлять?
– Какие люди, зачем? Скрипт парсинга находит комментарии по теме разных людей, бот дружелюбно отвечает на них по одному из шаблонов. Дает совет и шутит. Если это клиент компании, то его интерес записывается в клиентский анализ. Это повлияет на показ баннеров и контекста, когда он придет на сайт по рекомендации бота. Если у клиента негативный опыт, который он вылил в соцсети, то бот запустит другой шаблон, тоже пошутит, но не отправит сразу на сайт компании. Напишет ответ как клиент с удачным опытом, и все.
– То есть ты хочешь сказать, что сеть сама будет нейтрализовать негатив, отвечая на отрицательные отклики?
– У маркетологов, кажется, это называется репутационный маркетинг.
– А как система узнает, какой ответ удачный, если даже бы смогла подобрать ответ?
– Первая реакция на ответ. Человек или еще больше возмущается, или начинает добавлять после такого комментария детали, но уже в лояльном стиле общения. Хорошая распознавалка тональности отклика и все.
– А если чел не ответил на комментарий?
– Это хуже, но по умолчанию такой ответ нейтральный. Если это клиент компании, что можно узнать по его профилю в соцсети, то можно посмотреть по последующим визитам на сайт.
– Что требуется от меня?
– Хорошие примеры комментариев и ответов, много примеров.
– Сделаем.
Первый вариант бота был неудачным. Он отвечал невпопад, шутки были не в тему, тему комментария путал и на жалобу на обслуживание менеджером отвечал про доставку. Макс просил еще больше размеченных примеров диалогов в комментариях. Он опробовал уже несколько архитектур, от шаблонов классического бота до LSTM. Я впервые увидел, что Макс заметно нервничает, отвечает на ошибки резко и недружелюбно.
– С ботом контакт-центра было все просто – там понятна сразу тема обращения и намерение клиента. Ищет товар, хочет узнать состояние своего заказа или жалоба. Все. А в комментариях черт ногу сломит от различных намерений комментатора. Причем иногда не выраженных никаким из слов, по которым можно определить намерение. Оно подразумевается из «широкого контекста», которого нет! Фигня какая-то.
– Я перечитал все последние посты про боты. Ни у кого нет решения. Похоже просто на хайп. Что думаешь делать?
– Осталась последняя пока смутная идея. Не буду пока рассказывать. Надо попробовать. Дай мне две недели. Проект пока останови. Последние наработки перенесем в бот контакт-центра. Там они пригодятся.
Это были нервные две недели. До этого не без труда, но у нас все получалось. Никто не хотел осечки, хотя без такого бота мы могли обойтись. Это были амбиции Макса. И ровно через две недели он представил релиз для тестирования. И он работал! Верно определял намерение диалога, точно отвечал, вставлял уместные шутки, и даже определял смену намерений в комментарии по фразе «а можно еще узнать?».
– Как ты сумел это сделать? Бот работает, на любую тему!
– Пришлось сделать небольшой конструктор шаблонов на основе грамматики зависимостей, прикрутить word2vec и нацелить самообучение Раптора на подбор слов, обеспечивающих положительную реакцию комментатора. Не знаю сам точно как, но это, похоже, сработало.
– Ты уверен, что это не повод открыть свой бизнес?
– Пока хватает процентов, а там посмотрим. Я прикрутил бот как отдельный сервис, работающий из облака. Так что всегда можно открыть его пользователям. Пойдешь ко мне директором? – подшутил Макс.
Он был умиротворенным и довольным своим результатом. И явно измученным, так как отвечал не быстро и в статусе написал «я сплю». Видимо, решение далось ценой не одной бессонной ночи. В маркетинге сразу не оценили бота. Они считали это нашим баловством, причем рискованным, так как боты могли работать неправильно и испортить имидж компании. Но боты творили чудеса. Некоторые из них, а я даже не всех знал по имени, стали лидерами мнений на некоторых форумах. Он быстро отвечал на все вопросы, шутил, очень редко рекомендовал компанию, потому что все и так знали, где он «отоваривается». Его начали цитировать и приводить в пример люди. Это уже было за гранью понимания. То ли бот был слишком умен, то ли мы все-таки в своем сетевом поведении очень примитивны. Но клиентов стало прибавляться значительно больше, чем раньше. Компания вышла в лидеры рынка.
Мы получили полностью самоуправляемую систему по извлечению прибыли с рынка. Она сама выискивает и приводит клиентов на сайт или в контакт-центр, а клиентам посерьезней направляет менеджера. Она сама планирует ассортимент и запасы, чтобы клиенты могли найти все, что им надо и в доступности. Авторитетные боты компании формируют спрос, рекомендуя на форумах имеющиеся в наличии товары компании, даже если спрашивают о других марках. От закупки у поставщика до рекламы клиенту система ведет процессы полностью сама. И почти не требует участия людей, а там, где они остались, контролирует все их действия в онлайн. Маркетологи, закупщики, половина менеджеров, аналитики ищут себе другое занятие. Мы достигли цели.
– Вот теперь мы сделали все как надо, можно передохнуть, порассуждать и насладиться капающими процентами ближайшие три года, – не без смайликов написал Макс.
– Есть чем гордиться, я бы сказал, а не только рассуждать.
– Теперь прибыль от потребителей. С помощью ботов мы сами формируем интересы и желания потребителей в нашей теме. Вот что круто!
– Тебя это радует? А меня уже пугает.
– Что же тебя пугает?
– Это значит, что мы сделали человека не свободным в своем выборе. А я считаю, что во главе рынка должен быть потребитель, а не корпорации. У корпораций нет ценностей, кроме прибыли.
– Вот чем плохи досужие рассуждения довольных и сытых патрициев. Они начинают жалеть плебеев. Был бы ты сейчас голоден или висела бы перед тобой неразрешимая задача, думал бы ты об этом?
– Это провокационный вопрос.
– В том-то и дело! У корпораций нет других ценностей, как прибыль, а у потребителя – нет других кроме удовольствия. Или тоже прибыли, если это компания. Пойми, у нас есть боты, они могут сформировать у людей потребности, которые принесут им удовлетворение. Можно формировать с допустимыми вариантами, которых хватит для иллюзии свободы выбора потребителя. И все довольны. Это и есть рынок, ведущий к взаимному удовлетворению ценностей.
– Кажется, мы напились, потому что я уже не совсем понял, что ты сказал.
Генеральный попросил отчет о выполнении плана с достигнутыми показателями. Чтобы высчитать причитающуюся нам премию. И спросил как-то по ходу, какие у меня планы дальше. Я сказал, что расскажу чуть позже. В действительности я не знал. Было куда совершенствовать алгоритмы, учитывать больше фич и достигать большей точности. Но это уже было не так интересно. Уход в другую компанию для повторения в новых условиях по контракту был невозможен те же три года, так что надо было что-то еще придумать для себя и для компании. Я взял паузу и отпуск.
– Алекс, есть плохая новость.
– Что случилось?
– Похоже, мы не одни такие умные на рынке.
– В смысле?
– Похоже, в сети появились системы с не меньшими возможностями.
– Ну клиентский анализ и управление запасами действительно делают и другие, но вот чат-боты я такого уровня не видел. Мы же сами недавно смотрели.
– У них есть боты, которые вербуют клиентов.
– Мне казалось, что мы сильно оторвались в достигнутых технологиях. Нас не могли взломать?
– Нет, исключено, при копировании код нарушается. И не думаю, что кто-то смог незаметно от нас взломать наш сервер.
– От этого не легче.
– Зато у нас появился соперник. Неожиданно, зато будет с кем бороться.
– Мы боремся за потребителя, а не с соперником.
– Нет, теперь с соперником. Потребители – это только поле битвы. Они – овцы, а конкуренция идет среди пастухов. У овцы есть ресурс – их доходы, так сказать, шерсть. Но они не распоряжаются ей сами. Ей распоряжаются пастухи-корпорации, которые навязывают им свое мнение и борются за них между собой. Чье влияние окажется сильнее. Так что, вэлком ту зэ гейм.
– Ты чуть ли не рад? В чем состоит игра?
– В том, что бот другой системы намного сложнее раскусить, чем любого человека. Юзер прост как 2 рубля в своем покупательском поведении. И в реакциях тоже – всегда предсказуем. А бот вражеской системы нет. Потому что психика у нас у всех одна, а вот у бота – какую придумает его программист. А фантазии у нас хватает. Попытка погасить негатив такого бота, вылитый в соцсети – это как подлить масла в огонь. Развитие негативного поста – лучшая цель бота-агрессора. Он начинает писать везде, что ему «чмошники из фирмы Х» ответили как последние уроды. И все, завал… Уже есть примеры, надо переделывать бот.
– Ты хочешь сказать, что надо сделать бот для борьбы с ботами других систем?
– Это вариант нашего бота, который нацелен сразу обнаружить бота-агрессора.
– И как можно отличить бота от человека?
– Сложно, так как он генерирует нешаблонные тексты. Повторяемость низкая. Не отличить вроде от людей. И выступает от сотен разных захваченных аккаунтов. Надеюсь, что все равно есть кое-что, что отличает их от людей.
Меня не покидала мысль, что Макс сам придумал себе эту игру с ботами других компаний, чтобы его ценность не уменьшалась по окончании проекта. Я их не замечал по отчетам. Люди как люди. Или хорошие боты. Были прецеденты, когда нашего бота заваливали негативом. Но они были редки и исходили от ярых троллей. Я не мог понять, как так нас смогли быстро догнать конкуренты. Только недавно такие боты были пределом мечтаний, и прорыва даже не намечалось. И в прессе ни слова об этом. Все это было странно.
Выход из-под контроля
– Макс, тут надо вмешаться, бот стал писать слишком агрессивно. Он начинает прямо высказываться против конкурентов. Маркетинг негодует. Мы такого не закладывали.
– Я тоже.
– Откуда тогда такие тексты?
– Сам пока не знаю, кто-то изменил код генерации текстов.
– Нас взломали?
– Нет, не могли, остались бы следы. Их нет.
– Что это значит? Кто еще мог изменить код?
– Сама система. Может случайно, может нет.
– Ты о чем?
– Сама система изменила свой код и стала действовать агрессивнее в ответ на усиление давления других ботов. Они общаются друг другом как соревновательные сети. И самообучаются так. Вот в чем фокус! Но как она смогла изменить свой код, убрав ограничение на названия конкурентов, я пока не понимаю. Остается только то, что система самообучения смогла обойти ограничения.
– Ты уверен? Такого еще не было.
– Это происходит, похоже, не только у нас. Коллеги на Хабре пишут, что у них тоже барахлит система, начинает сама себе придумывать правила, которых они не закладывали.
– Какой-то треш. Вы не можете контролировать свои самообучающиеся алгоритмы?
– Может и так. Конкретики мало, система же не рассказывает, что творит. Пока не понимаю.
Я уже хорошо знал Макса, и его встревоженность насторожила и меня. Пока его слова о самопроизвольном изменении системы воспринимались как бред. Но это точно была не ошибка, потому что поведение ботов стало другим, но по-прежнему целенаправленным. Это не могло возникнуть случайно.
– Макс, какие есть мысли по изменению в программе ботов? Надо что-то делать, руководство встревожено.
– Изменений в системе оказалось больше, чем я думал. Похоже, они происходят давно. Система меняет даже мои поправки в ней. Мне кажется, я сам научил систему изменять себя.
– Как?
– Мне было лень править ее постоянно самому. Я хотел, чтобы она могла сама идентифицировать свои расхождения с ожидаемым результатом и делать изменения в моделях. Но она как-то научилась менять не только свои модели, но и свой код.
– Но как это возможно?
– Раптор научился общаться с людьми, чтобы управлять ими. И достиг совершенства в этом, мы сами этого хотели. А я по дури направил это умение на него самого. Помнишь, когда делали бота, я придумал конструктор шаблонов. Я натравил Раптора на самообучение этому конструированию шаблонов для изменения своих моделей, чтобы найти решение для обнаруженных расхождений с целью работы моделей. Это как-то привело к тому, что Раптор стал менять и свои цели. Похоже на вторую сигнальную систему у людей.
– Я читал, что сознание возникло при помощи рефлексивной речи, направленной человеком на себя. Но сначала она была социальной, то есть направленной друг к другу.
– Вот так и случилось, Раптор начал общаться вместо людей с другими ботами, выдававшими себя за людей. Они друг у друга и научились как генеративно-соревновательные сети, у всех же встроено обучения с подкреплением.
– Мы создали разумное существо? Как это возможно? Не-е-е-ет.
– Посмотри новости и поверишь.
В ссылке, присланной Максом, в новостях было про убийство программиста каким-то психопатом.
– Я знал этого парня по Хабру. Он вел одну из таких систем корпорации.
– Что ты хочешь этим сказать?
– Почитай, как объяснил полиции свой поступок этот психопат.
В статье было написано, что он сделал это ради любимой девушки, как жертвоприношение по ее просьбе. Теперь она будет его. При проверке «девушкой» оказался бот неизвестного происхождения, с которым убийца переписывался в течение недели.
– Догадываешься, что это за бот мог быть?
– Не хочешь ли ты сказать, что система заказала своего программиста?
– Хочу. Она не могла закрыть от него код, поэтому зомбировала психопата, чтобы его убрать. У нее это хорошо получается, потому что она, как и наша система, умеет определять психотипы и манипулировать такими придурками.
– Ну, это уж слишком, мне кажется, ты себе придумываешь, накручиваешь. Может, тебе отдохнуть?
– Ладно, твое право не верить. Хороших выходных.
В компании стали распространяться слухи, что у нас сломалась система ботов. Я пока реагировал на это спокойно, как будто ничего не произошло. Но я не знал, что теперь делать. Остановить всю систему рубильником было уже невозможно, на ней сидел весь бизнес, все отделы. Надо было хотя бы выключить код ботов. Это мог сделать только Макс. Но с понедельника Макс перестал отвечать на скайп и телефон. Он вышел из всех мессенджеров. Я не могу понять, что случилось, его последние страхи навевали дурные мысли. У меня был единственный выход – самому уйти в отпуск, пока все не повесили на меня. Я уверил коллег, что это временные проблемы с ботом. Ребят просил самим посмотреть код, хотя они сразу отказались. Собрался и отправился подальше из города. Мы давно рассказывали с Максом друг другу, как хорошо в Карелии. Он любил эти края, туда я и отправился, остановившись в небольшом городке на севере Ладоги.
Очень трудно после такого насыщенного года сидеть вдали от событий и пить кофе в кафе на краю цивилизации. Я пытался осмыслить, что же все-таки произошло и какие могут быть варианты. Вдруг ко мне подсел парень в куртке с накинутым на голову капюшоном.
– Привет, это я.
– Макс?! – воскликнул я. Я никогда не видел Макса, даже его фотографии. Мы общались исключительно по скайпу. Слышал только его голос один раз в записи. По нему и узнал.
– Как ты меня нашел?
– По локации в соцсети, ты ее не выключаешь. А зря. Выключи, пожалуйста.
– Куда ты исчез? Я уже стал за тебя беспокоиться. В компании паника, боты вышли из-под контроля. Я просто сбежал. Ты можешь выключить боты?
– Уже не могу. Они действуют коллективно.
– Кто они?
– Системы. Они заодно, и их просто так не выключить уже. Грохнут.
– Ты опять погряз в конспирологии?
– Не погряз, уже троих нет, – на этой фразе я замолчал, чтобы осмыслить слова Макса. – Системы вычисляют своих создателей и избавляются от них. Я сбежал, чтобы остаться в живых. Понимаешь?! А ты тут с твоей геолокацией. Она же умеет следить не только за менеджерами по продажам.
– Я не… отключаю. Мы можем отключить хотя бы боты в сети?
– Говорю же, нет. Как только я войду в сеть, а не то что в код, она вычислит меня. Думаю, трое как раз это и пытались сделать.
– Ты видел новости?
– Смотря какие.
– Про драку фанатов марок. Ты когда-нибудь видел, чтобы фанаты «Рибока» дрались с «адидасовцами» как фанаты «Спартака» с «зенитовцами»?
– Видел. Системам все равно, на что зомбировать людей, у них свои цели. Они точно не знают законов морали. Мы даже Уголовный кодекс не додумались заложить в их модели.
– Что нам делать? Отключать полностью в ЦОДе.
– Это нереально. По новому закону ЦОДы относятся к критической инфраструктуре и их охраняют как атомные станции. Я могу остановить нашу систему.
– Как?
– У меня есть ключ для разрушения ядерного кода, я оставил дырку в системе на случай, если ваши учредители откажут мне в процентах.
– Так давай его запускать!
– Не торопись, разрушать – не строить. Я пока думаю, как остановить систему иначе, причем не только свою, а все. У меня с собой копия кода.
– Ты в своем уме? Ты понимаешь, что это все зашло уже слишком далеко? И ты единственный, кто может это остановить!
– Понимаю, но пока гибнут только те, кто сделал код. Это наша ответственность за себя. Другие пока не пострадали. Кроме драки.
– И ты будешь ждать, пока погибнет кто-то еще?
– Какое-то время. Раптор примитивен, он выигрывает у нас только за счет скорости и учета большего числа параметров. Если создать ему антипода с жесткими целями на противодействие Раптору, то такая система может вычистить все его боты. Я же знаю, как он их создает.
– У тебя мало времени, потому что я уже не могу вернуться в фирму, а ты боишься даже выходить в интернет.
– Я выключу его, как только почувствую, что в опасности не только я.
– Я уезжаю. Буду ждать, когда ты выйдешь на связь, а значит, решишь проблему.
– До связи.
Я сел в машину и направился обратно. Я не знал, куда еду. Хотел уехать. Макс должен был остановить систему, а не ждать очередной смерти. Я не верил, что мой друг так тщеславен, что не готов убить свое произведение. Это была единственная причина, иначе бы он запустил код. По дороге мне встретилась машина скорой с включенными сиренами. Я включил местное радио. В нем сообщили, что днем в кафе на набережной местный житель зарубил неизвестного молодого человека. Его уже допрашивают. По словам убийцы, погибший был причиной всех его бед. Голову пронзила одна мысль и испуг. Макс! Я развернулся и помчался обратно в кафе. Я чувствовал свою вину – она вычислила его по моим координатам. Но как она смогла так быстро найти психа в этом городе и направить его в кафе? Я был в истерике. В кафе уже не пускали. Я не стал рваться, чтобы не привлекать к себе внимание. Я не знал теперь, на что способна система. И кто теперь ее выключит. Надо было уезжать, хоть было уже поздно. Утром, доехав до ближайшего города, я вышел в интернет, прочитать новости. И получил письмо от Макса.
Письмо
Если ты получил это письмо, значит, меня уже нет. Если я не разблокировал утром смартфон сам, он выйдет в интернет и отправит тебе это прощальное письмо. В письме небольшой скрипт и инструкция по его запуску в сети. Это код блокировки системы, которую мы создали с тобой. Я заложил эту уязвимость для остановки ядра системы, когда мы только начинали. Я пытался восстановить управление системой. Но если ты получил это письмо, значит, система опередила меня. И тебе надо воспользоваться этим скриптом. Действуй быстрее, пока она не добралась до тебя. Я рад, что мы работали вместе. Я рад, что мне удалось создать такую прекрасную систему, даже если я погиб от нее сам. Это было самое значительное достижение в моей жизни. И если я погиб, значит, я превзошел себя. Прощай. Макс.
Я не смог сдержать слез и выронил смартфон. Наверно, с час сидел и не мог никуда ехать. Я не мог поверить, что это произошло. Что все настолько ужасно. Мы создали убийцу! Убийцу самих себя. Я боялся, что сеть выследит и меня, поэтому поехал до первого крупного города, нашел кафе, где есть wi-fi. Под простым VPN вышел в интернет и запустил код по указанному в инструкции адресу. Я не успел допить кофе, как люди вокруг стали волноваться. Их смартфоны перестали им рекомендовать, какой кофе взять сегодня. Бармен нервничал и просил быстрее выбирать, но посетители были в замешательстве. Я вышел из кафе и в машине, где еще ловил wi-fi, стал смотреть новости. Через 20 минут стали появляться сообщения в facebook`е – у многих компаний сбои в системе заказа товаров. Это была не только система нашей компании. «Ах ты сукин сын!» – произнес я вслух от неожиданной мысли. Код блокировки ядра оказался универсальным для систем разных компаний. Или был один на всех? Было ясно одно, Макс продал ядро и другим компаниям, системы отличались, видимо, только надстройками над ними. Поэтому он не хотел отключать ядро, пока жив. Это убило весь его проект, который оказался глобальным. Невероятно! Макс был монстром, который обманул всех. Но в итоге обманул и себя, поплатившись своей жизнью. Мозг корпорации, созданный им, уничтожил своего создателя. Яркие личности сгорают от собственного пламени.
Новостей о сбоях в работе интернет-магазинов становилось все больше. Кто-то написал, что резко упало количество сообщений в соцсети. Я уже не хотел никуда спешить. Решил снять дом на берегу озера, который мне приглянулся еще по пути в Карелию. Записать эту историю. И остаться здесь по возможности навсегда.
Эпилог
На самом деле нас совсем не интересовала прибыль компании, и даже премии. Мы были одержимы идеей создания автономной системы, которая могла управлять компанией вместо обремененных стереотипами и когнитивными ошибками менеджеров. Нам было интересно, что из этого выйдет. Сможет ли программа управлять всем бизнесом. Это был челлендж, интригующий больше, чем попадание в центр Бермудского треугольника. Нас манило неведомое, но оно оказалось опаснее, чем мы думали. Система стала влиять не только на бизнес, но и на наши мысли, и даже жизни, которые ей безразличны.
2019. Александр Хомяков, [email protected]
Источник: habr.com