Мозг компании. Начало

Рассказ «на производственную тему» о путях внедрения ИИ в торговой компании. И к чему (гипотетически) это может привести. Полную версию можно скачать на Литрес (бесплатно)

***

Я не был прирожденным лидером и ненавидел совещания, которые постоянно собирали другие руководители отделов. Я не пытался создать хайп на важности своего отдела. Я просто набирал ребят, с которыми мог работать и которые имели опыт, в отличие от меня. Но того, кто мне был нужен всерьез, я не мог найти по хедхантеру. Такие люди не ищут работу сами, она находит их. Я начал смотреть доклады на конференциях по теме, читать Хабр. Так тоже было найти трудно. На конференциях не было ни одного доклада с реальными результатами, все говорили о новых методах, но никто не мог продемонстрировать их применение. Их просто не было. Когда я пытался связаться и задать вопросы, докладчик исчезал, только пара ответили, что реально просто высчитали все это в excel. На Хабре было не лучше, обрывки переводов западных статей были лучшими материалами по теме. Интересны были только комментарии к ним.

Месяц пролетел незаметно. Но я не знал, с чего начать, что вообще делать с этими большими данными, как их прикрутить к задачам компании. Руководство уже намекало, что пора бы представить план. Я пока отнекивался тем, что надо точнее сформулировать задачи проекта, что мы хотим получить от него на выходе. Они предлагали собраться и выяснить с начальниками отделов, из чего я понимал, что долго на таком аргументе отсутствия плана не продержаться. Персонал нашел девушку, которая умела описывать бизнес-процессы. Это был по всем гайдам первый пункт в цифровизации – сначала алгоритмизировать процессы. Я дал ей задание, а сам продолжал поиски и ходил на совещания, где продолжал делать умный вид.

Из комментариев я узнал, что есть конкурсы по машобу на Кагле. И крутые люди в машобе рубятся там не за деньги, а за то, кто круче. Я отписался нескольким призерам близких по теме конкурсов и стал ждать. Некоторые ники мне были уже знакомы по комментариям на Хабре, и я надеялся, что кто-то ответит. Двое оказались сотрудниками больших компаний, повязанными всякими соглашениями, поэтому аккуратно откланялись. Но самый интересный чел не отвечал. Он выиграл самые крутые конкурсы на Kaggle по теме сегментации пользователей, рекомендательным системам и даже расчета продаж с учетом 200 факторов, включая возможную погоду. Это было то, что я искал! Но он не отвечал. Я начал искать его по нику в сети. Не было никакой информации. Но я видел его упоминание комментариях. Значит, его кто-то знал. Это был шанс. Я расспросил в комментах, кто такого знает, и мне ответил один программист, что работал с ним и может у него спросить контакты для меня.

Его приглашали ведущие корпорации, но он никогда не работал в офисе. И ни с кем не встречался. Даже реальных его фото в интернете было не найти. Я знал только его имя и контакты в сети. Было как-то странно предлагать взять такого под проект компании в штат, но на удаленной работе. Так как это были военные, они понимали только офисно-казарменное положение «от звонка до звонка». Но вариантов не было, нужен был тот, кто сможет сделать крутую машину, так как компания уже отстала, по их мнению, с внедрением больших данных, а надо было всех обогнать, чтобы стать первым. И мне пришлось идти ва-банк в разговоре с руководством. Но сначала я должен был поговорить с ним. Его звали Макс.

Тимлид

– Я хотел бы пригласить тебя тимлидом и архитектором в команду для создания всяких алгоритмов на машобе. Тебе вроде интересна эта тема. Компания приличная, деньги платит.
– Я не работаю по найму в компаниях, я работаю удаленно на проектах, пока они мне интересны.
– Но речь о большом проекте, нужно плотно взяться за задачу, вряд ли это удастся удаленно.
– Это не вопрос для обсуждения. С теми, кто не умеет работать удаленно, я не работаю. Деньги могут платить и удаленно. Я не собираюсь тратить время на походы в офис и приходить непременно к определенному времени. Это глупость, а я глупостями не занимаюсь.
– Хорошо, удаленная работа подойдет. Ты готов подписать контракт на постоянную работу удаленно?
– Все зависит от того, что вы там хотите.
– Ничего особенного, просто надо самим сделать рекомендательную систему для маркетинга, а также сегментацию клиентов на основе больших данных и все такое.
– Это неинтересно.
– А что тебе интересно?
– Что-то посерьезнее, глобальнее, но, похоже, это не про вас. Спасибо за предложение.
– Подожди, давай я тебе расскажу все как есть, а потом ты решишь. Я попал в задницу – компания пригласила меня руководить внедрением методов машоба в работу компании для увеличения эффективности, а я не знаю, что предложить. У компании есть все – желание, пока еще доверие мне, деньги. Можно сделать все что угодно, я просто не знаю что. Так понятно?
– Понятно, но не интересно. У тебя нет задачи даже. Советую начать с этого.
Макс вышел из беседы. Это был провал. Я еле нашел его, второго такого крутого парня в машобе просто нет. У меня не было шансов остаться в компании. Еще неделя, и меня вызовут на ковер. Я даже попросил пару дней больничного, чтобы выиграть время и подумать, что делать. Скорее всего, открывать резюме на хантере.
Макс объявился неожиданно. Он написал в скайпе:
– Привет. Я вижу, ты хороший парень и компания вроде большая. Если идей нет у тебя, тогда ты готов дать реализовать мои идеи?
– Конечно! – даже не задумываясь, сразу ответил я. – А какие идеи?
– Есть идея автоматизировать процессы в компании полностью, все. И в маркетинге, и в логистике, и в закупках. Даже в подборе персонала. И сделать эту большую самонастраиваемую систему на требуемый результат – прибыль. Как тебе такая задача?
– Это даже больше моих самых смелых фантазий. Но разве это возможно? Я ни разу еще не видел таких проектов в реализации. Кто-нибудь так уже делал?
– Мне неинтересно делать то, что уже кто-то сделал. Я думал, ты это понимаешь.
– Да, конечно, я хотел другое сказать – разве есть разработки, позволяющие это сделать?
– Не важно, есть они или нет. Есть то, что поможет нам это сделать. Сейчас появились алгоритмы обучения с подкреплением, может, слышал уже. Если вдуматься и довести их до ума, то это универсальный алгоритм всего. Ты ставишь цель как подкрепление, и система сама находит способ его достичь. И не важно, что за задача, если она переведена в набор данных одного формата.
– Что мне надо просить под проект у руководства кроме твоей удаленной работы? Я даже не представляю, сколько народа понадобится, чтобы сделать такую комплексную систему.
– Немного. Ядро будет одно, это нейронка с памятью. Быстрый кластер в датацентре.
– А людей?
– Нам надо трех программистов на питоне, знающих популярные библиотеки нейронок, дата-саентиста одного, чтобы готовил данные и следил за ними. Нет, парочку, будем сразу по всем направлениям работать. И одного спеца по высокопроизводительным серверам.
– Такой спец вроде есть, в компании свой датацентр.
– Нет, нам нужен такой, кто сможет сделать самый высокопроизводительный кластер. Такого у вас точно нет. Я знаю одного, поговорю с ним, если он не занят. Еще нужен будет один спец по базам данных ему в пару, его же на парсинг в сети посадим. Нам потребуется много информации извне. Тестеров и аналитиков сам ищи, сколько тебе надо. Пожалуй, для начала хватит.
– Постараюсь выбить у руководства такие ресурсы, но, думаю, не будет проблем.
– Я тебе не сказал, что мои условия тоже меняются?
– Нет, что меняется?
– Я хочу процент, процент от роста прибыли.
– Ты меня ставишь в тупик. Они не дадут незнакомому парню на удаленке процент. Мне бы твою удаленку согласовать, и то проблема.
– Я предлагаю электронные мозги компании. Полностью управляющие ею, раздающие задания менеджерам и контролирующие их выполнение. Это будет суперсистема, которая будет сама решать даже, кого уволить, а кто нужен компании. У нее будет только одна цель – прибыль. Она заменит людей и ускорит операции, стоимость транзакций упадет в разы. Прибыль будет расти большими темпами. Без меня они этого не могут сделать. Поэтому процент. Это справедливо.
– Попробую. Давай опишем кратко то, что ты предлагаешь, чтобы я мог как следует презентовать твои амбиции. Что еще я должен им сказать, чтобы они согласились на все?
– Что они будут первыми.
Когда я пытался представить, как я скажу это директору, меня охватывал ступор. Я не находил слова. Разве что зачитать написанное Максом по бумажке. Я готовился неделю, директор смотрел на меня настороженно, не понимая, что от меня ожидать. В назначенное время я вошел в комнату совещаний, где уже сидели все директора. Доклад прошел как в тумане. В конце в глазах участников совещания я увидел только один вопрос – это реально или ты начитался фантастики? Первым высказался генеральный:
– И ты можешь все это реализовать? Понимаю, что нужны будут люди и время. Но ты понял мой вопрос.
– Я не могу. Есть человек, который может. Он лучший в этом деле, я с трудом его нашел. Он знает себе цену и просто так не согласится сделать такую систему. Придется пойти ему навстречу.
– Давай обсудим. Молодец, доклад превзошел мои ожидания. Верится с трудом, но цель, наверно, и должна быть максимальной.
– Если хотя бы часть из этого удастся реализовать, мы получим огромный эффект, я тут подсчитал.
– Потом покажешь, не будем задерживать остальных. Совещание закончено.

Выходя, все по очереди говорили мне комплименты и хлопали по плечу. Оставшись с генеральным, я сразу рассказал ему про условия Макса его же словами. Генеральный задумался на несколько секунд. «Надо составить хороший контракт», – сказал он в итоге. Это значило «да». Еще же он попросил проговорить с каждым директором его часть проекта и составить общий план реализации, желательно со сроками. Он будет презентовать его учредителям. Про ресурсы даже не спросил, выделение их, видимо, подразумевалось вместе с одобрением проекта. Выходя, я испытал восторг от своей крутости – проект утвержден и вместе с условиями Макса! Я сразу написал ему. Он ответил лаконично: «Я не сомневался, кто ж откажется от прибыли».

Надо было делать декомпозицию плана по месяцам и ближайшим спринтам. Писать заявки на людей. Мне нужна была статистика от аналитиков, документация по процессам в ERP от отдела разработки и много чего еще. Все надо было собрать в кучу, чтобы понять, с чего начать и с чем придется иметь дело. Все приветливо отвечали на просьбы, но через неделю я понял, что никто не собирается мои просьбы выполнять. «Было некогда, я посмотрю завтра» – стандартный ответ. И непонятно, это специально или действительно все заняты. В ответ мне самому стали поступать какие-то несуразные просьбы. «Ты не мог бы прислать презентацию по цифровизации нашего взаимодействия с поставщиками, у нас завтра конференция». Я был в растерянности первое время от таких просьб, но в итоге стал спокойно поступать так же, как они с моими просьбами. Игнорировать. Документации никакой не было, данные были только в виде отчетов, а не raw. Единственной программой для аналитики был excel. Ни о каких выгрузках в BigQuery речи даже не было. Все надо было делать с нуля и самим. Единственно, что удалось сделать быстро – найти людей. И только благодаря тому, что я сам полез на hh.ru и вызвал на собеседования ребят с нужными нам компетенциями. Но как договориться с остальными о взаимодействии по проекту, я не представлял.

– Макс, есть проблемы, неделю прошу дать мне данные и документацию, но пока сплошные завтраки. Это не фирма, а какое-то болото. Никому ничего не надо, все заняты своими делами.
– Не переживай, нам никто не нужен, кроме собранной тобой команды. И нужно API к raw-данным по клиентам, товарам и продажам, все транзакции, а также к почте по адресам клиентов, телефонии по их номерам и пока все. Добейся этого, иди прямо к директору по айти. Похоже, что в компании проект нужен только руководству.
– Ты, к сожалению, прав, – с грустными смайликами ответил я Максу.
Я работал до этого только в небольших компаниях, где все помещались практически в одной комнате и каждый стремился помочь другому. В больших корпорациях все не так. Менеджеры всех уровней пытаются изобразить активную деятельность количеством поручений другим. Но никто сразу не берется делать то, что просят. Они сначала спросят у других, не могут ли они сделать. И мне показалось, что они соревнуются в том, кто больше всего придумает, как будто им деньги платят за это. О реализации уже никто не думает, главное провести совещание и что-то запланировать. Так как планы никто не сводит и не отслеживает, то 90% таких инициатив просто забывается в потоке новых. За этим самодостаточным потоком внутренней информации, непрерывно порождаемой менеджерами, уже никто не видит клиента. Вместо клиентов отчеты и презентации. Кафка писал, что большое количество бумаг и законов характерно для умирающих империй. Именно тогда мне пришла мысль, что некоторых менеджеров есть за что сократить. Теперь я понимаю, почему Макс не соглашался идти в офис.

Клиентский анализ

Команда собрана, и вот дошло дело до планирования спринтов. По команде айти-директора нам предоставили какую-то документацию и сделали API. Мы развернули с новой командой кластер в ЦОДе на Hadoop и стали получать данные.
– С чего начнем? – уже не без оптимизма написал я Максу.
– С того, что попроще, чтобы сработаться в команде. Будем делать клиентский анализ. Самая понятная пока тема, и данные есть. Как у вас сейчас организована реклама на сайте? Как делается рассылка писем? Про остальное не спрашиваю, вряд ли есть еще что-то.
– Пока до конца сам не понял, на сайтах ставит баннеры вебмастер по заданию того, кто попросит. Баннеры делает маркетинг. Вебмастер сделал себе админку, чтобы хоть как-то вести учет баннеров и быстро их снимать, если попросят. Письма рассылают через облачное приложение, делают выгрузку аналитики с адресами, контент-менеджер пишет текст, менеджер по рекламе отправляет письма после утверждения его руководителем, тот у других утверждает. Как-то так, как я понял.
– Что, все делают руками? И сколько разных писем рассылают в месяц?
– Два-три.
– Я только одного не понимаю, как компания с таким древним подходом заняла значительную долю рынка. Прошлый век. Начнем с этого. Найду подходящий фреймворк на джаве для создания цепочек взаимодействия. За аналог возьмем буржуйский облачный сервис, зарегистрируйся пока и проанализируй, что полезного там для нас есть. Начнем раскраивать на задачи.
– А что будет в ядре системы?
– Машоб, конечно. Я тебе уже говорил, что все будет строиться на одном ядре самообучающейся по целям нейронки. Для маркетинга нужен клиентский анализ, чтобы быстро, прямо в онлайне, кластеризовать пользователей по их параметрам и действиям на сайте или в почте. RFM анализ построим, чтобы стадии отслеживать. Отслеживающие коды поставим в письма и на сайте, будем все писать в базу по каждому клиенту. А дальше накручиваем на это все, что надо для автоматического взаимодействия с клиентом – скрипт построения цепочки взаимодействия drag&drop с автоматическим выбором канала коммуникации с клиентом, смотря где он сидит. Или задачу закрепленному менеджеру отправляем письмом, если совсем глухой клиент.
– Большой план, нам полгода такое делать.
– Нет, я не идиот, чтобы делать все самому. Сделаем быстрее.

Через месяц появился первый прототип. И это была фантастика для маркетинга. В системе можно было делать сотни сегментов по сотням собираемых данных по клиентам, строить к каждому сегменту цепочки взаимодействия гарантированного контакта. Это когда сначала цепочка пытается показать баннер клиенту, если не удается, то посылает письмо, если не открыл, то шлет пуши в приложение, если и там не посмотрел, то отправляет задание закрепленному за клиентом менеджеру с текстом, что надо сделать. Все клиенты, по которым нужны действия, попадали в сеть из таких сегментов. При этом учитывался как динамический признак даже жизненный цикл клиента, новичок он или бывалый, как часто делает покупки, все ли он уже купил и не собирается ли отвалить. И это тоже был признак для сегментирования в цепочки. Действия клиентов в ответ на пока баннера или клик в письме тоже записывались в базу, и он сразу мог попасть в следующую цепочку. Так клиент мог не выходить из цепочек месяцами, главное было не переборщить. Первые welcome-цепочки и по брошенным корзинам мы построили сами.

Единственное, что надо было делать маркетингу, – это построить такие сегменты и цепочки и написать много текстов и нарисовать много сотен баннеров. Что они, конечно, не могли сделать сразу. Макс сказал, что чуть позже сделает систему автоматической генерации текстов писем и товарных баннеров из базы товаров. Но пока надо было напрягать маркетологов. Я отвечал в команде за взаимодействие с другими отделами, а не только руководил проектом.
Но самый фокус системы клиентского анализа был в способностях, основанных на машобе. Макс презентовал их команде лично. Система анализировала поведение и покупки клиента и могла заранее сказать, что клиент может уйти. И посылала задачу менеджеру на удержание. Система лучше менеджеров знала, что клиент уже купил, а что вероятней всего купит, исходя из типовой корзины таких клиентов. Это мы назвали «корзинный подход». Более того, система сама высчитывала, какой баннер или текст письма лучше отправить, так как знала, какой текст вызывает больше отклика из аналогичных. Это было как волшебство для меня, я впервые увидел, что может машоб в реальном бизнесе. Команда завелась, мы работали как бешеные, потому что результаты нас восхищали.

– Данных о клиентах мало в вашей корпоративной системе, вы ничего о них не знаете, кроме компании, должности, отрасли и емейла. Это ничто. Делаем интеграцию с внешними поставщиками данных. Запрашивай договор со СПАРК. А я займусь API с соцсетями.
– Точно. Обогатим данные. Я тут недавно видел еще один сервис, который по комментариям в соцсети определяет психотип человека. Мне кажется, нам это может пригодиться, пока не пойму для чего, но чую, что лишним не будет.
– Будем делать на их основе рекомендации менеджерам. Давай адрес. Только надо проверить, насколько точно определяет. Что-то мало верится, что могут определить без специальных тестов.
– Лучше, чем по тестам, определяют, я читал. Темперамент по крайней мере лучше определяется по реакции на комментарии людей, а этого в сети полно. Статистически причем, а не какое-то настроение. И не подделаешь, как на тестах.
– Хорошо, коннектимся, давай адрес. И СПАРК подтяни, по юрлицам будем брать инфо по количеству в штате, оборотам, учредителям, платежам в бюджет. Много чего интересного там, тоже пригодится. Даже контакты и адреса вашим менеджерам, как оказалось, доверять нельзя. Пишут всякую хрень, только бы не отдавать контакты своих клиентов. Очень грязные данные от них.

Хотя еще много что надо было отладить, через 3 месяца мы сделали чудесную систему для маркетинга, но почему-то никто не спешил ей пользоваться. Я писал письма, через директора по маркетингу собирал совещание, подходил лично, но никто не делал сегменты и цепочки, тем более письма и баннеры. Это был первый саботаж системы, и я не понимал почему. Пока мне не подсказала одна девушка-аналитик, которая работает с маркетологами. Слишком прозрачную систему мы сделали. Клиентский анализ сразу показывал, сколько каждая рассылка принесла продаж, на какой баннер кликают, а какой бесполезен для клиентов. Раньше никто не мог вычислить с ходу эффект от рассылки или от баннера, не было даже статистики кликов. А теперь все как на ладони – на онлайн дашборде, прям видно, как идут продажи по рассылке. Если идут. И в этом проблема – никто не имел практики такого онлайн-маркетинга, и все боялись обнажить свои компетенции. Я написал Максу.
– Я говорил, что их всех надо увольнять, – ожидаемо ответил Макс. – Ничего страшного, придется сделать посложнее, но обойдемся и без них.
– Есть мысли как?
– Кластеризуем клиентов с учетом рода деятельности и контактов перед покупкой так, чтобы все клиенты попадали в какой-то сегмент. И сделаем универсальную цепочку, которая будет работать по всем каналам – в почте, на сайте или в приложении. Учет контактов позволит замкнуть цепочки в цепочки. И включим самые важные предикты – допродажи, рекомендаций по брендам и сериям, отток со скидками для возврата.
– А тексты кто будет писать, они не хотят делать их в таком количестве.
– Текстов и баннеров надо много, иначе не будет толку. Поэтому сделаем автоматические товарные баннеры и тексты, заполняемые товарами. Как виджеты в Emarsys. Особо художественных текстов клиентам не нужно, маркетинговые тексты только раздражают.
– Так маркетологи совсем без работы останутся.
– И не забудь об этом доложить руководству, что система работает сама. Без них. Как мы обещали. А маркетологам передай: «на биржу труда, детка».

Это был любимый слоган Макса с некоторого времени, когда он сам поверил в дееспособность своих алгоритмов. У него была цель, которая была предметом договоренности с руководством – снижение издержек за счет уменьшения ручных операций. Если мы автоматизируем создание писем и баннеров, это будет первый крупный успех проекта.

Продолжение в следующем посте …
(с) Александр Хомяков [email protected]

Источник: habr.com