Розповідь «на виробничу тему» про шляхи впровадження ІІ у торговій компанії. І чого (гіпотетично) це може призвести. Повну версію можна завантажити на
***
Я не був уродженим лідером і ненавидів наради, які постійно збирали інші керівники відділів. Я не намагався створити хайп на важливість свого відділу. Я просто набирав хлопців, з якими міг працювати і які мали досвід, на відміну від мене. Але того, хто мені потрібен був серйозно, я не міг знайти по хедхантеру. Такі люди не шукають роботу самі, вона знаходить їх. Я почав дивитися доповіді на конференціях на тему, читати Хабр. Так було знайти важко. На конференціях не було жодної доповіді з реальними результатами, всі говорили про нові методи, але ніхто не міг продемонструвати їх застосування. Їх просто не було. Коли я намагався зв'язатись і поставити запитання, доповідач зникав, тільки пара відповіли, що реально просто вирахували все це в excel. На Хабрі було не краще, уривки перекладів західних статей були найкращими матеріалами на тему. Цікавими були лише коментарі до них.
Місяць пролетів непомітно. Але я не знав, з чого почати, що взагалі робити з цими великими даними, як прикрутити їх до завдань компанії. Керівництво вже натякало, що настав час уявити план. Я поки що відмовлявся від того, що треба точніше сформулювати завдання проекту, що ми хочемо отримати від нього на виході. Вони пропонували зібратися та з'ясувати з начальниками відділів, з чого я розумів, що довго на такому аргументі відсутності плану не протриматись. Персонал знайшов дівчину, яка вміла описувати бізнес-процеси. Це був за всіма гайдами перший пункт у цифровізації – спочатку алгоритмізувати процеси. Я дав їй завдання, а сам продовжував пошуки і ходив на наради, де продовжував робити розумний вигляд.
З коментарів я дізнався, що є конкурси з машобу на Каглі. І круті люди в машобі рубаються там не за гроші, а за те, хто крутіший. Я відписався кільком призерам близьких на тему конкурсів і почав чекати. Деякі ніки мені вже були знайомі за коментарями на Хабрі, і я сподівався, що хтось відповість. Двоє виявилися співробітниками великих компаній, пов'язаними з будь-якими угодами, тому акуратно відкланялися. Але найцікавіша людина не відповідала. Він виграв найкрутіші конкурси на Kaggle на тему сегментації користувачів, рекомендаційних систем і навіть розрахунку продажів з урахуванням 200 факторів, включаючи можливу погоду. Це було те, що я шукав! Але він не відповів. Я почав шукати його з нікого в мережі. Не було жодної інформації. Але я бачив його згадки про коментарі. Значить, його хтось знав. То був шанс. Я розпитав у коментах, хто такого знає, і мені відповів один програміст, що працював з ним і може запитати контакти для мене.
Його запрошували провідні корпорації, але він ніколи не працював у офісі. І ні з ким не зустрічався. Навіть реальних його фотографій в інтернеті було не знайти. Я знав тільки його ім'я та контакти у мережі. Було якось дивно пропонувати взяти такого під проект компанії до штату, але на віддаленій роботі. Оскільки це були військові, вони розуміли лише офісно-казарменне становище від дзвінка до дзвінка. Але варіантів не було, потрібен був той, хто зможе зробити круту машину, тому що компанія вже відстала, на їхню думку, з використанням великих даних, а треба було всіх випередити, щоб стати першим. І мені довелося йти ва-банк у розмові з керівництвом. Але спочатку я мав поговорити з ним. Його звали Максом.
тімліда
– Я хотів би запросити тебе тимлідом та архітектором у команду для створення будь-яких алгоритмів на машобі. Тобі начебто цікава ця тема. Компанія пристойна, гроші платить.
- Я не працюю за наймом у компаніях, я працюю віддалено на проектах, поки вони мені цікаві.
– Але мова про великий проект, треба щільно взятися за завдання, навряд чи це вдасться віддалено.
– Це не питання для обговорення. З тими, хто не вміє працювати віддалено, я не працюю. Гроші можуть платити та віддалено. Я не збираюся витрачати час на походи в офіс і неодмінно приходити до певного часу. Це дурість, а я дурницями не займаюся.
- Добре, віддалена робота підійде. Чи ти готовий підписати контракт на постійну роботу віддалено?
– Все залежить від того, що ви хочете там.
– Нічого особливого, просто треба самим зробити рекомендаційну систему для маркетингу, а також сегментацію клієнтів на основі великих даних і таке інше.
- Це не цікаво.
– А що тобі цікаво?
- Щось серйозніше, глобальніше, але, схоже, це не про вас. Дякую за пропозицію.
- Стривай, давай я тобі розповім усе як є, а потім ти вирішиш. Я потрапив у дупу - компанія запросила мене керувати впровадженням методів машоба в роботу компанії для підвищення ефективності, а я не знаю, що запропонувати. У компанії є все – бажання, поки що довіра мені, гроші. Можна зробити все, що завгодно, я просто не знаю що. Так зрозуміло?
– Зрозуміло, але не цікаво. У тебе немає завдання навіть. Раджу почати із цього.
Макс вийшов із розмови. То був провал. Я ледве знайшов його, другого такого крутого хлопця просто нема. Я не мав шансів залишитися в компанії. Ще тиждень, і мене викличуть на килим. Я навіть попросив пару днів лікарняного, щоби виграти час і подумати, що робити. Скоріш за все, відкривати резюме на хантері.
Макс з'явився зненацька. Він написав у скайпі:
- Вітання. Я бачу, ти добрий хлопець і компанія начебто велика. Якщо ідей немає в тебе, то ти готовий дати реалізувати мої ідеї?
- Звичайно! – навіть не замислюючись, одразу відповів я. – А які ідеї?
– Є ідея автоматизувати процеси у компанії повністю, все. І в маркетингу, і в логістиці, і закупівлі. Навіть у підборі персоналу. І зробити цю велику систему, що самоналаштовується на необхідний результат – прибуток. Як тобі таке завдання?
- Це навіть більше моїх сміливих фантазій. Але хіба це можливо? Я жодного разу ще не бачив таких проектів у реалізації. Хтось так уже робив?
- Мені нецікаво робити те, що вже хтось зробив. Я думав, що ти це розумієш.
- Так, звичайно, я хотів інше сказати - хіба є розробки, що дозволяють це зробити?
- Не важливо, є вони чи ні. Є те, що допоможе нам це зробити. Нині з'явилися алгоритми навчання із підкріпленням, може, чув уже. Якщо вдуматися і довести їх до розуму, це універсальний алгоритм всього. Ти ставиш мету як підкріплення, і система сама знаходить спосіб його досягти. І не важливо, що за завдання, якщо воно переведено в набір даних одного формату.
– Що мені треба просити під проект у керівництва, крім твоєї віддаленої роботи? Я навіть не уявляю скільки народу знадобиться, щоб зробити таку комплексну систему.
- Небагато. Ядро буде одне, це нейронка з пам'яттю. Швидкий кластер у датацентрі.
– А людей?
– Нам треба трьох програмістів на пітоні, які знають популярні бібліотеки нейронок, дата-саєніста одного, щоб готував дані та стежив за ними. Ні, парочку, будемо одразу в усіх напрямках працювати. І одного фахівця з високопродуктивних серверів.
- Такий фахівець начебто є, у компанії свій датацентр.
– Ні, нам потрібний такий, хто зможе зробити найвищий кластер. Такого у вас точно немає. Я знаю одного, поговорю з ним, якщо він не зайнятий. Ще потрібен буде один спеціаліст з баз даних йому в пару, його ж на парсинг в мережі посадимо. Нам буде потрібно багато інформації ззовні. Тестерів та аналітиків сам шукай, скільки тобі треба. Мабуть, спершу вистачить.
– Постараюся вибити у керівництва такі ресурси, але, гадаю, не буде проблем.
- Я тобі не сказав, що мої умови також змінюються?
- Ні, що змінюється?
– Я хочу відсоток, відсоток зростання прибутку.
- Ти мене ставиш у глухий кут. Вони не дадуть незнайомому хлопцю на віддаленому відсотку. Мені б твою дистанцію узгодити, і то проблема.
– Я пропоную електронні мізки компанії. Повністю управляючі нею, що роздають завдання менеджерам та контролюють їх виконання. Це буде суперсистема, яка сама вирішуватиме навіть, кого звільнити, а хто потрібен компанії. Вона матиме лише одну мету – прибуток. Вона замінить людей та прискорить операції, вартість транзакцій впаде у рази. Прибуток зростатиме більшими темпами. Без мене вони цього не можуть зробити. Тож відсоток. Це справедливо.
– Спробую. Давайте опишемо коротко те, що ти пропонуєш, щоб я міг як слід презентувати твої амбіції. Що ще я маю їм сказати, щоб вони погодилися на все?
– Що вони будуть першими?
Коли я намагався уявити, як я скажу це директору, мене охоплював ступор. Я не шукав слова. Хіба що зачитати написане Максом за папірцем. Я готувався тиждень, директор дивився на мене насторожено, не тямлячи, що від мене чекати. У призначений час я зайшов до кімнати нарад, де вже сиділи всі директори. Доповідь пройшла як у тумані. Наприкінці в очах учасників наради я побачив лише одне питання – чи це реально чи ти начитався фантастики? Першим висловився генеральний:
– І ти можеш усе це продати? Розумію, що потрібні будуть люди та час. Але ти зрозумів моє запитання.
- Я не можу. Є людина, яка може. Він найкращий у цій справі, я насилу його знайшов. Він знає собі ціну і просто так не погодиться зробити таку систему. Доведеться піти йому назустріч.
- Давай обговоримо. Молодець, доповідь перевершила мої очікування. Віриться насилу, але ціль, напевно, і має бути максимальною.
– Якщо хоча б частину цього вдасться реалізувати, ми отримаємо величезний ефект, я тут підрахував.
– Потім покажеш, не затримуватимемо інших. Нарада закінчена.
Виходячи, всі по черзі говорили мені компліменти і ляскали по плечу. Залишившись із генеральним, я одразу розповів йому про умови Макса його ж словами. Генеральний замислився на кілька секунд. "Треба скласти хороший контракт", - сказав він у підсумку. Це означало так. Ще ж він попросив проговорити з кожним директором його частину проекту та скласти загальний план реалізації, бажано із термінами. Він презентуватиме його засновникам. Про ресурси навіть не запитав, чи виділення їх, мабуть, малося на увазі разом зі схваленням проекту. Виходячи, я відчув захоплення від своєї крутості - проект затверджений і разом з умовами Макса! Я одразу написав йому. Він відповів лаконічно: "Я не сумнівався, хто ж відмовиться від прибутку".
Треба було робити декомпозицію плану щодо місяців і найближчих спринтів. Писати заявки на людей. Мені потрібна була статистика від аналітиків, документація по процесам у ERP від відділу розробки та багато чого ще. Все треба було зібрати до купи, щоб зрозуміти, з чого почати і з чим доведеться мати справу. Усі привітно відповідали на прохання, але за тиждень я зрозумів, що ніхто не збирається мої прохання виконувати. "Було колись, я подивлюся завтра" - стандартна відповідь. І незрозуміло, це спеціально чи справді всі зайняті. У відповідь мені самому почали надходити якісь безглузді прохання. «Ти не міг би надіслати презентацію щодо цифровізації нашої взаємодії з постачальниками, у нас завтра конференція». Я був у розгубленості спочатку від таких прохань, але в результаті почав спокійно чинити так само, як вони з моїми проханнями. Ігнорувати. Документації ніякої не було, дані були лише у вигляді звітів, а чи не raw. Єдиною програмою для аналітики був Excel. Про жодні вивантаження в BigQuery мови навіть не було. Все треба було робити з нуля та самим. Єдине, що вдалося зробити швидко – знайти людей. І лише завдяки тому, що я сам поліз на hh.ru і викликав на співбесіди хлопців із потрібними компетенціями. Але як домовитися з іншими про взаємодію щодо проекту, я не уявляв.
– Максе, є проблеми, тиждень прошу дати мені дані та документацію, але поки що суцільні сніданки. Це не фірма, а якесь болото. Нікому нічого не треба, всі зайняті своїми справами.
- Не хвилюйся, нам ніхто не потрібен, крім зібраної тобою команди. І потрібно API до raw-даних за клієнтами, товарами та продажами, всі транзакції, а також до пошти за адресами клієнтів, телефонії за їх номерами і поки що все. Добийся цього, йди прямо до директора по айті. Схоже, що в компанії проект потрібний лише керівництву.
- Ти, на жаль, маєш рацію, - з сумними смайликами відповів я Максу.
Я працював до цього тільки в невеликих компаніях, де всі містилися практично в одній кімнаті і кожен прагнув допомогти іншому. У великих корпораціях все негаразд. Менеджери всіх рівнів намагаються зобразити активну діяльність кількістю доручень іншим. Але ніхто одразу не береться робити те, що просять. Вони спочатку спитають у інших, чи не можуть вони зробити. І мені здалося, що вони змагаються в тому, хто найбільше вигадає, ніби їм гроші платять за це. Про реалізацію вже ніхто не думає, головне провести нараду і щось запланувати. Так як плани ніхто не зводить і не відслідковує, то 90% таких ініціатив просто забувають у потоці нових. За цим самодостатнім потоком внутрішньої інформації, що постійно породжується менеджерами, вже ніхто не бачить клієнта. Замість клієнтів звіти та презентації. Кафка писав, що велика кількість паперів та законів характерна для вмираючих імперій. Саме тоді мені спало на думку, що деяких менеджерів є за що скоротити. Тепер я розумію, чому Макс не погоджувався йти до офісу.
Клієнтський аналіз
Команда зібрана, і ось дійшло до планування спринтів. За командою айті-директора нам надали якусь документацію та зробили API. Ми розгорнули з новою командою кластер у ЦОДі на Hadoop і почали отримувати дані.
- З чого почнемо? – вже не без оптимізму я написав Максу.
- З того, що простіше, щоб спрацюватись у команді. Робитимемо клієнтський аналіз. Найзрозуміліша поки що тема, і дані є. Як у вас зараз організовано рекламу на сайті? Як робиться розсилка листів? Про решту не питаю, навряд чи є ще щось.
– Поки до кінця сам не зрозумів, на сайтах ставить банери вебмайстер із завданням того, хто попросить. Банери робить маркетинг. Вебмайстер зробив собі адмінку, щоб хоч якось вести облік банерів та швидко їх знімати, якщо попросять. Листи розсилають через хмарний додаток, роблять розвантаження аналітики з адресами, контент-менеджер пише текст, менеджер з реклами надсилає листи після затвердження його керівником, той в інших стверджує. Якось так, як я зрозумів.
– Що, все роблять руками? І скільки різних листів розсилають на місяць?
- Два три.
– Я лише одного не розумію, як компанія з таким давнім підходом зайняла значну частку ринку. Минуле століття. Почнемо із цього. Знайду відповідний фреймворк на джаві для створення ланцюжків взаємодії. За аналог візьмемо буржуйський хмарний сервіс, зареєструйся поки що й проаналізуй, що корисного там для нас є. Почнемо розкроювати завдання.
– А що буде у ядрі системи?
– Машоб, звісно. Я тобі вже казав, що все будуватиметься на одному ядрі нейрона, що самонавчається за цілями. Для маркетингу потрібен клієнтський аналіз, щоб швидко, прямо в онлайні кластеризувати користувачів за їх параметрами і діями на сайті або в пошті. RFM аналіз побудуємо, щоб стадії відстежувати. Коди, що відстежують, поставимо в листи і на сайті, будемо все писати в базу по кожному клієнту. А далі накручуємо на це все, що треба для автоматичної взаємодії з клієнтом – скрипт побудови ланцюжка взаємодії drag&drop з автоматичним вибором каналу комунікації з клієнтом, дивлячись, де він сидить. Або завдання закріпленому менеджеру відправляємо листом, якщо глухий клієнт.
– Великий план, нам півроку робити таке.
- Ні, я не ідіот, щоб робити все самому. Зробимо швидше.
За місяць з'явився перший прототип. І то була фантастика для маркетингу. У системі можна було робити сотні сегментів по сотням даних, що збираються по клієнтам, будувати до кожного сегменту ланцюжки взаємодії гарантованого контакту. Це коли спочатку ланцюжок намагається показати банер клієнту, якщо не вдається, то надсилає листа, якщо не відкрив, то шле пуші в додаток, якщо і там не подивився, то надсилає завдання закріпленому за клієнтом менеджеру з текстом, що треба зробити. Всі клієнти, за якими потрібні дії, потрапляли до мережі таких сегментів. При цьому враховувався як динамічна ознака навіть життєвий цикл клієнта, новачок він чи бувавий, як часто робить покупки, чи він уже купив і чи не збирається відвалити. І це теж була ознака для сегментування в ланцюжку. Дії клієнтів у відповідь на поки що банера або клік у листі теж записувалися в базу, і він відразу міг потрапити до наступного ланцюжка. Так клієнт міг не виходити з ланцюжків місяцями, головне було не переборщити. Перші welcome-ланцюжки і по кинутих кошиках ми збудували самі.
Єдине, що треба було робити маркетингу, – це побудувати такі сегменти та ланцюжки та написати багато текстів та намалювати багато сотень банерів. Що вони, звісно, не могли зробити одразу. Макс сказав, що трохи пізніше зробить систему автоматичної генерації текстів листів та товарних банерів із бази товарів. Але поки що треба було напружувати маркетологів. Я відповідав у команді за взаємодію з іншими відділами, а не лише керував проектом.
Але сам фокус системи клієнтського аналізу був у здібностях, заснованих на машобі. Макс презентував їхній команді особисто. Система аналізувала поведінку та покупки клієнта і могла заздалегідь сказати, що клієнт може піти. І надсилала завдання менеджеру на утримання. Система краще за менеджерів знала, що клієнт вже купив, а що найімовірніше купить, виходячи з типового кошика таких клієнтів. Це ми назвали «кошиковий підхід». Більше того, система сама вираховувала, який банер чи текст листа краще надіслати, оскільки знала, який текст викликає більше відгуку з аналогічних. Це було як чаклунство для мене, я вперше побачив, що може машоб у реальному бізнесі. Команда завелася, ми працювали як скажені, бо результати нас захоплювали.
– Даних про клієнтів мало у вашій корпоративній системі, ви нічого про них не знаєте, окрім компанії, посади, галузі та емейлу. Це нічого. Робимо інтеграцію із зовнішніми постачальниками даних. Запитуй договір із СПАРК. А я займуся API із соцмережами.
- Точно. Збагатимо дані. Я тут нещодавно бачив ще один сервіс, який, за коментарями у соцмережі, визначає психотип людини. Мені здається, нам це може стати в нагоді, поки не зрозумію для чого, але чую, що зайвим не буде.
– Робитимемо на їх основі рекомендації менеджерам. Давай адресу. Тільки треба перевірити, як точно визначає. Щось мало віриться, що вони можуть визначити без спеціальних тестів.
– Краще, ніж у тестах, визначають, я читав. Темперамент принаймні краще визначається щодо реакції на коментарі людей, а цього в мережі повно. Статистично, а не якийсь настрій. І не підробиш, як на тестах.
– Добре, коннектимося, давай адресу. І СПАРК підтягни, за юрособами братимемо інфо за кількістю у штаті, оборотах, засновниках, платежах до бюджету. Багато чого цікавого там, теж знадобиться. Навіть контакти та адреси вашим менеджерам, як виявилося, довіряти не можна. Пишуть будь-яку хрень, аби не віддавати контакти своїх клієнтів. Дуже брудні дані від них.
Хоча ще багато чого треба було налагодити, через 3 місяці ми зробили чудову систему для маркетингу, але чомусь ніхто не поспішав користуватися їй. Я писав листи, через директора з маркетингу збирав нараду, підходив особисто, але ніхто не робив сегменти та ланцюжки, тим більше листи та банери. Це був перший саботаж системи, і я не розумів, чому. Поки що мені не підказала одна дівчина-аналітик, яка працює з маркетологами. Занадто прозору систему ми зробили. Клієнтський аналіз відразу показував, скільки кожне розсилання принесло продажів, на який банер кликають, а який марний для клієнтів. Раніше ніхто не міг обчислити з ходу ефект від розсилки або банера, не було навіть статистики кліків. А тепер все як на долоні - на онлайн дашборді, прямо видно, як ідуть продажі по розсилці. Якщо йдуть. І в цьому проблема – ніхто не мав практики такого онлайн-маркетингу і всі боялися оголити свої компетенції. Я написав Максу.
- Я казав, що їх усіх треба звільняти, - відповів Макс. - Нічого страшного, доведеться зробити складніше, але обійдемося і без них.
- Є думки як?
– Кластеризуємо клієнтів з урахуванням роду діяльності та контактів перед покупкою так, щоб усі клієнти потрапляли до якогось сегменту. І зробимо універсальний ланцюжок, який працюватиме по всіх каналах – у пошті, на сайті або у додатку. Облік контактів дозволить замкнути ланцюжки в ланцюжки. І включимо найважливіші предикти – допродажу, рекомендацій щодо брендів та серій, відтік зі знижками для повернення.
– А тексти хтось писатиме, вони не хочуть робити їх у такій кількості.
– Текстів та банерів треба багато, інакше не буде толку. Тому зробимо автоматичні товарні банери та тексти, що заповнюються товарами. Як віджети в Emarsys. Особливо художніх текстів клієнтам не потрібно, рекламні тексти тільки дратують.
– Так маркетологи без роботи залишаться.
– І не забудь про це доповісти керівництву, що система працює сама. Без них. Як ми обіцяли. А маркетологам передай: «на біржу праці, дитинко».
Це був улюблений слоган Макса з деякого часу, коли він сам повірив у дієздатність своїх алгоритмів. Він мав на меті, яка була предметом домовленості з керівництвом – зниження витрат за рахунок зменшення ручних операцій. Якщо ми автоматизуємо створення листів та банерів, це буде перший великий успіх проекту.
Продовження ...
(С) Олександр Хом'яков [захищено електронною поштою]
Джерело: habr.com