Как да вземете 13 момичета на час с помощта на машинно обучение и Tinder

* Изключително в името на изучаването на машинно обучение, разбира се. Под леко недоволния поглед на любимата жена.

Вероятно няма толкова просто приложение на нивото на гръбначните рефлекси като Tinder. За да го използвате, е достатъчен един пръст, за да плъзнете и няколко неврона, за да изберете момичетата или мъжете, които ви харесват най-много. Идеалното прилагане на груба сила при избора на чифт.

Мислех, че това е добър начин да опитам малко от машинното обучение на нова графична карта. Остава само да обясня на жена си, че нямам нужда от нова по-дебела жена, а просто тренирам невронни мрежи.

Какъв е проблемът с мрежите за запознанства

Имаше такъв ресурс - Ашли Мадисън. Конкретен, със слогана „Животът е кратък. Имайте афера. Основната аудитория са женени мъже, търсещи афера отстрани. Монетизацията също е забавна - в допълнение към стандартното "харчете точки, за да харесате и пишете", те поискаха $19, за да изтрият акаунта на потребител без следа.

През 2015 г. сайтът естествено изтече и 60 GB лични данни изтекоха в публичното пространство. В допълнение към многото унищожени семейства, това изтичане даде много интересна информация на анализаторите. Винаги съм подозирал, че в сайтовете за запознанства има много повече мъже, но в случая се оказа доста интересно. Журналист Анали Нюиц анализиране на изтекли данни установи, че от 5 милиона потребители, само 12 000 изглеждат като акаунти на истински момичета и се използват редовно. Останалите бяха просто ботове, които взаимодействаха с мъже посетители.

Такова превес към мъжките акаунти е типично не само за този ресурс, но и за повечето други сайтове за запознанства. Сигурен съм, че мнозина са се сблъскали с тази несъмнено несправедлива ситуация, когато трябва внимателно да обмислите познат и едно момиче просто трябва да се регистрира. Нека оставим настрана качеството на тази тълпа от фенове, но фактът е неоспорим, балансът на търсене и предлагане е ясно изместен в полза на момичетата.

Функция Tinder

Идеалният грубиян в отношенията между половете

Основната характеристика на тази платформа е ниската цена на познат. Съвпадението на две плъзгания е достатъчно и вече разговаряте с потенциално интересен човек. Проблемът е, че същият дисбаланс между половете води до факта, че повечето момичета ще имат десетки мачове на ден. Това означава, че най-вероятно няма да имат време да обърнат внимание на вас сред другите кандидати.

Съвсем ясно е, че платформата предполага малко възможности за оценка на дълбокия вътрешен свят на човек чрез поглед от секунда и половина на снимка по бански или шофиране на модерна тонирана кола. Ето защо, ако не изглеждате просто божествено на снимките си, нямате друг избор, освен да увеличите шансовете си с осиновяване r-стратегия при някои видове. Казано по-просто, ще използваме груба сила и ще вземем обем, за да увеличим шансовете си за успех в размножаването. Тъй като понякога трябва да се разсейвате с храна и сън, а плъзганията са ограничени, вероятно ще предпочетете автоматизацията да избира момичетата или мъжете, които най-много отговарят на вашия вкус. Малки червенокоси или високи брюнетки - това зависи от вас.

Събиране на данни

На първо място, имате нужда от много данни за нормална точност. Всеки, който се е занимавал с машинно обучение, знае колко трудно може да бъде въвеждането на правилно събран и етикетиран набор от данни. Теоретично всеки подобен ресурс е подходящ като източник на данни, било то Instagram или други социални мрежи. Но най-добре е да тренирате върху тези проби, върху които мрежата ще работи в бъдеще.

Нека вземем за основа хранилището Автоматизация на Tinder. Снимките в Tinder винаги са публични, но функцията „харесвания“ вече е ограничена. Следователно е необходимо да се извлекат всички живи същества в радиуса и внимателно да се маркират. За да започнете, трябва да използвате доста прост скрипт:

from skimage.io import imread, imsave, imshow, show
import matplotlib.pyplot as plt
import pynder
from helpers import get_access_token, get_login_credentials
from io_helper import save_image

email, password, FBID = get_login_credentials()
FBTOKEN = get_access_token(email, password)
session = pynder.Session(facebook_token=FBTOKEN)

while True:
    users = session.nearby_users()
    for user in users:
        photos = user.get_photos()
        print("Fetched user photos..")
        for photo in photos:
            print(photo)
            image = imread(photo)
            imshow(image)
            show()

            input_string = "Write 1 to like. Write 2 to dislike."
            ans = str(input(input_string)).lower()

            if ans == "1":
                save_image(image, photo, True)
            else:
                save_image(image, photo, False)

Това ще ви позволи да маркирате набора от данни възможно най-бързо само с два бутона. Ключовият капан е, че библиотеката werkzeug е нарушила обратната съвместимост и ще трябва да бъде принудително понижена. В противен случай извежда тази грешка.

Traceback (most recent call last):
  File "img_scrape.py", line 4, in <module>
    from helpers import get_access_token, get_login_credentials
  File "/home/someone/tmp/TinderAutomation/helpers.py", line 1, in <module>
    import robobrowser
  File "/home/someone/tmp/TinderAutomation/venv/lib/python3.6/site-packages/robobrowser/__init__.py", line 3, in <module>
    from .browser import RoboBrowser
  File "/home/someone/tmp/TinderAutomation/venv/lib/python3.6/site-packages/robobrowser/browser.py", line 8, in <module>
    from werkzeug import cached_property
ImportError: cannot import name 'cached_property'

Следователно werkzeug==0.16.1 трябва да бъде записано в requirements.txt. Тогава ще излети.
Вторият проблем е да получите точно този знак. Стандартният метод от хранилището не излетя за мен, но успях да го взема от конзолата за програмисти. За да направите това, отидете на връзка и изтеглете отговора на POST заявката www.facebook.com/v2.6/dialog/oauth/confirm?dpr=1. Вътре търсим 'access_token'. По някаква причина не проработи първия път, но след това го намерих и го кодирах твърдо в скрипт.

изисквания към набора от данни

Има няколко ключови изисквания за набори от данни за машинно обучение:

1. Адекватност
2. Еднородност
3. разнообразие

Достатъчността в този случай изисква поне 10000 XNUMX снимки за изграждане на адекватен модел. Да, това е много. Ето защо има услуги като Амазонски механичен турчин, където срещу заплащане можете да възложите маркирането на вашия набор от данни на други хора. От друга страна, наистина ли искате вашият бот да харесва красиви азиатски момичета с лунни лица или също толкова красиви момичета с индийски корени? Все пак моделът трябва да отговаря точно на вашия вкус.

Няма особени проблеми с разнообразието, всички снимки са представени в различни ъгли и осветление. В очила, рокли, бански и ски костюми. Проблемът може да възникне с еднаквостта на набора от данни. В идеалния случай, когато маркираме нашата проба, тя трябва да се състои от приблизително равни части. Ако имате „изкривен“ набор от данни, тогава ще трябва да го разредите със снимки от други източници. Ще трябва да добавите по-красиви или обратното, ще определите от резултата от маркирането. Получих нещо от порядъка на 60% сладко. Или не съм много придирчив, или просто имам късмет и има много хубави момичета наоколо.

Не отхвърлям и хипотезата, че сред тях има много ботове. Ние обучаваме бот, който ще харесва другите ботове. Има известна ирония в това.

Обработка на данни

Имаме куп маркирани снимки, но те са много смесени. Ден, нощ, отзад и други. Със съжаление разбирам, че не е особено възможно да тренирате върху снимки от обратен ъгъл, тъй като пробата ще бъде много неравномерна. Следователно, най-добрият вариант би бил да се използват лица като референтен знак за "красивост". Все пак за нас, както и за другите примати, това е ключов параметър.

Затова използваме каскади от хаар. Това е отличен алгоритъм, който ви позволява да намирате лица в изображения с нисък процент фалшиви положителни грешки.

Това е описано по-подробно в ръководството за OpenCV

На следващия етап, след като в пробата има само лица, има смисъл да премахнете цвета. Всъщност едва ли ще трябва да избирате между красива синя жена Пандора или красавица със зелена кожа.

източник

При хората Hue параметърът цвят на кожата не допринася значително за резултата за привлекателност.
Ето защо си струва да се опрости работата на невронната мрежа и да се оставят само нива на сивото.

Изграждане на модела

Искам веднага да кажа, че без добра видеокарта и CUDA най-вероятно просто няма да получите обучен модел в подходяща времева рамка. Затова незабавно се насочете към изчисления в специализирани облаци или с помощта на python-CUDA.

Взех основен трислоен пример от автора на хранилището и, изненадващо, той показа точност от около 72%, което е доста добър резултат.

model = Sequential()
model.add(Convolution2D(32, 3, 3, activation='relu', input_shape=(img_size, img_size, 3)))
model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Convolution2D(32, 3, 3, activation='relu'))
model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Convolution2D(64, 3, 3, activation='relu'))
model.add(MaxPooling2D(pool_size=(2,2)))
          
model.add(Flatten())
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(2, activation='softmax'))

adam = optimizers.SGD(lr=1e-4, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='categorical_crossentropy',
              optimizer= adam,
              metrics=['accuracy'])

Ако има добра проба, тогава може да е достатъчно, за да получите работещ модел.

Стартиране на бота

Благодаря на автора на хранилището за готовата версия за бързо тестване на идеята. Всъщност той работи доста добре в основната версия и по принцип може да бъде стартиран на нашия готов сървър под наем. Все още няма да е възможно да тренирате, в момента не предоставяме виртуални машини с поддръжка на CUDA за изчисления, но можете да стартирате нещо за 24/7 работа без проблеми. Ботът е доста лек, така че би било по-изгодно да вземете тарифа с плащане за използваните ресурси.

резултати

Сигурно съм много сладък. И имам богат вътрешен свят. Имам нещо от порядъка на 13 мача в рамките на един час. Освен това няколко пъти момичетата писаха първи.
В резултат се получиха много хубави диалози, в които казах, че съм дошъл само да си играя с машинното обучение и маркирането на данни. Едно от момичетата беше изключително заинтересовано, тъй като самата тя е разработчик. Има силно чувство, че тя в крайна сметка ще прочете тази публикация на Хабре. Много се надявам Оксана да запази анонимността ми. 🙂
*махва с лапа и казва здравей

Малко за етичната страна на въпроса

Честно казано, изобщо не ми харесва идеята за роботизиране на отношенията между мъже и момичета. Има нещо много правилно в това да метнеш якето си върху раменете на замръзнал непознат, който стои сам. Или се приближете до красиво момиче в лятно кафене и пийте кафе заедно. Излезте зад мониторите.

Около лятото. Време е да се запознаете.

Източник: www.habr.com