איך לאסוף 13 בנות לשעה באמצעות למידת מכונה וטינדר

* אך ורק למען לימוד Machine Learning, כמובן. תחת מבטה המעט לא מרוצה של אשתו האהובה.

כנראה שאין יישום פשוט לרמת הרפלקסים בעמוד השדרה כמו טינדר. כדי להשתמש בו, אתה צריך רק אצבע אחת כדי להחליק וכמה נוירונים כדי לבחור את הבנות או הגברים שאתה הכי אוהב. יישום אידיאלי של כוח גס בבחירת זוג.

החלטתי שזו תהיה דרך טובה לקבל קצת תחושה של למידת מכונה בכרטיס גרפי חדש. כל מה שנותר הוא להסביר לאשתי שאני לא צריך אישה חדשה יותר שמנה, ואני רק מאמן רשתות עצביות.

מה הבעיה עם רשתות היכרויות?

היה משאב כזה - אשלי מדיסון. ספציפי, עם הסלוגן "החיים קצרים. לנהל רומן." הקהל העיקרי הוא גברים נשואים שמחפשים רומן בצד. מונטיזציה היא גם מהנה - בנוסף ל"בזבז נקודות כדי לאהוב ולכתוב", הם ביקשו 19$ כדי למחוק חשבון של משתמש ללא עקבות.

בשנת 2015, האתר דלף באופן טבעי ו-60 GB של נתונים אישיים דלפו לרשות הציבור. בנוסף למשפחות רבות שנהרסו, הדלפה זו סיפקה הרבה מידע מעניין לאנליסטים. תמיד חשדתי שיש הרבה יותר גברים באתרי היכרויות, אבל במקרה הזה זה יצא די מעניין. העיתונאית אנלי ניויץ ניתוח נתונים שדלפו מצא שמתוך 5 מיליון משתמשים, רק 12 היו דומים לחשבונות בנות אמיתיים והשתמשו בהם באופן קבוע. השאר היו רק בוטים ששוחחו עם מבקרים גברים.

חזקה כזו כלפי חשבונות גברים אופיינית לא רק למשאב זה, אלא גם לרוב אתרי ההיכרויות האחרים. אני בטוח שרבים נתקלו בסיטואציה הלא הוגנת הזו ללא ספק, כשצריך לתכנן היכרות בקפידה, אבל הילדה רק צריכה להירשם. בואו נעזוב את האיכות של קהל המעריצים הזה בצד, אבל אין להכחיש את העובדה שמאזן ההיצע והביקוש הוסט בבירור לטובת הבנות.

תכונת טינדר

הכוח האכזרי האידיאלי ביחסים בין המינים

המאפיין העיקרי של פלטפורמה זו הוא העלות הנמוכה לכל היכרות. מספיק צירוף מקרים של שני החלקות ואתם כבר מתקשרים עם אדם שעשוי להיות מעניין. הבעיה היא שאותו חוסר איזון מגדרי מוביל לכך שלרוב הבנות יהיו עשרות התאמות ביום. זה אומר שסביר להניח שלא יהיה להם זמן לשים לב אליכם בין מועמדים אחרים.

די ברור שהפלטפורמה מרמזת על הזדמנות מועטה להעריך את עולמו הפנימי העמוק של אדם ממבט של שניה וחצי על תמונה בבגד ים או נהיגה במכונית כהה אופנתית. לכן, אם אתה לא נראה פשוט אלוהי בתצלומים שלך, אין לך ברירה אלא להגדיל את הסיכויים שלך על ידי אימוץ אסטרטגיית r במינים מסוימים. במילים פשוטות, אנו נפעיל כוח גס ונקבל נפח כדי להגדיל את סיכויינו להצלחת הרבייה. מכיוון שלפעמים אתה צריך להסיח את דעתך על ידי אוכל ושינה, וההחלקות מוגבלות, סביר להניח שתעדיף שהאוטומציה תבחר את הבנות או הגברים המתאימים ביותר לטעם שלך. ג'ינג'ים נמוכים או ברונטיות גבוהות - זה תלוי בך.

איסוף מידע

קודם כל, אתה צריך הרבה נתונים בשביל דיוק רגיל. כל מי שנתקל בלמידת מכונה יודע כמה קשה זה יכול להיות לייצר מערך נתונים שנאסף ומתויג בצורה נכונה. תיאורטית, כל משאב דומה יתאים כמקור נתונים, בין אם זה אינסטגרם או רשתות חברתיות אחרות. אבל עדיף להתאמן על אותם דגימות שעליהן הרשת תעבוד בעתיד.

בואו ניקח את המאגר כבסיס טינדר אוטומציה. התמונות של טינדר תמיד זמינות לציבור, אבל הפונקציה "אהבתי" כבר מוגבלת. לכן, יש צורך לחלץ את כל היצורים החיים ברדיוס ולסמן אותם בזהירות. ראשית עליך להשתמש בסקריפט פשוט למדי:

from skimage.io import imread, imsave, imshow, show
import matplotlib.pyplot as plt
import pynder
from helpers import get_access_token, get_login_credentials
from io_helper import save_image

email, password, FBID = get_login_credentials()
FBTOKEN = get_access_token(email, password)
session = pynder.Session(facebook_token=FBTOKEN)

while True:
    users = session.nearby_users()
    for user in users:
        photos = user.get_photos()
        print("Fetched user photos..")
        for photo in photos:
            print(photo)
            image = imread(photo)
            imshow(image)
            show()

            input_string = "Write 1 to like. Write 2 to dislike."
            ans = str(input(input_string)).lower()

            if ans == "1":
                save_image(image, photo, True)
            else:
                save_image(image, photo, False)

זה יאפשר לך לסמן את מערך הנתונים במהירות האפשרית באמצעות שני כפתורים בלבד. המלכודת העיקרית טמונה בעובדה שספריית werkzeug שברה את התאימות לאחור ותצטרך להאלץ לשדרג אותה לאחור. אחרת זה זורק את השגיאה הזו.

Traceback (most recent call last):
  File "img_scrape.py", line 4, in <module>
    from helpers import get_access_token, get_login_credentials
  File "/home/someone/tmp/TinderAutomation/helpers.py", line 1, in <module>
    import robobrowser
  File "/home/someone/tmp/TinderAutomation/venv/lib/python3.6/site-packages/robobrowser/__init__.py", line 3, in <module>
    from .browser import RoboBrowser
  File "/home/someone/tmp/TinderAutomation/venv/lib/python3.6/site-packages/robobrowser/browser.py", line 8, in <module>
    from werkzeug import cached_property
ImportError: cannot import name 'cached_property'

לכן, ב- requirements.txt אתה צריך לכתוב Werkzeug==0.16.1. ואז זה ימריא.
הבעיה השנייה היא להשיג את האסימון הזה. השיטה הסטנדרטית מהמאגר לא עבדה לי, אבל הצלחתי להשיג אותה ממסוף המפתחים. כדי לעשות זאת, עבור אל קשר וחלץ את התגובה לבקשת POST ב www.facebook.com/v2.6/dialog/oauth/confirm?dpr=1. בפנים אנחנו מחפשים 'access_token'. משום מה זה לא עבד בפעם הראשונה, אבל אז מצאתי אותו ותיקדתי אותו בתסריט.

דרישות מערך הנתונים

ישנן מספר דרישות מפתח עבור מערכי נתונים של למידת מכונה:

1. הלימה
2. אֲחִידוּת
3. מגוון

מספיק במקרה זה דורש לפחות 10000 צילומים כדי לבנות דגם מתאים. כן, זה הרבה. זו למעשה הסיבה ששירותים כמו אמזון מכני, שבו תמורת תשלום תוכל להאציל את הסימון של מערך הנתונים שלך לאנשים אחרים. מצד שני, האם אתה באמת רוצה שהבוט שלך יאהב בחורות אסייתיות נפלאות עם פני ירח או בחורות יפות באותה מידה עם שורשים הודיים? ובכל זאת, הדגם צריך לשקף את הטעם שלך.

אין בעיות מיוחדות במגוון; כל התמונות מוצגות מזוויות ותאורה שונות. במשקפיים, שמלות, בגדי ים וחליפות סקי. עלולה להתעורר בעיה באחידות מערך הנתונים. באופן אידיאלי, כאשר אנו מתייגים את המדגם שלנו, הוא צריך להיות מורכב מחלקים שווים בערך. אם בסופו של דבר יש לך מערך נתונים "משוה", תצטרך לדלל אותו בתמונות ממקורות אחרים. תצטרך להוסיף אטרקטיביים יותר, או להיפך, תקבע אותם על סמך תוצאת הסימון. יש לי משהו בסביבות 60% יפה. או שאני לא בררן מדי, או שפשוט יש לי מזל ויש הרבה בחורות יפות בסביבה.

אני גם לא מבטל את ההשערה שיש הרבה בוטים ביניהם. אנו מאמנים בוט שיאהב בוטים אחרים. יש בזה קצת אירוניה.

עיבוד נתונים

יש לנו חבורה של תמונות מתויגות, אבל הן מאוד מעורבות. בשעות היום, בלילה, מאחור ואחרים. בצער, אני מבין שלימוד מתצלומים מזווית הפוכה לא יהיה יעיל במיוחד, שכן המדגם יהיה מאוד לא אחיד. לכן, האפשרות הטובה ביותר תהיה להשתמש בפנים כסימן של "חמודות". ובכל זאת, עבורנו, כמו עבור פרימטים אחרים, זהו פרמטר מרכזי.

לכן, בואו נשתמש אשדות האר. זהו אלגוריתם מצוין המאפשר למצוא פרצופים בתמונות עם אחוז נמוך של שגיאות חיוביות שגויות.

זה מתואר ביתר פירוט במדריך OpenCV

בשלב הבא, לאחר שרק פרצופים נמצאים בדוגמה, הגיוני להסיר צבע. למעשה, בקושי תצטרכו לבחור בין הדניס הכחול היפה של פנדורה או היופי בעל העור הירוק.

מקור

אצל אנשי Hue, צבע העור אינו תורם תרומה משמעותית לדירוג האטרקטיביות.
לכן, כדאי לפשט את עבודת הרשת העצבית ולהשאיר רק גווני אפור.

בניית דגמים

אני רוצה לומר מיד שללא כרטיס מסך טוב ו-CUDA, סביר להניח שפשוט לא תקבל דגם מאומן בזמן הולם. לכן, כוון מיד לחישובים בעננים מיוחדים או באמצעות python-CUDA.

לקחתי דוגמה תלת-שכבתית בסיסית ממחבר המאגר, ובאופן מפתיע, היא הראתה דיוק של כ-72%, שזו תוצאה טובה למדי.

model = Sequential()
model.add(Convolution2D(32, 3, 3, activation='relu', input_shape=(img_size, img_size, 3)))
model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Convolution2D(32, 3, 3, activation='relu'))
model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Convolution2D(64, 3, 3, activation='relu'))
model.add(MaxPooling2D(pool_size=(2,2)))
          
model.add(Flatten())
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(2, activation='softmax'))

adam = optimizers.SGD(lr=1e-4, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='categorical_crossentropy',
              optimizer= adam,
              metrics=['accuracy'])

אם יש מדגם טוב, אז זה בהחלט יכול להספיק כדי להשיג מודל בר ביצוע.

בואו נפעיל את הבוט

תודה למחבר המאגר על אפשרות מוכנה לבדיקה מהירה של הרעיון. למעשה, זה עובד די טוב בגרסה הבסיסית וניתן, באופן עקרוני, להיות מושק אצלנו שרת מושכר מוכן. זה לא יהיה אפשרי עדיין להתאמן; כרגע אנחנו לא מספקים למכונות וירטואליות תמיכת CUDA לחישובים, אבל אתה יכול להריץ משהו 24/7 ללא בעיות. הבוט הוא די קל משקל, אז זה יהיה משתלם יותר לקחת תעריף שמשלם עבור המשאבים המשמשים.

ממצאים

אני מניח שאני מאוד חמוד. ויש לי עולם פנימי עשיר. קיבלתי משהו כמו 13 גפרורים תוך שעה. יתרה מכך, מספר פעמים הבנות כתבו תחילה.
כתוצאה מכך, סיימנו עם דיאלוגים נחמדים מאוד, שבהם אמרתי שבאתי אך ורק כדי לשחק עם למידת מכונה ותווית נתונים. אחת הבנות התעניינה מאוד, מכיוון שהיא עצמה מפתחת. יש תחושה חזקה שהיא בסופו של דבר תקרא את הפוסט הזה ב-Habré. אני מאוד מקווה שאוקסנה תשמור על האנונימיות שלי. 🙂
*מנופף כף ואומר שלום

קצת על הצד האתי של הנושא

למען האמת, אני לא אוהב את כל הרעיון של רובוט מערכות יחסים בין גברים ונערות. יש משהו מאוד נכון בלהשליך את הז'קט שלך על כתפיו של זר קר שעומד לבדו. או לגשת לבחורה יפה בבית קפה קיץ ולשתות קפה ביחד. צא כבר מאחורי המסכים.

הקיץ מסביב. הגיע הזמן להכיר.

מקור: www.habr.com