როგორ ავიღოთ 13 გოგონა საათში მანქანური სწავლისა და Tinder-ის გამოყენებით

* რა თქმა უნდა, მხოლოდ მანქანათმცოდნეობის სწავლის მიზნით. საყვარელი ცოლის ოდნავ უკმაყოფილო მზერის ქვეშ.

ალბათ არ არსებობს ისეთი მარტივი აპლიკაცია ზურგის რეფლექსების დონეზე, როგორც Tinder. მისი გამოსაყენებლად საჭიროა მხოლოდ ერთი თითი გადაფურცლებისთვის და რამდენიმე ნეირონი, რათა აირჩიოთ გოგოები ან მამაკაცები, რომლებიც ყველაზე მეტად მოგწონთ. უხეში ძალის იდეალური განხორციელება წყვილის შერჩევაში.

მე გადავწყვიტე, რომ ეს კარგი გზა იქნებოდა ახალ გრაფიკულ ბარათზე მანქანური სწავლის შესახებ ცოტაოდენი შეგრძნებისთვის. რჩება მხოლოდ ჩემს მეუღლეს ავუხსნა, რომ მე არ მჭირდება ახალი მსუქანი ქალი და მხოლოდ ნერვულ ქსელებს ვვარჯიშობ.

რა პრობლემაა გაცნობის ქსელებში?

იყო ასეთი რესურსი - ეშლი მედისონი. კონკრეტულად, სლოგანით „ცხოვრება ხანმოკლეა. გქონდეს რომანი“. მთავარი აუდიტორია დაქორწინებული კაცები არიან, რომლებიც მხარეზე ეძებენ რომანს. მონეტიზაცია ასევე სახალისოა - გარდა სტანდარტული „ქულების დახარჯვა მოსაწონად და დასაწერად“, მათ მოითხოვეს 19 დოლარი მომხმარებლის ანგარიშის უკვალოდ წასაშლელად.

2015 წელს საიტმა ბუნებრივად გაჟონა და 60 GB პერსონალური მონაცემები გაჟონა საზოგადოებრივ დომენში. გარდა მრავალი დანგრეული ოჯახისა, ამ გაჟონვამ ანალიტიკოსებს ბევრი საინტერესო ინფორმაცია მიაწოდა. ყოველთვის მეპარებოდა ეჭვი, რომ გაცნობის საიტებზე ბევრად მეტი მამაკაცი იყო, მაგრამ ამ შემთხვევაში საკმაოდ საინტერესო აღმოჩნდა. ჟურნალისტი ანალი ნიუიც გაჟონილი მონაცემების გაანალიზება აღმოაჩინა, რომ 5 მილიონი მომხმარებლიდან მხოლოდ 12 იყო ნამდვილი გოგონების ანგარიშების მსგავსი და რეგულარულად გამოიყენებოდა. დანარჩენი მხოლოდ ბოტები იყო, რომლებიც მამაკაც ვიზიტორებს ესაუბრებოდნენ.

მამაკაცის ანგარიშების მიმართ ასეთი უპირატესობა დამახასიათებელია არა მხოლოდ ამ რესურსისთვის, არამედ სხვა გაცნობის საიტებისთვისაც. დარწმუნებული ვარ, რომ ბევრს წააწყდა ეს უდავოდ უსამართლო სიტუაცია, როდესაც ფრთხილად უნდა დაგეგმოთ გაცნობა, მაგრამ გოგონას მხოლოდ რეგისტრაცია სჭირდება. თაყვანისმცემელთა ამ ბრბოს ხარისხს თავი დავანებოთ, მაგრამ ფაქტი უდაოა, რომ მიწოდებისა და მოთხოვნის ბალანსი აშკარად გოგოების სასარგებლოდ არის გადანაცვლებული.

Tinder ფუნქცია

იდეალური უხეში ძალის მქონე გენდერულ ურთიერთობებში

ამ პლატფორმის მთავარი მახასიათებელი არის დაბალი ღირებულება თითო ნაცნობზე. საკმარისია ორი დარტყმის დამთხვევა და უკვე პოტენციურად საინტერესო ადამიანთან ურთიერთობ. პრობლემა ის არის, რომ იგივე გენდერული დისბალანსი იწვევს იმ ფაქტს, რომ გოგონების უმეტესობას დღეში ათობით მატჩი ექნება. ეს ნიშნავს, რომ მათ დიდი ალბათობით არ ექნებათ დრო, რომ ყურადღება მიაქციონ სხვა კანდიდატებს შორის.

სავსებით ნათელია, რომ პლატფორმა გულისხმობს მცირე შესაძლებლობას შეაფასოს ადამიანის ღრმა შინაგანი სამყარო საცურაო კოსტუმში ფოტოზე ან მოდური შეღებილი მანქანის ტარების ერთი და ნახევარი წამის შეხედვით. ამიტომ, თუ თქვენს ფოტოებში უბრალოდ ღვთაებრივად არ გამოიყურებით, სხვა არჩევანი არ გაქვთ გარდა იმისა, რომ გაზარდოთ თქვენი შანსები მიღებით r-სტრატეგია ზოგიერთ სახეობაში. მარტივად რომ ვთქვათ, ჩვენ გამოვიყენებთ უხეში ძალას და მივიღებთ მოცულობას, რათა გაზარდოს ჩვენი წარმატების შანსები. იმის გამო, რომ ხანდახან საკვებით და ძილით უნდა გადაიტანოთ ყურადღება, და დარტყმები შეზღუდულია, თქვენ ალბათ გირჩევნიათ, რომ ავტომატიზაცია შეარჩიოს გოგოები ან მამაკაცები, რომლებიც საუკეთესოდ შეესაბამება თქვენს გემოვნებას. მოკლე წითურები ან მაღალი შავგვრემანი - ეს თქვენზეა დამოკიდებული.

მონაცემთა შეგროვება

უპირველეს ყოვლისა, თქვენ გჭირდებათ ბევრი მონაცემი ნორმალური სიზუსტისთვის. ყველამ, ვინც შეხვედრია მანქანურ სწავლებას, იცის, რამდენად რთული შეიძლება იყოს სწორად შეგროვებული და ეტიკეტირებული მონაცემთა ნაკრების შექმნა. თეორიულად, ნებისმიერი მსგავსი რესურსი გამოდგება მონაცემთა წყაროდ, იქნება ეს Instagram თუ სხვა სოციალური ქსელები. მაგრამ უმჯობესია ივარჯიშოთ იმ ნიმუშებზე, რომლებზეც ქსელი იმუშავებს მომავალში.

საფუძვლად ავიღოთ საცავი Tinder Automation. Tinder-ის ფოტოები ყოველთვის ხელმისაწვდომია საჯაროდ, მაგრამ "Like" ფუნქცია უკვე შეზღუდულია. აქედან გამომდინარე, აუცილებელია ყველა ცოცხალი არსების ამოღება რადიუსში და ყურადღებით მონიშვნა. პირველ რიგში, თქვენ უნდა გამოიყენოთ საკმაოდ მარტივი სკრიპტი:

from skimage.io import imread, imsave, imshow, show
import matplotlib.pyplot as plt
import pynder
from helpers import get_access_token, get_login_credentials
from io_helper import save_image

email, password, FBID = get_login_credentials()
FBTOKEN = get_access_token(email, password)
session = pynder.Session(facebook_token=FBTOKEN)

while True:
    users = session.nearby_users()
    for user in users:
        photos = user.get_photos()
        print("Fetched user photos..")
        for photo in photos:
            print(photo)
            image = imread(photo)
            imshow(image)
            show()

            input_string = "Write 1 to like. Write 2 to dislike."
            ans = str(input(input_string)).lower()

            if ans == "1":
                save_image(image, photo, True)
            else:
                save_image(image, photo, False)

ეს საშუალებას მოგცემთ რაც შეიძლება სწრაფად მონიშნოთ მონაცემთა ბაზა მხოლოდ ორი ღილაკით. მთავარი ნაკლი მდგომარეობს იმაში, რომ werkzeug-ის ბიბლიოთეკამ დაარღვია ჩამორჩენილი თავსებადობა და იძულებული გახდება მისი დაქვეითება. წინააღმდეგ შემთხვევაში ის უშვებს ამ შეცდომას.

Traceback (most recent call last):
  File "img_scrape.py", line 4, in <module>
    from helpers import get_access_token, get_login_credentials
  File "/home/someone/tmp/TinderAutomation/helpers.py", line 1, in <module>
    import robobrowser
  File "/home/someone/tmp/TinderAutomation/venv/lib/python3.6/site-packages/robobrowser/__init__.py", line 3, in <module>
    from .browser import RoboBrowser
  File "/home/someone/tmp/TinderAutomation/venv/lib/python3.6/site-packages/robobrowser/browser.py", line 8, in <module>
    from werkzeug import cached_property
ImportError: cannot import name 'cached_property'

ამიტომ მოთხოვნები.txt-ში თქვენ უნდა დაწეროთ Werkzeug==0.16.1. მერე აფრინდება.
მეორე პრობლემა სწორედ ამ ნიშნის მიღებაა. საცავიდან სტანდარტული მეთოდი არ მუშაობდა ჩემთვის, მაგრამ მე მოვახერხე მისი მიღება დეველოპერის კონსოლიდან. ამისათვის გადადით ლინკები და ამოიღეთ პასუხი POST მოთხოვნაზე www.facebook.com/v2.6/dialog/oauth/confirm?dpr=1. შიგნით ჩვენ ვეძებთ 'access_token'. რატომღაც პირველად არ მუშაობდა, მაგრამ შემდეგ ვიპოვე და სკრიპტში ჩავწერე.

მონაცემთა ნაკრების მოთხოვნები

არსებობს რამდენიმე ძირითადი მოთხოვნა მანქანური სწავლების მონაცემთა ნაკრებისთვის:

1. ადეკვატურობა
2. ერთგვაროვნება
3. მრავალფეროვნება

საკმარისობა ამ შემთხვევაში მოითხოვს მინიმუმ 10000 ფოტოსურათს ადეკვატური მოდელის შესაქმნელად. დიახ, ეს ბევრია. ეს არის ის, რის გამოც მომსახურება მოსწონს Amazon მექანიკური თურქი, სადაც საფასურის სანაცვლოდ შეგიძლიათ თქვენი მონაცემთა ბაზის მარკირება სხვა ადამიანებს გადასცეთ. მეორეს მხრივ, ნამდვილად გინდათ, რომ თქვენს ბოტს მოსწონდეს მშვენიერი მთვარე აზიელი გოგოები ან თანაბრად ლამაზი გოგონები ინდური ფესვებით? მიუხედავად ამისა, მოდელი უნდა ასახავდეს თქვენს გემოვნებას.

მრავალფეროვნებასთან დაკავშირებით განსაკუთრებული პრობლემები არ არის; ყველა ფოტო წარმოდგენილია სხვადასხვა კუთხით და განათებით. სათვალეებში, კაბებში, საცურაო კოსტუმებში და სათხილამურო კოსტიუმებში. პრობლემა შეიძლება წარმოიშვას მონაცემთა ნაკრების ერთგვაროვნებასთან დაკავშირებით. იდეალურ შემთხვევაში, როდესაც ჩვენ ვასახელებთ ჩვენს ნიმუშს, ის უნდა შედგებოდეს დაახლოებით თანაბარი ნაწილებისგან. თუ თქვენ მიიღებთ "დახრილ" მონაცემთა ბაზას, თქვენ მოგიწევთ მისი განზავება სხვა წყაროების ფოტოებით. თქვენ უნდა დაამატოთ უფრო მიმზიდველები, ან პირიქით, თქვენ განსაზღვრავთ მათ მარკირების შედეგის საფუძველზე. მე მივიღე რაღაც დაახლოებით 60% ლამაზი. ან მე არ ვარ ძალიან პრეტენზიული, ან უბრალოდ გამიმართლა და ირგვლივ ბევრი ლამაზი გოგოა.

მე ასევე არ გამოვრიცხავ ჰიპოთეზას, რომ მათ შორის ბევრი ბოტია. ჩვენ ვამზადებთ ბოტს, რომელიც მოეწონება სხვა ბოტებს. არის ამაში გარკვეული ირონია.

მონაცემთა დამუშავება

ჩვენ გვაქვს მონიშნული ფოტოები, მაგრამ ისინი ძალიან შერეულია. დღისით, ღამით, უკნიდან და სხვა. სამწუხაროდ, მესმის, რომ ფოტოების სწავლება საპირისპირო კუთხით არ იქნება განსაკუთრებით ეფექტური, რადგან ნიმუში იქნება ძალიან არათანაბარი. აქედან გამომდინარე, საუკეთესო ვარიანტი იქნება სახეების გამოყენება, როგორც "სილამაზის" ნიშანი. მიუხედავად ამისა, ჩვენთვის, ისევე როგორც სხვა პრიმატებისთვის, ეს არის ძირითადი პარამეტრი.

ამიტომ, გამოვიყენოთ ჰარის კასკადები. ეს არის შესანიშნავი ალგორითმი, რომელიც საშუალებას გაძლევთ იპოვოთ სახეები სურათებში ცრუ დადებითი შეცდომების დაბალი პროცენტით.

ეს უფრო დეტალურად არის აღწერილი სახელმძღვანელოში OpenCV

შემდეგ ეტაპზე, მას შემდეგ რაც ნიმუშში მხოლოდ სახეებია, აზრი აქვს ფერის ამოღებას. სინამდვილეში, ძნელად მოგიწევთ არჩევანის გაკეთება პანდორას ულამაზეს ცისფერ ბინადარსა თუ მწვანე ფერის ლამაზმანს შორის.

წყარო

Hue ადამიანებში კანის ფერი არ ახდენს მნიშვნელოვან წვლილს მიმზიდველობის რეიტინგში.
აქედან გამომდინარე, ღირს ნერვული ქსელის მუშაობის გამარტივება და მხოლოდ ნაცრისფერი ფერის დატოვება.

მოდელის შენობა

დაუყოვნებლივ მინდა ვთქვა, რომ კარგი ვიდეო ბარათის და CUDA-ს გარეშე, თქვენ, სავარაუდოდ, უბრალოდ ვერ მიიღებთ გაწვრთნილ მოდელს ადეკვატურ დროში. ამიტომ, დაუყოვნებლივ მიმართეთ გამოთვლებს სპეციალიზებულ ღრუბლებში ან პითონ-CUDA-ს გამოყენებით.

მე ავიღე საბაზისო სამშრიანი მაგალითი საცავის ავტორისგან და გასაკვირია, რომ მან აჩვენა დაახლოებით 72% სიზუსტე, რაც საკმაოდ კარგი შედეგია.

model = Sequential()
model.add(Convolution2D(32, 3, 3, activation='relu', input_shape=(img_size, img_size, 3)))
model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Convolution2D(32, 3, 3, activation='relu'))
model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Convolution2D(64, 3, 3, activation='relu'))
model.add(MaxPooling2D(pool_size=(2,2)))
          
model.add(Flatten())
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(2, activation='softmax'))

adam = optimizers.SGD(lr=1e-4, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='categorical_crossentropy',
              optimizer= adam,
              metrics=['accuracy'])

თუ არსებობს კარგი ნიმუში, მაშინ ეს შეიძლება საკმარისი იყოს სამუშაო მოდელის მისაღებად.

მოდით გავუშვათ ბოტი

მადლობა საცავის ავტორს იდეის სწრაფად შესამოწმებლად მზა ვარიანტისთვის. სინამდვილეში, ის საკმაოდ კარგად მუშაობს საბაზისო ვერსიაში და, პრინციპში, შეიძლება გაშვებული იყოს ჩვენზე მზა დაქირავებული სერვერი. ჯერ შეუძლებელი იქნება ვარჯიში; ამ დროისთვის ჩვენ არ ვუზრუნველყოფთ ვირტუალურ მანქანებს CUDA მხარდაჭერით გამოთვლებისთვის, მაგრამ თქვენ შეგიძლიათ აწარმოოთ რაღაც 24/7 უპრობლემოდ. ბოტი საკმაოდ მსუბუქი წონაა, ამიტომ უფრო მომგებიანი იქნება ტარიფის აღება, რომელიც იხდის გამოყენებული რესურსებს.

დასკვნები

მგონი ძალიან საყვარელი ვარ. და მე მაქვს მდიდარი შინაგანი სამყარო. მე მივიღე დაახლოებით 13 მატჩი ერთ საათში. უფრო მეტიც, რამდენჯერმე გოგოებმა დაწერეს პირველი.
შედეგად, ჩვენ დავასრულეთ ძალიან ლამაზი დიალოგები, სადაც მე ვთქვი, რომ მე შემოვედი მხოლოდ მანქანური სწავლებისა და მონაცემთა მარკირების სათამაშოდ. ერთ-ერთი გოგონა ძალიან დაინტერესდა, რადგან ის თავად არის დეველოპერი. არსებობს ძლიერი განცდა, რომ ის საბოლოოდ წაიკითხავს ამ პოსტს Habré-ზე. დიდი იმედი მაქვს, რომ ოქსანა ჩემს ანონიმურობას შეინარჩუნებს. 🙂
*ხელს აფრიალებს და ამბობს გამარჯობა

ცოტა რამ საკითხის ეთიკურ მხარეზე

მართალი გითხრათ, არ მომწონს მამაკაცებსა და გოგოებს შორის ურთიერთობების რობოტიზაციის მთელი იდეა. რაღაც ძალიან სწორია, როცა შენი ქურთუკი მხრებზე გადააგდე ცივ უცნობს, რომელიც მარტო დგას. ან მიუახლოვდით ლამაზ გოგოს საზაფხულო კაფეში და ერთად დალიეთ ყავა. მონიტორების უკნიდან გამოდი უკვე.

ირგვლივ ზაფხულია. გაცნობის დროა.

წყარო: www.habr.com