LinkedIn-ის ძიების ლიმიტის გვერდის ავლით API-ით თამაშით

Ზღვარი

LinkedIn-ზე არის ასეთი შეზღუდვა - კომერციული გამოყენების ლიმიტი. ძალიან სავარაუდოა, რომ თქვენ, ისევე როგორც მე ბოლო დრომდე, არასოდეს შეგხვედრიათ ან გსმენიათ ამის შესახებ.

ლიმიტის არსი იმაში მდგომარეობს, რომ თუ ძალიან ხშირად იყენებთ კონტაქტების მიღმა ადამიანების ძიებას (ზუსტი მეტრიკა არ არსებობს, ალგორითმი წყვეტს თქვენი ქმედებების მიხედვით - რამდენად ხშირად და რამდენს ეძებდით, დაამატეთ ხალხი), მაშინ ძიების შედეგი. შემოიფარგლება სამი პროფილით, ნაცვლად 1000-ისა (ნაგულისხმევი 100 გვერდი, 10 პროფილი თითო გვერდზე). ლიმიტი აღდგება ყოველი თვის დასაწყისში. ბუნებრივია, პრემიუმ ანგარიშებს არ აქვთ ეს შეზღუდვა.

მაგრამ არც ისე დიდი ხნის წინ, შინაური ცხოველების პროექტისთვის, დავიწყე ბევრი თამაში LinkedIn Search-ით და უცებ მივიღე ეს შეზღუდვა. ბუნებრივია, ეს დიდად არ მომეწონა, რადგან არ გამომიყენებია რაიმე კომერციული მიზნებისთვის, ამიტომ ჩემი პირველი აზრი იყო შემესწავლა შეზღუდვა და ვცდილობდი მის თავიდან აცილებას.

[მნიშვნელოვანი განმარტება: სტატიაში მასალები წარმოდგენილია მხოლოდ საინფორმაციო და საგანმანათლებლო მიზნებისთვის. ავტორი არ წაახალისებს მათ გამოყენებას კომერციული მიზნებისთვის.]

ჩვენ ვსწავლობთ პრობლემას

ჩვენ გვაქვს: ათი პროფილის ნაცვლად პაგინაციით, ძიება აბრუნებს მხოლოდ სამს, რის შემდეგაც ჩასმულია ბლოკი პრემიუმ ანგარიშის „რეკომენდაციით“, ქვემოთ კი ბუნდოვანი და დაუწკაპუნებელი პროფილები.

მაშინვე, ხელი აწვდის დეველოპერის კონსოლს, რათა დაათვალიეროს ეს ფარული პროფილები - შესაძლოა, ჩვენ შეგვიძლია წავშალოთ ზოგიერთი ბუნდოვანი სტილი, ან ამოიღოთ ინფორმაცია მარკირების ბლოკიდან. მაგრამ, სრულიად მოსალოდნელია, რომ ეს პროფილები მხოლოდ ჩანაცვლების სურათები და ინფორმაცია არ ინახება.

კარგი, ახლა მოდით გადავხედოთ ქსელის ჩანართს და შევამოწმოთ, მუშაობს თუ არა ძიების ალტერნატიული შედეგები, რომლებიც მხოლოდ სამ პროფილს აბრუნებს. ჩვენ ვპოულობთ მოთხოვნას, რომელიც გვაინტერესებს „/api/search/blended“ და ვუყურებთ პასუხს.

პროფილები მოდის `შედის“ მასივში, მაგრამ მასში უკვე არის 15 ერთეული. ამ შემთხვევაში, მათგან პირველი სამი არის დამატებითი ინფორმაციის მქონე ობიექტები, თითოეული ობიექტი შეიცავს ინფორმაციას კონკრეტულ პროფილზე (მაგალითად, არის თუ არა პროფილი პრემიუმ. ).

შემდეგი 12 არის რეალური პროფილები - ძიების შედეგები, რომელთაგან მხოლოდ სამი გვეჩვენება. როგორც უკვე მიხვდით, ის აჩვენებს მხოლოდ მათ, ვინც იღებს დამატებით ინფორმაციას (პირველი სამი ობიექტი). მაგალითად, თუ თქვენ იღებთ პასუხს პროფილიდან შეზღუდვის გარეშე, მიიღებთ 28 ერთეულს - 10 ობიექტს დამატებით. ინფორმაცია და 18 პროფილი.

პასუხი პროფილზე ლიმიტის გარეშე

რატომ ჩამოდის 10-ზე მეტი პროფილი, თუმცა მოთხოვნილია ზუსტად 10 და ისინი არანაირად არ მონაწილეობენ ჩვენებაში, შემდეგ გვერდზეც კი არ იქნებიან - ჯერ არ ვიცი. თუ აანალიზებთ მოთხოვნის URL-ს, ხედავთ, რომ რაოდენობა=10 (რამდენი პროფილი უნდა დაბრუნდეს პასუხში, მაქსიმუმ 49).

სიამოვნებით მივიღებ რაიმე კომენტარს ამ საკითხთან დაკავშირებით.

მოდით ექსპერიმენტი

კარგი, ყველაზე მნიშვნელოვანი, რაც ახლა დანამდვილებით ვიცით არის ის, რომ პასუხში უფრო მეტი პროფილია, ვიდრე ისინი გვაჩვენებენ. ეს ნიშნავს, რომ ჩვენ შეგვიძლია მივიღოთ მეტი მონაცემები, მიუხედავად ლიმიტისა. მოდით ვცადოთ API-ის ამოღება თავად, პირდაპირ კონსოლიდან, fetch-ის გამოყენებით.

როგორც მოსალოდნელი იყო, მივიღებთ შეცდომას, 403. ეს არის უსაფრთხოების გამო, აქ ჩვენ არ ვაგზავნით CSRF ჟეტონს (CSRF ვიკიპედიაში. მოკლედ, თითოეულ მოთხოვნას ემატება უნიკალური ჟეტონი, რომელიც მოწმდება სერვერზე ავთენტურობისთვის).

მისი კოპირება შესაძლებელია ნებისმიერი სხვა წარმატებული მოთხოვნიდან ან ქუქიებიდან, სადაც ის ინახება "JSESSIONID" ველში.

სად ვიპოვოთ ჟეტონიკიდევ ერთი მოთხოვნის ხელმძღვანელი:

ან ქუქიებიდან, პირდაპირ კონსოლის მეშვეობით:

ვცადოთ კიდევ ერთხელ, ამჯერად გადავცემთ პარამეტრებს Fetch-ისთვის, რომელშიც სათაურში პარამეტრად ვაზუსტებთ ჩვენს csrf-token-ს.

წარმატებები, ჩვენ ვიღებთ 10-ვე პროფილს. :ტადა:

სათაურებში განსხვავების გამო, პასუხის სტრუქტურა ოდნავ განსხვავდება იმისგან, რაც მიღებულია თავდაპირველ მოთხოვნაში. თქვენ შეგიძლიათ მიიღოთ იგივე სტრუქტურა, თუ დაამატებთ "Accept: "application/vnd.linkedin.normalized+json+2.1" ჩვენს ობიექტს, csrf ნიშნის გვერდით.
პასუხის მაგალითი დამატებული სათაურით

მეტი Accept header-ის შესახებ

რა არის შემდეგი?

შემდეგ შეგიძლიათ დაარედაქტიროთ (ხელით ან ავტომატიზირებულად) `დაწყების` პარამეტრი, რაც მიუთითებს ინდექსზე, საიდანაც ჩვენ მოგეცემათ 10 პროფილი (ნაგულისხმევი = 0) ძიების მთელი შედეგიდან. სხვა სიტყვებით რომ ვთქვათ, ყოველი მოთხოვნის შემდეგ მისი 10-ით გაზრდით, ჩვენ ვიღებთ ჩვეულებრივ გვერდ-გვერდ გამომავალს, ერთდროულად 10 პროფილს.

ამ ეტაპზე მქონდა საკმარისი მონაცემები და თავისუფლება შინაური ცხოველების პროექტზე მუშაობის გასაგრძელებლად. მაგრამ ცოდვა იქნებოდა ამ მონაცემების ადგილზე ჩვენების არ მცდელობა, რადგან ის უკვე ხელთ იყო. ჩვენ არ შევალთ Ember-ში, რომელიც გამოიყენება წინა მხარეს. jQuery იყო დაკავშირებული საიტთან და, როდესაც ამოიღეთ ძირითადი სინტაქსის ცოდნა მეხსიერებაში, შეგიძლიათ შექმნათ შემდეგი რამდენიმე წუთში.

jQuery კოდი

/* рендер блока, принимаем данные профиля и вставляем блок в список профилей используя эти данные */
const  createProfileBlock = ({ headline, publicIdentifier, subline, title }) => {
    $('.search-results__list').append(
        `<li class="search-result search-result__occluded-item ember-view">
            <div class="search-entity search-result search-result--person search-result--occlusion-enabled ember-view">
                <div class="search-result__wrapper">
                    <div class="search-result__image-wrapper">
                        <a class="search-result__result-link ember-view" href="/ka/in/${publicIdentifier}/">
                            <figure class="search-result__image">
                                <div class="ivm-image-view-model ember-view">
                                    <img class="lazy-image ivm-view-attr__img--centered EntityPhoto-circle-4  presence-entity__image EntityPhoto-circle-4 loaded" src="http://www.userlogos.org/files/logos/give/Habrahabr3.png" />
                                </div>
                            </figure>
                        </a>
                    </div>
                    
                    <div class="search-result__info pt3 pb4 ph0">
                        <a class="search-result__result-link ember-view" href="/ka/in/${publicIdentifier}/">
                            <h3 class="actor-name-with-distance search-result__title single-line-truncate ember-view">
                                ${title.text}
                            </h3>
                        </a>

                        <p class="subline-level-1 t-14 t-black t-normal search-result__truncate">${headline.text}</p>

                        <p class="subline-level-2 t-12 t-black--light t-normal search-result__truncate">${subline.text}</p>
                    </div>
                </div>
            </div>
        <li>`
    );
};

// дергаем апи, получаем данные и рендерим профили
const fetchProfiles = () => {
    // токен
   const csrf = 'ajax:9082932176494192209';
    
   // объект с настройками запроса, передаем токен
   const settings = { headers: { 'csrf-token': csrf } }

    // урл запроса, с динамическим индексом старта в конце
   const url = `https://www.linkedin.com/voyager/api/search/blended?count=10&filters=List(geoRegion-%3Ejp%3A0,network-%3ES,resultType-%3EPEOPLE)&origin=FACETED_SEARCH&q=all&queryContext=List(spellCorrectionEnabled-%3Etrue,relatedSearchesEnabled-%3Etrue)&start=${nextItemIndex}`; 
    /* делаем запрос, для каждого профиля в ответе вызываем рендер блока, и после инкрементируем стартовый индекс на 10 */
    fetch(url, settings).then(response => response.json()).then(data => {
        data.elements[0].elements.forEach(createProfileBlock);
        nextItemIndex += 10;
});
};


// удаляем все профили из списка
$('.search-results__list').find('li').remove();
// вставляем кнопку загрузки профилей
$('.search-results__list').after('<button id="load-more">Load More</button>');
// добавляем функционал на кнопку
$('#load-more').addClass('artdeco-button').on('click', fetchProfiles);

// ставим по умолчания индекс профиля для запроса
window.nextItemIndex = 0;

თუ ამას პირდაპირ კონსოლში გააკეთებთ საძიებო გვერდზე, ის დაამატებს ღილაკს, რომელიც ყოველ დაწკაპუნებით იტვირთება 10 ახალ პროფილს და ასახავს მათ სიაში. რა თქმა უნდა, სანამ ამას გააკეთებთ, შეცვალეთ ჟეტონი და URL საჭიროზე. პროფილის ბლოკი შეიცავს სახელს, პოზიციას, მდებარეობას, პროფილის ბმულს და ადგილის დამჭერის სურათს.

დასკვნა

ამრიგად, მინიმალური ძალისხმევით, ჩვენ შევძელით სუსტი ადგილის პოვნა და შეზღუდვის გარეშე დაბრუნება. საკმარისი იყო მონაცემთა და მისი გზის ანალიზი, თავად მოთხოვნა.

ვერ ვიტყვი, რომ ეს სერიოზული პრობლემაა LinkedIn-ისთვის, რადგან ის არანაირ საფრთხეს არ წარმოადგენს. მაქსიმალური არის დაკარგული მოგება ასეთი „გადაჭრის“ გამო, რაც საშუალებას გაძლევთ თავიდან აიცილოთ პრემიის გადახდა. შესაძლოა, სერვერის ასეთი პასუხი აუცილებელია საიტის სხვა ნაწილების სწორი მუშაობისთვის, ან უბრალოდ დეველოპერების სიზარმაცე და რესურსების ნაკლებობაა, რაც არ იძლევა ამის კარგად გაკეთების საშუალებას. (შეზღუდვა გაჩნდა 2015 წლის იანვარში, მანამდე ლიმიტი არ იყო).

PS

ბუნებრივია, jQuery კოდი შესაძლებლობების საკმაოდ პრიმიტიული მაგალითია. ამ დროისთვის მე შევქმენი ბრაუზერის გაფართოება, რომელიც შეესაბამება ჩემს საჭიროებებს. ის ამატებს საკონტროლო ღილაკებს და ასახავს სრულ პროფილებს სურათებით, მოწვევის ღილაკით და ზოგადი კავშირებით. გარდა ამისა, ის დინამიურად აგროვებს ფილტრებს მდებარეობებისთვის, კომპანიებისთვის და სხვა ნივთებისთვის და ამოიღებს ტოკენს ქუქიებიდან. ასე რომ, არაფრის მყარი კოდირება აღარ არის საჭირო. კარგად, ის ამატებს პარამეტრების დამატებით ველებს, ანუ „რამდენი პროფილის მოთხოვნა ერთდროულად, 49-მდე“.

მე ჯერ კიდევ ვმუშაობ ამ დამატებაზე და ვგეგმავ მის გასაჯაროებას. დაწერე თუ გაინტერესებს.

წყარო: www.habr.com