API सह खेळून LinkedIn ची शोध मर्यादा बायपास करणे

मर्यादा

LinkedIn वर अशी मर्यादा आहे - व्यावसायिक वापर मर्यादा. अगदी अलीकडच्या काळापर्यंत माझ्यासारखे तुम्हाला कधीच भेटले नसेल किंवा ऐकले नसेल.

मर्यादेचा सार असा आहे की जर तुम्ही तुमच्या संपर्कांबाहेरील लोकांचा शोध खूप वेळा वापरत असाल (तेथे कोणतेही अचूक मेट्रिक्स नाहीत, अल्गोरिदम तुमच्या कृतींवर आधारित ठरवते - तुम्ही किती वेळा आणि किती शोधले, लोकांना जोडले), तर शोध परिणाम 1000 ऐवजी तीन प्रोफाइलपर्यंत मर्यादित असेल ( डीफॉल्ट 100 पृष्ठे, प्रति पृष्ठ 10 प्रोफाइल). मर्यादा प्रत्येक महिन्याच्या सुरुवातीला रीसेट केली जाते. नैसर्गिकरित्या, प्रीमियम खात्यांना ही मर्यादा नाही.

पण काही काळापूर्वी, एका पाळीव प्राण्यांच्या प्रकल्पासाठी, मी LinkedIn शोध सह खूप खेळायला सुरुवात केली आणि अचानक ही मर्यादा आली. साहजिकच, मला हे फारसे आवडले नाही, कारण मी ते कोणत्याही व्यावसायिक हेतूसाठी वापरले नाही, म्हणून माझा पहिला विचार होता की मर्यादांचा अभ्यास करणे आणि त्याभोवती जाण्याचा प्रयत्न करणे.

[एक महत्त्वपूर्ण स्पष्टीकरण: लेखातील सामग्री केवळ माहिती आणि शैक्षणिक हेतूंसाठी सादर केली गेली आहे. लेखक व्यावसायिक हेतूंसाठी त्यांचा वापर करण्यास प्रोत्साहित करत नाही.]

आम्ही समस्येचा अभ्यास करत आहोत

आमच्याकडे आहे: पृष्ठांकनासह दहा प्रोफाइलऐवजी, शोध फक्त तीन देतो, त्यानंतर प्रीमियम खात्याच्या "शिफारस" असलेला ब्लॉक घातला जातो आणि खाली अस्पष्ट आणि क्लिक न करता येणारी प्रोफाइल आहेत.

ताबडतोब, या लपविलेल्या प्रोफाइल पाहण्यासाठी हात डेव्हलपर कन्सोलकडे पोहोचतो - कदाचित आम्ही काही अस्पष्ट शैली काढू शकतो किंवा मार्कअपमधील ब्लॉकमधून माहिती काढू शकतो. परंतु, अगदी अपेक्षितपणे, ही प्रोफाइल फक्त आहेत प्लेसहोल्डर चित्रे आणि कोणतीही माहिती साठवली जात नाही.

ठीक आहे, आता नेटवर्क टॅब पाहू आणि पर्यायी शोध परिणाम जे फक्त तीन प्रोफाइल देतात ते प्रत्यक्षात काम करतात का ते तपासू. आम्हाला "/api/search/blended" साठी स्वारस्य असलेली विनंती आढळली आणि प्रतिसाद पहा.

प्रोफाइल एका `समाविष्ट` अॅरेमध्ये येतात, परंतु त्यामध्ये आधीपासून 15 संस्था आहेत. या प्रकरणात, त्यापैकी पहिले तीन अतिरिक्त माहिती असलेल्या वस्तू आहेत, प्रत्येक ऑब्जेक्टमध्ये विशिष्ट प्रोफाइलवर माहिती असते (उदाहरणार्थ, प्रोफाइल प्रीमियम आहे की नाही. ).

पुढील 12 वास्तविक प्रोफाइल आहेत - शोध परिणाम, त्यापैकी फक्त तीन आम्हाला दर्शविले जातील. जसे तुम्ही आधीच अंदाज लावू शकता, ते फक्त त्यांनाच दाखवते ज्यांना अतिरिक्त माहिती मिळते (पहिल्या तीन वस्तू). उदाहरणार्थ, तुम्ही मर्यादेशिवाय प्रोफाइलमधून उत्तर घेतल्यास, तुम्हाला 28 संस्था मिळतील - 10 वस्तू अतिरिक्त असतील. माहिती आणि 18 प्रोफाइल.

मर्यादेशिवाय प्रोफाइलसाठी उत्तर द्या

10 पेक्षा जास्त प्रोफाइल का येतात, जरी अगदी 10 ची विनंती केली गेली असली, आणि ते कोणत्याही प्रकारे प्रदर्शनात भाग घेत नाहीत, अगदी पुढच्या पृष्ठावरही ते नसतील - मला अद्याप माहित नाही. तुम्ही विनंती URL चे विश्लेषण केल्यास, तुम्ही ती संख्या = 10 (प्रतिसादामध्ये किती प्रोफाइल परत करायच्या आहेत, कमाल 49) पाहू शकता.

या विषयावर कोणत्याही टिप्पण्या मिळाल्यास मला आनंद होईल.

चला प्रयोग करूया

ठीक आहे, आम्हाला आता खात्रीने माहित असलेली सर्वात महत्वाची गोष्ट ही आहे की प्रतिसादात ते आम्हाला दाखवतात त्यापेक्षा अधिक प्रोफाइल आहेत. याचा अर्थ मर्यादा असूनही आम्ही अधिक डेटा मिळवू शकतो. फेच वापरून थेट कन्सोलवरून API स्वतः खेचण्याचा प्रयत्न करूया.

अपेक्षेप्रमाणे, आम्हाला एक त्रुटी, 403 मिळाली. हे सुरक्षिततेमुळे आहे, येथे आम्ही CSRF टोकन पाठवत नाही (विकिपीडियावर CSRF. थोडक्यात, प्रत्येक विनंतीवर एक अद्वितीय टोकन जोडले जाते, जे सर्व्हरवर सत्यतेसाठी तपासले जाते).

ती इतर कोणत्याही यशस्वी विनंतीवरून किंवा कुकीजमधून कॉपी केली जाऊ शकते, जिथे ती 'JSESSIONID' फील्डमध्ये संग्रहित केली जाते.

टोकन कुठे मिळेलदुसर्‍या विनंतीचा शीर्षलेख:

किंवा कुकीजमधून, थेट कन्सोलद्वारे:

चला पुन्हा प्रयत्न करूया, यावेळी आपण सेटिंग्ज आणण्यासाठी पास करू, ज्यामध्ये आपण हेडरमध्ये पॅरामीटर म्हणून csrf-टोकन निर्दिष्ट करतो.

यशस्वी, आम्ही सर्व 10 प्रोफाइल प्राप्त करतो. :टाडा:

हेडरमधील फरकामुळे, प्रतिसादाची रचना मूळ विनंतीपेक्षा थोडी वेगळी आहे. तुम्ही आमच्या ऑब्जेक्टमध्ये csrf टोकनच्या पुढे 'Accept:'application/vnd.linkedin.normalized+json+2.1' जोडल्यास तुम्हाला तीच रचना मिळेल.
जोडलेल्या शीर्षलेखासह उदाहरण प्रतिसाद

स्वीकार शीर्षलेख बद्दल अधिक

पुढील काय आहे?

त्यानंतर तुम्ही 'स्टार्ट' पॅरामीटर संपादित (मॅन्युअली किंवा ऑटोमेट) करू शकता, निर्देशांकाकडे निर्देश करून, ज्यापासून आम्हाला संपूर्ण शोध परिणामातून 10 प्रोफाइल (डिफॉल्ट = 0) दिले जातील. दुसऱ्या शब्दांत, प्रत्येक विनंतीनंतर 10 ने वाढवून, आम्हाला नेहमीचे पृष्ठ-दर-पृष्ठ आउटपुट, एका वेळी 10 प्रोफाइल मिळतात.

या टप्प्यावर, माझ्याकडे पाळीव प्राणी प्रकल्पावर काम सुरू ठेवण्यासाठी पुरेसा डेटा आणि स्वातंत्र्य होते. परंतु हा डेटा आधीच हाताशी असल्याने तो जागेवरच प्रदर्शित करण्याचा प्रयत्न न करणे लाजिरवाणे ठरले असते. आम्ही एम्बरमध्ये जाणार नाही, जे समोर वापरले जाते. jQuery साइटशी जोडली गेली होती, आणि मेमरीमधील मूलभूत वाक्यरचनाचे ज्ञान शोधून काढल्यानंतर, तुम्ही काही मिनिटांत खालील तयार करू शकता.

jQuery कोड

/* рендер блока, принимаем данные профиля и вставляем блок в список профилей используя эти данные */
const  createProfileBlock = ({ headline, publicIdentifier, subline, title }) => {
    $('.search-results__list').append(
        `<li class="search-result search-result__occluded-item ember-view">
            <div class="search-entity search-result search-result--person search-result--occlusion-enabled ember-view">
                <div class="search-result__wrapper">
                    <div class="search-result__image-wrapper">
                        <a class="search-result__result-link ember-view" href="/mr/in/${publicIdentifier}/">
                            <figure class="search-result__image">
                                <div class="ivm-image-view-model ember-view">
                                    <img class="lazy-image ivm-view-attr__img--centered EntityPhoto-circle-4  presence-entity__image EntityPhoto-circle-4 loaded" src="http://www.userlogos.org/files/logos/give/Habrahabr3.png" />
                                </div>
                            </figure>
                        </a>
                    </div>
                    
                    <div class="search-result__info pt3 pb4 ph0">
                        <a class="search-result__result-link ember-view" href="/mr/in/${publicIdentifier}/">
                            <h3 class="actor-name-with-distance search-result__title single-line-truncate ember-view">
                                ${title.text}
                            </h3>
                        </a>

                        <p class="subline-level-1 t-14 t-black t-normal search-result__truncate">${headline.text}</p>

                        <p class="subline-level-2 t-12 t-black--light t-normal search-result__truncate">${subline.text}</p>
                    </div>
                </div>
            </div>
        <li>`
    );
};

// дергаем апи, получаем данные и рендерим профили
const fetchProfiles = () => {
    // токен
   const csrf = 'ajax:9082932176494192209';
    
   // объект с настройками запроса, передаем токен
   const settings = { headers: { 'csrf-token': csrf } }

    // урл запроса, с динамическим индексом старта в конце
   const url = `https://www.linkedin.com/voyager/api/search/blended?count=10&filters=List(geoRegion-%3Ejp%3A0,network-%3ES,resultType-%3EPEOPLE)&origin=FACETED_SEARCH&q=all&queryContext=List(spellCorrectionEnabled-%3Etrue,relatedSearchesEnabled-%3Etrue)&start=${nextItemIndex}`; 
    /* делаем запрос, для каждого профиля в ответе вызываем рендер блока, и после инкрементируем стартовый индекс на 10 */
    fetch(url, settings).then(response => response.json()).then(data => {
        data.elements[0].elements.forEach(createProfileBlock);
        nextItemIndex += 10;
});
};


// удаляем все профили из списка
$('.search-results__list').find('li').remove();
// вставляем кнопку загрузки профилей
$('.search-results__list').after('<button id="load-more">Load More</button>');
// добавляем функционал на кнопку
$('#load-more').addClass('artdeco-button').on('click', fetchProfiles);

// ставим по умолчания индекс профиля для запроса
window.nextItemIndex = 0;

तुम्ही हे शोध पेजवरील कन्सोलमध्ये थेट केल्यास, ते एक बटण जोडेल जे प्रत्येक क्लिकवर 10 नवीन प्रोफाइल लोड करेल आणि त्यांना सूचीमध्ये प्रस्तुत करेल. अर्थात, हे करण्यापूर्वी टोकन आणि URL आवश्यक त्यामध्ये बदला. प्रोफाइल ब्लॉकमध्ये नाव, स्थान, स्थान, प्रोफाइलची लिंक आणि प्लेसहोल्डर इमेज असेल.

निष्कर्ष

अशा प्रकारे, कमीत कमी प्रयत्नाने, आम्ही कमकुवत जागा शोधण्यात आणि निर्बंधांशिवाय आमचा शोध पुन्हा मिळवण्यात सक्षम झालो. डेटा आणि त्याच्या मार्गाचे विश्लेषण करणे पुरेसे आहे, विनंती स्वतःच पहा.

लिंक्डइनसाठी ही एक गंभीर समस्या आहे असे मी म्हणू शकत नाही, कारण यामुळे कोणताही धोका नाही. अशा "वर्कअराउंड्स" मुळे जास्तीत जास्त नफा गमावला जातो, ज्यामुळे तुम्हाला प्रीमियम भरणे टाळता येते. साइटच्या इतर भागांच्या योग्य ऑपरेशनसाठी कदाचित असा सर्व्हर प्रतिसाद आवश्यक असेल किंवा ते फक्त विकासकांचा आळशीपणा आणि संसाधनांची कमतरता आहे जी ते चांगले होऊ देत नाही. (मर्यादा जानेवारी 2015 मध्ये दिसून आली; याआधी मर्यादा नव्हती).

PS

साहजिकच, jQuery कोड हे क्षमतांचे एक प्राचीन उदाहरण आहे. याक्षणी मी माझ्या गरजेनुसार ब्राउझर विस्तार तयार केला आहे. हे नियंत्रण बटणे जोडते आणि चित्रे, आमंत्रण बटण आणि सामान्य कनेक्शनसह पूर्ण प्रोफाइल प्रस्तुत करते. शिवाय, ते स्थाने, कंपन्या आणि इतर गोष्टींसाठी डायनॅमिकरित्या फिल्टर गोळा करते आणि कुकीजमधून टोकन पुनर्प्राप्त करते. त्यामुळे आता काहीही हार्डकोड करण्याची गरज नाही. बरं, ते अतिरिक्त सेटिंग्ज फील्ड जोडते, एक la "एकावेळी किती प्रोफाइलची विनंती करायची, 49 पर्यंत."

मी अजूनही या जोडणीवर काम करत आहे आणि ते लोकांसाठी सोडण्याची योजना आहे. तुम्हाला स्वारस्य असल्यास लिहा.

स्त्रोत: www.habr.com