एपीआई के साथ खेलकर लिंक्डइन की खोज सीमा को दरकिनार करना

सीमा

LinkedIn पर है ऐसी एक सीमा - व्यावसायिक उपयोग की सीमा. इसकी अत्यधिक संभावना है कि हाल तक मेरी तरह आपने भी इसका कभी सामना नहीं किया होगा या इसके बारे में नहीं सुना होगा।

सीमा का सार यह है कि यदि आप अपने संपर्कों के बाहर के लोगों की खोज का उपयोग अक्सर करते हैं (कोई सटीक मीट्रिक नहीं है, एल्गोरिदम आपके कार्यों के आधार पर निर्णय लेता है - आपने कितनी बार और कितने लोगों को खोजा, लोगों को जोड़ा), तो खोज परिणाम 1000 (डिफ़ॉल्ट 100 पेज, प्रति पेज 10 प्रोफाइल) के बजाय तीन प्रोफाइल तक सीमित रहेगा। सीमा प्रत्येक माह की शुरुआत में रीसेट की जाती है। सहज रूप में, प्रीमियम खातों में यह सीमा नहीं है.

लेकिन कुछ समय पहले, एक पसंदीदा प्रोजेक्ट के लिए, मैंने लिंक्डइन सर्च के साथ बहुत खेलना शुरू किया और अचानक यह सीमा आ गई। स्वाभाविक रूप से, मुझे यह बहुत पसंद नहीं आया, क्योंकि मैंने इसका उपयोग किसी भी व्यावसायिक उद्देश्य के लिए नहीं किया था, इसलिए मेरा पहला विचार सीमा का अध्ययन करना और उससे छुटकारा पाने का प्रयास करना था।

[एक महत्वपूर्ण स्पष्टीकरण: लेख की सामग्री केवल सूचनात्मक और शैक्षिक उद्देश्यों के लिए प्रस्तुत की गई है। लेखक व्यावसायिक उद्देश्यों के लिए उनके उपयोग को प्रोत्साहित नहीं करता है।]

हम समस्या का अध्ययन कर रहे हैं

हमारे पास: पेजिनेशन के साथ दस प्रोफ़ाइलों के बजाय, खोज केवल तीन लौटाती है, जिसके बाद एक प्रीमियम खाते की "सिफारिश" वाला एक ब्लॉक डाला जाता है और नीचे धुंधली और गैर-क्लिक करने योग्य प्रोफ़ाइल होती हैं।

तुरंत, हाथ इन छिपी हुई प्रोफाइलों को देखने के लिए डेवलपर कंसोल तक पहुंचता है - शायद हम कुछ धुंधली शैलियों को हटा सकते हैं, या मार्कअप में एक ब्लॉक से जानकारी निकाल सकते हैं। लेकिन, काफी उम्मीद के मुताबिक, ये प्रोफाइल उचित हैं प्लेसहोल्डर चित्र और कोई जानकारी संग्रहीत नहीं है.

ठीक है, अब आइए नेटवर्क टैब देखें और जांचें कि क्या वैकल्पिक खोज परिणाम जो केवल तीन प्रोफ़ाइल लौटाते हैं, वास्तव में काम करते हैं। हम "/api/search/blended" के लिए जिस अनुरोध में रुचि रखते हैं उसे ढूंढते हैं और प्रतिक्रिया को देखते हैं।

प्रोफ़ाइल `शामिल' सरणी में आती हैं, लेकिन इसमें पहले से ही 15 इकाइयां हैं, इस मामले में, उनमें से पहले तीन अतिरिक्त जानकारी वाली वस्तुएं हैं, प्रत्येक ऑब्जेक्ट में एक विशिष्ट प्रोफ़ाइल पर जानकारी होती है (उदाहरण के लिए, क्या प्रोफ़ाइल प्रीमियम है)। ).

अगले 12 वास्तविक प्रोफ़ाइल हैं - खोज परिणाम, जिनमें से केवल तीन हमें दिखाए जाएंगे। जैसा कि आप पहले से ही अनुमान लगा सकते हैं, यह केवल उन्हें दिखाता है जो अतिरिक्त जानकारी (पहले तीन ऑब्जेक्ट) प्राप्त करते हैं। उदाहरण के लिए, यदि आप बिना किसी सीमा के किसी प्रोफ़ाइल से उत्तर लेते हैं, तो आपको 28 इकाइयाँ प्राप्त होंगी - अतिरिक्त के साथ 10 वस्तुएँ। जानकारी और 18 प्रोफाइल।

बिना किसी सीमा के प्रोफ़ाइल के लिए उत्तर दें

10 से अधिक प्रोफ़ाइल क्यों आती हैं, हालाँकि ठीक 10 का अनुरोध किया जाता है, और वे किसी भी तरह से प्रदर्शन में भाग नहीं लेते हैं, यहाँ तक कि अगले पृष्ठ पर भी वे नहीं होंगे - मुझे अभी तक पता नहीं है। यदि आप अनुरोध URL का विश्लेषण करते हैं, तो आप देख सकते हैं कि गिनती = 10 (प्रतिक्रिया में कितनी प्रोफ़ाइल लौटानी है, अधिकतम 49)।

मुझे इस मामले पर कोई भी टिप्पणी पाकर खुशी होगी।

आइए प्रयोग करें

ठीक है, सबसे महत्वपूर्ण बात जो अब हम निश्चित रूप से जानते हैं वह यह है कि प्रतिक्रिया में जितनी प्रोफ़ाइलें हमें दिखाई जाती हैं उससे कहीं अधिक हैं। इसका मतलब है कि सीमा के बावजूद हम अधिक डेटा प्राप्त कर सकते हैं। आइए फ़ेच का उपयोग करके एपीआई को सीधे कंसोल से खींचने का प्रयास करें।

जैसा कि अपेक्षित था, हमें एक त्रुटि मिली, 403। यह सुरक्षा के कारण है, यहां हम सीएसआरएफ टोकन नहीं भेज रहे हैं (विकिपीडिया पर सीएसआरएफ. संक्षेप में, प्रत्येक अनुरोध में एक अद्वितीय टोकन जोड़ा जाता है, जिसे प्रामाणिकता के लिए सर्वर पर जांचा जाता है)।

इसे किसी अन्य सफल अनुरोध या कुकीज़ से कॉपी किया जा सकता है, जहां यह 'JSESSIONID' फ़ील्ड में संग्रहीत है।

टोकन कहां मिलेगाकिसी अन्य अनुरोध का शीर्षलेख:

या कुकीज़ से, सीधे कंसोल के माध्यम से:

आइए फिर से प्रयास करें, इस बार हम लाने के लिए सेटिंग्स पास करते हैं, जिसमें हम हेडर में एक पैरामीटर के रूप में अपना सीएसआरएफ-टोकन निर्दिष्ट करते हैं।

सफलता, हमें सभी 10 प्रोफ़ाइल प्राप्त हुईं। :टाडा:

हेडर में अंतर के कारण, प्रतिक्रिया की संरचना मूल अनुरोध में प्राप्त प्रतिक्रिया से थोड़ी भिन्न होती है। यदि आप हमारे ऑब्जेक्ट में सीएसआरएफ टोकन के आगे 'Accept: 'application/vnd.linkedin.normalized+json+2.1' जोड़ते हैं तो आप वही संरचना प्राप्त कर सकते हैं।
अतिरिक्त हेडर के साथ उदाहरण प्रतिक्रिया

स्वीकार करें हेडर के बारे में अधिक जानकारी

आगे क्या है?

फिर आप इंडेक्स की ओर इशारा करते हुए 'स्टार्ट' पैरामीटर को संपादित (मैन्युअल रूप से या स्वचालित) कर सकते हैं, जहां से शुरू करके हमें संपूर्ण खोज परिणाम से 10 प्रोफाइल (डिफ़ॉल्ट = 0) दिए जाएंगे। दूसरे शब्दों में, प्रत्येक अनुरोध के बाद इसे 10 तक बढ़ाकर, हमें सामान्य पृष्ठ-दर-पृष्ठ आउटपुट, एक समय में 10 प्रोफ़ाइल प्राप्त होती है।

इस स्तर पर मेरे पास पसंदीदा प्रोजेक्ट पर काम जारी रखने के लिए पर्याप्त डेटा और स्वतंत्रता थी। लेकिन इस डेटा को तुरंत मौके पर प्रदर्शित करने का प्रयास न करना पाप होता, क्योंकि यह पहले से ही हाथ में था। हम एम्बर में नहीं जाएंगे, जिसका उपयोग सामने किया जाता है। jQuery साइट से जुड़ा था, और मेमोरी में बुनियादी सिंटैक्स का ज्ञान प्राप्त करने के बाद, आप कुछ ही मिनटों में निम्नलिखित बना सकते हैं।

jQuery कोड

/* рендер блока, принимаем данные профиля и вставляем блок в список профилей используя эти данные */
const  createProfileBlock = ({ headline, publicIdentifier, subline, title }) => {
    $('.search-results__list').append(
        `<li class="search-result search-result__occluded-item ember-view">
            <div class="search-entity search-result search-result--person search-result--occlusion-enabled ember-view">
                <div class="search-result__wrapper">
                    <div class="search-result__image-wrapper">
                        <a class="search-result__result-link ember-view" href="/hi/in/${publicIdentifier}/">
                            <figure class="search-result__image">
                                <div class="ivm-image-view-model ember-view">
                                    <img class="lazy-image ivm-view-attr__img--centered EntityPhoto-circle-4  presence-entity__image EntityPhoto-circle-4 loaded" src="http://www.userlogos.org/files/logos/give/Habrahabr3.png" />
                                </div>
                            </figure>
                        </a>
                    </div>
                    
                    <div class="search-result__info pt3 pb4 ph0">
                        <a class="search-result__result-link ember-view" href="/hi/in/${publicIdentifier}/">
                            <h3 class="actor-name-with-distance search-result__title single-line-truncate ember-view">
                                ${title.text}
                            </h3>
                        </a>

                        <p class="subline-level-1 t-14 t-black t-normal search-result__truncate">${headline.text}</p>

                        <p class="subline-level-2 t-12 t-black--light t-normal search-result__truncate">${subline.text}</p>
                    </div>
                </div>
            </div>
        <li>`
    );
};

// дергаем апи, получаем данные и рендерим профили
const fetchProfiles = () => {
    // токен
   const csrf = 'ajax:9082932176494192209';
    
   // объект с настройками запроса, передаем токен
   const settings = { headers: { 'csrf-token': csrf } }

    // урл запроса, с динамическим индексом старта в конце
   const url = `https://www.linkedin.com/voyager/api/search/blended?count=10&filters=List(geoRegion-%3Ejp%3A0,network-%3ES,resultType-%3EPEOPLE)&origin=FACETED_SEARCH&q=all&queryContext=List(spellCorrectionEnabled-%3Etrue,relatedSearchesEnabled-%3Etrue)&start=${nextItemIndex}`; 
    /* делаем запрос, для каждого профиля в ответе вызываем рендер блока, и после инкрементируем стартовый индекс на 10 */
    fetch(url, settings).then(response => response.json()).then(data => {
        data.elements[0].elements.forEach(createProfileBlock);
        nextItemIndex += 10;
});
};


// удаляем все профили из списка
$('.search-results__list').find('li').remove();
// вставляем кнопку загрузки профилей
$('.search-results__list').after('<button id="load-more">Load More</button>');
// добавляем функционал на кнопку
$('#load-more').addClass('artdeco-button').on('click', fetchProfiles);

// ставим по умолчания индекс профиля для запроса
window.nextItemIndex = 0;

यदि आप इसे सीधे खोज पृष्ठ पर कंसोल में करते हैं, तो यह एक बटन जोड़ देगा जो प्रत्येक क्लिक के साथ 10 नए प्रोफाइल लोड करता है और उन्हें एक सूची में प्रस्तुत करता है। बेशक, ऐसा करने से पहले टोकन और यूआरएल को आवश्यक में बदल लें। प्रोफ़ाइल ब्लॉक में नाम, स्थिति, स्थान, प्रोफ़ाइल का लिंक और एक प्लेसहोल्डर छवि शामिल होगी।

निष्कर्ष

इस प्रकार, न्यूनतम प्रयास के साथ, हम कमजोर स्थान का पता लगाने और बिना किसी प्रतिबंध के अपनी खोज को पुनः प्राप्त करने में सक्षम हुए। यह डेटा और उसके पथ का विश्लेषण करने, अनुरोध पर गौर करने के लिए पर्याप्त था।

मैं यह नहीं कह सकता कि यह लिंक्डइन के लिए एक गंभीर समस्या है, क्योंकि इससे कोई खतरा नहीं है। ऐसे "वर्कअराउंड" के कारण लाभ की अधिकतम हानि होती है, जो आपको प्रीमियम के भुगतान से बचने की अनुमति देता है। शायद साइट के अन्य हिस्सों के सही संचालन के लिए ऐसी सर्वर प्रतिक्रिया आवश्यक है, या यह केवल डेवलपर्स का आलस्य और संसाधनों की कमी है जो इसे अच्छी तरह से करने की अनुमति नहीं देती है। (प्रतिबंध जनवरी 2015 में सामने आया; इससे पहले कोई सीमा नहीं थी)।

पुनश्च

स्वाभाविक रूप से, jQuery कोड क्षमताओं का एक आदिम उदाहरण है। फिलहाल मैंने अपनी आवश्यकताओं के अनुरूप एक ब्राउज़र एक्सटेंशन बनाया है। यह नियंत्रण बटन जोड़ता है और चित्रों, एक निमंत्रण बटन और सामान्य कनेक्शन के साथ पूर्ण प्रोफ़ाइल प्रस्तुत करता है। साथ ही, यह स्थानों, कंपनियों और अन्य चीज़ों के लिए गतिशील रूप से फ़िल्टर एकत्र करता है, और कुकीज़ से एक टोकन पुनर्प्राप्त करता है। इसलिए अब किसी भी चीज़ को हार्डकोड करने की कोई आवश्यकता नहीं है। खैर, यह अतिरिक्त सेटिंग फ़ील्ड जोड़ता है, साथ ही "एक समय में कितनी प्रोफ़ाइल का अनुरोध करना है, 49 तक।"

मैं अभी भी इस अतिरिक्त चीज़ पर काम कर रहा हूं और इसे जनता के लिए जारी करने की योजना बना रहा हूं। यदि आपकी रुचि हो तो लिखें.

स्रोत: www.habr.com