API सँग खेलेर LinkedIn को खोज सीमा बाइपास गर्दै

सीमा

LinkedIn मा यस्तो सीमा छ - व्यावसायिक उपयोग सीमा। यो अत्यन्तै सम्भव छ कि तपाईं, म जस्तै हाल सम्म, यो कहिल्यै सामना वा सुनेको छैन।

सीमाको सार यो हो कि यदि तपाइँ तपाइँको सम्पर्कहरू बाहिरका व्यक्तिहरूको खोजी धेरै पटक प्रयोग गर्नुहुन्छ (त्यहाँ कुनै सटीक मेट्रिकहरू छैनन्, एल्गोरिदमले तपाइँको कार्यहरूको आधारमा निर्णय गर्दछ - तपाइँले कति पटक र कति खोज्नुभयो, मानिसहरू थप्नुभयो), त्यसपछि खोज परिणाम 1000 को सट्टा तीन प्रोफाइलहरूमा सीमित हुनेछ (पूर्वनिर्धारित 100 पृष्ठहरू, प्रति पृष्ठ 10 प्रोफाइलहरू)। सीमा प्रत्येक महिनाको सुरुमा रिसेट गरिएको छ। स्वाभाविक रूपमा, प्रिमियम खाताहरूमा यो सीमा छैन.

तर केही समय अघि, एउटा पाल्तु जनावर परियोजनाको लागि, मैले LinkedIn खोजसँग धेरै खेल्न थालेँ र अचानक यो सीमा प्राप्त भयो। स्वाभाविक रूपमा, मलाई यो धेरै मन परेन, किनकि मैले यसलाई कुनै पनि व्यावसायिक उद्देश्यका लागि प्रयोग गरिन, त्यसैले मेरो पहिलो विचार सीमितता अध्ययन गर्ने र यसको वरिपरि पुग्न प्रयास गर्ने थियो।

[एउटा महत्त्वपूर्ण स्पष्टीकरण: लेखमा भएका सामग्रीहरू सूचना र शैक्षिक उद्देश्यका लागि मात्र प्रस्तुत गरिएका छन्। लेखकले व्यावसायिक उद्देश्यका लागि तिनीहरूको प्रयोगलाई प्रोत्साहन गर्दैनन्।]

समस्याको अध्ययन गरिरहेका छौं

हामीसँग छ: पृष्ठांकनको साथ दस प्रोफाइलहरूको सट्टा, खोजले केवल तीन फर्काउँछ, त्यसपछि प्रिमियम खाताको "सिफारिस" भएको ब्लक सम्मिलित हुन्छ र तल धमिलो र क्लिक गर्न योग्य प्रोफाइलहरू छन्।

तुरुन्तै, हात यी लुकेका प्रोफाइलहरू हेर्नको लागि विकासकर्ता कन्सोलमा पुग्छ - सायद हामी केही धमिलो शैलीहरू हटाउन सक्छौं, वा मार्कअपमा रहेको ब्लकबाट जानकारी निकाल्न सक्छौं। तर, एकदम अपेक्षित रूपमा, यी प्रोफाइलहरू मात्र हुन् प्लेसहोल्डर चित्रहरू र कुनै जानकारी भण्डारण गरिएको छैन।

ठीक छ, अब सञ्जाल ट्याब हेरौं र जाँच गरौं कि वैकल्पिक खोज परिणामहरू जसले केवल तीन प्रोफाइलहरू मात्र काम गर्दछ। हामीले "/api/search/blended" को लागि रुचि राखेको अनुरोध फेला पार्छौं र प्रतिक्रिया हेर्छौं।

प्रोफाइलहरू एक `समावेशित` एरेमा आउँछन्, तर त्यहाँ पहिले नै 15 संस्थाहरू छन्। यस अवस्थामा, तिनीहरूमध्ये पहिलो तीन वस्तुहरू थप जानकारी भएका वस्तुहरू हुन्, प्रत्येक वस्तुले एक विशिष्ट प्रोफाइलमा जानकारी समावेश गर्दछ (उदाहरणका लागि, प्रोफाइल प्रिमियम हो कि होइन। )।

अर्को 12 वास्तविक प्रोफाइलहरू छन् - खोज परिणामहरू, जसमध्ये केवल तीन हामीलाई देखाइनेछ। तपाईले पहिले नै अनुमान गर्न सक्नुहुन्छ, यसले थप जानकारी (पहिलो तीन वस्तुहरू) प्राप्त गर्नेहरूलाई मात्र देखाउँछ। उदाहरणका लागि, यदि तपाईंले कुनै सीमा बिना प्रोफाइलबाट जवाफ लिनुभयो भने, तपाईंले 28 संस्थाहरू प्राप्त गर्नुहुनेछ - थप 10 वस्तुहरू। जानकारी र 18 प्रोफाइलहरू।

सीमा बिना प्रोफाइल को लागी जवाफ

किन 10 भन्दा बढी प्रोफाइलहरू आइपुग्छन्, यद्यपि 10 वटा अनुरोध गरिएको छ, र तिनीहरू कुनै पनि तरिकाले प्रदर्शनमा भाग लिँदैनन्, अर्को पृष्ठमा पनि तिनीहरू हुनेछैनन् - मलाई अझै थाहा छैन। यदि तपाइँ अनुरोध URL को विश्लेषण गर्नुहुन्छ भने, तपाइँ त्यो गणना = 10 (प्रतिक्रियामा कति प्रोफाइलहरू फर्काउन, अधिकतम 49) देख्न सक्नुहुन्छ।

म यस विषयमा कुनै पनि टिप्पणी प्राप्त गर्न खुसी हुनेछु।

प्रयोग गरौं

ठीक छ, हामीले अब निश्चित रूपमा थाहा पाएको सबैभन्दा महत्त्वपूर्ण कुरा भनेको प्रतिक्रियामा उनीहरूले हामीलाई देखाउने भन्दा धेरै प्रोफाइलहरू छन्। यसको मतलब हामी सीमाको बावजुद थप डेटा प्राप्त गर्न सक्छौं। फेच प्रयोग गरेर, कन्सोलबाट सीधा API आफैं तान्न प्रयास गरौं।

अपेक्षित रूपमा, हामीले एउटा त्रुटि पाउँछौं, 403। यो सुरक्षाको कारणले हो, यहाँ हामी CSRF टोकन पठाउँदै छैनौं (विकिपीडियामा CSRF। संक्षेपमा, प्रत्येक अनुरोधमा एक अद्वितीय टोकन थपिएको छ, जुन प्रामाणिकताको लागि सर्भरमा जाँच गरिन्छ)।

यो कुनै पनि अन्य सफल अनुरोध वा कुकीहरूबाट प्रतिलिपि गर्न सकिन्छ, जहाँ यसलाई 'JSESSIONID' फिल्डमा भण्डार गरिएको छ।

टोकन कहाँ फेला पार्नअर्को अनुरोधको शीर्षक:

वा कुकीहरूबाट, सीधा कन्सोल मार्फत:

फेरि प्रयास गरौं, यस पटक हामीले फेच गर्न सेटिङहरू पास गर्छौं, जसमा हामीले हेडरमा प्यारामिटरको रूपमा हाम्रो csrf-टोकन निर्दिष्ट गर्छौं।

सफलता, हामी सबै 10 प्रोफाइल प्राप्त। : tada:

हेडरहरूमा भिन्नताका कारण, प्रतिक्रियाको संरचना मूल अनुरोधमा प्राप्त भएको भन्दा अलि फरक छ। यदि तपाईंले csrf टोकनको छेउमा हाम्रो वस्तुमा 'Accept: 'application/vnd.linkedin.normalized+json+2.1' थप्नुभयो भने तपाईंले समान संरचना प्राप्त गर्न सक्नुहुन्छ।
थपिएको हेडरको साथ उदाहरण प्रतिक्रिया

स्वीकार हेडर बारे थप

के अर्को छ?

त्यसपछि तपाईले सम्पादन गर्न सक्नुहुन्छ (म्यानुअल रूपमा वा स्वचालित) `सुरुवात` प्यारामिटर, अनुक्रमणिकामा देखाउँदै, जसबाट हामीलाई सम्पूर्ण खोज परिणामबाट १० प्रोफाईलहरू (पूर्वनिर्धारित = ०) दिइनेछ। अर्को शब्दमा, प्रत्येक अनुरोध पछि यसलाई 10 द्वारा बढाएर, हामी सामान्य पृष्ठ-द्वारा-पृष्ठ आउटपुट, एक पटकमा 0 प्रोफाइलहरू प्राप्त गर्छौं।

यस चरणमा मसँग पाल्तु जनावर परियोजनामा ​​काम जारी राख्न पर्याप्त डाटा र स्वतन्त्रता थियो। तर यो पहिले नै हातमा भएकोले यो डाटा सही ठाउँमा प्रदर्शन गर्न प्रयास नगर्नु पाप हुनेछ। हामी एम्बरमा जानेछैनौं, जुन अगाडि प्रयोग गरिन्छ। jQuery साइटमा जडान गरिएको थियो, र मेमोरीमा आधारभूत वाक्यविन्यासको ज्ञान खोसेर, तपाईंले केही मिनेटमा निम्न सिर्जना गर्न सक्नुहुन्छ।

jQuery कोड

/* рендер блока, принимаем данные профиля и вставляем блок в список профилей используя эти данные */
const  createProfileBlock = ({ headline, publicIdentifier, subline, title }) => {
    $('.search-results__list').append(
        `<li class="search-result search-result__occluded-item ember-view">
            <div class="search-entity search-result search-result--person search-result--occlusion-enabled ember-view">
                <div class="search-result__wrapper">
                    <div class="search-result__image-wrapper">
                        <a class="search-result__result-link ember-view" href="/ne/in/${publicIdentifier}/">
                            <figure class="search-result__image">
                                <div class="ivm-image-view-model ember-view">
                                    <img class="lazy-image ivm-view-attr__img--centered EntityPhoto-circle-4  presence-entity__image EntityPhoto-circle-4 loaded" src="http://www.userlogos.org/files/logos/give/Habrahabr3.png" />
                                </div>
                            </figure>
                        </a>
                    </div>
                    
                    <div class="search-result__info pt3 pb4 ph0">
                        <a class="search-result__result-link ember-view" href="/ne/in/${publicIdentifier}/">
                            <h3 class="actor-name-with-distance search-result__title single-line-truncate ember-view">
                                ${title.text}
                            </h3>
                        </a>

                        <p class="subline-level-1 t-14 t-black t-normal search-result__truncate">${headline.text}</p>

                        <p class="subline-level-2 t-12 t-black--light t-normal search-result__truncate">${subline.text}</p>
                    </div>
                </div>
            </div>
        <li>`
    );
};

// дергаем апи, получаем данные и рендерим профили
const fetchProfiles = () => {
    // токен
   const csrf = 'ajax:9082932176494192209';
    
   // объект с настройками запроса, передаем токен
   const settings = { headers: { 'csrf-token': csrf } }

    // урл запроса, с динамическим индексом старта в конце
   const url = `https://www.linkedin.com/voyager/api/search/blended?count=10&filters=List(geoRegion-%3Ejp%3A0,network-%3ES,resultType-%3EPEOPLE)&origin=FACETED_SEARCH&q=all&queryContext=List(spellCorrectionEnabled-%3Etrue,relatedSearchesEnabled-%3Etrue)&start=${nextItemIndex}`; 
    /* делаем запрос, для каждого профиля в ответе вызываем рендер блока, и после инкрементируем стартовый индекс на 10 */
    fetch(url, settings).then(response => response.json()).then(data => {
        data.elements[0].elements.forEach(createProfileBlock);
        nextItemIndex += 10;
});
};


// удаляем все профили из списка
$('.search-results__list').find('li').remove();
// вставляем кнопку загрузки профилей
$('.search-results__list').after('<button id="load-more">Load More</button>');
// добавляем функционал на кнопку
$('#load-more').addClass('artdeco-button').on('click', fetchProfiles);

// ставим по умолчания индекс профиля для запроса
window.nextItemIndex = 0;

यदि तपाइँ यसलाई खोज पृष्ठमा कन्सोलमा सिधै गर्नुहुन्छ भने, यसले एउटा बटन थप्नेछ जसले प्रत्येक क्लिकमा 10 नयाँ प्रोफाइलहरू लोड गर्दछ र तिनीहरूलाई सूचीमा रेन्डर गर्दछ। अवश्य पनि, यो गर्नु अघि टोकन र URL लाई आवश्यक एकमा परिवर्तन गर्नुहोस्। प्रोफाइल ब्लकमा नाम, स्थिति, स्थान, प्रोफाइलको लिङ्क र प्लेसहोल्डर छवि समावेश हुनेछ।

निष्कर्षमा

यसरी, न्यूनतम प्रयासको साथ, हामीले कमजोर स्थान पत्ता लगाउन र प्रतिबन्ध बिना हाम्रो खोज पुन: प्राप्त गर्न सक्षम भयौं। यो डाटा र यसको मार्ग विश्लेषण गर्न पर्याप्त थियो, अनुरोध आफैमा हेर्नुहोस्।

म भन्न सक्दिन कि यो LinkedIn को लागी एक गम्भीर समस्या हो, किनकि यसले कुनै खतरा उत्पन्न गर्दैन। त्यस्ता "वर्कअराउन्डहरू" को कारणले अधिकतम नाफा गुमेको छ, जसले तपाईंलाई प्रिमियमको लागि भुक्तान गर्नबाट बच्न अनुमति दिन्छ। सायद यस्तो सर्भर प्रतिक्रिया साइट को अन्य भागहरु को सही अपरेशन को लागी आवश्यक छ, वा यो केवल विकासकर्ताहरु को आलस्य र संसाधन को कमी हो कि यो राम्रो गर्न को लागी अनुमति दिदैन। (सीमा जनवरी 2015 मा देखा पर्‍यो; यस अघि कुनै सीमा थिएन)।

PS

स्वाभाविक रूपमा, jQuery कोड क्षमताहरूको बरु आदिम उदाहरण हो। यस समयमा मैले मेरो आवश्यकताहरू अनुरूप ब्राउजर विस्तार सिर्जना गरेको छु। यसले नियन्त्रण बटनहरू थप्छ र तस्विरहरू, निमन्त्रणा बटन र सामान्य जडानहरू सहित पूर्ण प्रोफाइलहरू रेन्डर गर्दछ। साथै, यसले गतिशील रूपमा स्थानहरू, कम्पनीहरू र अन्य चीजहरूको लागि फिल्टरहरू सङ्कलन गर्दछ, र कुकीहरूबाट टोकन पुन: प्राप्त गर्दछ। त्यसैले अब केहि हार्डकोड गर्न आवश्यक छैन। ठिक छ, यसले अतिरिक्त सेटिङ फिल्डहरू थप्छ, a la "एक पटकमा कति प्रोफाइलहरू अनुरोध गर्ने, 49 सम्म।"

म अझै यो थपमा काम गरिरहेको छु र यसलाई सार्वजनिक गर्ने योजना छ। यदि तपाइँ इच्छुक हुनुहुन्छ भने लेख्नुहोस्।

स्रोत: www.habr.com