API এর সাথে খেলার মাধ্যমে LinkedIn এর অনুসন্ধান সীমা বাইপাস করা

সীমাবদ্ধতা

লিঙ্কডইনে এমন একটি সীমাবদ্ধতা রয়েছে - বাণিজ্যিক ব্যবহারের সীমা. এটা খুবই সম্ভব যে আপনি, আমার মত, সম্প্রতি পর্যন্ত, এটি সম্মুখীন বা শুনেছেন না.

সীমার সারমর্ম হল যে আপনি যদি আপনার পরিচিতির বাইরের লোকেদের জন্য খুব ঘন ঘন অনুসন্ধান ব্যবহার করেন (কোনও সঠিক মেট্রিক্স নেই, অ্যালগরিদম আপনার কর্মের উপর ভিত্তি করে সিদ্ধান্ত নেয় - আপনি কত ঘন ঘন এবং কতটা অনুসন্ধান করেছেন, লোকেদের যোগ করেছেন), তাহলে অনুসন্ধানের ফলাফল 1000 এর পরিবর্তে তিনটি প্রোফাইলে সীমাবদ্ধ থাকবে ( ডিফল্ট 100 পৃষ্ঠা, প্রতি পৃষ্ঠায় 10 প্রোফাইল)। প্রতি মাসের শুরুতে সীমা রিসেট করা হয়। স্বাভাবিকভাবে, প্রিমিয়াম অ্যাকাউন্টের এই সীমাবদ্ধতা নেই.

কিন্তু খুব বেশি দিন আগে, একটি পোষা প্রকল্পের জন্য, আমি লিঙ্কডইন অনুসন্ধানের সাথে অনেক খেলা শুরু করেছি এবং হঠাৎ এই সীমাবদ্ধতা পেয়েছি। স্বাভাবিকভাবেই, আমি এটি খুব পছন্দ করিনি, কারণ আমি এটি কোনও বাণিজ্যিক উদ্দেশ্যে ব্যবহার করিনি, তাই আমার প্রথম চিন্তা ছিল সীমাবদ্ধতা অধ্যয়ন করা এবং এটির কাছাকাছি যাওয়ার চেষ্টা করা।

[একটি গুরুত্বপূর্ণ ব্যাখ্যা: নিবন্ধের উপকরণগুলি শুধুমাত্র তথ্যগত এবং শিক্ষামূলক উদ্দেশ্যে উপস্থাপন করা হয়েছে। লেখক বাণিজ্যিক উদ্দেশ্যে তাদের ব্যবহার উৎসাহিত করেন না।]

আমরা সমস্যা অধ্যয়নরত

আমাদের আছে: পেজিনেশন সহ দশটি প্রোফাইলের পরিবর্তে, অনুসন্ধানটি কেবল তিনটি প্রদান করে, তারপরে একটি প্রিমিয়াম অ্যাকাউন্টের "সুপারিশ" সহ একটি ব্লক সন্নিবেশ করা হয় এবং নীচে অস্পষ্ট এবং অ-ক্লিকযোগ্য প্রোফাইল রয়েছে৷

অবিলম্বে, এই লুকানো প্রোফাইলগুলি দেখার জন্য হাতটি বিকাশকারী কনসোলের কাছে পৌঁছায় - সম্ভবত আমরা কিছু অস্পষ্ট শৈলী মুছে ফেলতে পারি বা মার্কআপের একটি ব্লক থেকে তথ্য বের করতে পারি। কিন্তু, বেশ প্রত্যাশিতভাবে, এই প্রোফাইলগুলি ঠিক স্থানধারক ছবি এবং কোন তথ্য সংরক্ষণ করা হয় না।

ঠিক আছে, এখন নেটওয়ার্ক ট্যাবটি দেখুন এবং পরীক্ষা করুন যে বিকল্প অনুসন্ধান ফলাফলগুলি যা শুধুমাত্র তিনটি প্রোফাইল দেয় তা আসলে কাজ করে কিনা। আমরা “/api/search/blended”-এর জন্য যে অনুরোধে আগ্রহী তা খুঁজে পাই এবং প্রতিক্রিয়াটি দেখি।

প্রোফাইলগুলি একটি `অন্তর্ভুক্ত` অ্যারেতে আসে, কিন্তু এর মধ্যে ইতিমধ্যেই 15টি সত্তা রয়েছে৷ এই ক্ষেত্রে, তাদের মধ্যে প্রথম তিনটি বস্তু অতিরিক্ত তথ্য সহ, প্রতিটি বস্তুতে একটি নির্দিষ্ট প্রোফাইলের তথ্য রয়েছে (উদাহরণস্বরূপ, প্রোফাইলটি প্রিমিয়াম কিনা )

পরবর্তী 12টি আসল প্রোফাইল - অনুসন্ধান ফলাফল, যার মধ্যে শুধুমাত্র তিনটি আমাদের দেখানো হবে৷ আপনি ইতিমধ্যে অনুমান করতে পারেন, এটি শুধুমাত্র তাদের দেখায় যারা অতিরিক্ত তথ্য (প্রথম তিনটি বস্তু) গ্রহণ করে। উদাহরণস্বরূপ, যদি আপনি একটি সীমা ছাড়াই একটি প্রোফাইল থেকে উত্তর নেন, আপনি 28টি সত্তা পাবেন - অতিরিক্ত সহ 10টি বস্তু৷ তথ্য এবং 18টি প্রোফাইল।

সীমা ছাড়া প্রোফাইলের জন্য উত্তর

কেন 10 টির বেশি প্রোফাইল আসে, যদিও ঠিক 10টি অনুরোধ করা হয়েছে, এবং তারা কোনওভাবেই প্রদর্শনে অংশ নেয় না, এমনকি পরবর্তী পৃষ্ঠায় তারা থাকবে না - আমি এখনও জানি না। আপনি যদি অনুরোধের URL বিশ্লেষণ করেন, আপনি দেখতে পাবেন যে গণনা=10 (প্রতিক্রিয়ায় কতগুলি প্রোফাইল ফিরতে হবে, সর্বোচ্চ 49)।

আমি এই বিষয়ে কোন মন্তব্য পেয়ে খুশি হবে.

পরীক্ষা করা যাক

ঠিক আছে, সবচেয়ে গুরুত্বপূর্ণ জিনিসটি আমরা এখন নিশ্চিতভাবে জানি যে প্রতিক্রিয়াতে তারা আমাদের দেখানোর চেয়ে বেশি প্রোফাইল রয়েছে। এর মানে সীমা থাকা সত্ত্বেও আমরা আরও ডেটা পেতে পারি। আসুন ফেচ ব্যবহার করে সরাসরি কনসোল থেকে এপিআই টানার চেষ্টা করি।

প্রত্যাশিত হিসাবে, আমরা একটি ত্রুটি পেয়েছি, 403। এটি নিরাপত্তার কারণে, এখানে আমরা একটি CSRF টোকেন পাঠাচ্ছি না (উইকিপিডিয়াতে CSRF. সংক্ষেপে, প্রতিটি অনুরোধে একটি অনন্য টোকেন যোগ করা হয়, যা সত্যতার জন্য সার্ভারে পরীক্ষা করা হয়)।

এটি অন্য কোনো সফল অনুরোধ থেকে বা কুকি থেকে অনুলিপি করা যেতে পারে, যেখানে এটি 'JSESSIONID' ক্ষেত্রে সংরক্ষণ করা হয়।

টোকেন কোথায় পাবেনঅন্য অনুরোধের শিরোনাম:

অথবা কুকিজ থেকে, সরাসরি কনসোলের মাধ্যমে:

আসুন আবার চেষ্টা করি, এইবার আমরা সেটিংসটি আনতে পাস করি, যেখানে আমরা হেডারে একটি প্যারামিটার হিসাবে আমাদের csrf-টোকেন নির্দিষ্ট করি।

সাফল্য, আমরা সব 10 প্রোফাইল গ্রহণ. :তাদা:

শিরোনামগুলির পার্থক্যের কারণে, প্রতিক্রিয়ার গঠনটি মূল অনুরোধে যা পাওয়া যায় তার থেকে কিছুটা আলাদা। csrf টোকেনের পাশে আমাদের অবজেক্টে 'Accept:'application/vnd.linkedin.normalized+json+2.1' যোগ করলে আপনি একই কাঠামো পেতে পারেন।
যোগ শিরোনাম সহ উদাহরণ প্রতিক্রিয়া

স্বীকার শিরোনাম সম্পর্কে আরো

এরপরে কী?

তারপরে আপনি সূচীতে নির্দেশ করে `স্টার্ট` প্যারামিটারটি সম্পাদনা (ম্যানুয়ালি বা স্বয়ংক্রিয়) করতে পারেন, যেখান থেকে পুরো অনুসন্ধান ফলাফল থেকে আমাদের 10টি প্রোফাইল (ডিফল্ট = 0) দেওয়া হবে। অন্য কথায়, প্রতিটি অনুরোধের পরে এটি 10 ​​দ্বারা বৃদ্ধি করে, আমরা সাধারণ পৃষ্ঠা-দ্বারা-পৃষ্ঠা আউটপুট, একবারে 10টি প্রোফাইল পাই।

এই পর্যায়ে আমার পোষা প্রকল্পে কাজ চালিয়ে যাওয়ার জন্য যথেষ্ট ডেটা এবং স্বাধীনতা ছিল। কিন্তু এই তথ্যটি ঘটনাস্থলেই প্রদর্শন করার চেষ্টা না করা একটি পাপ হবে, যেহেতু এটি ইতিমধ্যে হাতে ছিল। আমরা এমবারে যাব না, যা সামনে ব্যবহৃত হয়। jQuery সাইটের সাথে সংযুক্ত ছিল, এবং মেমরিতে মৌলিক সিনট্যাক্সের জ্ঞান খনন করে, আপনি কয়েক মিনিটের মধ্যে নিম্নলিখিতগুলি তৈরি করতে পারেন।

jQuery কোড

/* рендер блока, принимаем данные профиля и вставляем блок в список профилей используя эти данные */
const  createProfileBlock = ({ headline, publicIdentifier, subline, title }) => {
    $('.search-results__list').append(
        `<li class="search-result search-result__occluded-item ember-view">
            <div class="search-entity search-result search-result--person search-result--occlusion-enabled ember-view">
                <div class="search-result__wrapper">
                    <div class="search-result__image-wrapper">
                        <a class="search-result__result-link ember-view" href="/bn/in/${publicIdentifier}/">
                            <figure class="search-result__image">
                                <div class="ivm-image-view-model ember-view">
                                    <img class="lazy-image ivm-view-attr__img--centered EntityPhoto-circle-4  presence-entity__image EntityPhoto-circle-4 loaded" src="http://www.userlogos.org/files/logos/give/Habrahabr3.png" />
                                </div>
                            </figure>
                        </a>
                    </div>
                    
                    <div class="search-result__info pt3 pb4 ph0">
                        <a class="search-result__result-link ember-view" href="/bn/in/${publicIdentifier}/">
                            <h3 class="actor-name-with-distance search-result__title single-line-truncate ember-view">
                                ${title.text}
                            </h3>
                        </a>

                        <p class="subline-level-1 t-14 t-black t-normal search-result__truncate">${headline.text}</p>

                        <p class="subline-level-2 t-12 t-black--light t-normal search-result__truncate">${subline.text}</p>
                    </div>
                </div>
            </div>
        <li>`
    );
};

// дергаем апи, получаем данные и рендерим профили
const fetchProfiles = () => {
    // токен
   const csrf = 'ajax:9082932176494192209';
    
   // объект с настройками запроса, передаем токен
   const settings = { headers: { 'csrf-token': csrf } }

    // урл запроса, с динамическим индексом старта в конце
   const url = `https://www.linkedin.com/voyager/api/search/blended?count=10&filters=List(geoRegion-%3Ejp%3A0,network-%3ES,resultType-%3EPEOPLE)&origin=FACETED_SEARCH&q=all&queryContext=List(spellCorrectionEnabled-%3Etrue,relatedSearchesEnabled-%3Etrue)&start=${nextItemIndex}`; 
    /* делаем запрос, для каждого профиля в ответе вызываем рендер блока, и после инкрементируем стартовый индекс на 10 */
    fetch(url, settings).then(response => response.json()).then(data => {
        data.elements[0].elements.forEach(createProfileBlock);
        nextItemIndex += 10;
});
};


// удаляем все профили из списка
$('.search-results__list').find('li').remove();
// вставляем кнопку загрузки профилей
$('.search-results__list').after('<button id="load-more">Load More</button>');
// добавляем функционал на кнопку
$('#load-more').addClass('artdeco-button').on('click', fetchProfiles);

// ставим по умолчания индекс профиля для запроса
window.nextItemIndex = 0;

আপনি যদি অনুসন্ধান পৃষ্ঠার কনসোলে সরাসরি এটি করেন তবে এটি একটি বোতাম যুক্ত করবে যা প্রতিটি ক্লিকের সাথে 10টি নতুন প্রোফাইল লোড করে এবং একটি তালিকায় রেন্ডার করে। অবশ্যই, এটি করার আগে প্রয়োজনীয় টোকেন এবং URL পরিবর্তন করুন। প্রোফাইল ব্লকে নাম, অবস্থান, অবস্থান, প্রোফাইলের লিঙ্ক এবং একটি স্থানধারক চিত্র থাকবে।

উপসংহার

এইভাবে, ন্যূনতম প্রচেষ্টার সাথে, আমরা দুর্বল স্থানটি খুঁজে পেতে এবং সীমাবদ্ধতা ছাড়াই আমাদের অনুসন্ধান পুনরুদ্ধার করতে সক্ষম হয়েছি। এটি ডেটা এবং এর পথ বিশ্লেষণ করার জন্য যথেষ্ট ছিল, অনুরোধটি নিজেই দেখুন।

আমি বলতে পারি না যে এটি লিঙ্কডইনের জন্য একটি গুরুতর সমস্যা, কারণ এটি কোন হুমকি সৃষ্টি করে না। এই ধরনের "ওয়ার্কঅ্যারাউন্ডস" এর কারণে সর্বাধিক লাভ হারানো হয়, যা আপনাকে প্রিমিয়ামের জন্য অর্থ প্রদান এড়াতে দেয়। সম্ভবত এই ধরনের একটি সার্ভার প্রতিক্রিয়া সাইটের অন্যান্য অংশের সঠিক ক্রিয়াকলাপের জন্য প্রয়োজনীয়, বা এটি কেবল বিকাশকারীদের অলসতা এবং সংস্থানগুলির অভাব যা এটিকে ভালভাবে করতে দেয় না। (সীমাবদ্ধতা 2015 সালের জানুয়ারিতে উপস্থিত হয়েছিল; এর আগে কোনও সীমা ছিল না)।

দ্রষ্টব্য

স্বাভাবিকভাবেই, jQuery কোডটি ক্ষমতাগুলির একটি বরং আদিম উদাহরণ। এই মুহুর্তে আমি আমার প্রয়োজন অনুসারে একটি ব্রাউজার এক্সটেনশন তৈরি করেছি। এটি নিয়ন্ত্রণ বোতাম যোগ করে এবং ছবি, একটি আমন্ত্রণ বোতাম এবং সাধারণ সংযোগ সহ সম্পূর্ণ প্রোফাইল রেন্ডার করে। এছাড়াও, এটি গতিশীলভাবে অবস্থান, কোম্পানি এবং অন্যান্য জিনিসের জন্য ফিল্টার সংগ্রহ করে এবং কুকিজ থেকে একটি টোকেন পুনরুদ্ধার করে। তাই আর কিছু হার্ডকোড করার দরকার নেই। ঠিক আছে, এটি অতিরিক্ত সেটিংস ক্ষেত্র যোগ করে, একটি la "এক সময়ে কতগুলি প্রোফাইল অনুরোধ করতে হবে, 49 পর্যন্ত।"

আমি এখনও এই সংযোজনে কাজ করছি এবং এটি জনসাধারণের কাছে প্রকাশ করার পরিকল্পনা করছি। আপনি আগ্রহী হলে লিখুন.

উত্স: www.habr.com