עקיפת מגבלת החיפוש של LinkedIn על ידי משחק עם ה-API

לְהַגבִּיל

יש מגבלה כזו בלינקדאין - מגבלת שימוש מסחרי. סביר מאוד להניח שאתה, כמוני עד לאחרונה, מעולם לא נתקלת או שמעת על כך.

מהות המגבלה היא שאם אתה משתמש בחיפוש אחר אנשים מחוץ לאנשי הקשר שלך לעתים קרובות מדי (אין מדדים מדויקים, האלגוריתם מחליט על סמך הפעולות שלך - באיזו תדירות וכמה חיפשת, הוספת אנשים), אז תוצאת החיפוש יוגבל לשלושה פרופילים, במקום 1000 (ברירת מחדל 100 עמודים, 10 פרופילים בעמוד). המגבלה מתאפסת בתחילת כל חודש. באופן טבעי, לחשבונות פרימיום אין מגבלה זו.

אבל לא מזמן, לפרויקט חיות מחמד, התחלתי לשחק הרבה בחיפוש בלינקדאין ופתאום קיבלתי את המגבלה הזו. באופן טבעי, לא אהבתי את זה במיוחד, כי לא השתמשתי בו לשום מטרה מסחרית, אז המחשבה הראשונה שלי הייתה ללמוד את המגבלה ולנסות לעקוף אותה.

[הבהרה חשובה: החומרים במאמר מוצגים אך ורק למטרות מידע וחינוכיות. המחבר אינו מעודד שימוש בהם למטרות מסחריות.]

אנחנו חוקרים את הבעיה

יש לנו: במקום עשרה פרופילים עם עימוד, החיפוש מחזיר רק שלושה, לאחר מכן מוכנס בלוק עם "המלצה" של חשבון פרימיום ולמטה פרופילים מטושטשים ולא ניתנים ללחיצה.

מיד, היד מושיטה יד אל קונסולת המפתחים כדי להסתכל על הפרופילים הנסתרים הללו - אולי נוכל להסיר כמה סגנונות מטשטשים, או לחלץ מידע מבלוק בסימון. אבל, באופן די צפוי, הפרופילים האלה הם צודקים תמונות מצייני מיקום ושום מידע לא נשמר.

אוקיי, עכשיו בואו נסתכל על הכרטיסייה רשת ונבדוק אם תוצאות החיפוש החלופיות שמחזירות רק שלושה פרופילים אכן עובדות. אנו מוצאים את הבקשה שאנו מעוניינים בה עבור "/api/search/blended" ומסתכלים על התגובה.

פרופילים מגיעים במערך `כלול`, אך יש בו כבר 15 ישויות. במקרה זה, שלושת הראשונים מהם הם אובייקטים עם מידע נוסף, כל אובייקט מכיל מידע על פרופיל ספציפי (לדוגמה, האם הפרופיל הוא פרימיום ).

12 הבאים הם פרופילים אמיתיים - תוצאות חיפוש, מתוכן רק שלוש יוצגו לנו. כפי שאתם כבר יכולים לנחש, הוא מציג רק את אלה שמקבלים מידע נוסף (שלושת האובייקטים הראשונים). לדוגמה, אם תיקחו את התשובה מפרופיל ללא הגבלה, תקבלו 28 ישויות - 10 אובייקטים עם תוספת. מידע ו-18 פרופילים.

תשובה לפרופיל ללא הגבלה

למה מגיעים יותר מ-10 פרופילים, למרות שמתבקשים בדיוק 10, והם לא משתתפים בתצוגה בשום אופן, אפילו בעמוד הבא הם לא יהיו - אני לא יודע עדיין. אם תנתח את כתובת האתר של הבקשה, תוכל לראות ש-count=10 (כמה פרופילים להחזיר בתגובה, מקסימום 49).

אשמח לקבל כל הערה בנושא.

בואו להתנסות

אוקיי, הדבר הכי חשוב שאנחנו יודעים עכשיו בוודאות הוא שיש יותר פרופילים בתגובה ממה שהם מראים לנו. זה אומר שאנחנו יכולים לקבל יותר נתונים, למרות המגבלה. בואו ננסה למשוך את ה-API בעצמנו, ישירות מהמסוף, באמצעות אחזור.

כצפוי, אנו מקבלים שגיאה, 403. זה נובע מאבטחה, כאן אנחנו לא שולחים אסימון CSRF (CSRF בויקיפדיה. בקיצור, לכל בקשה מתווסף אסימון ייחודי, שנבדק בשרת לאותנטיות).

ניתן להעתיק אותו מכל בקשה מוצלחת אחרת או מעוגיות, שם הוא מאוחסן בשדה 'JSESSIONID'.

היכן למצוא את האסימוןכותרת בקשה אחרת:

או מעוגיות, ישירות דרך המסוף:

בואו ננסה שוב, הפעם נעביר את ההגדרות לשליפה, בהן אנו מציינים את ה-csrf-token שלנו כפרמטר בכותרת.

בהצלחה, אנו מקבלים את כל 10 הפרופילים. :טאדה:

בשל השוני בכותרות, מבנה התגובה שונה במקצת ממה שמתקבל בבקשה המקורית. אתה יכול לקבל את אותו מבנה אם תוסיף 'קבל: 'application/vnd.linkedin.normalized+json+2.1' לאובייקט שלנו, ליד אסימון csrf.
תגובה לדוגמה עם כותרת נוספת

עוד על הכותרת Accept

מה הלאה?

לאחר מכן תוכל לערוך (ידנית או אוטומטית) את פרמטר `התחל`, מצביע על האינדקס, שמתחיל ממנו נקבל 10 פרופילים (ברירת מחדל = 0) מכל תוצאת החיפוש. במילים אחרות, על ידי הגדלה ב-10 לאחר כל בקשה, אנו מקבלים את הפלט הרגיל של עמוד אחר עמוד, 10 פרופילים בכל פעם.

בשלב זה היה לי מספיק נתונים וחופש להמשיך לעבוד על פרויקט חיית המחמד. אבל זה היה חטא לא לנסות להציג את הנתונים האלה ממש במקום, שכן הם כבר היו בהישג יד. לא ניכנס לאמבר, המשמשת בחזית. jQuery היה מחובר לאתר, ולאחר שחפרת את הידע של תחביר בסיסי בזיכרון, אתה יכול ליצור את הדברים הבאים תוך מספר דקות.

קוד jQuery

/* рендер блока, принимаем данные профиля и вставляем блок в список профилей используя эти данные */
const  createProfileBlock = ({ headline, publicIdentifier, subline, title }) => {
    $('.search-results__list').append(
        `<li class="search-result search-result__occluded-item ember-view">
            <div class="search-entity search-result search-result--person search-result--occlusion-enabled ember-view">
                <div class="search-result__wrapper">
                    <div class="search-result__image-wrapper">
                        <a class="search-result__result-link ember-view" href="/iw/in/${publicIdentifier}/">
                            <figure class="search-result__image">
                                <div class="ivm-image-view-model ember-view">
                                    <img class="lazy-image ivm-view-attr__img--centered EntityPhoto-circle-4  presence-entity__image EntityPhoto-circle-4 loaded" src="http://www.userlogos.org/files/logos/give/Habrahabr3.png" />
                                </div>
                            </figure>
                        </a>
                    </div>
                    
                    <div class="search-result__info pt3 pb4 ph0">
                        <a class="search-result__result-link ember-view" href="/iw/in/${publicIdentifier}/">
                            <h3 class="actor-name-with-distance search-result__title single-line-truncate ember-view">
                                ${title.text}
                            </h3>
                        </a>

                        <p class="subline-level-1 t-14 t-black t-normal search-result__truncate">${headline.text}</p>

                        <p class="subline-level-2 t-12 t-black--light t-normal search-result__truncate">${subline.text}</p>
                    </div>
                </div>
            </div>
        <li>`
    );
};

// дергаем апи, получаем данные и рендерим профили
const fetchProfiles = () => {
    // токен
   const csrf = 'ajax:9082932176494192209';
    
   // объект с настройками запроса, передаем токен
   const settings = { headers: { 'csrf-token': csrf } }

    // урл запроса, с динамическим индексом старта в конце
   const url = `https://www.linkedin.com/voyager/api/search/blended?count=10&filters=List(geoRegion-%3Ejp%3A0,network-%3ES,resultType-%3EPEOPLE)&origin=FACETED_SEARCH&q=all&queryContext=List(spellCorrectionEnabled-%3Etrue,relatedSearchesEnabled-%3Etrue)&start=${nextItemIndex}`; 
    /* делаем запрос, для каждого профиля в ответе вызываем рендер блока, и после инкрементируем стартовый индекс на 10 */
    fetch(url, settings).then(response => response.json()).then(data => {
        data.elements[0].elements.forEach(createProfileBlock);
        nextItemIndex += 10;
});
};


// удаляем все профили из списка
$('.search-results__list').find('li').remove();
// вставляем кнопку загрузки профилей
$('.search-results__list').after('<button id="load-more">Load More</button>');
// добавляем функционал на кнопку
$('#load-more').addClass('artdeco-button').on('click', fetchProfiles);

// ставим по умолчания индекс профиля для запроса
window.nextItemIndex = 0;

אם תעשה זאת ישירות בקונסולה בדף החיפוש, הוא יוסיף כפתור שיטען 10 פרופילים חדשים בכל לחיצה ויציג אותם ברשימה. כמובן, שנה את האסימון ואת כתובת האתר לאחד הנדרש לפני שתעשה זאת. בלוק הפרופיל יכיל את השם, המיקום, המיקום, הקישור לפרופיל ותמונת מציין מיקום.

מסקנה

כך, במינימום מאמץ, הצלחנו למצוא את נקודת התורפה ולהחזיר את החיפוש שלנו ללא הגבלות. מספיק היה לנתח את הנתונים ואת הדרך שלהם, להסתכל על הבקשה עצמה.

אני לא יכול לומר שזו בעיה רצינית עבור לינקדאין, כי זה לא מהווה שום איום. המקסימום הוא רווח אובד עקב "דרכים לעקיפת הבעיה", מה שמאפשר לך להימנע מתשלום עבור פרמיה. אולי תגובת שרת כזו נחוצה לתפעול נכון של חלקים אחרים באתר, או שזו פשוט עצלנות של המפתחים ומחסור במשאבים שלא מאפשרים לעשות זאת היטב. (ההגבלה הופיעה בינואר 2015; לפני כן לא הייתה מגבלה).

נ.ב.

באופן טבעי, קוד jQuery הוא דוגמה פרימיטיבית למדי ליכולות. כרגע יצרתי תוסף לדפדפן שיתאים לצרכים שלי. הוא מוסיף לחצני שליטה ומציג פרופילים מלאים עם תמונות, כפתור הזמנה וחיבורים כלליים. בנוסף, הוא אוסף באופן דינמי מסננים עבור מיקומים, חברות ודברים אחרים, ומחזיר אסימון מקובצי Cookie. אז אין צורך בקוד קשה יותר שום דבר. ובכן, זה מוסיף שדות הגדרות נוספים, א-לה "כמה פרופילים לבקש בכל פעם, עד 49."

אני עדיין עובד על התוספת הזו ומתכנן לשחרר אותה לציבור. כתבו אם אתם מעוניינים.

מקור: www.habr.com