🥇Vi kringgår LinkedIn-sökbegränsningen genom att leka med API

Gräns

Det finns en sådan begränsning på LinkedIn — Begränsning för kommersiellt bruk. Det är mycket troligt att du, precis som jag fram till nyligen, aldrig har stött på eller hört talas om det.

Kärnan i begränsningen är att om du använder sökfunktionen för att leta efter människor utanför dina kontakter för ofta (exakta mått finns inte, det avgör algoritmen baserat på dina aktiviteter — hur ofta och mycket du har sökt, lagt till personer), så kommer sökresultatet att begränsas till tre profiler istället för 1000 (standard är 100 sidor med 10 profiler per sida). Begränsningen återställs i början av varje månad. Såklart, premiummedlemskap har ingen sådan begränsning.

Men nyligen, för ett pet-projekt, började jag experimentera mycket med sökningen på LinkedIn och plötsligt fick jag denna begränsning. Naturligtvis gillade jag inte det, eftersom jag inte använde det i något kommersiellt syfte, så den första tanken var att studera begränsningen och försöka kringgå den.

[Viktig anmärkning — materialet i artikeln presenteras enbart i informativa och utbildande syften. Författaren uppmuntrar inte deras användning för kommersiella ändamål.]

Vi undersöker problemet

Vi ser: istället för tio profiler med paginering, ger sökningen endast tre, efter vilka en ruta med "rekommendation" för premiummedlemskap dyker upp och nedan visas otydliga och icke-klickbara profiler.

Hälen dras direkt mot utvecklarkonsolen för att se dessa dolda profiler — kanske kan vi ta bort några stilar som sätter blur, eller extrahera information från rutan i strukturen. Men, som förväntat, dessa profiler är bara bildmasker och lagrar ingen information.

Bra, nu kollar vi fliken Nätverk och kontrollerar om det verkligen aktiverar en alternativ resultatlista för sökmotorn, som bara returnerar tre profiler. Vi hittar den intressanta begäran till "/api/search/blended" och tittar på svaret.

Profiler kommer i en array `included`, men det finns hela 15 enheter i den. I detta fall är de första tre av dem objekt med tilläggsinformation, där varje objekt innehåller information om en specifik profil (till exempel om profilen är premium).

De följande 12 är verkliga profiler – sökresultat där vi bara kommer att visa tre. Som man kan gissa visar det bara de som får ytterligare information (de första tre posterna). Till exempel, med ett svar från en profil utan gräns, kommer 28 enheter – 10 objekt med tilläggsinformation och 18 profiler.

Svar för profil utan gräns

Varför kommer fler profiler än 10, när det efterfrågas exakt 10, och de deltar inte i visningen, inte ens på nästa sida kommer de att finnas – vet inte ännu. Om man analyserar URL:en för förfrågan kan man se att count=10 (hur många profiler som ska returneras i svaret, max 49).

Jag skulle uppskatta alla kommentarer om detta.

Vi experimenterar

Bra, det viktigaste är att vi nu vet säkert – det kommer fler profiler i svaret än vad vi ser. Det betyder att vi kan hämta mer data, trots gränsen. Låt oss försöka hämta API:t själva, direkt från konsolen, med hjälp av fetch.

Som förväntat får vi ett fel, 403. Det är relaterat till säkerheten, här skickar vi inte CSRF-token (CSRF på Wikipedia. För att sammanfatta – till varje begäran läggs en unik token till, som kontrolleras på servern för äkthet).

Den kan kopieras från en annan framgångsrik begäran eller från cookies, där den lagras i fältet 'JSESSIONID'.

Var hittar man tokenRubriken för en annan förfrågan:

Eller från cookies, direkt genom konsolen:

Vi försöker igen, den här gången skickar vi inställningar i fetch, där vi anger vår csrf-token som en parameter i headern.

Framgång, vi får alla 10 profiler. :tada:

På grund av skillnader i rubrikerna skiljer sig svaret något från vad som kommer i den ursprungliga förfrågan. Man kan få samma struktur om man lägger till 'Accept: 'application/vnd.linkedin.normalized+json+2.1', till vårt objekt, bredvid csrf-token.
Exempel på svar med tillagd header

Mer om headern Accept

Vad händer härnäst?

Därefter kan man redigera (manuellt eller automatiskt) parametern `start`, som anger indexet från vilket vi får 10 profiler (standard = 0) från hela sökresultatet. Med andra ord, genom att öka det med 10 efter varje begäran får vi en vanlig paginering, med 10 profiler åt gången.

I det här skedet hade jag tillräckligt med data och frihet för att fortsätta arbeta med mitt pet-projekt. Men det skulle vara en synd att inte försöka visa dessa data direkt, nu när jag hade dem. Vi kommer inte att gå in i Ember, som används på framsidan. jQuery var kopplat på sidan, och genom att friska upp minnet av grundläggande syntax kan jag på några minuter skapa följande.

Kod på jQuery

/* рендер блока, принимаем данные профиля и вставляем блок в список профилей используя эти данные */
const  createProfileBlock = ({ headline, publicIdentifier, subline, title }) => {
    $('.search-results__list').append(
        `<li class="search-result search-result__occluded-item ember-view">
            <div class="search-entity search-result search-result--person search-result--occlusion-enabled ember-view">
                <div class="search-result__wrapper">
                    <div class="search-result__image-wrapper">
                        <a class="search-result__result-link ember-view" href="/sv/in/${publicIdentifier}/">
                            <figure class="search-result__image">
                                <div class="ivm-image-view-model ember-view">
                                    <img class="lazy-image ivm-view-attr__img--centered EntityPhoto-circle-4  presence-entity__image EntityPhoto-circle-4 loaded" src="http://www.userlogos.org/files/logos/give/Habrahabr3.png" />
                                </div>
                            </figure>
                        </a>
                    </div>
                    
                    <div class="search-result__info pt3 pb4 ph0">
                        <a class="search-result__result-link ember-view" href="/sv/in/${publicIdentifier}/">
                            <h3 class="actor-name-with-distance search-result__title single-line-truncate ember-view">
                                ${title.text}
                            </h3>
                        </a>

                        <p class="subline-level-1 t-14 t-black t-normal search-result__truncate">${headline.text}</p>

                        <p class="subline-level-2 t-12 t-black--light t-normal search-result__truncate">${subline.text}</p>
                    </div>
                </div>
            </div>
        <li>`
 );
};

// Hämtar API, får data och renderar profiler
const fetchProfiles = () =&gt; {
 // token
 const csrf = 'ajax:9082932176494192209';
 
 // objekt med inställningar för förfrågan, skickar token
 const settings = { headers: { 'csrf-token': csrf } }

 // URL för förfrågan, med dynamiskt startindex i slutet
 const url = `https://www.linkedin.com/voyager/api/search/blended?count=10&amp;filters=List(geoRegion-jp0,network-S,resultType-PEOPLE)&amp;origin=FACETED_SEARCH&amp;q=all&amp;queryContext=List(spellCorrectionEnabled-true,relatedSearchesEnabled-true)&amp;start=${nextItemIndex}`;
 /* Gör förfrågan, för varje profil i svaret kallar vi på renderingsblock och inkrementerar startindex med 10 */
 fetch(url, settings).then(response =&gt; response.json()).then(data =&gt; {
 data.elements[0].elements.forEach(createProfileBlock);
 nextItemIndex += 10;
});
};


// Tar bort alla profiler från listan
$('.search-results__list').find('li').remove();
// Sätter in knapp för att ladda profiler
$('.search-results__list').after('<button id="load-more">Ladda fler</button>');
// lägger till funktionalitet för knappen
$('#load-more').addClass('artdeco-button').on('click', fetchProfiles);

// sätter som standard profilindex för förfrågan
window.nextItemIndex = 0;

Om du kör detta direkt i konsolen på sö sidan, kommer det att lägga till en knapp som laddar 10 nya profiler varje gång den trycks och renderar dem som en lista. Självklart måste token och URL ändras först. Profilsrutan kommer att innehålla namn, titel, plats, länk till profil och en placeholder-bild.

Slutsats

På så sätt, med minimala insatser, lyckades vi hitta en sårbarhet och få tillbaka en obegränsad sökning. Det räckte med att analysera data och deras väg, och kolla själva förfrågan.

Jag kan inte säga att detta utgör ett allvarligt problem för LinkedIn, eftersom det inte innebär någon hot. Som mest är det förlorad inkomst på grund av sådana "arbetsomvägar" som möjliggör att man kan slippa betala för premium. Kanske behövs ett sådant serversvar för att andra delar av webbplatsen ska fungera korrekt, eller så är det helt enkelt brist på utvecklarnas resurser som förhindrar en bra lösning. (Begränsningen introducerades i januari 2015, innan dess fanns det inga gränser).

P.S.

Självklart är koden på jQuery ett ganska primitivt exempel på möjligheterna. Just nu har jag skapat en extension för webbläsaren för mina behov. Den lägger till kontrollknappar och renderar fullständiga profiler med bilder, inbjudningsknapp och gemensamma kontakter. Dessutom samlar den dynamiskt filtren för platser, företag och mer, och hämtar token från kakor. Så jag behöver inte hårdkoda något längre. Den lägger också till ytterligare inställningsfält, som "hur många profiler man ska begära åt gången, upp till 49".

Jag arbetar fortfarande med detta tillägg och planerar att lägga upp det offentligt. Skriv om du är intresserad.

Källa: habr.com