API를 사용하여 LinkedIn의 검색 제한 우회

한도

LinkedIn에는 이러한 제한이 있습니다. 상업적 이용 제한. 당신은 나처럼 최근까지 한 번도 접해본 적도 들어본 적도 없을 가능성이 매우 높다.

제한의 본질은 연락처 외부의 사람에 대한 검색을 너무 자주 사용하는 경우(정확한 측정항목이 없으며 알고리즘은 사용자의 작업(검색 빈도 및 횟수, 사람 추가)을 기반으로 결정), 검색 결과는 다음과 같습니다. 프로필은 1000개가 아닌 100개로 제한됩니다(기본값은 10페이지, 페이지당 프로필 XNUMX개). 한도는 매월 초에 재설정됩니다. 당연히, 프리미엄 계정에는 이러한 제한이 없습니다.

그런데 얼마 전 애완동물 프로젝트를 위해 LinkedIn 검색을 많이 하기 시작했는데 갑자기 이런 제한이 생겼습니다. 당연히 저는 이것이 그다지 마음에 들지 않았습니다. 상업적인 목적으로 사용하지 않았기 때문에 먼저 한계를 연구하고 극복하려고 노력했습니다.

[중요한 설명: 기사의 자료는 정보 제공 및 교육 목적으로만 제공됩니다. 저자는 상업적 목적으로의 사용을 권장하지 않습니다.]

우리는 문제를 연구하고 있습니다

우리는 페이지 매김이 있는 XNUMX개의 프로필 대신 검색에서 XNUMX개만 반환한 다음 프리미엄 계정의 "추천"이 있는 블록이 삽입되고 아래에는 흐릿하고 클릭할 수 없는 프로필이 있습니다.

즉시 손은 이러한 숨겨진 프로필을 보기 위해 개발자 콘솔에 손을 뻗습니다. 아마도 흐릿한 스타일을 제거하거나 마크업의 블록에서 정보를 추출할 수 있을 것입니다. 그러나 예상대로 이러한 프로필은 자리 표시자 사진 어떤 정보도 저장되지 않습니다.

이제 네트워크 탭을 살펴보고 세 개의 프로필만 반환하는 대체 검색 결과가 실제로 작동하는지 확인해 보겠습니다. "/api/search/blended"에 대해 관심 있는 요청을 찾고 응답을 살펴봅니다.

프로필은 '포함' 배열로 제공되지만 그 안에 이미 15개의 엔터티가 있습니다. 이 경우 처음 세 개는 추가 정보가 포함된 개체이며 각 개체에는 특정 프로필에 대한 정보가 포함되어 있습니다(예: 프로필이 프리미엄인지 여부) ).

다음 12개는 실제 프로필입니다. 검색 결과 중 28개만 표시됩니다. 이미 추측할 수 있듯이 추가 정보를 받은 사람(처음 세 개체)만 표시됩니다. 예를 들어 제한 없이 프로필에서 답변을 가져오면 10개의 엔터티(추가 개체 포함 18개)를 받게 됩니다. 정보 및 XNUMX개의 프로필.

제한 없이 프로필에 대한 답변

정확히 10개가 요청되었음에도 불구하고 10개가 넘는 프로필이 도착하고 어떤 식으로든 디스플레이에 참여하지 않고 다음 페이지에서도 참여하지 않는 이유는 아직 모르겠습니다. 요청 URL을 분석하면 count=10(응답으로 반환할 프로필 수, 최대 49개)임을 확인할 수 있습니다.

이 문제에 대한 어떤 의견이라도 환영합니다.

실험해보자

좋아요, 이제 우리가 확실히 알고 있는 가장 중요한 것은 응답에 표시된 것보다 더 많은 프로필이 있다는 것입니다. 이는 제한에도 불구하고 더 많은 데이터를 얻을 수 있음을 의미합니다. 가져오기를 사용하여 콘솔에서 직접 API를 가져와 보겠습니다.

예상대로 403 오류가 발생합니다. 이는 보안으로 인한 것이며 여기서는 CSRF 토큰(Wikipedia의 CSRF. 간단히 말해서 고유한 토큰이 각 요청에 추가되며 서버에서 진위 여부를 확인합니다.

다른 성공적인 요청이나 'JSESSIONID' 필드에 저장되는 쿠키에서 복사할 수 있습니다.

토큰을 찾을 수 있는 곳다른 요청 헤더:

또는 쿠키에서 콘솔을 통해 직접:

다시 시도해 보겠습니다. 이번에는 csrf 토큰을 헤더의 매개변수로 지정하여 가져올 설정을 전달합니다.

성공했습니다. 프로필 10개를 모두 받았습니다. :따다:

헤더의 차이로 인해 응답 구조가 원래 요청에서 수신된 것과 약간 다릅니다. csrf 토큰 옆에 'Accept: 'application/vnd.linkedin.normalized+json+2.1'을 객체에 추가하면 동일한 구조를 얻을 수 있습니다.
헤더가 추가된 응답 예시

Accept 헤더에 대한 추가 정보

다음은 뭐지?

그런 다음 전체 검색 결과에서 10개의 프로필(기본값 = 0)이 제공되는 인덱스를 가리키는 `start` 매개변수를 편집(수동 또는 자동화)할 수 있습니다. 즉, 각 요청 후에 이를 10씩 증가시키면 일반적인 페이지별 출력, 즉 한 번에 10개의 프로필을 얻게 됩니다.

이 단계에서는 애완동물 프로젝트를 계속할 수 있을 만큼 충분한 데이터와 자유가 있었습니다. 하지만 이 데이터는 이미 준비되어 있었기 때문에 그 자리에서 바로 표시하려고 하지 않았다면 아쉬웠을 것입니다. 전면에 사용되는 Ember에 대해서는 다루지 않겠습니다. jQuery가 사이트에 연결되었고 메모리의 기본 구문에 대한 지식을 파헤친 후 몇 분 안에 다음을 만들 수 있습니다.

jQuery 코드

/* рендер блока, принимаем данные профиля и вставляем блок в список профилей используя эти данные */
const  createProfileBlock = ({ headline, publicIdentifier, subline, title }) => {
    $('.search-results__list').append(
        `<li class="search-result search-result__occluded-item ember-view">
            <div class="search-entity search-result search-result--person search-result--occlusion-enabled ember-view">
                <div class="search-result__wrapper">
                    <div class="search-result__image-wrapper">
                        <a class="search-result__result-link ember-view" href="/ko/in/${publicIdentifier}/">
                            <figure class="search-result__image">
                                <div class="ivm-image-view-model ember-view">
                                    <img class="lazy-image ivm-view-attr__img--centered EntityPhoto-circle-4  presence-entity__image EntityPhoto-circle-4 loaded" src="http://www.userlogos.org/files/logos/give/Habrahabr3.png" />
                                </div>
                            </figure>
                        </a>
                    </div>
                    
                    <div class="search-result__info pt3 pb4 ph0">
                        <a class="search-result__result-link ember-view" href="/ko/in/${publicIdentifier}/">
                            <h3 class="actor-name-with-distance search-result__title single-line-truncate ember-view">
                                ${title.text}
                            </h3>
                        </a>

                        <p class="subline-level-1 t-14 t-black t-normal search-result__truncate">${headline.text}</p>

                        <p class="subline-level-2 t-12 t-black--light t-normal search-result__truncate">${subline.text}</p>
                    </div>
                </div>
            </div>
        <li>`
    );
};

// дергаем апи, получаем данные и рендерим профили
const fetchProfiles = () => {
    // токен
   const csrf = 'ajax:9082932176494192209';
    
   // объект с настройками запроса, передаем токен
   const settings = { headers: { 'csrf-token': csrf } }

    // урл запроса, с динамическим индексом старта в конце
   const url = `https://www.linkedin.com/voyager/api/search/blended?count=10&filters=List(geoRegion-%3Ejp%3A0,network-%3ES,resultType-%3EPEOPLE)&origin=FACETED_SEARCH&q=all&queryContext=List(spellCorrectionEnabled-%3Etrue,relatedSearchesEnabled-%3Etrue)&start=${nextItemIndex}`; 
    /* делаем запрос, для каждого профиля в ответе вызываем рендер блока, и после инкрементируем стартовый индекс на 10 */
    fetch(url, settings).then(response => response.json()).then(data => {
        data.elements[0].elements.forEach(createProfileBlock);
        nextItemIndex += 10;
});
};


// удаляем все профили из списка
$('.search-results__list').find('li').remove();
// вставляем кнопку загрузки профилей
$('.search-results__list').after('<button id="load-more">Load More</button>');
// добавляем функционал на кнопку
$('#load-more').addClass('artdeco-button').on('click', fetchProfiles);

// ставим по умолчания индекс профиля для запроса
window.nextItemIndex = 0;

검색 페이지의 콘솔에서 직접 이 작업을 수행하면 클릭할 때마다 10개의 새 프로필을 로드하고 목록에 렌더링하는 버튼이 추가됩니다. 물론 이 작업을 수행하기 전에 토큰과 URL을 필요한 항목으로 변경하세요. 프로필 블록에는 이름, 위치, 위치, 프로필 링크 및 자리 표시자 이미지가 포함됩니다.

결론

따라서 최소한의 노력으로 약점을 찾아 제한 없이 검색을 다시 시작할 수 있었습니다. 데이터와 경로를 분석하고 요청 자체를 조사하는 것으로 충분했습니다.

아무런 위협도 되지 않기 때문에 이것이 LinkedIn에게 심각한 문제라고 말할 수는 없습니다. 이러한 "해결 방법"으로 인해 최대 이익 손실이 발생하므로 보험료 지불을 피할 수 있습니다. 아마도 이러한 서버 응답은 사이트의 다른 부분을 올바르게 작동하는 데 필요할 수도 있고, 단순히 개발자의 게으름과 리소스 부족으로 인해 제대로 작동하지 못하는 것일 수도 있습니다. (2015년 XNUMX월에 제한이 나타났습니다. 이전에는 제한이 없었습니다.)

PS

당연히 jQuery 코드는 기능의 다소 원시적인 예입니다. 현재 나는 내 필요에 맞게 브라우저 확장을 만들었습니다. 제어 버튼을 추가하고 사진, 초대 버튼 및 일반 연결이 포함된 전체 프로필을 렌더링합니다. 또한 위치, 회사 및 기타 항목에 대한 필터를 동적으로 수집하고 쿠키에서 토큰을 검색합니다. 따라서 더 이상 아무것도 하드코딩할 필요가 없습니다. 글쎄, "한 번에 요청할 프로필 수(최대 49개)"와 같은 추가 설정 필드가 추가됩니다.

나는 아직 이 추가 작업을 진행 중이며 이를 대중에게 공개할 계획입니다. 관심이 있으시면 적어주세요.

출처 : habr.com