API સાથે રમીને LinkedIn ની શોધ મર્યાદાને બાયપાસ કરવી

મર્યાદા

LinkedIn પર આવી મર્યાદા છે - વાણિજ્યિક ઉપયોગ મર્યાદા. તે અત્યંત સંભવ છે કે તમે, મારી જેમ, તાજેતરમાં સુધી, ક્યારેય તેનો સામનો કર્યો નથી અથવા સાંભળ્યો નથી.

મર્યાદાનો સાર એ છે કે જો તમે તમારા સંપર્કોની બહારના લોકો માટે ઘણી વાર શોધનો ઉપયોગ કરો છો (ત્યાં કોઈ ચોક્કસ મેટ્રિક્સ નથી, અલ્ગોરિધમ તમારી ક્રિયાઓના આધારે નક્કી કરે છે - તમે કેટલી વાર અને કેટલી શોધ કરી, લોકોને ઉમેર્યા), તો શોધ પરિણામ 1000 ને બદલે ત્રણ પ્રોફાઇલ્સ સુધી મર્યાદિત રહેશે ( ડિફૉલ્ટ 100 પૃષ્ઠો, પૃષ્ઠ દીઠ 10 પ્રોફાઇલ્સ). દર મહિનાની શરૂઆતમાં મર્યાદા રીસેટ કરવામાં આવે છે. સ્વાભાવિક રીતે, પ્રીમિયમ ખાતામાં આ મર્યાદા નથી.

પરંતુ થોડા સમય પહેલા, એક પાલતુ પ્રોજેક્ટ માટે, મેં LinkedIn શોધ સાથે ઘણું રમવાનું શરૂ કર્યું અને અચાનક આ મર્યાદા આવી ગઈ. સ્વાભાવિક રીતે, મને આ બહુ ગમ્યું ન હતું, કારણ કે મેં તેનો ઉપયોગ કોઈપણ વ્યવસાયિક હેતુઓ માટે કર્યો નથી, તેથી મારો પહેલો વિચાર મર્યાદાનો અભ્યાસ કરવાનો હતો અને તેની આસપાસ જવાનો પ્રયાસ કરવાનો હતો.

[એક મહત્વપૂર્ણ સ્પષ્ટતા: લેખમાંની સામગ્રી ફક્ત માહિતી અને શૈક્ષણિક હેતુઓ માટે રજૂ કરવામાં આવી છે. લેખક વ્યાપારી હેતુઓ માટે તેમના ઉપયોગને પ્રોત્સાહિત કરતા નથી.]

અમે સમસ્યાનો અભ્યાસ કરી રહ્યા છીએ

અમારી પાસે છે: પૃષ્ઠ ક્રમાંક સાથેની દસ પ્રોફાઇલ્સને બદલે, શોધ ફક્ત ત્રણ જ આપે છે, જે પછી પ્રીમિયમ એકાઉન્ટની "ભલામણ" સાથેનો બ્લોક દાખલ કરવામાં આવે છે અને નીચે અસ્પષ્ટ અને બિન-ક્લિક કરી શકાય તેવી પ્રોફાઇલ્સ છે.

તરત જ, હાથ આ છુપાયેલા પ્રોફાઇલ્સને જોવા માટે વિકાસકર્તા કન્સોલ સુધી પહોંચે છે - કદાચ અમે કેટલીક અસ્પષ્ટ શૈલીઓ દૂર કરી શકીએ અથવા માર્કઅપમાંના બ્લોકમાંથી માહિતી કાઢી શકીએ. પરંતુ, તદ્દન અપેક્ષિત રીતે, આ પ્રોફાઇલ્સ માત્ર છે પ્લેસહોલ્ડર ચિત્રો અને કોઈ માહિતી સંગ્રહિત નથી.

ઠીક છે, હવે ચાલો નેટવર્ક ટૅબ જોઈએ અને તપાસીએ કે વૈકલ્પિક શોધ પરિણામો જે ફક્ત ત્રણ પ્રોફાઇલ આપે છે તે ખરેખર કામ કરે છે. અમને “/api/search/blended” માટે રસ હોય તેવી વિનંતી મળી અને પ્રતિસાદ જોઈએ.

પ્રોફાઇલ્સ 'સમાવેશ' એરેમાં આવે છે, પરંતુ તેમાં પહેલેથી જ 15 એન્ટિટી છે, આ કિસ્સામાં, તેમાંથી પ્રથમ ત્રણ વધારાની માહિતીવાળા ઑબ્જેક્ટ છે, દરેક ઑબ્જેક્ટ ચોક્કસ પ્રોફાઇલ પરની માહિતી ધરાવે છે (ઉદાહરણ તરીકે, પ્રોફાઇલ પ્રીમિયમ છે કે નહીં. ).

આગામી 12 વાસ્તવિક પ્રોફાઇલ્સ છે - શોધ પરિણામો, જેમાંથી ફક્ત ત્રણ જ અમને બતાવવામાં આવશે. જેમ તમે પહેલેથી જ અનુમાન કરી શકો છો, તે ફક્ત તે જ બતાવે છે જેઓ વધારાની માહિતી (પ્રથમ ત્રણ વસ્તુઓ) મેળવે છે. ઉદાહરણ તરીકે, જો તમે કોઈ મર્યાદા વિના પ્રોફાઇલમાંથી જવાબ લો છો, તો તમને 28 એન્ટિટી પ્રાપ્ત થશે - વધારાના સાથે 10 ઑબ્જેક્ટ્સ. માહિતી અને 18 પ્રોફાઇલ.

મર્યાદા વિના પ્રોફાઇલ માટે જવાબ

શા માટે 10 થી વધુ પ્રોફાઇલ્સ આવે છે, જો કે બરાબર 10 વિનંતી કરવામાં આવી છે, અને તેઓ કોઈપણ રીતે પ્રદર્શનમાં ભાગ લેતા નથી, પછીના પૃષ્ઠ પર પણ તેઓ નહીં હોય - મને હજી સુધી ખબર નથી. જો તમે વિનંતી URL નું વિશ્લેષણ કરો છો, તો તમે તે ગણતરી=10 જોઈ શકો છો (પ્રતિસાદમાં કેટલી પ્રોફાઇલ પરત કરવાની છે, મહત્તમ 49).

મને આ બાબતે કોઈપણ ટિપ્પણીઓ પ્રાપ્ત કરવામાં આનંદ થશે.

ચાલો પ્રયોગ કરીએ

ઠીક છે, સૌથી મહત્વની બાબત જે આપણે હવે ખાતરીપૂર્વક જાણીએ છીએ તે એ છે કે પ્રતિભાવમાં તેઓ અમને બતાવે છે તેના કરતાં વધુ પ્રોફાઇલ્સ છે. આનો અર્થ એ છે કે અમે મર્યાદા હોવા છતાં વધુ ડેટા મેળવી શકીએ છીએ. ચાલો ફેચનો ઉપયોગ કરીને, કન્સોલમાંથી સીધા જ API ને જાતે ખેંચવાનો પ્રયાસ કરીએ.

અપેક્ષા મુજબ, અમને એક ભૂલ મળે છે, 403. આ સુરક્ષાને કારણે છે, અહીં અમે CSRF ટોકન મોકલી રહ્યાં નથી (વિકિપીડિયા પર CSRF. ટૂંકમાં, દરેક વિનંતીમાં એક અનન્ય ટોકન ઉમેરવામાં આવે છે, જે સર્વર પર અધિકૃતતા માટે તપાસવામાં આવે છે).

તે કોઈપણ અન્ય સફળ વિનંતી અથવા કૂકીઝમાંથી નકલ કરી શકાય છે, જ્યાં તે 'JSESSIONID' ફીલ્ડમાં સંગ્રહિત છે.

ટોકન ક્યાંથી મળશેબીજી વિનંતીનું મથાળું:

અથવા કૂકીઝમાંથી, સીધા કન્સોલ દ્વારા:

ચાલો ફરી પ્રયાસ કરીએ, આ વખતે આપણે સેટિંગને ફેચ કરવા માટે પાસ કરીએ છીએ, જેમાં આપણે હેડરમાં પેરામીટર તરીકે અમારા csrf-ટોકનનો ઉલ્લેખ કરીએ છીએ.

સફળતા, અમે તમામ 10 પ્રોફાઇલ્સ પ્રાપ્ત કરીએ છીએ. :તાડા:

મથાળાઓમાં તફાવતને લીધે, પ્રતિસાદનું માળખું મૂળ વિનંતીમાં જે પ્રાપ્ત થયું છે તેનાથી થોડું અલગ છે. જો તમે csrf ટોકનની બાજુમાં, અમારા ઑબ્જેક્ટમાં 'Accept:'application/vnd.linkedin.normalized+json+2.1' ઉમેરશો તો તમે સમાન માળખું મેળવી શકો છો.
ઉમેરાયેલ હેડર સાથે ઉદાહરણ પ્રતિસાદ

સ્વીકારો હેડર વિશે વધુ

શું આગામી છે?

પછી તમે અનુક્રમણિકા તરફ નિર્દેશ કરીને, `સ્ટાર્ટ` પરિમાણને સંપાદિત (મેન્યુઅલી અથવા સ્વચાલિત) કરી શકો છો, જ્યાંથી અમને સમગ્ર શોધ પરિણામમાંથી 10 પ્રોફાઇલ્સ (ડિફોલ્ટ = 0) આપવામાં આવશે. બીજા શબ્દોમાં કહીએ તો, દરેક વિનંતિ પછી તેને 10 વધારતા, અમે સામાન્ય પૃષ્ઠ-દર-પૃષ્ઠ આઉટપુટ, એક સમયે 10 પ્રોફાઇલ મેળવીએ છીએ.

આ તબક્કે મારી પાસે પાલતુ પ્રોજેક્ટ પર કામ કરવાનું ચાલુ રાખવા માટે પૂરતો ડેટા અને સ્વતંત્રતા હતી. પરંતુ આ ડેટાને સ્થળ પર જ પ્રદર્શિત કરવાનો પ્રયાસ ન કરવો એ પાપ હતું, કારણ કે તે પહેલેથી જ હાથમાં હતું. અમે એમ્બરમાં જઈશું નહીં, જેનો ઉપયોગ આગળના ભાગમાં થાય છે. jQuery સાઇટ સાથે જોડાયેલ હતી, અને મેમરીમાં મૂળભૂત વાક્યરચનાનું જ્ઞાન ખોદ્યા પછી, તમે થોડી મિનિટોમાં નીચેનું બનાવી શકો છો.

jQuery કોડ

/* рендер блока, принимаем данные профиля и вставляем блок в список профилей используя эти данные */
const  createProfileBlock = ({ headline, publicIdentifier, subline, title }) => {
    $('.search-results__list').append(
        `<li class="search-result search-result__occluded-item ember-view">
            <div class="search-entity search-result search-result--person search-result--occlusion-enabled ember-view">
                <div class="search-result__wrapper">
                    <div class="search-result__image-wrapper">
                        <a class="search-result__result-link ember-view" href="/gu/in/${publicIdentifier}/">
                            <figure class="search-result__image">
                                <div class="ivm-image-view-model ember-view">
                                    <img class="lazy-image ivm-view-attr__img--centered EntityPhoto-circle-4  presence-entity__image EntityPhoto-circle-4 loaded" src="http://www.userlogos.org/files/logos/give/Habrahabr3.png" />
                                </div>
                            </figure>
                        </a>
                    </div>
                    
                    <div class="search-result__info pt3 pb4 ph0">
                        <a class="search-result__result-link ember-view" href="/gu/in/${publicIdentifier}/">
                            <h3 class="actor-name-with-distance search-result__title single-line-truncate ember-view">
                                ${title.text}
                            </h3>
                        </a>

                        <p class="subline-level-1 t-14 t-black t-normal search-result__truncate">${headline.text}</p>

                        <p class="subline-level-2 t-12 t-black--light t-normal search-result__truncate">${subline.text}</p>
                    </div>
                </div>
            </div>
        <li>`
    );
};

// дергаем апи, получаем данные и рендерим профили
const fetchProfiles = () => {
    // токен
   const csrf = 'ajax:9082932176494192209';
    
   // объект с настройками запроса, передаем токен
   const settings = { headers: { 'csrf-token': csrf } }

    // урл запроса, с динамическим индексом старта в конце
   const url = `https://www.linkedin.com/voyager/api/search/blended?count=10&filters=List(geoRegion-%3Ejp%3A0,network-%3ES,resultType-%3EPEOPLE)&origin=FACETED_SEARCH&q=all&queryContext=List(spellCorrectionEnabled-%3Etrue,relatedSearchesEnabled-%3Etrue)&start=${nextItemIndex}`; 
    /* делаем запрос, для каждого профиля в ответе вызываем рендер блока, и после инкрементируем стартовый индекс на 10 */
    fetch(url, settings).then(response => response.json()).then(data => {
        data.elements[0].elements.forEach(createProfileBlock);
        nextItemIndex += 10;
});
};


// удаляем все профили из списка
$('.search-results__list').find('li').remove();
// вставляем кнопку загрузки профилей
$('.search-results__list').after('<button id="load-more">Load More</button>');
// добавляем функционал на кнопку
$('#load-more').addClass('artdeco-button').on('click', fetchProfiles);

// ставим по умолчания индекс профиля для запроса
window.nextItemIndex = 0;

જો તમે આ શોધ પૃષ્ઠ પરના કન્સોલમાં સીધા કરો છો, તો તે એક બટન ઉમેરશે જે દરેક ક્લિક સાથે 10 નવી પ્રોફાઇલ લોડ કરે છે અને તેમને સૂચિમાં રેન્ડર કરે છે. અલબત્ત, આ કરતા પહેલા ટોકન અને URL ને જરૂરી એકમાં બદલો. પ્રોફાઇલ બ્લોકમાં નામ, સ્થાન, સ્થાન, પ્રોફાઇલની લિંક અને પ્લેસહોલ્ડરની છબી હશે.

નિષ્કર્ષ

આમ, ઓછામાં ઓછા પ્રયત્નો સાથે, અમે નબળા સ્થાનને શોધી શક્યા અને પ્રતિબંધો વિના અમારી શોધ ફરીથી મેળવી શક્યા. તે ડેટા અને તેના પાથનું વિશ્લેષણ કરવા માટે પૂરતું હતું, વિનંતીને જ જુઓ.

હું એમ કહી શકતો નથી કે આ LinkedIn માટે ગંભીર સમસ્યા છે, કારણ કે તેનાથી કોઈ ખતરો નથી. આવા "વર્કઅરાઉન્ડ્સ" ને લીધે મહત્તમ નફો ગુમાવે છે, જે તમને પ્રીમિયમ માટે ચૂકવણી કરવાનું ટાળવા દે છે. કદાચ આવા સર્વર પ્રતિસાદ સાઇટના અન્ય ભાગોના યોગ્ય સંચાલન માટે જરૂરી છે, અથવા તે ફક્ત વિકાસકર્તાઓની આળસ અને સંસાધનોનો અભાવ છે જે તેને સારી રીતે કરવા દેતું નથી. (પ્રતિબંધ જાન્યુઆરી 2015 માં દેખાયો; આ પહેલા કોઈ મર્યાદા ન હતી).

PS

સ્વાભાવિક રીતે, jQuery કોડ ક્ષમતાઓનું એક આદિમ ઉદાહરણ છે. આ ક્ષણે મેં મારી જરૂરિયાતોને અનુરૂપ બ્રાઉઝર એક્સ્ટેંશન બનાવ્યું છે. તે નિયંત્રણ બટનો ઉમેરે છે અને ચિત્રો, આમંત્રણ બટન અને સામાન્ય જોડાણો સાથે સંપૂર્ણ પ્રોફાઇલ્સ રેન્ડર કરે છે. ઉપરાંત, તે ગતિશીલ રીતે સ્થાનો, કંપનીઓ અને અન્ય વસ્તુઓ માટે ફિલ્ટર્સ એકત્રિત કરે છે અને કૂકીઝમાંથી ટોકન મેળવે છે. તેથી હવે કંઈપણ હાર્ડકોડ કરવાની જરૂર નથી. સારું, તે વધારાના સેટિંગ્સ ફીલ્ડ ઉમેરે છે, એક la "એક સમયે કેટલી પ્રોફાઇલની વિનંતી કરવી, 49 સુધી."

હું હજી પણ આ ઉમેરા પર કામ કરી રહ્યો છું અને તેને લોકો સમક્ષ રજૂ કરવાની યોજના બનાવી રહ્યો છું. જો તમને રસ હોય તો લખો.

સોર્સ: www.habr.com