🥇Nitter'i, Twitteri vabade alternatiivsete frontside-de, eksistentsi lõpp

Nitteri viimased avalikud eksemplarid on kasutuskõlbmatud. Nitteri projekt arendas tasuta front-endi juurdepääsuks X.com/Twitterile ilma JavaScripti, analüütikate, jälgijate ja kolmandate osapoolte teenuste sekkumiseta. 31. jaanuaril lõpetati tokenite väljastamine, mida Nitter kasutas sisu juurdepääsu korraldamiseks X.comis. 26. veebruaril lõppes viimaste eelnevalt välja antud tokenite kehtivusaeg, mis viis Nitteri täielikku tööseisakusse.

Pärast Ilon Muski ostu hakkas Twitter (nüüd nimega X) rakendama tehnilisi ja korralduslikke meetmeid, mis on suunatud platvormi agressiivsele monetiseerimisele, mis oli varem kahjumlik. Muudatuste hulgas kehtestati tasud igas konto poolt saadud teabe eest (kehtestati piirangud eri tüüpi kontodele — 10000 tasuliste 'sinise märgiga' omanikele, 1000 tavalistele, 500 uutele tavalistele); 'arendajakontod' viidi tasuliste kontode rikka ära piirangutega, mis sobivad andmete massiliseks väljavõtmiseks (skreipimiseks); teabe edastamine kontota kasutajatele lõpetati.

Avalikult põhjendati (2023-07-01), et see on 'ajutised erakorralised meetmed', mida tingis automatiseeritud andmete allalaadimise botide poolt, mis halvendab teenuse kvaliteeti tavakasutajatele. Enne seda (2023-04-19) olid Microsofti aadressil esitatud vihjed, et see firma kasutab Twitteri andmeid AI koolitamiseks ebaseaduslikult. Hiljem (2023-11-17) põhjendati piirangute kehtestamist Muski lubadusega võidelda bottidega.

Nitter oli projekt, mis arendas tarkvara Twitteri kasutajate jälgimise kaitsmiseks, kes ei saada sõnumeid, vaid loevad ainult materjale, pakkudes neile alternatiivset veebisaiti Twitteri vaatamiseks, mis ei nõua kummagi konto ega JavaScripti lubamist. Selline tarkvara on sisuliselt skreiper ja vahendaja, mis saadab andmed lõppkasutajale, selle asemel et salvestada andmed andmebaasi (kuigi mõned teenuse andmed salvestatakse Redis'sse).

Seega oli Nitteri tarkvara:

tehniliselt just see tarkvaratüüp, millega Twitteri juhtkond kuulutas aktiivset võitlust;

oli üks väheseid aktiivselt arendatavaid tarkvarasid, mis andis juurdepääsu Twitteris talletatud andmetele, mis tegi selle atraktiivseks kasutamiseks skreepingumoodulina kitsamas tähenduses — andmete kogumine ametlike liideste vältimise kaudu;

avalikud Nitteri eksemplarid said ise skreepingu objektiks, mille tulemusel realiseeris osa eksemplaridest oma versiooni captcha’st (1 täiendav POST-päring, mis on spetsiifiline konkreetsele eksemplarile).

Tagasiside analüüsimisel leiti uusi teid jätkamiseks uutes tingimustes RSS ja mõned sisenemispunktid aadressil syndication.twitter.com, mis andsid teavet registreerimata kasutajatele JSON-formaadis ja mida kasutati integratsiooniks teiste sotsiaalsete võrgustikega. Mõnda aega sai Nitter teavet nende liideste kaudu, kuid seejärel suleti ka need. Pärast seda leiti võimalus kasutada „külaliskontosid”, millel olid lugemise õigused. Üks külaliskontode tüüp oli mõeldud Interneti-asjade seadmetele, millel olid piiratud brauserid.

Kuid Nitter kasutas teistsugust külaliskonto tüüpi, mis rakendas OAuth’d Cookie asemel, registreeriti API kaudu ja ilmselt kasutati Androidi rakenduses. Sellel kontotüübil on piirangud 500 API päringut iga 15 minuti järel ja selle „registreerimine” on seotud IP-aadressiga (ühelt IP-lt saab ühe „külaliskonto” registreerida 24 tunni jooksul, kuid juba registreeritud „konto” saab kasutada teistelt IP aadressidelt).

Sellised „kontod” (juurdepääsutokenid) olid aktiivsed 30 päeva. Sel ajal võiks massilise ajutiste kontode registreerimise probleemiks olla nende registreerimise rahvusvaheline rahastus, kasutades midagi, mis sarnaneb Bibliogramile (kasutajaskript, mis võtab kasutaja külalise tokeni ja edastab selle avalikule eksemplarile).

Jaanuari lõpus lakkas X selliste tokenite väljastamisest. Viimase juurdepääsumeetodi kõrvaldamine lõpetas Nitteri kui avaliku tasuta mitme kasutajaga teenuse ja autor kuulutas Nitteri surnuks.

Mõned eksemplarid sulgesid pärast seda kohe, teised muutsid koodi eksisteerivate tokenite säästmiseks, eelkõige nende kasutamine kontode tweetide loendite saamiseks, andes vigade teateid kõigi teiste kohta. 26. veebruaril lõppes viimane külalis-tokenite eluiga, mille tulemusena lõpetasid kõik avalikud eksemplarid tegevuse. Sellegipoolest arutatakse veaparanduse jälgijas viise, mis mingil moel puudutavad külaliskontosid.

Üks radikaalne lahendus probleemile võiks olla Twitteri asendamine alternatiivse detsentraliseeritud teenusega, mis põhineb ActivityPub ja IPFS, kus iga sõnumi peamine identifikaator on selle IPFS CID. Võib ette kujutada järgmist mitmetasandilist konstruktsiooni:

Andmed, mis algselt avaldati federeeritud teenuses nii põhiplatvormil kui ka IPFS-is.

Andmed, mille on Twitterisse avaldanud kasutajad, kuid mille nad on sirvija laienduse abil peegeldanud oma kontodesse federeeritud platvormil, ja sealt - IPFS-is.

Andmed, mille Twitterist eksportisid ise kasutajad, kasutades eksportimisfunktsiooni, ja laadisid Fediverse + IPFS üles massiülekande funktsiooni kaudu.

Kuid punktis 3 mainitud andmed ei lahenda Twitteri kasutajate osaluse probleem Twitteri asendamises.

Iga postituse identifikaatori jaoks igal tsentraliseeritud platvormil võib olla mõistlik säilitada selle kuvamine IPFS CID-ina, mis toimib vahemäguna, võimaldades ilma postituse teksti teadmiseta, kuid teada tsentraliseeritud identifikaator, teada saada selle detsentraliseeritud identifikaator. IPFS-is URI genereerimisel (mis võib toimuda ilma tegeliku üleslauta) läbib postituse tekst kanoniseerimise, mis hõlmab andmete paigutamist HTML-põhisesse konteinerisse, millel on masinloetavad metaandmed, Unicode'i normaliseerimine, UTF-8 konverteerimine, tühikute asendamine lihtsate ühekordsete tühikutega ja postituste linkide asendamine selle ja muude platvormide kaudu, mis läbivad sarnase protseduuri, IPFS-i URI-dega.

Igal platvormeel on masinloetav dokument, kus on kirjas postituste kanoniseerimise reeglid, sealhulgas mitmed teenused, mille lingid asendatakse IPFS URI-dega selle võrgustiku postitustes. Iga post igas võrgustikus kanoniseeritakse vastavalt kanoniseerimise reeglitele, mis kehtivad selle võrgustiku jaoks postituse dateerimise ajal. Kanoniseerimisel, kui postituses on link postile ühel asendatud platvormidest, väljavõtab süsteem lingist tsentraliseeritud identifikaatori ja kontrollib selle olemasolu usaldusväärsetes indeksites.

Indeksi olemasolul kasutab süsteem indeksitest võetud detsentraliseeritud identifikaatorit. Kui seda ei leita, pärib süsteem postituse lingi järgi, kanoniseerib selle ja loob identifikaatori, mille ta saab indeksitesse paigutada. Süsteem ei ole kohustatud paigutama nõutud postitust detsentraliseeritud võrgusse. Süsteem võib kontrollida identifikaatori õigust indeksis, korrates protsessi kohapeal. Indeksi süsteem peab kontrollima identifikaatorite genereerimise õigust, korrates protsessi kohapeal.

Selline määratletud protsess võimaldab genereerida muutumatuid linke sisule, isegi tweetide jaoks, mille posterid ei osale veel tweetide asendamise programmis. Kui osa neist hakkab oma tweet-e IPFS-i laadima, genereerib algoritm neile identifikaatorid, mis on identsed nende jaoks juba olemasolevates linkides, tingimusel et indeks sisaldab õigesti kaardistatud andmeid ja sisu ise ei ole muutunud.

Allikas: opennet.ru

Nitteri, vabatahtliku alternatiivse frontendi Twitterile, lõpetamine