Mwepu nke Nitter, ihu ụzọ ọzọ na-efu na Twitter

Ọhaneze ikpeazụ nke Nitter adaala n'ime mmebi. Ọrụ Nitter mepụtara ihu n'efu maka ịnweta X.com/Twitter na-etinyeghị JavaScript, nyocha, ndị na-eso ụzọ na ọrụ ndị ọzọ. Na Jenụwarị 31, a kwụsịrị iwepụta akara ngosi nke Nitter ji enye ohere ịnweta ọdịnaya na X.com. Na February 26, nke ikpeazụ n'ime akara ngosi enyere na mbụ agwụla, nke butere nkwụsị Nitter kpamkpam.

Mgbe Elon Musk zụtara ya, Twitter (nke a na-akpọzi X ugbu a) malitere imejuputa usoro nhazi na nhazi nke iji kpalie ike ikpo okwu, bụ nke a na-ewere na ọ dịghị uru. N'ime mgbanwe ndị ahụ, a na-emejuputa tarifu maka ozi nke akaụntụ ọ bụla natara (ewebatara oke maka ụdị akaụntụ dị iche iche - 10000 maka ndị na-ejide "akwụkwọ nlele na-acha anụnụ anụnụ", 1000 maka ndị oge niile, 500 maka ndị ọhụrụ mgbe niile); Ebufeela akaụntụ "onye nrụpụta" nwere oke kwesịrị ekwesị maka mwepu data (scraping) na ụdị nke ndị akwụ ụgwọ; Akwụsịla ikesa ozi nye ndị ọrụ na-enweghị akaụntụ.

Ekwuru izi ezi n'ihu ọha (2023-07-01) na ndị a bụ "usoro ihe mberede nwa oge" n'ihi na ebugo data akpaghị aka site na bots na-eduga na mmebi nke ọrụ maka ndị ọrụ nkịtị. Tupu nke a (2023-04-19), enwere mkparị megide Microsoft metụtara eziokwu ahụ bụ na ụlọ ọrụ ahụ na-eji data Twitter na-akwadoghị iji zụọ AI. Mgbe e mesịrị (2023-11-17) mmeghe nke oke ziri ezi site n'ọgụ megide bots nke Musk kwere nkwa.

Nitter bụ ọrụ iji mepụta sọftụwia mgbochi maka ndị ọrụ Twitter na-ezigaghị ozi, naanị gụọ ọdịnaya, site n'inye ha saịtị ọzọ ka ha lee Twitter nke na-achọghị akaụntụ ma ọ bụ Javascript nyeere. Akụrụngwa dị otú ahụ bụ n'ezie scraper na intermediary, nke, kama ịchekwa data na nchekwa data, na-eziga ya na onye ọrụ njedebe (agbanyeghị, ụfọdụ data ọrụ na-echekwa na Redis).

Ya mere Nitter software:

  • teknụzụ, ọ bụ kpọmkwem ụdị ngwanrọ na njikwa Twitter kwupụtara ọgụ siri ike megide;
  • bụ otu n'ime software ole na ole na-arụsi ọrụ ike maka ịnweta data ezigara na Twitter, nke mere ka ọ mara mma maka iji dị ka modul maka scraping n'echiche dị warara nke okwu ahụ - ịnakọta data na-agafe oghere ndị ọrụ maka nke a;
  • Ihe ngosi ọha nke Nitter n'onwe ha ghọrọ ihe a na-ehichapụ, nke mere ka eziokwu ahụ bụrụ na oge ụfọdụ mejuputa ụdị nke captcha nke ha (1 arịrịọ POST agbakwunyere kpọmkwem maka otu ihe atụ).

    N'ihi nyocha nke nhazi ọrụ maka ịga n'ihu na-arụ ọrụ na ọnọdụ ọhụrụ, RSS na ụfọdụ ntinye ntinye na syndication.twitter.com achọpụtara na-enye ozi nye ndị ọrụ na-edeghị aha na usoro JSON ma jiri ya mee ihe na netwọk mmekọrịta ndị ọzọ. Ruo oge ụfọdụ Nitter nwetara ozi site na oghere ndị a, mana emechiri ha. Mgbe nke a gasịrị, a chọtara ụzọ isi jiri “akaụntụ ndị ọbịa” na-agụ ihe ùgwù. Ezubere otu ụdị “akaụntụ ndị ọbịa” maka ojiji na ngwa ịntanetị nke ihe nwere ihe nchọgharị ewepụrụ.

    Mana Nitter jiri ụdị "akaụntụ ndị ọbịa" dị iche nke jiri OAuth kama Kuki, nke edenyere aha site na API, o doro anya na ngwa ahụ ji ya mee ihe AndroidỤdị akaụntụ a nwere oke nke arịrịọ API 500 kwa nkeji iri na ise, "ndebanye aha" ya dabere na adreesị IP (site n'otu IP ị nwere ike ịdenye aha otu "akaụntụ ọbịa" kwa ụbọchị, mana enwere ike iji "akaụntụ" edebanyere aha site na adreesị IP ndị ọzọ).

    Ụdị "akaụntụ" (akaụntụ nnweta) na-arụ ọrụ maka ụbọchị 30. N'oge ahụ, ihe ngwọta zuru oke maka nsogbu nke ndebanye aha nke akaụntụ nwa oge ga-abụ ịchịkọta ndị ọrụ ndebanye aha ha, na-eji ihe yiri Bibliogram (edemede onye ọrụ na-ewere akara ndị ọbịa n'aka onye ọrụ wee nyefee ya n'ihu ọha) .

    N'ọgwụgwụ Jenụwarị, X kwụsịrị inye ụdị akara ahụ. Mwepụ nke usoro ịnweta nke ikpeazụ na-eme ka Nitter kwụsị dị ka ọha mmadụ, n'efu, ọrụ ọtụtụ ọrụ, na-eme ka onye edemede na-ekwupụta Nitter nwụrụ anwụ.

    Ụfọdụ oge mechiri ozugbo ka nke a gasịrị, ndị ọzọ megharịrị koodu ahụ iji chekwaa nke ọma iji akara ndị dị adị, ọkachasị na ojiji ha bụ isi maka ịnweta ndepụta tweet site na akaụntụ, na-enye ozi njehie maka ihe ọ bụla ọzọ. Na Febụwarị 26, akara ndị ọbịa ikpeazụ kubiela, na-eme ka ọha na eze kwụsị ịrụ ọrụ. Agbanyeghị, onye na-ahụ maka ahụhụ na-atụle nsogbu ndị na-emetụta akaụntụ ndị ọbịa n'ụzọ ụfọdụ.

    Otu n'ime radical ngwọta maka nsogbu nwere ike ịbụ Twitter nnọchi site na-eke ọzọ decentralized ọrụ dabere na ActivityPub na IPFS, ebe isi ihe na-achọpụta ozi ọ bụla bụ ya IPFS CID. Anyị nwere ike ichetụ n'echiche usoro nhazi ọtụtụ ọkwa:

  • Ebiputere data mbụ na ọrụ gọọmentị etiti dị ka ikpo okwu bụ isi ma gosipụta ya na IPFS.
  • Data bipụtara na Twitter site n'aka ndị ọrụ n'onwe ha, mana gosipụtara site na iji ndọtị ihe nchọgharị na akaụntụ ha na ikpo okwu federated, wee si ebe ahụ gaa IPFS.
  • Data nke ndị ọrụ n'onwe ha bulitere na Twitter site na iji ọrụ bulite wee bulite ya na Fediverse + IPFS site na iji ọrụ bulite oke.

    Ihe 3 ndị a, Otú ọ dị, adịghị edozi nsogbu nke enweghị ikere òkè nke ndị ọrụ Twitter na mmemme ngbanwe Twitter.

    Maka njirimara ọkwa ọ bụla n'elu ikpo okwu etiti ọ bụla, ọ nwere ike ịbụ ihe amamihe dị na ya idowe maapụ ya na IPFS CID, nke na-arụ ọrụ dị ka cache nke na-enye gị ohere ịchọpụta ihe nchọpụta ya na-enweghị isi n'amaghị ederede nke post ahụ n'onwe ya, mana ịmara ihe njirimara ya. . Mgbe ị na-emepụta URI na IPFS (nke enwere ike ime na-enweghị njupụta), ederede post na-enweta canonicalization, nke gụnyere itinye data na akpa HTML nwere metadata nke igwe-agụ, Unicode normalization, ntụgharị na UTF-8, dochie anya. mkpụrụedemede na-acha ọcha nwere oghere dị mfe, yana dochie njikọ niile na posts na nke a na nyiwe ndị ọzọ na-aga n'usoro yiri nke ahụ na URI na IPFS.

    Ikpo okwu ọ bụla nwere akwụkwọ a na-agụ nke igwe nke na-akọwa iwu maka ịmegharị posts, gụnyere ọtụtụ ọrụ ndị ejiri IPFS URI dochie njikọ ha na posts na netwọk ahụ. A na-edobe akwụkwọ ozi ọ bụla na netwọkụ ọ bụla n'ụzọ kwekọrọ na iwu nke canonicalization nke posts na netwọkụ ahụ na-arụ ọrụ n'oge n'oge nke post ahụ n'onwe ya bụ ụbọchị. N'oge canonicalization, ọ bụrụ na post nwere njikọ na post n'otu n'ime nyiwe edobere, mmejuputa a na-ewepụta ihe nchọpụta etiti site na njikọ ahụ wee lelee ọnụnọ ya na ndenye aha ntụkwasị obi.

    Mgbe ọ dị na ndeksi, mmejuputa a na-eji njirimara decentralized sitere na ndeksi. Ọ bụrụ na-anọghị, mmejuputa atumatu na-arịọ post site na ntụaka, canonicalizes ya ma mepụta ihe nchọpụta nke nwere ike tinye na indexes. Ọ bụghị iwu na mmejuputa a ga-etinye akwụkwọ anamachọihe na netwọk enweghị isi. Mmejuputa iwu nwere ike nyochaa izi ezi nke njirimara na ndeksi site na ịmegharị usoro a na mpaghara. Ọ bụ ọrụ nke mmejuputa index iji nyochaa ọgbọ ziri ezi nke njirimara site na imegharị usoro a na mpaghara.

    Usoro mkpebi a ga-ekwe ka ọgbọ nke njikọ ọdịnaya na-enweghị ike ịgbanwe ọbụna maka tweet nke akwụkwọ akụkọ ha na-esonyebeghị na mmemme ngbanwe Twitter. Mgbe ụfọdụ n'ime ha bulitere tweet ha na IPFS, algọridim ga-emepụta ihe nchọpụta maka ha yiri ndị ejirila na njikọ ha, ma ọ bụrụhaala na ndeksi nwere eserese ziri ezi na ọdịnaya n'onwe ya agbanwebeghị.

    isi: opennet.ru

  • Zụta nnabata ntụkwasị obi maka saịtị nwere nchekwa DDoS, sava VPS VDS 🔥 Zụta ebe nrụọrụ weebụ a pụrụ ịtụkwasị obi na nchekwa DDoS, sava VPS VDS | ProHoster