98% pieprasījumu uz git.kernel.org veido roboti, radot milzīgu parazītu slodzi.

Konstantīns Rjabcevs, kernel.org infrastruktūras administrators, publicēja git.kernel.org pakalpojuma satiksmes analīzes rezultātus, kas ļauj skatīt git noliktavu saturu, kas saistīts ar Linux kodola izstrādi. Katru dienu pakalpojums apstrādā aptuveni 6 miljonus pieprasījumu par komitiem, no kuriem 66% ir botu radīti, kurus izdodas bloķēt, izmantojot Anubis sistēmu. 33% pieprasījumu tiek pārbaudīti Anubis sistēmā, kas atļauj piekļuvi tikai pēc tam, kad uz JavaScript valodas ir uzminēts vērtības SHA-256 hešs, kas kombinācijā ar servera nodrošināto virkni satur noteiktu skaitu priekšā esošo nulles (šī uzdevuma risināšanai ir nepieciešami CPU resursi, bet pārbaudei resursi nav nepieciešami).

Nav iespējams precīzi noteikt, kuri no šiem 33% ir cilvēki, bet kuri ir progresīvi roboti, taču pēc pieprasījumu rakstura tika izdarīts secinājums, ka kopējā likumīgo pieprasījumu daļa ir aptuveni 2%, bet pārējie 98% ir skrāpējumi. Viens no robotu pazīmēm ir tiešie pieprasījumi uz veciem komitiem nejaušās vecās nozarēs, kuras ir maz ticams, ka cilvēkiem varētu būt nepieciešamas darbā. Robotu aktivitāte rada milzīgu parazītu slodzi uz serverus jo, vietā, lai vienu reizi ielādētu visu kodu un komitu vēsturi, izmantojot "git clone" operāciju, roboti sūta miljardiem pieprasījumu, pārbaudot visus iespējamos pieprasījumus caur tīmekļa interfeisu un atkārtoti pieprasot tos pašus datus ar dažādiem parametriem.

Robotu bloķēšana pēc IP adresēm un autonomajām sistēmām diezgan ātri pārstāja darboties, jo roboti pārgāja uz pieprasījumu sūtīšanu no miljoniem nejaušiem IP adresēm no mājas vai mobilajām tīklam, kas iegūtas, pateicoties botnet aktivitātei vai pārlūkprogrammu paplašinājumu monetizācijai. No katras adreses tiek sūtīti tikai 4-5 pieprasījumi, tāpēc to bloķēšana ugunsmūra līmenī ir bezjēdzīga.

Kādu laiku robotu bloķēšanai palīdzēja Anubis sistēma, bet laika gaitā roboti pielāgoja savus algoritmus Anubis piedāvātajām aprēķina prasībām. Starp citu, roboti iemācījās atrisināt piektā līmeņa problēmu, bet paaugstināt līmeni tālāk ir problemātiski, jo pat piektajam līmenim ir nepieciešamas dažas sekundes aprēķinu, kas stipri kairina likumīgos lietotājus.

Noslēgumā, lai apkalpotu skrāpētāju pieprasījumus kernel.org infrastruktūrā, tiek patērēti vairāk resursu nekā visām pārējām likumīgajām operācijām, tostarp "git clone". Uz 5 serveriem, kalpojošām git.kernel.org, jebkurā brīdī 14-16 no 90 esošajām CPU kodolām pastāvīgi tiek izmantotas, lai attēlotu git-commitus robotiem. Lai samazinātu slodzi, administratori tagad cenšas samazināt pakalpojuma iespējas, atslēgt dažas resursu ietilpīgas operācijas, ierobežot anonīmo piekļuvi un samazināt pieejamo saišu skaitu navigācijai.

Avots: opennet.lv