☰

» »

AI crawlerji DOS-ajo infrastrukturo FOSS projektov

AI crawlerji DOS-ajo infrastrukturo FOSS projektov

uporabn1k ::

Pozdravljeni,

če koga zanima intervju z @jimsalter@fosstodon.org, sistemskim administratorjem, #FOSS navdušencem in podkasterjem, ki se je nedavno, podobno kot mnogi drugi vzdrževalci internetne infrastrukuture, na kateri tečejo prosto in odprtokodne storitve, spopadel z roji spletnih pajkov, ki zbirajo vsebine za učenje velikih podatkovnih modelov. Takšni roji lahko preobremenijo strežnike in storitve so nedostopne za legitimne uporabnike.

https://radiostudent.si/druzba/tehno-kl...

BuDi79 ::

Zakaj točno bi bil AI nelegitimni uporabnik?

tony1 ::

Ker niti Google včasih tega ni počel tako debilno.

Hec ::

uporabn1k je izjavil:

Pozdravljeni,

če koga zanima intervju z @jimsalter@fosstodon.org, sistemskim administratorjem, #FOSS navdušencem in podkasterjem, ki se je nedavno, podobno kot mnogi drugi vzdrževalci internetne infrastrukuture, na kateri tečejo prosto in odprtokodne storitve, spopadel z roji spletnih pajkov, ki zbirajo vsebine za učenje velikih podatkovnih modelov. Takšni roji lahko preobremenijo strežnike in storitve so nedostopne za legitimne uporabnike.

https://radiostudent.si/druzba/tehno-kl...


Ja, pa saj to je razumljivo.

Futras jih z irelevantnimi podatki, pa bodo scasoma nehali.
Tega ne pisem jaz, sem se cepil proti Covidu in sem ze leta mrtev. Baje.

Ljudje, ki najbolj mahajo z zastavami, si je ne zasluzijo imeti.

Zgodovina sprememb…

  • spremenilo: Hec ()

c3p0 ::

Povprečna spletna stran je na dan oblegana z destinami, če ne stotinami raznih botov, ki povzročajo obremenitve strani in strežnika.

Sploh taki, ki ne znajo delat z raznimi filtri in potem isto podstran počeše par 100x, za vse kombinacije.

uporabn1k ::

BuDi79 je izjavil:

Zakaj točno bi bil AI nelegitimni uporabnik?


S prijatelji smo si postavili strežnik, na katerem poleg drugih storitev teče tudi gitea, kjer si med sabo lahko sheramo kodo. Ta service je tako oblegan s crawlerji, da pogostokrat sesuje cel strežnik. AI boti so nelegitimni, ker smo strežnik postavili za nas in ne za njih, in to tudi jasno sporočamo v robots.txt. Ampak ne upoštevajo... Situacija je postala malce bolj znosna, potem ko smo blokirali cele subnete od amazona, microsofta in mete, ampak še vedno nas kdaj sesujejo drugi boti.

uporabn1k ::

Malce več raziskovanja in izkaže se, da obstaja "trg rezidenčnih IP naslovov". Podjetja kontaktirajo razvijalce popularnih app-ov, če so pripravljeni v aplikacijo vključit njihov SDK, ki jim potem omogoči oddaljen dostop do naprave, kjer teče aplikacija. Več podrobnosti je na voljo tudi v oddaji: https://radiostudent.si/druzba/tehno-kl...

Na našem forgejo strežniku je bilo tako 180k obiskov z rezidenčnih IP naslovov v enem dnevu (imamo cca 50 uporabnikov). :O

sealcradle ::

Resitev je Anubis

uporabn1k ::

Žal res tako kaže, da bo treba nekaj podobnega nastavit, čeprav se želimo temu izogniti. Razlogi:
- nepotrebna poraba energije
- diskriminacija uporabnikov s starejšimi računalniki, ki rabijo dlje časa, da izračunajo proof-of-work
Če bi crawlerji upoštevali robots.txt bi bilo precej lažje, ampak zgleda, da mislijo, da jim ni treba, ker imajo rezidenčne IP naslove, objestna AI svojat.

Zgodovina sprememb…

  • spremenilo: uporabn1k ()

c3p0 ::

Crawlerjev je milijon, load na sajte je 90% od botov, na nekatere 99%. AI boti so pa ponoreli. Kje je zdaj kakšna EU uredba, smo zeleni ali nismo?

Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Ščit zasebnosti

Oddelek: Problemi človeštva		81162 (486) SeMiNeSanja
»

Radio Študent - mnenja? (strani: 1 2 3 )

Oddelek: Loža		11517884 (14396) thramos
»

Slovenski komercialni radiji (strani: 1 2 )

Oddelek: Sedem umetnosti		7914664 (12631) LuiIII
»

Rap na slovenskem

Oddelek: Šola		81801 (1385) koro13
»

APEK: Poročilo o razvoju trga elektronskih komunikacij za četrto četrtletje 2008

Oddelek: Novice / Ostale najave		355244 (3589) techfreak :)

Več podobnih tem