Po Redditu sme iskati le Google

Matej Huš

25. jul 2024 ob 23:12:23

Odkar je Reddit spremenil politiko uporabe, ki pajkom prepoveduje brskanje po strani brez izrecnega dovoljenja, je postalo iskanje po strani precej težje. Reddit je namreč zaradi množičnega strganja vsebin s svoje spletne strani, ki so ga izvajali razvijalci umetne inteligence, to prepovedal. V praksi so to storili z vpisom v datoteko robots.txt, ki prepoveduje dostop vsem pajkom razen Googlovemu.

In tako se je primerilo, da vsi ostali iskalniki ne iščejo več po Redditu. Če jih tja izrecno napotite, denimo s predpono site:reddit.com, rezultatov skorajda ne bo. To je prizadelo Bing, DuckDuckGo, Brave in ostale iskalnike.

Datoteko robots.txt so posodobili 25. junija letos, potem ko so opazili povečano zbiranje vsebin, ki so ga izvajali komercialni ponudniki umetne inteligence. Reddit je zato v robots.txt blokiral vse te pajke. Hkrati dodaja, da si lahko kdorkoli ponovno pridobi dostop, če izpolni obrazec na spletu in obljubi, da se bo lepo vedel. Reddit dodatno pojasnjuje, da so se pogovarjali z večino ponudnikov iskalnikov, a niso našli skupnega jezika. Če se to spremeni, bodo robots.txt ustrezno popravili.