Slo-Tech - Kljub temu, da je na internetu ogromno informacij, ki bi jih človek nepovezane le stežka našel, se veliko teh informacij centralno arhivira na različnih iskalnikih, zato načeloma nimamo problemov, če želimo te razpršene informacije najti.
Problem pa nastopi, če kakšne informacije v iskalniku ni. Lastniki spletnih strani namreč lahko na svojem strežniku ustvarijo posebno datoteko z imenom
robots.txt, v kateri določijo, do katerih spletnih mest naj iskalni roboti (programi, ki iščejo in arhivirajo spletne strani) ne dostopajo. Sicer se iskalni roboti teh navodil niso obvezani držati, vendar jih načeloma spoštujejo.
Drugo vprašanje je seveda, zakaj bi si kdo želel, da njegove spletne strani ali njenih delov ni v iskalniku. Administratorji spletnih strežnikov se za to možnost pogosto odločajo zato, ker ne želijo, da jim iskalni roboti prekomerno obremenjujejo strežnik, lahko pa si seveda želijo, da nekatere informacije ne bi bile
preveč javno dostopne. To morda še bolj velja za...