» »

Najdi.si vs. robots.txt & spiders.txt

gregy ::

Zdravo!

Kako lahko ustavim najdisijevga spiderja .. tole je moj robots.txt

User-agent: Mediapartners-Google*
Mozilla/5.0 (compatible; Najdi.si/3.1)
Disallow:

# This says to apply these settings to ALL search engine spiders/crawlers
User-agent: *
Disallow: /admin
Disallow: /account.php
Disallow: /advanced_search.php
Disallow: /checkout_shipping.php
Disallow: /create_account.php
Disallow: /login.php
Disallow: /password_forgotten.php
Disallow: /popup_image.php
Disallow: /shopping_cart.php


v spiders.txt imam pa

najdibot1
najdibot2
najdibot3


... a pe vedno se ednijo najdisejev spider zapleza v košarico, nič ga ne zaustavi .. kaj narediti?

tenx

njok ::

Lahko bi ga odgnal z mod_rewrite.


Na primer:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} # opišeš najdisijev user agent string #
RewriteRule ^pot/do/kosarice$ http://www.najdi.si [r=301]

:D

Primoz ::

# najdi.si worm/searcher that does not work with robots.txt
#$IPTB -A INPUT -p tcp -s 193.189.169.64/25 --dport 80 -j DROP
$IPTB -A INPUT -p tcp -s 195.250.198.0/24 --dport 80 -j DROP
There can be no real freedom without the freedom to fail.

CaqKa ::

samo potem pa ti najdi.si več ne išče po tvoji strani :>

Primoz ::

Ampak stran ti dela. >:D
There can be no real freedom without the freedom to fail.

Bakunin ::

WoW!

5. Kateri je uporabniški agent Najdi.si-jevih pajkov?

Uporabniški agent Najdi.si-jevih pajkov je Mozilla/5.0 (compatible; Najdi.si/3.1).
MTU test > http://www.letmecheck.it/mtu-test.php

"I will not rule, and also ruled I will not be! " | irc://irc.sioff.net/slo-tech


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

iptables problem

Oddelek: Operacijski sistemi
24650 (416) Matthai
»

ProtFtp Passive mode in iptables

Oddelek: Programska oprema
25895 (717) SasoS
»

iptables problem z SSH

Oddelek: Omrežja in internet
12829 (683) sverde21
»

izbris strani iz iskalnika najdi.si

Oddelek: Omrežja in internet
91396 (1066) Izak
»

pomoč pri iptables

Oddelek: Omrežja in internet
10998 (827) HellRaiseR

Več podobnih tem