Forum » Izdelava spletišč » Najdi.si vs. robots.txt & spiders.txt
Najdi.si vs. robots.txt & spiders.txt
gregy ::
Zdravo!
Kako lahko ustavim najdisijevga spiderja .. tole je moj robots.txt
v spiders.txt imam pa
... a pe vedno se ednijo najdisejev spider zapleza v košarico, nič ga ne zaustavi .. kaj narediti?
tenx
Kako lahko ustavim najdisijevga spiderja .. tole je moj robots.txt
User-agent: Mediapartners-Google*
Mozilla/5.0 (compatible; Najdi.si/3.1)
Disallow:
# This says to apply these settings to ALL search engine spiders/crawlers
User-agent: *
Disallow: /admin
Disallow: /account.php
Disallow: /advanced_search.php
Disallow: /checkout_shipping.php
Disallow: /create_account.php
Disallow: /login.php
Disallow: /password_forgotten.php
Disallow: /popup_image.php
Disallow: /shopping_cart.php
v spiders.txt imam pa
najdibot1
najdibot2
najdibot3
... a pe vedno se ednijo najdisejev spider zapleza v košarico, nič ga ne zaustavi .. kaj narediti?
tenx
njok ::
Lahko bi ga odgnal z mod_rewrite.
Na primer:
Na primer:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} # opišeš najdisijev user agent string #
RewriteRule ^pot/do/kosarice$ http://www.najdi.si [r=301]
Primoz ::
# najdi.si worm/searcher that does not work with robots.txt
#$IPTB -A INPUT -p tcp -s 193.189.169.64/25 --dport 80 -j DROP
$IPTB -A INPUT -p tcp -s 195.250.198.0/24 --dport 80 -j DROP
#$IPTB -A INPUT -p tcp -s 193.189.169.64/25 --dport 80 -j DROP
$IPTB -A INPUT -p tcp -s 195.250.198.0/24 --dport 80 -j DROP
There can be no real freedom without the freedom to fail.
Bakunin ::
WoW!
5. Kateri je uporabniški agent Najdi.si-jevih pajkov?
Uporabniški agent Najdi.si-jevih pajkov je Mozilla/5.0 (compatible; Najdi.si/3.1).
5. Kateri je uporabniški agent Najdi.si-jevih pajkov?
Uporabniški agent Najdi.si-jevih pajkov je Mozilla/5.0 (compatible; Najdi.si/3.1).
Vredno ogleda ...
| Tema | Ogledi | Zadnje sporočilo | |
|---|---|---|---|
| Tema | Ogledi | Zadnje sporočilo | |
| » | Google ne najde moje spletne straniOddelek: Izdelava spletišč | 5873 (4870) | Vzdevek |
| » | Čimbolj neboleča predelava straniOddelek: Izdelava spletišč | 3340 (2231) | R33D3M33R |
| » | izbris strani iz iskalnika najdi.siOddelek: Omrežja in internet | 2362 (2032) | Izak |
| » | Kako naredim, da iskalnik najde samo root nekega spletišča, ne tudi podstrani?Oddelek: Izdelava spletišč | 1616 (1481) | urosbe |
| » | Nova anketa!Oddelek: Novice / Ankete | 2814 (2814) | swar |