» »

par stvari o robotih

par stvari o robotih

BRBR ::

če dam spodnji meta na tole stran:link

<meta name="robots" content="noindex,follow" />


1.potem bo robot prišel semle in zgolj pogledal na linke, ki so gor, ignoriral pa bo to stran ?
2.če tole stran porinem v najdi.si robota, lepo pobere vse linke v drugem stolpcu,
torej efekt je zagotovljen. Problem pa je da ne pobere nič iz prvega stolpca, razen če mu peš dam vsak link iz prvega stolpca.

robots.txt imam en testen in ne more predstavljat nobene ovire, čeprav mi zgleda nekaj ni jasno tule: če grem na google site map generator, potem crawler ne gre nikamor če mu extra ne rečem naj ignorira robots.txt


User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /img/
  • spremenil: BRBR ()

Gandalfar ::

Zakaj pa v robots.txt ne dolocis tega?

oz. ne stekam dobro kaj hoces dosezt

Zgodovina sprememb…

BRBR ::

1. najdi.si robotu dam za pojest http://agrozoo.net/jsp/Galery_list_of_s..., v prvi vrstici sta "Acanthaceae" in "Acanthus mollis" ki sta nekam povezana, ta nekam hočem da najdi.si najde.
2. čez čas, ko vidim da je najdi.si robot prispel pogledam na najdi si kaj je. In 2.2 je ~ 4. zadetek, kar je ok, 2.1 ga pa sploh ni, dokler ga ne dam najdi si robotu posebej (potem pa je, na vrhu zadetkov)

2.1Acanthaceae

2.2Acanthus mollis

Torej , ne vem zakaj najdi.si ne pobere zadetka 2.1 direkt iz
http://agrozoo.net/jsp/Galery_list_of_s...

Zgodovina sprememb…

  • spremenil: BRBR ()


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Google ne najde moje spletne strani

Oddelek: Izdelava spletišč
274738 (3735) Vzdevek
»

Čimbolj neboleča predelava strani

Oddelek: Izdelava spletišč
312775 (1666) R33D3M33R
»

izbris strani iz iskalnika najdi.si

Oddelek: Omrežja in internet
92092 (1762) Izak
»

Najdi.si vs. robots.txt & spiders.txt

Oddelek: Izdelava spletišč
52544 (2237) Bakunin
»

Nova anketa!

Oddelek: Novice / Ankete
152435 (2435) swar

Več podobnih tem