par stvari o robotih

če dam spodnji meta na tole stran:link

<meta name="robots" content="noindex,follow" />

1.potem bo robot prišel semle in zgolj pogledal na linke, ki so gor, ignoriral pa bo to stran ?
2.če tole stran porinem v najdi.si robota, lepo pobere vse linke v drugem stolpcu,
torej efekt je zagotovljen. Problem pa je da ne pobere nič iz prvega stolpca, razen če mu peš dam vsak link iz prvega stolpca.

robots.txt imam en testen in ne more predstavljat nobene ovire, čeprav mi zgleda nekaj ni jasno tule: če grem na google site map generator, potem crawler ne gre nikamor če mu extra ne rečem naj ignorira robots.txt

User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /img/

1. najdi.si robotu dam za pojest http://agrozoo.net/jsp/Galery_list_of_s..., v prvi vrstici sta "Acanthaceae" in "Acanthus mollis" ki sta nekam povezana, ta nekam hočem da najdi.si najde.
2. čez čas, ko vidim da je najdi.si robot prispel pogledam na najdi si kaj je. In 2.2 je ~ 4. zadetek, kar je ok, 2.1 ga pa sploh ni, dokler ga ne dam najdi si robotu posebej (potem pa je, na vrhu zadetkov)

2.1Acanthaceae

2.2Acanthus mollis

Torej , ne vem zakaj najdi.si ne pobere zadetka 2.1 direkt iz
http://agrozoo.net/jsp/Galery_list_of_s...