Kako naredim, da iskalnik najde samo root nekega spletišča, ne tudi podstrani?

Emmmm. Mislim, da ti problema ne bo uspelo rešiti, ker je ravno stvar iskalnikov v tem, da znajo crowlerji, ki iščejo nove in nove podatke, slediti raznim povezavam, in preverjati vsebino teh podstrani. Seveda pa če imaš na stražniku www.dome.si datoteko jaz.html, katera ni vpisana pod nobeno povezavo nikjer, in za njen naslov veš samo ti, jo tudi iskalnik ne bo našel.

v html vstavis meta tag

<meta name="robots" content="noindex,nofollow">

za content pa kombiniras naslednja 2 para ukazov:

index
noindex

follow
nofollow

Nekaj sem našel na to temo:
http://www.robotstxt.org/wc/meta-user.h...

Vendar mi stvar še ni čisto jasna. Torej, v index.html na rootu, ki je nekako prva datoteka (in tudi edina do katere bi moral uporabnik imeti dostop) sem dodal to vrstico.

Zanima me, kaj pomeni "The INDEX directive specifies if an indexing robot should index the page. The FOLLOW directive specifies if a robot is to follow links on the page.".

Za FOLLOW si predstavljam, da ga moram postaviti na NOFOLLOW, ravno zaradi tega, da iskalnik ne bo sledil linkom iz te strani... kaj pa misle z prvim delom (indeksiranje strani?). Če si prav predstavljam, moram potem samo v to prvo datoteko, ki je na rootu dodati ta meta tag, in s tem bo robot, ki išče vedel, da ne sme iskati naprej (torej lahko ostale datoteke pustim pri miru?)

LP
Uroš