robots.txt e suoi attributi

quale sono le funzioni + usate inserita nel file robots.txt?
me ne elenchereste qualcuno utile (col suo significato) :grin:
ciao e grz

c'era un altro topic in cui credo di aver esaurito per bene l'argomento, comunque:
ci sono solo due attributi, cioè
User-Agent:
Disallow:

a user-agent va messo l'user-agent dello spider, a disallow indicare quale cartella/file escludere

[Ospite]

chiedo scusa per l'intromissione...
ma volevo sapere, una volta creato il file robots.txt come devo linkarlo alle mie pagine?

nel senso non c'è bisogno di alcuna specifica nelle mie pagine oppure devo inserire qualche tag particolare?

a quante ne so basta che lo metti nella root principale del tuo spazio web,non devi linkarlo

[binarysun]

Qua è spiegato tutto!
http://www.robotstxt.org/wc/norobots.html