Compilazione file robots.txt per crawler

[FrankyFive]

Come si compila un file robots.txt utilizzato dai motori di ricerca per indicizzare il proprio sito?

Sarebbe utile postare un file base già pronto.

Grazie,
FrankyFive

su internet trovi molte guide
eccone una: http://www.motoricerca.info/robots.phtml

Avevo creato un pò di tempo fa questo tool: http://allo.altervista.org/robots.htm

Ciao!

[FrankyFive]

Grazie mille ad entrambi!!

Dunque, il file robots.txt serve esclusivamente ad escludere alcune pagine web dall'indicizzazione e non ad indicare la mappatura del proprio sito agli spider.
Se non si hanno questo tipo di esigenze si potrebbe, allora, fare a meno di questo file, ma leggendo le pagine del sito segnalato da phpone, consigliano di inserirlo comunque nel proprio spazio web indicando di lasciare via libera all'indicizzazione ed il codice dovrebbe essere il seguente:

User-agent: *
Disallow:

anche se il validator di www.clockwatchers.com dà l'errore.

Confermate che si tutto corretto?

Si.. il file robots.txt serve per escludere pagine e/o directory dall'indicizzazione. Per scegliere invece le pagine da indicizzare puoi usare Google Sitemap (http://www.google.com/webmasters/sitemaps/?hl=it)

Ciao!

ma dove bisogna messo esattamente il file robots.txt??

ma dove bisogna messo esattamente il file robots.txt??

se ti interessa vai sul mio sito e clicca sul logo di convalida robots.txt


lo devi compilare cosi' apri il notepad e scrivi nella sezione disallow le cartelle che non vuoi che siano ricercate dai motori

esempio:

User-agent: *
Disallow: /miamusica/
Disallow: /miefoto/
Disallow: /mieidati/
Disallow: /latuasezione/
Disallow: /privato/

*= motori di ricerca che non vuoi che leggano determinate cartelle
%20= questo simbolo sostituisce lo spazio e va inserito tra i nomi delle cartelle
se lasci l'asterisco indichi che non vuoi che nessun moytore di ricerca spii all'interno delle cartelle da te inserite altrimenti devi inserire il nome del motore che non vuoi che ricerchi determinati file

[funcool]

ma dove bisogna messo esattamente il file robots.txt??

Devi metterlo nella root del tuo spazio.

troppo complicato...lascio perdere...grazie cmq

[funcool]

troppo complicato...lascio perdere...grazie cmq

Prova a leggere questa guida, magari è più semplice.

[malvisti]

Inserirlo vuoto serve ad evitare che i log del proprio sito presentino errori 404 in continuazione, dovuti alla richiesta di un file inesistente da parte dei vari spider.

Per quello può essere utile avere l'abitudine di inserirlo anche vuoto.