Come si compila un file robots.txt utilizzato dai motori di ricerca per indicizzare il proprio sito?
Sarebbe utile postare un file base già pronto.
Grazie,
FrankyFive
Printable View
Come si compila un file robots.txt utilizzato dai motori di ricerca per indicizzare il proprio sito?
Sarebbe utile postare un file base già pronto.
Grazie,
FrankyFive
su internet trovi molte guide
eccone una: http://www.motoricerca.info/robots.phtml
Avevo creato un pò di tempo fa questo tool: http://allo.altervista.org/robots.htm
Ciao!
Grazie mille ad entrambi!! :mrgreen:
Dunque, il file robots.txt serve esclusivamente ad escludere alcune pagine web dall'indicizzazione e non ad indicare la mappatura del proprio sito agli spider.
Se non si hanno questo tipo di esigenze si potrebbe, allora, fare a meno di questo file, ma leggendo le pagine del sito segnalato da phpone, consigliano di inserirlo comunque nel proprio spazio web indicando di lasciare via libera all'indicizzazione ed il codice dovrebbe essere il seguente:
anche se il validator di www.clockwatchers.com dà l'errore.Codice HTML:User-agent: *
Disallow:
Confermate che si tutto corretto?
Si.. il file robots.txt serve per escludere pagine e/o directory dall'indicizzazione. Per scegliere invece le pagine da indicizzare puoi usare Google Sitemap (http://www.google.com/webmasters/sitemaps/?hl=it)
Ciao!
ma dove bisogna messo esattamente il file robots.txt??
se ti interessa vai sul mio sito e clicca sul logo di convalida robots.txtCitazione:
Originalmente inviato da giannissima
lo devi compilare cosi' apri il notepad e scrivi nella sezione disallow le cartelle che non vuoi che siano ricercate dai motori
esempio:
User-agent: *
Disallow: /miamusica/
Disallow: /miefoto/
Disallow: /mieidati/
Disallow: /latuasezione/
Disallow: /privato/
*= motori di ricerca che non vuoi che leggano determinate cartelle
%20= questo simbolo sostituisce lo spazio e va inserito tra i nomi delle cartelle
se lasci l'asterisco indichi che non vuoi che nessun moytore di ricerca spii all'interno delle cartelle da te inserite altrimenti devi inserire il nome del motore che non vuoi che ricerchi determinati file
:wink:
Devi metterlo nella root del tuo spazio.Citazione:
Originalmente inviato da giannissima
troppo complicato...lascio perdere...grazie cmq
Prova a leggere questa guida, magari è più semplice.Citazione:
Originalmente inviato da giannissima
Inserirlo vuoto serve ad evitare che i log del proprio sito presentino errori 404 in continuazione, dovuti alla richiesta di un file inesistente da parte dei vari spider.
Per quello può essere utile avere l'abitudine di inserirlo anche vuoto.