-
Per evitare l'indicizzazione di alcune pagine ho messo nell'header di ciascuna di esse: <meta name="robots" content="none">
E in piu' ho aggiunto il file robots.txt nella directory principale:
User-agent: *
Disallow: /my_admin/
Disallow: /phptest/
Disallow: /stats/
Disallow: /temp/
Questo e' sufficiente per evitare l'indicizzazione di tutte la pagine e files presenti, comprese le eventuali sottodirectory? Oppure ogni sottodir va esplicitamente specificata? O ancora, e' meglio mettere un robots.txt specifico in ciascuna di esse?
grazie Claudio
-
No, va bene cosi`.
Il file robots.txt va messo solo nella root del sito.
E le pagine escluse, almeno da quel che ricordo, sono tutte quelle che iniziano con una delle stringhe specificate da Disallow, quindi se indico una cartella tutte le sue sottocartelle e i loro file sono automaticamente escluse.
;)
-
OK, grazie millle per la conferma.
Claudio
