Per evitare l'indicizzazione di alcune pagine ho messo nell'header di ciascuna di esse: <meta name="robots" content="none">
E in piu' ho aggiunto il file robots.txt nella directory principale:
User-agent: *
Disallow: /my_admin/
Disallow: /phptest/
Disallow: /stats/
Disallow: /temp/
Questo e' sufficiente per evitare l'indicizzazione di tutte la pagine e files presenti, comprese le eventuali sottodirectory? Oppure ogni sottodir va esplicitamente specificata? O ancora, e' meglio mettere un robots.txt specifico in ciascuna di esse?
grazie Claudio