Google dice ancora:
-Utilizza il file robots.txt nel tuo server web. Tale file indica ai crawler le directory delle quali è possibile eseguire la scansione. Assicurati che il file sia aggiornato, in modo da non bloccare involontariamente il crawler Googlebot. Per ulteriori informazioni sulle modalità di controllo dei programmi automatizzati (robot) quando visitano il tuo sito, consulta la pagina
http://www.robotstxt.org/wc/faq.html. Puoi testare il file robots.txt per accertarti di utilizzarlo in modo corretto con lo strumento di analisi robots.txt disponibile in Google Sitemaps.
Cos'è il file robot ? Mi conviene inserirlo nel sito ?
Infine, google dice:
-Invia una Sitemap nell'ambito del programma Google Sitemaps (Beta). Google Sitemaps utilizza la tua Sitemap per conoscere meglio la struttura del tuo sito e aumentare la copertura delle tue pagine web.
Che co'è il programma sitemap ? Mi conviene farlo ?